KR20030002608A

KR20030002608A - 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치

Info

Publication number: KR20030002608A
Application number: KR1020010038280A
Authority: KR
Inventors: 임인건; 강문기; 박성철
Original assignee: 주식회사 성진씨앤씨
Priority date: 2001-06-29
Filing date: 2001-06-29
Publication date: 2003-01-09
Also published as: US20030189655A1; JP2004522372A; EP1400109A4; CN1466844A; KR100405150B1; EP1400109A1; WO2003005705A1

Abstract

본 발명은 초저조도 환경에서 촬영되어 입력되는 컬러 영상의 화질 저하 문제를 해결하는 잡음 제거 기술 및 이를 이용한 영상 입력 장치에 관한 것으로, 특히 초저조도 환경 하에서 발생하는 컬러 얼룩 및 신호 의존적 포아송 잡음(Poisson Noise)을 영상의 윤곽선 및 세부 정보를 보존하면서도 효율적으로 제거함으로써 밝은 조명 하에서 촬영한 영상 화질 급으로 복원시켜 주는 잡음 제거 및 화질 복원 기술에 관한 것이다.

본 발명에 따른 영상 처리 기술이 디지털 비디오 레코더에 적용되는 경우, 저조도 상에서 발생하는 컬러 얼룩 등을 물체의 움직임 등으로 잘못 인식하여 생기는 영상 데이터 압축률 저하 및 화질이 열화되는 문제점을 겪었던 종래 기술의 단점을 극복할 수 있다. 그 결과, 초저조도 환경 하에서 디지털 비디오 레코더가 저장하는 영상 데이터의 크기를 현저히 축소시킬 수 있으며, 물체의 식별 및 인식 정확도를 크게 높일수 있다.

Description

시공간 적응적 잡음 제거/고화질 복원 방법 및 이를 응용한 고화질 영상 입력 장치{METHOD OF ADAPTIVE NOISE SMOOTHING/RESTORATION IN SPATIO-TEMPORAL DOMAIN AND HIGH-DEFINITION IMAGE CAPTURING DEVICE THEREOF}

본 발명은 초저조도 환경에서 촬영되어 입력되는 컬러 영상의 화질 저하 문제를 해결하는 잡음 제거 고화질 복원 기술 및 이를 이용한 영상 입력 장치에 관한 것으로, 특히 초저조도 환경 하에서 발생하는 컬러 얼룩 및 신호 의존적 포아송 잡음(Poisson Noise)을 영상의 윤곽선 및 세부 정보를 보존하면서도 효율적으로 제거함으로써 밝은 조명 하에서 촬영한 영상 화질 급으로 복원시켜 주는 잡음 제거 및 화질 복원 기술에 관한 것이다.

초저조도 환경에서 컬러 씨씨디 카메라(Color CCD Camera) 또는 디지털 비디오 카메라 등을 통해 촬영하여 컬러 영상을 받아들이는 경우, 입력 신호의 에너지가 영상 입력 소자 및 시스템의 배경 잡음 에너지보다 상대적으로 낮게 되므로, 촬영되는 영상의 화질이 급격히 저하된다. 즉, 아주 어두운 곳에서 추가적인 조명 없이 촬영을 하는 경우, 기록된 영상의 화질이 열화되는 것을 흔히 관찰할 수 있게 된다.

전술한 문제점을 해결하기 위한 방법으로 적외선 입력 장치 또는 광증폭기등의 특수 영상 장비를 사용하는 방안이 제시되고 있다. 그런데, 특수 영상 장비를 이용한 해결 방법은 군사용 목적에서와 같은 경우에는 적합할 수 있지만, 일반 민생용 디지털 비디오 레코더(digital video recorder)와 같은 응용에서는 제품 단가가 높아져서 적용하는데 어려움이 있다.

따라서, 전술한 고가의 특수 영상 장비 대신에 일반 영상 입력 장치를 사용하면서도 디지털 신호 처리 기술을 이용하여 소프트웨어적으로 신호 의존적 잡음을 제거하고 영상을 복원하는 기술의 출현이 보다 실용적 측면에서 요구되고 있다.

일반적으로 저조도 환경 하에서 일반 영상 입력 시스템에 기록된 영상은 영상 전반에 걸쳐 국소적으로 주변 컬러와는 동떨어진 컬러를 가지는 얼룩들이 발생하게 된다. 그런데, 이러한 컬러 얼룩 발생은 밝은 조명 하에서는 두드러지게 나타나지 않지만, 조명이 어두워짐에 따라 현저하게 드러나는 경향이 있다. 이러한 컬러 얼룩들은 씨씨디(CCD) 센서상의 컬러 필터 어레이(color filter array)를 구성하는 각 채널이 조도에 따라 나타내는 다른 특성을 조도에 관계없이 동일하게 획일적으로 처리함에 기인하는 결과이다.

즉, 조도를 고려하지 않은 처리 과정은 픽셀(pixel)을 구성하는 컬러들 상호간의 비를 변화시켜 국소적 얼룩으로 나타나게 되는 것이다. 또한, 저조도 환경에서 기록된 영상에는 전술한 컬러 얼룩과 더불어 컬러 영상의 밝기(intensity) 영역에서 추가적으로 신호 의존적인 포아송 잡음(Poisson Noise)이 첨가되어 있다.

도1은 종래 기술에 따라 복합 잡음으로 인하여 화질이 저하된 저조도 환경에서의 영상을 나타낸 도면이다. 도1을 참조하면, 종래 기술에 따라 씨씨디 카메라의 자동 이득 조절 장치(AGC; Automatic Gain Controller)에 의해 실제 조명 보다 밝게 보임에 유의할 필요가 있다.

도1을 유심히 관찰하면, 영상 전반에 걸쳐 빨강(R), 파랑(B), 초록색(G) 등의 컬러 얼룩을 관찰할 수 있으며, 얼룩이 없는 곳에서는 화소 단위의 포아송 잡음을 관찰할 수 있다. 그런데, 특히 보안 감시 시스템(security system)에 적용되는 디지털 비디오 레코더(digital video recorder; DVR)에 있어서는 24시간 연속 녹화가 실행되고 있으며, 주야 또는 밝은 조명 또는 어두운 조명 하에서도 선명하게 범인의 얼굴을 인식할 수 있도록 촬영되어 저장할 수 있어야 한다.

더욱이, 24시간 연속 녹화되는 영상은 효율적인 데이터 압축 기법을 이용하여 압축 디지털 파일로 저장되어야 저장 공간을 효율적으로 사용할 수 있게 된다. 즉, 일반적인 보안 감시용 디지털 비디오 레코더에 있어서 움직임이 많은 영상을 엠펙(MPEG) 방식으로 압축하여 저장하는 경우 시간당 약 200 메가 바이트의 저장 공간이 필요하게 된다. 그런데, 저조도 환경 하에서 촬영되는 영상에 발생하는 컬러 얼룩은 시간 축에서 움직임으로 인식되므로 엠펙 데이터 압축 시에 데이터 압축률이 현저히 저하되게 된다. 그 결과, 저조도하에서 인적이 드문 시간대에 촬영된 영상 저장을 위하여 시간당 400 ∼ 600 메가 바이트의 저장 공간을 소모하는 경우도 흔히 발생하게 된다.

즉, 저조도 환경 하에서 촬영된 영상에 나타나는 컬러 얼룩은 매 프레임마다 랜덤(random) 하게 나타나게 되므로, 엠펙 압축 과정에서 무작위로 나타나는 컬러 얼룩을 물체의 움직임으로 착각하게 되어 압축률을 저하시키게 되는 것이다. 전술한 복합적 잡음을 소프트웨어적으로 제거하기 위한 종래 기술로서, 시간 영역에서의 잡음 제거 기술(temporal filtering)이 알려져 있다.

종래 기술에 따른 시간 영역에서의 잡음 기술은 움직임에 의한 영상 왜곡을 방지하기 위하여 움직임 보상(motion compensation)의 개념을 사용하므로 계산량의 부담이 발생하는 문제점이 있다. 즉, 물체의 움직임을 각 프레임(frame) 마다 추정하여 그 움직임 궤적을 따라 필터링을 수행하므로 움직임 추정에 의한 계산량이 폭증하여 알고리즘의 실시간 구현이 용이하지 않은 문제가 있다.

최근 들어, 움직임 보상에 의한 오차 및 계산량 부담을 덜기 위한 움직임 감지(motion detection)에 기반한 시간 영역 필터링 알고리즘이 소개되고 있다. 그러나, 이 경우에도 컬러 영상의 벡터 특성을 고려하지 못하는 한계가 여전히 존재한다. 즉, 종래 기술에 따른 시간 영역에서의 잡음 제거 기술은 컬러 영상의 움직임을 밝기 차로만 구분하는데, 저조도 환경 하에서는 물체간의 밝기 차가 충분하지 않으므로 움직임을 밝기 차로만 구분하는 데에는 한계가 있다.

더욱이, 종래 기술은 컬러 영상의 밝기 성분만을 필터링 하므로 색상의 왜곡으로 생긴 얼룩을 제거하지는 못하는 기술상의 한계가 있다. 또한, 종래 기술은 시간적 영역에서의 필터링을 적용할 경우 컬러 얼룩 제거에는 효과적일 수 있더라도 영상의 밝기 영역에 잔존하는 포아송 잡음은 제거할 수 없는 문제점이 있다.

한편, 종래 기술에 따른 공간 영역에서의 잡음 제거 알고리즘(spatial filtering)은 영상의 정적 모델(stationary model)을 기반으로 하기 때문에 잡음 제거된 영상이 윤곽선을 보존하지 못하는 한계가 있다. 즉, 윤곽선 영역은 공간적으로 고주파 성분을 지니게 되는데 고주파 잡음을 제거하기 위하여 필터링을 수행하는 경우 고주파 잡음과 함께 윤곽선이 손상을 받아 영상이 뿌옇게 뭉개지는 현상이 발생하는 문제점이 있다.

전술한 문제점을 극복하기 위하여, 윤곽선 적응 필터 기술을 적용할 수 있으나 이 역시 컬러 얼룩은 제거할 수 없는 기술상의 한계점이 있다. 즉, 공간 영역에서의 컬러 얼룩은 화소 상호간의 상관도(correlation)가 크므로, 필터링 시에 잡음인 컬러 얼룩들이 얼룩 내에서 같은 이웃(neighborhood) 화소로 취급되어 얼룩진 화소끼리 필터링 되기 때문에 필터링된 결과 역시 컬러 얼룩을 가지게 되는 문제점이 있다.

전술한 시간 영역에서의 필터링 기법과 공간 영역에서의 필터링 기술을 조합한 종래 기술로서 시공간 영역에서의 잡음 제거 알고리즘(Spatio-Temporal Filt ering) 기술이 있다. 그런데, 종래 기술에 따른 시공간 영역에서의 잡음 제거 기술은 공간 영역에서의 필터링 기술을 단순히 시간 영역으로 확장한 것으로서, 움직임 및 윤곽선에 적응적으로 설계되었을지라도 컬러 얼룩을 제거하는 데에는 한계가 있다.

따라서, 본 발명의 제1 목적은 초저조도 환경에서의 컬러 얼룩 및 신호 의존적 잡음을 영상의 윤곽선 및 세부 사항을 보존하면서 효과적으로 제거하는 잡음 제거 및 영상 복원 방법과 이를 이용한 영상 입력 장치를 제공하는데 있다.

본 발명의 제2 목적은 상기 제1 목적에 부가하여, 시공간 영역에서 움직임및 윤곽선 적응적인 잡음 제거 및 영상 복원 방법과 이를 이용한 영상 입력 장치를 제공하는데 있다.

본 발명의 제3 목적은 상기 제1 목적에 부가하여, 초저조도 환경 하에서 작동하는 디지털 비디오 레코더가 촬영하는 컬러 영상에 발생하는 컬러 얼룩 및 신호 의존적 잡음으로 인한 데이터 압축률의 저하 및 화질 저하를 해결하는 잡음 제거 및 영상 복원 방법과 이를 이용한 영상 입력 장치를 제공하는데 있다.

도1은 종래 기술에 따라 복합 잡음으로 인하여 화질이 저하된 저조도 환경에서의 영상을 나타낸 도면.

도2는 본 발명에 따른 시공간 영역에서의 적응적 잡음 제거 및 영상 복원 방법을 나타낸 도면.

도3a 내지 도3d는 본 발명에 따른 시공간 적응 잡음 제거 방법을 적용한 실시예를 종래 기술 결과와 비교한 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 열화된 R 채널 영상

11 : 열화된 G 채널 영상

12 : 열화된 B 채널 영상

100 : 필터링

110 : 밝기 차이 가중치 함수 연산 블럭

120 : 움직임 적응적 시간 영역 필터링

130 : 색상 차이 가중치 함수 연산 블럭

300 : 공간 영역 가중치 함수

400 : 로컬 평균값

500 : 로컬 분산

700 : 공간 영역 필터링

상기 목적을 달성하기 위하여, 본 발명은 저조도 환경 하에서 촬영되는 영상에 발생하는 컬러 얼룩 및 신호 의존적 잡음을 제거하는 방법에 있어서, (a) 상기 영상의 기준 프레임을 구성하는 각각의 픽셀과 비교 프레임을 구성하는 각각 픽셀 사이에 밝기 차이와 색상 차이를 계산하여 움직임의 정도를 감지하는 단계, (b) 상기 특정 픽셀이 기준 프레임과 비교 프레임 사이에 갖는 밝기 차이로부터 감지된 움직임 정도에 따라 밝기 차이 가중치 함수를 산출하고, 색상 차이로부터 감지된 움직임 정도에 따라 색상 차이 가중치 함수를 산출하는 단계, (c) 상기 단계 (b)의 밝기 차이 가중치 함수와 상기 색상 차이 가중치 함수를 통해 움직임 정도가 선정된 임계값 보다 적은 픽셀들만을 R,G,B 채널 각각에서 선정된 개수의 프레임에 대하여 시간 영역 필터링을 수행하는 단계, (d) 상기 영상을 RGB에서 YUV 포맷으로 변환하는 단계, (e) 상기 영상의 특정 프레임을 구성하는 각각의 픽셀 중심으로 하여 선정된 개수만큼의 주변 픽셀과 상호간의 밝기 차이를 계산하여 에지 정도를 감지하는 단계, (f) 상기 특정 프레임을 구성하는 각각의 픽셀(중심 픽셀)이 주변의픽셀과 사이에 갖는 밝기 차이로부터 감지된 에지 정도에 따라 밝기 차이 가중치 함수를 산출하는 단계, (g) 상기 단계 (f)의 밝기 차이 가중치 함수를 통해 상기 중심 픽셀과 상관 관계가 적은 윤곽선 반대편의 픽셀은 사용하지 않고 상관 관계가 선정된 값 이상인 윤곽선의 같은 편에 위치한 픽셀들만을 이용하여 로컬 평균값 또는 로컬 분산을 산출하는 단계, (h) 상기 단계 (g)의 로컬 평균값과 로컬 분산을 이용하여 영상의 밝기 성분을 LLMMSE 필터링을 수행하는 단계, (i) 상기 단계 (h)에서 공간 영역 필터링을 거친 영상의 밝기 성분을 필터링 전의 색상 성분과 합쳐서 R, G, B 포맷으로 변환하는 단계를 포함하는 영상 신호 잡음 제거 방법을 제공한다.

본 발명이 개시하는 잡음 제거 복원 방법은 초저조도 환경에서의 컬러 얼룩 및 신호 의존적 잡음을 영상의 윤곽선 및 세부 사항을 보존하면서도 효과적으로 제거할 수 있다.

저조도에서의 컬러 얼룩 및 신호 의존적 잡음을 제거하기 위하여, 움직임을 살리면서 컬러 얼룩을 제거하기 위한 시간축 영역에서의 움직임 적응적(motion-adaptive) 시간 영역 필터링(temporal filtering)과, 물체 윤곽선을 살리면서 밝기 영역의 포아송 잡음을 제거하기 위한 공간 영역에서의 윤곽선 보존 필터링(edge-preserving noise filtering) 과정이 필요하다.

본 발명에 따른 잡음 제거 및 복원 방법은 컬러 얼룩을 효과적으로 제거하기 위하여 시간 영역 필터링을 공간 영역 필터링보다 먼저 수행하는 특징이 있다. 또한, 본 발명에 따른 잡음 제거 및 복원 방법은, 종래 기술이 컬러 영상 필터링에서컬러의 밝기(intensity) 성분만을 고려하는 것에 반하여, 컬러 얼룩의 색상 특성 고려 시에 R, G, B 채널을 함께 고려하는데 기술상의 특징이 있다.

즉, 종래 기술에서와 같이 컬러 영상의 밝기 성분만을 필터링한 후 필터링하기 전의 색상 성분과 합치게 되면 색상 영역에서 색상의 변형으로 생긴 컬러 얼룩을 제거할 수 없게 되므로, 본 발명은 컬러의 밝기 및 색상을 모두 고려하기 위하여 R, G, B 채널을 각각 필터링한다.

도2는 본 발명에 따른 시공간 영역에서의 적응적 잡음 제거 및 영상 복원 방법을 나타낸 도면이다. 도2를 참조하면, 움직임 적응적 시간 영역 필터링(motion adaptive temporal filtering; 120)은 컬러 영상의 벡터 차수 통계(vector order statis tics)를 통해 화소 단위로 프레임간 움직임을 감지한다.

즉, 종래 기술은 컬러 영상의 움직임을 밝기 차이로만 구분하는데, 저조도 환경 하에서는 물체의 밝기 차이가 충분하지 않으므로 움직임을 밝기 차이로만 구분하는데는 기술적 어려움이 있다.

따라서, 본 발명은 컬러 영상의 움직임을 보다 정확히 감지하기 위하여 움직임의 밝기 차이와 색상 차이를 함께 고려하는 것을 특징으로 한다. 이러한, 움직임 감지는 도2의 시간 영역 필터링(100) 부분에서 밝기 차이 가중치 함수(inte nsity weighting function) 연산 블럭(110)과 색상 차이 가중치 함수 (chromat icity weighting function) 연산 블럭(130)에서 수행되며 사용되는 연산식은 다음과 같다.

여기서,는 밝기 차이 가중치 함수이고,는 색상 차이 가중치 함수,(10, 11, 12)는 열화된 벡터 컬러 영상이다. 물론,(10)은 열화된채널 영상,(11)은 열화된채널 영상,(12)은 열화된채널 영상이며,은 기준 프레임이고는 시간 영역 필터링 내에 있는 다른 프레임을 나타낸다.

또한, 함수는 0에서 1사이의 값을 갖는 단조 감소 함수이다. 본 발명의 양호한 실시예로서,가 단조 함수이므로 수학식 1 및 수학식 2에서 기준 프레임의 화소와 다른 프레임 화소의 밝기 혹은 색상 차이가 큰 경우는 작은 값을 가져서 필터링 시에 작은 가중치(weight)를 가지게 된다.

또한, 밝기 혹은 색상 차이가 큰 경우에는는 큰 값을 가져 필터링 시에 큰 가중치를 가지게 된다. 본 발명에 따른 단조 감소 함수로서 사용될 수 있는 실시예로서,는 sigmoid 함수 및 온오프 함수가 사용되어질 수 있다.

여기서, T는 움직임 정도를 판단하는 임계값(threshold)이 되며,는 함수의 기울기를 결정하는 계수가 된다. 수학식 3의를 아주 작게 하면 본 발명에 따른는 온오프 함수가 되며가 T보다 큰 경우는 영(zero), 작은 경우는 1(unit)이 된다.

종래 기술에 따른 움직임 보상 시공간 필터링(motion compensated spatiot emporal filtering) 기술은 움직임을 정확히 추적한 후 그 궤적을 따라서 평균값을 산출하는데 근간을 두고 있다. 반면에, 본 발명은 도면 부호 110 및 도면 부호 130에서 산출한 가중치 함수를 바탕으로 움직임을 감지하여 움직임이 발생하지 않은 화소들에 대해 R, G, B 채널에서 필터링을 취하는 것을 특징으로 한다.

한편, 공간 영역에서의 컬러 얼룩은 시간 영역에서 화소 단위로 부가적 백색 가우스 잡음(Additive White Gaussian Noise) 특성으로 표현될 수 있으므로, 다음과 같이 적응적 가중치가 곱해진 평균값(Adaptive Weighted Averaging)을 통해 제거될 수 있다.

여기서,는 시간 영역 필터의 서포트(support)를 나타내며, 바람직한 실시예로서 3 ∼ 9 프레임을 사용하면 적절하다. 이와 같이, 본 발명에 따른 가중치 함수를 이용한 필터링을 통하여 움직임의 잔상을 효과적으로 제거할 수 있으며, 컬러 얼룩의 색상 잡음 특성을 고려한 R, G, B 채널의 분리된 필터링은 얼룩을 효과적으로 제거하게 된다.

한편, 시간 영역에서의 필터링(100)을 마치고 나면 컬러 얼룩은 효과적으로 제거되지만 밝기 영역에는 아직 신호 의존적인 포아송 잡음이 남아 있다. 이러한 신호 의존적 잡음을 영상의 윤곽선을 보존하면서 제거하기 위하여 영상의 밝기 영역(Y 성분)에서 로컬 선형 최소 평균 제곱 에러(LLMMSE; Local Liner Minimum Mean Square Error) 필터를 포아송 잡음에 적합하도록 구성할 수 있다.

본 발명에 따른 공간 영역 필터링(700)은 영상의 비정적(nonstationary) 특성을 반영하여 이에 적합한 로컬 평균값(local mean; 400)과 로컬 분산(local variance; 500)을 추정하여 필터링된 영상의 에지(edge)를 보존하면서 포아송 잡음을 효과적으로 제거한다. 이러한 과정은 도2의 공간 영역 필터링 부분(700)에서 공간 영역 가중치 함수(spatial weight function; 300)를 통한 로컬 평균값(local mean; 400), 로컬 분산(local variance; 500) 추정으로 표현되며 수식으로 나타내면 다음과 같다.

여기서,은 공간 영역 서포트(support)이며,는 에지 정도를 나타내는 밝기 영역에서의 가중치 함수이다. 본 발명은 가중치 함수를 통한 로컬 평균값 (local mean) 추정에 의하여 평균값(mean)을 구하는 중심 화소와 상관 관계가 적은 윤곽선 반대편 화소들은 사용하지 않고 상관 관계가 큰 주위 화소(윤곽선에서 같은편에 위치한 화소)들만 사용하게 되므로 결과적으로 윤곽선 흐림 현상(blurring effect)를 방지한다.

본 발명에 따라 가중치 함수를 통한 로컬 분산(local variance) 추정은 영상의 미세한 부분을 더욱더 효과적으로 보존할 수 있게 한다. 즉, 본 발명에 따른 가중치 함수를 통한 로컬 평균값의 추정은 영상에서 에지(edge) 정도가 큰 부분을 효과적으로 보존하고, 가중치 함수(weight function)를 통한 로컬 분산(local variance) 추정은 영상에서 미세한 부분을 보존하면서 에지 영역의 잡음을 효과적으로 제거하는 것을 가능하게 한다.

본 발명에 따른 로컬 통계(local statistics) 추정을 통한 LLMMSE 필터는 포아송 잡음 제거에 적합하도록 다음과 같이 설계될 수 있다.

여기서,는 포아송 잡음의 분산 특성을 반영한다. 이와 같이, 밝기 영역에서 공간 영역 필터링을 거친 영상의 밝기 성분은 필터링 전의 색상 성분과 합쳐져서 다시 R, G, B 포맷으로 변환된다.

도3a 내지 도3d는 본 발명에 따른 시공간 적응 잡음 제거 방법을 적용한 실시예를 종래 기술 결과와 비교한 도면이다. 도3a는 저조도 환경에서 컬러 얼룩 및 포아송 잡음에 의하여 열화된 영상으로서 씨씨디 카메라로 촬영한 결과이다. 도3b는 도3a에 나타낸 영상을 종래 기술에 따른 시간 영역 필터링 기술에 의해 잡음 제거 처리하여 복원시킨 영상을 나타낸 도면으로서, 종래 기술은 밝기 성분만을 고려하기 때문에 컬러 얼룩 제거에 효과적이지 못함을 알 수 있다. 더욱이, 도3b를 참조하면, 밝기 영역에 잔존하는 포아송 잡음이 제거되지 않음을 확인할 수 있다.

도3c는 도3a에 나타낸 영상을 종래 기술에 따른 공간 영역 필터링 기술에 의해 잡음 제거 처리하여 복원시킨 영상을 나타낸 도면으로서, 종래 기술은 포아송 잡음 제거에는 효과적이지만 컬러 얼룩을 전혀 제거하지 못하고 있음을 인식할 수 있다. 또한, 도3c를 살펴보면 영상의 윤곽선이 많이 훼손되어 있음을 관찰할 수 있다.

한편, 도3d는 본 발명에 따른 시공간 적응 잡음 제거 기술을 통해 처리된 영상을 나타낸 도면으로서, 저조도 환경에서 발생하는 컬러 얼룩 및 포아송 잡음을 영상의 윤곽선을 보존하면서 효율적으로 제거하고 있음을 알 수 있다.

전술한 내용은 후술할 발명의 특허 청구 범위를 보다 잘 이해할 수 있도록 본 발명의 특징과 기술적 장점을 다소 폭넓게 개설하였다. 본 발명의 특허 청구 범위를 구성하는 부가적인 특징과 장점들이 이하에서 상술될 것이다. 개시된 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 구조의 설계나 수정의 기본으로서 즉시 사용될 수 있음이 당해 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.

또한, 본 발명에서 개시된 발명 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로서 당해 기술 분야의 숙련된 사람들에 의해 사용되어질 수 있을 것이다. 또한, 당해 기술 분야의 숙련된 사람에 의한 그와 같은 수정 또는 변경된 등가 구조는 특허 청구 범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능하다.

이상과 같이, 본 발명은 저조도 환경 하에서 영상 입력 장치가 촬영하는 영상에 발생하는 컬러 얼룩 및 신호 의존적 포아송 잡음을 영상의 윤곽선과 세부 정보를 보존하면서 효율적으로 제거함으로써 마치 밝은 조명 하에서 찍은 화면처럼 화질을 복원시켜 주는 것을 가능하게 한다.

그 결과, 본 발명에 따른 영상 처리 기술이 디지털 비디오 레코더에 적용되는 경우, 컬러 얼룩 등을 물체의 움직임 등으로 잘못 인식하여 발생하는 영상 데이터 압축률의 저하 문제를 겪었던 종래 기술의 단점을 극복할 수 있다. 또한, 초저조도 환경 하에서 디지털 비디오 레코더가 저장하는 영상 데이터의 크기를 현저히 축소시킬 수 있다.

또한, 본 발명에 따른 영상 처리 기술은 씨모스 센서, 씨씨디 카메라 등과 같은 일반 영상 입력 장치에 직접 적용하는 것이 가능하며, 적외선 센서 또는 광증폭기를 이용하는 종래의 고가 특수 장비를 대체하여 고해상도 영상 취득 능력을 갖춘 저가의 영상 입력 장치로의 적용이 가능하다.

Claims

저조도 환경 하에서 촬영되는 영상에 발생하는 컬러 얼룩 및 신호 의존적 잡음을 제거하는 방법에 있어서,

(a) 상기 영상의 기준 프레임을 구성하는 각각의 픽셀과 비교 프레임을 구성하는 각각 픽셀 사이에 밝기 차이와 색상 차이를 계산하여 움직임의 정도를 감지하는 단계;

(b) 상기 특정 픽셀이 기준 프레임과 비교 프레임 사이에 갖는 밝기 차이로부터 감지된 움직임 정도에 따라 밝기 차이 가중치 함수를 산출하고, 색상 차이로부터 감지된 움직임 정도에 따라 색상 차이 가중치 함수를 산출하는 단계;

(c) 상기 단계 (b)의 밝기 차이 가중치 함수와 상기 색상 차이 가중치 함수를 통해 움직임 정도가 선정된 임계값보다 적은 픽셀들만을 R, G, B 채널 각각에서 선정된 개수의 프레임에 대하여 시간 영역 필터링을 수행하는 단계;

(d) 상기 영상을 RGB에서 YUV 포맷으로 변환하는 단계;

(e) 상기 영상의 특정 프레임을 구성하는 각각의 픽셀 중심으로 하여 선정된 개수만큼의 주변 픽셀과 상호간의 밝기 차이를 계산하여 에지 정도를 감지하는 단계;

(f) 상기 특정 프레임을 구성하는 각각의 픽셀(중심 픽셀)이 주변의 픽셀과 사이에 갖는 밝기 차이로부터 감지된 에지 정도에 따라 밝기 차이 가중치 함수를 산출하는 단계;

(g) 상기 단계 (f)의 밝기 차이 가중치 함수를 통해 상기 중심 픽셀과 상관 관계가 적은 윤곽선 반대편의 픽셀은 사용하지 않고 상관 관계가 선정된 값 이상인 윤곽선의 같은 편에 위치한 픽셀들만을 이용하여 로컬 평균값 또는 로컬 분산을 산출하는 단계;

(h) 상기 단계 (g)의 로컬 평균값과 로컬 분산을 이용하여 영상의 밝기 성분을 LLMMSE 필터링을 수행하는 단계;

(i) 상기 단계 (h)에서 공간 영역 필터링을 거친 영상의 밝기 성분을 필터링 전의 색상 성분과 합쳐서 R, G, B 포맷으로 변환하는 단계

를 포함하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (b)의 밝기 차이 가중치 함수는,

을 이용하여 산출됨을 특징으로 하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (b)의 색상 차이 가중치 함수는,

를 이용하여 산출됨을 특징으로 하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (b)의 상기 밝기 차이 가중치 함수 또는 상기 색상 차이 가중치 함수는 단조 감수 함수인 것을 특징으로 하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (b)의 상기 밝기 차이 가중치 함수 또는 상기 색상 차이 가중치 함수는

를 포함하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (c)의 시간 영역 필터링 수행 단계는 잡음에 의해 열화된 영상의 R, G, B 신호 각각에 대하여 (Y_R, Y_G, Y_B) 상기 밝기 차이 가중치 함수와 상기 색상 차이 가중치 함수를 곱하여 선정된 개수의 프레임에 대하여 합산을 수행함으로써, 즉

을 수행하여 컬러 얼룩이 제거된 X_R, X_G, X_B를 산출하는 것을 특징으로 하는영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (c)의 선정된 개수의 프레임은 3 내지 9 프레임을 사용하는 것을 특징으로 하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (g)의 로컬 평균값은

을 이용하여 산출하는 것을 특징으로 하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (g)의 로컬 분산은

을 이용하여 산출하는 것을 특징으로 하는 영상 신호 잡음 제거 방법.
제1항에 있어서, 상기 단계 (h)의 LLMMSE 필터링을 수행하는 단계는, 상기 로컬 평균값와 로컬 분산를 이용하여,

의 관계식으로부터 에지 정도에 따른 가중치가 부여된 LLMMSE 필터링을 수행함으로써 윤곽선을 보존하면서 에지 영역의 잡음을 제거하는 것을 특징으로 하는 영상 신호 잡음 제거 방법.
저조도 환경 하에서 발생한 컬러 얼룩과 신호 의존적 포아송 잡음이 섞인 영상 신호를 입력받아 기준 프레임의 픽셀과 비교 프레임의 픽셀 사이에 밝기 차이를 계산하여 밝기 차이 가중치 함수를 산출하는 밝기 차이 가중치 연산 모듈;

상기 영상 신호를 입력받아 기준 프레임의 픽셀과 비교 프레임의 픽셀 사이에 색상 차이를 계산하여 색상 차이 가중치 함수를 산출하는 색상 차이 가중치 연산 모듈;

상기 밝기 차이 가중치 연산 모듈과 상기 색상 차이 가중치 연산 모듈이 각각 출력하는 각각 픽셀에 대한 밝기 차이 가중치와 색상 차이 가중치를 바탕으로 선정된 개수의 프레임에 대하여 움직임 정도를 산출하여 움직임 정도가 선정된 임계값보다 적은 픽셀들만을 R, G, B 채널 각각에서 시간 영역 필터링하는 시간 영역 필터;

상기 시간 영역 필터의 출력 R, G, B 신호를 YUV 포맷으로 변환하는 변환기;

상기 변환기로부터 출력되는 프레임을 구성하는 임의 픽셀을 중심으로 하여 선정된 개수만큼의 주변 픽셀과의 상호 밝기 차이를 계산하여 산출된 에지 정도에 따라 밝기 차이 가중치 함수를 산출하는 공간 가중치 연산 모듈;

상기 공간 가중치 연산 모듈이 출력하는 밝기 차이 가중치 함수를 통해 중심픽셀과 상관 관계가 적은 윤곽선 반대편의 픽셀은 사용하지 않고 상관 관계가 선정된 값 이상인 윤곽선의 같은 편에 위치한 픽셀들만을 이용하여 로컬 평균값 또는 로컬 분산을 산출하여 LLMMSE 필터링을 수행하는 공간 영역 필터; 및

상기 공간 영역 필터가 출력하는 밝기 성분과 상기 변환기가 출력하는 색상 성분과 합쳐서 R, G, B 포맷으로 변환하는 변환기

를 포함하는 영상 신호 처리 장치.
제11항에 있어서, 상기 영상 신호 처리 장치는 회로적으로 구현된 하드웨어 또는 프로그램으로 구현된 소프트웨어를 포함하는 영상 신호 처리 장치.
제11항에 있어서, 상기 영상 신호 처리 장치는 영상 입력 장치에 포함됨을 특징으로 하는 영상 신호 처리 장치.
동영상 신호에 섞인 잡음을 제거하는 잡음 제거 여과기에 있어서,

상기 동영상 내의 물체의 움직임 정도를 감지하기 위하여 상기 동영상을 구성하는 복수개의 프레임 가운데 선정된 개수만큼의 프레임 사이에 픽셀 단위로 밝기(Y 신호) 및 색상(U, V 신호)의 벡터 차수 연산(vector order statistics)을 통해 각각의 픽셀에 대응된 물체 움직임 정도를 밝기 차이 가중치 함수와 색상 차이 가중치 함수로 산출하여, 상기 잡음이 섞인 R, G, B 신호에 곱하여 선정된 개수의 프레임에 대하여 합산함으로써 움직임 정도가 선정된 임계값 이하인 프레임의 픽셀들만 서로 취함으로써 움직임 적응적 시간 영역 여과를 수행하는 시간 영역 잡음 제거 필터; 및

상기 동영상을 구성하는 임의 프레임 내에 윤곽선을 기준으로 서로 반대측에 있는 두 영역 사이에 게재하는 픽셀들의 에지 정도를 감지하기 위하여, 임의 픽셀(이를 '중심 픽셀'이라 칭함)을 주위로 하는 선정된 개수의 픽셀에 대하여 상기 중심 픽셀을 기준으로 할 때 밝기 차이 가중치 함수를 연산하여 상기 밝기 차이 가중치 함수를 고려한 로컬 평균값과 로컬 분산을 산출하여 에지 정도를 감안한 공간 영역 LLMMSE 여과를 수행함으로써, 윤곽선 기준 에지 정도가 선정된 임계값 이하인 픽셀들만 서로 취함으로써 에지 정도 적응적 공간 영역 여과를 수행하는 공간 영역 잡음 제거 필터

를 포함하는 영상 처리 장치.
제13항에 있어서, 상기 시간 영역 잡음 제거 필터 및 상기 공간 영역 잡음 필터는 회로 하드웨어 또는 소프트웨어 프로그램으로 구현됨을 특징으로 하는 영상 처리 장치.
제13항에 있어서, 상기 영상 처리 장치는 씨모스 영상 센서, 또는 씨씨디 카메라를 포함하는 영상 입력 장치 또는 디지털 비디오 레코더를 구성함을 특징으로 하는 영상 처리 장치.
제13항에 있어서, 상기 밝기 차이 가중치 함수 또는 상기 색상 차이 가중치 함수는 단조 감소 함수로서, 기준 픽셀과 비교 픽셀 사이에 밝기 또는 색상 차이가 큰 경우는 함수 값이 작게 나타나고, 상기 밝기 또는 색상 차이가 작은 경우에는 함수 값이 크게 나타나서, 시간 영역에서 움직임 정도가 적은 픽셀들 또는 공간 영역에서 윤곽선을 기준으로 같은 편 영역의 픽셀들이 연산에 두드러지게 기여하도록 제어하는 것을 특징으로 하는 영상 처리 장치.