KR20030068738A

KR20030068738A - 저조도 환경 하에서 발생하는 잡음을 제거한 디지털 영상처리 장치

Info

Publication number: KR20030068738A
Application number: KR1020020008336A
Authority: KR
Inventors: 임인건; 장철진
Original assignee: 주식회사 성진씨앤씨
Priority date: 2002-02-16
Filing date: 2002-02-16
Publication date: 2003-08-25
Also published as: KR100444329B1

Abstract

본 발명은 저조도 환경에서 촬영되어 입력되는 컬러 영상의 화질 저하 문제를 해결하는 영상 처리 장치에 관한 것으로, 특히 저조도 환경 하에서 발생하는 컬러 얼룩 및 신호 의존적 포아송 잡음(Poisson Noise)을 영상의 윤곽선 및 세부 정보를 보존하면서도 효율적으로 제거함으로써 밝은 조명 하에서 촬영한 영상 화질 급으로 복원시켜 주는 영상 처리 장치에 관한 것이다.

본 발명에 따른 영상 처리 장치가 디지털 비디오 레코더에 적용되는 경우, 저조도 상에서 발생하는 컬러 얼룩 등을 물체의 움직임 등으로 잘못 인식하여 생기는 영상 데이터 압축률 저하 및 화질이 열화되는 문제점을 겪었던 종래 기술의 단점을 극복할 수 있다. 그 결과, 저조도 환경 하에서 디지털 비디오 레코더가 저장하는 영상 데이터의 크기를 현저히 축소시킬 수 있으며, 물체의 식별 및 인식 정확도를 크게 높일수 있다.

Description

저조도 환경 하에서 발생하는 잡음을 제거한 디지털 영상 처리 장치{DIGITAL VIDEO PROCESSING DEVICE ELIMINATING THE NOISE GENERATED UNDER INSUFFICIENT ILLULMINATION}

본 발명은 디지털 영상 신호 처리 장치에 관한 것으로 특히 저조도 환경 하에서 촬영되어 입력되는 컬러 영상의 화질 저하 문제를 해결한 디지털 영상 신호 처리 장치에 관한 것이다.

본 발명은 특히 저조도 환경 하에서 발생하는 컬러 얼룩 및 신호 의존적 포아송 잡음(Poisson Noise)을 효과적으로 제거하면서, 동시에 영상의 윤곽선 및 세부 정보를 보존하는 디지털 영상 처리 장치에 관한 것이다.

저조도 환경에서 컬러 씨씨디 카메라(Color CCD Camera) 또는 디지털 비디오 카메라 등을 통해 촬영하여 컬러 영상을 받아들이는 경우, 입력 신호의 에너지가영상 입력 소자 및 시스템의 배경 잡음 에너지보다 상대적으로 낮게 되므로, 촬영되는 영상의 화질이 급격히 저하된다. 즉, 아주 어두운 곳에서 추가적인 조명 없이 촬영을 하는 경우, 기록된 영상의 화질이 열화되는 것을 흔히 관찰할 수 있게 된다.

전술한 문제점을 해결하기 위한 방법으로 적외선 입력 장치 또는 광증폭기 등의 특수 영상 장비를 사용하는 방안이 제시되고 있다. 그런데, 특수 영상 장비를 이용한 해결 방법은 군사용 목적에서와 같은 경우에는 적합할 수 있지만, 일반 민생용 디지털 비디오 레코더(Digital Video Recorder)와 같은 응용에서는 제품 단가가 높아져서 적용하는데 어려움이 있다.

따라서, 전술한 고가의 특수 영상 장비 대신에 일반 영상 입력 장치를 사용하면서도 디지털 신호 처리 기술을 이용하여 소프트웨어적으로 신호 의존적 잡음을 제거하고 영상을 복원하는 기술의 출현이 보다 실용적 측면에서 요구되고 있다.

일반적으로 저조도 환경 하에서 일반 영상 입력 시스템에 기록된 영상은 영상 전반에 걸쳐 국소적으로 주변 컬러와는 동떨어진 컬러를 가지는 얼룩들이 발생하게 된다. 그런데, 이러한 컬러 얼룩 발생은 밝은 조명 하에서는 두드러지게 나타나지 않지만, 조명이 어두워짐에 따라 현저하게 드러나는 경향이 있다. 이러한 컬러 얼룩들은 씨씨디(CCD) 센서상의 컬러 필터 어레이(Color Filter Array)를 구성하는 각 채널이 조도에 따라 나타내는 다른 특성을 조도에 관계없이 동일하게 획일적으로 처리함에 기인하는 결과이다.

즉, 조도를 고려하지 않은 처리 과정은 픽셀(pixel)을 구성하는 컬러들 상호간의 비를 변화시켜 국소적 얼룩으로 나타나게 되는 것이다. 또한, 저조도 환경에서 기록된 영상에는 전술한 컬러 얼룩과 더불어 컬러 영상의 밝기(intensity) 영역에서 추가적으로 신호 의존적인 포아송 잡음(Poisson Noise)이 첨가되어 있다.

그런데, 특히 보안 감시 시스템(Security System)에 적용되는 디지털 비디오 레코더(Digital Video Recorder; DVR)에 있어서는 24시간 연속 녹화가 실행되고 있으며, 주야 또는 밝은 조명 또는 어두운 조명 하에서도 선명하게 범인의 얼굴을 인식할 수 있도록 촬영되어 저장할 수 있어야 한다.

더욱이, 24시간 연속 녹화되는 영상은 효율적인 데이터 압축 기법을 이용하여 압축 디지털 파일로 저장되어야 저장 공간을 효율적으로 사용할 수 있게 된다. 즉, 일반적인 보안 감시용 디지털 비디오 레코더에 있어서 움직임이 많은 영상을 엠펙(MPEG) 방식으로 압축하여 저장하는 경우 시간당 약 200 메가 바이트의 저장 공간이 필요하게 된다. 그런데, 저조도 환경 하에서 촬영되는 영상에 발생하는 컬러 얼룩은 시간 축에서 움직임으로 인식되므로 엠펙 데이터 압축 시에 데이터 압축률이 현저히 저하되게 된다. 그 결과, 저조도하에서 인적이 드문 시간대에 촬영된 영상 저장을 위하여 시간당 400 ∼ 600 메가 바이트의 저장 공간을 소모하는 경우도 흔히 발생하게 된다.

즉, 저조도 환경 하에서 촬영된 영상에 나타나는 컬러 얼룩은 매 프레임마다 랜덤(random) 하게 나타나게 되므로, 엠펙 압축 과정에서 무작위로 나타나는 컬러 얼룩을 물체의 움직임으로 착각하게 되어 압축률을 저하시키게 되는 것이다. 전술한 복합적 잡음을 소프트웨어적으로 제거하기 위한 종래 기술로서, 시간 영역에서의 잡음 제거 기술(Temporal Filtering)이 알려져 있다.

종래 기술에 따른 시간 영역에서의 잡음 기술은 움직임에 의한 영상 왜곡을 방지하기 위하여 움직임 보상(Motion Compensation)의 개념을 사용하므로 계산량의 부담이 발생하는 문제점이 있다. 즉, 물체의 움직임을 각 프레임(frame) 마다 추정하여 그 움직임 궤적을 따라 필터링을 수행하므로 움직임 추정에 의한 계산량이 폭증하여 알고리즘의 실시간 구현이 용이하지 않은 문제가 있다.

최근 들어, 움직임 보상에 의한 오차 및 계산량 부담을 덜기 위한 움직임 감지(Motion Detection)에 기반한 시간 영역 필터링 알고리즘이 소개되고 있다. 그러나, 이 경우에도 컬러 영상의 벡터 특성을 고려하지 못하는 한계가 여전히 존재한다. 즉, 종래 기술에 따른 시간 영역에서의 잡음 제거 기술은 컬러 영상의 움직임을 밝기 차로만 구분하는데, 저조도 환경 하에서는 물체간의 밝기 차가 충분하지 않으므로 움직임을 밝기 차로만 구분하는 데에는 한계가 있다.

더욱이, 종래 기술은 컬러 영상의 밝기 성분만을 필터링 하므로 색상의 왜곡으로 생긴 얼룩을 제거하지는 못하는 기술상의 한계가 있다. 또한, 종래 기술은 시간적 영역에서의 필터링을 적용할 경우 컬러 얼룩 제거에는 효과적일 수 있더라도 영상의 밝기 영역에 잔존하는 포아송 잡음은 제거할 수 없는 문제점이 있다.

한편, 종래 기술에 따른 공간 영역에서의 잡음 제거 알고리즘(Spatial Filtering)은 영상의 정적 모델(Stationary Model)을 기반으로 하기 때문에 잡음 제거된 영상이 윤곽선을 보존하지 못하는 한계가 있다. 즉, 윤곽선 영역은 공간적으로 고주파 성분을 지니게 되는데 고주파 잡음을 제거하기 위하여 필터링을 수행하는 경우 고주파 잡음과 함께 윤곽선이 손상을 받아 영상이 뿌옇게 뭉개지는 현상이 발생하는 문제점이 있다.

전술한 문제점을 극복하기 위하여, 윤곽선 적응 필터 기술을 적용할 수 있으나 이 역시 컬러 얼룩은 제거할 수 없는 기술상의 한계점이 있다. 즉, 공간 영역에서의 컬러 얼룩은 화소 상호간의 상관도(Correlation)가 크므로, 필터링 시에 잡음인 컬러 얼룩들이 얼룩 내에서 같은 이웃(neighborhood) 화소로 취급되어 얼룩진 화소끼리 필터링 되기 때문에 필터링된 결과 역시 컬러 얼룩을 가지게 되는 문제점이 있다.

전술한 시간 영역에서의 필터링 기법과 공간 영역에서의 필터링 기술을 조합한 종래 기술로서 시공간 영역에서의 잡음 제거 알고리즘(Spatio-Temporal Filt ering) 기술이 있다. 그런데, 종래 기술에 따른 시공간 영역에서의 잡음 제거 기술은 공간 영역에서의 필터링 기술을 단순히 시간 영역으로 확장한 것으로서, 움직임 및 윤곽선에 적응적으로 설계되었을지라도 컬러 얼룩을 제거하는 데에는 한계가 있다.

따라서, 본 발명의 제1 목적은 저조도 환경에서의 컬러 얼룩 및 신호 의존적 잡음을 영상의 윤곽선 및 세부 사항을 보존하면서 효과적으로 제거하는 잡음 제거 및 영상 처리 장치를 제공하는데 있다.

본 발명의 제2 목적은 상기 제1 목적에 부가하여, 시공간 영역에서 움직임 및 윤곽선 적응적인 잡음 제거 및 영상 처리 장치를 제공하는데 있다.

본 발명의 제3 목적은 상기 제1 목적에 부가하여, 저조도 환경 하에서 작동하는 디지털 비디오 레코더가 촬영하는 컬러 영상에 발생하는 컬러 얼룩 및 신호 의존적 잡음으로 인한 데이터 압축률의 저하 및 화질 저하를 해결하는 잡음 제거 및 영상 처리 장치를 제공하는데 있다.

도1은 본 발명에 따른 디지털 영상 처리 장치의 시스템 구성을 나타낸 도면.

도2는 본 발명에 따른 영상 처리 장치를 구성하는 잡음 제거부의 구성을 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 비디오 디코딩부(Video Decoder)

2 : 잡음 제거부

3 : 비디오 인코딩부(Video Encoder)

4 : 외부 메모리

5 : 비디오 입력

6 : 비디오 데이터

7 : 시스템 클럭

9 : RTCO(Real Time Control Output)

10 : 열화된 R 채널 영상

11 : 열화된 G 채널 영상

12 : 열화된 B 채널 영상

100 : 필터링

110 : 밝기 차이 가중치 함수 연산 블럭

120 : 움직임 적응적 시간 영역 필터링

130 : 색상 차이 가중치 함수 연산 블럭

300 : 공간 영역 가중치 함수

400 : 로컬 평균값

500 : 로컬 분산

700 : 공간 영역 필터링

상기 목적을 달성하기 위하여, 본 발명에 따른 영상 처리 장치는 비디오 디코딩부와 비디오 인코딩부 사이에 잡음 제거부를 포함하는 것을 특징으로 한다. 본 발명에 따른 비디오 디코딩부는 복수 개 채널의 비디오 신호를 입력 받아 비디오 인코딩에 필요한 시스템 클럭 주파수, 우수(even) 및 기수(odd) 필드 정보, 필드 주파수, 서브 캐리어 주파수 및 위상 정보 중 어느 하나 또는 이들의 조합을 포함한 정보를 출력한다.

본 발명을 구성하는 잡음 제거부는 저조도에서 발생하는 잡음을 효과적으로 처리하는 기능의 칩(chip)으로 구현할 수 있으며, 실시간으로 잡음 처리를 할 수 있으므로, MPEG 또는 JPEG 등 압축 방식의 전처리 단게에 사용함으로써, MPEG 또는 JPEG 만을 사용하는 경우 보다 우수한 압축률을 얻을 수 있다. 본 발명에 따른 비디오 인코딩부는 잡음 제거부가 출력한 비디오 데이터를 컴포지트 비디오 신호로 변환한다.

이하에서, 본 발명에 따른 저조도 하의 잡음 제거 기능을 구비한 디지털 영상 처리 장치를 첨부 도면 도1 및 도2를 참조하여 상세히 설명한다.

도1은 본 발명에 따른 디지털 영상 처리 장치의 시스템 구성을 나타낸 도면이다. 도1을 참조하면, 본 발명을 구성하는 비디오 디코딩부(Video Decoder; 1)에 입력된 비디오 입력(5)은 CCIR656 신호(6)를 출력한다. 비디오 디코딩부는 24.576㎒의 시스템 클럭(7)을 사용할 수 있으며, NTSC 및 PAL 비디오 입력을 모두 선택 처리 가능하도록 설계될 수 있다. 즉, 마이크로 콘트롤러 유닛(MCU; 도시하지 않음)에 연결된 점퍼로써 전원 온 시에 NTSC 또는 PAL 방식을 인식하도록 설계될 수 있다.

또한, 본 발명에 따른 비디오 디코딩부(1)는 RTCO(Real Time Control Output; 9) 출력으로 비디오 인코딩에 필요한 여러 정보를 출력할 수 있다. 즉, 본 발명에 따른 비디오 디코딩부(1)가 출력하는 RTCO(9)의 양호한 실시예로서, 비디오 시스템 클럭 주파수, 우수(even) 및 기수(odd) 필드 정보, 필드 주파수, 서브 캐리어(subcarrier) 주파수 및 위상 등을 포함할 수 있다. 상기 정보들은 비디오 인코딩부(3)에 입력되어진다.

한편, 비디오 디코딩부(1)에서 출력된 비디오 데이터(6)는 각각의 해당 잡음 제거부(2)에 입력되고, 잡음 제거부(2)는 저조도 환경 하에서도 발생되는 잡음을 효과적으로 처리하도록 설계될 수 있다. 본 발명에 따른 잡음 제거부(2)의 양호한 실시예로서, (주)펜타마이크로시스템의 시스템 집적 회로 AT4021 Noisemaster를 사용할 수 있다.

본 발명에 따른 잡음 제거부(2)는 영상 화질의 개선 뿐만 아니라, 실시간 잡음 처리를 수행함으로써 MPEG 또는 JPEG 압축 단계 이전에 전처리 단계(pre-processing)로 사용될 수 있다. 그 결과, MPEG 또는 JPEG 만을 사용하는 종래 기술에 비해 월등히 우수한 압축률을 기대할 수 있다.

본 발명에 따른 잡음 제거부(2)는 움직임 적응적 시간 영역 필터링(Motion Adaptive Temporal Filtering)을 수행하기 위하여 외부 메모리(4)를 필요로 하며, 64MB의 SDRAM을 양호한 실시예로서 사용할 수 있다. 또한, 에지 보존 공간 잡음 필터링(Edge Preserving Spatial Filtering)의 수행을 위하여, 내부에 두 개의 SPSRAM(Single Port SRAM)을 포함할 수 있다.

또한, 조도에 따른 시간 영역 필터링의 기준값을 조절할 수 있도록 할 수 있으며, 초기치는 8 단계의 값 중 제5 단계로 셋팅되어 있다가 스위치를 한번 누를 때마다 기준값이 차례로 하나씩 증가하도록 설계할 수 있다. 또한, 제8 단계 이후에는 제1 단계로 넘어가도록 설계될 수 있다. 한편, 기준값은 그 값이 클수록 밝은 화면에 적용된다.

한편, 잡음 제거부(2)에서 필터링 처리된 비디오 데이터는 각각의 비디오 인코딩부(Video Encoder; 3)로 입력된다. 본 발명에 따른 비디오 인코딩부(3)는 잡음 제거부(2)에서 출력된 비디오 데이터를 콤포지트 비디오(Composite Video)로 변환하고, 여기서 출력된 비디오는 비디오 스위치(도시하지 않음)를 거치게 된다. 비디오 스위치는 비디오 인코딩부(3)의 출력과 입력 비디오를 스위칭하는 역할을 수행하며, 필터링 비디오를 출력할 것인지 입력 비디오를 그대로 출력할 것인지를 결정한다.

도1에 도시한 영상 처리 장치는 4 채널, 8 채널 또는 16 채널의 비디오 신호에 그대로 적용될 수 있으며, 8 채널의 경우 입력 비디오 하나에 출력 비디오는 각각 3개인데, 이 중 출력 하나는 상기와 같이 스위칭하여 비디오 앰프를 거쳐 2V_P-P로 출력된다. 또한, 나머지 두 개의 출력은 비디오 인코딩부(3)의 출력을 비디오 앰프로 6㏈ 증폭하여 2V_P-P로 출력할 수 있다.

한편, 16 채널의 경우에는 비디오 입력 하나에 대해 비디오 스위치를 거쳐 비디오 앰프를 거쳐 2V_P-P로 출력한다. 본 발명의 양호한 실시예로서, 4 채널 보드의 경우에는 16 채널의 경우와 같이 출력되고 QUAD 보드로의 루핑 출력이 하나씩 더 있는데, 이것은 입력이 그대로 비디오 앰프 만을 걸쳐서 출력되게 된다.

본 발명이 개시하는 저도 환경 하의 잡음 제거 영상 처리 장치는 저조도 환경에서의 컬러 얼룩 및 신호 의존적 잡음을 영상의 윤곽선 및 세부 사항을 보존하면서도 효과적으로 제거할 수 있다.

저조도에서의 컬러 얼룩 및 신호 의존적 잡음을 제거하기 위하여, 움직임을 살리면서 컬러 얼룩을 제거하기 위한 시간축 영역에서의 움직임 적응적(Motion-Adaptive) 시간 영역 필터링(Temporal Filtering)과, 물체 윤곽선을 살리면서 밝기 영역의 포아송 잡음을 제거하기 위한 공간 영역에서의 윤곽선 보존 필터링(Edge-Preserving Noise Filtering) 과정이 필요하다.

본 발명에 따른 잡음 제거 영상 처리 장치는 컬러 얼룩을 효과적으로 제거하기 위하여 시간 영역 필터링을 공간 영역 필터링보다 먼저 수행하는 특징이 있다. 또한, 본 발명에 따른 잡음 제거 영상 처리 장치는 종래 기술이 컬러 영상 필터링에서 컬러의 밝기(intensity) 성분만을 고려하는 것에 반하여, 컬러 얼룩의 색상특성 고려 시에 R, G, B 채널을 함께 고려하는데 기술상의 특징이 있다.

즉, 종래 기술에서와 같이 컬러 영상의 밝기 성분만을 필터링한 후 필터링하기 전의 색상 성분과 합치게 되면 색상 영역에서 색상의 변형으로 생긴 컬러 얼룩을 제거할 수 없게 되므로, 본 발명은 컬러의 밝기 및 색상을 모두 고려하기 위하여 R, G, B 채널을 각각 필터링한다.

도2는 본 발명에 따른 영상 처리 장치를 구성하는 잡음 제거부의 구성을 나타낸 도면이다. 도2를 참조하면, 움직임 적응적 시간 영역 필터링(Motion Adaptive Temporal Filtering; 120)은 컬러 영상의 벡터 차수 통계(Vector Order Statistics)를 통해 화소 단위로 프레임간 움직임을 감지한다.

즉, 종래 기술은 컬러 영상의 움직임을 밝기 차이로만 구분하는데, 저조도 환경 하에서는 물체의 밝기 차이가 충분하지 않으므로 움직임을 밝기 차이로만 구분하는데는 기술적 어려움이 있다.

따라서, 본 발명은 컬러 영상의 움직임을 보다 정확히 감지하기 위하여 움직임의 밝기 차이와 색상 차이를 함께 고려하는 것을 특징으로 한다. 이러한, 움직임 감지는 도2의 시간 영역 필터링(100) 부분에서 밝기 차이 가중치 함수(Inte nsity Weighting Function) 연산 블럭(110)과 색상 차이 가중치 함수(Chromat icity Weighting Function) 연산 블럭(130)에서 수행되며 사용되는 연산식은 다음과 같다.

여기서,는 밝기 차이 가중치 함수이고,는 색상 차이 가중치 함수,(10, 11, 12)는 열화된 벡터 컬러 영상이다. 물론,(10)은 열화된채널 영상,(11)은 열화된채널 영상,(12)은 열화된채널 영상이며,은 기준 프레임이고는 시간 영역 필터링 내에 있는 다른 프레임을 나타낸다.

또한, 함수는 0에서 1사이의 값을 갖는 단조 감소 함수이다. 본 발명의 양호한 실시예로서,가 단조 함수이므로 수학식 1 및 수학식 2에서 기준 프레임의 화소와 다른 프레임 화소의 밝기 혹은 색상 차이가 큰 경우는 작은 값을 가져서 필터링 시에 작은 가중치(weight)를 가지게 된다.

또한, 밝기 혹은 색상 차이가 큰 경우에는는 큰 값을 가져 필터링 시에 큰 가중치를 가지게 된다. 본 발명에 따른 단조 감소 함수로서 사용될 수 있는 실시예로서,는 sigmoid 함수 및 온오프 함수가 사용되어질 수 있다.

여기서, T는 움직임 정도를 판단하는 임계값(threshold)이 되며,는 함수의 기울기를 결정하는 계수가 된다. 수학식 3의를 아주 작게 하면 본 발명에 따른는 온오프 함수가 되며가 T보다 큰 경우는 영(zero), 작은 경우는 1(unit)이 된다.

종래 기술에 따른 움직임 보상 시공간 필터링(Motion Compensated Spatiot emporal Filtering) 기술은 움직임을 정확히 추적한 후 그 궤적을 따라서 평균값을 산출하는데 근간을 두고 있다. 반면에, 본 발명은 도면 부호 110 및 도면 부호 130에서 산출한 가중치 함수를 바탕으로 움직임을 감지하여 움직임이 발생하지 않은 화소들에 대해 R, G, B 채널에서 필터링을 취하는 것을 특징으로 한다.

한편, 공간 영역에서의 컬러 얼룩은 시간 영역에서 화소 단위로 부가적 백색 가우스 잡음(Additive White Gaussian Noise) 특성으로 표현될 수 있으므로, 다음과 같이 적응적 가중치가 곱해진 평균값(Adaptive Weighted Averaging)을 통해 제거될 수 있다.

여기서,는 시간 영역 필터의 서포트(support)를 나타내며, 바람직한 실시예로서 3 ∼ 9 프레임을 사용하면 적절하다. 이와 같이, 본 발명에 따른 가중치 함수를 이용한 필터링을 통하여 움직임의 잔상을 효과적으로 제거할 수 있으며, 컬러 얼룩의 색상 잡음 특성을 고려한 R, G, B 채널의 분리된 필터링은 얼룩을 효과적으로 제거하게 된다.

한편, 시간 영역에서의 필터링(100)을 마치고 나면 컬러 얼룩은 효과적으로 제거되지만 밝기 영역에는 아직 신호 의존적인 포아송 잡음이 남아 있다. 이러한 신호 의존적 잡음을 영상의 윤곽선을 보존하면서 제거하기 위하여 영상의 밝기 영역(Y 성분)에서 로컬 선형 최소 평균 제곱 에러(LLMMSE; Local Liner Minimum Mean Square Error) 필터를 포아송 잡음에 적합하도록 구성할 수 있다.

본 발명에 따른 공간 영역 필터링(700)은 영상의 비정적(nonstationary) 특성을 반영하여 이에 적합한 로컬 평균값(Local Mean; 400)과 로컬 분산(Local Variance; 500)을 추정하여 필터링된 영상의 에지(edge)를 보존하면서 포아송 잡음을 효과적으로 제거한다. 이러한 과정은 도2의 공간 영역 필터링 부분(700)에서 공간 영역 가중치 함수(Spatial Weight Function; 300)를 통한 로컬 평균값(Local Mean; 400), 로컬 분산(Local Variance; 500) 추정으로 표현되며 수식으로 나타내면 다음과 같다.

여기서,은 공간 영역 서포트(support)이며,는 에지 정도를 나타내는 밝기 영역에서의 가중치 함수이다. 본 발명은 가중치 함수를 통한 로컬 평균값 (Local Mean) 추정에 의하여 평균값(mean)을 구하는 중심 화소와 상관 관계가 적은 윤곽선 반대편 화소들은 사용하지 않고 상관 관계가 큰 주위 화소(윤곽선에서 같은편에 위치한 화소)들만 사용하게 되므로 결과적으로 윤곽선 흐림 현상(Blurring Effect)를 방지한다.

본 발명에 따라 가중치 함수를 통한 로컬 분산(Local Variance) 추정은 영상의 미세한 부분을 더욱더 효과적으로 보존할 수 있게 한다. 즉, 본 발명에 따른 가중치 함수를 통한 로컬 평균값의 추정은 영상에서 에지(edge) 정도가 큰 부분을 효과적으로 보존하고, 가중치 함수(Weight Function)를 통한 로컬 분산(Local Variance) 추정은 영상에서 미세한 부분을 보존하면서 에지 영역의 잡음을 효과적으로 제거하는 것을 가능하게 한다.

본 발명에 따른 로컬 통계(Local Statistics) 추정을 통한 LLMMSE 필터는 포아송 잡음 제거에 적합하도록 다음과 같이 설계될 수 있다.

여기서,는 포아송 잡음의 분산 특성을 반영한다. 이와 같이, 밝기 영역에서 공간 영역 필터링을 거친 영상의 밝기 성분은 필터링 전의 색상 성분과 합쳐져서 다시 R, G, B 포맷으로 변환된다.

전술한 내용은 후술할 발명의 특허 청구 범위를 보다 잘 이해할 수 있도록 본 발명의 특징과 기술적 장점을 다소 폭넓게 개설하였다. 본 발명의 특허 청구 범위를 구성하는 부가적인 특징과 장점들이 이하에서 상술될 것이다. 개시된 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 구조의 설계나 수정의 기본으로서 즉시 사용될 수 있음이 당해 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.

또한, 본 발명에서 개시된 발명 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로서 당해 기술 분야의 숙련된 사람들에 의해 사용되어질 수 있을 것이다. 또한, 당해 기술 분야의 숙련된 사람에 의한 그와 같은 수정 또는 변경된 등가 구조는 특허 청구 범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능하다.

이상과 같이, 본 발명은 저조도 환경 하에서 영상 입력 장치가 촬영하는 영상에 발생하는 컬러 얼룩 및 신호 의존적 포아송 잡음을 영상의 윤곽선과 세부 정보를 보존하면서 효율적으로 제거함으로써 마치 밝은 조명 하에서 찍은 화면처럼 화질을 복원시켜 주는 것을 가능하게 한다.

그 결과, 본 발명에 따른 영상 처리 기술이 디지털 비디오 레코더에 적용되는 경우, 컬러 얼룩 등을 물체의 움직임 등으로 잘못 인식하여 발생하는 영상 데이터 압축률의 저하 문제를 겪었던 종래 기술의 단점을 극복할 수 있다. 또한, 저조도 환경 하에서 디지털 비디오 레코더가 저장하는 영상 데이터의 크기를 현저히 축소시킬 수 있다.

또한, 본 발명에 따른 영상 처리 장치는 씨모스 센서, 씨씨디 카메라 등과 같은 일반 영상 입력 장치에 직접 적용하는 것이 가능하며, 적외선 센서 또는 광증폭기를 잉요하는 종래의 고가 특수 장비를 대체하여 고해상도 영상 취득 능력을 갖춘 저가의 영상 입력 장치로의 적용이 가능하다.

Claims

비디오 신호를 입력 받아 NTSC 또는 PAL 방식의 비디오 신호로 디코드하여 출력하고, 비디오 시스템 클럭 주파수, 우수 및 기수 필드 정보, 필드 주파수, 서브 캐리어 주파수 및 위상 중 어느 하나 또는 이들의 출력을 포함한 신호를 출력하는 비디오 디코딩부;

상기 비디오 디코딩부의 출력 비디오 신호를 입력 받아 시간 축 영역에서의 움직임 적응적 시간 영역 필터링을 수행하고 공간 영역에서의 윤곽선 보존 필터링을 컬러 밝기 및 색상 특성을 고려하여 R, G, B 채널에서 각각 필터링하는 잡음 제거부; 및

상기 잡음 제거부의 출력 신호를 받아 콤포지트 비디오 신호로 변환하는 비디오 인코딩부

를 포함하는 영상 처리 장치.
제1항에 있어서, 상기 비디오 인코딩부에 후속하여, 상기 비디오 인코딩부의 출력과 상기 입력 비디오 신호를 출력 스위칭하는 비디오 스위치를 더 포함하는 영상 처리 장치.
제1항에 있어서, 상기 잡음 제거부는 저조도 환경 하에서 발생한 컬러 얼룩과 신호 의존적 포아송 잡음이 섞인 영상 신호를 입력받아 기준 프레임의 픽셀과비교 프레임의 픽셀 사이에 밝기 차이를 계산하여 밝기 차이 가중치 함수를 산출하는 밝기 차이 가중치 연산 회로;

상기 영상 신호를 입력받아 기준 프레임의 픽셀과 비교 프레임의 픽셀 사이에 색상 차이를 계산하여 색상 차이 가중치 함수를 산출하는 색상 차이 가중치 연산 회로;

상기 밝기 차이 가중치 연산 모듈과 상기 색상 차이 가중치 연산 모듈이 각각 출력하는 각각 픽셀에 대한 밝기 차이 가중치와 색상 차이 가중치를 바탕으로 선정된 개수의 프레임에 대하여 움직임 정도를 산출하여 움직임 정도가 선정된 임계값보다 적은 픽셀들만을 R, G, B 채널 각각에서 시간 영역 필터링하는 시간 영역 필터;

상기 시간 영역 필터의 출력 R, G, B 신호를 YUV 포맷으로 변환하는 변환기;

상기 변환기로부터 출력되는 프레임을 구성하는 임의 픽셀을 중심으로 하여 선정된 개수만큼의 주변 픽셀과의 상호 밝기 차이를 계산하여 산출된 에지 정도에 따라 밝기 차이 가중치 함수를 산출하는 공간 가중치 연산 회로;

상기 공간 가중치 연산 모듈이 출력하는 밝기 차이 가중치 함수를 통해 중심 픽셀과 상관 관계가 적은 윤곽선 반대편의 픽셀은 사용하지 않고 상관 관계가 선정된 값 이상인 윤곽선의 같은 편에 위치한 픽셀들만을 이용하여 로컬 평균값 또는 로컬 분산을 산출하여 LLMMSE 필터링을 수행하는 공간 영역 필터; 및

상기 공간 영역 필터가 출력하는 밝기 성분과 상기 변환기가 출력하는 색상 성분과 합쳐서 R, G, B 포맷으로 변환하는 변환기

를 포함하는 영상 신호 처리 장치.
제1항에 있어서, 상기 잡음 제거부는,

상기 동영상 내의 물체의 움직임 정도를 감지하기 위하여 상기 동영상을 구성하는 복수개의 프레임 가운데 선정된 개수만큼의 프레임 사이에 픽셀 단위로 밝기(Y 신호) 및 색상(U, V 신호)의 벡터 차수 연산(vector order statistics)을 통해 각각의 픽셀에 대응된 물체 움직임 정도를 밝기 차이 가중치 함수와 색상 차이 가중치 함수로 산출하여, 상기 잡음이 섞인 R, G, B 신호에 곱하여 선정된 개수의 프레임에 대하여 합산함으로써 움직임 정도가 선정된 임계값 이하인 프레임의 픽셀들만 서로 취함으로써 움직임 적응적 시간 영역 여과를 수행하는 시간 영역 잡음 제거 필터; 및

상기 동영상을 구성하는 임의 프레임 내에 윤곽선을 기준으로 서로 반대측에 있는 두 영역 사이에 게재하는 픽셀들의 에지 정도를 감지하기 위하여, 임의 픽셀(이를 '중심 픽셀'이라 칭함)을 주위로 하는 선정된 개수의 픽셀에 대하여 상기 중심 픽셀을 기준으로 할 때 밝기 차이 가중치 함수를 연산하여 상기 밝기 차이 가중치 함수를 고려한 로컬 평균값과 로컬 분산을 산출하여 에지 정도를 감안한 공간 영역 LLMMSE 여과를 수행함으로써, 윤곽선 기준 에지 정도가 선정된 임계값 이하인 픽셀들만 서로 취함으로써 에지 정도 적응적 공간 영역 여과를 수행하는 공간 영역 잡음 제거 필터

를 포함하는 영상 처리 장치.
제4항에 있어서, 상기 밝기 차이 가중치 함수 또는 상기 색상 차이 가중치 함수는 단조 감소 함수로서, 기준 픽셀과 비교 픽셀 사이에 밝기 또는 색상 차이가 큰 경우는 함수 값이 작게 나타나고, 상기 밝기 또는 색상 차이가 작은 경우에는 함수 값이 크게 나타나서, 시간 영역에서 움직임 정도가 적은 픽셀들 또는 공간 영역에서 윤곽선을 기준으로 같은 편 영역의 픽셀들이 연산에 두드러지게 기여하도록 제어하는 것을 특징으로 하는 영상 처리 장치.