KR20150069343A

KR20150069343A - 영상 노이즈 제거 방법 및 시스템

Info

Publication number: KR20150069343A
Application number: KR1020130155638A
Authority: KR
Inventors: 오재윤; 이준성; 김곤수
Original assignee: 삼성테크윈 주식회사
Priority date: 2013-12-13
Filing date: 2013-12-13
Publication date: 2015-06-23
Also published as: KR102207940B1; WO2015088106A1

Abstract

본 발명의 일 실시예는 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리부; 이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득부; 이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링부; 상기 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈부; 상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링부; 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산부; 를 포함하는 노이즈 제거 시스템을 개시한다.

Description

영상 노이즈 제거 방법 및 시스템{METHOD AND SYSTEM FOR REDUCING NOISE}

본 발명은 영상 노이즈 제거 방법 및 시스템에 관한 것으로, 보다 상세하게는 영상의 시간적 및 공간적 특성을 분석하여 노이즈를 제거할 수 있는 방법 및 시스템에 관한 것이다.

영상 감시 시스템은 감시가 필요한 여러 장소에 카메라를 설치하고 카메라로부터 획득된 영상들을 모니터로 전송하거나 저장장치에 저장하여 실시간 감시 및 사후 검색을 수행할 수 있도록 해주는 시스템이다. 영상 감시 시스템에서 주로 사용되는 감시 카메라는 24시간 가동해야 하는 경우가 대부분이므로 어두운 곳 혹은 야간과 같은 저조도 환경에서도 일정 이상 품질의 영상을 생성해야 한다. 그러나, 저조도 환경에서는 영상에 노이즈가 발생할 가능성이 높다.

따라서, 저조도 환경에서 노이즈가 저감된 감시 영상을 얻기 위한 기법들이 개발되고 있다. 대표적인 것으로 영상의 구조 텐서(tensor)를 이용한 3D 필터링 기술 및 비지역 평균(non-local mean) 기반 방법이 있다.

구조 텐서를 이용한 3D 필터링은 영상의 각 화소에 대하여 인접 화소간의 그래디언트(gradient)를 계산하고, 이로부터 구조 텐서(structure tensor)를 생성하여 생성한 구조 텐서부터 고유벡터(eigenvector)와 고유값(eigenvalue)을 계산한다. 이로부터 3차원 가우시안 분포의 공분산행렬, 크기(scaling) 행렬, 회전(rotation) 행렬 등을 계산하여 최종적으로 해당 화소에 최적화된 가우시안 3D 필터링 커널(filtering kernel)을 생성한다. 이와 같은 방법은 커널 생성과 적용시 요구되는 계산량이 방대하고, 노이즈가 평탄하게 제거되지 않아 제품화가 어렵다는 문제점이 존재한다.

또한, 비지역 평균 기반 방법은 국부 영역이 가진 특성이 영상의 다른 부분에서도 발견된다는 성질을 이용하는 것이다. 비지역 평균 기반 방법은 먼저 특정 크기의 블록에 대해, 이 블록과 유사한 블록을 영상에서 찾고, 찾아진 블록끼리 모아서 특성에 적합한 노이즈 제거 필터링을 수행한다. 그 후 필터링된 블록들을 다시 원래의 자리로 위치시킨다. 비지역 평균 기반 방법은, 영상 노이즈 제거 성능이 좋지만 특정 블록에 대해 유사한 블록들을 영상 전체에서 검색해야 하는 문제가 있으며, 블록 아티팩트(artifact)가 발생하는 문제점이 존재한다.

본 발명은 노이즈 신호의 시간적 및 공간적 특성을 분석하여 적은 계산량으로 노이즈를 제거할 수 있는 방법을 제시하는 것을 일 목적으로 한다.

또한, 저조도 환경에서도 가능한 노이즈 제거 방법을 제공하는 것을 다른 목적으로 한다.

본 발명에 있어서, 상기 휘도 획득부는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈부는 상기 제1 필터링값을 메모리로부터 획득할 수 있다.

본 발명에 있어서, 상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상일 수 있다.

본 발명에 있어서, 상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성할 수 있다.

본 발명에 있어서, 상기 제1 필터링부 또는 제2 필터링부는 저역 통과 필터(low pass filter)를 적용할 수 있다.

본 발명에 있어서, 상기 게인 연산은 가감승제 연산을 조합한 것일 수 있다.

본 발명에 있어서, 상기 게인 연산부는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성할 수 있다.

본 발명의 다른 실시예는 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리 단계; 이전 프레임 영상의 휘도 데이터에 필터를 적용한 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈 단계; 상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링 단계; 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산 단계; 를 포함하는 노이즈 제거 방법을 개시한다.

본 발명에 있어서, 이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득 단계; 이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링 단계; 를 추가적으로 포함할 수 있다.

본 발명에 있어서, 상기 휘도 획득 단계는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈 단계는 상기 제1 필터링값을 메모리로부터 획득할 수 있다.

본 발명에 있어서, 상기 제1 필터링 단계 또는 제2 필터링 단계는 저역 통과 필터(low pass filter)를 적용할 수 있다.

본 발명에 있어서, 상기 게인 연산 단계는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성할 수 있다.

본 발명에 의하면, 노이즈 신호의 시간적 및 공간적 한 특성을 분석하여 적은 계산량으로 노이즈를 제거함과 동시에 저조도 영상의 휘도 데이터를 강조할 수 있는 노이즈 제거 방법이 개시될 수 있다.

본 발명에 의하면, 절대적 계산량이 저감되고, 필터링 커널에 의한 비평탄화 흔적이 나타나지 않으며, 블록 처리에 의한 블록 아티팩트(artifact)가 감소된 노이즈 제거 방법이 개시될 수 있다.

도 1은 본 발명의 일 실시예에 따른 노이즈 제거 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 노이즈 제거 서버의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 노이즈 제거 서버가 입력 영상을 수신하여 노이즈가 제거된 출력 영상을 생성하는 것을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 노이즈 제거 서버의 동작을 블록도로 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 노이즈 제거 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 노이즈 제거 서버(100)는 노이즈 제거 서버(100), 복수의 네트워크 카메라들(200) 및 네트워크(300)를 포함한다.

도 1을 참조하면, 복수 개의 카메라들(200)이 네트워크(300)를 통해 노이즈 제거 서버(100)와 데이터를 주고받고 있다. 구체적으로, 복수 개의 카메라들(200)은 통신 채널(DCOM)을 통하여 노이즈 제거 서버(100)와 통신하면서, 영상 데이터 채널(DIMA)을 통하여 라이브 뷰 동영상 데이터를 노이즈 제거 서버(100)에 전달한다. 물론 복수 개의 감시 카메라가 아닌 한 개의 감시 카메라만 노이즈 제거 서버(100)와 통신할 수도 있고, 한 개의 감시 카메라 또는 복수 개의 감시 카메라들이 복수 개의 노이즈 제거 서버(100)들과 통신할 수도 있는 등 다양한 변형이 가능함은 물론이다.

이때, 복수 개의 감시 카메라들(200)은 감시 카메라로서 저조도 환경에서도 노이즈 제거 서버(100)에 영상 데이터를 전송할 수 있다. 감시 카메라의 경우 24시간 감시 영상이 필요하므로, 때에 따라서는 야간 혹은 어두운 곳과 같은 저조도의 환경에 감시 카메라가 설치될 수 있다. 복수 개의 감시 카메라들(200)이 설치된 경우에 저조도 영상을 노이즈 제거 서버(100)로 송출하여 노이즈를 제거할 필요가 있다.

여기서 통신 채널(DCOM) 및 영상 데이터 채널(DIMA)을 형성하는 네트워크(300)는 유선 또는 무선으로 데이터나 명령을 송수신할 수 있는 모든 수단이 될 수 있다. 예를 들어, 네트워크(300)는 케이블을 통하여 유선으로 복수 개의 카메라들(200)과 노이즈 제거 서버(100)를 연결할 수도 있으며, 무선 랜 등을 사용하여 무선으로 복수 개의 카메라들(200)과 노이즈 제거 서버(100)를 연결할 수도 있다.

노이즈 제거 서버(100)는 일반 컴퓨팅 장치 및 서버 장치 등이 제한 없이 사용될 수 있다. 예를 들어, 노이즈 제거 서버(100)로 감시 카메라용 컨트롤 시스템 등이 사용될 수도 있을 것이다. 노이즈 제거 서버(100)는 필요에 따라 복수 개의 카메라들(200)로부터의 실시간 동영상을 저장할 수도 있다.

노이즈 제거 서버(100)는 복수 개의 감시 카메라들(200)로부터 획득한 영상에서 노이즈를 제거하는 역할을 한다. 특히, 노이즈 제거 서버(100)는 복수 개의 감시 카메라들(200)로부터 획득한 영상이 저조도 영상일 때 더 우수한 품질로 노이즈를 제거할 수 있다.

일반적으로, 저조도 영상은 일반 환경에서 획득한 영상보다 카메라 자체의 문제 등으로 인하여 더욱 심한 노이즈를 가진다. 또한, 저조도 영상에서는 휘도가 낮아 피사체의 구분이 어려우므로 사용자는 노이즈를 더 심하게 느끼는 경향이 있다. 복수 개의 감시 카메라들(200)로부터 획득한 t 프레임의 노이즈가 존재하는 원본 영상을 I(t), 노이즈를 N(t), 노이즈가 제거된 영상을 dnI(t)라 할 때, 원본 영상 I(t)는 아래의 수학식 1과 같이 표현될 수 있다.

[수학식 1]

I(t) = dnI(t) + N(t)

본 발명의 일 실시예에 의하면, 노이즈 제거 시스템은 노이즈 영상 I(t)를 획득하여 시간적, 공간적 필터링을 수행하여 노이즈가 제거된 영상인 dnI(t)를 획득한다. 보다 상세히, 공간적 필터링을 수행하기 위해 저역 통과 필터를 사용하고, 시간적 필터링을 수행하기 위해 이전 프레임 영상의 휘도 데이터를 참조한다.

영상에 포함된 노이즈는 한 프레임 내에서는 특정한 평균과 표준편차의 가우시안 분포의 통계적 특성을 갖는 것으로 해석할 수 있다. 즉 노이즈는 공간축(spatial)에서는 가우시안 분포를 가지고 있으므로 이 특성을 잘 이용한 저역 통과 필터(Low Pass Filter)를 이용하면 영상에 존재하는 노이즈를 어느 정도 제거할 수 있다. 다음 프레임 영상의 노이즈도 이전 프레임 영상과 유사한 통계적 분포를 가지고 있다고 할 수 있으므로, 역시 저역 통과 필터를 이용하여 영상에 존재하는 노이즈를 제거할 수 있다.

상술한 바와 같이, 각 프레임 영상에 포함된 노이즈 신호는 통계적으로 어느 정도 모델링이 가능하다. 하지만, 특정 픽셀에 대하여 시간축(temporal)의 관점에서 살펴보면, 이전 프레임에서 존재하던 노이즈가 다음 프레임의 동일 위치에서는 존재하지 않을 확률이 더 크다. 즉, 노이즈는 시간축의 관점에서 보면 위치를 이동하는 것으로 해석할 수 있다. 따라서, 프레임간의 노이즈를 비교해보면 이전 프레임과 다음 프레임은 같은 픽셀 위치에 노이즈가 계속해서 존재할 가능성이 크지 않다. 즉, 특정 픽셀에 대해 현재 프레임에 나타나는 노이즈는 이전 프레임에서는 존재하지 않거나 그 강도가 상당히 변해있을 가능성이 매우 크다.

따라서, 본 발명의 일 실시예에 따른 노이즈 제거 시스템은 공간적으로는 저역 통과 필터링을 사용하여 노이즈를 제거하되, 시간적으로 이전 프레임 영상의 휘도 데이터를 참조함으로써 저조도 환경에서의 영상에 존재하는 노이즈를 효과적으로 제거할 수 있다.

도 2는 본 발명의 일 실시예에 따른 노이즈 제거 서버(100)의 내부 구성을 나타낸 도면이다.

도 2를 참조하면, 노이즈 제거 서버(100)는 채널 분리부(111), 휘도 획득부(112), 곱셈부(113), 제1 필터링부(114), 제2 필터링부(115), 게인 연산부(116), 메모리(120) 및 제어부(130)를 포함한다.

노이즈 제거 서버(100)의 제어부(130)는 채널 분리부(111), 휘도 획득부(112), 곱셈부(113), 제1 필터링부(114), 제2 필터링부(115), 게인 연산부(116), 및 메모리(120) 간의 데이터 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(130)는 노이즈 제거 서버(100)의 외부로부터의/로의 데이터 흐름 또는 노이즈 제거 서버(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 채널 분리부(111), 휘도 획득부(112), 곱셈부(113), 제1 필터링부(114), 제2 필터링부(115), 게인 연산부(116), 및 메모리(120)에서 각각 고유 기능을 수행하도록 제어할 수 있다.

도 3은 본 발명의 일 실시예에 따라 노이즈 제거 서버(100)가 입력 영상을 수신하여 노이즈가 제거된 출력 영상을 생성하는 것을 나타낸 도면이다.

도 4는 본 발명의 일 실시예에 따라 노이즈 제거 서버(100)의 동작을 블록도로 나타낸 도면이다.

이하에서는, 도 2 내지 도 4를 참조하여 노이즈 제거 서버(100)가 입력 영상에서 노이즈를 제거하는 과정을 설명한다.

먼저, 도 3 및 도 4를 참조하면 노이즈 제거 서버는 입력 영상(INPUT)으로 I(t)를 입력받는다.

다음으로, 도 2의 채널 분리부(111)는 영상을 레드(red), 그린(green), 블루(blue)의 세가지 채널, 즉 RGB 채널 각각으로 분리하는 역할을 수행한다. 채널 분리부(111)는 순차적으로 들어오는 모든 영상에 대해 RGB 변환을 실시한다.

RGB란 빛의 삼원색을 이용하여 색을 표현하는 방식으로, 레드(RED), 그린(GREEN), 블루(BLUE) 세종류의 광원(光源)을 이용하여 색을 혼합하며 색을 섞을수록 밝아진다. 레드, 그린, 블루 채널을 모두 지칭하여 색상 채널이라 나타낼 수 있다. 채널 분리부(111)는 영상을 분석하여 레드 채널, 그린 채널 및 블루 채널을 생성하여 메모리(120)에 저장할 수 있다.

도 3 및 도 4를 참조하면, 채널 분리부(111)가 입력 영상 I(t)로부터 생성한 t 프레임에서의 레드, 그린, 블루 채널의 영상 데이터는 각각 R(t), G(t), B(t)로 표현될 수 있다.

저조도 환경에서 촬영된 영상을 분석해보면, 레드, 그린, 블루 채널의 신호 강도(intensity)의 비율이 크게 차이나는 경우가 존재한다. 따라서 노이즈 제거를 위해 현재의 레드, 그린, 블루 채널과 이전 프레임의 레드, 그린, 블루 채널을 비교하는 경우, 색상 별 채널 특성이 노이즈 특성으로 반영되어 노이즈가 제대로 제거될 수 없다. 이러한 단점을 보완하기 위해 본 발명의 일 실시예에서는 이전 프레임의 레드, 그린, 블루 채널 별 영상 데이터로부터 휘도(luminance) 데이터값을 산출하고 이 휘도 데이터를 현재 프레임의 레드, 그린, 블루 채널의 영상 데이터와 비교하는 기준으로 사용한다.

이를 위해, 도 2의 휘도 획득부(112)는 영상의 휘도 데이터를 산출하는 역할을 한다. 휘도 획득부(112)는 산출된 영상의 휘도 데이터를 메모리(120)에 임시적으로 저장할 수 있다. 본 발명의 일 실시예에 따른 노이즈 제거 방법에서는, 휘도 획득부(112)는 이전 프레임 영상의 휘도를 산출하여 현재 영상의 노이즈 제거 방법에 사용한다. 현재의 특정 픽셀의 값을 결정하기 위하여 이전 프레임의 휘도(luminance) 데이터 값을 이용하면 각 채널의 밝기 차이로 인해 발생하는 노이즈 제거 성능의 차이를 극복할 수 있으며 프레임 간의 노이즈 특성을 반영한 노이즈 제거가 가능한다.

휘도 획득부(112)는 채널 분리부(111)가 생성한 레드, 그린, 블루 채널의 영상 데이터를 기초로 휘도 데이터를 생성할 수 있다. 휘도 획득부(112)가 생성한 t 프레임에서의 휘도 데이터를 Y(t)라 할 때, Y(t)는 아래의 [수학식 1]과 같이 산출될 수 있다.

[수학식 1]

Y(t) = 0.299*R(t) + 0.587*G(t) + 0.114*B(t)

도 3 및 도 4를 참조하면, 휘도 획득부(122)는 입력 영상 I(t)의 휘도 데이터를 Y(t)로 생성하는 것을 알 수 있다.

한편, t 프레임을 현재 프레임이라 가정할 때, 이전 프레임인 t-1 프레임의 휘도 데이터는 위의 [수학식 1]과 같은 산출 방법을 통해 Y(t-1)로 구해질 수 있다.

다음으로, 도 2의 제1 필터링부(114)는 휘도 데이터에 저역 통과 필터링을 실시하고, 곱셈부(113)는 필터링된 휘도 데이터와 색상 채널 별 영상 데이터를 곱하는 역할을 한다.

보다 상세히, 제1 필터링부(114)는 이전 프레임의 휘도 데이터에 저역 통과 필터(low pass filter)를 적용할 수 있다. 제1 필터링부(114)는 이전 프레임의 휘도 데이터를 메모리로부터 읽어 획득할 수 있다. 상술한 바와 같이, 이전 프레임의 휘도 데이터는 Y(t-1)이라 표현되고, 이전 프레임의 휘도 데이터에 저역 통과 필터를 적용한 제1 필터링값은 FY(t-1)이라 표현될 수 있다. F()는 저역 통과 필터링 연산을 의미한다.

도 3 및 도 4를 참조하면, 제1 필터링부(114)에 의해 현재 프레임의 휘도 데이터 Y(t)가 저역 통과 필터(LPF)를 통과하여 FY(t)가 생성되고, 생성된 FY(t)는 메모리(120)에 저장됨을 알 수 있다. 메모리에 저장된 제1 필터링값 FY(t)는 다음 프레임 영상의 노이즈 제거를 위해 사용된다. 도 3 및 도 4의 예를 참조하며, 현재 프레임 영상의 노이즈를 제거하기 위해서는 메모리에 저장된 이전 프레임 영상의 제1 필터링값 FY(t-1)이 사용된다.

다음으로, 도 2의 곱셈부(113)는 제1 필터링부(114)에 의해 생성된 이전 프레임의 제1 필터링값인 FY(t-1)와 색상 채널 별 영상 데이터인 R(t), G(t), B(t)를 각각 곱하는 역할을 한다. 곱셈부(113)에 의해 산출된 값을 색상 채널 별 곱셈값이라 칭하며, 레드, 그린, 블루 각각에 대한 색상 채널 별 곱셈값이 생성된다. 보다 상세히, 도 3 및 도 4를 참조하면 레드 채널 영상 데이터와 제1 필터링값을 곱하여 레드 채널 곱셈값인 R(t)*FY(t-1)가 생성되고, 그린 채널 영상 데이터와 제1 필터링값을 곱하여 그린 채널 곱셈값인 G(t)*FY(t-1)가 생성되며, 블루 채널 영상 데이터와 제1 필터링값을 곱하여 블루 채널 곱셈값인 B(t)*FY(t-1)가 생성된다.

다음으로, 도 2의 제2 필터링부(115)는 색상 채널 별 곱셈값에 저역 통과 필터링을 수행하여 색상 채널 별 제2 필터링값을 산출하는 역할을 한다. 보다 상세히, 도 3 및 도 4를 참조하면 레드 채널 곱셈값인 R(t)*FY(t-1)에 저역 통과 필터(LPF)를 적용하여 레드 채널 제2 필터링값인 F(R(t)*FY(t-1)) 을 생성한다. 또한, 그린 채널 곱셈값인 G(t)*FY(t-1)에 저역 통과 필터를 적용하여 그린 채널 제2 필터링값인 F(G(t)*FY(t-1)) 을 생성한다. 또한, 블루 채널 곱셈값인 B(t)*FY(t-1)에 저역 통과 필터를 적용하여 블루 채널 제2 필터링값인 F(B(t)*FY(t-1)) 을 생성한다.

도 2의 게인 연산부(116)는 색상 채널 별 제2 필터링값에 게인 연산을 행하여 노이즈가 제거된 색상 채널 별 영상 데이터를 획득한다. 게인 연산에서는 적절한 상수나 변수의 곱셉, 나눗셈, 덧셈, 뺄셈 연산이 수행된다. 게인 연산을 G()라 할 때, 도 3 및 도 4의 예와 같이 색상 채널 별 제2 필터링값에 게인 연산이 행해지면 G(F(R(t)*FY(t-1))), G(F(G(t)*FY(t-1))), G(F(B(t)*FY(t-1)))이 산출된다.

상술한 바와 같이, 노이즈 영상의 노이즈 제거 함수를 dn()이라 나타낼 때, 색상 채널 별 노이즈 제거 영상은 각각 dnR(t), dnG(t), dnB(t)가 된다. 색상 채널 별 노이즈 영상은 게인 연산부(116)에 의해 산출된 게이즈가 제거된 색상 채널 별 영상 데이터로서, 아래의 [수학식 2]와 같이 표현될 수 있다.

[수학식 2]

dnR(t) = G(F(R(t)*FY(t-1)))

dnG(t) = G(F(G(t)*FY(t-1)))

dnB(t) = G(F(B(t)*FY(t-1)))

따라서, 본 발명의 일 실시예에 의하면 dnR(t), dnG(t), dnB(t)를 조합하여 최종적으로 노이즈가 제거된 출력 영상인 dnI(t)를 획득할 수 있다.

참고로, 본 명세서에서는 게인 연상을 G()로 표현하였으며, 공지된 다양한 방법의 게인 연산이 본 발명에 사용될 수 있다. 예를 들어, 상수 곱과 상수 합에 의한 게인 연산법, 톤 매핑(tone mapping)에 의한 증폭 방법, 감마 보정에 의한 게인 연산법 등이 제안 없이 사용될 수 있다.

도 5는 본 발명의 일 실시예에 따른 노이즈 제거 방법을 나타낸 순서도이다.

도 5를 참조하면, 먼저 노이즈 제거 서버는 카메라로부터 현재 프레임의 원본 노이즈 영상을 입력 영상 I(t)로 획득한다(S1).

다음으로, 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터 R(t),G(t), B(t)를 생성한다(S2).

다음으로, 이전 프레임의 색상 채널 별 영상 데이터로부터 산출된 휘도 데이터 Y(t-1)를 메모리로부터 획득한다(S3).

다음으로, 이전 프레임 영상의 휘도 데이터에 저역 통과 필터(LPF)를 적용하여 제1 필터링값 FY(t-1)을 생성한다(S4).

다음으로, 제1 필터링값을 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값 R(t)*FT(t-1), G(t)*FT(t-1), B(t)*FT(t-1)을 생성한다(S5).

다음으로, 색상 채널 별 곱셈값에 저역 통과 필터(LPF)를 적용하여 색상 채널 별 제2 필터링값 F(R(t)*FT(t-1)), F(G(t)*FT(t-1)), F(B(t)*FT(t-1))을 생성한다(S6).

다음으로, 색상 채널 별 제2 필터링값에 게인 연산을 행하여 dnR(t), dnG(t), dnB(t)를 획득한다(S7).

다음으로, dnR(t), dnG(t), dnB(t)로부터 노이즈가 제거된 영상 dnI(t)를 출력한다(S8).

이상 설명된 본 발명에 따른 노이즈 제거 방법의 실시예는, 하나의 프레임 내에서는 공간적으로 저역 통과 필터링을 수행하여 프레임 내에서 노이즈의 레벨을 낮출 수 있다. 또한 시간적으로 프레임간에 대해서는 R, G, B 채널간의 강도 차이와 노이즈 차이를 최소화하고자 휘도 신호를 이용하였고, 현재 프레임의 R, G, B 채널과 이전 프레임의 휘도 데이터를 서로 곱함으로써, 현재 프레임에서의 노이즈 레벨은 감소시키고 휘도 성분은 강화하는 결과를 얻을 수 있다. 이와 같은 본 발명의 일 실시예에 의하면, 기존 방법들에 비해 노이즈 제거를 위한 연산량이 획기적으로 감소할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100: 노이즈 제거 서버 111: 채널 분리부
112: 휘도 획득부 113: 곱셈부
114: 제1 필터링부 115: 제2 필터링부
116: 게인 연산부 120: 메모리
130: 제어부 200: 카메라
300: 네트워크

Claims

현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리부;
이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득부;
이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링부;
상기 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈부;
상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링부;
상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산부;
를 포함하는 노이즈 제거 시스템.
제1항에 있어서,
상기 휘도 획득부는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈부는 상기 제1 필터링값을 메모리로부터 획득하는 노이즈 제거 시스템.
제1항에 있어서,
상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상인 노이즈 제거 시스템.
제1항에 있어서,
상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성하는 노이즈 제거 시스템.
제1항에 있어서,
상기 제1 필터링부 또는 제2 필터링부는 저역 통과 필터(low pass filter)를 적용하는 노이즈 제거 시스템.
제1항에 있어서,
상기 게인 연산은 가감승제 연산을 조합한 것인 노이즈 제거 시스템.
제1항에 있어서,
상기 게인 연산부는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성하는 노이즈 제거 시스템.
현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리 단계;
이전 프레임 영상의 휘도 데이터에 필터를 적용한 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈 단계;
상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링 단계;
상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산 단계;
를 포함하는 노이즈 제거 방법.
제8항에 있어서,
이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득 단계;
이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링 단계;
를 추가적으로 포함하는 노이즈 제거 방법.
제9항에 있어서,
상기 휘도 획득 단계는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈 단계는 상기 제1 필터링값을 메모리로부터 획득하는 노이즈 제거 방법.
제8항에 있어서,
상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상인 노이즈 제거 방법.
제8항에 있어서,
상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성하는 노이즈 제거 방법.
제9항에 있어서, 상기 제1 필터링 단계 또는 제2 필터링 단계는 저역 통과 필터(low pass filter)를 적용하는 노이즈 제거 방법.
제8항에 있어서, 상기 게인 연산은 가감승제 연산을 조합한 것인 노이즈 제거 방법.
제8항에 있어서,
상기 게인 연산 단계는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성하는 노이즈 제거 방법.