KR101585963B1 - 이미지 센서 노이즈 모델 기반 필터링 방법 및 이를 적용한 영상 시스템 - Google Patents

Abstract

이미지 센서 노이즈 모델 기반 필터링 방법 및 이를 적용한 영상 시스템이 제공된다. 본 발명의 실시예에 따른 필터링 방법은, 필터를 이용하여 입력된 영상을 처리하여 출력하는데, 필터는 공간 필터와 레인지 필터를 포함하고, 레인지 필터는 특정 범위에 포함되는 픽셀에 대해서는 적용되고 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는다. 이에 의해, 이미지 센서 노이즈를 직접적으로 이용해서 필터링이 가능하여 필터링 성능을 향상시킬 수 있게 된다.

Description

이미지 센서 노이즈 모델 기반 필터링 방법 및 이를 적용한 영상 시스템{Filtering Method based on Image Sensor Noise-Model and Image System using the same}

본 발명은 필터링 기술에 관한 것으로, 더욱 상세하게는 카메라의 이미지 센서를 통해 생성한 영상을 필터링하는 방법 및 이를 적용한 영상 시스템에 관한 것이다.

필터링 기술은 주변 픽셀과의 가중치 합을 통해서 새로운 컬러 값을 채우거나 노이즈를 제거하는데 이용된다. 이러한 가중치 합을 통해서 컬러 값을 계산하는 방법들은 경계선이나 코너 부근에서 영상을 블러(blur) 시킬 수 있으며, 각 픽셀에 맞는 가중치를 결정하는 것도 매우 어려운 문제 중의 하나이다.

노이즈를 제거하는 과정에서도 주변의 유사한 컬러를 갖는 픽셀들과 합을 취하고 유사하지 않는 컬러를 갖는 픽셀들은 배제를 해야 실제 컬러에 가까운 픽셀의 컬러 값을 결정할 수 있지만, 노이즈가 카메라의 게인이나 픽셀에서의 밝기값(intensity)에 연관이 있기 때문에 유사함의 정도를 계산하는 것이 쉽지 않다.

주변 픽셀과의 유사성을 이용하여 필터링하는 양방향 필터는 픽셀들 간 컬러 차이에 따라 가중치를 결정하기 때문에 기존의 필터링 방법들에 비해서 경계선 부분에서 좀 더 효과적인 결과를 얻을 수 있었다.

하지만, 이러한 중심 픽셀과 주변 픽셀과의 컬러 차이가 노이즈에 의한 외란 때문에 결정하기가 쉽지 않고, 이러한 노이즈가 카메라의 파라미터에 따라 달라지기 때문에, 기존의 필터링 방법으로는 노이즈를 고려한 정확한 필터링을 할 수 없게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 카메라의 물리적 특성상 존재할 수 밖에 없는 이미지 센서 노이즈를 직접적으로 이용해서 필터링을 수행하는 방법 및 이를 적용한 영상 시스템을 제공함에 있다.

또한, 본 발명의 다른 목적은, 노이즈 모델 기반 양방향 필터를 이용하여 노이즈 제거, 해상도 변환, 디모자이킹, 노이즈 제거-디모자이킹 협업 등을 처리하는 방법 및 이를 적용한 영상 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 필터링 방법은, 영상을 입력받는 단계; 필터를 이용하여 입력된 영상을 처리하는 단계; 및 처리된 영상을 출력하는 단계;를 포함하고, 상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며, 상기 레인지 필터는, 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는다.

그리고, 상기 레인지 필터는, 특정 픽셀과 픽셀 값 차이가, 상기 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 상기 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않을 수 있다.

또한, 상기 특정 범위는, 카메라의 파라미터에 의해 결정될 수 있다.

그리고, 상기 카메라의 파라미터는, 게인(gain)과 셔터 속도(shutter speed) 중 적어도 하나를 포함할 수 있다.

또한, 상기 처리 단계는, 상기 입력된 영상을 상기 필터로 필터링하여, 상기 영상에서 노이즈를 제거할 수 있다.

그리고, 본 발명의 일 실시예에 따른, 필터링 방법은, 다수의 영상들에 대한 평균 영상을 기준 영상으로 사용하여, 상기 입력된 영상에 대한 노이즈 제거 성능을 평가하는 단계;를 더 포함할 수 있다.

또한, 상기 처리 단계는, 상기 입력된 영상에서 센서 출력 픽셀들을 이용하여, 주변 픽셀들을 인터폴레이션 하는 단계; 및 인터폴레이션된 영상을 상기 필터로 필터링하는 단계;를 포함할 수 있다.

그리고, 상기 처리 단계는, 필터링된 영상에서 상기 센서 출력 픽셀들을 상기 필터로 다시 필터링하는 단계; 및 필터링된 영상을 상기 필터로 다시 필터링하는 단계;를 더 포함할 수 있다.

또한, 상기 처리 단계는, 상기 영상을 업-샘플링, 다운-샘플링 또는 초-해상도(Super-resolution) 변환하는 단계; 및 변환된 영상을 상기 필터로 필터링하는 단계;를 포함할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 영상 시스템은, 영상을 입력받는 입력부; 필터를 이용하여 입력된 영상을 처리하는 처리부; 및 처리된 영상을 출력하는 출력부;를 포함하고, 상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며, 상기 레인지 필터는, 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않는다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 카메라의 파라미터인 게인과 셔터 속도의 변화나 촬영하고 있는 장면 변화, 조명 변화 등에 강인하게 필터링을 수행할 수 있다.

또한, 본 발명의 실시예들에 따르면, 기존의 디모자이킹과 노이즈 제거를 각각 적용하는 카메라 프로세싱에 비해서, 노이즈 제거를 통해 디모자이킹을 정확하게 할 수 있고, 디모자이킹을 통해 다시 노이즈 제거를 할 수 있는, 서로 상보적인 디모자이킹 및 노이즈 제거를 수행할 수 있다.

기존의 노이즈 제거 방법은 임의의 영상에 노이즈를 입히고 그 노이즈를 제거하는 방법을 주로 제안하였는데, 본 발명의 실시예는 카메라에서 영상이 획득될 때 발생하는 이미지 센서 노이즈를 제거하는 방법이며, 이는 노이즈 제거 뿐만 아니라 디모자이킹, 업-샘플링, 다운-샘플링과 같은 다양한 기존의 필터링 방법에 적용될 수 있어, 다양한 응용이 가능하다는 장점이 있다.

도 1은 공간 필터를 예시한 도면,
도 2는 레인지 필터를 예시한 도면,
도 3은 입력 영상(a)과 노이즈 모델 기반 양방향 필터를 이용하여 필터링한 영상(b)을 나타낸 도면,
도 4는 노이즈 모델 기반 양방향 필터를 이용한 디모자이킹 과정을 도시한 도면,
도 5는 양방향 인터폴레이션의 개념 설명에 제공되는 도면,
도 6은 노이즈 제거-디모자이킹 협업 처리의 개념 설명에 제공되는 도면, 그리고,
도 7은 본 발명이 적용가능한 영상 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

1. 필터링 방법

본 발명의 실시예에 따른 필터링 방법은, 카메라의 이미지 센서 노이즈 모델에 기반한 필터링 기법을 활용한다. 구체적으로, 필터링을 수행할 때, 1) 노이즈에 의한 변화만큼의 또는 그 미만의 차이를 갖는 픽셀들은 같은 컬러 값을 갖는다고 가정하여 필터링에 포함시키는 반면, 2) 노이즈에 의한 변화보다 큰 차이를 갖는 픽셀들은 서로 다른 컬러 값을 갖는다고 가정하여 필터링에 포함시키지 않는다.

즉, 본 실시예에 따른 필터링 방법은, 필터링을 수행할 때, 카메라의 이미지 센서 노이즈 모델에 기반하여, 두 픽셀 간의 컬러 차이가 노이즈에 의해서 생긴 것인지, 아니면 영상에서의 실제 컬러 변화에 의해서 생긴 것이지를 고려하여, 필터링을 수행한다고 할 수 있다.

2. 양방향 필터

본 실시예에 따른 필터링 방법에서 사용하는 노이즈 모델 기반 양방향 필터(Noise-Model based Bilateral Filter)를 아래의 수학식 1에 나타내었다.

위 수학식 1을 통해 알 수 있는 바와 같이, 본 실시예에 따른 필터링 방법에서 사용하는 양방향 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함한다.

공간 필터는 특정 픽셀로부터의 거리에 따라 가중치가 결정되는 필터이다. 공간 필터는, 도 1에 도시된 바와 같이, 필터-윈도우 상의 중앙 픽셀로부터의 거리가 가까울수록 가중치가 큰 가우시안 필터(Gaussian Filter)로 구현가능하지만, 반드시 그러한 것은 아니다. 다른 종류의 필터로 구현하는 것도 가능하다.

레인지 필터(Range Filter)는 특정 픽셀과의 픽셀 값 차이에 따라 가중치가 결정되는 필터이다. 본 실시예에 적용가능한 레인지 필터를 아래의 수학식 2에 나타내었다.

도 2에는 수학식 2에 나타난 레인지 필터를 도시하였다. 도 2에서 μ는 필터-윈도우 상의 중앙 픽셀과의 픽셀 값 차이를 나타내는 파라미터이며, 주로 스켈람 분포(Skellam distribution)이나 쁘아송 분포(poisson distribution)에서의 μ를 의미한다. 도시된 바와 같이, 레인지 필터는, 특정 범위에 포함되는 픽셀(도 2에서 중앙의 Nonrejection Region에 포함되는 픽셀)에 대해서는 필터링을 적용하고, 특정 범위를 벗어나는 픽셀(도 2에서 양측의 Rejection Region에 포함되는 픽셀)에 대해서는 필터링을 적용하지 않는다.

레인지 필터의 "Nonrejection Region"과 "Rejection Region"의 경계를 결정하는 임계값(Critical Value)은 카메라 파라미터에 따라 가변적이다. 여기서, 카메라 파라미터는, 게인(gain : ISO 감도)과 셔터 속도(shutter speed)를 포함한다.

카메라 파라미터로부터 임계값을 결정하는 함수는, 특정 함수로 제한되는 것은 아니며, 영상과 카메라의 사양에 따라 적절하게 구현할 수 있음은 물론이다. 또한, 게인과 셔터 속도는 카메라 파라미터의 예시로, 그 밖의 다른 카메라 파라미터로 대체되거나, 다른 카메라 파라미터를 추가하는 것이 가능하다.

3. 필터링 응용

이하에서는, 위에서 제시한 노이즈 모델 기반 양방향 필터를 이용하여 영상을 처리하는 응용들에 대해, 구체적인 예들을 들어 상세히 설명한다.

3.1. 노이즈 제거(Denoising)

위에서 제시한 노이즈 모델 기반 양방향 필터로 입력 영상을 필터링 하여, 영상에서 노이즈를 제거할 수 있다.

일반적인 노이즈 제거 방법은 가우시안 커널을 통해 영상의 모든 영역을 평탄화하는 방법으로 수행되지만, 노이즈 모델 기반 양방향 필터를 이용하게 되면, 이미지 센서 노이즈에 의한 밝기의 변화 범위 안에 있다면 영상을 평탄화 시키지 않음으로써 상세한 경계를 찾을 수 있을 뿐만 아니라 영상에서의 노이즈도 효과적으로 경감시킬 수 있다.

도 3에는, 입력 영상(a)과 노이즈 모델 기반 양방향 필터를 이용하여 입력 영상을 필터링한 영상(b)을 나타내었다.

3.2. 해상도 변환

입력 영상의 해상도 변환 시에, 위에서 제시한 노이즈 모델 기반 양방향 필터를 이용할 수 있다.

구체적으로, 입력 영상을 업-샘플링, 다운-샘플링 또는 초-해상도(Super-resolution) 변환한 후에, 변환된 영상을 노이즈 모델 기반 양방향 필터로 필터링하여 마무리할 수 있다.

3.3. 디모자이킹(Demosaicing)

입력 영상의 디모자이킹 시에, 위에서 제시한 노이즈 모델 기반 양방향 필터를 이용할 수 있다. 디모자이킹은 RAW 영상으로부터 RGB 영상을 만드는 영상 처리이다.

즉, 디모자이킹은 CFA(Color Filter Array)로 구성된 이미지 센서의 출력을 컬러 이미지로 변환하는 것이며, 도 4에는 노이즈 모델 기반 양방향 필터를 이용한 디모자이킹 과정이 도시되어 있다.

도 4에서 입력되는 Bayer pattern은, 정해진 위치에 R,G,B중 하나의 값만을 가지고 있으므로, 빈 픽셀들을 채우기 위해, 도 5에 도시된 바와 같이 주변 픽셀들을 이용한 양방향 인터폴레이션(Bilinear Interpolation)이 필요하다. 양방향 인터폴레이션은 Bayer pattern에서 RGB 각 채널별 위치의 가중치에 의한 평균값으로 정보가 없는 부분을 채워 넣는 방식이다.

그리고, 양방향 인터폴레이션이 완료된 영상에 대해, 노이즈 모델 기반 양방향 필터로 필터링하여 마무리한다.

3.4. 노이즈 제거-디모자이킹 협업

도 6에 도시된 바와 같이, 전술한 디모자이킹과 노이즈 제거를 Expectation-maximization Framework에 적용하여 반복적으로 수행해서, 추가할 픽셀 값들을 정확히 찾으면서도 노이즈를 효과적으로 제거하는 것이 가능하다.

구체적으로, 전술한 "3.3"에 의해 디모자이킹이 완료된 영상에서 센서 출력 픽셀들만 노이즈 모델 기반 양방향 필터로 다시 필터링하고, 필터링된 영상 전체를 노이즈 모델 기반 양방향 필터로 다시 필터링하여, 노이즈 제거와 디모자이킹을 한 번 더 반복하는 것이다.

반복 횟수에 대한 제한은 없다. 센서 출력 픽셀들의 필셀 값들이 필터링에 의해서도 변화하지 않을 때까지 반복하는 것이 가능하지만, 그 이전에 그치는 것도 가능하다.

4. 영상 시스템

도 7은 본 발명이 적용가능한 영상 시스템의 블럭도이다. 도 7에 도시된 바와 같이, 본 발명이 적용가능한 영상 시스템은, 영상 입력부(110), 영상 처리부(120), 영상 출력부(130) 및 성능 평가부(140)를 포함한다.

영상 입력부(110)는 영상을 입력받아 필요한 전처리를 수행한 후 영상 처리부(120)에 전달한다. 영상 입력부(110)에 입력되는 영상은 카메라의 이미지 센서에서 생성된 영상, 저장매체로부터 읽어들인 영상, 외부기기나 네트워크로부터 수신한 영상일 수 있다.

영상 처리부(120)는 양방향 필터(125)를 이용하여 전술한 영상 처리들을 수행한다. 양방향 필터(125)는 전술한 노이즈 모델 기반 양방향 필터이고, 영상 처리들은, 노이즈 제거, 영상 변환, 디모자이킹, 노이즈 제거-디모자이킹 협업 등을 의미한다.

영상 출력부(130)는 영상 처리부(120)에서 영상 처리가 완료된 영상을 출력하는 수단이다.

성능 평가부(140)는 영상 출력부(130)에서 출력된 영상과 기준 영상을 비교하여, 영상 처리부(120)에 의한 영상 처리 성능을 비교하기 위한 수단이다. 예를 들어, 노이즈 제거 성능 판단을 위해, 성능 평가부(140)는 다수의 영상들에 대한 평균 영상을 기준 영상(ground truth)으로 생성하여 사용할 수 있다.

본 발명이 적용가능한 영상 시스템에 대한 제한은 없다. 카메라, TV, 모바일 폰 등은 물론, 그 밖의 다른 영상 시스템에 대해서도, 본 발명의 기술적 사상이 적용될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 영상 입력부
120 : 영상 처리부
125 : 양방향 필터
130 : 영상 출력부
140 : 성능 평가부

Claims (10)

1. 영상을 입력받는 단계;
   필터를 이용하여 입력된 영상을 처리하는 단계; 및
   처리된 영상을 출력하는 단계;를 포함하고,
   상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며,
   상기 레인지 필터는,
   특정 픽셀과 픽셀 값 차이가 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않으며,
   상기 특정 범위는,
   카메라의 파라미터에 의해 결정되는 것을 특징으로 하는 필터링 방법.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 카메라의 파라미터는, 게인(gain)과 셔터 속도(shutter speed) 중 적어도 하나를 포함하는 것을 특징으로 하는 필터링 방법.
   
5. 제 1항에 있어서,
   상기 처리 단계는,
   상기 입력된 영상을 상기 필터로 필터링하여, 상기 영상에서 노이즈를 제거하는 것을 특징으로 하는 필터링 방법.
   
6. 제 5항에 있어서,
   다수의 영상들에 대한 평균 영상을 기준 영상으로 사용하여, 상기 입력된 영상에 대한 노이즈 제거 성능을 평가하는 단계;를 더 포함하는 것을 특징으로 하는 필터링 방법.
   
7. 제 1항에 있어서,
   상기 처리 단계는,
   상기 입력된 영상에서 센서 출력 픽셀들을 이용하여, 주변 픽셀들을 인터폴레이션 하는 단계; 및
   인터폴레이션된 영상을 상기 필터로 필터링하는 단계;를 포함하는 것을 특징으로 하는 필터링 방법.
   
8. 제 7항에 있어서,
   상기 처리 단계는,
   필터링된 영상에서 상기 센서 출력 픽셀들을 상기 필터로 다시 필터링하는 단계; 및
   필터링된 영상을 상기 필터로 다시 필터링하는 단계;를 더 포함하는 것을 특징으로 하는 필터링 방법.
   
9. 제 1항에 있어서,
   상기 처리 단계는,
   상기 영상을 업-샘플링, 다운-샘플링 또는 초-해상도(Super-resolution) 변환하는 단계; 및
   변환된 영상을 상기 필터로 필터링하는 단계;를 포함하는 것을 특징으로 하는 필터링 방법.
   
10. 영상을 입력받는 입력부;
    필터를 이용하여 입력된 영상을 처리하는 처리부; 및
    처리된 영상을 출력하는 출력부;를 포함하고,
    상기 필터는, 공간 필터(Spatial Filter)와 레인지 필터(Range Filter)를 포함하며,
    상기 레인지 필터는,
    특정 픽셀과 픽셀 값 차이가 특정 범위에 포함되는 픽셀에 대해서는 적용되고, 특정 범위를 벗어나는 픽셀에 대해서는 적용되지 않으며,
    상기 특정 범위는,
    카메라의 파라미터에 의해 결정되는 것을 특징으로 하는 영상 시스템.
    

Images