KR101327789B1

KR101327789B1 - 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치

Info

Publication number: KR101327789B1
Application number: KR1020070085556A
Authority: KR
Inventors: 문영수; 이시화; 이호진; 유영진
Original assignee: 삼성전자주식회사
Priority date: 2007-08-24
Filing date: 2007-08-24
Publication date: 2013-11-11
Also published as: US20090052775A1; US8548234B2; KR20090020917A

Abstract

본 발명은 카메라에 장착된 이미지 센서로부터 출력된 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치에 관한 것으로, 본 발명에 따른 이미지 노이즈 저감 방법은 이미지의 픽셀들 중 현재 픽셀의 컬러 값과 현재 픽셀의 이웃 픽셀들의 컬러 값간의 차이 값들에 기초하여 현재 픽셀의 컬러 값의 보정 값에 해당하는 컬러 기준 값을 결정하고, 이 컬러 기준 값과 이웃 픽셀들의 컬러 값간의 유사도에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수들을 결정하고, 이 통합 필터 커널 계수들을 적용하여 현재 픽셀의 컬러 값과 이웃 픽셀들의 컬러 값을 가중 평균함으로써 현재 픽셀의 컬러 값의 노이즈를 저감한다.

Description

이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치{Method and apparatus for reducing various noises of image simultaneously}

본 발명은 카메라에 장착된 이미지 센서로부터 출력된 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치에 관한 것으로, 특히 이미지 센서로부터 출력된 CFA 베이어 패턴 이미지의 백색 가우스 노이즈와 임펄스 노이즈를 동시에 저감하는 방법 및 장치에 관한 것이다.

카메라에 장착된 이미지 센서는 외부로부터 입력되는 빛을 전기적 신호로 변환하는 역할을 한다. 이미지 센서는 카메라 이외에도 PMP(Portable Multimedia Player), 휴대폰 등과 같은 다양한 디지털 영상 미디어 기기 등에도 적용되고 있으며, 최근에는 주변 환경 감지를 위해 자동차에도 적용하려는 시도가 있다. 이와 같이, 이미지 센서는 점점 더 다양한 디지털 영상 미디어 기기들에 적용되고 있다. 특히, 고해상도의 디스플레이 패널 상에서 이미지 센서로부터 출력된 이미지가 재생될 때, 이 이미지에 포함된 노이즈가 눈에 띄게 드러나기 때문에, 이미지 센서로부터 출력된 이미지의 노이즈를 제거하는 기술이 핵심 기술로서 자리 매김하고 있다.

이와 같은 이미지 노이즈들 중 대표적인 것들로는 백색 가우스 노이즈(white gaussian noise)와 임펄스 노이즈 (impulse noise)를 들 수 있다. 백색 가우스 노이즈는 넓은 주파수 범위에서 통계적으로 항상 존재하는 노이즈를 말하며, 원래 신호에 겹쳐진 형태로 존재한다. 이미지에 포함된 백색 가우스 노이즈를 저감하기 위하여, 이미지의 어느 한 픽셀의 컬러 값과 이웃 픽셀들의 컬러 값을 적절하게 가중 평균(weighted averaging)함으로써 이 픽셀의 컬러 값을 보정하였다.

반면, 임펄스 노이즈는 원래 신호와는 그 특성이 전혀 다른, 순간적인 날카로운 노이즈를 말한다. 일반적으로, 임펄스 노이즈는 어떤 장치의 내부 회로 또는 전송로 등에서 발생되고, 특히 카메라의 경우, 이미지 센서에 의한 이미지 캡쳐링(capturing) 과정에서 발생된다. 이미지에 포함된 임펄스 노이즈를 저감시키기 위하여, 이미지의 어느 한 픽셀의 이웃 픽셀들의 컬러 값의 중간 값(median value)을 현재 픽셀의 컬러 값으로 사용하였다.

또한, 최근에는 이와 같은 백색 가우스 노이즈와 임펄스 노이즈를 동시에 저감하는 통합 필터에 관한 연구가 활발히 진행되고 있다. 이와 같은 통합 필터에 관한 연구의 대표적인 것들로는 "A universal noise removal algorithm with an impulse detector" (Roman GARNETT, Timothy HUEGERICH, Charles CHUI, WENJIE HE, IEEE transactions on image processing, Volume 14, Number 11, Page 1747-1754, November 2005), "An adaptive spatial filter for additive Gaussian and impulse noise reduction in video signals" (Yong HuangHui, L., Proceedings of the 2003 Joint Conference of the Fourth International Conference, 15-18 December 2003, Volume 1, Page 523-526), "Fast method for noise level estimation and integrated noise reduction" (Bosco, A. Bruna, A. Messina, G. Spampinato, G., IEEE Transactions on Consumer Electronics, Volume 51, Issue 3, Page 1028-1033, August 2005) 등을 들 수 있다. 그러나, 이와 같은 종래의 통합 필터는 매우 복잡한 계산 과정을 필요로 하거나, 이미지의 노이즈 저감 후에 이미지의 미세한 디테일(fine detail)이 뭉개지는 현상이 발생한다는 문제점이 있었다.

본 발명이 이루고자 하는 기술적 과제는 종래의 통합 필터의 복잡도 문제를 해결함과 동시에 이미지의 미세한 디테일을 최대한 그대로 보존할 수 있게 하는 이미지 노이즈 저감 방법 및 장치를 제공하는데 있다. 또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. 본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. 이것은 본 발명이 속하는 기술 분야에서 통상을 지식을 가진 자들이라면 아래의 기재로부터 명확하게 이해될 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 이미지 노이즈 저감 방법은 이미지의 픽셀들 중 현재 픽셀의 컬러 값과 상기 현재 픽셀의 이웃 픽셀들의 컬러 값간의 차이 값들에 기초하여 상기 현재 픽셀의 컬러 값의 보정 값에 해당하는 컬러 기준 값을 결정하는 단계; 상기 결정된 컬러 기준 값과 상기 이웃 픽셀들의 컬러 값간의 유사도에 기초하여 상기 현재 픽셀과 상기 이웃 픽셀들 각각의 가중치를 나타내는 계수들을 결정하는 단계; 및 상기 결정된 계수들을 적용하여 상기 현재 픽셀의 컬러 값과 이웃 픽셀들의 컬러 값을 가중 평균함으로써 상기 현재 픽셀의 컬러 값의 노이즈를 저감하는 단계를 포함한다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 이미지 노이즈 저감 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 이미지 노이즈 저감 장치는 이미지의 픽셀들 중 현재 픽셀의 컬러 값과 상기 현재 픽셀의 이웃 픽셀들의 컬러 값간의 차이 값들에 기초하여 상기 현재 픽셀의 컬러 값의 보정 값에 해당하는 컬러 기준 값을 결정하는 컬러 기준 값 결정부; 상기 결정된 컬러 기준 값과 상기 이웃 픽셀들의 컬러 값간의 유사도에 기초하여 상기 현재 픽셀과 상기 이웃 픽셀들 각각의 가중치를 나타내는 계수들을 결정하는 계수 결정부; 및 상기 결정된 계수들을 적용하여 상기 현재 픽셀의 컬러 값과 이웃 픽셀들의 컬러 값을 가중 평균함으로써 상기 현재 픽셀의 컬러 값의 노이즈를 저감하는 노이즈 저감부를 포함한다.

본 발명에 따르면, 현재 픽셀의 컬러 값의 보정 값에 해당하는 컬러 기준 값을 결정하고, 이 컬러 기준 값에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수들을 결정하고, 통합 필터 커널 계수들을 적용하여 현재 픽셀의 컬러 값의 노이즈를 저감함으로써 이미지의 다양한 노이즈들, 즉 백색 가우스 노이즈와 임펄스 노이즈를 동시에 제거할 수 있다.

특히, 본 발명에 따르면, 컬러 기준 값이라는 매우 간단하게 산출될 수 있는 새로운 개념을 도입함으로써 종래의 통합 필터의 복잡도 문제를 해결함과 동시에 이미지의 미세한 디테일(fine detail)을 최대한 그대로 보존할 수 있게 되었다. 결 국, 본 발명에 따르면, 종래의 통합 필터에 비해 이미지의 노이즈 처리 속도 및 이미지의 화질이 대폭 개선된 통합 필터가 가능하게 되었다.

나아가, 본 발명은 카메라에 장착된 이미지 센서로부터 출력된 단일 컬러 플레인(one color plane)에 해당하는 CFA 베이어 패턴 이미지의 노이즈 저감에 적용될 수 있을 뿐만 아니라, RGB 성분들로 구성된 풀 컬러 이미지(full color image) 또는 그레이 이미지(gray image)에도 적용할 수 있음을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.

도 1은 카메라에 장착된 이미지 센서로부터 출력된 CFA 베이어 패턴 이미지를 도시한 도면이다.

일반적으로, 이미지 센서는 CFA(Color Filter Array)로 구성되는데, 대부분의 이미지 센서는 도 1에 도시된 바와 같은, 이스트만 코닥(Eastman Kodak)의 베이어 박사(Dr. Bryce E. Bayer)에 의해 개발된 베이어 패턴의 CFA로 구성된다. 도 1을 참조하면, CFA 베이어 패턴 이미지는 G(Green) 채널의 픽셀의 점유율은 50%이고, 나머지 R(Red) 채널의 픽셀, B(Blue) 채널의 픽셀의 점유율은 각각 25%이다. 즉, 이미지 센서로부터 출력된 CFA 베이어 패턴 이미지의 픽셀들 각각은 RGB의 세 가지 컬러 성분들 중 어느 하나의 컬러 성분만을 갖는다. 이미지의 픽셀들 각각이 RGB 성분들을 모두 갖는 풀 컬러 이미지(full color image)는 CFA 베이어 패턴 이 미지의 픽셀들 각각에 대한 보간(interpolation) 작업을 통하여 생성된다.

도 2는 도 1에 도시된 CFA 베이어 패턴 이미지의 각 컬러 채널의 픽셀들을 도시한 도면이다.

도 2를 참조하면, CFA의 픽셀들 각각은 필터 계층과 센서 계층으로 구성된다. 필터 계층은 RGB 세 가지의 컬러 성분들 중 어느 하나의 컬러 성분만을 통과시키고, 센서 계층은 필터 계층으로부터 출력된 컬러 성분의 밝기 값을 검출한다. 도 2의 (a)는 G 채널의 픽셀들에 해당하고, 도 2의 (b)는 R 채널의 픽셀들에 해당하고, 도 2의 (c)는 B 채널의 픽셀들에 해당한다.

도 2의 (a)에 도시된 G 채널의 픽셀들 중 중앙에 위치한 픽셀이 이미지 노이즈 저감 장치에 의해 현재 처리 중인 픽셀을 의미하며, 이하에서는 간략하게 "현재 픽셀(current pixel)"이라고 칭하기로 한다. 도 2의 (b) 및 도 2의 (c)에 대해서도 마찬가지이다. 또한, 이하에서는 이미지 센서(31)로부터 출력된 CFA 베이어 패턴 이미지를 간략하게 "이미지"라 칭하기로 한다. 또한, 이하에서는 본 실시예에 대한 설명을 간단하게 하기 위하여 어느 한 픽셀의 컬러 값의 노이즈를 저감하는 측면에서 본 실시예들을 설명할 것이나, 이미지를 구성하는 모든 픽셀들 각각에 대하여 반복적으로 본 실시예들이 적용됨은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 노이즈 저감 장치의 구성도이다.

도 3을 참조하면, 본 실시예에 따른 이미지 노이즈 저감 장치는 컬러 기준 값 결정부(32), 통합 필터 커널 계수 결정부(33), 및 노이즈 저감부(34)로 구성된다.

컬러 기준 값 결정부(32)는 이미지 센서(31)로부터 출력된 이미지의 픽셀들 중 현재 픽셀의 컬러 값 I(x)와 현재 픽셀의 이웃 픽셀(neighboring pixel)들의 컬러 값 {I(x_k)}간의 차이 값들에 기초하여 현재 픽셀의 컬러 값 I(x)의 보정 값에 해당하는 컬러 기준 값 I_R(x)을 결정한다. 본 실시예에서의 "컬러 값"은 컬러의 밝기 값을 의미하나, 컬러의 다른 값이 될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 이미지 센서(31)로부터 출력된 이미지는 도 1에 도시된 CFA 베이어 패턴 이미지이고, 이웃 픽셀들은 현재 픽셀의 컬러 채널과 동일한 컬러 채널의 픽셀들이다. 예를 들어, 현재 픽셀의 컬러 채널이 G 채널이면, 현재 픽셀의 주변에 위치한 픽셀들 중 G 채널에 해당하는 픽셀들만이 현재 픽셀의 이웃 픽셀이 될 수 있다. 상기된 사항들은 이하에서도 마찬가지로 적용된다.

임펄스 노이즈(impulse noise)는 원래 신호와는 그 특성이 전혀 다른, 순간적인 날카로운 노이즈(instantaneous sharp noise)를 말한다. 따라서, 현재 픽셀에 임펄스 노이즈가 포함되어 있다면, 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들간의 컬러 값간이 차이는 매우 크게 된다. 본 실시예에서 "컬러 기준 값 I_R(x)"는 현재 픽셀의 컬러 값 I(x)와 현재 픽셀의 이웃 픽셀들의 컬러 값 {I(x_k)}간의 차이 값들에 기초하여 현재 픽셀에 포함된 임펄스 노이즈를 저감시킨 현재 픽셀의 보정 값이 다.

도 4는 도 4에 도시된 컬러 기준 값 결정부(32)의 상세 구성도이다.

도 4를 참조하면, 컬러 기준 값 결정부(32)는 차이 값 산출부(321), 평균 가중치 산출부(322), 및 컬러 기준 값 산출부(323)로 구성된다.

차이 값 산출부(321)는 다음 수학식 1에 따라 현재 픽셀의 컬러 값 I(x)와 현재 픽셀에 가장 가깝게 위치한 8 개의 이웃 픽셀들의 컬러 값 {I(x_k)}의 차이 값들 {r_k}을 산출한다. 예를 들어, 현재 픽셀이 G 채널이면, 차이 값 산출부(321)는 다음 수학식 1에 따라 현재 픽셀의 컬러 값 I(x)와 현재 픽셀의 이웃 픽셀들 중 G 채널에 해당하는 8 개의 이웃 픽셀들의 컬러 값 {I(x_k)}의 차이 값들 {r_k}을 산출한다. 현재 픽셀이 R 채널, B 채널인 경우에도 마찬가지이다.

평균 가중치 산출부(322)는 차이 값 산출부(321)에 의해 산출된 8 개의 차이 값들 {r_k} 중 일부 차이 값들의 평균과 임펄스 노이즈 성분의 레벨을 나타내는 값 σ_in에 기초하여 현재 픽셀의 평균 가중치(averaging weight) α를 산출한다. 본 실시예에서 "σ_in"은 카메라에 의해 촬영되는 환경(예를 들면, 야간 환경 등)에 따라 현재 픽셀의 컬러 값 보정에 적용되는 임펄스 노이즈 성분의 레벨을 조정하기 위한 값이다.

보다 상세하게 설명하면, 평균 가중치 산출부(322)는 다음 수학식 2에 따라 차이 값 산출부(321)에 의해 산출된 8 개의 차이 값들 {r_k}중에서 첫 번째 최소 값과 두 번째 최소 값의 평균 값 r_{min_avg}을 산출한다. 이어서, 평균 가중치 산출부(322)는 이와 같이 산출된 평균 값 r_{min_avg}의 제곱 값을 임펄스 노이즈의 레벨을 나타내는 값 σ_in의 제곱 값과 2의 곱셈 값으로 나누고, 그 나눗셈 결과 값의 음의 값을 지수 함수에 대입함으로써 평균 가중치 α를 산출한다.

평균 값 r_{min_avg}이 클수록 평균 가중치 α는 0에 수렴하고, 평균 값 r_{min_avg}이 작을수록 평균 가중치 α는 1에 수렴한다. 이것은 임펄스 노이즈에 의한 현재 픽셀의 컬러 값 I(x)의 왜곡 정도에 비례하여 평균 가중치 α는 1로부터 0으로 분포하게 됨을 의미한다. 특히, 평균 가중치 산출부(322)는 상기된 바와 같이, 차이 값 산출부(321)에 의해 산출된 8 개의 차이 값들 {r_k} 모두의 평균이 아닌, 그 일부의 평균, 즉 첫 번째 최소 값과 두 번째 최소 값의 평균 값 r_{min_avg}을 이용하여 평균 가중치 α를 산출함으로써 종래 기술과 달리 이미지의 미세한 디테일(fine detail)을 살릴 수 있다. 물론, 평균 가중치 산출부(322)는 이미지의 미세한 디테일을 보다 살리기 위하여, 차이 값 산출부(321)에 의해 산출된 8 개의 차이 값들 {rk}의 첫 번째 최소 값만을, 혹은 두 번째 최소 값까지를, 혹은 5 보다 작은 임의의 개수의 최소 값까지를 이용하여 평균 값 r_{min_avg}을 산출할 수도 있다. 다만, 본 실시예에서는 이미지의 미세한 디테일과 임펄스 노이즈(impulse noise)를 효과적으로 구분하고, 두 개의 임펄스 노이즈(impulse noise)들이 인접하여 발생하는 경우에도 효과적으로 노이즈 저감될 수 있도록 하기 위하여 두 개의 최소 값들의 평균 값 r_{min_avg}을 이용하였다. 나아가, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 평균 값 r_{min_avg} 대신에 단순히 최소 값들을 합한 값을 이용할 수도 있음을 이해할 수 있다.

컬러 기준 값 산출부(323)는 평균 가중치 산출부(322)에 의해 산출된 평균 가중치 α를 적용하여 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 중간 값(median value) I_M(x) 사이의 컬러 기준 값 I_R(x)을 산출한다. 보다 상세하게 설명하면, 컬러 기준 값 산출부(323)는 다음 수학식 3에 따라 평균 가중치 산출부(322)에 의해 산출된 평균 가중치 α를 현재 픽셀의 컬러 값 I(x)에 곱하고, "1"로부터 산출부()에 의해 산출된 평균 가중치 α를 뺀 값을 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 중간 값(median value) I_M(x)에 곱한다. 이어서, 픽셀 기준 값 결정부()는 이와 같은 두 개의 곱셈 결과 값들을 합함으로써 현재 픽셀의 컬러 기준 값 I_R(x)을 산출한다.

이미지 센서로부터 출력된 이미지에 존재하는 노이즈들 중 대표적인 것들로는 백색 가우스 노이즈(white gaussian noise)와 임펄스 노이즈를 들 수 있다. 백색 가우스 노이즈는 넓은 주파수 범위에서 통계적으로 항상 존재하는 노이즈를 말하며, 원래 신호에 겹쳐진 형태로 존재한다. 따라서, 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)를 적절하게 가중 평균(weighted averaging)함으로써 현재 픽셀의 컬러 값 I(x)에 존재하는 백색 가우스 잡음을 저감할 수 있다. 그러나, 임펄스 노이즈는 원래 신호와는 그 특성이 전혀 다른, 순간적인 날카로운 노이즈이기 때문에, 임펄스 노이즈를 저감시키기 위하여, 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)를 가중 평균한다면, 그 결과 값은 현재 픽셀의 원래 컬러 값과는 전혀 다른 값이 될 수 있다. 따라서, 임펄스 노이즈에 대해서는, 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 가중 평균 값 대신에 현재 픽셀의 이웃 픽셀들의 컬러 값 I(x_k)의 중간 값 I_M(x)을 현재 픽셀의 컬러 값 I(x)로 사용한다.

즉, 본 실시예에서의 "중간 값 I_M(x)"는 임펄스 노이즈에 의한 현재 픽셀의 컬러 값 I(x)의 왜곡을 보정한 값이다. 컬러 기준 값 산출부(323)에 의해 산출된 컬러 기준 값은 평균 가중치 α가 1에 가까울수록, 즉 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 차이가 작을수록, 현재 픽셀의 컬러 값 I(x)에 가깝게 되고, 평균 가중치가 0에 가까울수록, 즉 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 차이가 클수록, 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 중간 값 I_M(x)에 가깝게 된다. 이것은 본 실시예에서의 "컬러 기준 값 I_R(x)"는 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 차이에 따라 현재 픽셀의 컬러 값 I(x)로부터 그 중간 값 I_M(x) 사이에 분포하게 됨을 의미한다. 다시 말하면, 본 실시예에서의 "컬러 기준 값 I_R(x)"는 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 차이가 큰 경우에는 임펄스 잡음의 저감 효과를 크게 하고, 그 차이가 작은 경우에는 현재 픽셀의 원래 컬러 값을 보존하려는 방향으로 보정된 값이다.

통합 필터 커널 계수 결정부(33)는 컬러 기준 값 결정부(32)에 의해 결정된 현재 픽셀의 컬러 기준 값 I_R(x)과 이웃 픽셀들의 컬러 값 {I(x_k)}의 유사도에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수(unified kernel coefficient)들 {b_k}를 결정한다. 나아가, 현재 픽셀과 이웃 픽셀들 각각의 가중치의 충실도를 높이기 위하여, 통합 필터 커널 계수 결정부(33)는 상기된 유사도 및 현재 픽셀과 이웃 픽셀들간의 거리에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수 b_k를 결정할 수도 있다. 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 상기된 유사도 및 거리 이외에 다른 파라미터를 더 포함시켜 통합 필터 커널 계수 b_k를 결정할 수 있음을 이해할 수 있다.

도 5는 도 3에 도시된 통합 필터 커널 계수 결정부(33)의 상세 구성도이다.

도 5를 참조하면, 통합 필터 커널 계수 결정부(33)는 유사도 필터 커널 계수 산출부(331), 도메인 필터 커널 계수 산출부(332), 및 통합 필터 커널 계수 산출부(333)로 구성된다.

유사도 필터 커널 계수 산출부(331)는 컬러 기준 값 결정부(32)에 의해 결정된 현재 픽셀의 컬러 기준 값 I_R(x)과 이웃 픽셀들의 컬러 값 {I(x_k)}간의 차이 값들 및 백색 가우스 노이즈의 레벨을 나타내는 값 σ_n에 기초하여 현재 픽셀의 컬러 기준 값 I_R(x)과 이웃 픽셀들의 컬러 값 {I(x_k)}의 유사도를 나타내는 유사도 필터 커널 계수(similarity filter kernel coefficient)들 {s_k}를 산출한다. 본 실시예에서 "σ_n"은 카메라에 의해 촬영되는 환경(예를 들면, 야간 환경 등)에 따라 현재 픽셀의 컬러 값 보정에 적용되는 백색 가우스 노이즈 성분의 레벨을 조정하기 위한 값이다.

보다 상세하게 설명하면, 유사도 필터 커널 계수 산출부(331)는 다음 수학식 4에 따라 현재 픽셀의 컬러 기준 값 I_R(x)와 이웃 픽셀들의 컬러 값 {I(x_k)}의 차이 값들을 산출하고, 이와 같이 산출된 차이 값들의 제곱 값을 산출한다. 이어서, 유 사도 필터 커널 계수 결정부()는 이와 같이 산출된 제곱 값을 백색 가우스 노이즈 성분의 레벨을 나타내는 값 σ_n의 제곱 값과 2의 곱셈 값으로 나눈 후에, 그 나눗셈 결과 값의 음의 값을 지수 함수에 대입함으로써 현재 픽셀의 컬러 기준 값 I_R(x)와 이웃 픽셀들의 컬러 값 I(x_k)간의 유사도를 나타내는 유사도 필터 커널 계수들 {s_k}를 산출한다.

유사도 필터 커널 계수 산출부(331)에 의해 산출된 유사도 필터 커널 계수들 {s_k}는 현재 픽셀의 컬러 기준 값 I_R(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 차이가 작을수록 1에 수렴하고, 현재 픽셀의 컬러 기준 값 I_R(x)와 이웃 픽셀들의 컬러 값 I(x_k)의 차이가 클수록 0에 수렴한다. 이것은 백색 가우스 노이즈에 의한 현재 픽셀의 컬러 값 I(x)의 왜곡 정도에 비례하여 유사도 필터 커널 계수들 {s_k}는 1로부터 0으로 분포하게 됨을 의미한다. 특히, 본 실시예에 따르면, 유사도 필터 커널 계수 산출부(331)에 의해 산출된 유사도 필터 커널 계수들 {s_k}에는 이미 임펄스 노이즈가 고려되어 있음은 물론이며, 이것이 종래 기술과의 가장 큰 차이에 해당한다.

도메인 필터 커널 계수 산출부(332)는 현재 픽셀과 이웃 픽셀들간의 거리에 반비례하는 도메인 필터 커널 계수(domain filter kernel coefficient)들 {d_k}를 산출한다. 보다 상세하게 설명하면, 도메인 필터 커널 계수 산출부(332)는 다음 수학식 5에 따라 현재 픽셀과 이웃 픽셀들간의 거리의 제곱 값을 유효 픽셀 거리를 나타내는 값 σ_d의 제곱 값과 2의 곱셈 값으로 나누고, 그 나눗셈 결과 값의 음의 값을 지수 함수에 대입함으로써 도메인 필터 커널 계수들 {d_k}를 산출한다. 본 실시예에서 "σ_d"는 카메라에 의해 촬영되는 환경(예를 들면, 야간 환경 등)에 따라 현재 픽셀의 컬러 값 보정에 적용되는 이웃 픽셀들의 유효 픽셀 거리를 조정하기 위한 값이다.

도메인 필터 커널 계수 산출부(332)에 의해 산출된 도메인 필터 커널 계수들 {d_k}는 현재 픽셀과 이웃 픽셀들의 거리가 가까울수록 1에 수렴하고, 현재 픽셀과 이웃 픽셀들의 거리가 멀수록 0에 수렴한다. 이것은 현재 픽셀과 이웃 픽셀들의 거리에 반비례하여 도메인 필터 커널 계수들 {d_k}는 1로부터 0으로 분포하게 됨을 의미한다.

통합 필터 커널 계수 산출부(333)는 유사도 필터 커널 계수 산출부(331)에 의해 산출된 유사도 필터 커널 계수들 {s_k}와 도메인 필터 커널 계수 산출부(332)에 의해 산출된 도메인 필터 커널 계수들 {d_k}에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수들 {b_k}를 산출한다. 보다 상세하게 설명하면, 통합 필터 커널 계수 산출부(333)는 다음 수학식 6에 따라 현재 픽셀과 이웃 픽셀들 중 어느 한 픽셀 x_k의 유사도 필터 커널 계수 s_k와 도메인 필터 커널 계수 d_k의 곱셈 값을 현재 픽셀과 이웃 픽셀들 각각의 유사도 필터 커널 계수 s_k와 도메인 필터 커널 계수 d_k의 곱셈 값의 합산 값으로 나눔으로써 그 픽셀 x_k의 통합 필터 커널 계수 b_k를 산출한다. 통합 필터 커널 계수 산출부(333)는 상기된 바와 같은 방식으로, 현재 픽셀과 이웃 픽셀들 모두의 통합 필터 커널 계수들 {b_k}을 산출할 수 있다.

통합 필터 커널 계수 산출부(333)에 의해 산출된 통합 필터 커널 계수들 {b_k}은 종래의 바이래터럴 필터 터널 계수와 그 형태는 동일하나, 백색 가우스 노이즈 이외에 임펄스 노이즈까지 고려된 바이래터럴 필터 형태의 커널 계수이다.

노이즈 저감부(34)는 통합 필터 커널 계수 결정부(33)에 의해 결정된 통합 필터 커널 계수들 {b_k}를 적용하여 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 {I(x_k)}를 가중 평균(weighted averaging)함으로써 현재 픽셀의 컬러 값 I(x)의 노이지를 저감한다. 보다 상세하게 설명하면, 노이즈 저감부(34)는 다음 수학식 7에 따라 통합 필터 커널 계수 산출부(333)에 의해 산출된 통합 필터 커널 계수들 {b_k}로 구성된 3x3 픽셀 행렬 B(X)와 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 {I(x_k)}으로 구성된 3x3 픽셀 행렬 I_N(X)를 콘볼루션(convolution)함으로써 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 {I(x_k)}를 가중 평균하고, 이와 같은 콘볼루션의 결과 값을 현재 픽셀의 새로운 컬러 값 I_NR(X)로 결정함으로써 현재 픽셀의 컬러 값 I(x)의 노이즈를 저감한다.

현재 픽셀과 이웃 픽셀들 각각의 통합 필터 커널 계수 b_k는유사도 필터 커널 계수 s_k와 도메인 필터 커널 계수 d_k에 비례한다. 따라서, 어느 이웃 픽셀의 컬러 값 I(x_k)가 현재 픽셀의 컬러 기준 값 I_R(x)에 가까울수록, 또한 이 이웃 픽셀이 현재 픽셀에 가까이 위치할수록 이 이웃 픽셀의 가중치는 높게 된다.

도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 노이즈 저감 방법의 흐 름도이다.

도 6을 참조하면, 본 실시예에 따른 이미지 노이즈 저감 방법은 도 3에 도시된 이미지 노이즈 저감 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 이미지 노이즈 저감 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 이미지 노이즈 저감 방법에도 적용된다

61 단계에서 이미지 노이즈 저감 장치는 이미지 센서(31)로부터 출력된 이미지의 픽셀들 중 현재 픽셀의 컬러 값 I(x)와 현재 픽셀의 이웃 픽셀들의 컬러 값 {I(x_k)}간의 차이 값들에 기초하여 현재 픽셀의 컬러 값 I(x)의 보정 값에 해당하는 컬러 기준 값 I_R(x)을 결정한다.

62 단계에서 이미지 노이즈 저감 장치는 61 단계에서 결정된 현재 픽셀의 컬러 기준 값 I_R(x)과 이웃 픽셀들의 컬러 값 {I(x_k)}의 유사도에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수들 {b_k}를 결정한다.

63 단계에서 이미지 노이즈 저감 장치는 62 단계에서 결정된 통합 필터 커널 계수들 {b_k}를 적용하여 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 컬러 값 {I(x_k)}를 가중 평균(weighted averaging)함으로써 현재 픽셀의 컬러 값 I(x)의 노이지를 저감한다.

도 7은 도 6에 도시된 61 단계의 상세 흐름도이다.

도 7을 참조하면, 도 7에 도시된 61 단계를 구성하는 단계들은 도 4에 도시된 컬러 기준 값 결정부(32)에서 시계열적으로 처리되는 단계들이다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 컬러 기준 값 결정부(32)에 관하여 이상에서 기술된 내용은 도 7에 도시된 61 단계를 구성하는 단계들에도 적용된다

611 단계에서 이미지 노이즈 저감 장치는 현재 픽셀의 컬러 값 I(x)와 현재 픽셀에 가장 가깝게 위치한 8 개의 이웃 픽셀들의 컬러 값 {I(x_k)}의 차이 값들 {r_k}을 산출한다.

612 단계에서 이미지 노이즈 저감 장치는 611 단계에서 산출된 8 개의 차이 값들 {r_k} 중 일부 차이 값들의 평균과 임펄스 노이즈 성분의 레벨을 나타내는 값 σ_in에 기초하여 현재 픽셀의 평균 가중치 α를 산출한다.

613 단계에서 이미지 노이즈 저감 장치는 612 단계에서 산출된 평균 가중치 α를 적용하여 현재 픽셀의 컬러 값 I(x)와 이웃 픽셀들의 중간 값 I_M(x) 사이의 컬러 기준 값 I_R(x)을 산출한다.

도 8은 도 6에 도시된 62 단계의 상세 흐름도이다.

도 8을 참조하면, 도 8에 도시된 62 단계를 구성하는 단계들은 도 5에 도시된 통합 필터 커널 계수 결정부(33)에서 시계열적으로 처리되는 단계들이다. 따라서, 이하 생략된 내용이라 하더라도 도 5에 도시된 통합 필터 커널 계수 결정부(33)에 관하여 이상에서 기술된 내용은 도 8에 도시된 62 단계를 구성하는 단계 들에도 적용된다

621 단계에서 이미지 노이즈 저감 장치는 현재 픽셀의 컬러 기준 값 I_R(x)과 이웃 픽셀들의 컬러 값 {I(x_k)}간의 차이 값들 및 백색 가우스 노이즈의 레벨을 나타내는 값 σ_n에 기초하여 현재 픽셀의 컬러 기준 값 I_R(x)과 이웃 픽셀들의 컬러 값 {I(x_k)}의 유사도를 나타내는 유사도 필터 커널 계수들 {s_k}를 산출한다.

622 단계에서 이미지 노이즈 저감 장치는 현재 픽셀과 이웃 픽셀들간의 거리에 반비례하는 도메인 필터 커널 계수(domain filter kernel coefficient)들 {d_k}를 산출한다.

623 단계에서 이미지 노이즈 저감 장치는 621 단계에서 산출된 유사도 필터 커널 계수들 {s_k}와 622 단계에서 산출된 도메인 필터 커널 계수들 {d_k}에 기초하여 현재 픽셀과 이웃 픽셀들 각각의 가중치를 나타내는 통합 필터 커널 계수들 {b_k}를 산출한다.

한편, 상기된 수학식 1-7은 하나의 구현 예에 불과하며, 본 발명을 구현하기 위해서는 다른 형태의 수학식들도 사용될 수 있음을 본원발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 노이즈 저감 방법의 흐름도이다.

도 7은 도 6에 도시된 61 단계의 상세 흐름도이다.

도 8은 도 6에 도시된 62 단계의 상세 흐름도이다.

Claims

이미지의 픽셀들 중 현재 픽셀의 컬러 값과 상기 현재 픽셀의 이웃 픽셀들의 컬러 값간의 차이 값들에 기초하여 상기 현재 픽셀의 컬러 값의 보정 값에 해당하는 컬러 기준 값을 결정하는 단계;

상기 결정된 컬러 기준 값과 상기 이웃 픽셀들의 컬러 값간의 유사도에 기초하여 상기 현재 픽셀과 상기 이웃 픽셀들 각각의 가중치를 나타내는 계수들을 결정하는 단계; 및

상기 결정된 계수들을 적용하여 상기 현재 픽셀의 컬러 값과 이웃 픽셀들의 컬러 값을 가중 평균함으로써 상기 현재 픽셀의 컬러 값의 노이즈를 저감하는 단계를 포함하는 것을 특징으로 하는 이미지 노이즈 저감 방법.
제 1 항에 있어서,

상기 컬러 기준 값은 상기 현재 픽셀의 컬러 값과 상기 이웃 픽셀들의 컬러 값간의 차이에 따라 상기 현재 픽셀의 컬러 값으로부터 상기 현재 픽셀의 컬러 값과 상기 이웃 픽셀들의 컬러 값의 중간 값 사이에 분포하는 것을 특징으로 하는 이미지 노이즈 저감 방법.
제 1 항에 있어서,

상기 컬러 기준 값을 결정하는 단계는

상기 현재 픽셀의 컬러 값과 상기 현재 픽셀의 이웃 픽셀들의 컬러 값 간의 차이 값을 산출하는 단계;

상기 산출된 차이 값들 중 첫 번째 최소 값에서 n번째 최소 값의 차이 값들의 평균과 임펄스 노이즈의 레벨을 나타내는 값에 기초하여 상기 현재 픽셀의 평균 가중치를 산출하는 단계; 및

상기 산출된 평균 가중치를 적용하여 상기 현재 픽셀의 컬러 값과 상기 이웃 픽셀들의 컬러 값의 중간 값 사이의 상기 컬러 기준 값을 산출하는 단계를 포함하는 것을 특징으로 하고,

상기 n은 1 이상이며 상기 이웃 픽셀들의 개수 이하인 정수를 의미하는 이미지 노이즈 저감 방법.
제 3 항에 있어서,

상기 첫 번째 최소 값에서 n번째 최소 값의 차이 값들의 평균은 상기 산출된 차이 값들 중 첫 번째 최소 값과 두 번째 최소 값의 평균인 것을 특징으로 하는 이미지 노이즈 저감 방법.
제 1 항에 있어서,

상기 계수들을 결정하는 단계는

상기 결정된 컬러 기준 값과 상기 이웃 픽셀들의 컬러 값간의 차이 값들 및 백색 가우스 노이즈의 레벨을 나타내는 값에 기초하여 상기 유사도를 나타내는 유사도 필터 커널 계수를 산출하는 단계;

상기 현재 픽셀과 이웃 픽셀들간의 거리에 반비례하는 도메인 필터 커널 계수를 산출하는 단계; 및

상기 산출된 유사도 필터 커널 계수들과 상기 산출된 도메인 필터 커널 계수 들에 기초하여 상기 현재 픽셀과 상기 이웃 픽셀들 각각의 가중치를 나타내는 계수들을 산출하는 단계를 포함하는 것을 특징으로 하는 이미지 노이즈 저감 방법.
제 1 항에 있어서,

상기 이미지는 이미지 센서로부터 출력된 CFA(Color Filter Array) 베이어 패턴 이미지이고, 상기 이웃 픽셀들은 상기 현재 픽셀의 컬러 채널과 동일한 컬러 채널의 픽셀들인 것을 특징으로 하는 이미지 노이즈 저감 방법.
제 1 항 내지 제 6 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
이미지의 픽셀들 중 현재 픽셀의 컬러 값과 상기 현재 픽셀의 이웃 픽셀들의 컬러 값간의 차이 값들에 기초하여 상기 현재 픽셀의 컬러 값의 보정 값에 해당하는 컬러 기준 값을 결정하는 컬러 기준 값 결정부;

상기 결정된 컬러 기준 값과 상기 이웃 픽셀들의 컬러 값간의 유사도에 기초하여 상기 현재 픽셀과 상기 이웃 픽셀들 각각의 가중치를 나타내는 계수들을 결정하는 계수 결정부; 및

상기 결정된 계수들을 적용하여 상기 현재 픽셀의 컬러 값과 이웃 픽셀들의 컬러 값을 가중 평균함으로써 상기 현재 픽셀의 컬러 값의 노이즈를 저감하는 노이즈 저감부를 포함하는 것을 특징으로 하는 이미지 노이즈 저감 장치.
제 8 항에 있어서,

상기 컬러 기준 값은 상기 현재 픽셀의 컬러 값과 상기 이웃 픽셀들의 컬러 값간의 차이에 따라 상기 현재 픽셀의 컬러 값으로부터 상기 현재 픽셀의 컬러 값과 상기 이웃 픽셀들의 컬러 값의 중간 값 사이에 분포하는 것을 특징으로 하는 이미지 노이즈 저감 장치.
제 8 항에 있어서,

상기 컬러 기준 값 결정부는

상기 현재 픽셀의 컬러 값과 현재 픽셀의 이웃 픽셀들의 컬러 값 간의 차이 값을 산출하는 차이 값 산출부;

상기 산출된 차이 값들 중 첫 번째 최소 값에서 n번째 최소 값의 차이 값들의 평균과 임펄스 노이즈의 레벨을 나타내는 값에 기초하여 상기 현재 픽셀의 평균 가중치를 산출하는 평균 가중치 산출부; 및

상기 산출된 평균 가중치를 적용하여 상기 현재 픽셀의 컬러 값과 상기 이웃 픽셀들의 컬러 값의 중간 값 사이의 상기 컬러 기준 값을 산출하는 컬러 기준 값 산출부를 포함하는 것을 특징으로 하고,

상기 n은 1 이상이며 상기 이웃 픽셀들의 개수 이하인 정수를 의미하는 이미지 노이즈 저감 장치.
제 10 항에 있어서,

상기 첫 번째 최소 값에서 n번째 최소 값의 차이 값들의 평균은 상기 산출된 차이 값들 중 첫 번째 최소 값과 두 번째 최소 값의 평균인 것을 특징으로 하는 이미지 노이즈 저감 장치.
제 8 항에 있어서,

상기 계수 결정부는

상기 결정된 컬러 기준 값과 상기 이웃 픽셀들의 컬러 값간의 차이 값들 및 백색 가우스 노이즈의 레벨을 나타내는 값에 기초하여 상기 유사도를 나타내는 유사도 필터 커널 계수를 산출하는 유사도 필터 커널 계수 산출부;

상기 현재 픽셀과 이웃 픽셀들간의 거리에 반비례하는 도메인 필터 커널 계수를 산출하는 도메인 필터 커널 계수 산출부; 및

상기 산출된 유사도 필터 커널 계수들과 상기 산출된 도메인 필터 커널 계수들에 기초하여 상기 현재 픽셀과 상기 이웃 픽셀들 각각의 가중치를 나타내는 계수들을 산출하는 통합 필터 커널 계수 산출부를 포함하는 것을 특징으로 하는 이미지 노이즈 저감 장치.
제 8 항에 있어서,

상기 이미지는 이미지 센서로부터 출력된 CFA(Color Filter Array) 베이어 패턴 이미지이고, 상기 이웃 픽셀들은 상기 현재 픽셀의 컬러 채널과 동일한 컬러 채널의 픽셀들인 것을 특징으로 하는 이미지 노이즈 저감 장치.