KR101727285B1 - 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치 - Google Patents

Abstract

이미지 센서 등으로부터 얻은 영상에 대하여 영상 노이즈 필터링을 효과적으로 수행하는 방법이 개시된다. 그러한 방법은 템포랄 필터링에 사용될 템포랄 웨이트 값을 구할 때, 이전 프레임의 이전 화소 값과 상기 현재 화소 값 간의 화소 밝기 차이에 대하여 노이즈 편차를 적용한다. 노이즈 편차는 현재 프레임의 현재 화소 값의 인텐시티 레벨에 따라 얻어진다. 템포랄 필터링과 스파셜 필터링이 수행될 수 있으며, 상기 템포랄 필터링 출력 값과 상기 스파셜 필터링 출력 값을 블렌딩함에 의해 혼합 필터링이 선택적으로 수행될 수 있다. 본 발명의 실시 예에 따르면, 이미지 센서 등에서 영상 캡처시에 발생된 노이즈가 이미지 신호 프로세서 내에서 효율적으로 제거되고, 적응적인 필터링에 의해 이미지 신호 프로세서 및 코덱에서의 화질 열화가 개선되고 코딩 효율이 높아진다.

Description

노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치 {Noise filtering method and apparatus considering noise variance and motion detection}

본 발명은 영상 신호의 처리에 관한 것으로, 보다 구체적으로 카메라를 통해 영상을 얻을 경우에 발생되는 노이즈를 효과적으로 제거할 수 있는 영상 노이즈 필터링 방법 및 장치에 관한 것이다.

일반적으로 디지털 카메라, 휴대용 통신 단말기, 및 스틸 비디오 카메라 등과 같은 영상 기기가 다양한 목적들을 수행하기 위해 널리 이용되고 있다.

카메라를 통해 촬상되는 피사체의 영상은 이미지 센서에 의해 전기적 영상신호로서 캡쳐된다. 상기 전기적 영상신호에는 필연적으로 노이즈가 포함되어 있으므로, 상기 이미지 센서의 신호를 수신하여 처리하는 이미지 신호 프로세서는 노이즈 제거 기능을 수행하는 기능 블럭들을 대부분 포함하고 있다.

영상 신호의 처리에서 전기적 영상신호에 포함된 노이즈를 적절히 필터링하지 못할 경우에, 이미지 신호 프로세서 및 코덱에서의 화질 열화가 생기고 코딩 효율이 낮아진다.

따라서, 이미지 센서 등에서 영상 캡쳐 시에 발생되는 카메라 노이즈를 이미지 신호 프로세서 내에서 효율적으로 제거되도록 할 필요가 있다.

또한, 카메라 노이즈가 스파셜 도메인에서의 필터링 뿐만 아니라 템포랄 도메인에서도 적응적으로 필터링되도록 하고, 노이즈 필터링 시에 화소 단위의 블렌딩이 수행되도록 하여, 노이즈 제거성능이 최대화 또는 개선되도록 할 필요가 있다.

본 발명이 해결하고자 하는 기술적 과제는, 노이즈를 효율적으로 제거할 수 있는 영상 노이즈 필터링 방법 및 장치를 제공함에 있다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 이미지 신호 프로세서 및 코덱에서의 화질 열화를 개선하고 코딩 효율을 높일 수 있는 영상 노이즈 필터링 방법 및 장치를 제공함에 있다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 이미지 센서 등에서 영상 캡쳐 시에 발생되는 카메라 노이즈를 이미지 신호 프로세서 내에서 효율적으로 제거되도록 할 수 있는 영상 노이즈 필터링 방법 및 장치를 제공함에 있다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 스파셜 도메인뿐만 아니라 템포랄 도메인에서도 노이즈를 적응적으로 제거할 수 있는 영상 노이즈 필터링 방법 및 장치를 제공함에 있다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 노이즈 제거성능이 최대화 또는 개선되도록 할 수 있는 영상 노이즈 필터링 방법 및 장치를 제공함에 있다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 노이즈 변화와 움직임 감지를 고려하여 노이즈를 효율적으로 제거할 수 있는 영상 노이즈 필터링 방법 및 장치를 제공함에 있다.

상기 기술적 과제를 달성하기 위하여, 본 발명의 실시 예의 일 양상에 따른 영상 노이즈 필터링 방법은, 현재 화소가 갖는 템포랄 차이 값과 적응적 노이즈 편차를 이용하여 템포랄 웨이트 값을 구하는 단계; 및 상기 템포랄 웨이트 값을 이용하여 상기 현재 화소에 대한 템포랄 필터링을 수행하는 단계를 포함한다.

본 발명의 실시 예에서, 상기 템포랄 필터링의 수행 전에 상기 템포랄 웨이트 값을 상기 화소의 주변 화소 및 다른 채널 화소들을 이용하여 리파인하는 단계가 더 포함될 수 있다.

본 발명의 실시 예에서, 상기 템포랄 필터링의 출력은 스파셜 필터링의 출력과 블렌딩될 수 있다.

본 발명의 실시 예에서, 상기 스파셜 필터링의 출력은 상기 템포랄 웨이트 값을 이용하여 스파셜 영역에서 상기 현재 화소의 값과 주변화소들의 평균 값을 블렌딩함에 의해 생성될 수 있다.

상기 기술적 과제를 달성하기 위하여, 본 발명의 실시 예의 다른 양상에 따른 영상 노이즈 필터링 방법은,

현재 프레임의 현재 화소 값의 인텐시티 레벨에 따른 노이즈 편차를 구하는 단계;

이전 프레임의 이전 화소 값과 상기 현재 화소 값 간의 화소 밝기 차이에 대하여 상기 노이즈 편차를 적용함에 의해 템포랄 필터링에 사용될 템포랄 웨이트 값을 구하는 단계;

상기 템포랄 웨이트 값을 이용하여 상기 현재 화소 값과 상기 이전 화소 값을 블렌딩함에 의해 템포랄 필터링을 수행하는 단계;

상기 템포랄 웨이트 값을 이용하여 스파셜 영역에서 주변화소들의 평균 값과 상기 현재 화소 값을 블렌딩함에 의해 스파셜 필터링을 수행하는 단계; 및

상기 템포랄 필터링 출력 값과 상기 스파셜 필터링 출력 값을 블렌딩함에 의해 혼합 필터링을 수행하는 단계를 포함한다.

본 발명의 실시 예에서, 선택제어신호에 응답하여 상기 혼합 필터링 출력과 상기 스파셜 필터링 출력 중의 하나를 선택하는 선택 단계가 더 구비될 수 있다.

본 발명의 실시 예에서, 선택제어신호에 응답하여 상기 혼합 필터링 출력, 상기 스파셜 필터링 출력, 및 상기 현재 화소 중의 하나를 출력으로서 선택하는 선택 단계가 더 구비될 수 있다.

본 발명의 실시 예에서, 상기 템포랄 필터링의 수행 전에 상기 템포랄 웨이트 값을 상기 현재 화소의 주변 화소 및 다른 채널 화소들을 이용하여 리파인하는 단계가 더 포함될 수 있다.

본 발명의 실시 예에서, 이후 프레임에 대한 화소 처리를 위해 상기 템포랄 웨이트 값이 저장될 때 상기 템포랄 웨이트 값의 비트 수가 감소된 상태로 저장되도록 하기 위해 상기 템포랄 웨이트 값을 엔코딩하는 단계가 더 포함될 수 있다.

본 발명의 실시 예에서, 상기 엔코딩된 템포랄 웨이트 값을 상기 이후 프레임에 대한 화소 처리 시 이용하기 위해 상기 엔코딩된 템포랄 웨이트 값을 디코딩하는 단계가 더 포함될 수 있다.

본 발명의 실시 예에서, 상기 노이즈 편차는 사용되는 이미지 센서의 특성에 따라 각기 서로 다른 값을 가질 수 있다.

본 발명의 실시 예에서, 상기 영상 노이즈 필터링 방법은 디지털 카메라의 영상 처리나 휴대용 통신 단말기의 영상 처리 시 적용될 수 있다.

상기 기술적 과제를 달성하기 위하여, 본 발명의 실시 예의 다른 양상에 따른 영상 노이즈 필터링 장치는,

현재 프레임의 현재 화소 값의 인텐시티 레벨을 계산하는 밝기값 계산부;

상기 인텐시티 레벨에 따른 노이즈 편차를 구하는 노이즈 표준 편차 계산부;

이전 프레임의 이전 화소 값과 상기 현재 화소 값 간의 화소 밝기 차이에 대해 상기 노이즈 편차를 적용하여 템포랄 필터링에 사용될 템포랄 웨이트 값을 구하는 필터링 웨이트 값 생성부; 및

상기 템포랄 웨이트 값을 이용하여 상기 현재 화소 값과 상기 이전 화소 값을 블렌딩하여 템포랄 필터링을 수행하는 템포랄 블렌딩부를 포함한다.

본 발명의 실시 예에서, 상기 템포랄 웨이트 값을 이용하여 스파셜 영역에서 주변화소들의 평균 값과 상기 현재 화소 값을 블렌딩함에 의해 스파셜 필터링을 수행하는 스파셜 필터링부가 더 구비될 수 있다.

본 발명의 실시 예에서, 상기 템포랄 필터링 출력 값과 상기 스파셜 필터링 출력 값을 블렌딩함에 의해 혼합 필터링을 수행하는 스파셔-템포랄 블렌딩부가 더 구비될 수 있다.

본 발명의 실시 예에서, 선택제어신호에 응답하여 상기 혼합 필터링 출력과 상기 스파셜 필터링 출력 중의 하나를 선택하는 선택부가 더 구비될 수 있다.

본 발명의 실시 예에서, 선택제어신호에 응답하여 상기 혼합 필터링 출력, 상기 스파셜 필터링 출력, 및 상기 현재 화소 중의 하나를 출력으로서 선택하는 선택부가 더 구비될 수 있다.

본 발명의 실시 예에서, 상기 선택제어신호는 이미지 신호 프로세서의 제어부에서 제공될 수 있다.

본 발명의 실시 예에서, 이후 프레임에 대한 화소 처리를 위해 상기 템포랄 웨이트 값이 저장될 때 상기 템포랄 웨이트 값의 비트 수가 감소된 상태로 저장되도록 하기 위해 상기 템포랄 웨이트 값을 엔코딩하는 엔코더가 더 포함될 수 있다.

본 발명의 실시 예에서, 상기 엔코딩된 템포랄 웨이트 값을 상기 이후 프레임에 대한 화소 처리 시 이용하기 위해 상기 엔코딩된 템포랄 웨이트 값을 디코딩하는 디코더가 더 포함될 수 있다.

본 발명의 실시 예 적인 구성에 따르면, 노이즈 변화와 움직임 감지를 고려한 노이즈 필터링에 의해 이미지 센서 등에서 영상 캡처시에 발생된 노이즈가 이미지 신호 프로세서 내에서 효율적으로 제거된다.

또한, 카메라 노이즈가 스파셜 도메인에서의 필터링 뿐만 아니라 템포랄 도메인에서도 적응적으로 필터링되므로 이미지 신호 프로세서 및 코덱에서의 화질 열화가 개선되고 코딩 효율이 높아진다.

본 발명의 실시 예에 따르면, 노이즈 필터링 시에 화소 단위의 블렌딩이 수행되므로 노이즈 제거성능이 최대화 또는 개선된다.

도 1은 본 발명이 적용되는 영상 처리 장치의 블록도,
도 2는 도 1중 이미지 신호 프로세서 블록의 구체 블록도,
도 3은 도 2중 본 발명의 실시 예에 따른 노이즈 필터의 세부적 구현 예시도,
도 4는 화소 밝기 대 노이즈 표준 편차의 관계를 이미지 센서별로 나타내는 그래프도,
도 5는 도 3에 따른 영상 노이즈 필터링의 처리 수순도,
도 6은 디지털 카메라에 채용된 본 발명의 응용 예를 도시한 블록도, 및
도 7은 휴대용 통신 단말기에 채용된 본 발명의 또 다른 응용 예를 도시한 블록도.

위와 같은 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은, 이해의 편의를 제공할 의도 이외에는 다른 의도 없이, 개시된 내용이 보다 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 소자 또는 라인들이 대상 소자 블록에 연결 된다 라고 언급된 경우에 그것은 직접적인 연결뿐만 아니라 어떤 다른 소자를 통해 대상 소자 블록에 간접적으로 연결된 의미까지도 포함한다.

또한, 각 도면에서 제시된 동일 또는 유사한 참조 부호는 동일 또는 유사한 구성 요소를 가급적 나타내고 있다. 일부 도면들에 있어서, 소자 및 라인들의 연결관계는 기술적 내용의 효과적인 설명을 위해 나타나 있을 뿐, 타의 소자나 회로블록들이 더 구비될 수 있다.

여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함될 수 있으며, 템포랄 및 스페셔 영역에서 노이즈를 필터링하는 원리 및 이미지 처리부의 이미지 처리에 대한 일반적인 동작은 본 발명의 요지를 모호하지 않도록 하기 위해 생략됨을 유의(note)하라.

도 1은 본 발명이 적용되는 영상 처리 장치의 블록도이다.

도면을 참조하면, 영상 처리 장치는 이미지 센서(101), ISP 블록(103), 백-엔드 칩(Back- end chip:105), 및 디스플레이부(107)를 포함한다.

상기 이미지 센서(101)는 렌즈로부터 인가되는 광학적인 이미지를 전기적 신호로 변환하는 소자로서, 베이어 패턴(Bayer Pattern)의 데이터를 라인(L1)을 통해 제공하는 센서일 수 있다. 상기 베이어 패턴의 데이터는 아나로그 디지털 변환과정을 거쳐 디지털 신호로 이미 변환된 데이터이다.

상기 이미지 센서(101)는 전하 결합 소자(CCD: Charge Coupled Device)타입과 씨모오스(CMOS: Complementary Metal-Oxide Semiconductor)타입 중 하나로서 구현될 수 있다.

CMOS 이미지 센서는 웨이퍼 스택킹(Wafer Stacking)방식을 이용하여 3D CIS(CMOS image sensor)로써 흔히 제작된다. 웨이퍼 스택킹 방식은 한장의 웨이퍼에 화소의 광 집적 부분과 구동 회로 부분을 동시에 만드는 것이 아니라, 광 집적 부분과 구동 회로 부분을 각기 다른 웨이퍼에 만든 후에, 두 웨이퍼를 서로 본딩하여 나머지 공정을 진행함에 의해 이미지 센서를 제작하는 것을 말한다. 따라서, 두 웨이퍼가 포개어져 서로 본딩되기 위해 이용되는 본딩 패드(Bonding Pad)가 각각의 웨이퍼에 형성된다. 상기 CMOS 이미지 센서는 단위 셀마다 증폭기를 가지고 있다. CMOS 로직 LSI 제조 프로세서의 응용으로 대량생산이 가능하기 때문에 고전압 아날로그 회로를 가지는 CCD 이미지 센서와 비교 시 CMOS 이미지 센서는 제조 단가가 낮고 소자의 크기가 작아서 소비 전력이 적다는 장점을 가진다.

CMOS 이미지 센서는 CCD 이미지 센서와 비교 시 여러 가지 장점을 가지지만, 낮은 조도 상황에서 센서 성능이 쉽게 불안정해지고 촬영된 화상에 노이즈가 많이 발생되는 경향이 있다. 그리고 화소마다 고정된 증폭기를 할당되기 때문에 증폭기의 특성차에 의한 고정 패턴 노이즈를 가지는 단점이 있어서 이것을 보정하는 회로가 또한 필요하다.

CMOS 이미지 센서는 CCD 이미지 센서에 비해 화질면에서 불리하여 디지털 카메라, 디지털 비디오 카메라, 느린 프레임의 텔레비전 카메라 등의 저가 제품에 주로 사용되어 왔으나, 최근에는 큰 사이즈로 설계가 가능한 점, 낮은 제조 비용, 대폭 향상된 화질로 인해 디지털 일안 반사식 카메라과 같이 고화질을 요구하는 고가 제품에도 많이 채용되고 있다.

또한, CMOS 이미지 센서는 CCD이미지 센서와 비교할 때 구동방식이 간편하고 다양한 스캐닝방식을 구현할 수 있는 장점이 있다. 또한, 아날로그와 디지털 신호처리 회로를 단일 칩에 집적할 수 있는 장점도 있다. 이에 따라, CMOS 타입의 이미지 센서를 채용하는 경우에 제품의 소형화도 가능하다.

상기 ISP 블록(103)은 상기 이미지 센서(101)의 출력 라인(L1)으로부터 인가되는 이미지 데이터를 수신하여 컬러 보간, 색신호 보정, 감마 보정, 및 노이즈 필터링 등의 이미지 처리 작업을 수행한다. 상기 ISP 블록(103)은 상기 이미지 데이터를 YUV 값으로 변환하여 라인(L2)를 통해 백-엔드 칩(105)으로 제공한다. 이 경우에 백-엔드 칩(105)으로 제공되는 이미지 데이터는 상기 YUV 값이 코딩된 데이터일 수 있다.

상기 백-엔드 칩(105)은 상기 ISP 블록(103)의 출력 라인(L2)을 통해 인가되는 이미지 데이터를 메모리에 저장하거나 이를 디코딩하여 디스플레이부(107)에 인가할 수 있다. 상기 백-엔드 칩(105)은 상기 ISP 블록(103)으로 이미지 처리에 관련된 제어 신호 등을 전송할 수 있다.

도 1에서 상기 ISP 블록(103)의 이미지 처리 기능은 화질에 매우 중요한 영향을 끼친다. 특히, 이미지 신호에 포함된 노이즈는 이미지의 퀄리티(quality)를 크게 저하시키므로, 상기 ISP 블록(103)의 내부에는 도 2와 같이 노이즈 필터(250)가 거의 필수적으로 채용된다.

도 2는 도 1중 이미지 신호 프로세서 블록의 구체 블록도이다.

도면을 참조하면, 이미지 신호 프로세서(ISP) 블록(103)은 이미지 데이터 처리부(210), 이미지 데이터 저장부(220), 및 ISP 제어부(230)를 포함한다.

상기 이미지 데이터 저장부(220)는 이미지 데이터를 저장하기 위한 기능을 하며, 프레임 메모리를 포함할 수 있다. 상기 ISP 제어부(230)는 상기 이미지 데이터 처리부(210)와 상기 이미지 데이터 저장부(220)를 제어한다. 상기 ISP 제어부(230)는 제1제어 라인(CON1)을 통해 상기 이미지 데이터 처리부(210)를 제어하고, 제2제어 라인(CON2)을 통해 상기 이미지 데이터 저장부(220)를 제어한다.

상기 이미지 데이터 처리부(210)는 이미지 노이즈를 필터링하기 위한 노이즈 필터(250)를 구비한다. 또한, 상기 이미지 데이터 처리부(210)는 컬러 보간부, 색 신호 보정을 위한 컬러 보정부, 감마 보정부, AEC(Automatic Exposure Control)부를 포함하는 ISP 회로를 통상적으로 포함할 수 있다.

상기 컬러 보간부는 베이어 데이터로부터 화소 데이터를 만들고, 상기 컬러 보정부는 컬러 품질을 향상 및 조정하기 위해 컬러를 보정한다. 또한, 상기 감마 보정부는 빛의 명암도(Intensity)에 비례하는 입력 신호를 만들고, 상기 AEC부는 감마 보정부에서 만들어낸 입력 신호를 제어하여 자동 노출 제어가 수행되도록 한다.

상기 이미지 데이터 처리부(210)내의 노이즈 필터(250)는 이미지 신호에 포함된 노이즈를 제거하여 이미지의 퀄리티를 개선한다.

상기 노이즈 필터(250)의 통상적인 필터링 방법은 스페셜 도메인(spatial domain)에서 행하는 2차원 필터링(2D filtering)이다. 그러한 노이즈 필터의 대부분은 고 대역의 노이즈 성분을 제거하는 로우 패스 필터(low pass filter)이다.

상기 로우 패스 필터는 노이즈를 시각적으로 제거 하긴 하지만, 오브젝트(object)의 에지 상세들(edge detail)까지 같이 몽롱화(smoothing)시키는 단점을 가진다. 이 때문에 이미지의 샤프니스(sharpness)가 떨어져 결과적으로 블러(blur)한 이미지가 얻어진다.

한편, 템포랄 도메인(temporal domain)에서 수행되는 노이즈 제거(noise reduction)방법들도 다양하게 알려져 있다. 그러나 템포랄 도메인에서 행해지는 노이즈 제거에서는 심한 움직임이 있는 영상에서 팬텀 아티팩트(phantom artifact)라고 불리는 잔상이 남는 역효과가 있을 수 있다. 또한, 모션 추정(motion estimation)의 기법을 이용하기 때문에 많은 계산량이 요구되며, 움직임 예측의 기본 단위로 템포랄 필터링 웨이트(temporal filtering weight)가 정해지므로 각 화소(pixcel)에 대한 노이즈 제거 성능이 제한될 수 있다.

본 발명의 실시 예에서는 노이즈 변화와 움직임 감지를 고려함에 의해 위와 같은 문제점을 해소하고, 이미지 신호 프로세서 및 코덱에서의 화질 열화를 개선함은 물론, 노이즈 제거성능을 최대화 또는 개선하기 위해 도 3과 같은 노이즈 필터 구성이 마련된다.

도 3은 도 2중 본 발명의 실시 예에 따른 노이즈 필터의 세부적 구현 예시도이다.

도면을 참조하면, 노이즈 필터(250)는 밝기 값 계산부(301), 노이즈 표준편차 계산부(303), 필터링 웨이트 값 생성부(305), 템포랄 블렌딩부(307), 스페셔-템포랄 블렌딩부(309), 로컬 평균값 추출부(311), 2D 필터링부(313), 및 선택부(315)를 포함할 수 있다. 또한, 상기 노이즈 필터(250)는 웨이트 디코더(317), 웨이트 엔코더(319)를 포함할 수 있다.

적응 3차원 노이즈 제거 필터(adaptive 3DNR filter)로서 기능하는 상기 노이즈 필터(250)내에서, 상기 밝기 값 계산부(Intensity level calculation part:301)는 현재 프레임의 현재 화소 값의 인텐시티 레벨을 계산한다. 화소가 갖는 노이즈의 표준 편차는 그 화소의 밝기 값과 큰 상관관계를 갖는다. 따라서, 현재 노이즈를 제거하고자 하는 화소의 밝기 값을 계산할 필요가 있으며, 이 경우에 노이즈에 기인하여 화소의 실제 밝기 값이 왜곡되는 현상이 없도록 해야한다. 이를 위해 주변화소들을 이용하여 FIR 필터(filter)를 적용한 값이 현 화소의 인텐시티 레벨(intensity level)로서 사용될 수 있다. 여기서, 라인(L1)을 통해 인가되는 화소들은 RGB 베이어(bayer) 패턴 데이터일 수 있다.

상기 노이즈 표준편차 계산부(Noise standard deviation calculation part:303)는 현재 프레임의 현재 화소 값의 인텐시티 레벨에 따른 노이즈 편차를 계산한다. 즉, 상기 노이즈 표준편차 계산부(303)는 라인(L11)을 통해 인가되는 상기 인텐시티 레벨(intensity level)을 이용하여, 그 밝기 값에 해당하는 노이즈의 표준 편차(standard deviation)를 구하는 블럭이다. 이 경우에 이미지 센서(sensor)별로 그 특성이 각기 다르므로 해당 센서에 맞게 밝기별 노이즈의 표준편차(standard deviation)을 사전에 지정하여둘 필요가 있다.

도 4는 화소 밝기 대 노이즈 표준 편차의 관계를 이미지 센서별로 나타내는 그래프도이다. 도면에서, 가로축은 화소 밝기에 대한 인텐시티 레벨을 나타내고 세로축은 노이즈 표준 편차의 레벨을 가리킨다.

도 4를 참조하면, 제1 그래프(GR1)의 특성은 제2 그래프(GR2)의 특성에 비해 상대적으로 어두운 곳에 적용되는 이미지 센서에서 나타난다. 그래프 노드(GND1)는 인텐시티 10 레벨과 노이즈 표준 편차가 5의 교차점을 나타내고, 그래프 노드(GND2)는 인텐시티 100 레벨과 노이즈 표준 편차가 15의 교차점을 나타낸다. 상기 제1 그래프(GR1)에서 인텐시티의 레벨이 증가함에 따라 노이즈 표준 편차의 레벨은 상대적으로 더 큰 변화율로 증가함을 알 수 있다. 결국, 화소의 밝기 값이 클 수록 노이즈의 변화량은 민감하다.

따라서, ISP 제어부(230)는 도 4와 같은 그래프 값을 미리 저장하여 두고, 현재의 조명 상태 예를 들어 로우 라이트(lowlight) 또는 하이라이트(highlight) 인지에 따라서 라인(L12)을 통해 출력되는 노이즈 표준 편차 값을 변경할 수 있다. 이 경우에 조명의 변화는 AGC(analog gain control)값의 변화 등을 통해 감지될 수 있다.

상기 필터링 웨이트 값 생성부(Temporal weight value generating part;305)는 이전 프레임의 이전 화소 값과 상기 현재 화소 값 간의 화소 밝기 차이에 대하여 상기 노이즈 편차를 적용함에 의해 템포랄 필터링에 사용될 템포랄 웨이트 값을 구한다. 템포랄 필터링(temporal filtering)에 사용될 템포랄 웨이트 값을 구할 때, 부정확한 예측으로 인한 팬텀 에펙트(phantom effect) 등을 줄이기 위하여, 웨이트 값이 보정될 수 있다. 그러한 보정은 현재 화소의 주변 화소의 값 및 다른 채널(R/Gr/Gb/B)의 값을 적응적(adaptive)으로 사용함에 의해 달성된다.

즉, 상기 화소 밝기 차이(temporal difference)가 상기 노이즈 편차 값 이하일 경우, 그 화소를 노이즈로 취급하고 그 화소에 대한 템포랄 웨이트 값을 상대적으로 높이면 된다. 그러나 그러한 경우에 그 화소는 실질적으로 이전 화소에 비해 아주 작은 차이 값을 갖는 에지 신호(edge signal)일 수도 있다. 이와 같은 경우를 대비하여, 주변 화소 값들의 밝기 변화 방향, 다른 채널 값들의 변화 값도 함께 고려할 필요가 있는 것이다. 이러한 고려에 의해 에지 몽롱화가 방지된다.

상기 템포랄 블렌딩부(Temporal blending part:307)는 상기 필터링 웨이트 값 생성부(Temporal weight value generating part;305)의 라인(L13)으로부터 출력되는 상기 템포랄 웨이트 값을 이용하여 상기 현재 화소 값과 상기 이전 화소 값을 블렌딩함에 의해 템포랄 필터링을 수행한다.

상기 템포랄 블렌딩부(307)의 템포랑 블렌딩 결과를 t_out이라고 하고 0-16레벨로서 설정하면, t_out은 다음과 같이 계산될 수 있다.

t_out = ( (16 - w_t) * cur_pel + w_t * prev_pel ) / 16 ----(계산식 1).

여기서, w_t는 웨이트 값을, cur_pel은 현재 화소의 값을, prev_pel은 이전 화소의 값을 각기 가리킨다. 상기 계산식 1에 따르면, 노이즈 값이 높으면 이전 화소의 값이 보다 많이 반영됨을 알 수 있다.

상기 로컬 평균값 추출부(311)는 스파셜 영역에서 주변화소들의 평균 값을 산출한다.

상기 2D 필터링부(313)는 라인(L13)을 통해 인가되는 상기 템포랄 웨이트 값을 이용하여 스파셜 영역에서 주변화소들의 평균 값과 상기 현재 화소 값을 블렌딩함에 의해 스파셜 필터링을 수행한다. 상기 2D 필터링부(313)는 2D 필터링 시 상기 필터링 웨이트 값 생성부(305)에서 출력되는 노이즈 표준 편차나 상기 템포랄 웨이트 값을 참조할 수 있다. 상기 2D 필터링부(313)의 최종 출력(s_out)은 현재 화소 값과 주변 화소들의 평균값(local mean value)을 블렌딩(blending)함에 의해 다음의 계산식 2와 같이 구해진다.

s_out = ( gain * curr_pixel + ( 16 -gain ) * local_mean ) / 16 ---(계산식 2)

현재 화소 값과 주변 화소 값을 적응적으로 블렌딩 시에 템포랄 웨이트 값이 특정 드레쉬홀드(threshold) 값 보다 낮아질 질 경우, 노이즈의 튐현상을 막기 위하여 게인(gain)이 조절될 수 있다.

상기 스페셔-템포랄 블렌딩부(Spatio Temporal Blending part:309)는 라인(L14)를 통해 인가되는 상기 템포랄 필터링 출력 값과 라인(L15)를 통해 인가되는 상기 스파셜 필터링 출력 값을 블렌딩함에 의해 혼합 필터링을 수행한다. 라인(L16)에 나타나는 스페셔-템포랄 블렌딩의 출력을 st_out이라고 하면, 다음의 계산식 3과 같이 나타난다.

st_out = ( ( 16 - w_t ) * t_out + w_t * s_out ) / 16 --- (계산식 3)

특정 드레쉬홀드 값 이하로 템포랄 웨이트 값이 아주 낮아질 경우, 현재 프레임의 화소 값이 거의 그대로 사용되어 버리면 많은 노이즈가 나타나게 된다. 그러한 노이즈를 제거하기 위해 상기 스페셔-템포랄 블렌딩부(309)는 상기 템포랄 필터링 출력 값과 상기 스파셜 필터링 출력 값을 블렌딩한다. .

선택부(315)는 선택 제어신호(CON1)에 따라 3입력들(A,B,C)중의 하나를 출력(OUT)으로서 출력한다. 여기서, 상기 선택 제어신호(CON1)은 도 2의 ISP 제어부(230)로부터 제공된다.

계산량은 많지만 가장 양호한 화질을 얻고자 할 경우에, 선택부(315)는 3입력들(A,B,C)중에서 입력(C)을 선택할 수 있다. 한편, 노이즈 필터링이 필요 없다고 판단되는 경우에 상기 선택부(315)는 3입력들(A,B,C)중에서 입력(B)을 선택할 수 있다. 상기 3입력들(A,B,C)중에서 입력(B)의 선택은 스파셜 영역에서의 필터링이 요구되는 경우이다.

한편, 웨이트 엔코더(319)는 라인(L22)으로부터 인가되는 M비트의 웨이트 값을 L비트의 웨이트 값으로 엔코딩하고, 웨이트 디코더(317)는 라인(L20)으로부터 인가되는 L비트의 웨이트 값을 M비트의 웨이트 값으로 디코딩한다. 상기 웨이트 엔코더(319)의 채용에 의해 이미지 데이터는 압축된 형태로 저장될 수 있으므로 메모리 사용 효율이 좋아진다.

노이즈에 의해 급격하게 웨이트 값이 바뀌는 것을 방지하기 위하여, 이전 프레임의 같은 위치 화소에 대한 필터링 시에 사용되었던 웨이트 값이 현재 프레임의 대응 화소에 대한 필터링 시에도 반영된다. 이 경우에 이전 프레임의 웨이트 값을 가져오기 위한 대역 폭(bandwidth)를 줄이기 위해서, 풀 레졸류선(full resolution)값을 그대로 저장한 다음 불러 오는 것이 아니라 비트수를 줄였다가 다음 프레임에서 복원하여 사용하는 스킴이 채용된다.

이와 같이 카메라 노이즈(Camera noise)를 제거시 적응적으로 화소 대 화소(pixel by pixel) 단위(basis)로 블렌딩함에 의해 노이즈 제거 성능이 높아진다.

도 5를 참조하면, 도 3에 따른 영상 노이즈 필터링의 처리 수순이 나타나 있다.

단계 S50에서 제3 선택 모드(PT3)가 선택되었는 지 아닌 지의 유무가 체크된다. 제3 선택 모드(PT3)는 스페셔 영역 및 템포랄 영역 모두에서의 노이즈 필터링을 가리킨다. 상기 제3 선택 모드(PT3)로서 체크된 경우에 단계 S51이 수행된다. 단계 S51은 밝기 값 및 노이즈 표준 편차를 계산하는 단계로서, 도 3의 밝기 값 계산부(301) 및 노이즈 표준편차 계산부(303)에 의해 실행된다.

단계 S52에서 필터링 웨이트 값은 도 3의 필터링 웨이트 값 생성부(305)에 의해 생성된다. 단계 S53은 템포랄 블렌딩 단계이다. 템포랄 블렌딩은 도 3의 템포랄 블렌딩부(307)의 템포랄 필터링 동작에 의해 구현된다.

단계 S54는 스페셔-템포랄 블렌딩 단계이다. 상기 단계 S54는 도 3의 스페셔-템포랄 블렌딩부(309)의 스페셔 및 템포랄 필터링 동작에 의해 구현된다. 제3 선택 모드(PT3)가 선택된 경우에 도 3의 선택부(315)는 C 입력을 선택하여 출력 라인(L2)으로 제공한다.

단계 S56에서 제2 선택 모드(PT2)가 선택되었는 지 아닌 지의 유무가 체크된다. 제2 선택 모드(PT2)는 스파셜 영역에서의 노이즈 필터링을 가리킨다. 상기 제2 선택 모드(PT2)로서 체크된 경우에 단계 S57이 수행된다. 단계 S57은 로컬 평균값을 추출하는 단계로서, 도 3의 로컬 평균값 추출부(311)에 의해 실행된다.

단계 S58은 2차원(2D) 필터링을 수행하는 단계로서, 2D 필터링부(313)에 의해 스페셔 영역에서의 노이즈 필터링이 실행된다. 제2 선택 모드(PT2)가 선택된 경우에 선택부(315)는 B 입력을 선택하여 출력 라인(L2)으로 제공한다.

단계 S59에서 제1 선택 모드(PT1)가 선택되었는 지 아닌 지의 유무가 체크된다. 상기 제1 선택 모드(PT1)는 노이즈 필터링이 수행되지 않는 바이패스 모드를 가리킨다. 이 경우에 도 3의 선택부(315)는 A 입력을 선택하여 출력 라인(L2)으로 제공한다.

상기 제1 선택 모드(PT1)가 선택된 것으로 체크된 경우에 단계 S60이 수행된다. 상기 단계 S60은 바이패스 단계로서, 템포랄 영역 및 스페셔 영역 어디에서도 노이즈 필터링이 수행되지 않는다.

도 6을 참조하면, 디지털 카메라에 채용된 본 발명의 응용 예가 나타나 있다.

디지털 카메라는 렌즈(61), 이미지 센서(63), A/D 변환기(65), 이미지 처리부(67), 메모리 카드(69), 및 인터페이스부(71)를 구비할 수 있다.

렌즈(61)는 디지털 카메라의 광학 렌즈로서 피사체의 이미지를 내부로 전달한다. 이미지 센서(63)는 상기 이미지를 전기적 신호로 변환한다. A/D 변환기(65)는 상기 전기적 신호를 프로세서가 처리가능한 디지털 데이터로 변환한다. 메모리 카드(69)에 연결된 인터페이스부(71)는 내부 또는 외부와의 인터페이싱을 담당한다. 예를 들어, 상기 메모리 카드(69)에 저장된 이미지 데이터는 상기 인터페이스부(71)를 통해 외부로 전송될 수 있다.

이미지 처리부(67)는 상기 변환된 디지털 데이터를 히스토그램 (histogram), 선명도(sharpness), 노이즈(noise), 노출(exposure), 밝기, 색 균형(color balance)등에 맞추어 처리한다. 이 경우에 상기 이미지 처리부(67) 내에는 본 발명의 실시 예에 따른 노이즈 필터도 노이즈 필터링을 위해 채용될 수 있다.

도 6의 메모리 카드(69)는 고용량의 데이터 저장 능력을 지원하기 위해 플래시 메모리를 포함할 수 있다. 상기 메모리 카드(69)는 호스트(Host)와 플래시 메모리 간의 데이터 교환을 전반적으로 제어하는 메모리 컨트롤러를 내부적으로 포함할 수 있다. 그러한 플래시 메모리를 포함하는 플래시 메모리 시스템 또는 메모리 시스템은 다양한 형태들의 패키지로 실장 될 수 있다. 예를 들면, 플래시 메모리 시스템 또는 메모리 시스템은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 방식으로 패키지화되어 메모리 카드에 실장될 수 있다.

도 6에서, 렌즈(61)를 통해 들어오는 영상이 이미지 센서(63)에서 캡쳐될 때 발생되는 노이즈를 제거하기 위해, 상기 이미지 처리부(67)내에는 본 발명의 실시 예에 따른 도 3의 노이즈 필터가 채용될 수 있다.

여기서, 노이즈는 스파셜 도메인에서의 필터링 뿐만 아니라 템포랄 도메인에서도 적응적으로 필터링되므로 보다 정확한 3차원(3D)노이즈 제거(noise reduction)가 수행된다. 따라서, 디지털 카메라의 퍼포먼스가 개선되고 품질 경쟁력이 높아진다.

도 7을 참조하면, 휴대용 통신 단말기에 채용된 본 발명의 또 다른 응용 예가 보인다.

휴대용 통신 단말기는 RF 블럭(72), 조작부(80), 제어부(74), 이미지 처리부(76), 렌즈(78), 저장부(82), 및 디스플레이부(84)를 포함할 수 있다.

RF 블럭(72)은 휴대용 통신 단말기의 무선 통신 데이터를 수신하고 송신하는 기능을 수행한다. 조작부(80)는 단말기 이용자와의 인터페이싱을 위해 각종 기능 키 및 텐키와, 터치 패드를 포함할 수 있다. 제어부(74)는 미리 설정된 프로그램에 따라 휴대용 통신 단말기의 제반 동작을 제어한다. 상기 제어부(74)는 필요에 따라 베이스 밴드 처리용 프로세서와 어플리케이션 처리용 프로세서를 별도로 구비할 수 있다. 이미지 처리부(76)는 본 발명의 실시 예에 따른 도 1의 ISP 블록(103)이 될 수 있다. 렌즈(78)는 휴대폰 용 렌즈 또는 탈부착형 줌 렌즈일 수 있으며, 저장부(82)는 플래시 메모리로 구현될 수 있다.

상기 디스플레이부(84)는 터치 타입의 액정 디스플레이로 구현될 수 있으며, 백 라이트로서 LED를 사용할 수 있다.

도 7에서, 렌즈(78)의 영상에 포함된 노이즈가 효율적으로 제거되도록 하기 위해, 상기 이미지 처리부(76)내에는 본 발명의 실시 예에 따른 도 3의 노이즈 필터가 채용될 수 있다.

여기서, 노이즈는 스파셜 도메인에서의 필터링 뿐만 아니라 템포랄 도메인에서도 적응적으로 필터링되므로 보다 정확한 3차원(3D)노이즈 제거(noise reduction)가 수행된다. 따라서, 휴대용 통신 단말기의 퍼포먼스가 개선되고 품질 경쟁력이 높아진다.

상기한 설명에서는 본 발명의 실시 예들을 위주로 도면을 따라 예를 들어 설명하였지만, 본 발명의 기술적 사상의 범위 내에서 본 발명을 다양하게 변형 또는 변경할 수 있음은 본 발명이 속하는 분야의 당업자에게는 명백한 것이다. 예를 들어, 사안이 다른 경우에 본 발명의 기술적 사상을 벗어남이 없이, 노이즈 필터의 내부 회로 블록구성이나 노이즈 필터링 방법을 다양하게 변경 또는 변형할 수 있을 것이다.

*도면의 주요 부분에 대한 부호의 설명*
250: 노이즈 필터
305: 필터링 웨이트 값 생성부
307: 템포랄 블렌딩부
309: 스페셔-템포랄 블렌딩부
315: 선택부

Claims (10)

1. 현재 화소가 갖는 템포랄 차이 값과 적응적 노이즈 편차를 이용하여 템포랄 웨이트 값을 구하는 단계;
   상기 템포랄 웨이트 값을 상기 화소의 주변 화소 및 다른 채널 화소들을 이용하여 리파인하는 단계; 및
   상기 템포랄 웨이트 값을 이용하여 상기 현재 화소에 대한 템포랄 필터링을 수행하는 단계를 포함하며,
   상기 템포랄 필터링의 출력은 스파셜 필터링의 출력과 블렌딩되고,
   이후 프레임에 대한 화소 처리를 위해 상기 템포랄 웨이트 값의 저장 시 상기 템포랄 웨이트 값의 비트 수가 감소된 상태로 저장되도록 하기 위해 상기 템포랄 웨이트 값을 엔코딩하는 단계를 포함함을 특징으로 하는 영상 노이즈 필터링 방법.
2. 삭제
3. 삭제
4. 현재 프레임의 현재 화소 값의 인텐시티 레벨에 따른 노이즈 편차를 구하는 단계;
   이전 프레임의 이전 화소 값과 상기 현재 화소 값 간의 화소 밝기 차이에 대하여 상기 노이즈 편차를 적용함에 의해 템포랄 필터링에 사용될 템포랄 웨이트 값을 구하는 단계;
   상기 템포랄 웨이트 값을 이용하여 상기 현재 화소 값과 상기 이전 화소 값을 블렌딩함에 의해 템포랄 필터링을 수행하는 단계;
   상기 템포랄 웨이트 값을 이용하여 스파셜 영역에서 주변화소들의 평균 값과 상기 현재 화소 값을 블렌딩함에 의해 스파셜 필터링을 수행하는 단계;
   상기 템포랄 필터링 출력 값과 상기 스파셜 필터링 출력 값을 블렌딩함에 의해 혼합 필터링을 수행하는 단계;
   선택제어신호에 응답하여 상기 혼합 필터링 출력과 상기 스파셜 필터링 출력 중의 하나를 선택하는 선택 단계; 및
   이후 프레임에 대한 화소 처리를 위해 상기 템포랄 웨이트 값의 저장 시 상기 템포랄 웨이트 값의 비트 수가 감소된 상태로 저장되도록 하기 위해 상기 템포랄 웨이트 값을 엔코딩하는 단계를 포함함을 특징으로 하는 영상 노이즈 필터링 방법.
5. 삭제
6. 제4항에 있어서, 상기 템포랄 필터링의 수행 전에 상기 템포랄 웨이트 값을 상기 현재 화소의 주변 화소 및 다른 채널 화소들을 이용하여 리파인하는 단계를 더 포함함을 특징으로 하는 영상 노이즈 필터링 방법.
7. 삭제
8. 제4항에 있어서, 상기 엔코딩된 템포랄 웨이트 값을 상기 이후 프레임에 대한 화소 처리 시 이용하기 위해 상기 엔코딩된 템포랄 웨이트 값을 디코딩하는 단계를 더 포함함을 특징으로 하는 영상 노이즈 필터링 방법.
9. 제4항에 있어서, 상기 노이즈 편차는 사용되는 이미지 센서의 특성에 따라 각기 서로 다른 값을 가짐을 특징으로 하는 영상 노이즈 필터링 방법.
10. 현재 프레임의 현재 화소 값의 인텐시티 레벨을 계산하는 밝기값 계산부;
    상기 인텐시티 레벨에 따른 노이즈 편차를 구하는 노이즈 표준 편차 계산부;
    이전 프레임의 이전 화소 값과 상기 현재 화소 값 간의 화소 밝기 차이에 대해 상기 노이즈 편차를 적용하여 템포랄 필터링에 사용될 템포랄 웨이트 값을 구하는 필터링 웨이트 값 생성부;
    상기 템포랄 웨이트 값을 이용하여 상기 현재 화소 값과 상기 이전 화소 값을 블렌딩하여 템포랄 필터링을 수행하는 템포랄 블렌딩부; 및
    이후 프레임에 대한 화소 처리를 위해 상기 템포랄 웨이트 값의 저장 시 상기 템포랄 웨이트 값의 비트 수가 감소된 상태로 저장되도록 하기 위해 상기 템포랄 웨이트 값을 엔코딩하는 웨이트 엔코더를 포함하는 영상 노이즈 필터링 장치.

Images