KR100381530B1

KR100381530B1 - 신규한 에지-검출 기초 노이즈 제거 알고리듬

Info

Publication number: KR100381530B1
Application number: KR10-2000-7006127A
Authority: KR
Inventors: 틴쿠 아챠리야; 핑-싱 사이
Original assignee: 인텔 코오퍼레이션
Priority date: 1997-12-08
Filing date: 1998-11-16
Publication date: 2003-04-26
Also published as: US6229578B1; AU1411999A; JP2002503894A; KR20010032809A; DE69842169D1; WO1999030547A3; WO1999030547A2; EP1038159A2; TW455781B; EP1038159B1; EP1038159A4

Abstract

에지 및 비-에지 픽셀들 간을 구별함으로써 노이즈를 제거하고(120, 130, 140) 비-에지 픽셀들로 분류된 픽셀들에 제1 노이즈 제거 기술을 적용하며(160) 에지 픽셀들로 분류된 픽셀들에 대하여 제2 노이즈 제거 기술을 적용하는(150) 방법이 개시되어 있다. 이 방법은 칼라 보간 전에, 칼라 필터 배열(Color Filter Array; CFA)에 있는 동안 이미지들에 대하여 작동하고 에지이든 비-에지이든 간에, 분류에 적합한 기술들을 사용한다.

Description

신규한 에지-검출 기초 노이즈 제거 알고리듬{A New Edge-Detection Based Noise Removal Algorithm}

이미지 프로세싱의 기술에 있어서, 센싱 또는 캡처 장치로부터 캡처된 대상/장면의 가공하지 않은 이미지들은 종종 다양한 형태의 "노이즈"(대상 또는 환경에는 존재하지 않으나 그럼에도 불구하고 그 이미지에는 나타날 수 있는 요소)에 영향을 받기 쉽다. 이미지에 존재하는 노이즈는 노이즈를 첨가할 수도 있는 반면에 다른 목적을 달성하려는, 최초 이미지 캡처에 이어진 센서 또는 프로세싱 단계들과 같은 이미지 시스템의 특성들에 기인할 수 있다. 픽셀 또는 픽셀들의 영역이 노이즈라고 지시하는 성질들 및 특성들과 픽셀 또는 픽셀들의 영역이 이미지의 에지 또는 미세한 상세(fine detail)라고 지시하는 성질은 구별되기 어렵다. 그래서, 노이즈의 제거에 대한 근본적인 문제는 노이즈로 지시되는 것의 제거가 종종 실제로는미세 에지 또는 상세의 제거일 수 있다는 것이다. 미세 상세 또는 에지가 제거되면, 얼룩 효과(blurring effect)가 이미지의 그 영역 내에 발생할 수 있다. 더군다나, 칼라 이미지들에서 얼룩 효과는 그 에지에서 다른 픽셀(들)에 걸쳐서 한 칼라의 방혈(bleeding)을 낳는다. 직선 필터링 기술에 기초한 노이즈 제거 과정들은 이러한 폐해를 심하게 겪었고, 그래서 메디안(median)과 같은 등급화된 순서 통계(ranked order statistics)에 기초한 한 부류의 필터링 기술들이 개발되었다.

메디안 필터는 (필터가 적용되고 있는) 픽셀 P 및 특정한 이웃에 있거나 픽셀 P에 대한 특정 벡터를 따라 있는 픽셀들에 속하는 강도 값(intensity value)을 순서대로 등급화한다. 예를 들어, {12, 13, 200, 50, 14}의 픽셀 P에 대한 그리고 포함하는 샘플 값들에 적용되는 (그 픽셀을 통하여 이웃 픽셀들로 향하는 특정 방향에서 적용되는) 메디안 필터는 우선 {12, 13, 14, 118, 200}로서 순서대로 등급화될 것이다. 소위 단일-방향 FIR 메디안 하이브리드 필터는 14인 샘플 세트의 메디안과 함께 200의 값을 가지는 원래의 픽셀 위치 P를 대체할 것이다. 그래서, 필터 후의 출력 벡터는 {12, 13, 14, 50, 14}일 것이다. 그 값 200이 실제로 노이즈라기 보다는 에지의 부분이라면, 출력 벡터에서 나타나는 것처럼 필터를 적용함에 의하여 야기되는 다듬음(smoothing)은 그 에지 형상을 없앨 것이다.

여러 개선된 메디안 필터들이 이 문제를 보상하기 위하여 개발되어 왔다. 한 특정의 그러한 메디안 필터, 멀티레벨 FIR(Finite Impulse Response) 메디안 하이브리드 필터는 이미지에 대한 각 방향에서 메디안 필터를 반복적으로 취하고 최초의 입력 픽셀을 각 필터에서 적용한다. 멀티-레벨 메디안 하이브리드 필터는 특정필터 방향에서 픽셀들을 평균화함에 의하여 동작들을 분류화하는 부담을 줄이는 하위-필터들을 평균화하고, 다음으로 세 개와 같은 값들의 보다 작은 세트에 기초하여 메디안 계산을 수행한다. 그래서, 메디안 하이브리드 필터에서, 두 개의 이웃하는 서쪽 픽셀들은 평균화될 것이고 그 결과는 두 개의 이웃하는 동쪽 픽셀들의 평균에 따라 메디안 필터에 공급된다. 메디안 필터로의 제3의 입력은 노이즈 제거를 위하여 고려하에 있는 픽셀이다. 다른 방향들에서, 유사한 과정이 적용된다. 3-레벨(three-level) 메디안 하이브리드 필터에서, 첫 번째 레벨은 평균화된 이웃 픽셀들 모두를 반대 방향에 있는 벡터들과 쌍을 이루게 하고(북쪽과 남쪽 등), 방향 평균들(8개의 그것들)의 각 쌍에 대하여 이것들을 또한 제3의 입력으로서 관심의 픽셀을 따라 메디안 필터로 공급한다(feed). 첫 번째 필터의 얻어진 메디안 값들은 다시 쌍을 형성하고 관심의 픽셀을 따라 메디안 필터로 입력된다. 메디안 하이브리드는 어떤 에지들을 식별하는데 있어서는 잘 작동하는 것으로 보여 왔지만, 그것은 에지 검출과 관련된 여러 가지 점에서 부족하다. 메디안 하이브리드 필터는 에지 자체의 노이즈 여부를 고려하지 않는다. 다시 말하면, 8개가 채용되더라도 에지의 방향은 엄격한 정밀도로 결정될 수 없다. 예를 들어, 에지 형상(edge feature)이 특정 픽셀로부터 33도 벡터(33 degree vector)에 놓일 수 있고, 그래서 8개의 방향들은 에지 특성을 결정하는데 부적합하다. 다시 말하면, 단일 픽셀은 디지털 이미지들의 이산적 세계에서 표현될 수 없는 비-이산적 세계에서 에지인 부분 및 비-에지인 부분을 포함할 수 있다. 디지털 이미지들에 적용될 때, 메디안 하이브리드 필터는, 모든 픽셀에 어디든지 적용된다면, 노이즈를 전파하거나 그것을 제거하려고시도하는 동안 픽셀에서 픽셀로 그것을 이동시킬 수 있다. 왜냐하면 에지의 비-주요 방향에 기인하여 에지 특성을 따라 노이즈가 있기 때문이다. 만곡된 에지는 그러한 문제의 완벽한 예이다.

대상/장면이 디지털 카메라와 같은 센싱 또는 이미징 장치에 의하여 이미지화될 때, CFA(Color Filter Array)로 캡처되어 얻어지는 이미지는 특정 칼라 채널 패턴을 가진다. 이미지를 캡처하기 위하여 자주 사용되는 한 패턴은 베이어(Bayer) 패턴으로서 알려져 있으며, 그것은 다음과 같은 칼라 채널들을 가진다.

G R G R G R ...

B G B G B G ...

G R G R G R ...

그후의 줄은 그 패턴을 반복한다.

그래서, 베이어 패턴 CFA에서, 각 픽셀 위치는 완전한 칼라를 만들기 위하여 조합되는 3개의 칼라 평판의 하나(적색, 녹색 및 파란색)에만 관련되는 강도값을 가진다. 각 픽셀 위치에 대한 두 개의 분실된 칼라 성분들을 평가하는 방법은 칼라 보간법(color interpolation)으로서 그 분야에서 알려져 있다. 칼라 보간법은 대부분의 전통적인 노이즈 감소 또는 제거 기술들이 완전한 칼라 픽셀 정보를 가지는 이미지들에 대하여 작동하도록 설계된다는 사실에 기인하여 종종 칼라 이미지들에서 노이즈의 제거를 진행한다. 칼라 보간법 자체의 수행은 노이즈를 도입할 것이고, 디지털 카메라의 경우에, 칼라 보간법이 이미지 압축 및 컴퓨터와 같은 데이터 프로세싱 시스템으로의 다운로드 후에 대부분 수행되면, 칼라 해상도컴팬딩(companding), 압축(양자화 및 암호화) 및 압축해제의 중간 단계들은 추가적 노이즈를 첨가하여 최초 캡처된 이미지 노이즈는 다른 노이즈와 함께 무시되어 아마도 노이즈인 구별성을 잃어버리고 이미지 형상인 구별성을 얻을 수 있다. 칼라 보간법 수행에 의하여 달성되는 완전한 칼라 픽셀에 대한 노이즈 제거를 수행하는 것은 메모리 및 노이즈 제거 프로세스의 프로세싱 요구를 3배 정도 증가시키고(왜냐하면 각 픽셀은 3배의 해상도를 가지기 때문에), 그래서 하드웨어에서 수행하기가 어렵고 비용이 많이 든다. 다른 노이즈 제거 기술들은 칼라 보간후에 예를 들어, YUV 공간으로 칼라 공간 변환을 수행함으로써 이 부담을 줄이려고 하며, 여기에서 Y(색차) 성분만이 노이즈 제거를 위하여 고려된다. 그러나, 이것은 칼라 보간에 의하여 전파되는 것 이외의 추가적인 노이즈를 전파할 수 있고 또한 하드웨어에서 쉽게 수행될 수 없다.

그래서, 에지 픽셀들을 비-에지 픽셀들로부터 구별할 수 있을 뿐만 아니라, 어떠한 칼라 보간 전에 CFA 이미지 영역에서 직접적으로 작업할 수 있는 노이즈 감소 체제에 대한 요구가 있다.

본 발명은 일반적으로 이미지 프로세싱의 분야에 관한 것이다. 더욱 상세하게는, 본 발명은 디지털 이미징 장치에 의하여 생성되는 이미지의 프로세싱에 관한 것이다.

본 발명에 대한 방법 및 장치의 목적들, 특징들 및 이점들은 다음의 설명으로부터 명확하게 될 것이며, 상세 설명에 있는 도면은 다음과 같다.

도 1은 본 발명의 한 실시예에 대한 흐름도이다.

도 2(a)는 제1의 방향 미분(differential)을 획득하기 위한 마스크를 도시한 것이다.

도 2(b)는 제1의 방향 미분을 획득하기 위한 마스크를 도시한 것이다.

도 3은 본 발명의 한 실시예에 따라 각 칼라 평판에서 독립적으로 노이즈 제거 기술의 적용을 도시한 것이다.

도 4는 예시적 이미지 영역에 적용되는 것으로서 본 발명의 최소한 한 실시예의 원리들을 도시한 것이다.

도 5는 본 발명의 다양한 실시예들에서 채용되는 것으로서 3-레벨 메디안 하이브리드 필터의 블록도이다.

도 6은 본 발명의 다양한 실시예들에서 채용되는 것으로서 3-레벨 메디안 하이브리드 필터의 블록도이다.

도 7은 본 발명의 한 실시예의 시스템도이다.

캡처된 이미지의 픽셀들을 그것의 칼라 필터 어레이 형태에서 에지 픽셀들 또는 비-에지 픽셀들로서 분류하는 단계를 포함하는 방법이 개시된다. 그 방법은 다음으로 비-에지 픽셀들로 분류된 그러한 픽셀들에 제1의 노이즈 제거 기술을 적용하고 에지 픽셀들로 분류되는 것들에 제2의 노이즈 제거 기술을 적용함에 의하여노이즈 제거를 수행한다. 두 개의 노이즈 제거 기술들은 이미지가 아직 칼라 필터 어레이 형태에 있을 동안 적용된다.

이제, 도면을 참조하여, 본 발명의 예시적 실시예들을 설명할 것이다. 예시적 실시예들은 본 발명의 양상들을 설명하기 위하여 제공되며 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 예시적 실시예들은 우선 블록도들 또는 흐름도들을 참조하여 설명된다. 흐름도에서와 같이, 흐름도들에 있는 각 블록은 방법 단계 및 그 방법 단계를 수행하기 위한 장치 요소 모두를 나타낸다. 실시에 의존하여, 해당하는 장치 요소는 하드웨어, 소프트웨어, 펌웨어 또는 그들의 조합으로 구성될 수 있다.

센서 또는 카메라 또는 다른 이미징 장치에 의하여 캡처된 이미지가 분석될 때, 노이즈가 있는 이미지의 부분들을 가진다고 말할 수 있고 반면에 다른 부분들은 노이즈가 없다. 노이즈를 구성하는 것의 결정은 어렵고 강제적 과정이 아니다. 노이즈는 이미지의 가느다란 선 또는 "에지" 부분과 같은 상세한 것(detail)과 혼동될 수 있다. 캡처된 이미지에서 노이즈의 제거는 노이즈가 제거되는 동안 상세 정보가 여전히 보존될 때 최적이다. 전통적인 노이즈 제거에서, 각 픽셀은, 에지 특징들을 가지든 가지지 않든, 노이즈를 에지들로부터 구별할 수 없는 이러한 상대적 무능력에 상당 부분 기인하여 동일한 노이즈 제거 기술에 의하여 처리된다.

베이어 패턴 CFA(Color Filter Array)로 캡처된 것과 같은 칼라 이미지들에서, 칼라 보간의 단계는 추가적으로 노이즈를 도입할 수 있고, 그래서 이미징 장치 자체에 기인하는 원래의 노이즈는 더욱 교란된다. 캡처로부터 표시(rendering)까지의 이미징 프로세스의 각 단계에서 다양한 형태의 노이즈의 첨가는 그 노이즈 패턴들이 알 수 없는 방식으로 조합되기 때문에 추가적 어려움을 가져다 준다. 얻어지는 이미지는 노이즈로서 구별되지 않는 요소들을 가질 것이며, 그래서, 베이어 패턴 CFA가 대부분 노이즈 제거 기술을 위하여 우선적으로 요구되는 칼라 보간의 대상이 될 때, 칼라들은 에지로부터 에지로 그리고 형상(feature)으로부터 형상으로 방혈(bleed)될 것이다. 예를 들어, 노란색 배경 상에 놓이는 파란색 에지 형상을 고려하자. 노이즈에 기인하여 빨간색 픽셀은 에지 경계 상의 어딘가에 놓일 수 있다. 전형적인 칼라 보간 방법들에 기인하여, 파란색 및 노란색은 빨간색과 함께 평균화되어 이웃에 있는 어딘가에 파란색, 노란색 및 빨간색을 가지는 완전한 픽셀을 형성할 것이고(왜냐하면 빨간색은 이미지 영역 내에서, 작기는 하지만, 하나의 형상으로서 존재하기 때문에), 그래서, 가짜 칼라 픽셀이 생성될 것인데, 이것은 그후에 노이즈 제거 과정에서 노이즈로서 구별되지 않을 수 있다.

그래서, 칼라 보간의 과정 전에 CFA 영역에서 작동하여 추가적 노이즈 및 칼라 방혈 문제가 회피될 수 있는 노이즈 제거 기술을 고안하는 것이 바람직할 것이다. 더 나아가, 그 기술은 이미지에서 에지 형상들에 속하는 픽셀들을 에지 형상들에 속하지 않는 픽셀들과 다르게 취급하고 고려하여야 한다. 또한, 사용되는 그 기술(들)은, 바람직하다면, CFA가 생성되는 디지털 카메라에서 실행될 수 있도록 빠른 하드웨어 실행을 할 수 있어야 한다. 그와 같이 가능한 하나의 노이즈 제거 방법이 도 1에 그리고 아래에서 논의되는 다양한 다른 실시예들에서 보여진다.

도 1은 본 발명의 한 실시예에 대한 흐름도이다.

먼저, 캡처된 이미지 내에 있는 최초 지역화(localization) 영역이정의된다(단계 110). 최초 지역화 영역은 캡처된 이미지의 M x N (M by N) 사각형 영역일 것인데, 여기에서 M 및 N은 바람직하다면 동일할 수 있고 그래서 정사각형 영역을 정의한다. 전체 캡처된 이미지 크기의 백분율로서의 지역화 영역은 바람직한 실행 및 허용되는 하드웨어/소프트웨어 자원들 그리고 이미지가 노이즈의 제거를 위하여 얼마나 빠르게 처리되어야 바람직한지에 대한 스피드 제한들에 따라 크거나 작을 수 있다. 이미지가 보다 큰 영역에 걸쳐 특성들에 있어 보다 균일하다면, 지역화 영역은 크게 정의될 수 있다. 그러나, 미세한 상세 식별이 중요하거나 이미지가 작은 영역들 내에서 특성에 있어 넓은 다양성을 보인다면, 지역화 영역은 보다 작게 정의될 수 있다.

일단 지역화 영역이 정의되면, 다음 단계는 어떤 마스크 또는 연산자(operator)를 적용함에 의하여 지역화 영역에 있는 각각의 그리고 모든 픽셀과 관련되는 기울기(gradient) 값을 결정하는 것이다(단계 120). 이 마스크 또는 기울기 연산자는 각 픽셀에 대하여 작은 이웃에 적용되는데, 통상적으로 그 이웃은 지역화 영역보다 작은 크기이다. 도 2(a)-2(b) 및 관련된 설명은 기울기가 결정된 픽셀을 포함하는 3 x 3 이웃을 가지는 그러한 마스크의 파라미터들 및 구성을 도시한다. 반복적으로 지역화 영역에 있는 각 픽셀에 연산자 또는 마스크를 적용하고 그래서 기울기를 결정함에 의하여, 지역화 영역에 대한 기울기 정보는 완료될 수 있다. 대부분의 기울기-기초 에지 검출에 있어서, 기울기 값은 그 기울기를 전체 이미지에서의 최대 기울기에 의하여 나눔으로써 전체 이미지에 걸쳐서 표준화(normalize)된다. 그러나, 그러한 표준화는, 하드웨어에서 실행된다면, 두과정 접근방식(two-pass approach)이 요구되는데, 이것에서 전체 캡처된 이미지에 있는 모든 픽셀들에 대한 기울기(gradient) 정보가 결정되어야 하고, 그런 후, 각 기울기는 이미지 내에서 인정되는 최대 기울기 값으로 나누어진다. 그 대신에, 본 발명의 다양한 실시예들에서는, 기울기가 지역화 영역(localization region) 내에서의 최대값에 의하여 표준화될 수 있다.

일단 기울기 정보가 결정되면, 문턱(threshold)이 선택되어야 한다(단계 130). 문턱값(threshold value)은 이미지를 통하여 적용할 수 있는 단일값으로서 또는 지역화 영역에 따라 변하는 것으로서 선택될 수 있다. 더 나아가, 그 문턱은 이미징 장치에 의하여 캡처되는 모든 이미지에 대하여 특정값으로 미리 설정될 수 있다. 그렇게 미리 설정된 문턱은 별로 정확하지는 않고 에지 검출 프로세스를 망칠 수 있으나, 기술의 현재 상태에 따라서, 노이즈 제거의 하드웨어 실행을 위하여 가장 바람직하다. 이 문턱의 선택은 본 발명의 주제가 아니지만, 지역화 영역 내의 모든 픽셀의 기울기 정보가 먼저 결정되면 어떤 문턱값을 동적으로 선택하는 것이 가능할 수 있다.

선택된 문턱값이 무엇이든 간에, 기울기 (또는 표준화된 기울기)는 그 문턱값에 대하여 비교된다(단계 140). 만약 기울기 (또는 표준화된 기울기)가 문턱값을 초과하면, 해당하는 픽셀은 선(line)과 같은 이미지의 에지 형상에 속하는 픽셀인 "에지" 픽셀로서 분류될 수 있다. 만약 그렇지 않다면, 그 픽셀은 비-에지 픽셀로서 분류된다. 본 발명의 한 실시예에 따라서, 에지 픽셀 및 비-에지 픽셀의 각각은 서로 다른 노이즈 제거 처리를 받는다. 에지 검출의 한 방법, 즉 기울기 기초 에지검출이 도 1의 흐름도에서 제공되었지만, 어떠한 적합한 에지 검출기도 사용될 수 있다. 예를 들어, 에지 및 비-에지 픽셀들을 분류하는데 있어 이미지 공간과 함께 얽힌 가우시안 마스크들(Gaussian masks)을 사용하는 잘 알려진 캐니(Canny) 에지 검출기가 도 1의 기술과 접속하여 사용될 수 있고, 바람직한 애플리케이션에서 실행할 수 있다면, 양호한 에지 식별을 제공할 것이다. 이동성 스틸 디지털 카메라와 같은 디지털 이미징 장치에 대하여, 도 1, 2(a) 및 2(b)에서 제공되는 것과 같은 검출기는 그들의 계산의 속도 및 장치 내의 적은 실리콘 영역의 사용에 기인하여 더욱 최적이다.

에지 픽셀들 또는 비-에지 픽셀들로서 픽셀들을 분류함에 의하여, 본 발명의 한 실시예에 따라, 그것들은 다음으로 서로 다른 노이즈 제거 기술 및 처리의 대상이 된다. 그래서, 단계 160에 따라, 그 픽셀이 비-에지 픽셀이라면, 다중-레벨 메디안 하이브리드 필터링과 같은 노이즈 제거 기술이 그 픽셀에 대해 적용될 수 있다(도 5 및 관련된 설명을 참조하라). 이 처리는 에지 형상들을 얼룩지게 하고 제거하는 메디안 필터링에 의하여 취해지는 문제를 회피하는데, 그 이유는 그 픽셀이 에지 형상에 속하지 않기 때문이다. 메디안 필터링은, 비-에지 픽셀에 적용될 때, 에지를 얼룩지게 함이 없이 노이즈 제거의 바람직한 효과를 가질 것이다.

노이즈는 에지 픽셀로서 분류되는 픽셀에도 역시 존재하기 때문에, 에지 픽셀은 유사한 강도값(intensity value)을 가지는 이웃 픽셀들을 직선적으로 평균화하는 것과 같은 다듬음 기술의 대상이 된다(단계 150). 이 다듬음은 에지가 완전히 제거되지 않고, 실제로 형상에 있어 에지를 향상시킬 수 있다(예를 들어, 보다 균일하게 칼라 (강도)를 함께 다듬음으로써 에지를 예리하게 한다)는 것을 보증한다. 그 직선적 평균화 기술은 고려하에 있는 픽셀을 그것 자신과 유사한 강도를 가지는 이웃 픽셀들의 직선적 평균으로 대체한다. 어떤 픽셀들이 "유사한 강도"를 가지고 있는 것으로 검정되는지를 밝히는 한 방법은 도 6 및 그것과 관련된 설명을 참조하여 아래에서 설명된다. 필수적으로, 목표는 에지 형상들이 부적당하게 함께 조합되지 않도록 사로 접하는 두 개 또는 그 이상의 에지 형상들이, 평균화될 때 혼동되어서는 안 된다는 것이다.

다음으로, 어떤 픽셀들이 그 지역화 영역 내에 노이즈 제거에 대해 처리되기 위하여 남아있다면(단계 170에서 체크됨), 다음 픽셀의 정보는 가져와지고(단계 175) 단계들 140-160이 반복된다. 일단 그 지역화 영역 내에 있는 모든 픽셀들이 노이즈 제거에 대해 처리되면, 새로운 지역화 영역이 정의될 수 있다(단계 180).

그러면, 프로세싱은 지역화 문턱에 대해 반복하는 단계들 120-170과 함께 계속된다. 바람직하게 그리고 빠른 실행을 위하여, 그 지역화 영역은 배타적이어야 하지만, 바람직하다면 중첩될 수 있다. 도 1에 설명된 노이즈 제거 기술은 어떠한 칼라 보간 전에 베이어 패턴의 픽셀들에 CFA 영역에서 직접적으로 적용될 수 있다. 그래서, 도 1 기술은, 그렇게 채용된다면, 이미지를 프로세싱하는 여러 단계들을 통하여 전파되는 노이즈의 양을 줄일 것이다.

도 2(a)는 제1 방향 미분을 얻기 위한 마스크를 도시한다.

픽셀을 위한 기울기를 결정하는 한 수단은 마스크 A(언더바)가 덮는 이웃 경계 부근의 그 픽셀의 "힘(strenghth)"를 필수적으로 찾는 마스크 A(언더바)를 적용하는 것이다. 이 힘은 본질적으로 픽셀의 두 경계들을 따르는 특정 방향에서의 미분이다. 이 제1 방향은, 제2 방향 경계를 따르는 힘에 대하여 유사한 계산과 조합될 때, 그것의 이웃들에 대항하는 것으로서의 중앙 픽셀의 상대적인 힘의 양호한 평가를 준다. 도 2(a)에서, 3 x 3 마스크는 그것의 제1 및 제3 줄(column)들에서 비-제로 계수(non-zero coefficient)를 가지고 중앙 또는 제2 컬럼에서 제로 계수를 가진다는 것이 도시되어 있다. 마스크 A(언더바)는 여섯 개의 비-제로 계수 A1, A2, A3, A4, A5 및 A6를 가진다는 것이 도시되어 있다. 마스크가 강도 값들 I0, I1, I2, I3, I4, I5, I6, I7 및 I8을 가지는 픽셀들을 가지는 이미지 영역 I에 적용될 때, 얻어지는 미분 Δx는 Δx=A1*I0+A2*I3+A3*I6+A4*I2+A5*I5+A6*I8로 표현된다. 미분 Δx는 이미지 영역 I의 중앙에 있는 것으로 도시되는 강도 값 I4를 가지는 픽셀의 기울기를 계산하는데 사용될 수 있다. 통상적으로, 마스크 A(언더바)는 함께 합산되어 제로(0)를 주는 계수들을 가질 것이다. 잘 알려진 소벨(Sobel) 마스크에서, 계수들 A1, A2 및 A3 모두는 -1의 값들을 가지는 반면에 계수들 A4, A5 및 A6 모두는 +1의 값들을 가진다. 그래서 소벨 마스크의 계수들, Δx, 미분은 Δx = I2+I5+I8-I0-I3-I6이다. 그래서, 마스크 계수들의 선택은, 이것은 의미있는 기울기 값을 달성하는 것으로 본 발명의 분야에서 알려져 있는데, 가산기에 의하여 하드웨어에서 쉽게 실행될 수 있는, 픽셀 강도 값들의 단순한 가산 및 감산에 대한 미분 계산을 단순화한다. 그래서, 미분은 실행하기 용이하게 되고 빠르게 된다. 프레위트(Prewitt) 마스크와 같은 다른 마스크는, 적용된다면, 용이하게 실행될 수 있다. 프레위트 마스크는 -1과 동일한 A1 및 A3의 계수들 및 -2의 A2 계수를 가진다. 미러에 대하여, 프레위트 마스크는 +1과 동일한 A4 및 A6의 다른 방향 경계에 대한 계수들 및 +2의 A5 계수를 가진다. 프레위트 마스크를 사용하면, Δx 또는 미분값은 Δx=I2+2*I5+I8-I0-2*I3-I6으로 된다. 2에 의한 곱산이 도입되지만, 이것은 단지 가산 및 감산 연산자들만이 하드웨어에서 실행된다면 Δx=I2+I5+I5+I8-I0-I3-I3-I6로서 I5 및 I3의 이동 연산에 의하거나 Δx 계산을 분리함에 의하여 용이하게 실행될 수 있다.

기울기 연산은 에지 검출에 사용되는데, 왜냐하면 에지는 이미지 공간 내에서 특정한 방향을 가진다고 추정되기 때문이다. 그 픽셀의 측면 경계(한 측면 - I0, I3, I6, 다른 측면 - I2, I5, I8)를 따르는 픽셀들은, I4가 에지 픽셀로 간주된다면, 픽셀 I4 자체보다 적은 힘 또는 상대적 조합된 강도 레벨을 가져야 한다. 이 관점에서, 본질적으로 수평 방향에 있는(마스크는 이미지의 좌측 및 우측 상의 힘을 결정하는 값들을 가진다) 제1 방향 미분은 상기에서 주어진 바와 같이 계산될 수 있다. 이미지 공간은 두 개의 차원, 수직 및 수평 차원에 있기 때문에, 픽셀 I4에 대한 하나 이상의 방향 미분이 계산되어질 필요가 있다.

도 2(b)는 본 발명의 한 실시예에 따른 제2 방향 미분을 얻기 위한 마스크를 도시한다.

도 2(b)에서, 제2의 3 x 3 마스크는 그것의 제1 및 제3 칸(row)들에서 비-제로 계수들을 가지고, 중앙 또는 제2 칸에서 제로(0) 계수들을 가지는 것으로 도시되어 있다. 마스크 B(언더바)는 여섯 개의 비-제로 계수들 B1, B2, B3, B4, B5 및 B6를 가지는 것으로 도시되어 있다. 마스크가 강도 값들 I0, I1, I2, I3, I4, I5,I6, I7 및 I8을 가지는 픽셀들을 가지는 이미지 영역 I에 적용될 때, 얻어지는 미분 Δy는 Δy=B1*I0+B2*I1+B3*I2+B4*I6+B5*I7+B6*I8와 같이 표현된다. 미분 Δy는 이미지 영역 I의 중앙에 있는 것으로 도시된 강도 값 I4를 가지는 픽셀의 기울기를 계산하는데 사용될 수 있다. 통상적으로, 마스크 B(언더바)는 함께 합산되어 제로를 주는 계수들을 가질 것이다. 잘 알려진 소벨(Sobel) 마스크에서, 계수들 B1, B2 및 B3 모두는 -1의 값들을 가지는 반면에, 계수들 B4, B5 및 B6 모두는 +1의 값들을 가진다. 그래서 소벨 마스크의 계수들에 의하면, Δy 미분은 Δy=I6+I7+I8-I0-I1-I2이다. 그래서, 마스크 계수들의 선택은, 그것은 의미있는 기울기 값을 달성하는 것으로 본 발명의 분야에서 알려져 있는데, 가산기들에 의하여 하드웨어에서 쉽게 실행될 수 있는 픽셀 강도 값들의 단순한 가산 및 감산에 대하여 미분 계산을 단순화한다. 그래서, 미분은 실행하기 용이하게 되고 빠르게 된다. 프레위트(Prewitt) 마스크와 같은 다른 마스크는, 적용된다면, 용이하게 실행될 수 있다. 프레위트 마스크는 -1과 동일한 B1 및 B3의 계수들 및 -2의 B2 계수를 가진다. 미러에 대하여, 프레위트 마스크는 +1과 동일한 B4 및 B6의 다른 방향 경계에 대한 계수들 및 +2의 B5 계수를 가진다. 프레위트 마스크를 사용하면, 이미지 경계를 따르는 제2 방향에서의 Δy 또는 미분값은 Δy=I6+2*I7+I8-I0-2*I1-I2로 된다. 2에 의한 곱산이 도입되지만, 이것은 단지 가산 및 감산 연산자들만이 하드웨어에서 실행된다면 Δy=I6+I7+I7+I8-I0-I1-I1-I2로서 I5 및 I3의 이동 연산에 의하거나 Δy 계산을 분리함에 의하여 용이하게 실행될 수 있다. 바람직하게, Δx 또는 제1 방향 미분을 찾는데 사용되는 마스크 A(언더바)는 제2 미분 방향 미분을 찾는데 사용되는 마스크 B(언더바)와 동일한 형태이어야 한다. 보상하기 위하여 한 방향에서는 소벨 마스크를 사용하고 다른 방향에서는 프레위트 마스크를 사용하는 것이 바람직할 수 있는데, 그 이유는 이미징 장치는 정사각형 픽셀들을 산출한다기 보다는 직사각형 픽셀들 또는 다른 형태의 픽셀들을 산출하기 때문이다. 그러한 경우에, 픽셀의 기하학(geometry)은 마스크 계수들의 선택에 있어서 중요하게 고려될 수 있다.

상기에서 주어진 바와 같이 획득된 제2 방향 미분 Δy와 함께, 두 개의 방향 경계 쌍 수평 및 수직은 중요하게 고려된다. 다음으로, 이미지 공간 I에서 중앙 픽셀, I4의 기울기는 각 방향에서 획득되는 벡터들의 합인 벡터에 의하여 얻어지는 벡터의 크기이다. 그러므로, 기울기 G는 Δx 및 Δy의 조합에 의하여 형성되는 그 벡터의 크기, 즉 단순하게 (Δx²+ Δy²)^1/2이다. 각 픽셀의 기울기는, 그래서, 이웃, 바람직하게는 각 픽셀을 둘러싸는 작은 3 x 3 이웃을 고려하고, 그런 후 두 방향들의 각각 및 그것들의 해당하는 경계 쌍들에서 그것에 대하여 마스크를 적용하여 기울기 결정에서 직접적으로 이웃하는 픽셀을 포함으로써 얻어질 수 있다. 상기에서 언급된 바와 같이, 기울기 값은 상대적 비중이 기울기 측정에 대하여 주어지도록 이미지에 존재하는 최대 기울기에 대하여 표준화될 수 있다. 예를 들면, 줄(line)들과 같은 견고한 에지(hard edge)보다 더한 질감(texture)을 가지는 장면의 캡처된 이미지에서, 기울기 값들은 좁은 영역 내에 놓일 수 있다. 이것들이 최대 기울기에 대하여 표준화되면, 획득된 기울기 값들은 보다 효율적으로 분석될 수 있다.

도 3은 각 칼라 평판에 대하여 독립적인 노이즈 제거 기술의 적용을 도시한다.

본 발명의 다양한 실시예들에서 존재하는 노이즈 제거 기술이 본질적으로 가공되지 않은 캡처된 이미지인 캡처된 이미지의 CFA 버전(virsion)에 대하여 직접적으로 작동하기 때문에, 칼라 평판들은 개별적으로 고려되는 것이 한 실시예에서 바람직할 수 있다. 그래서, 이미지의 6 x 6 픽셀 베이어 패턴 영역을 고려하여, (도 3에서 "B"로 지정된) 파란색 칼라 평판 (즉, 파란색 칼라와 관련된 픽셀들)은 CFA로부터 분리될 수 있고 그것에 대하여 칼라 평판들의 분리를 적용하는 상기에서 설명된 노이즈 제거 기술을 가진다. 그래서, 위치들 (2,1), (4,,1), x(6,1), (2,3), (4,3), (6,3) 및 (2,5), (4,5), (6,5)에 있는 파란색 평판과 관련된 픽셀들은 그것들이 다른 것들과 각각 이웃하도록 배열될 수 있다. 마찬가지로, CFA의 파란색 평판(도시하지 않음)에 있는 다른 이웃 픽셀들은 파란색 하부-이미지를 형성하는 것으로 설명된 아홉 개의 픽셀들과 조합될 수 있다. 다음으로 본 발명의 다양한 실시예에서 설명되는 노이즈 기술 체제(framework)는 직접적으로 그리고 독립적으로 이러한 파란색 하부-이미지 또는 다른 칼라 평판들에 적용될 수 있다.

베이어 패턴에서, 녹색 픽셀들은 대략적으로 두 배 정도로 CFA에서 파란색 또는 빨간색 픽셀들의 표시를 가진다. 종종, 녹색 픽셀들을 교호의(alternating) 파란색 픽셀들의 한 칸을 동반하는 것들(제1 녹색 표지된 G1) 및 교호의 적색 픽셀들의 한 칸을 동반하는 것들(제2 녹색 표지된 G2)로 분리하는 것이 유용하다. 그래서, 두 개의 녹색 칼라 평판들, G1 및 G2는 CFA로부터 추출될 수 있다. 이것은, 각칼라 평판에 대한 계산들의 수가 동일할 것이기 때문에 유용하다. G1 및 G2 평판들이, 그들 상에 노이즈 제거 기술을 적용할 때, 함께 고려된다면, G1 및 G2 픽셀들을 조합하는 것이 하나의 칸 및 줄 오프셋일 필요가 있을 것이며(왜냐하면 그것들은 서로 다른 칸들 및 줄들 상에 있기 때문에), 더 나아가 통합된 G1 및 G2의 조합된 하부-이미지는 픽셀 수에 있어서 파란색 및 적색 하부-이미지들의 두 배가 될 것이며, 서로 다른, 보다 큰 크기의 메모리의 요구를 낳을 것이다. 이미지를 분석하려는 목적을 위하여, 두 개의 녹색 칼라 평판들을 개별적으로 고려하는 것이 유용한데, 왜냐하면 녹색은 이웃 픽셀들에 존재하는 색차(칼라 함유량)를 결정하는데 매우 중요하기 때문이다. 이 사실은 칼라 보간 또는 칼라 해상도 컴팬딩과 같은 기술에서 유용할 수 있다. 그래서, 나중의 사용을 위하여 보다 효과적인 방법으로 색차 정보를 보전하기 위하여, 노이즈 제거의 목적을 위하여 G1 및 G2 칼라 평판들을 개별적으로 고려하는 것이 바람직하다. 노이즈가 본 발명의 다양한 실시예에 따라 함께보다는 독립적으로 G1 및 G2 하부-이미지들로부터 제거된다면, 노이즈 제거는 그것들의 원래 칼라에 대한 상세 관계를 보다 정확하게 반영할 것이다. 에지 형상들은 방향을 가지고, 다른 것으로부터 45도 오프셋에 항상 놓이는 G1 및 G2 픽셀들의 조합은 에지의 방향에 있어서 45도 이동을 도입할 것이다.

도 4는 예시적 이미지 영역에 적용되는 최소한 본 발명의 한 실시예의 원칙들을 도시한다.

도 4는 캡처된 이미지의 6 x 6 픽셀 영역를 보여준다. 칸 위치 "i" 및 줄 위치 "j"에 있는 픽셀은 이후에 x(i,j)로서 표시될 것이다. 예시적 이미지 영역은("E"로 지정된) 에지 픽셀들 및 ("NE"로 지정된) 비-에지 픽셀들로 이미 분류된 두 개의 픽셀들을 보여준다. 에지 픽셀들은 그 에지 픽셀이 속하는 에지 형상을 가리키는 아래첨자에 의하여 더욱 지정된다. 예를 들어, (E₁으로 지정된) 제1의 보다 어두운 에지 형상은 200의 이웃에서의 강도 값들을 가지는 반면에, (E₂로 지정된) 제2의 보다 밝은 에지 형상은 50의 이웃에서의 강도 값들을 가진다. 픽셀들 E₁및 E₂의 각각은 이미지의 두 개의 서로 다른 에지들에 속한다. 비-에지 픽셀들은 형상에 대하여 하부-분류되지 않았고, 도 4에 보이는 에지 픽셀들에 대한 에지 형상의 분류는 단지 설명을 돕기 위한 것이며 임의의 실시예에 있어서 본 발명의 한정 또는 요구는 아니다.

본 발명의 한 실시예에 따라서, 이미지 내에 있는 에지 픽셀들 및 비-에지 픽셀들은 서로 다른 노이즈 제거 기술들의 대상이 된다. 한 실시예에 있어서, 에지에 속하는 것으로 분류되지 않은 픽셀들 (도 4에서의 NE)은 제1의 노이즈 제거 기술에 의하여 적용된다. 본 발명의 한 실시예에 있어서, 이 제1 노이즈 제거 기술은 멀티-레벨 메디안 하이브리드 필터링이다. 그러한 필터링의 작동은 도 5를 참조하여 아래에서 상세하게 설명된다. 에지 픽셀들로 분류된 모든 픽셀들은 제1의 노이즈 제거 기술과 다르고 제1의 기술보다 양호한 에지 보전/향상 특성들을 가지는 제2 노이즈 제거 기술의 대상이 된다. 본 발명의 한 실시예에 있어서, 이 제2 기술은, 에지 픽셀들에 적용되는데, 고려하에 있는 픽셀들과 유사한 강도 값들을 가지는 이웃 픽셀들의 직선 평균화이다.

예를 들어, 도 4를 참조하면, 픽셀 NE(3,3) (칸 3 및 줄 3에 있는 비-에지 픽셀)은 그 메디안 하이브리드 필터링 기술로 처리될 것이고, 도 5를 참조하여 아래에서 상세하게 설명된다. 그 메디안 필터링 프로세스의 출력 NE'(3,3)은 위치 (3,3)에서의 새로운 노이즈 제거된 픽셀이 될 것이다. 그 메디안 필터링 프로세스는 그것의 노이즈 제거 프로세스를 수행할 때, (픽셀 NE(3,3)에 근처인 픽셀 위치 (1,1)에서 (5,5)까지의) 이웃영역 내에 있는, 비-에지 픽셀들 또는 에지 픽셀들로 분류되든지 간에 모든 픽셀들을 이용할 것이다.

대조적으로, 에지 픽셀 E₁(3,2)는 E₁(3,2)에 존재하는 노이즈를 제거하기 위하여 유사한 강도의 다른 에지 픽셀들 (동일한 에지 형상에 속하는 에지 픽셀들) 만의 직선 평균화에 의하여 적용될 것이다. E₁(3,2)에 이웃하는 여덟 개의 픽셀들 중에서 단지 세 개만이, 즉, 픽셀들 E₁(2,2), E₁(4,2) 및 E₁(4,3)이 제1 에지 형상에 속하는 것으로 분류된다. 그래서, 그 직선 평균화 노이즈 제거 기술은 네 개의 픽셀들 (노이즈가 제거되는 에지 픽셀 및 세 개의 이웃 픽셀들) - E₁(3,2), E₁(2,2), E₁(4,2) 및 E₁(4,3)을 함께 평균화할 것이다. 제2의 형상을 참조하면, 픽셀 E₂(6,2)는 세 개의 이웃 에지 픽셀들을 가지지만, 동일한 에지 형상에 속하는 (즉, 유사한 강도 값을 가지는) 단지 하나의 에지 픽셀 E₂(6,1)을 가진다는 것을 주목하여야 한다. 픽셀 E₂(6,2)에 이웃하는 다른 두 개의 에지 픽셀들 E₁(5,3) 및 E₁(6,3)은 제1 에지 형상에 속하고, 그래서 제2의 에지 형상의 픽셀들과 함께 평균화되지 않아야한다. 그렇지 않으면 제2 에지 형상은 비-관련된 및 유사하지 않은 강도 값 또는 값들에 의하여 오염된 그것의 강도값과 함께 제거될 것이다. 도 6에 도시되고 아래에서 관련된 설명에서 상세하게 제시된 방법은 다른 에지 픽셀들로부터 유사한 강도의 에지 픽셀들을 식별함으로써 이러한 상황을 회피한다. 도 4는 (E₃로 지정된 픽셀들을 가지는) 제3의 에지 형상 및 (E₄로 지정된 픽셀들을 가지는)제4의 에지 형상을 보여주는데, 이것들은 유사하지 않은 에지 픽셀들로부터의 오염을 회피하도록 조심스럽게 처리된 것이어야 한다.

도 4는 이미지의 단지 일 부분을 그러나 이미지의 물리적 에지들 상에 놓이는 픽셀들(제1의 줄, 제1의 칸, 마지막 줄, 마지막 칸 등)에 관련하여 보여주는데, 이것들은 노이즈 제거를 위하여 단순하게 처리되지 않을 수 있다. 왜냐하면 마스크(들)의 일 부분은 값들을 가지지 않을 것이고, 그래서 부적합한 기울기 정보가 그로부터 얻어질 것이기 때문이다. 대안적으로, 에지 픽셀들에 대하여 놓치는 값들을 대신하기 위하여 (통상적으로 다양한 칸들 및 줄들인) 어두운 현재 또는 참조 픽셀들을 사용하는 것이 바람직할 수 있다. 이러한 어두운 현재 픽셀들은 이미징 장치에 의하여 생성되는 최종 아미지 CFA의 부분으로 고려되지 않지만 그럼에도 불구하고 픽셀 값들을 결정하는데 돕기 위하여 센싱 장치에 의하여 캡처된다.

도 5는 본 발명의 다양한 실시예들에서 채용되는 것과 같은 삼(three)-레벨 메디안 하이브리드 필터의 블록도이다.

본 발명의 한 실시예에 따라, 비-에지 픽셀로서 분류된다면 픽셀 x(i,j)는멀티-레벨 메디안 하이브리드 필터링 프로세스를 이용하는 노이즈 제거 기술에 의하여 적용된다. 삼-레벨 메디안 하이브리드 필터는 도 5에 도시된 필터의 제1의 스테이지 또는 레벨에서 그 메디안이 결정되는 세트의 다양한 값들을 얻기 위하여 직선 평균화 하부폴더들을 사용하는 입력 픽셀 x(i,j)에 관한 K x K 블록을 위하여 설계된다. 그래서, K=5이면, 픽셀 x(i,j)에 관한 그리고 포함하는 5 x 5 이웃이 메디안 하이브리드 필터링을 위하여 고려된다. 본 발명의 한 실시예에 따라, 도 5의 메디안 하이브리드 필터는 기울기 또는 정보에 따라, 그 픽셀 x(i,j)이 비-에지 픽셀로서 분류될 수 있을 경우에만 그 픽셀 x(i,j)에 적용될 것이다. 그렇지 않으면, 즉, 픽셀 x(i,j)가 에지 픽셀이라면, 도 6을 참조하여 아래에서 논의되는 가장 가까운 이웃 픽셀 평균화 방법이 적용될 것이다.

평균화 하부필터들(도시도지 않음)은 이웃의 크기에 의하여 희망하는 것처럼 많은 이웃 픽셀들의 평균을 단순히 취한다. 평균화 하부필터들은 여덟 개의 방향의 각각(북쪽, 남쪽, 동쪽, 서쪽, 북동쪽, 남동쪽, 남서쪽 및 북서쪽)에서 픽셀들의 벡터에 적용된다. 그러므로, 평균화 하부필터들은 다음과 같은 출력 값들 Y_DIRECTION(i,j)를 생산할 것이다.

Y_EAST(i,j) = (x(i,j+1) + x(i,j+2))/2

Y_WEST(i,j) = (x(i,j-1) + x(i,j-2))/2

Y_SOUTH(i,j) = (x(i+1,j) + x(i+2,j))/2

Y_NORTH(i,j) = (x(i-1,j) + x(i-2,j))/2

Y_SOUTHEAST(i,j) = (x(i+1,j+1) + x(i+2,j+2))/2

Y_SOUTHWEST(i,j) = (x(i+1,j-1) + x(i+2,j-2))/2

Y_NORTHEAST(i,j) = (x(i-1,j+1) + x(i-2,j+2))/2

Y_NORTHWEST(i,j) = (x(i-1,j-1) + x(i-2,j-2))/2

다음으로, 이러한 출력 값들은 도 5에서 보는 바와 같이 다양하게 중앙 픽셀 값 x(i,j)를 따라 메디안 필터들로 공급된다. 평균화 하부-필터를 사용함에 의하여, 메디안 동작은 메디안 하이브리드 필터링 프로세스의 각 단계에서 단지 세 개의 값들의 부류로 감소된다.

도 5는 삼-레벨 메디안 하이브리드 필터의 제1의 레벨은 한 세트의 메디안 필터들(510, 512, 514 및 516)을 가진다는 것을 보여준다. 메디안 필터(510)는 세 개의 값들, 즉 Y_EAST(i,j), Y_WEST(i,j) 및 x(i,j)의 메디안인 출력 M1을 가진다. 메디안 필터(512)는 세 개의 값들, 즉 Y_NORTH(i,j), Y_SOUTH(i,j) 및 x(i,j)의 메디안인 출력 M2을 가진다. 메디안 필터(514)는 세 개의 값들, 즉 Y_NORTHEAST(i,j), Y_SOUTHWEST(i,j) 및 x(i,j)의 메디안인 출력 M3을 가진다. 마지막으로, 메디안 필터(516)는 세 개의 값들, 즉 Y_NORTHWEST(i,j), Y_SOUTHEAST(i,j) 및 x(i,j)의 메디안인 출력 M4을 가진다.

다음 또는 제2 레벨에서, 한 세트의 두 메디안 필터들(520 및 522)이 있는데, 이것들은 입력으로서, 메디안 필터 출력들 M1, M2, M3 및 M4와 원래 픽셀 값 x(i,j)를 취한다. 메디안 필터(520)는 M1, M2 및 x(i,j)의 메디안인 출력 M5를 제공한다. 마찬가지로, 메디안 필터(522)는 M3, M4 및 x(i,j)의 메디안인 출력 M6를 제공한다.

마지막 또는 제3 레벨에서, 단일 메디안 필터(530)는 원래 픽셀 x(i,j)와 조합될 때, 제2 레벨로부터의 메디안 필터들의 출력들, M5 및 M6의 메디안인 출력 픽셀 x'(i,j)를 제공한다. 그래서, 노이즈 제거된 픽셀 x'(i,j)는 M5, M6 및 x(i,j)의 메디안과 동일하다. 노이즈 제거된 픽셀은, 한 다른 실시예에서, 다른 픽셀들을 위한 노이즈 제거 프로세스의 나머지와 간섭되지 않도록 하기 위하여 별개의 배열에 저장될 것이다. 이러한 방식에서, 원래 픽셀 공간은 노이즈 제거 기술이 보다 양호한 결과들을 제공하기 위하여 반복되고 조절될 수 있도록 유지된다. 다른 대안에 있어서, 노이즈 제거된 픽셀은 노이즈 제거 프로세스가 반복적이도록 원래 픽셀을 즉각적으로 대체할 것이다. 이것은 반복적 방법을 가속화하는 이점을 가지지만 잘못 분류된 픽셀은 다른 픽셀들에 영향을 미치는 그것의 부적절한 특성화를 전파하는 경향이 있을 것이므로 불확실성을 도입한다. 그래서, 어떤 경우에는 노이즈 제거를 향상시킬 수 있다 하더라도, 온-더-플라이 계산 및 대체 방법(on-the-fly compute and replace method)은 양호한 결과들을 제공하는 것을 보증하지 않는다.

도 4의 예로 돌아가면, 비-에지 픽셀 NE(3,3)은, 본 발명의 한 실시예에 따라, 삼-레벨 메디안 하이브리드 필터의 대상이 될 것이다. 그것처럼, Y_EAST(3,3) = (NE(3,1) + E₁(3,2))/2 및 Y_WEST(3,3) = (NE(3,4) + E₄(3,5))/2이다. 마찬가지로, 다른 평균화 하부필터들은 다양한 하부필터 출력들을 얻기 위하여 위치 (3,3)에 대하여 적용될 수 있다. 다음으로 그 결과들은 그 레벨들의 각각에 있는 각 필터에서 NE(3,3)을 따라 다양한 레벨들에 있는 메디안 필터들로 제공된다. 얻어지는 강도 값 NE'(3,3)은 원래 캡처된/제거된 픽셀 NE(3,3)의 노이즈-제거된 버전(version)이 된다.

삼-레벨 메디안 하이브리드 필터는 원래의 비-에지 픽셀 값을 필연적으로 근사하게 보전할 것인데, 왜냐하면 필터링 프로세스의 각 단계 또는 레벨에서의 메디안은 메디안 필터들의 각각에서의 한 입력으로서 원래의 픽셀 x(i,j)를 재도입하기 때문이다. 비록 삼-레벨 메디안 하이브리드 필터가 대부분의 이미지들과 함께 잘 동작하는 것으로 보여져 왔지만, 그것을 보편적으로 이미지의 모든 픽셀들에 적용하는 것은 불리하다. 에지의 방향은 상기에서 언급된 바와 같이, 발견되지 않을 수 있으며, 더군다나, 이미지의 시그널 대 노이즈 비율에 의존하여, 노이즈 에지 픽셀은 메디안 필터를 통하여 감소되지 않은 상태로 통과될 수 있다.

도 6은 본 발명의 한 실시예에 따라 에지 픽셀들을 위한 가장 가까운 이웃 평균화를 도시하는 흐름도이다.

본 발명의 한 실시예에서, 에지 픽셀은 비-에지 픽셀과는 다른 노이즈 제거 기술로 처리된다. 특정적으로, 에지 픽셀은 역시 에지들인 이웃 픽셀들의 값들을 유지할 필요가 있다. 두 개의 서로 다른 에지 형상들이 이웃하고 각각에 이웃하는 픽셀들을 가질 때(예를 들어, 도 4는 각각 제2 및 제1 에지 형상에 속하는 에지 픽셀들 E₂(6,2) 및 E₁(6,3)을 보여준다), 잘못된 강도 값이 고려되는 픽셀과 함께 평균화되지 않도록 그들 사이에서 구별시키는 것이 필수적이다. 그래서, 둘 다 에지픽셀이고 노이즈 제거를 위하여 고려되는 픽셀과 "유사한" 강도 값들을 가지는 이웃 픽셀들을 함께 평균화하는 것이 바람직하다. 강도 값들은 노이즈 제거를 위하여 고려되는 픽셀과 노이즈 제거를 위하여 고려되는 픽셀 사이에서의 모든 절대값 차이들의 평균을 가지는 이웃 픽셀과의 사이에서 절대값 차이를 비교함으로써 유사한 것으로 결정된다. 그 차이가 평균보다 적다면, 이웃 픽셀은 노이즈 제거를 위하여 고려되는 픽셀과 "유사한" 강도인 것으로 간주된다.

도 6은 유사한 강도 픽셀들의 그러한 가장 가까운 이웃 평균화를 수행하는 흐름도를 도시한다. 먼저, 단계 605에 따르면, 픽셀 x(i,j) 및 각 이웃 픽셀 사이의 AVD(absolute value difference; 절대값 차이) 또는 거리가 결정된다. 예를 들어, 북쪽 이웃 픽셀 x(i-1,j)는 거리 Δ_NORTH=│x(i,j)-(x(i-1,j)│를 가진다. 마찬가지로, 픽셀 x(i,j)에 대한 각 이웃 픽셀의 AVD들이 결정된다. AVD는 필연적으로 노이즈 제거를 위하여 고려되는 픽셀과 평균화 세트로 포함되도록 고려되는 이웃 픽셀 사이에서의 관계의 측정치이다(단계 620 참조). 픽셀 x(i,j)와 직선적으로 잘 관계하는 그러한 이웃 픽셀들은 노이즈 제거된 출력 픽셀 x'(i,j)를 얻기 위하여 그 값 x(i,j)와 함께 평균화될 것이다. AVD들은 그래서 다음과 같다.

Δ_NORTH=│x(i,j)-x(i-1,j)│, Δ_SOUTH=│x(i,j)-x(i+1,j)│

Δ_WEST=│x(i,j)-x(i,j-1)│, Δ_EAST=│x(i,j)-x(i,j+1)│

Δ_NORTHEAST=│x(i,j)-x(i-1,j-1)│, Δ_SOUTHWEST=│x(i,j)-x(i+1,j+1)│

Δ_NORTHWEST=│x(i,j)-x(i-1,j+1)│, Δ_SOUTHEAST=│x(i,j)-x(i+1,j-1)│

일단 모든 여덟 개의 AVD들(여덟개의 중요한 방향들에서의 각 이웃 픽셀에 대한 것)이 결정되면, AVD 평균값이 결정된다(단계 610). AVD 평균값은 단순히 각각의 AVD들의 합을 8로 나눈 것이다.

일단 AVD 평균값이 결정되면, 다음 단계는 제1의 이웃 픽셀이 에지 픽셀인지 아닌지를 검사한다(단계 612). 픽셀이 에지 픽셀이 아니면, 그것은 평균화 방법에 대하여 적합하지 않고 픽셀 평균화 세트로부터 배제된다(단계 640). 이웃 픽셀이 에지 픽셀이면, 상대적 관계를 위한 다른 비교가 이웃 픽셀이 고려되는 픽셀과 동일한 에지된 형상에 속하는지 아니면 다른 에지 형상에 속하는지를 검사하기 위하여 수행된다(픽셀들 E1, E2, E3 및 E4가 다양한 강도의 네 개의 서로 다른 에지 형상들에 속하는 것을 보여주는 도 4 참조). 관계에 대한 테스트(단계 615)는 이웃 픽셀이 에지 픽셀이라는 발견에 기초하여 수행된다. 단계 615에 따라, 이웃 픽셀의 AVD는 단계 610에서 결정된 평균 AVD 값에 대하여 비교된다. 이웃 픽셀이 관계없는 것이라면, 즉, 그 값이 평균 AVD보다 작지 않다면, 그 픽셀은 평균화 세트로부터 배제된다(단계 640).

이웃 픽셀이 에지 픽셀이고 그것의 AVD가 평균 AVD보다 작다면, 그 픽셀은 노이즈 제거 기술을 위하여 사용되는 평균화 세트에 포함된다(단계 620). 평균화 세트의 부분으로서, 제1 단계는 그 이웃 픽셀의 강도값을 각 평균화 세트 픽셀의 수행(running) 합을 필연적으로 보유하는 변수 (레지스터) ACCUM에 부가하는 것이다(단계 625). ACCUM 변수 또는 레지스터는 (단계 670에서 수행되는) 평균화 결정을 용이하게 할 것이다. 에지 픽셀들에 대한 평균화 기술에 의한 노이즈 제거의 초기에 얼마나 많은 이웃 픽셀들이 평균화 세트에 포함되는지 알 수 없기 때문에, 제2 변수 (하드웨어에서의 레지스터) NUMCOUNT는 평균화 세트 내의 픽셀들의 수를 추적하는데 사용된다. 새로운 이웃 픽셀이 평균화 세트에 포함될 때마다, NUMCOUNT는 1만큼 증가되고 초기값 0에서 시작한다.

임의의 다른 이웃 픽셀들이 평균화를 위하여 고려되는 것으로 남아있다면, 그 다음 이웃 픽셀은 가져와지고(단계 645) 단계 612에서 단계 650까지 반복된다. 픽셀이 평균화 세트로부터 배제될 때, 다른 남아있는 픽셀들에 대하여 동일한 검사(단계 650)가 수행된다. 평균화 세트에 대하여 고려되도록 남아있는 이웃 픽셀들이 더 이상 없을 때, 마지막으로, 노이즈 제거를 위하여 고려되는 픽셀 x(i,j)의 값은 ACCUM에 부가된다(단계 655). 이것은 원래의 픽셀 값이 표시된 것과 동일하도록 평균화 세트와 함께 원래의 픽셀 값에 있어서의 평균화를 용이하게 한다. 게다가, NUMCOUNT는 평균화 세트에 포함되는 잉여 픽셀 x(i,j)을 고려하기 위하여 1만큼 증가된다(단계 665). 단계 670에 따르면, 평균화 세트에서의 픽셀들의 평균은 ACCUM의 함유량들을 NUMCOUNT로 나눔으로써 결정된다. 얻어지는 평균은 노이즈 제거된 픽셀 x'(i,j)이다. 이 값 x'(i,j)은 원래의 값 x(i,j)가 덮어쓰여지지 않고 다른 픽셀들을 위하여 추가적 노이즈 제거 계산에 사용될 수 있도록 어떤 배열 또는 테이블에 저장된다(단계 675). 노이즈 제거된 픽셀 x'(i,j)가 결정되면, 변수들 (레지스터들) ACCUM 및 NUMCOUNT는 지워진다 (다음 에지 픽셀 x의 프로세싱을 용이하게 하기 위하여 0으로 설정된다). 그래서 노이즈가 에지 픽셀 x로부터 제거되면, 에지 픽셀로 분류된 다른 픽셀이 가져와질 수 있고(단계 685) 단계들 605-680이 그새로운 픽셀에 대하여 반복된다.

원래의 픽셀 x(i,j)와 함께 유사한 강도의 이웃 에지 픽셀들을 평균화함으로써, 에지 형상이 유지되고, 평균화의 결과로서 에지에 걸쳐진 다듬음 및 균일화에 기인하여 향상되기조차 할 수 있다. 비-에지 픽셀들과는 다르게 에지 픽셀들을 처리하는 것은 보간이 수행된 후 노이즈 제거 에지 제거 및 방혈의 전통적인 문제들을 회피한다. 평균화 기술은 또한 휴대용 디지털 카메라에서 요구되는 것과 같은 빠른 하드웨어 구조에서 수행될 수 있고, CFA 영역(칼라 보간 전의 베이어 패턴 RGB 칼라 공간)에 직접 적용될 수 있다.

도 7은 본 발명의 한 실시예의 시스템도이다.

도 7은 컴퓨터 시스템(710)을 도시하는데, 이것은 카메라(730)에 접속된 PC(퍼스널 컴퓨터)와 같은 임의의 범용 또는 특정 목적용 또는 데이터 프로세싱 기계일 수 있다. 카메라(730)는 디지털 카메라, 디지털 비디오 카메라 또는 임의의 이미지 캡처 장치 또는 이미징 시스템일 수 있으며, 대상 또는 장면(740)의 센서 이미지를 캡처하는 데 사용된다. 필연적으로, 캡처된 이미지들은 RAM 또는 고정된 디스크, 소형 카드 등과 같은 다른 저장 장치일 수 있는 이미지 메모리 유니트(734)에 효율적으로 저장되도록 이미지 프로세싱 회로(740)에 의하여 압축되고 처리된다. 대부분의 디지털 카메라들에서, 센서와 같은 이미지 캡처 기계장치로부터 얻어진 가공되지 않은 이미지들은 처음에 카메라(730)에 저장되고 나중에 출력, 표시 또는 조작되기 위하여 다운로드된다. 이것은 카메라(730)이 추가적인 지연없이 빠르게 다음 대상을 캡처하게 한다. 한 편리한 가공되지 않은 이미지 표시는 상기에서 설명된 8-비트 베이어 패턴 CFA이다.

한 실시예에서, 이미지는 가공되지 않은 8-비트 베이어 패턴 CFA와 같은 카메라(730)에 의하여 캡처되고, 다음으로 어떤 다른 데이터 또는 부호화 포맷으로 압축된다. 본 발명의 한 실시예에 따른 노이즈 제거는 다음과 같이 동작한다. 먼저, 압축된 이미지는 카메라(730)로부터 I/O 포트(717)를 통하여 디스크(718) 또는 컴퓨터 시스템(710) 상의 다른 장치로 다운로드된다. 압축된 이미지는 컴퓨터 시스템(710) 상에서 압축해제된다. 다음으로, 컴퓨터 시스템은 본 발명의 다양한 실시예들에서 설명된 바와 같이 수행하도록 하는 명령어(instruction)들을 실행함으로써 임의의 칼라 보간 전에 회복된 CFA 이미지 상에서 노이즈 제거를 수행한다.

본 발명의 다양한 실시예에서 설명된 방법은 펜티엄^TM(인텔사의 제품)과 같은 프로세서(712) 및 명령, 주소 및 결과 데이터를 저장/로드하는데 사용되는 RAM과 같은 메모리(711)를 사용하여 실행될 수 있다. CFA 이미지 상에서 노이즈 제거를 수행하는데 사용되는 애플리케이션은 C++와 같은 언어로 작성된 소스로부터 컴파일된 실행가능한 모듈일 수 있다. 에지들을 검출하고 에지 픽셀들에 대하여 제1의 노이즈 제거 기술을 적용하고 비-에지 픽셀들에 대하여 제2 노이즈 제거 기술을 적용하는 것을 돕는 명령어들에 해당하는 그 실행가능한 모듈의 명령어들은 디스크(718) 또는 메모리(711)에 저장될 수 있고, 그래서 어떤 컴퓨터-판독가능한 매체를 통하여 로드될 수 있다. 정해진 기계가 본 발명의 다양한 실시예들에서 설명된 보간 방법을 수행하도록 프로그램하는 것은 컴퓨터 과학의 기술분야에 속하는 통상의 기술자에게는 쉽게 이해될 것이다.

컴퓨터 시스템(710)은 프로세서(712) 및 메모리(711)로/로부터 정보 전달을 용이하게 하는 시스템 버스(713)를 가지고, 또한 시스템 버스(713)을 I/O 버스(715)로 접속시키는 브리지(714)를 가진다. I/O 버스(715)는 디스플레이 어댑터(716), 디스크(718) 및 시리얼 포트와 같은 I/O 포트와 같은 다양한 I/O 장치들에 접속한다. I/O 장치들, 버스들 및 브리지들의 많은 그러한 조합들은 본 발명과 함께 사용될 수 있고 제시된 조합은 하나의 가능한 조합을 단지 설명하는 것이다.

대상/장면(740)의 이미지와 같은 이미지가 캡처되면, 그 이미지는 베이어 패턴과 같은 CFA에서 R, G 및 B 픽셀들로 감지된다. 이러한 픽셀 값들은 이미징 프로세싱 회로(732)로 보내진다. 이미징 프로세싱 회로(732)는 다른 기능들 중에서 카메라(730)와 컴퓨터 시스템(710) 사이에서의 전송의 크기를 줄이는 이미지 압축 구도(scheme)를 실행하는 IC들 및 다른 구성요소들로 구성된다. 칼라 보간을 위한 요구는 이미지가 디스플레이되거나 출력되어 카메라(730) 상에서 수행될 필요가 없을 때 가장 중요하다. 사용자 또는 애플리케이션이 이미지의 다운로드를 원하거나/요청할 때, 이미지 메모리 유니트에 저장된 압축된 이미지들은 이미지 메모리 유니트(734)로부터 I/O 포트(717)로 전송된다. I/O 포트(717)는 이미지 데이터를 메모리(711) 또는 선택적으로, 디스크(718)에 임시적으로 저장하기 위하여 도시된 버스-브리지 계층(I/O 버스(715) 대 브리지(714) 대 시스템 버스(713))을 이용한다. 압축된 이미지들은 적합한 애플리케이션 소프트웨어 (또는 전용의 하드웨어)에 의하여 압축해제되고 그렇게 하는데 프로세서(712)를 사용할 수 있다. 압축해제된 이미지 데이터는 카메라(730)의 센서에 의하여 캡처된 이미지 데이터와 동일하거나유사한 8-비트 베이어 패턴 CFA로서 회복될 것이다.

일단 압축해제된 다운로드된 이미지는 다음으로 가공되지 않은 CFA 형태의 픽셀들을 가진다. 노이즈 제거된 이미지가 모니터(720) 상에 출력되기를 원하면, 본 발명의 다양한 실시예들에 따른 노이즈 제거는 칼라 보간을 통하여 완전한 칼라 픽셀들을 형성하기 전에 채용되어야 한다. 다운로드되고 압축해제된 이미지는 픽셀 단위로 분석되고, 상기에서 논의된 기술을 적용함으로써, 각 픽셀은 노이즈 제거된 픽셀로 변환된다. 바람직하게, 각 노이즈 제거된 픽셀은 원래의 (회복된) CFA가 다른 픽셀들의 노이즈 제거를 위하여 유지되도록 배열로 메모리(711) 또는 디스크(718)에 저장된다. 일단 노이즈 제거가 CFA를 통하여 수행되면, 노이즈 제거된 베열은 칼라 보간 프로세스에서 사용될 수 있고, 바람직하다면, 원래의 (회복된)CFA는 버려진다. 노이즈 제거되고 다음으로 칼라 보간된 표현된(rendered) 이미지(750)는 적합한 디스플레이 장치들(모니터(720) 및 어댑터(716))이 주어지면, 보다 양호한 상세, 보다 날카로운 에지들 및 보다 적은 노이즈와 함께 표현될 것이고, 그래서, 원래의 대상/장면(740)에 보다 닮을 것이다. 노이즈 제거되고 칼라 보간된 이미지는 디스플레이 어댑터(716)를 통하여 표현된 후 디스크(718), 메모리(711)에 저장되고/되거나 모니터(720)으로 직접적으로 출력될 수 있다.

노이즈 제거를 위한 컴퓨터 프로그램 코드는 플로피 디스크 또는 CD-ROM과 같은 이동성 컴퓨터-판독가능한 매체 상으로 꾸려지고 카메라(730)으로부터 다운로드된 이미지들의 압축해제를 수행하는 소프트웨어를 수반할 수 있다. 임의의 다른 소프트웨어와 함께, 그것은 통신 시스템 상의 네트워크를 통하여 다운로드되거나/배포될 수 있거나, 또는 펌웨어 형태로 이용될 수 있다. 이렇게 다운로드된 이미지들은 이미지들이 사용자에게 대상/장면(740)을 보다 정확하게 시각적으로 제공하도록 하기 위하여 그것들의 에지 형상들에 따라 노이즈가 제거될 수 있다. 본 발명의 다른 실시예에 따른 노이즈 제거는 또한 카메라(730) 자체 상의 하드웨어에서 실행될 수 있다.

본 발명의 대안적 실시예에서, 이미징 프로세싱 회로(732)는 이미지 메모리 유니트(734)에 저장된 이미지가 노이즈 제거된 이미지이도록 카메라 상에서 노이즈 제거를 수행하기 위한 회로를 포함하게 적응될 수 있다. 그래서, 컴퓨터 시스템(710) 또는 표현 장치로 다운로드될 때, 노이즈의 제1 레벨은 이미 제거될 것이다. 그러한 실시예에서, 이미지는 이미지 프로세싱에서의 임의의 단계에서 노이즈가 제거될 수 있다. 예를 들어, 본 발명의 다양한 실시예들의 노이즈 제거 기술(들)은, CFA 영역에 직접적으로 적용할 수 있는데, 칼라 해상도 컴팬딩 후 또는 전에 채용될 수 있다. 그러한 하드웨어 실시예에서, 스피드가 요구된다면, 정해진 바와 같은 각 노이즈 제거 픽셀은 노이즈 제거 프로세스가 반복되도록, 이미지 메모리 유니트(734) 또는 CFA가 저장된 다른 저장 기계장치로 직접적으로 다시 기록될 수 있다. 픽셀 기울기들을 발견하고 에지들을 결정하기 위한 상기에서 설명한 방법들은 VLSI(Very Large Scale Integration) 또는 다른 집적 회로에서 용이하게 실행된다. 본 발명의 다양한 실시예들에서 제공되는 노이즈 제거 기술들은 바람직하지 않은 전통적인 노이즈 제거 기술들이 CFA 영역에 직접적으로 적용되도록 설계되기 때문에 잠재적인 직접 하드웨어 실행의 이점을 가진다.

여기에서 설명된 예시적 실시예들은 단지 본 발명의 원리들을 설명하기 위하여 제공되었으며, 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 오히려, 본 발명의 원리들은 여기에서 설명된 이점들 및 다른 이점들을 달성하기 위한 또는 다른 목적들을 만족시키기 위한 넓은 범위의 시스템들에 적용될 수 있다.

Claims

에지 픽셀들 또는 비-에지 픽셀들로서 칼라 필터 배열 형태에 있는 동안 캡처된 칼라 이미지의 단일 칼라 픽셀들을 분류하는 단계;

비-에지 픽셀들로 분류된 그러한 픽셀들에 제1 노이즈 제거 기술을 적용하는 단계; 및

에지 픽셀들로 분류된 그러한 픽셀들에 제2 노이즈 제거 기술을 적용하는 단계를 포함하고,

상기 노이즈 제거 기술들은 상기 이미지가 여전히 칼라 필터 배열 형태에 있는 동안 적용되고,

상기 분류 단계 및 적용 단계는 상기 노이즈 제거 기술들이 칼라 보간 이전에 수행되도록 상기 칼라 필터 배열 내의 각각의 칼라 평판에 대해 독립적으로 수행되는

방법.
제1항에 있어서,

상기 분류 단계는

상기 캡처된 이미지의 일부분을 포함하는 지역화 영역을 정의하는 단계;

상기 지역화 영역 내의 모든 픽셀의 기울기를 결정하는 단계; 및

각 픽셀에 대하여, 그것의 기울기 값을 주어진 문턱값과 비교하여, 그 기울기 값이 상기 문턱값보다 크면, 그 픽셀을 에지 픽셀로서 분류하고, 그렇지 않으면 그 픽셀을 비-에지 픽셀로 분류하는 단계를 포함하는

방법.
제2항에 있어서,

상기 주어진 문턱값은 지역화 영역 내의 모든 픽셀들에 대하여 기울기 값들을 분석함에 의하여 결정되는 지역화 문턱값인

방법.
제2항에 있어서,

상기 정의하는 단계, 결정하는 단계 및 분류하는 단계가 상기 캡처된 이미지의 모든 픽셀들이 분류될 때까지 반복되는

방법.
제1항에 있어서,

상기 제1 노이즈 제거 기술은 멀티레벨 메디안 하이브리드 필터의 적용을 포함하는

방법.
제1항에 있어서,

상기 제2 노이즈 제거 기술은 동일한 에지 형상에 속하는 이웃 픽셀들의 직선 평균화를 포함하는

방법.
제2항에 있어서,

상기 기울기를 결정하는 단계는,

그것의 기울기가 제1 방향 미분량을 얻기 위하여 결정되는 각 픽셀 주위의 이웃 픽셀에 제1 마스크를 적용하는 단계;

그것의 기울기가 제2 방향 미분량을 얻기 위하여 결정되는 각 픽셀 주위의 상기 이웃 픽셀에 제2 마스크를 적용하는 단계 - 여기서, 상기 제2 방향은 상기 제1 방향에 수직임 - ; 및

상기 기울기가 상기 제1 방향 미분량 및 상기 제2 방향 미분량의 벡터 가산에 의하여 정의되는 벡터의 크기가 되도록 결정하는 단계를 포함하는

방법.
제7항에 있어서,

상기 크기는

상기 제1 방향 미분을 제곱하는 단계;

상기 제2 방향 미분을 제곱하는 단계;

상기 제곱된 제1 및 제2 방향 미분들을 합하는 단계; 및

상기 합계의 제곱근(square root)을 구하는 단계 - 상기 크기는 상기 제곱근과 동일하게 설정됨 - 에 의하여 얻어지는

방법.
제7항에 있어서,

상기 제1 마스크는 상기 제1 방향에서 다양하게 -1 및 +1의 계수들을 가지는 소벨(Sobel) 마스크인

방법.
제7항에 있어서,

상기 제1 마스크는 상기 제2 방향에서 다양하게 -1 및 +1의 계수들을 가지는 소벨 마스크인

방법.
제7항에 있어서,

상기 제1 마스크는 상기 제1 방향에서 다양하게 -1, -2, +1 및 +2의 계수들을 가지는 프레위트(Prewitt) 마스크인

방법.
제7항에 있어서,

상기 제1 마스크는 상기 제2 방향에서 다양하게 -1, -2, +1 및 +2의 계수들을 가지는 프레위트(Prewitt) 마스크인,

방법.
제1항에 있어서,

상기 분류하는 단계 및 적용하는 단계는 상기 CFA 내의 각각의 칼라 평판에 대해 독립적으로 수행되는

방법.
제13항에 있어서,

상기 CFA는 네 개의 칼라 평판들, 즉, 적색 칼라 평판, 제1 녹색 칼라 평판, 제2 녹색 칼라 평판 및 파란색 칼라 평판을 포함하는

방법.
제1항에 있어서,

상기 CFA는 베이어(Bayer) 패턴으로 배열되는

방법.
제6항에 있어서,

다음의 단계들, 즉

노이즈 제거를 위하여 고려중인 픽셀과 노이즈 제거를 위하여 고려중인 상기 픽셀에 이웃한 각 픽셀 사이의 절대값 차이(absolute value difference:AVD)를 결정하는 단계;

상기 모든 AVD들을 함께 평균화하는 단계; 및

AVD들의 상기 평균을 각 이웃 픽셀에 대한 AVD와 비교하여, 주어진 이웃 픽셀에 대한 상기 AVD가 AVD들의 상기 평균보다 적으면, 노이즈 제거를 위하여 고려중인 상기 픽셀의 에지 형상에 속하는 것으로 그 이웃 픽셀을 포함시키는 단계

를 적용함에 의하여 한 에지 형상이 다른 에지 형상으로부터 구별되는

방법.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금,

에지 픽셀들 또는 비-에지 픽셀들로서 칼라 필터 배열 형태에 있는 동안 캡처된 칼라 이미지의 단일 칼라 픽셀들을 분류하는 단계;

제1 노이즈 제거 기술에 따라 비-에지 픽셀로 분류된 픽셀로부터 노이즈를 제거하는 단계; 및

제2 노이즈 제거 기술에 따라 에지 픽셀로 분류된 픽셀로부터 노이즈를 제거하는 단계 - 여기서, 상기 분류 단계 및 노이즈 제거 단계는 상기 노이즈 제거 기술들이 칼라 보간 이전에 수행되도록 상기 캡처된 이미지 내의 각각의 칼라 평판에 대해 독립적으로 수행됨 -

를 수행하도록 하는 명령어들을 저장하고 있는

컴퓨터-판독가능 매체.
이미징 장치에 있어서,

가공되지 않은 칼라 이미지 데이터를 수신하기 위한 이미지 프로세싱 유니트

를 포함하고,

상기 이미지 프로세싱 유니트는 상기 가공되지 않은 이미지 데이터에서 단일 칼라 픽셀들을 분류하고, 제1 노이즈 제거 기술에 따라 비-에지 픽셀들로부터 노이즈를 제거하고, 제2 노이즈 제거 기술에 따라 에지 픽셀들로부터 노이즈를 제거하도록 구성되고,

상기 분류 및 제거는 상기 노이즈 제거 기술들이 칼라 보간 이전에 수행되도록 상기 가공되지 않은 이미지 데이터 내의 각각의 칼라 평판에 대해 독립적으로 수행되는

이미징 장치.
제18항에 있어서,

상기 가공되지 않은 이미지 데이터는 베이어 패턴 칼라 필터 배열에 저장되는

장치.
제18항에 있어서,

상기 이미지 프로세싱 회로에 접속되어, 상기 가공되지 않은 이미지 데이터를 수신하고, 그것을 상기 노이즈 제거 기술들이 이미 적용된 픽셀들로서 저장하기 위한 이미지 메모리 유니트

를 더 포함하는 장치.
칼라 필터 배열 영역에 가공되지 않은 칼라 이미지 데이터를 제공하도록 구성된 이미지 캡처 장치; 및

상기 이미지 캡처 장치에 접속된 데이터 프로세싱 유니트

를 포함하고,

상기 데이터 프로세싱 유니트는 CFA 영역에 여전히 있는 동안에 상기 가공되지 않은 이미지 데이터로부터 노이즈를 제거하도록 구성되고, 또한, 상기 데이터 프로세싱 유니트는 상기 가공되지 않은 이미지 데이터 내의 단일 칼라 픽셀들을 분류하고, 비-에지 픽셀들로 분류된 상기 가공되지 않은 이미지 데이터 내의 픽셀들에 제1 노이즈 제거 기술을 적용하고, 에지 픽셀들로 분류된 상기 가공되지 않은 이미지 데이터 내의 픽셀들에 제2 노이즈 제거 기술을 적용하도록 구성되고,

상기 분류 및 제거는 상기 노이즈 제거 기술들이 칼라 보간 이전에 수행되도록 상기 가공되지 않은 이미지 데이터 내의 각각의 칼라 평판에 대해 독립적으로 수행되는

시스템.
제21항에 있어서,

상기 데이터 프로세싱 유니트에 접속되어, 상기 노이즈 제거된 이미지 데이터를 저장하는 저장 매체

를 더 포함하는 시스템.
제21항에 있어서,

상기 데이터 프로세싱 유니트에 접속된 디스플레이 장치를 더 포함하며, 상기 디스플레이 장치는 상기 디스플레이 장치로부터의 출력 상에서 완전한 칼라 이미지를 형성하도록 보간된 칼라 성분들과 함께 상기 노이즈 제거된 가공되지 않은 이미지 데이터를 표현하도록 구성된

시스템.