KR20160112226A

KR20160112226A - 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템

Info

Publication number: KR20160112226A
Application number: KR1020150037512A
Authority: KR
Inventors: 이종화; 권녕규; 이웅희
Original assignee: 삼성전자주식회사
Priority date: 2015-03-18
Filing date: 2015-03-18
Publication date: 2016-09-28
Also published as: US10375331B2; US20160277694A1; KR102346961B1

Abstract

본 발명의 일 실시 예에 따른 이미지 처리 장치는, 복수의 픽셀을 포함하는 복수의 블록 내 불량 픽셀의 위치를 검출하고 해당 픽셀을 마스킹하는 불량 픽셀 마스킹부 및 상기 복수의 블록에 대해, 상기 마스킹된 픽셀을 제외한 나머지 픽셀들에 대해 패턴 매칭 방식을 이용하여 노이즈를 제거하는 노이즈 제거부를 포함한다.

Description

이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템{Image Process Device and Denoising System Having the Same}

이미지 처리 장치에 관한 것으로, 보다 상세하게는 이미지 처리 장치 및 이미지 처리 장치를 포함하는 노이즈 제거 시스템에 관한 것이다.

이미지 촬영 장치는 디지털 이미지 센서를 이용하여 이미지를 촬영한다. 디지털 이미지 센서는 디지털 장치로서의 한계, 구조적인 한계, 비용적인 한계 등으로 인해 제한된 정밀도를 가지며, 노이즈(noise)가 유입된 이미지 신호를 촬영 결과로 출력한다. 따라서, 이미지 촬영 장치로부터 노이즈를 감소시키는 다양한 방법들이 연구되고 있다.

이러한 이미지에 부가된 노이즈를 제거하기 위해 다양한 노이즈 제거(Denoising) 기술을 고안하고 있는 추세이다.

본 발명의 목적은 노이즈 제거부를 포함하는 이미지 처리 장치 및 노이즈 제거 시스템에 관한 것이다.

상기 목적을 달성하기 위하여 본 발명의 일 실시 예에 따른 이미지 처리 장치는, 복수의 픽셀을 포함하는 복수의 블록 내 불량 픽셀의 위치를 검출하고 해당 픽셀을 마스킹하는 불량 픽셀 마스킹부 및 상기 복수의 블록에 대해, 상기 마스킹된 픽셀을 제외한 나머지 픽셀들에 대해 패턴 매칭 방식을 이용하여 노이즈를 제거하는 노이즈 제거부를 포함한다.

실시예로서, 상기 해당 픽셀이 불량 픽셀인지 여부를 검출하도록, 상기 해당 픽셀을 제외한 나머지 주변 블록의 픽셀들의 일부 또는 전체의 평균 픽셀 값을 산출하고, 상기 해당 픽셀의 픽셀 값과 그 차이를 비교할 수 있다.

실시예로서, 상기 불량 픽셀 마스킹부는, 상기 해당 픽셀이 불량 픽셀이면 상기 해당 픽셀의 위치 정보에 마스킹 정보를 부가할 수 있다.

실시예로서, 상기 노이즈 제거부가 상기 패턴 매칭 방식을 이용하는 것은, 상기 복수의 블록에 대해, 보정 대상 블록과 비교 대상 블록을 선택하여 상기 보정 대상 블록과 상기 비교 대상 블록 내 포함된 복수의 픽셀들에 대해서 유사도를 비교하되, 상기 마스킹된 픽셀들은 비교 대상에서 배제할 수 있다.

실시예로서, 상기 노이즈 제거부는, 상기 보정 대상 블록 및 상기 비교 대상 블록 내의 대응 되는 위치의 픽셀 사이의 차이 값에 절대 값을 취한 다음 합산한 값에 기반하여 상기 유사도의 값을 산출할 수 있다.

실시예로서, 상기 노이즈 제거부는, 상기 유사도의 비중에 따라 가중치를 할당하되, 상기 마스킹 픽셀을 가중치 할당하는 것에서 배제시킬 수 있다.

실시예로서, 상기 노이즈 제거부는, 상기 비교 대상 블록의 각 픽셀마다 픽셀 값과 상기 가중치를 곱하고, 이를 합산하여 평균화한 값을 상기 보정 대상 블록의 보상된 값으로서 제공할 수 있다.

본 발명의 일 실시 예에 따른 노이즈 제거 시스템은, 광학 이미지를 디지털 신호로 변환하는 이미지 센서, 상기 이미지 센서로부터 변환된 디지털 신호들을 처리하는 이미지 처리 장치를 포함하는 애플리케이션 프로세서 및 상기 애플리케이션 프로세서로부터 변환된 디지털 신호들을 디스플레이하는 디스플레이 패널을 포함하며, 상기 이미지 처리 장치는, 외부로부터 이미지 픽셀 값을 수신하는 이미지 입력부, 상기 이미지 입력부의 픽셀들 중 불량 픽셀의 여부를 검출하고 검출된 불량 픽셀을 마스킹하는 불량 픽셀 마스킹부, 상기 불량 픽셀 마스킹부로부터 마스킹 정보를 수신하며, 상기 불량 픽셀을 제외한 나머지 픽셀들을 대상으로 블록 단위로 유사도를 비교함으로써 해당 블록의 노이즈 제거 방식을 수행하는 노이즈 제거부 및 상기 노이즈 제거부에 의해 처리된 픽셀 값을 출력하는 이미지 출력부를 포함한다.

실시예로서, 상기 이미지 처리 장치가 노이즈를 제거하는 것은, 보정 대상 블록과 비교 대상 블록을 선택하여 패턴 매칭을 수행 시, 상기 보정 대상 블록 내 상기 불량 픽셀은 마스킹 처리하여 상기 불량 픽셀은 비교 대상에서 제외시키고 나머지 픽셀들에 대해 패턴 매칭 방식을 이용한다.

실시예로서, 상기 이미지 처리 장치에 있어서, 상기 비교 동작은 가중치 평균화(weight averaging) 방식에 기반하여 수행한다.

본 발명의 실시 예에 따른 이미지 처리 장치는, 불량 픽셀을 검출하고 이에 대한 위치 정보 및 마스킹 정보를 제공함에 따라 노이즈 제거를 위한 패턴 매칭 동작 수행 시 불량 픽셀을 마스킹함으로써, 데이터의 연산 시간 및 연산 양을 줄이면서도 노이즈 제거 시 불량 픽셀을 효과적으로 보정할 수 있다.

도 1은 이미지 처리 장치의 블록도,
도 2는 이미지에 대한 다양한 출력 영상을 나타낸 도면,
도 3a는 NL means에 대한 용례를 나타낸 도면,
도 3b는 블록 가중치 및 SAD의 관계 그래프,
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 블록도,
도 5는 블록 내 불량 픽셀이 발생한 경우를 도식화한 도면,
도 6은 도 4 및 도 5에 따른 본 발명의 일 실시 예에 따른 이미지 처리 장치의 동작을 나타낸 순서도,
도 7은 도 4에 도시된 불량 픽셀의 보정 및 노이즈를 제거하는 이미지 처리 장치 포함하는 컴퓨터 시스템의 블록도,
도 8은 도 4에 도시된 불량 픽셀의 보정 및 노이즈를 제거하는 이미지 처리 장치를 포함하는 컴퓨터 시스템의 블록도,
도 9는 도 4에 도시된 불량 픽셀의 보정 및 노이즈를 제거하는 이미지 처리 장치를 포함하는 컴퓨터 시스템의 블록도, 및
도 10은 본 발명의 일 실시예에 따른 노이즈 제거 시스템(300)의 블록도이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 본 발명을 설명함에 있어서, 본 발명의 요지와 무관한 공지의 구성은 생략될 수 있다. 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.

도 1은 이미지 처리 장치를 나타낸다.

도 1을 참조하면, 이미지 처리 장치(10)는 불량 픽셀 보정부(1) 및 노이즈 제거부(2)를 포함한다.

불량 픽셀 보정부(1)는 불량 픽셀의 위치를 검출하고, 불량 픽셀에 해당하는 영상 신호가 전달 될 때, 보상 신호를 생성하여, 보상 신호에 따라 불량 픽셀의 위치 정보를 이용하여 불량 픽셀의 수치를 보상할 수 있다.

일반적으로 이미지 센서 제조 과정 중 다양한 요인에 의해 빛에 정상적으로 반응하지 못하는 불량 픽셀이 발생될 수 있다. 불량 픽셀은 고감도 불량 픽셀(white bad pixel), 저감도 불량 픽셀(black bad pixel), 반응 불량 픽셀 등일 수 있다.

이러한 불량 픽셀은 전체 수백만 픽셀 중 수 개 정도만 발생되어도 이미지 센서 장치의 품질 저하를 야기하므로, 불량 픽셀을 검출하여 신호 처리를 통해 보상하는 기술이 필요하다.

예컨대, 불량 픽셀을 보정하기 위해 룩업 테이블(look up table)을 이용하여 보간을 실시할 수 있다.

이러한 불량 픽셀 처리 방법으로는, 최인접 이웃 보간법(nearest neighbor interpolation), 양선형 보간법(bilinear interpolation), 중간값 보간법(median interpolation), 패턴 일치 보간법(brute-force interpolation)등을 이용할 수 있다.

노이즈 제거부(2)는 불량 픽셀이 보정된 상태에서, 노이즈 제거 기술을 이용하여 이미지 처리를 완성시킨다. 노이즈 제거 기술이 이용된 영상은 다음의 도면을 이용하여 설명하기로 한다.

도 2는 이미지에 대한 다양한 출력 영상을 나타낸 도면이다.

도 2를 참조하면, (a)는 원본 영상을, (b)는 노이즈가 발생된 영상을, (c)는 노이즈가 제거된 영상을 나타낸다.

(a)의 원본 영상은 이미지 송신측에서 보낸 노이즈가 없는 깨끗한 영상임을 알 수 있다.

그러나, (b)의 영상을 보면 이미지에 추가의 노이즈가 발생되어, 이미지의 가장자리(경계; edge)가 명확하지 않게 표현되고 배경이나 이미지의 주요 부분도 깨끗하지 않음을 알 수 있다. 노이즈는 다양한 형태로 발생되는데 가우시안 노이즈, 스페클(speckle) 노이즈 등이 포함될 수 있다.

(c)와 같이 노이즈 제거 기술을 이용하면, (a)의 원본 영상과 유사하게 가장자리는 분명하고 배경이나 이미지의 주요 부분은 깨끗하게 표현되어 나타나는 것을 알 수 있다.

이러한 노이즈를 제거하는 기술로서 평균화(averaging) 방법과 블록을 기반으로 하는 비지역화 방법(non-local means등으로 구분할 수 있다.

NL means는 블록을 기반으로 하는 패턴 일치 비교 방법이다.3L3검색 범위(search range; SR)내에 소정의 픽셀 그룹, 즉 블록을 설정하고 블록들간의 유사성을 추정하여 이미지를 보정하는 것이다.이러한 방법이 가능한 것은, 해당 이미지 블록은 주변 영역에도 유사한 형태로 반복될 것이라는 가정 하에 노이즈를 추정하고 이를 제거하도록 하는 것이다.

블록이 노이즈가 발생된 픽셀 블록이라고 하면, 검색 범위(SR)내에서 블록과 다른 블록간의 유사성을 갖는지 비교하고 가중치를 부여할 수 있다. 그리하여, 블록과 유사한 블록은 비교 블록보다 비교 블록일 수 있으며, 비교 블록는 비교 블록보다 높은 가중치를 부여 받는다.

NL means는 검색 범위(SR)내의 영상 전체 정보를 이용하여 주변 영역간의 유사도(similarity)에 따라 가중치(weight)를 할당하고 이를 합산하는 가중치 평균 방식을 이용한다. 따라서, 이미지 센서의 노이즈를 효과적으로 제거할 수 있다.

가중치를 부여하는 것은, 픽셀 그룹, 즉 블록 간의 유사도에 따라 정해지는데, 이러한 유사도는 블록에 속한 픽셀들 간의 '차이 값'일 수 있다. 이러한 픽셀들 간의 차이 값을 '절대치 차이의 합(Sum of Absolute Difference; 이하 'SAD'라 함)'으로서 나타내면, 유사도가 높은 블록일수록 SAD는 작아진다.

도 3b는 블록 가중치 및 SAD의 관계 그래프를 나타낸다.

도 3b를 참조하면, 블록 간의 유사도에 따른 SAD의 추이를 알 수 있다.

도 3b의 그래프의 X축은 SAD를, Y축은 가중치(weight)를 나타내며, 가중치가 높은 블록일수록, 즉 해당 블록과 유사도가 높을수록 SAD는 작은 것을 알 수 있다. 이와 반대로, 가중치가 낮은 블록일수록, 즉 해당 블록과 유사도가 낮을수록 SAD는 높은 것을 알 수 있다. 도3b에서 알 수 있듯이, 블록 간 차이가 커질수록 2차 곡선 형태로 감소하는 것을 알 수 있다.

한편, 도 3b의 그래프 내의 문턱값(threshold)과 최대값(max)은 사용자가 검색 범위(SR)를 설정하는 것에 따라 달라질 수 있으며, 사용자가 소정의 가중치 범위와 소정의 SAD 범위를 정해 노이즈를 제거할 수 있음을 나타낸다.

종래에는 이와 같이, 블록 유사도를 알기 위해서는 보정 대상이 되는 현재 블록과 이웃 블록의 정보만 이용하는 것으로 가능하다.

전술한대로 이미 불량 픽셀 보정부를 통해 불량 픽셀이 보정되었다는 전제하에 동작이 수행되기 때문이다.

이와 같이, 종래에는 불량 픽셀 보정 수행 작업을 하는 불량 픽셀 보정부와 노이즈 제거부를 각각 구비하고 이들을 별도로 수행시켜야 했다.

각각의 기능부에서 수행되는 데이터의 양은 점점 커지고, 이들 각각에 필요한 메모리 용량이 커지면 결국 이미지 센서 및 이미지 처리 장치의 사이즈가 커질 뿐 아니라, 그 비용이 증대될 수 밖에 없었다.

도 4는 본 발명의 일 실시 예에 따른 이미지 처리 장치(100)의 블록도이다.

도 4를 참조하면, 이미지 처리 장치(100)는 이미지 입력부(110), 불량 픽셀 마스킹부(120), 노이즈 제거부(130) 및 이미지 출력부(140)를 포함한다.

이미지 입력부(110)는 CCD또는 CIS로부터 이미지를 수신할 수 있으며, 렌즈 등을 통하여 이미지를 수신하는 등, 복수의 이미지 센서 픽셀들을 포함할 수 있다. 이미지 입력부(110)는 각 픽셀들의 색상 정보를 포함하는 픽셀 데이터를 수신한다. 이미지 입력부(110)는 CCD (Charge Coupled Device) 또는 CIS(CMOS Image Sensor)를 포함할 수 있다.

본 발명의 일 실시 예에 따른 불량 픽셀 마스킹부(120)는 불량 픽셀의 위치를 검출하고 해당 픽셀이 검출되면 마스킹한다. 불량 픽셀 마스킹부(120)는 불량 픽셀이 발생된 위치만 검출하여 이를 룩 업 테이블(look up table;122)등에 기록할 수 있고, 해당 픽셀의 위치 정보에 인덱싱을 추가할 수 있다. 여기서 인덱싱은 마스킹 정보로서 설명될 수 있다.

이러한 마스킹 과정은 수학식 1을 참조하기로 한다.

[ 수학식 1]

Bad pixel mask (i, j) = indicator, when pixel (i, j)'s intensity is far from pattern reference value in amount of a certain threshold.

(I, j는 X, Y 좌표)

수학식 1에서의 특정 문턱값은 사용자에 의해 변경 가능한 파라미터일 수 있으며, 패턴 참조값(pattern reference value)은 블록 픽셀 감도의 평균값일 수 있다.

불량 픽셀 마스킹부(120)는 해당 픽셀이 불량 픽셀인지 여부를 검출하기 위해서 해당 픽셀을 제외한 나머지 주변 블록의 픽셀들의 일부 또는 전체의 평균 픽셀 값을 산출하여 평균치를 계산하고, 해당 픽셀의 위치와의 값의 차이를 비교한다. 예를 들어, 소정의 문턱값을 설정하고, 해당 픽셀의 데이터 값이 문턱값 이내이면 불량 픽셀이 아니고, 해당 픽셀의 데이터 값이 문턱값을 초과하면 불량 픽셀로서 검출될 수 있다. 이 때, 불량 픽셀 마스킹부(120)는 해당 픽셀이 불량 픽셀로서 검출되면 마스킹한다. 마스킹하는 것은, 룩 업 테이블(122)에 '1' 또는 '0'으로 인덱싱하여 저장할 수 있다. 예컨대, 불량 픽셀로서 검출되면 불량 픽셀 마스킹부(120)는 '1'로서 인덱싱할 수 있다.

이러한 정보를 저장하기 위해 불량 픽셀 마스킹부(120)는 룩업 테이블(122)을 포함할 수 있다.

룩업 테이블(122)은 PROM(Programmable Read Only Memory), EPROM(Erasable PROM), EEPROM(Electrically Erasable PROM), 플래시 메모리, 또는 SRAM 중 어느 하나이거나 등가물 중 선택된 어느 하나의 메모리일 수 있다.

설명의 편의상, 룩업 테이블(122)을 불량 픽셀 마스킹부(120) 내에 포함된 것으로 예시하였지만, 이에 한정되는 것은 아니다. 룩업 테이블(122)을 별도의 메모리 영역에 포함시키고 불량 픽셀 마스킹부(120)에서 별도의 메모리 영역으로 저장하는 것도 가능함은 당연하다.

물론, 불량 픽셀을 검출하기 위한 패턴 사이즈, 즉 블록 사이즈는 얼마든지 조정 가능하다.

또한, 불량 픽셀 검출하기 위해 패턴 비교시, 블록 단위로 오버랩하며 비교할 수도 있고, 오버랩되지 않도록 비교할 수도 있다. 이는 사용자의 의도에 따라 변경 가능하다.

노이즈 제거부(130)는 불량 픽셀을 고려하여 이미지의 노이즈를 제거할 수 있다. 본 발명의 일 실시 예에 따른 노이즈 제거부(130)는 불량 픽셀 검출부(120)의 검출 결과에 대응하여, 마스킹된 불량 픽셀을 제외한 나머지 픽셀들에 대해 NL means를 수행한다.

노이즈 제거부(130)는 픽셀 비교부(132), 가중치 할당부(134) 및 평균화부(136)를 포함할 수 있다.

픽셀 비교부(132)는 소정 픽셀들을 그룹화하여 비교 단위의 블록을 설정한다. 이때, 불량 픽셀 마스킹부(120)에 의해 마스킹 된 불량 픽셀은 제외하고, 나머지 픽셀들에 대해서만 유사성을 갖는지 비교할 수 있다.

상기 차이 값으로써, SAD 값이 사용 된 경우를 예시하고 있다.

수학식 2로서 유사도 비교 수행 과정을 알고리즘으로 표현할 수 있다.

[ 수학식 2]

block similarity(i) = SAD(current block , neighbour block(i), bad pixel mask )

본 명세서에서 사용 되는 '차이 값'의 의미에 대하여 설명한다.

현재 블록, 즉 보정 대상 블록과 비교 대상 블록 사이의 차이 값은, 보정 대상 블록에 포함 된 하나 이상의 픽셀의 픽셀 값과 비교 대상 블록에 포함 된 하나 이상의 픽셀의 픽셀 값 사이의 차이를 나타내는 값이다. 즉, 보정 대상 블록과 비교 대상 블록 사이의 차이 값이 작을수록 보정 대상 블록과 비교 대상 블록은 유사한 것으로 볼 수 있다. 상기 보정 대상 블록과 비교 대상 블록 사이의 차이 값은 여러 가지 방법으로 구해질 수 있으나, 보정 대상 블록에 포함 된 픽셀의 픽셀 값과 비교 대상 블록에 포함 된 픽셀의 픽셀 값의 차이 값에 기반하여 구해지는 점은 동일하다. 예를 들어, 4x4의 픽셀로 구성 되는 블록인 경우, 블록 간의 유사도는 각 블록 내의 대응 되는 위치의 픽셀 사이의 차이 값에 절대 값을 취한 다음 합산한 값인 SAD에 기반하여 구해질 수 있다.

본 발명의 일 실시 예에서는 현재 선택된 블록과 비교 블록이 되는 이웃 블록의 유사도를 비교할 때, 종래와 달리 마스킹 픽셀이 고려된다는 것이다.

해당 블록 내에 마스킹 픽셀이 있을 때, 마스킹 픽셀은 비교 픽셀에서 제외될 수 있다. 따라서, 해당 블록이 4x4 사이즈의 블록이고, 마스킹 픽셀이 2개 있었다면, 유사도 비교 참여에 해당되는 픽셀의 수는 마스킹 픽셀을 제외한 14개일 수 있다. 그리하여, 마스킹 픽셀의 불량 여부는 노이즈 제거에 직접적인 영향을 주지 않을 수 있다.

가중치 할당부(134)는 픽셀 비교부(132)의 결과에 따라, 유사도가 높은 블록일수록 높은 가중치를 할당한다. 물론, 가중치 할당부(134)는 마스킹된 픽셀은 제외할 수 있다.

수학식 3은 가중치 할당의 알고리즘을 나타낸다.

[ 수학식 3]

weight(i) = weighting function ( block similarity (i) )

학식 3에서와 같이 가중치 할당 알고리즘을 이용하여 유사도에 따라 가중치를 할당할 수 있다.

계속해서, 평균화부(136)에서는 비교 대상 블록들을 평균화한다.

평균화하기 전에 수학식 4와 같은 알고리즘을 이용하여, 할당 받은 가중치에 해당 위치의 픽셀의 픽셀 값을 곱한 것으로 보정값을 구할 수 있다.

한편, 본 명세서에서 사용 되는 '픽셀 값'이란 각 픽셀의 색상을 나타내는 데이터를 의미할 수 있다. 예를 들어, 각 픽셀의 색상은 (R, G, B) 형태로 나타낼 수 있는데, 상기 픽셀 값은 R 채널의 값, G 채널의 값 및 B 채널의 값을 합산한 값일 수 있다. 다만, 픽셀 값이 꼭 하나의 수치 데이터일 필요는 없으며, 하나의 픽셀에 복수의 수치 데이터가 세트로 존재할 수도 있다.

[ 수학식 4]

Denoised pixel intensity in current pattern = sum (weight(i) * pattern representative pixel intensity (i) )

(i는 각 패턴 위치)

즉, 수학식 4를 참조하면, 각 픽셀마다 픽셀 값과 가중치를 곱한 값을 모두 합산한다.

이후, 이를 픽셀 비교에 참여한 픽셀의 수를 이용하여 평균화하면, 해당 블록의 노이즈를 보상할 수 있다. 이 때, 평균값을 할당하는 것을 블록의 중앙 픽셀(center pixel)에 부여할 수도 있고, 블록 전체에 평균값을 할당할 수도 있다. 정밀도의 차이가 있지만, 연산 데이터의 양을 고려하여 사용자의 의도에 따라 선택이 가능할 수 있다.

최종적으로 이미지 출력부(140)는 이러한 방식으로 처리된 픽셀 값을 출력하여 보상된 이미지를 제공할 수 있다.

도 5는 검색 범위(SR)내의 복수개의 블록을 설정하고, 이들 블록 내에 불량 픽셀이 발생한 경우를 도식화한 도면이다.

도 5를 참조하면, 검정 픽셀로 표시된 것은 불량 픽셀을 나타낸다. 현재 노이즈 제거 대상 블록(target block)이 있을 때, 이웃하는 비교 대상 블록(neighboring block)과 패턴 매칭을 수행한다. 노이즈를 제거하는 과정에서 불량 픽셀인 검정 픽셀들은 비교 대상에서 제외하며, 가중치를 할당받지도 않는다. 그러나, 최종적으로 해당 블록의 평균값이 취해지면 노이즈를 제거하는 동시에 별도의 불량 픽셀을 보정하지 않고서도 결과적으로 불량 픽셀 보정 수행이 가능할 수 있다.

도 6은 도 4 및 도 5에 따른 본 발명의 일 실시 예에 따른 이미지 처리 장치(100)의 동작을 나타낸 순서도이다.

도 4, 도 5 및 도 6을 참조하면, 이미지 처리 장치(100)는 이미지를 수신한다(S110).

소정 픽셀의 그룹을 선택한다(S120).

해당 픽셀 그룹, 즉 블록 내에 불량 픽셀의 존재 여부를 검출하고, 불량 픽셀이 존재하면 해당 픽셀을 마스킹한다(S130).

노이즈 제거부(130)의 픽셀 비교부(132)에서 해당 픽셀 그룹 내 마스킹 픽셀을 제외한 나머지 픽셀들에 대해서만 이웃 블록과의 유사도를 비교하고 가중치 할당부(134)에서 유사도의 비중에 따라 가중치를 할당한다(S140).

노이즈 제거부(130)의 평균화부(136)에서 각 픽셀마다 픽셀 값과 가중치를 곱한 값을 모두 합산하여 평균화한다(S150).

평균화된 값을 해당 블록, 즉 현재 블록에 부여하면, 불량 픽셀을 보정하는 별도의 동작 없이 불량 픽셀이 보정된 결과를 얻을 수 있다.

이로써, 노이즈 제거부(130)에서 마스킹 픽셀을 고려하여 노이즈 제거 동작을 수행하면서 불량 픽셀을 보정할 수 있다.

도 7은 도 4에 도시된 불량 픽셀의 보정 및 노이즈를 제거하는 이미지 처리 장치(100)를 포함하는 컴퓨터 시스템(210)의 일 실시 예를 나타낸다.

도 7을 참조하면, 컴퓨터 시스템(210)은 메모리 장치(211), 메모리 장치(211)를 제어하는 메모리 컨트롤러(212), 무선 송수신기(213), 안테나(214), 애플리케이션 프로세서(215), 입력 장치(216) 및 디스플레이 장치(217)를 포함한다.

무선 송수신기(213)는 안테나(214)를 통하여 무선 신호를 주거나 받을 수 있다. 예컨대, 무선 송수신기(213)는 안테나(214)를 통하여 수신된 무선 신호를 애플리케이션 프로세서(215)에서 처리될 수 있는 신호로 변경할 수 있다.

따라서, 애플리케이션 프로세서(215)는 무선 송수신기(213)로부터 출력된 신호를 처리하고 처리된 신호를 디스플레이 장치(217)로 전송할 수 있다. 또한, 무선 송수신기(213)는 애플리케이션 프로세서(215)으로부터 출력된 신호를 무선 신호로 변경하고 변경된 무선 신호를 안테나(214)를 통하여 외부 장치로 출력할 수 있다. 실시 예에 따라, 애플리케이션 프로세서(215)는 도 4에 도시된 이미지 처리 장치(100)를 포함할 수 있다.

입력 장치(216)는 애플리케이션 프로세서(215)의 동작을 제어하기 위한 제어 신호 또는 애플리케이션 프로세서(215)에 의하여 처리될 데이터를 입력할 수 있는 장치로서, 터치 패드 (touch pad)와 컴퓨터 마우스(computer mouse)와 같은 포인팅 장치(pointing device), 키패드(keypad), 또는 키보드로 구현될 수 있다.

실시 예에 따라, 메모리 장치(211)의 동작을 제어할 수 있는 메모리 컨트롤러(212)는 애플리케이션 프로세서(215)의 일부로서 구현될 수 있고 또한 애플리케이션 프로세서(215)와 별도의 칩으로 구현될 수 있다.

도 8은 도 4에 도시된 불량 픽셀의 보정 및 노이즈를 제거하는 이미지 처리 장치(100)를 포함하는 컴퓨터 시스템(220)의 다른 실시 예를 나타낸다.

도 8을 참조하면, 컴퓨터 시스템(220)은 PC(personal computer), 네트워크 서버(Network Server), 태블릿(tablet) PC, 넷-북(net-book), e-리더(e-reader), PDA (personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 또는 MP4 플레이어로 구현될 수 있다.

컴퓨터 시스템(220)은 메모리 장치(221)와 메모리 장치(221)의 데이터 처리 동작을 제어할 수 있는 메모리 컨트롤러(222), 애플리케이션 프로세서(223), 입력 장치(224) 및 디스플레이 장치(225)를 포함한다.

애플리케이션 프로세서(223)는 입력 장치(224)를 통하여 입력된 데이터에 따라 메모리 장치(221)에 저장된 데이터를 디스플레이 장치(225)를 통하여 디스플레이할 수 있다. 예컨대, 입력 장치(224)는 터치 패드 또는 컴퓨터 마우스와 같은 포인팅 장치, 키패드, 또는 키보드로 구현될 수 있다. 애플리케이션 프로세서(223)는 컴퓨터 시스템(220)의 전반적인 동작을 제어할 수 있고 메모리 컨트롤러(222)의 동작을 제어할 수 있다. 실시 예에 따라, 애플리케이션 프로세서(223)는 도 4에 도시된 이미지 처리 장치(100)를 포함할 수 있다.

실시 예에 따라 메모리 장치(221)의 동작을 제어할 수 있는 메모리 컨트롤러(222)는 애플리케이션 프로세서(223)의 일부로서 구현될 수 있고 또한 애플리케이션 프로세서(223)와 별도의 칩으로 구현될 수 있다.

도 9는 도 4에 도시된 불량 픽셀의 보정 및 노이즈를 제거하는 이미지 처리 장치(100)를 포함하는 컴퓨터 시스템(230)의 또 다른 실시 예를 나타낸다.

도 9를 참조하면, 컴퓨터 시스템(230)은 이미지 처리 장치(Image Process Device), 예컨대 디지털 카메라 또는 디지털 카메라가 부착된 이동 전화기, 스마트 폰(smart phone) 또는 테블릿(tablet) 으로 구현될 수 있다.

컴퓨터 시스템(230)은 메모리 장치(231)와 메모리 장치(231)의 데이터 처리 동작, 예컨대 라이트(write) 동작 또는 리드(read) 동작을 제어할 수 있는 메모리 컨트롤러(232)를 포함한다. 또한, 컴퓨터 시스템(230)은 애플리케이션 프로세서(233), 이미지 센서(234) 및 디스플레이 장치(235)을 더 포함한다.

컴퓨터 시스템(230)의 이미지 센서(234)는 광학 이미지를 디지털 신호들로 변환하고, 변환된 디지털 신호들은 애플리케이션 프로세서(233) 또는 메모리 컨트롤러(232)로 전송된다. 애플리케이션 프로세서(233)의 제어에 따라, 상기 변환된 디지털 신호들은 디스플레이 장치(235)를 통하여 디스플레이되거나 또는 메모리 컨트롤러(232)를 통하여 메모리 장치(231)에 저장될 수 있다. 실시 예에 따라, 애플리케이션 프로레서(233)는 도 4에 도시된 이미지 처리 장치(100)를 포함할 수 있다.

또한, 메모리 장치(231)에 저장된 데이터는 애플리케이션 프로세서(233) 또는 메모리 컨트롤러(232)의 제어에 따라 디스플레이 장치(235)를 통하여 디스플레이된다.

실시 예에 따라, 메모리 장치(231)의 동작을 제어할 수 있는 메모리 컨트롤러(232)는 애플리케이션 프로세서(233)의 일부로서 구현될 수 있고 또한 애플리케이션 프로세서(233)와 별개의 칩으로 구현될 수 있다.

도 10은 본 발명의 일 실시예에 따른 노이즈 제거 시스템(300)의 블록도이다. 도 10에 도시 된 바와 같이, 본 실시예에 따른 노이즈 제거 시스템(300)은 인터페이스(310), ISP(304) 및 코어(302)를 포함할 수 있으며, RAM(306), 비휘발성메모리(Non Volatile Memory)(312), 내부 데이터 패스(data path)(308)를 더 포함할 수 있다.

인터페이스(310)는 외부 장치(미도시)와 연결 되어, 상기 외부 장치로부터 보정 대상 이미지에 포함 되는 각 픽셀들의 색상 정보를 포함하는 픽셀 데이터를 제공 받아 ISP(304)에 제공한다.

외부 장치는 본 실시예에 따른 노이즈 제거 시스템에 연결 되는 장치를 의미하는 것으로 특정 기능을 가진 것으로 제한 되지는 않는다. 외부 장치는, 예를 들어 저장 장치 또는 이미지 센서일 수 있다.

ISP(304)는 상기 픽셀 데이터에 포함 되는 픽셀들을 SAD 방식으로 노이즈를 제거 하되, 노이즈 제거 시 불량 픽셀을 고려함으로써, 노이즈 제거 동작을 수행하면서 불량 픽셀을 보정할 수 있다.

코어(302)는 RAM(306)에 저장 된 명령어 셋을 실행한다. 코어(302)는 상기 명령어 셋을 실행함으로써 인터페이스(310) 및 ISP(304)를 제어할 수 있다.

코어(302)는 RAM(306)에 저장 된 명령어 셋을 실행함으로써, 인터페이스(310)와 연결 된 외부 장치로부터 상기 한계치, 보장 개수 및 보정 가중치 중 적어도 하나를 입력 받을 수 있다. 코어(302)는 RAM(306)에 저장 된 명령어 셋을 실행함으로써, 외부 장치로부터 입력 받은 상기 데이터를 비휘발성 메모리(312)에 저장할 수 있다.

ISP(304)는 RAM(306)에 저장 된 상기 한계치, 보장 개수 및 보정 가중치 중 적어도 하나를 로드 하여, 잡음 제거에 사용할 수 있다.

본 실시예에 따른 노이즈 제거 시스템(300)은 어플리케이션 프로세서(Application Processor; AP)를 구성할 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록 청구 범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명은 이미지 처리 장치, 특히 이미지 신호 처리 시스템에 적용이 가능하다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110: 이미지 입력부
120: 불량 픽셀 마스킹부
130: 노이즈 제거부
140: 이미지 출력부

Claims

복수의 픽셀을 포함하는 복수의 블록 내 불량 픽셀의 위치를 검출하고 해당 픽셀을 마스킹하는 불량 픽셀 마스킹부; 및
상기 복수의 블록에 대해, 상기 마스킹된 픽셀을 제외한 나머지 픽셀들에 대해 패턴 매칭 방식을 이용하여 노이즈를 제거하는 노이즈 제거부를 포함하는 이미지 처리 장치.
제 1 항에 있어서,
상기 불량 픽셀 마스킹부는,
상기 해당 픽셀이 불량 픽셀인지 여부를 검출하도록, 상기 해당 픽셀을 제외한 나머지 주변 블록의 픽셀들의 일부 또는 전체의 평균 픽셀 값을 산출하고, 상기 해당 픽셀의 픽셀 값과 그 차이를 비교하는 이미지 처리 장치.
제 2 항에 있어서,
상기 불량 픽셀 마스킹부는,
상기 해당 픽셀이 불량 픽셀이면 상기 해당 픽셀의 위치 정보에 마스킹 정보를 부가하는 이미지 처리 장치.
제 1항에 있어서,
상기 노이즈 제거부가 상기 패턴 매칭 방식을 이용하는 것은,
상기 복수의 블록에 대해, 보정 대상 블록과 비교 대상 블록을 선택하여 상기 보정 대상 블록과 상기 비교 대상 블록 내 포함된 복수의 픽셀들에 대해서 유사도를 비교하되, 상기 마스킹된 픽셀들은 비교 대상에서 배제하는 이미지 처리 장치.
제 4항에 있어서,
상기 노이즈 제거부는,
상기 보정 대상 블록 및 상기 비교 대상 블록 내의 대응 되는 위치의 픽셀 사이의 차이 값에 절대 값을 취한 다음 합산한 값에 기반하여 상기 유사도의 값을 산출하는 이미지 처리 장치.
제 5항에 있어서,
상기 노이즈 제거부는,
상기 유사도의 비중에 따라 가중치를 할당하되, 상기 마스킹 픽셀을 가중치 할당하는 것에서 배제시키는 이미지 처리 장치.
제 6항에 있어서,
상기 노이즈 제거부는,
상기 비교 대상 블록의 각 픽셀마다 픽셀 값과 상기 가중치를 곱하고, 이를 합산하여 평균화한 값을 상기 보정 대상 블록의 보상된 값으로서 제공하는 이미지 처리 장치.
광학 이미지를 디지털 신호로 변환하는 이미지 센서;
상기 이미지 센서로부터 변환된 디지털 신호들을 처리하는 이미지 처리 장치를 포함하는 애플리케이션 프로세서; 및
상기 애플리케이션 프로세서로부터 변환된 디지털 신호들을 디스플레이하는 디스플레이 패널을 포함하며,
상기 이미지 처리 장치는,
외부로부터 이미지 픽셀 값을 수신하는 이미지 입력부;
상기 이미지 입력부의 픽셀들 중 불량 픽셀의 여부를 검출하고 검출된 불량 픽셀을 마스킹하는 불량 픽셀 마스킹부;
상기 불량 픽셀 마스킹부로부터 마스킹 정보를 수신하며, 상기 불량 픽셀을 제외한 나머지 픽셀들을 대상으로 블록 단위로 유사도를 비교함으로써 해당 블록의 노이즈 제거 방식을 수행하는 노이즈 제거부; 및
상기 노이즈 제거부에 의해 처리된 픽셀 값을 출력하는 이미지 출력부를 포함하는
노이즈 제거 시스템.
제 8항에 있어서,
상기 이미지 처리 장치가 노이즈를 제거하는 것은, 보정 대상 블록과 비교 대상 블록을 선택하여 패턴 매칭을 수행 시, 상기 보정 대상 블록 내 상기 불량 픽셀은 마스킹 처리하여 상기 불량 픽셀은 비교 대상에서 제외시키고, 나머지 픽셀들에 대해 패턴 매칭 방식을 이용하는 노이즈 제거 시스템.
제 9항에 있어서,
상기 이미지 처리 장치는,
상기 비교 동작은 가중치 평균화(weight averaging) 방식에 기반하여 수행하는 노이즈 제거 시스템.