KR20170107252A - 이미지 데이터의 노이즈 제거 방법 - Google Patents

이미지 데이터의 노이즈 제거 방법 Download PDF

Info

Publication number
KR20170107252A
KR20170107252A KR1020160030966A KR20160030966A KR20170107252A KR 20170107252 A KR20170107252 A KR 20170107252A KR 1020160030966 A KR1020160030966 A KR 1020160030966A KR 20160030966 A KR20160030966 A KR 20160030966A KR 20170107252 A KR20170107252 A KR 20170107252A
Authority
KR
South Korea
Prior art keywords
target block
similarity
center pixel
pixel
pixel similarity
Prior art date
Application number
KR1020160030966A
Other languages
English (en)
Inventor
백병준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160030966A priority Critical patent/KR20170107252A/ko
Priority to US15/435,374 priority patent/US10210600B2/en
Publication of KR20170107252A publication Critical patent/KR20170107252A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H04N5/359—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N5/357—
    • H04N5/3651—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

이미지 센서로부터 입력된 이미지 데이터의 노이즈 제거 방법이 개시된다. 본 발명의 일 실시예에 따르면, 이미지 데이터의 노이즈 제거 방법은, 상기 이미지 데이터 내의 대상 블록과 상기 대상 블록 주변의 비교 블록들을 비교하여, 상기 대상 블록과 상기 비교 블록들 간의 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단하는 단계, 및 상기 판단의 결과에 기초하여, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계, 및 상기 비교 블록들 각각의 중심 픽셀의 값들을 가중 평균하여, 상기 대상 블록의 중심 픽셀의 값을 추정하는 단계를 포함한다.

Description

이미지 데이터의 노이즈 제거 방법{A METHOD FOR REMOVING NOISE OF IMAGE DATA}
본 발명의 개념에 따른 실시예는 이미지 데이터의 노이즈 제거 방법으로써, 특히 이미지 센서로부터 입력된 이미지 데이터 내에 존재하는 다양한 노이즈들을 효율적으로 제거하는 이미지 데이터의 노이즈 제거 방법에 관한 것이다.
이미지 센서라 함은 시야에서 전개되는 영상을 광전 소자를 이용하여 전기적 신호로 변환하고, 이를 다시 디지털 신호로 변환하여 이미지 데이터의 형태로 출력하는 장치를 말한다.
이미지 센서로부터 출력된 이미지 데이터는, 이미지 센서 자체의 구조 및 디지털 신호의 전송 선로 등의 영향을 받아 다양한 특성을 갖는 노이즈들을 포함할 수 있다. 이러한 노이즈들은 각각이 가지는 특성에 따라 개별적으로 제거되는 것이 일반적이다.
그러나, 이미지에 존재하는 노이즈들을 개별적으로 제거하는 것은 계산의 복잡도를 증가시키고, 이는 소모 전력의 증가로 이어진다.
상술한 문제를 해결하기 위해, 이미지 센서로부터 출력된 이미지 데이터에 존재하는 다양한 특성을 가지는 노이즈들을 보다 효율적으로 제거하기 위한 방안이 요구된다.
본 발명이 이루고자 하는 기술적인 과제는 이미지 센서로부터 입력된 이미지 데이터에 존재하는 다양한 특성을 갖는 노이즈들을 패턴 매칭 기법을 이용하여 보다 효율적으로 제거함으로써, 소모 전력을 감소시키는 이미지 데이터의 노이즈 제거 방법을 제공하는 것이다.
본 발명의 실시예에 따른 이미지 데이터의 노이즈 제거 방법은, 상기 이미지 데이터 내의 대상 블록과 상기 대상 블록 주변의 비교 블록들을 비교하여, 상기 대상 블록과 상기 비교 블록들 간의 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단하는 단계, 및 상기 판단의 결과에 기초하여, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계, 및 상기 비교 블록들 각각의 중심 픽셀의 값들을 가중 평균하여, 상기 대상 블록의 중심 픽셀의 값을 추정하는 단계를 포함한다.
실시예에 따라, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도는, 상기 대상 블록의 상기 비교 블록들 각각에 대한 패턴 매칭의 결과를 이용하여 계산된다.
실시예에 따라, 상기 가중치는, 상기 판단의 결과, 상기 대상 블록의 중심 픽셀에 상기 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도를 이용하여 조정되고, 상기 판단의 결과, 상기 대상 블록의 중심 픽셀에 상기 임펄스 노이즈가 존재하는 것으로 판단된 경우, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도 중 상기 주변 픽셀 유사도만을 이용하여 조정된다.
실시예에 따라, 상기 비교 블록들은, 상기 대상 블록을 중심으로 하는 탐색 영역에 기초하여 설정된다.
실시예에 따라, 상기 주변 픽셀 유사도는 패턴 기술자를 이용하여 계산되고, 상기 패턴 기술자는 상기 대상 블록 및 상기 비교 블록들 각각이 포함하는 픽셀들의 위치 정보를 포함한다.
실시예에 따라, 이미지 데이터의 노이즈 제거 방법은, 상기 비교 블록들 각각에 대한 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계 전에, 이미지 센서로부터 입력된 이미지를 전처리하는 단계를 더 포함한다.
실시예에 따라, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부의 판단은, 상기 중심 픽셀 유사도와 상기 주변 픽셀 유사도의 차이가 미리 설정된 값 이상인지 여부에 기초하여 수행된다.
실시예에 따라, 상기 이미지 센서로부터 입력된 이미지 데이터는, 베이어 패턴 데이터, RGB 이미지 데이터, YUV 이미지 데이터, 및 YCbCr 이미지 데이터 중 어느 하나이다.
본 발명의 다른 실시예에 따른 이미지 처리 시스템의 노이즈 제거 방법은, 패턴 기술자를 수신하는 단계, 상기 패턴 기술자를 이용하여, 이미지 데이터 내의 대상 블록과 상기 대상 블록 주변의 비교 블록들을 비교하고, 상기 대상 블록과 상기 비교 블록들 간의 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는 것으로 판단된 경우, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도 중 상기 주변 픽셀 유사도만을 이용하여, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계, 및 상기 비교 블록들 각각의 중심 픽셀의 값들을 가중 평균하여, 상기 대상 블록의 중심 픽셀의 값을 추정하는 단계를 포함한다.
실시예에 따라, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계는, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단하는 단계를 포함하고, 상기 판단의 결과, 상기 대상 블록의 중심 픽셀에 상기 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우, 상기 가중치는 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도를 이용하여 조정된다.
실시예에 따라, 상기 비교 블록들은, 상기 대상 블록을 중심으로 하는 탐색 영역에 기초하여 설정된다.
실시예에 따라, 상기 패턴 기술자는, 상기 대상 블록 및 상기 비교 블록들이 포함하는 픽셀들의 위치 정보를 포함한다.
실시예에 따라, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부의 판단은, 상기 중심 픽셀 유사도와 상기 주변 픽셀 유사도의 차이가 미리 설정된 값 이상인지 여부에 기초하여 수행된다.
본 발명의 일 실시예에 따른 이미지 데이터의 노이즈 제거 방법은, 대상 블록과 상기 대상 블록에 대한 비교 블록들을 비교하는 경우에 각각의 중심 픽셀과 각각의 주변 픽셀들을 구분하여 처리할 수 있다. 나아가 본 발명의 다른 실시예에 따른 이미지 데이터의 노이즈 제거 방법은, 대상 블록과 상기 대상 블록에 대한 비교 블록들을 비교하는 경우에 각각의 주변 픽셀들을 방향별로 처리할 수 있다. 그리고, 상기 처리의 결과 이미지 데이터 내에 존재하는 다양한 특성을 가지는 노이즈들을 함께 제거할 수 있다.
따라서, 본 발명의 일 실시예에 따른 이미지 데이터의 노이즈 제거 방법은, 이미지 데이터 내에 존재하는 다양한 특성을 가지는 노이즈들을 함께 제거함으로써, 노이즈 제거에 필요한 계산 복잡도를 감소시키고, 이에 따른 소모 전력을 감소시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 구성 블록도이다.
도 2는 본 발명의 일 실시예에 따른 패턴 매칭 기법을 이용한 노이즈 제거 장치를 나타내는 구성 블록도이다.
도 3은 대상 블록들 및 비교 블록들을 설명하기 위한 도면이다.
도 4는 도 2의 유사도 평가부를 보다 구체적으로 나타낸 블록도이다.
도 5는 도 4에 도시된 블록 유사도 평가부들 중 어느 하나의 블록 유사도 평가부를 보다 구체적으로 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 패턴 기술자를 설명하기 위한 도면이다.
도 7은 도 2의 임펄스 노이즈 검출부를 보다 구체적으로 나타낸 블록도이다.
도 8은 도 2의 가중치 조정부를 보다 구체적으로 나타낸 블록도이다.
도 9는 가중치 정보를 생성하기 위해 이용되는 가중치 함수를 설명하기 위한 도면이다.
도 10은 도 2의 가중 평균 처리부를 보다 구체적으로 나타낸 블록도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 구성 블록도이다.
도 13은 도 12의 가중치 조정부를 보다 구체적으로 나타낸 블록도이다.
도 14는 도 12의 임펄스 노이즈 검출부를 보다 구체적으로 나타낸 블록도이다.
도 15는 도 12의 가중 평균 처리부를 보다 구체적으로 나타낸 블록도이다.
도 16은 본 발명의 다른 실시예에 따른 이미지 노이즈 제거 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 구성 블록도이다.
도 18은 본 발명의 또 다른 실시예에 따른 방향성 패턴 기술자를 설명하기 위한 도면이다.
도 19는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 20은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 구성 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(1)은 애플리케이션 프로세서(Application Processor(AP); 10), 이미지 센서(CMOS Image Sensor(CIS); 20), 이미지 메모리(Image Memory; 30), 및 디스플레이(Display; 40)를 포함할 수 있다.
이미지 센서(20)는 피사체를 촬영하여 입사되는 입사광의 세기를 광전 소자를 이용하여 전기적 데이터로 변환하고, 변환된 전기적 데이터를 프레임 단위의 이미지 데이터로 변환하여 출력할 수 있다.
이미지 센서(20)는 상기 전기적 데이터로의 변환을 위한 컬러 필터 어레이(color filter array)를 포함할 수 있고, 상기 필터 어레이는 와이드 다이내믹 레인지(wide dynamic range)를 갖는 베이어 패턴(bayer pattern)을 포함할 수 있다.
실시예에 따라, 상기 컬러 필터 어레이는 RGB 컬러 필터, RGBW 컬러 필터, RGBE, 컬러 필터, CYYM 컬러 필터, CYGM 컬러 필터 및 RWB 컬러 필터 중 적어도 하나를 포함할 수 있고, 다른 실시예에 따라, BW 컬러 필터를 더 포함할 수도 있다.
상기 변환된 이미지 데이터는 각 픽셀에 대응하는 디지털 값이 순차적으로 나열된 스트림(stream) 형태의 데이터일 수 있고, 상기 변환된 이미지 데이터는 베이어 패턴 데이터(bayer pattern data)로 지칭될 수 있다.
AP(10)는 이미지 처리 장치(ISP; 200), 중앙 처리 장치(CPU; 300), 메모리 컨트롤러(400), 디스플레이 컨트롤러(500), 및 인터페이스(I/F; 600)를 포함할 수 있다.
ISP(200)는 이미지 센서(20)로부터 입력된 이미지 데이터를 처리 또는 가공하고, 처리 또는 가공된 이미지 데이터를 디스플레이 컨트롤러(500) 또는 디스플레이 인터페이스(600)로 출력할 수 있다. 여기서, 상기 이미지 데이터는 RGB, YUV, 및 YCbCr 이미지 데이터 중 어느 하나일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
패턴 매칭 기법을 이용한 노이즈 제거 장치(PMNR; 100)는 이미지 데이터를 수신할 수 있다. 상기 이미지 데이터는 본 발명의 일 실시예에 따라 이미지 센서(20)로부터 수신된 베이어 패턴 데이터일 수 있고, 다른 실시예에 따라 ISP(200)로부터 수신된 이미지 데이터일 수도 있다.
패턴 매칭 기법을 이용한 노이즈 제거 장치(100)는 수신된 이미지 데이터를 블록 단위 또는 픽셀 단위로 가공 또는 처리할 수 있다. 여기서, 상기 블록이라 함은, 수신된 이미지 데이터 내에 존재하는 서브 영역(sub-region)을 의미할 수 있다.
패턴 매칭 기법을 이용한 노이즈 제거 장치(100)는 수신된 이미지 데이터 내에 존재하는 노이즈들을 효율적으로 제거할 수 있다. 상기 노이즈들은 시간에 따라 변화하는 시간적 노이즈(Temporal Noise(TN)) 및 고정된 형태를 갖는 고정 패턴 노이즈(Fixed Pattern Noise(FPN))를 포함할 수 있다.
패턴 매칭 기법을 이용한 노이즈 제거 장치(100)는, 도 1에 도시된 실시예에서, 이미지 처리 장치(200)의 내부에 구현된 것으로 도시되어 있으나, 본 발명의 범위는 이에 한정되지 않는다. 실시예에 따라, 패턴 매칭 기법을 이용한 노이즈 제거 장치(100)는 이미지 센서(20)의 내부에 구현될 수 있고, 이미지 센서(20)와 AP(10) 사이에 브리지 회로로 구현될 수도 있다.
패턴 매칭 기법을 이용한 노이즈 제거 장치(100)에 관한 보다 구체적인 설명은 도 2 내지 도 18을 참조하여 후술하기로 한다.
CPU(300)는 애플리케이션 프로세서(10)의 전반적인 작동을 제어할 수 있다. 실시예에 따라, CPU(300)는 메모리 컨트롤러(400)를 제어하여, 이미지 메모리(30)에 저장된 프로그램 및/또는 데이터를 처리 또는 실행할 수 있다. 나아가, CPU(300)는 ISP(200)를 제어하여, 처리된 이미지 데이터를 디스플레이 인터페이스(600)를 통해, 디스플레이(40)로 전송하게 할 수 있다.
CPU(300)는 2개 이상의 독립적인 프로세서들(또는 코어들)을 갖는 하나의 컴퓨팅 컴포넌트(computing component) 즉, 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다.
메모리 컨트롤러(400)는 CPU(300)의 제어 하에, 이미지 메모리(30)의 데이터 접근 동작, 예컨대 기입 동작 또는 독출 동작을 제어할 수 있다.
메모리 컨트롤러(400)는 CPU(300)와 별도의 칩으로 구현될 수 있고, CPU(300)의 일부로서 구현될 수도 있다.
디스플레이 컨트롤러(500)는 CPU(300)의 제어 하에, 디스플레이(40)를 제어하기 위한 다양한 제어 신호들을 생성하고, 생성된 제어 신호들을 디스플레이(40)로 전송할 수 있다.
디스플레이 컨트롤러(500)는 CPU(300)의 제어 하에, 이미지 처리 장치(200)에 의해 처리 또는 가공된 이미지 데이터를 디스플레이(40)로 전송할 수 있다.
디스플레이 컨트롤러(500)는 MIPI? 디스플레이 시리얼 인터페이스(display serial interface(DSI)) 또는 eDP(embedded DisplayPort)를 통해 상기 제어 신호들 및 이미지 데이터를 디스플레이(40)로 전송할 수 있다.
디스플레이(40)는 디스플레이 컨트롤러(500)로부터 전송된 제어 신호들 및 이미지 데이터를 수신하고, 상기 제어 신호들에 따라 이미지 데이터를 디스플레이 할 수 있다.
디스플레이(40)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 플렉시블 디스플레이, 또는 투명 디스플레이로 구현될 수 있다.
본 발명의 일 실시예에 따른 이미지 처리 시스템(1)은 PC(Personal Computer) 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터 (laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 패턴 매칭 기법을 이용한 노이즈 제거 장치를 나타내는 구성 블록도이다.
도 2를 참조하면, 패턴 매칭 기법을 이용한 노이즈 제거 장치(100)는 프리 프로세싱부(Pre-Processing Unit; 110), 유사도 평가부(Similarity Evaluation Unit; 130), 임펄스 노이즈 검출부(Impulsive Noise Detection Unit; 150), 가중치 조정부(Weight Adjustment Unit; 170), 및 가중 평균 처리부(Weighted Averaging Unit; 190)를 포함할 수 있다.
프리 프로세싱부(110)는 이미지 센서(20) 또는 ISP(200) 중 어느 하나로부터 이미지 데이터(I)를 수신할 수 있다.
프리 프로세싱부(100)는 수신된 이미지 데이터(I)에 대한 기하학적 보정(geometrical correction) 및 광학적 보정(optical correction)을 수행할 수 있다.
프리 프로세싱부(110)는 상기 기하학적 보정 및 상기 광학적 보정을 수행하기 위해, 렌즈 쉐이딩 보정부(lens shading corrector; 미도시), 색수차 보정부(chromatic aberration corrector; 미도시) 및 교정 엔진(rectification engine; 미도시)을 포함할 수 있다.
상기 렌즈 쉐이딩 보정부는 CPU(300)의 제어 하에, 쉐이딩 정보를 수신하고, 수신된 쉐이딩 정보에 기초하여, 이미지 센서(20)의 중심부로부터 주변부로 갈수록 광량이 부족하여 어두워지는 명암의 차이를 보정할 수 있다. 상기 명암의 차이는 이미지 센서(20)에 포함된 렌즈의 곡면 형태로부터 기인한 것일 수 있다.
상기 색수차 보정부는 CPU(300)의 제어 하에, 색수차 정보를 수신하고, 수신된 색수차 정보에 기초하여, 색수차(chromatic aberration)를 보정할 수 있다. 상기 색수차는 이미지 센서 각각에 포함된 렌즈에 입사되는 빛의 파장에 따라 굴절률의 차이가 발생하여, 긴 파장의 빛일수록 초점이 렌즈로부터 상대적으로 먼 곳에 맺히는 현상에 기인한 것일 수 있다.
상기 교정 엔진은 CPU(300)의 제어 하에, 교정 정보를 수신하고, 수신된 교정 정보에 기초하여, 이미지 데이터의 기하학적 변환을 수행할 수 있다.
상기 기하학적 변환은 회전 변환(rotation transformation), 크기 변환(scailing transformation), 또는 어파인 변환(affine transformation)과 같은 기하학적 선형 변환을 포함할 수 있다.
프리 프로세싱부(110)는 상기 기하학적 보정 및 상기 광학적 보정된 이미지 데이터(I)를 유사도 평가부(130)로 출력할 수 있다. 이 경우, 프리 프로세싱부(110)는 상기 기하학적 보정 및 상기 광학적 보정된 이미지 데이터(I)를 대상 블록(TBlock) 및 상기 대상 블록에 대한 비교 블록들(CBlock1~CBlockm; 단, m은 1 이상의 정수)로 분할하여 출력할 수 있다.
상기 대상 블록(TBlock) 및 상기 대상 블록에 대한 비교 블록들(CBlock1~CBlockm)에 대한 구체적인 설명을 위해 도 3을 참조하기로 한다.
도 3은 대상 블록 및 비교 블록들을 설명하기 위한 도면이다.
상기 대상 블록(TBlock)은 상기 이미지 데이터(I) 내에 존재하는 복수의 블록들 중 어느 하나일 수 있다. 상기 복수의 블록들은 상기 이미지 데이터(I) 내에 존재하는 복수의 픽셀들 각각(예컨대, PC1, PC2, PC3 등)을 중심 픽셀로 가지는 미리 설정된 크기의 블록들일 수 있다.
상기 비교 블록들(CBlock1~CBlockm)은 상기 대상 블록(TBlock)의 중심 픽셀(예컨대, PC1)로부터 탐색 영역(SR) 내에 존재하는 미리 설정된 크기의 복수의 블록들일 수 있다.
상기 대상 블록(TBlock)과 상기 비교 블록들(CBlock1~CBlockm) 각각의 크기는 동일할 수 있다. 그리고, 상기 비교 블록들(CBlock1~CBlockm)은 상기 대상 블록(TBlock)과 동일한 블록(CBlockj; 단, j는 1 이상 m 이하의 정수)을 포함할 수 있다.
유사도 평가부(130)는 프리 프로세싱부(110)로부터 수신된 대상 블록(TBlock)과 상기 대상 블록에 대한 비교 블록들(CBlock1~CBlockm)을 비교하여, 픽셀 유사도(C_ADi, N_SADi; 단, i는 1 이상 m 이하의 정수)를 계산하고, 이를 임펄스 노이즈 검출부(150)로 출력할 수 있다.
유사도 평가부(130)는 어느 하나의 픽셀(예컨대, PC1)을 중심으로 하는 대상 블록(TBlock)에 대한 픽셀 유사도(C_ADi, N_SADi)를 계산한 후, 다른 픽셀(예컨대, PC2)을 중심으로 하는 대상 블록(TBlock)에 대한 픽셀 유사도(C_ADi, N_SADi)를 계산할 수 있다.
상기 픽셀(PC1)은 상기 이미지 데이터(I) 내에 존재하는 복수의 픽셀들 중 어느 하나의 픽셀이고, 상기 픽셀(PC2)는 상기 이미지 데이터(I) 내에 존재하는 복수의 픽셀들 중 상기 픽셀(PC1)이 아닌 픽셀일 수 있다.
상기 픽셀(PC1)을 중심으로 하는 대상 블록(TBlock) 및 상기 픽셀(PC2)을 중심으로 하는 대상 블록(TBlock) 각각에 대한 픽셀 유사도(C_ADi, N_SADi)의 계산 과정은 동일할 수 있다.
따라서, 본 명세서에서는, 설명의 편의를 위해, 유사도 평가부(130)가 상기 픽셀(PC1)을 중심으로 하는 대상 블록(TBlock)에 대한 픽셀 유사도(C_ADi, N_SADi)를 계산하는 과정만을 설명하기로 한다. 이러한 설명의 방식은, 도 4 내지 도 10을 참조하여 후술하게 되는 임펄스 노이즈 검출부(150), 가중치 조정부(170), 및 가중 평균 처리부(190)의 구성 및 기능을 설명함에 있어서도 동일하게 적용될 수 있다.
유사도 평가부(130)는 픽셀 유사도(C_ADi, N_SADi)를 계산하기 위해 이미지 메모리(30)로부터 수신된 패턴 기술자(Pattern Descriptor(PD))를 이용할 수 있다. 패턴 기술자(PD)는 픽셀 유사도(C_ADi, N_SADi)를 계산하기 위해, 미리 설정되어 이미지 메모리(30)에 저장된 정보일 수 있다.
유사도 평가부(130)에 관한 보다 구체적인 설명은 도 3 내지 도 6을 참조하여 후술하기로 한다.
임펄스 노이즈 검출부(150)는 유사도 평가부(130)로부터 수신된 픽셀 유사도(C_ADi, N_SADi) 및 이미지 메모리(30)로부터 수신된 블록 정보(B_info)를 이용하여, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈(impulsive noise)가 존재하는지 여부를 판단할 수 있다. 그리고, 상기 판단의 결과 정보(IN_res)를 가중치 조정부(170)로 출력할 수 있다.
블록 정보(B_info)는 이미지 센서(20)로부터 수신된 이미지 데이터(I)의 크기(즉, 이미지 데이터(I)의 어느 하나의 프레임의 높이(height) 및 폭(width))에 관한 정보, 어느 하나의 대상 블록(TBlock)에 대한 비교 블록들(CBlocki)의 수(m), 및 상기 비교 블록들(CBlocki) 각각에 존재하는 픽셀들의 수(n; 단, n은 1 이상의 정수)에 관한 정보를 포함할 수 있다.
임펄스 노이즈 검출부(150)에 관한 보다 구체적인 설명은 도 7을 참조하여 후술하기로 한다.
가중치 조정부(170)는 임펄스 노이즈 검출부(150)로부터 수신된 픽셀 유사도(C_AD1~C_ADm, N_SAD1~N_SADm), 임펄스 노이즈 검출부(150)가 수행하는 판단의 결과 정보(IN_res), 블록 정보(B_info), 및 가중치 정보(W_info)를 이용하여, 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀의 값에 적용되는 가중치들(wi; 단, i는 1 이상 m 이하의 정수)을 조정할 수 있다. 그리고, 조정된 가중치들(wi)을 가중 평균 처리부(190)로 출력할 수 있다.
가중치 조정부(170)에 관한 구체적인 내용은 도 8 및 도 9를 참조하여 후술하기로 한다.
가중 평균 처리부(190)는 가중치 조정부(170)로부터 수신된 가중치들(wi)을 이용하여, 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀의 값(CC1~CCm)을 가중 평균하고, 가중 평균의 결과(P_PMNR)를 출력할 수 있다.
가중 평균의 결과(P_PMNR)는 대상 블록(TBlock)의 중심 픽셀(PC1)의 값을 추정한 값일 수 있다.
가중 평균의 결과(P_PMNR)는 대상 블록(TBlock)의 중심 픽셀(PC1)에 존재하는 다양한 특성을 가지는 노이즈들을 제거한 값일 수 있다.
실시예에 따라, 상기 제거된 노이즈는 임펄스 노이즈(impulsive noise) 및 가우시안 노이즈(gaussian noise)일 수 있다.
가중 평균 처리부(190)에 관한 구체적인 내용은 도 10을 참조하여 후술하기로 한다.
도 4는 도 2의 유사도 평가부를 보다 구체적으로 나타낸 블록도이다. 도 5는 도 4에 도시된 블록 유사도 평가부들 중 어느 하나의 블록 유사도 평가부를 보다 구체적으로 나타낸 블록도이다.
도 4 및 도 5를 참조하면, 유사도 평가부(130)는 제1 내지 제m 블록 유사도 평가부들(132-1~132-m; 단, m은 1 이상의 정수)을 포함할 수 있다. 각각의 블록 유사도 평가부(132-i; 단, i는 1 이상 m 이하의 정수)는 제1 내지 제n 절대값 생성부들(AD1~ADn, 133-1~133-n; 단, n은 1 이상의 정수) 및 가산기(135)를 포함할 수 있다.
각각의 블록 유사도 평가부(132-i)는 프리 프로세싱부(110)로부터 대상 블록(TBlock)과 상기 대상 블록(TBlock)에 대한 비교 블록들(CBlock1~CBlockm) 중 어느 하나의 비교 블록(CBlocki; 단, i는 1 이상 m 이하의 정수)을 수신할 수 있다.
블록 유사도 평가부들(132-1~132-m)의 수와 대상 블록(TBlock)에 대한 비교 블록들(CBlock1~CBlockm)의 수는 동일할 수 있다.
각각의 블록 유사도 평가부(132-i)는 대상 블록(TBlock)과 상기 비교 블록(CBlocki)을 이용하여, 픽셀 유사도(C_ADi, N_SADi)를 계산하고, 이를 출력할 수 있다.
픽셀 유사도(C_ADi, N_SADi)는 중심 픽셀 유사도(C_ADi) 및 주변 픽셀 유사도(N_SADi)를 포함할 수 있다.
중심 픽셀 유사도(C_ADi)는 대상 블록(TBlock)의 중심 픽셀(PC1)과 상기 비교 블록(CBlocki)의 중심 픽셀(CCi)을 비교한 결과일 수 있다. 실시예에 따라, 중심 픽셀 유사도(C_ADi)는, 대상 블록(TBlock)의 중심 픽셀(PC1)의 값과 비교 블록(CBlocki)의 중심 픽셀(CCi)의 값의 차이의 절대값을 합산한 후 역수를 취한 값일 수 있다.
주변 픽셀 유사도(N_SADi)는 대상 블록(TBlock)의 주변 픽셀들(PN1)과 상기 비교 블록(CBlocki)의 주변 픽셀들(CNi)을 비교한 결과일 수 있다.
실시예에 따라, 주변 픽셀 유사도(N_SADi)는, 대상 블록(TBlock)의 주변 픽셀들(PN1)의 값과 비교 블록 (CBlocki)의 주변 픽셀들(CNi)의 값들의 차이의 절대값을 합산한 후 역수를 취한 값일 수 있다.
실시예에 따라, 주변 픽셀 유사도(N_SADi)는 패턴 기술자(PD)를 이용하여 계산될 수 있다. 상기 패턴 기술자(PD)에 관한 구체적인 설명을 위해 도 6을 참조하기로 한다.
도 6은 본 발명의 일 실시예에 따른 패턴 기술자를 설명하기 위한 도면이다.
블록 유사도 평가부(132-i)는 주변 픽셀 유사도(N_SADi)를 계산하기 위해 대상 블록(TBlock)과 비교 블록(CBlocki) 각각의 주변 픽셀들(PN1, CNi) 중 일부(예컨대, 도 6에 도시된 패턴 기술자(PD)에 상응하는 픽셀들)만을 이용할 수 있다.
상기 패턴 기술자(PD)는 대상 블록(TBlock)과 비교 블록(CBlocki) 각각의 주변 픽셀들(PN1, CNi)의 위치(position) 정보를 포함할 수 있다.
즉, 블록 유사도 평가부(132-i)는 대상 블록(TBlock)과 비교 블록(CBlocki) 각각의 주변 픽셀들 중 패턴 기술자(PD)에 상응하는 주변 픽셀들만을 이용하여, 주변 픽셀 유사도(N_SADi)를 계산할 수 있다.
한편, 도 6에 도시된 패턴은 예시적인 것으로서, 본 발명의 범위는 이에 한정되지 않는다. 실시예에 따라, 상기 패턴의 크기 및 모양은 다양하게 변경될 수 있으며, 상기 패턴의 크기 및 모양의 변경에 따라 상응하는 패턴 기술자(PD) 또한 함께 변경될 수 있다.
도 7은 도 2의 임펄스 노이즈 검출부를 보다 구체적으로 나타낸 블록도이다.
도 7을 참조하면, 임펄스 노이즈 검출부(150)는 주변 픽셀 유사도 평균화부(Neighbor SAD Averaging Unit; 152a), 중심 픽셀 유사도 평균화부(Center AD Averaging Unit; 156a), 및 임펄스 노이즈 결정부(Impulsive Noise(IN) Decision Unit; 154a)를 포함할 수 있다.
주변 픽셀 유사도 평균화부(152a)는 유사도 평가부(130)로부터 수신된 주변 픽셀 유사도(N_SAD1~N_SADm)와 블록 정보(B_info)를 이용하여, 주변 픽셀 유사도(N_SAD1~N_SADm)의 평균값(NAD_avg)을 계산하고, 계산의 결과(NAD_avg)를 임펄스 노이즈 결정부(154a)로 출력할 수 있다.
상기 주변 픽셀 유사도의 평균값(NAD_avg)는 하기의 수학식 1에 의하여 결정될 수 있다.
Figure pat00001
여기서, N_SADi는 주변 픽셀 유사도이고, m은 대상블록에 대한 비교 블록들의 수이고, n은 상기 비교 블록들 각각에 존재하는 픽셀들의 수이다.
중심 픽셀 유사도 평균화부(156a)는 유사도 평가부(130)로부터 수신된 중심 픽셀 유사도(C_AD1~C_ADm)와 블록 정보(B_info)를 이용하여, 중심 픽셀 유사도(C_AD1~C_ADm)의 평균값(CAD_avg)을 계산하고, 계산된 평균값(CAD_avg)을 임펄스 노이즈 결정부(154a)로 출력할 수 있다.
상기 중심 픽셀 유사도의 평균값(CAD_avg)는 하기의 수학식 2에 의하여 결정될 수 있다.
Figure pat00002
여기서, C_SADi는 중심 픽셀 유사도이고, m은 대상 블록에 대한 비교 블록들의 수이다.
임펄스 노이즈 결정부(154a)는 주변 픽셀 유사도 평균화부(152a)로부터 수신된 주변 픽셀 유사도의 평균값(NAD_avg)과 중심 픽셀 유사도 평균화부(156a)로부터 수신된 중심 픽셀 유사도의 평균값(CAD_avg)을 이용하여, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하는지 여부를 판단하고, 판단의 결과(IN_res)를 가중치 조정부(170)로 출력할 수 있다.
본 발명의 일 실시예에 따라, 임펄스 노이즈 결정부(154a)는 중심 픽셀 유사도의 평균값(CAD_avg)이 주변 픽셀 유사도의 평균값(NAD_avg)보다 작은 경우, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하는 것으로 판단하고, 판단의 결과(IN_res)로써, 제1 로직 레벨(예컨대, 로직 하이)을 출력할 수 있다. 그리고, 임펄스 노이즈 결정부(154a)는 중심 픽셀 유사도의 평균값(CAD_avg)이 주변 픽셀 유사도의 평균값(NAD_avg)보다 큰 경우, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하지 않는 것으로 판단하고, 판단의 결과(IN_res)로써, 제2 로직 레벨(예컨대, 로직 로우)을 출력할 수 있다.
본 발명의 다른 실시예에 따라, 임펄스 노이즈 결정부(154a)는 중심 픽셀 유사도의 평균값(CAD_avg)이 주변 픽셀 유사도의 평균값(NAD_avg)보다 작고, 그 차이가 미리 설정된 임계값보다 큰 경우, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하는 것으로 판단하고, 판단의 결과(IN_res)로써 제1 설정값(first set value)을 출력할 수 있다. 그리고, 임펄스 노이즈 결정부(154a)는 중심 픽셀 유사도의 평균값(CAD_avg)이 주변 픽셀 유사도의 평균값(NAD_avg)보다 큰 경우, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하지 않는 것으로 판단하고, 판단의 결과(IN_res)로써 제2 설정값(second set value)을 출력할 수 있다.
나아가, 임펄스 노이즈 결정부(154a)는 중심 픽셀 유사도의 평균값(CAD_avg)이 주변 픽셀 유사도의 평균값(NAD_avg)보다 작고, 그 차이가 상기 임계값보다 작은 경우, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈의 존재여부가 불분명한 것으로 판단하고, 판단의 결과(IN_res)로써 제3 설정값(third set value)을 출력할 수 있다.
상기 제3 설정값은 상기 제1 설정값 및 상기 제2 설정값 사이의 값으로써, 중심 픽셀 유사도의 평균값(CAD_avg)과 주변 픽셀 유사도의 평균값(NAD_avg) 간의 차이가 작을수록 상기 제2 설정값에 가까워지고, 상기 차이가 클수록 상기 제1 설정값에 가까워지도록 설정될 수 있다.실시예에 따라, 상기 제1 설정값은 '0'이고, 상기 제2 설정값은 '1'이며, 상기 제3 설정값은 '0'과 '1' 사이에서 중심 픽셀 유사도의 평균값(CAD_avg)과 주변 픽셀 유사도의 평균값(NAD_avg) 간의 차이의 크기에 비례하여 단조증가하는 값으로 설정될 수 있다.
도 8은 도 2의 가중치 조정부를 보다 구체적으로 나타낸 블록도이다.
도 8을 참조하면, 가중치 조정부(170)는 제1 내지 제m 가산기(172a-1~172a-m), 제1 내지 제m 멀티 플렉서(174a-1~174a-m), 및 제1 내지 제m 블록 가중치부(176a-1~176a-m)를 포함할 수 있다.
한편, 제2 내지 제m 가산기(172a-2~172a-m), 제2 내지 제m 멀티 플렉서(174a-2~172a-m), 및 제2 내지 제m 블록 가중치부(176a-2~176a-m) 각각의 구성 및 기능은 제1 가산기(172a-1), 제1 멀티 플렉서(174a-1), 및 제1 블록 가중치부(176a-1) 각각의 구성 및 기능과 유사하다.
따라서, 이하에서는 제1 가산기(172a-1), 제1 멀티 플렉서(174a-1), 및 제1 블록 가중치부(176a-1)를 중심으로, 가중치 조정부(170)의 구성 및 기능에 대하여 설명하기로 한다.
제1 가산기(172a-1)는 주변 픽셀 유사도(N_SAD1)와 중심 픽셀 유사도(C_AD1)를 합산하여, 상기 합산의 결과를 제1 멀티 플렉서(172a-1)로 출력할 수 있다.
제1 멀티 플렉서(174a-1) 는 임펄스 노이즈 결정부(150)의 판단의 결과 정보(IN_res)에 따라, 주변 픽셀 유사도(N_SAD1), 또는 주변 픽셀 유사도(N_SAD1)와 중심 픽셀 유사도(C_AD1)를 합산한 결과값 중 어느 하나를 제1 블록 가중치부(176a-1)로 출력할 수 있다.
도 7을 참조하여 상술한 바와 같이, 임펄스 노이즈 결정부(150)의 판단의 결과 정보(IN_res)는, 본 발명의 일 실시예에 따라 제1 로직 레벨 및 제2 로직 레벨 중 어느 하나일 수 있다. 그리고, 임펄스 노이즈 결정부(150)의 판단의 결과 정보(IN_res)는, 본 발명의 다른 실시예에 따라 제1 설정값, 제2 설정값, 또는 제3 설정값 중 어느 하나일 수 있다.
제1 멀티 플렉서(174a-1)는, 본 발명의 일 실시예에 따른 상기 결과 정보(IN_res)가 제1 로직 레벨인 경우(즉, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하는 것으로 판단된 경우), 주변 픽셀 유사도(N_SAD1)만을 제1 블록 가중치부(176a-1)로 출력할 수 있다. 그리고, 제1 멀티 플렉서(174a-1)는 상기 결과 정보(IN_res)가 제2 로직 레벨인 경우(즉, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우), 주변 픽셀 유사도(N_SAD1)와 중심 픽셀 유사도(C_AD1)를 합산한 결과값을 제1 블록 가중치부(176a-1)로 출력할 수 있다.
제1 멀티 플렉서(174a-1)는, 본 발명의 다른 실시예에 따른 상기 결과 정보(IN_res)가 제1 설정값 또는 제3 설정값인 경우(즉, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하는 것으로 판단된 경우 또는 상기 임펄스 노이즈의 존재여부가 불분명한 것으로 판단된 경우), 주변 픽셀 유사도(N_SAD1)만을 제1 블록 가중치부(176a-1)로 출력할 수 있다. 그리고, 제1 멀티 플렉서(174a-1)는, 상기 결과 정보(IN_res)가 제2 설정값인 경우(즉, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우), 주변 픽셀 유사도(N_SAD1)와 중심 픽셀 유사도(C_AD1)를 합산한 결과값을 제1 블록 가중치부(176a-1)로 출력할 수 있다.
제1 블록 가중치부(176a-1)는 제1 멀티 플렉서(174a-1)의 출력값, 임펄스 노이즈 검출부(150)의 판단의 결과 정보(IN_res), 블록 정보(B_info), 및 가중치 정보(w_info)를 이용하여, 가중치(w1)를 생성하고, 생성된 가중치(w1)를 출력할 수 있다.
상기 가중치 정보(w_info)에 관한 구체적인 설명을 위해 도 9를 참조하기로 한다.
도 9는 가중치 정보(w_info)를 생성하기 위해 이용되는 가중치 함수를 설명하기 위한 도면이다.
상기 가중치 함수의 입력은 제1 멀티플렉서의 출력값을 정규화한 값일 수 있다.
실시예에 따라, 상기 정규화된 값은 제1 멀티 플렉서(174a-1)의 출력값이 주변 픽셀 유사도(N_SAD1)인 경우, 상기 주변 픽셀 유사도(N_SAD1)를 m*(n-1) (단, m은 대상 블록에 대한 비교 블록들의 수이고, n은 상기 비교 블록들 각각에 존재하는 픽셀들의 수)로 나눈 값일 수 있다.
실시예에 따라, 상기 정규화된 값은 제1 멀티 플렉서(174a-1)의 출력값이 주변 픽셀 유사도(N_SAD1)와 중심 픽셀 유사도(C_AD1)를 합산한 결과값인 경우, 상기 주변 픽셀 유사도(N_SAD1)와 중심 픽셀 유사도(C_AD1)를 합산한 결과값을 m*n(단, m은 대상 블록에 대한 비교 블록들의 수이고, n은 상기 비교 블록들 각각에 존재하는 픽셀들의 수)으로 나눈 값일 수 있다.
상기 가중치 함수의 출력은 상기 정규화된 값이 속하는 미리 설정된 구간에 상응하는 값으로 정하여질 수 있다.
실시예에 따라, 상기 정규화된 값이 제1 구간(즉, 0 이상이고 T 이하인 경우), 제2 구간(즉, T 이상이고, 1.5*T 이하인 경우), 제3 구간(즉, 1.5*T 이상이고, 1.75*T 이하인 경우), 제4 구간(즉, 1.75*T 이상인 경우) 각각에 해당하는 경우, 상기 가중치 함수의 출력값은 4, 2, 1, 0 각각에 해당할 수 있다.
도 10은 도 2의 가중 평균 처리부를 보다 구체적으로 나타낸 블록도이다.
도 2 및 도 10을 참조하면, 가중 평균 처리부(190)는 프리 프로세싱부(110)로부터 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀들(CC1~CCm)을 수신하고, 가중치 조정부(170)로부터 가중치들(w1~wm) 및 임펄스 노이즈 검출부(150)의 판단의 결과 정보(IN_res)를 수신할 수 있다.
가중 평균 처리부(190)는 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀들(CC1~CCm), 가중치들(w1~wm), 및 임펄스 노이즈 검출부(150)의 판단의 결과 정보(IN_res)를 이용하여, 중심 픽셀들(CC1~CCm)을 가중 평균한 결과값(P_PMNR)을 계산하고, 이를 출력할 수 있다.
이 경우, 가중 평균 처리부(190)는, 비교 블록들(CBlock1~CBlockm) 중 대상 블록(TBlock)과 동일한 비교 블록(CBlockj)의 중심 픽셀(CCj)을 처리함에 있어서, 임펄스 노이즈 검출부(150)의 판단의 결과 정보(IN_res)를 함께 이용할 수 있다.
도 10을 참조하면, 가중 평균 처리부(190)는 중심 픽셀들(CC1~CCm)을 가중 평균한 결과값(P_PMNR)의 계산을 위해, 곱셈기들(192, 194-1~194-m), 덧셈기(196), 및 나눗셈기(198)를 포함할 수 있다.
곱셈기들 각각(194~1~192-(j-1), 194-(j+1)~192-m; 단, j는 1 이상 m 이하의 정수)은 대상 블록(TBlock)과 동일한 비교 블록(CBlockj)을 제외한 비교 블록들(CBlock1~CBlock(j-1), CBlock(j+1)~CBlockm) 각각의 중심 픽셀들(CC1~CC(j-1), CC(j+1)~CCm)의 값과 이에 상응하는 가중치들(w1~w(j-1), w(j+1)~wm) 각각을 곱하고, 그 결과값을 덧셈기(196)로 출력할 수 있다.
곱셈기(192)는 대상 블록(TBlock)과 동일한 비교 블록(CBlockj)의 중심 픽셀(CCj)의 값과 임펄스 노이즈 검출부(150)의 판단의 결과(IN_res)를 곱하고, 그 결과값을 곱셈기(194-j)로 출력할 수 있다. 곱셈기(194-j)는 곱셈기(192)로부터 출력된 결과값과 가중치(wj)를 곱하고, 그 결과값을 덧셈기(196)로 출력할 수 있다.
덧셈기(196)는 곱셈기들(192, 194-1~194-m) 각각의 결과값을 더하여 나눗셈기(198)로 출력할 수 있다.
나눗셈기(198)는 덧셈기(196)의 결과값을 가중치들(w1~wm) 전부를 합산한 값으로 나눈 결과값(P_PMNR)을 출력할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법을 설명하기 위한 흐름도이다.
도 1, 도 2, 및 도 11을 참조하면, 본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은 이미지 센서(20)로부터 입력된 이미지 데이터(I)를 프리 프로세싱하는 단계(S100)를 포함할 수 있다.
S100 단계는 프리 프로세싱부(110)에 의하여 수행될 수 있다.
프리 프로세싱부(110)는 입력된 이미지 데이터(I)에 대해 기하학적 보정(geometrical correction) 및 광학적 보정(optical correction)을 수행할 수 있다.
본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은, S110 단계 후, 대상 블록(TBlock)과 비교 블록들(CBlock1~CBlockm)을 비교하여, 중심 픽셀 유사도(C_AD1~C_ADm) 및 주변 픽셀 유사도(N_SAD1~N_SADm)를 계산하는 단계(S120)를 포함할 수 있다.
S120 단계는 유사도 평가부(130)에 의하여 수행될 수 있다.
유사도 평가부(130)는 프리 프로세싱부(110)로부터 수신된 대상 블록(TBlock), 상기 대상 블록에 대한 비교 블록들(CBlock1~CBlockm), 및 이미지 메모리(30)로부터 수신된 패턴 정보(Pattern_Info)를 이용하여, 중심 픽셀 유사도(C_AD1~C_ADm) 및 주변 픽셀 유사도(N_SAD1~N_SADm)를 계산할 수 있다. 그리고, 계산된 결과들을 임펄스 노이즈 검출부(150)로 출력할 수 있다.
본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은, S120 단계 후, 이미지 내에 임펄스 노이즈가 존재하는지 여부를 판단하는 단계(S130a)를 포함할 수 있다.
S130a 단계는 임펄스 노이즈 검출부(150)에 의해 수행될 수 있다.
임펄스 노이즈 검출부(150)는 유사도 평가부(130)로부터 수신된 중심 픽셀 유사도(C_AD1~C_Adm), 주변 픽셀 유사도(N_SAD1~N_SADm), 및 이미지 메모리(30)로부터 수신된 블록 정보(B_info)를 이용하여, 대상 블록(TBlock)의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단할 수 있다. 그리고, 상기 판단의 결과 정보(IN_res)를 가중치 조정부(170)로 출력할 수 있다.
본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은, 130a 단계에 따른 판단 결과, 이미지 내에 임펄스 노이즈가 존재하는 것으로 판단된 경우(130a 단계에서 YES인 경우), 주변 픽셀 유사도(N_SAD1~N_SADm)를 이용하여 가중치(wi)를 조정하는 단계(140a)를 포함할 수 있다. 그리고, 130a 단계에 따른 판단 결과, 이미지 내에 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우(130a 단계에서 NO)인 경우, 중심 픽셀 유사도(C_AD1~C_ADm) 및 주변 픽셀 유사도(N_SAD1~N_SADm)를 합산한 결과값을 이용하여 가중치(wi)를 조정하는 단계(150a)를 포함할 수 있다.
140a 및 150a 단계는 가중치 조정부(170)에 의하여 수행될 수 있다.
가중치 조정부(170)는 임펄스 노이즈 검출부(150)로부터 수신된 중심 픽셀 유사도(C_AD1~C_ADm), 주변 픽셀 유사도(N_SAD1~N_SADm), 임펄스 노이즈 검출부(150)의 판단의 결과 정보(IN_res), 블록 정보(B_info), 및 가중치 정보(W_info)를 이용하여, 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀(CC1~CCm)의 값에 적용되는 가중치들(wi)을 조정할 수 있다. 그리고, 조정된 가중치들(wi)을 가중 평균 처리부(190)로 출력할 수 있다.
본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은, S140a 단계 또는 S150a 단계 후, 조정된 가중치를 이용하여 비교 블록(CBlock1~CBlockm)들 각각의 중심 픽셀(CC1~CCm)의 값들을 가중 평균하는 단계(S160)를 포함할 수 있다.
S160 단계는 가중 평균 처리부(190)에 의하여 수행될 수 있다.
가중 평균 처리부(190)는 프리 프로세싱부(110)로부터 수신된 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀들(CC1~CCm), 가중치 조정부(170)로부터 수신된 가중치들(w1~wm) 및 임펄스 노이즈 검출부(150)의 판단의 결과 정보(IN_res)를 이용하여, 가중 평균하고, 상기 가중 평균의 결과(P_PMNR)를 출력할 수 있다.
도 1 내지 도 11을 참조하여 상술한 바와 같이, 본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은, 대상 블록(TBlock)과 상기 대상 블록에 대한 비교 블록들(CBlock1~CBlockm)을 비교하는 경우에 각각의 중심 픽셀(예컨대, PC1, CCi)과 각각의 주변 픽셀들(예컨대, PN1, CC1~CCm)을 구분하여 처리할 수 있다. 그리고, 상기 처리의 결과 이미지 데이터(I) 내에 존재하는 다양한 특성을 가지는 노이즈들(예컨대, 임펄스 노이즈 및 가우시안 노이즈)을 함께 제거할 수 있다.
본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법은, 이미지 데이터(I) 내에 존재하는 다양한 특성을 가지는 노이즈들을 함께 제거함으로써, 노이즈 제거에 필요한 계산 복잡도를 감소시키고, 이에 따른 소모 전력을 감소시킬 수 있는 효과가 있다.
도 12는 본 발명의 다른 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 구성 블록도이다. 도 13은 도 12의 가중치 조정부를 보다 구체적으로 나타낸 블록도이다. 도 14는 도 12의 임펄스 노이즈 검출부를 보다 구체적으로 나타낸 블록도이다. 도 15는 도 12의 가중 평균 처리부를 보다 구체적으로 나타낸 블록도이다.
도 2 및 도 12에 도시된 이미지 처리 시스템(100, 100a)에서 동일한 부재번호를 갖는 각 구성요소들은 서로 동일한 기능을 수행한다. 따라서, 동일한 부재번호를 갖는 각 구성요소들에 대한 상세한 설명은 생략하며, 이하에서는 도 2 및 도 12에 도시된 이미지 처리 시스템(100, 100a)의 구성요소들 간의 차이점을 중점적으로 살펴본다.
도 12를 참조하면, 본 발명의 다른 실시예에 따른 이미지 처리 시스템(100a)은, 프리 프로세싱부(110), 유사도 평가부(130), 가중치 조정부(170a), 임펄스 노이즈 검출부(150a), 및 가중 평균 처리부(190a)를 포함할 수 있다.
가중치 조정부(170a)는 유사도 평가부(130)로부터 출력된 중심 픽셀 유사도(C_AD1~C_ADm), 주변 픽셀 유사도(N_SAD1~N_SADm), 가중치 정보(W_info), 및 블록 정보(B_info)에 기초하여, 중심 픽셀 가중치(w1_C~wm_C) 및 주변 픽셀 가중치(w1_N~wm_N)을 생성할 수 있다.
가중치 조정부(170a)에 관한 구체적인 구성은 도 13에 도시되어 있다.
도 13을 참조하면, 가중치 조정부(170a)는 도 2 및 도 8에 도시된 가중치 조정부(170)와 유사한 기능을 수행할 수 있다.
다만, 가중치 조정부(170a)는 도 2 및 도 8에 도시된 가중치 조정부(170)와 달리, 중심 픽셀 가중치(w1_C~wm_C) 및 주변 픽셀 가중치(w1_N~wm_N)를 구분하여 생성한다는 차이가 있다.
임펄스 노이즈 검출부(150a)는 가중치 조정부(170a)로부터 수신된 중심 픽셀 가중치(w1_C~wm_C), 주변 픽셀 가중치(w1_C~wm_C), 및 이미지 메모리(30)로부터 수신된 블록 정보(B_info)를 이용하여, 대상 블록(TBlock)의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단할 수 있다. 그리고, 상기 판단의 결과 정보(IN_res)를 가중 평균 처리부(190a)로 출력할 수 있다.
임펄스 노이즈 검출부(150a)에 관한 구체적인 구성은 도 14에 도시되어 있다.
도 14를 참조하면, 임펄스 노이즈 검출부(150a)는 도 2 및 도 7에 도시된 임펄스 노이즈 검출부(150)와 유사한 기능을 수행할 수 있다.
다만, 임펄스 노이즈 검출부(150a)는 도 2 및 도 7에 도시된 임펄스 노이즈 검출부(150)와는 달리, 가중치 조정부(170a)로부터 수신된 중심 픽셀 가중치(w1_C~wm_C), 주변 픽셀 가중치(w1_C~wm_C)를 이용하여, 대상 블록(TBlock)의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단한다는 차이가 있다.
가중 평균 처리부(190a)는 임펄스 노이즈 검출부(150a)로부터 수신된 중심 픽셀 가중치(w1_C~wm_C), 주변 픽셀 가중치(w1_C~wm_C), 블록 정보(B_info), 및 비교 블록들(CBlcok1~CBlockm) 각각의 중심 픽셀들(CC1~CCm)의 값을 이용하여, 가중 평균하고, 상기 가중 평균의 결과(P_PMNR)를 출력할 수 있다.
가중 평균 처리부(190a)에 관한 구체적인 구성은 도 15에 도시되어 있다.
도 15를 참조하면, 가중 평균 처리부(190a)는 도 2 및 도 10에 도시된 가중 평균 처리부(190)와 유사한 기능을 수행할 수 있다.
다만, 가중 평균 처리부(190a)는 도 2 및 도 10에 도시된 가중 평균 처리부(190)와는 달리, 임펄스 노이즈 검출부(150a)로부터 수신된 중심 픽셀 가중치(w1_C~wm_C), 주변 픽셀 가중치(w1_N~wm_N)를 이용하여, 가중 평균의 결과(P_PMNR)를 출력한다는 차이가 있다.
도 16은 본 발명의 다른 실시예에 따른 이미지 노이즈 제거 방법을 설명하기 위한 흐름도이다.
도 11 및 도 16에 도시된 이미지 노이즈 제거 방법에서 동일한 부재번호를 갖는 각 단계들은 서로 동일한 기능을 수행한다. 따라서 동일한 부재번호를 갖는 각 단계들에 대한 상세한 설명은 생략하며, 이하에서는 도 11 및 도 16에 도시된 이미지 노이즈 제거 방법 간의 차이점을 중점적으로 살펴본다.
도 1, 도 12, 및 도 16을 참조하면, 본 발명의 다른 실시예에 따른 이미지 노이즈 제거 방법은, 도 11에 도시된 본 발명의 일 실시예에 따른 이미지 노이즈 제거 방법과는 달리, S120 단계 후, 중심 픽셀 가중치(w1_C~wm_C) 및 주변 픽셀 가중치(w1_C~wm_C)를 계산하는 단계(S122)를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 이미지 노이즈 제거 방법은, 도 11에 도시된 S130a, S140a, 및 S150a 단계에 상응하는 S130b, 140b, 및 S150b 단계를 포함할 수 있다.
도 16에 도시된 S130b, 140b, 및 S150b 단계들은, 도 11에 도시된 S130a, S140a, 및 S150a 단계들이 중심 픽셀 유사도(C_AD1~C_ADm) 및 주변 픽셀 유사도(N_SAD1~N_SADm)에 기초하여 수행되는 것과는 달리, 중심 픽셀 가중치(w1_C~wm_C) 및 주변 픽셀 가중치(w1_N~wm_N)에 기초하여 수행된다는 차이가 있다.
도 17은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 구성 블록도이다.
도 2 및 도 17에 도시된 이미지 처리 시스템(100, 100b)에서 동일한 부재번호를 갖는 각 구성요소들은 서로 동일한 기능을 수행한다. 따라서, 동일한 부재번호를 갖는 각 구성요소들에 대한 상세한 설명은 생략하며, 이하에서는 도 2 및 도 17에 도시된 이미지 처리 시스템(100, 100b)의 각 구성요소들 간의 차이점을 중점적으로 살펴본다.
도 17을 참조하면, 본 발명의 다른 실시예에 따른 이미지 처리 시스템(100a)은, 프리 프로세싱부(110), 유사도 평가부(130b), 임펄스 노이즈 검출부(150b), 가중치 조정부(170b), 및 가중치 조정부(190)를 포함할 수 있다.
유사도 평가부(130b)는 프리 프로세싱부(110)로부터 수신된 대상 블록(TBlock)과 상기 대상 블록에 대한 비교 블록들(CBlock1~CBlockm)을 비교하여, 픽셀 유사도(C_ADi, dN_SADi; 단, i는 1 이상 m 이하의 정수)를 계산하고, 이를 임펄스 노이즈 검출부(150b)로 출력할 수 있다.
유사도 평가부(130b)는 도 2 및 도 4에 도시된 유사도 평가부(130)와 유사한 기능을 수행할 수 있다.
다만, 유사도 평가부(130b)는 도 2 및 도 4에 도시된 유사도 평가부(130)와 달리, 주변 픽셀 유사도(dN_SADi)를 계산하기 위해 이미지 메모리(30)로부터 수신된 방향성 패턴 기술자(directional PD(dPD)를 이용한다는 차이가 있다.
상기 방향성 패턴 기술자(dPD)에 관한 구체적인 설명을 위해 도 18을 참조하기로 한다.
도 18은 본 발명의 또 다른 실시예에 따른 방향성 패턴 기술자를 설명하기 위한 도면이다.
상기 방향성 패턴 기술자(dPD)는 복수의 방향별 패턴 기술자(예컨대, PD_0°, PD_45°, PD_90°, 및 PD_135°)를 포함할 수 있다.
각각의 방향별 패턴 기술자는 대상 블록(TBlock) 및 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀들(PC1, CC1~CCm)의 가로 방향, 세로 방향, 및 대각선 방향에 위치하는 주변 픽셀들의 위치 정보를 포함할 수 있다.
나아가, 도 18에 도시된 방향성 패턴 기술자(dPD)는 예시적인 것으로서, 본 발명의 범위는 이에 한정되지 않는다. 실시예에 따라, 상기 방향성 패턴 기술자(dPD)의 방향의 수는 다양하게 변경될 수 있고, 상기 방향의 수의 변경에 따라 방향별 패턴 기술자의 수 또한 함께 변경될 수 있다.
임펄스 노이즈 검출부(150b)는 유사도 평가부(130b)로부터 수신된 픽셀 유사도(C_ADi, dN_SADi) 및 이미지 메모리(30)로부터 수신된 블록 정보(B_info)를 이용하여, 대상 블록(TBlock)의 중심 픽셀(PC1)에 임펄스 노이즈가 존재하는지 여부를 판단할 수 있다. 그리고, 상기 판단의 결과 정보(IN_res)를 가중치 조정부(170b)로 출력할 수 있다.
임펄스 노이즈 검출부(150b)는 도 2 및 도 7에 도시된 임펄스 노이즈 검출부(150)와 유사한 기능을 수행할 수 있다.
다만, 임펄스 노이즈 검출부(150b)는 도 2 및 도 7에 도시된 임펄스 노이즈 검출부(150)와 달리, 주변 픽셀 유사도(N_SADi)가 아닌 방향성 주변 픽셀 유사도(dN_SADi)를 이용한다는 차이가 있다.
가중치 조정부(170b)는 임펄스 노이즈 검출부(150b)로부터 수신된 픽셀 유사도(C_AD1~C_ADm, dN_SAD1~dN_SADm), 임펄스 노이즈 검출부(150b)가 수행하는 판단의 결과 정보(IN_res), 블록 정보(B_info), 및 가중치 정보(W_info)를 이용하여, 비교 블록들(CBlock1~CBlockm) 각각의 중심 픽셀의 값에 적용되는 가중치들(wi)을 조정할 수 있다. 그리고, 조정된 가중치들(wi)을 가중 평균 처리부(190)로 출력할 수 있다.
가중치 조정부(170b)는 도 2 및 도 8에 도시된 가중치 조정부(170)와 유사한 기능을 수행할 수 있다.
다만, 가중치 조정부(170b)는 도 2 및 도 8에 도시된 가중치 조정부(170)와 달리, 주변 픽셀 유사도(N_SADi)가 아닌 방향성 주변 픽셀 유사도(dN_SADi)를 이용한다는 차이가 있다.도 19는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 19를 참조하면, 이미지 처리 시스템(image processing system; 1000)은 이미지 센서(image sensor, 1300), 디지털 이미지 프로세서(digital image processor; DSP, 1200), 디스플레이 유닛(display unit, 1400) 및 렌즈(1550)를 포함할 수 있다.
이미지 센서(1300)는 렌즈(1550)를 통해 입사되는 입사광의 세기에 대응하는 픽셀데이터(PI)를 생성할 수 있다.
이미지 센서(1300)는 픽셀 어레이(pixel array, 1310), 리드 아웃 블록(readout block, 1320), 및 컨트롤 유닛(control unit, 1330)을 포함할 수 있다.
픽셀 어레이(1310)는 각각이 대상물(1650)의 빛이 렌즈(1550)를 통해 입사되는 입사광에 따라 생성되는 광전하를 축적하여 상기 광전하에 대응하는 전기적 신호를 생성하는 복수의 픽셀들을 포함할 수 있다. 상기 복수의 픽셀들은 a(a는 1이상의 정수)개의 로우들(rows)과 b(b는 1이상의 정수)개의 컬럼들(columns)을 가진 매트릭스(matrix) 형태로 배열될 수 있다.
상기 복수의 픽셀들 각각은 복수의 트랜지스터들 및 복수의 광전 변환 소자들을 포함한다. 예컨대 상기 광전 변환 소자는 포토 다이오드(photo diode) 또는 핀드 포토 다이오드(pinned photo diode)이다. 또한, 픽셀 어레이(1310)는 상기 광전 변환 소자들을 이용하여 빛을 감지하고, 이를 전기적 신호로 변환하여 전기적 신호들을 생성한다. 상기 복수의 픽셀들 각각은 영상을 캡쳐(capture)한 신호를 생성한다는 의미에서 영상 픽셀(image pixel)로 불릴 수 있다.
리드아웃 블록(1320)은 복수의 픽셀들 각각이 생성하는 전기적 신호의 노이즈(예컨대, 리셋 노이즈(reset noise))를 제거한 뒤, 상기 전기적 신호를 아날로그-디지털 변환(analog-digital converting)할 수 있다. 리드아웃 블록(1320)은 상기 전기적 신호가 아날로그-디지털 변환된 디지털 형태의 픽셀데이터(PI)를 임시 저장한 뒤 증폭하여 출력할 수 있다. 리드아웃 블록(1320)은 상기 노이즈를 제거하고 아날로그-디지털 변환 동작을 수행하는 ADC(Analog Digital Converter, 미도시), 픽셀데이터(PI)를 임시 저장하는 메모리(예컨대, SRAM; 미도시), 및 임시 저장된 픽셀데이터(PI)를 증폭하여 출력하는 버퍼(buffer, 미도시)를 포함할 수 있다.
컨트롤 유닛(1330)은 픽셀 어레이(1310)와 리드 아웃 블록(1320)의 동작을 제어할 수 있는 다수의 제어 신호들을 생성하고, 상기 다수의 제어 신호들을 공급할 수 있다.
컨트롤 유닛(1330)은 로우 드라이버(row driver, 1340), 컬럼 드라이버(column driver, 1350), 타이밍 제네레이터(timing generator, 1360) 및 제어 레지스터 블록(control register block, 1370)을 포함할 수 있다.
로우 드라이버(1340)는 픽셀 어레이(1310)를 로우(row) 단위로 구동한다. 즉, 어느 하나의 동일한 로우에 속한 픽셀들은 동일한 제어 신호를 공급받을 수 있다.
즉, 로우 드라이버(1340)는 타이밍 제네레이터(1360)로부터 출력되는 제어 신호를 디코딩하여 픽셀 어레이(1310)에 제어 신호들을 공급할 수 있다.
컬럼 드라이버(1350)는 타이밍 제네레이터(1360)의 제어에 따라 다수의 제어신호들을 생성하여 리드아웃 블록(1320)의 동작을 제어할 수 있다.
타이밍 제네레이터(1360)는 로우 드라이버(1340) 및 컬럼 드라이버(1350)에 제어 신호를 인가하여 로우 드라이버(1340) 및 컬럼 드라이버(1350)의 동작 또는 타이밍을 제어할 수 있다. 타이밍 제네레이터(1360)는 외부(예컨대, 호스트)로부터 수신하는 제어 신호 또는 클럭 신호를 이용하여 로우 드라이버(1340) 및 컬럼 드라이버(1350)에 공급할 제어 신호 또는 클럭 신호를 생성할 수 있다.
이때, 제어 레지스터 블록(1370)은 카메라 컨트롤 유닛(1210)의 제어에 따라 동작하며, 제어 신호 또는 클럭 신호를 저장하거나 버퍼링(buffering)할 수 있다. 또한, 제어 레지스터 블록(1370)은 이미지 센서(1300)의 각 구성들(1340, 1350, 1360)의 동작을 제어할 수 있다.
픽셀데이터(PI)는 픽셀 어레이(1310)의 각 픽셀에 대응하는 디지털 값이 순차적으로 나열된 스트림(stream) 형태의 신호일 수 있다. 예컨대, 픽셀 어레이(1310)가 10개의 로우와 10개의 컬럼의 매트릭스 형태로 배열된 픽셀들을 포함할 경우, 픽셀데이터(PI)는 첫번째 로우와 첫번째 컬럼에 속하는 픽셀로부터 출력된 전기적 신호가 디지털 형태로 변환된 디지털 값부터 열번째 로우와 열번째 컬럼에 속하는 픽셀로부터 출력된 전기적 신호가 디지털 형태로 변환된 디지털 값까지 총 100개의 디지털 값이 순차적으로 나열된 스트림 형태의 신호이다.
DSP(1200)는 이미지 센서(1300)에 의해 센싱되어 출력된 픽셀들을 처리하여 이미지 데이터를 생성하고, 상기 이미지 데이터를 디스플레이 유닛(1400)에 출력할 수 있다.
DSP(1200)는 카메라 컨트롤 유닛(1210), 이미지 신호 프로세서(image signal processor; ISP, 1240) 및 PC I/F(1280)를 포함할 수 있다.
카메라 컨트롤 유닛(1210)은 제어 레지스터 블록(1370)을 제어한다. 이때, 카메라 컨트롤 유닛(1210)은 I2C(inter-integrated circuit)를 이용하여 제어 레지스터 블록(1370)을 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
ISP(1240)는 이미지 센서(1300)로부터 출력된 픽셀데이터(PI)를 사람이 보기 좋도록 가공 및 처리하여, 가공 및 처리된 이미지 데이터를 PC I/F(1280)를 통해 디스플레이 유닛(1400)으로 출력한다.
여기서, ISP(1240)는 도 1에 도시된 ISP(200)일 수 있고, 도 2, 도 12, 및 도 17을 참조하여 상술한, 본 발명의 일 실시예에 따른 패턴 매칭 기법을 이용한 노이즈 제거 장치(100, 100a, 100b)를 더 포함할 수 있다.
ISP(1240)는 이미지 센서(1300)와 별개의 칩으로 구현될 수 있다. 다른 실시 예에 따라, ISP(1240)와 이미지 센서(1300)는 하나의 칩으로 구현될 수 있다.
디스플레이 유닛(1400)은 DSP(1200)로부터 출력된 이미지 데이터를 이용하여, 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 유닛(1400)은 컴퓨터, 휴대폰, 스마트폰 및 기타 영상 출력 단말로 구현될 수 있다.
도 20은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 20을 참조하면, 이미지 처리 시스템(2000)은 모바일 단말기(mobile terminal), 예컨대 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 모바일 인터넷 장치(mobile internet device(MID)), 또는 e-북(e-book) 등으로 구현될 수 있다.
이미지 처리 시스템(2000)은 애플리케이션 프로세서(application processor, 2000), 이미지 센서(image sensor, 2065), 디스플레이 장치(display device, 2075), 및 메모리(memory, 2085)를 포함할 수 있다.
애플리케이션 프로세서(2000)는 CPU(central processing unit, 2010), ROM(read only memory, 2020), RAM(random access memory, 2030), ISP(image signal processor, 2040), 코덱(codec, 2050), 카메라 인터페이스(camera interface, 2060), 디스플레이 인터페이스(display interface, 2070), 및 메모리 인터페이스(memory interface; 2080)를 포함할 수 있다. 애플리케이션 프로세서(2000)는 시스템 온 칩(system on chip(SoC))으로 구현될 수 있다.
애플리케이션 프로세서(2000)의 각 구성(2010, 2020, 2030, 2040, 2050, 2060, 2070, 및 2080)은 버스(bus; 2005)를 통하여 서로 데이터를 주고 받을 수 있다.
CPU(2010)는 애플리케이션 프로세서(2000)의 전반적인 동작을 제어할 수 있다. 예컨대, CPU(2010)는 ROM(2020) 및/또는 RAM(2030)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행시킬 수 있다.
실시 예에 따라, CPU(2010)는 2개 이상의 독립적인 프로세서들(또는 코어들)을 갖는 하나의 컴퓨팅 컴포넌트(computing component), 즉 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다.
ROM(2020)은 지속적으로 사용되는 프로그램들 및/또는 데이터를 저장할 수 있다. 실시 예에 따라, ROM(2020)은 EPROM(erasable programmable ROM) 또는 EEPROM(electrically erasable programmable ROM) 등으로 구현될 수 있다.
RAM(2030)은 프로그램들, 데이터, 및/또는 명령들(instructions)을 일시적으로 저장할 수 있다. 실시 예에 따라, RAM(2030)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다.
RAM(2030)은 인터페이스들(2060, 2070, 2080)을 통해 입출력되거나, 코덱(2050) 또는 CPU(2010)가 생성하는 데이터를 일시적으로 저장할 수 있다.
ISP(2040)는 RAM(2030), 카메라 인터페이스(2060), 또는 메모리 인터페이스(2080)로부터 입력받은 데이터에 대해 이미지 처리 및 가공을 수행하고, 처리된 이미지 데이터를 RAM(2030), 디스플레이 인터페이스(2070), 또는 메모리 인터페이스(2080)로 출력할 수 있다. 실시예에 따라, ISP(2040)는 소프트웨어(software), 하드웨어(hardware), 또는 소프트웨어와 하드웨어의 결합 형태로 구성될 수 있다.
여기서, ISP(2040)는 도 1에 도시된 ISP(200)일 수 있고, 도 2, 도 12, 및 도 17을 참조하여 상술한, 본 발명의 일 실시예에 따른 패턴 매칭 기법을 이용한 노이즈 제거 장치(100, 100a, 100b)를 더 포함할 수 있다.
코덱(2050)은 이미지 센서(2065)로부터 입력되는 데이터 또는 디스플레이 장치(2075)로 출력되는 데이터를 인코딩(encoding) 또는 디코딩(decoding)할 수 있다. 따라서, 코덱(2050)은 인코더(encoder, 미도시)와 디코더(decoder, 미도시)를 포함할 수 있다.
카메라 인터페이스(2060)는 애플리케이션 프로세서(2000)의 외부에 있는 이미지 센서(2065)로부터 입력되는 데이터(예컨대, 픽셀데이터)를 인터페이싱할 수 있다.
디스플레이 인터페이스(2070)는 애플리케이션 프로세서(2000)의 외부에 있는 디스플레이 장치(2075)로 출력되는 데이터(예컨대, 영상 데이터)를 인터페이싱할 수 있다.
디스플레이 장치(2075)는 이미지 또는 영상에 대한 데이터를 LCD(Liquid-crystal display), AMOLED(active matrix organic light emitting diodes) 등의 디스플레이를 통해 출력할 수 있다.
메모리 인터페이스(2080)는 애플리케이션 프로세서(2000)의 외부에 있는 메모리(2085)로부터 입력되는 데이터 또는 메모리(2085)로 출력되는 데이터를 인터페이싱할 수 있다.
실시예에 따라, 메모리(2085)는 비휘발성 메모리(non-volatile memory), 예컨대 플래시 메모리(flash memory) 또는 저항성 메모리(resistive memory) 등으로 구현될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1: 이미지 처리 시스템
10: 애플리케이션 프로세서
20: 이미지 센서
30: 이미지 메모리
40: 디스플레이
100: 패턴 매칭 기법을 이용한 노이즈 제거 장치
200: 이미지 처리 장치
300: 중앙 처리 장치
400: 메모리 컨트롤러
500: 디스플레이 컨트롤러
600: 디스플레이 인터페이스

Claims (10)

  1. 이미지 센서로부터 입력된 이미지 데이터의 노이즈 제거 방법에 있어서,
    상기 이미지 데이터 내의 대상 블록(target block)과 상기 대상 블록 주변의 비교 블록(comparison block)들을 비교하여, 상기 대상 블록과 상기 비교 블록들 간의 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계;
    상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단하는 단계;
    상기 판단의 결과에 기초하여, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계; 및
    상기 비교 블록들 각각의 중심 픽셀의 값들을 가중 평균하여, 상기 대상 블록의 중심 픽셀의 값을 추정하는 단계를 포함하는, 이미지 데이터의 노이즈 제거 방법.
  2. 제1항에 있어서, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도는,
    상기 대상 블록의 상기 비교 블록들 각각에 대한 패턴 매칭의 결과를 이용하여 계산되는, 이미지 데이터의 노이즈 제거 방법.
  3. 제1항에 있어서, 상기 가중치는,
    상기 판단의 결과, 상기 대상 블록의 중심 픽셀에 상기 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도를 이용하여 조정되고,
    상기 판단의 결과, 상기 대상 블록의 중심 픽셀에 상기 임펄스 노이즈가 존재하는 것으로 판단된 경우, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도 중 상기 주변 픽셀 유사도만을 이용하여 조정되는, 이미지 데이터의 노이즈 제거 방법.
  4. 제1항에 있어서, 상기 비교 블록들은,
    상기 대상 블록을 중심으로 하는 탐색 영역에 기초하여 설정되는, 이미지 데이터의 노이즈 제거 방법.
  5. 제2항에 있어서, 상기 주변 픽셀 유사도는 패턴 기술자를 이용하여 계산되고,
    상기 패턴 기술자는 상기 대상 블록 및 상기 비교 블록들 각각이 포함하는 픽셀들의 위치 정보를 포함하는, 이미지 데이터의 노이즈 제거 방법.
  6. 제1항에 있어서, 이미지 데이터의 노이즈 제거 방법은,
    상기 비교 블록들 각각에 대한 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계 전에, 이미지 센서로부터 입력된 이미지 데이터를 전처리하는 단계를 더 포함하는, 이미지 데이터의 노이즈 제거 방법.
  7. 제1항에 있어서, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부의 판단은,
    상기 중심 픽셀 유사도와 상기 주변 픽셀 유사도의 차이가 미리 설정된 값 이상인지 여부에 기초하여 수행되는, 이미지 데이터의 노이즈 제거 방법.
  8. 이미지 센서로부터 입력된 이미지 데이터의 노이즈를 제거하는 이미지 처리 시스템의 동작 방법에 있어서,
    패턴 기술자를 수신하는 단계;
    상기 패턴 기술자를 이용하여, 상기 이미지 데이터 내의 대상 블록(target block)과 상기 대상 블록 주변의 비교 블록(comparison block)들을 비교하고, 상기 대상 블록과 상기 비교 블록들 간의 중심 픽셀 유사도 및 주변 픽셀 유사도를 계산하는 단계;
    상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는 것으로 판단된 경우, 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도 중 상기 주변 픽셀 유사도만을 이용하여, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계; 및
    상기 비교 블록들 각각의 중심 픽셀의 값들을 가중 평균하여, 상기 대상 블록의 중심 픽셀의 값을 추정하는 단계를 포함하는, 이미지 처리 시스템의 노이즈 제거 방법.
  9. 제8항에 있어서, 상기 비교 블록들 각각의 중심 픽셀의 값에 적용되는 가중치를 조정하는 단계는,
    상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도에 기초하여, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부를 판단하는 단계를 포함하고,
    상기 판단의 결과, 상기 대상 블록의 중심 픽셀에 상기 임펄스 노이즈가 존재하지 않는 것으로 판단된 경우, 상기 가중치는 상기 중심 픽셀 유사도 및 상기 주변 픽셀 유사도를 이용하여 조정되는, 이미지 처리 시스템의 노이즈 제거 방법.
  10. 제8항에 있어서, 상기 대상 블록의 중심 픽셀에 임펄스 노이즈가 존재하는지 여부의 판단은,
    상기 중심 픽셀 유사도와 상기 주변 픽셀 유사도의 차이가 미리 설정된 값 이상인지 여부에 기초하여 수행되는, 이미지 처리 시스템의 노이즈 제거 방법.
KR1020160030966A 2016-03-15 2016-03-15 이미지 데이터의 노이즈 제거 방법 KR20170107252A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160030966A KR20170107252A (ko) 2016-03-15 2016-03-15 이미지 데이터의 노이즈 제거 방법
US15/435,374 US10210600B2 (en) 2016-03-15 2017-02-17 Method of removing noise from image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160030966A KR20170107252A (ko) 2016-03-15 2016-03-15 이미지 데이터의 노이즈 제거 방법

Publications (1)

Publication Number Publication Date
KR20170107252A true KR20170107252A (ko) 2017-09-25

Family

ID=59847526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160030966A KR20170107252A (ko) 2016-03-15 2016-03-15 이미지 데이터의 노이즈 제거 방법

Country Status (2)

Country Link
US (1) US10210600B2 (ko)
KR (1) KR20170107252A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6870993B2 (ja) * 2017-01-20 2021-05-12 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置
US10482582B2 (en) * 2017-02-24 2019-11-19 Sunnybrook Research Institute Systems and methods for noise reduction in imaging
KR20220148423A (ko) 2021-04-29 2022-11-07 삼성전자주식회사 이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6737625B2 (en) 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
US7034873B2 (en) 2001-06-29 2006-04-25 Vanguard International Semiconductor Corporation Pixel defect correction in a CMOS active pixel image sensor
US7283164B2 (en) 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
KR100800888B1 (ko) 2005-12-08 2008-02-04 연세대학교 산학협력단 패턴 정보를 이용한 영상잡음 제거방법
US8339516B2 (en) * 2007-03-31 2012-12-25 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
KR100872253B1 (ko) * 2007-08-23 2008-12-05 삼성전기주식회사 이미지 센서에 의해 생성된 이미지의 노이즈 제거 방법
KR101327789B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
US8208044B2 (en) 2008-09-18 2012-06-26 Qualcomm Incorporated Bad pixel cluster detection
US20100141810A1 (en) 2008-12-04 2010-06-10 Proimage Technology Bad Pixel Detection and Correction
TWI390466B (zh) * 2009-09-21 2013-03-21 Pixart Imaging Inc 影像雜訊濾除方法
KR101674078B1 (ko) * 2009-12-16 2016-11-08 삼성전자 주식회사 블록 기반의 영상 잡음 제거 방법 및 장치
CN102959582B (zh) 2010-07-06 2015-11-25 三菱电机株式会社 图像处理装置
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
JP2012142827A (ja) 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
US20120200754A1 (en) * 2011-02-09 2012-08-09 Samsung Electronics Co., Ltd. Image Noise Reducing Systems And Methods Thereof
US8417047B2 (en) 2011-03-01 2013-04-09 Microsoft Corporation Noise suppression in low light images
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US9123103B2 (en) 2013-12-26 2015-09-01 Mediatek Inc. Method and apparatus for image denoising with three-dimensional block-matching
KR102182695B1 (ko) * 2014-04-01 2020-11-24 한화테크윈 주식회사 영상 잡음 제거 장치 및 방법
US9679363B1 (en) * 2014-12-15 2017-06-13 Marvel International Ltd. System and method for reducing image noise

Also Published As

Publication number Publication date
US20170270643A1 (en) 2017-09-21
US10210600B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
KR102247564B1 (ko) 화소 처리 장치, 이를 포함하는 이미지 신호 처리 장치, 및 이를 포함하는 이미지 처리 시스템
US20190043178A1 (en) Low-light imaging using trained convolutional neural networks
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10992878B2 (en) Method of obtaining wide dynamic range image and image pickup device performing the same
US9350920B2 (en) Image generating apparatus and method
US20150109515A1 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
KR20170107252A (ko) 이미지 데이터의 노이즈 제거 방법
KR102406215B1 (ko) 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
US20120200754A1 (en) Image Noise Reducing Systems And Methods Thereof
KR20210113464A (ko) 이미징 장치 및 이를 포함하는 전자 기기
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
US20130016244A1 (en) Image processing aparatus and method, learning apparatus and method, program and recording medium
US9762827B2 (en) Method of removing a bad pixel from a pixel image generated by an image sensor, an image sensor using the method, and an application processor using the method
US11546565B2 (en) Image sensing device and operating method thereof
US10616451B2 (en) Image processing devices and methods for operating the same
KR20210155695A (ko) 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법
US11962923B2 (en) Image processing system and method of operating the same
US20240155245A1 (en) Ambient light sensing using image sensor
KR101989868B1 (ko) 전자 장치 및 제어 방법
KR20230041195A (ko) 전자 장치 및 그 동작 방법
KR20240086519A (ko) 이미지 센서 및 이미지 센서의 동작 방법
KR20230032359A (ko) 전자 장치 및 그 동작 방법
CN118175442A (zh) 图像传感器和图像传感器的操作方法
KR20070081589A (ko) 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right