KR20070078463A - 이미지 센서 노이즈 저감 장치 및 방법 - Google Patents

이미지 센서 노이즈 저감 장치 및 방법 Download PDF

Info

Publication number
KR20070078463A
KR20070078463A KR1020060008693A KR20060008693A KR20070078463A KR 20070078463 A KR20070078463 A KR 20070078463A KR 1020060008693 A KR1020060008693 A KR 1020060008693A KR 20060008693 A KR20060008693 A KR 20060008693A KR 20070078463 A KR20070078463 A KR 20070078463A
Authority
KR
South Korea
Prior art keywords
kernel
value
noise level
image frame
pixel
Prior art date
Application number
KR1020060008693A
Other languages
English (en)
Other versions
KR101225056B1 (ko
Inventor
유영진
이성덕
옥현욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060008693A priority Critical patent/KR101225056B1/ko
Priority to US11/640,259 priority patent/US7813583B2/en
Publication of KR20070078463A publication Critical patent/KR20070078463A/ko
Application granted granted Critical
Publication of KR101225056B1 publication Critical patent/KR101225056B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 이미지 센서 노이즈 저감 장치 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 장치는, 소정 색 공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하는 노이즈 레벨 설정부; 상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하는 커널 생성부; 및 상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)을 수행하고 상기 컨벌루션 수행 결과를 규준화(Normalization)하는 필터 적용부를 포함한다.
이미지 센서에서 발생하는 노이즈를 적응적으로 저감시켜 출력 영상의 화질을 개선시킬 수 있는 효과가 있다.
이미지 센서, 노이즈 레벨, 커널

Description

이미지 센서 노이즈 저감 장치 및 방법{Apparatus and method for reducing noise from image sensor}
도 1은 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 장치의 전체 구성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따라 휘도 채널에 대해 노이즈 레벨의 설정을 예시한 도면이다.
도 3은 본 발명의 실시예에 따라 휘도 채널에 대한 위치 기반 가중치 함수에 의해 제어되는 커널을 예시한 도면이다.
도 4는 본 발명의 실시예에 따라 색차 채널에 대한 서브 샘플링에 사용되는 커널을 예시한 도면이다.
도 5는 본 발명의 실시예에 따라 임펄스 픽셀을 제거하는 과정을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 방법의 전체 흐름을 나타내는 도면이다.
도 7은 입력 영상과 본 발명의 실시예에 따른 출력 영상을 비교한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 색공간 변환부 120: 노이즈 레벨 설정부
122: 제 1 노이즈 레벨 설정부 123: 제 1 노이즈 레벨 추정부
124: 제 2 노이즈 레벨 설정부 130: 커널 생성부
132: 제 1 커널 생성부 134: 제 2 커널 생성부
140: 임펄스 제거부 142: 제 1 임펄스 제거부
144: 제 2 임펄스 제거부 150: 필터 적용부
152: 제 1 필터 적용부 154: 제 2 필터 적용부
160: 역 색공간 변환부
본 발명은 이미지 센서 노이즈 저감 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하여 컨벌루션과 규준화를 통한 필터링을 수행하는, 이미지 센서 노이즈 저감 장치 및 방법에 대한 것이다.
최근 들어, 디지털 카메라 기술의 비약적인 발달과 더불어서 보다 높은 해상도와 다양한 기능을 지원하는 디지털 카메라들이 상품화되고 있는 추세이다. 이러한 디지털 카메라는 휴대폰, 노트북 컴퓨터, PDA(Personal Digital Assistant) 등 다른 휴대용 디지털 디바이스에 탑재되어 사용되는 경우도 많다. 이러한 디지털 카메라에는 기본적으로 피사체의 빛을 포획하여 전기적 신호로 변환하여 주는 CCD(charge coupled device), CMOS(complementary metal oxide semiconductor) 등 과 같은 이미지 센서(Iamage Sensor)가 기본적으로 구비되어 있다. 그런데, 현재의 기술로는 이러한 이미지 센서에 의하여 피사체를 촬상하는 경우에 발생되는 노이즈(Noise)를 원천적으로 봉쇄하는 것은 어렵다. 따라서, 대부분의 디지털 카메라들은 상기 발생된 노이즈를 제거하거나 보정하는 기능을 구비하고 있으며, 고화질의 이미지를 추구하는 현재의 추세를 고려할 때 이러한 기능의 중요성은 점점 높아지고 있다.
상기 잡음을 감소시키는 기술과 관련하여 현재 많은 연구 결과들이 발표되고 있다. 종래의 잡음 저감 기술로는 화상 신호를 저역 필터(Low Pass Filter)에 통과시키는 것에 의하여 고주파 성분을 억제하는 회로적인 기법이나, 중간값 필터 등 평활화 작용을 가지는 공간 필터를 화상에 적용시키는 연산적인 기법 등이 있다. 그러나, 이러한 기법들의 대부분은 다소간의 주관적 화질을 향상시키기 위하여 오리지널 이미지의 특징을 훼손하거나, 디지털 카메라라는 제한된 자원을 갖는 기기에는 부적합할 정도로 많은 연산량을 요하는 등의 문제가 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로서, 본 발명이 이루고자 하는 기술적 과제는, 노이즈의 특성과 촬영 정보에 기인하여 이미지 센서에서 발생되는 노이즈를 컨벌루션과 규준화를 수행하는 커널을 사용하여 적응적으로 저감시키는, 이미지 센서 노이즈 저감 장치 및 방법을 제공하고자 하는 것이다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 시스템 복잡도와 연산량이 적어 하드웨어 구현에 용이한, 이미지 센서 노이즈 저감 장치 및 방법을 제 공하고자 하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 장치는, 소정 색 공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하는 노이즈 레벨 설정부; 상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하는 커널 생성부; 및 상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)을 수행하고 상기 컨벌루션 수행 결과를 규준화(Normalization)하는 필터 적용부를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 방법은, (a) 소정 색 공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하는 단계; (b) 상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하는 단계; 및 (c) 상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)을 수행하고, 상기 컨벌루션 수행 결과를 규준화(Normalization)하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있 다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예들에 의하여 미리 정의된, 이미지 센서 노이즈 저감 장치 및 방법을 설명하기 위한 블럭도 또는 흐름도들을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 장치의 전체 구성을 나타내는 도면이다. 상기 도 1을 참조하면, 상기 노이즈 저감 장치는 색공간 변환부(110), 노이즈 레벨 설정부(120), 커널 생성부(130), 임펄스 제거부(140), 필터 적용부(150), 및 역 색공간 변환부(160)를 포함하여 구성될 수 있다. 여기서, 상기 이미지 센서는 CCD(charge coupled device), CMOS(complementary metal oxide semiconductor), 또는 기타 당해 분야에서 사용되는 이미지 센서들을 포함하는 개념이다.
색공간 변환부(110)는 RGB 색공간의 성분(R, G, B)을 가지고 있으며 노이즈를 포함하고 있는 입력 이미지가 입력되는 경우에, 상기 RGB 색 공간의 성분을 휘도-색차(Luma-Chroma) 색공간의 성분으로 변환하는 역할을 한다. 칼라 모델에는 장치 의존적인 모델과 장치 독립적인 모델로 구분되는데, 전자의 경우로는 가법의 색 공간 모델인 RGB(Red, Green, Blue) 모델과 감법의 색 공간 모델인 CMYK 칼라 모델이 존재하며, 후자의 경우로는, CIE L*a*b* 모델, CIE XYZ 모델, CIE LUV 모델 등이 있다. 그리고, 상기 휘도-색차 색공간을 나타내는 대표적인 모델로는, YCbCr, YUV, YIQ 등이 있다. 휘도와 색차는 서로 상이한 특징을 가지고 있기 때문에, 이와 같이 휘도-색차로 분해하게 되면 입력 이미지의 처리가 용이하다는 장점이 있다. RGB 모델로부터 다른 모델로 변환하는 관계식은 당업계에 충분히 알려져 있으므로 그 설명을 생략하기로 한다.
한편, 상기 입력 이미지가 RGB 색공간의 성분이 아닌 휘도-색차(Luma-Chroma) 색공간의 성분으로 입력될 경우에는 색공간 변환부(110)는 생략될 수 있다.
색공간 변환부(110)에 의해 휘도-색차(Luma-Chroma) 색공간의 성분으로 변환된 이미지 프레임에 포함된 노이즈의 레벨을 설정하기 위해, 노이즈 레벨 설정부(120)가 휘도-색차(Luma-Chroma) 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하게 된다. 이러한 노이즈 레벨은 휘도 성분과 색차 성분의 각각에 대해 구할 수 있으므로, 노이즈 레벨 설정부(120)는 제 1 노이즈 레벨 설정부(122) 및 제 2 노이즈 레벨 설정부(124)를 포함하여 구성될 수 있다. 그러므로, 제 1 노이즈 레벨 설정부(122)는 상기 프레임의 휘도(Luma) 채널에 대한 노이즈 레벨을 설정하게 되며, 제 2 노이즈 레벨 설정부(124)는 상기 프레임의 색차(Chroma) 채널에 대한 노이즈 레벨을 설정하게 된다.
제 1 노이즈 레벨 설정부(122)는 상기 입력된 이미지 프레임에 포함된 현재 처리하고자 하는 입력 픽셀의 휘도값의 범위에 따라 상기 노이즈 레벨의 크기를 다르게 설정할 수 있는데, 이러한 설정 방법이 도 2에 나타나 있다. 상기 도 2는 본 발명의 실시예에 따라 휘도 채널에 대해 노이즈 레벨의 설정을 예시한 도면이다. 상기 도 2에서 입력 픽셀의 휘도값(Ix)의 구간에 따라 상기 노이즈 레벨의 값을 달리하여 설정하고 있음을 알 수 있다. 상기 노이즈 레벨 S의 값은 상기 입력 픽셀과 주위 픽셀과의 차이값에 따라 변하는 차이값 기반 가중치 함수 f(Ip-Ix)의 값에 영향을 주게 되는데, 이는 휘도 채널에 대한 커널을 생성하는 부분에서 후술할 것이다.
한편, 상기 노이즈 레벨 S 의 값이 정해지지 않는 경우에는 상기 S 값을 설정하는 대신에 추정을 하여야 하는데, 제 1 노이즈 레벨 추정부(123)가 이러한 추정을 담당하게 된다. 즉, 제 1 노이즈 레벨 추정부(123)는 상기 이미지 프레임에 포함되는 소정 크기의 마스크(mask) 단위로 Trimmed SAD(Trimmed Sum of Absolute Difference; 이하 TSAD라고 함)를 계산한다. 상기 TSAD는 상기 마스크 내에서 가로 방향 간격 및 세로 방향 간격을 각각 등 간격으로 하여 관심 픽셀을 설정하고, 상기 설정된 관심 픽셀들 중 근접 픽셀간의 절대값들의 합을 구함으로써 계산된다. 만약, 가로 방향 간격 및 세로 방향 간격이 모두 1인 경우는 마스크 내의 모든 픽셀이 관심 픽셀이 될 것이다. 상기 가로 방향 간격 및 세로 방향 간격은 파라미터로 설정하여 두고 사용자 또는 제조자가 이를 변경할 수 있도록 함으로써, 기기의 성능에 적응적으로 부합할 수 있다. 예를 들어, 디지털 카메라와 같은 낮은 사양의 기기에서는 상기 간격들을 크게 설정하고, 컴퓨터와 같은 고사양의 기기에서는 상기 간격들을 작게 설정하는 것이다.
제 1 노이즈 레벨 추정부(123)는 상기 마스크 별로 계산된 TSAD를 소정의 문턱값(Tnoise)과 비교하여, 상기 문턱값 보다 큰 TSAD를 갖는 마스크 영역을 노이즈가 존재하는 영역으로 판정한다. 그리고, 상기 노이즈가 존재하는 것으로 판정된 마스크 영역들의 TSAD의 대표값, 즉 하나의 프레임에 대한 노이즈 레벨 추정치를 계산하게 된다. 상기 추정치는, 상기 노이즈가 존재하는 것으로 판정된 마스크 영역들의 TSAD의 평균, 이들의 중간값, 기타 다양한 대표값의 계산 방법을 이용함으로써 구할 수 있다.
한편, 제 1 노이즈 레벨 추정부(123)는 상기 휘도 성분에 대해서는 위와 같은 과정을 수행하지만, 색차 성분에 대해서는 이와 같은 과정을 반드시 거치지 않아도 좋다. 왜냐하면, 휘도 성분에 비하여 색차 성분은 그 디테일이 낮기 때문이다.
상기 노이즈 레벨이 휘도와 색차 채널 각각에 대해 설정된 후에는, 커널 생성부(130)가 상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하게 된다. 상기 커널의 생성은 노이즈 레벨의 설정과 마찬가지로, 휘도 성분과 색차 성분의 각각에 대해 생성할 수 있으므로, 커널 생성부(130)는 상기 이미지 프레임의 휘도 채널에 대한 커널을 생성하 는 제 1 커널 생성부(132)와 색차 채널에 대한 커널을 생성하는 제 2 커널 생성부(134)를 포함하여 구성될 수 있다.
그리고, 제 1 커널 생성부(132)와 제 2 커널 생성부(134)는 소정의 가중치 함수들에 의해 제어될 수 있는 커널을 생성하는데, 상기 가중치 함수는 현재 처리하고자 하는 입력 픽셀(Ix)과 주위 픽셀(Ip)과의 차이값(Ip-Ix)에 따라 변하는 차이값 기반 가중치 함수 f(Ip-Ix)와 상기 입력 픽셀의 위치에 따라 변하는 위치 기반 가중치 함수 s(p)의 곱으로 표현될 수 있다. 이 경우 상기 곱의 값은 0 이상 1 이하가 되며, 0 에 가까울수록 약한 가중치로 필터링을 하게 될 것이고, 1 에 가까울수록 강한 가중치로 필터링을 하게 될 것이다.
여기서, 상기 차이값 기반 가중치 함수 f(Ip-Ix)를 수식으로 표현하면, 다음과 같다.
Figure 112006006632030-PAT00001
상기 수학식 1에서, Ix는 처리하고자 하는 입력 픽셀의 값이며, 상기 Ip는 상기 입력 픽셀의 주위 픽셀의 값이며, 상기 λ는 촬영 환경 인자이며, 상기 S는 제 1 노이즈 레벨 설정부(122)에 의해 설정된 노이즈 레벨의 값이다. 그리고, 상기 촬영 환경 인자 λ는 AGC(Auto Gain Control) 값에 비례하도록, λ= AGC*w1 + c 로 표현할 수 있다. 또는, 촬영 환경 인자 λ를 상기 AGC 값뿐 아니라 노출값 Exposure 에도 비례하도록 λ= AGC*w1 + Exposure*w2 + c 로 표현할 수 있다. 상기 AGC는 자동 이득 제어(Auto Gain Control) 값을, 상기 Exposure는 노출값을 의미하는데, 상기 AGC 및 Exposure는 기기의 레지스터 값을 읽음으로써 간단히 알아낼 수 있다. 그리고, 상기 w1과 w2는 각각 AGC 및 Exposure에 대한 가중치이며, 상기 c는 상수값이다. w2에 비하여 w1이 상대적으로 큰 값으로 설정되어야 하는데, 이는 AGC가 Exposure에 비하여 노이즈 발생에 더 큰 영향을 미치기 때문이다.
상기 수학식 1에 표현된 차이값 기반 가중치 함수 f(Ip-Ix)는 일종의 가우시안(Gaussian) 분포를 가지게 됨을 알 수 있는바, 양 끝으로 갈수록 상기 가중치 함수의 크기가 작아지고 가운데로 갈수록 커지게 된다. 또한, 상기 입력 픽셀(Ix)과 주위 픽셀(Ip)과의 차이값 (Ip-Ix)이 작아질수록, 상기 λ와 S 값이 클수록 상기 가중치 함수의 크기가 1에 가까워 지므로 필터링시에 강한 가중치를 부여하여야 할 것이다.
여기서, 상기 가중치 함수는 가우시안(Gaussian) 분포를 가지도록 디자인되었으나, 반드시 이에 한정하지는 않으며 포아송(Poisson) 분포 등 다양한 형태의 분포를 가지는 함수로 디자인할 수도 있다.
한편, 제 1 커널 생성부(132)에 의해 생성되는 커널은 상기 차이값 기반 가중치 함수 f(Ip-Ix)뿐 아니라 상기 입력 픽셀의 위치에 따라 변하는 위치 기반 가중치 함수 s(p)에 의해서도 제어를 받게 되는데, 상기 s(p) 함수는 상기 입력 픽셀에 대해 bit-shift 작업을 수행하는 역할을 한다.
즉, s(p) 함수는 상기 입력 픽셀의 커널 내에서의 공간적 위치와 거리를 반영하고 있으며, 복잡한 연산을 감소시키기 위해 bit-shift 작업에 의해 필터링을 수행하게 되는데, 이는 도 3을 참조하여 설명한다. 상기 도 3은 휘도 채널에 대한 위치 기반 가중치 함수 s(p)에 의해 제어되는 커널을 예시한 도면이다. 예를 들어, 상기 AGC 값이 상기 w1 보다 작거나 같고 상기 노출값 Exposure 가 w2 보다 작거나 같은 경우에는 노이즈가 상대적으로 적게 포함되었다고 볼 수 있으므로 상기 도 3 상단의 5*5 크기의 커널을 생성하게 되며, 그 외의 경우, 즉, 상기 AGC 값이 상기 w1 보다 크거나 상기 노출값 Exposure 가 w2 보다 큰 경우에는 노이즈가 상대적으로 많이 포함되었다고 볼 수 있으므로 커널의 크기가 더 커진 하단의 5*9 크기의 커널을 생성하게 된다.
그리고, 상기 도 3에서의 각 수치는 필터링시의 bit-shift 과정을 표현하는데, 예를 들어, 4 자리로 구성된 이진수 1000(2)에서 23 의 자리수 1을 오른쪽으로 한칸 shifting 하게 되면 0100(2)이 되어 크기가 반으로 된 결과가 되므로 상기 도 3의 커널에서의 0.5로 표시된다. 마찬가지로, 상기 이진수 1000(2)에서 23 의 자리수 1을 오른쪽으로 두칸 shifting 하게 되면 0010(2)이 되어 크기가 4분의 1로 되므로 되므로 상기 도 3의 커널에서의 0.25로 표시되며, 오른쪽으로 세 칸 shifting 하게 되면 0001(2)이 되어 크기가 8 분의 1로 되어 상기 도 3의 커널에서의 0.125로 표시되는 것이다. 따라서, 이러한 bit-shift 작업은 연산량을 상당 부분 감소시키는 장점이 있다.
상술한 바와 같이, 휘도 채널에 대한 커널을 생성한 후에는, 색차 채널에 대한 커널을 생성하게 되는데, 이는 제 2 커널 생성부(134)에 의해 수행된다. 제 2 커널 생성부(134)에서의 차이값 기반 가중치 함수 f(Ip-Ix)는 제 1 커널 생성부(132)에서의 가중치 함수 f(Ip-Ix)와는 달리 0 또는 1의 값만을 가질 수 있다. 즉, 상기 차이값(Ip-Ix)의 절대값이 소정 문턱값(Tchroma)보다 작을 경우에는 노이즈가 포함되어 있을 확률이 크므로 강한 가중치를 주기 위해 1의 값을 부여하며, 상기 차이값의 절대값이 소정 문턱값보다 크거나 같을 경우에는 노이즈가 포함되어 있을 확률이 적으므로 약한 가중치를 주기 위해 0의 값을 부여하게 되는 것이다. 여기서, 상기 문턱값(Tchroma)은 AGC(Auto Gain Control) 값에 비례할 수 있도록, Tchroma = AGC*w1 + c 로 표현할 수 있다. 또는, 상술한 촬영 환경 인자 λ에서와 마찬가지로, 상기 AGC 값뿐 아니라 노출값 Exposure 에도 비례하도록 Tchroma = AGC*w1 + Exposure*w2 + c 로 표현할 수 있다. 여기서도, 상기 AGC가 상기 Exposure에 비하여 노이즈 발생에 더 큰 영향을 미치기 때문에, w2에 비하여 w1이 상대적으로 큰 값으로 설정되어야 한다.
한편, 제 2 커널 생성부(134)에 의해 생성되는 커널은 상기 차이값 기반 가중치 함수 f(Ip-Ix)뿐 아니라 상기 위치 기반 가중치 함수 s(p)에 의해서도 제어를 받게 되는데, 상기 s(p) 함수는 상기 휘도 채널에 대한 커널 생성 과정에서의 s(p) 함수와 달리, 상기 입력 픽셀에 대해 서브샘플링(Subsampling) 작업을 수행하게 된다. 이러한 과정이 도 4에 도시되어 있는바, 상기 도 4는 색차 채널에 대한 서브 샘플링에 사용되는 커널을 예시한 도면이다. 상기 도 4에 도시된 커널은 5*15 크기의 커널인데, 한 가운데 존재하는 픽셀(401)이 현재 처리되는 픽셀을 나타내며, 음영이 있는 픽셀이 1의 값을, 음영이 없는 픽셀이 0 의 값을 가지게 되므로, 상기 커널은 1과 0의 값을 교대로 부여하는 함수를 이용하고 있음을 알 수 있다. 그리고, 상기 AGC 값이 상기 w1 보다 크거나 상기 노출값 Exposure 가 w2 보다 큰 경우에는 상기 도 4에 도시된 커널보다 더 큰 커널을 이용할 수 있다.
그 다음으로, 임펄스 제거부(140)는 상기 이미지 프레임을 구성하는 픽셀들 중 임펄스 픽셀을 제거하는 역할을 한다. 상기 임펄스 커널의 제거도 상기 커널의 생성과 상기 노이즈 레벨의 설정과 마찬가지로, 휘도 채널과 색차 채널의 각각에 대해 제거할 수 있으므로, 임펄스 제거부(140)는 상기 이미지 프레임을 구성하는 휘도 픽셀 중에서 임펄스 픽셀을 제거하는 제 1 임펄스 제거부(142)와 색차 픽셀 중에서 임펄스 픽셀을 제거하는 제 2 임펄스 제거부(144)를 포함하여 구성될 수 있다.
상기 임펄스 픽셀이란, 실제 픽셀 값과 큰 차이를 나타내는 픽셀 값을 갖는 픽셀로서, 주로 산발적인 점의 형태로 나타난다. 도 5는 본 발명의 실시예에 따라 임펄스 픽셀을 제거하는 과정을 나타내는 도면인바, 상기 도 5를 참조하여 상기 임펄스 픽셀의 제거 과정을 설명하기로 한다.
제 1 임펄스 제거부(142)는 먼저, 임펄스 문턱값(Timpulse)을 결정한다(S51). 예를 들어, 상기 문턱값은 Timpulse 가 상수 a 보다 큰 경우에는 a 로 나타낼 수 있으며, 상기 상수 a 보다 작거나 같은 경우에는 현재 프레임에 대한 잡음 추정치 v와 상수 b의 합으로 나타낼 수 있다.
다음으로, 현재 픽셀을 중심으로 하는 소정 크기의 경계 블록 내의 픽셀 값의 평균(Mean)을 구한다(S52). 그리고, 제 1 임펄스 제거부(142)는 현재 픽셀 값과 평균 픽셀 값(Mean)의 차이가 상기 Timpulse보다 큰지를 판단하고(S53), 그 판단 결과, 그렇지 않다면 상기 현재 픽셀은 정상 픽셀로 판정한다(S59). 상기 S53 단계의 판단 결과, 그러하다면 상기 현재 픽셀을 중심으로 하는 소정 크기의 경계 블록 내의 어떤 픽셀 값(Pi)과 현재 픽셀 값(Pcurrent)의 차이가 소정의 문턱값(Tvar)보다 작은가를 판단한다(S54). 그 판단 결과, 그러하지 아니하다면 바로 S56 단계로 진행하고, 그러하다면 count라는 파라미터를 1증가시킨 후(S55), S56 단계로 진행한다.
제 1 임펄스 제거부(142)는 상기 경계 블록 내의 모든 픽셀에 대하여 S54 및 S55를 반복 수행한다. 상기 반복 수행이 모든 픽셀에 대하여 완료되었으면, 상기 누적된 count가 3보다 작은가를 판단한다(S57). 그 판단 결과, 그러하지 아니하다면 현재 픽셀은 정상 픽셀로 판정한다(S59). 이는, 현재 픽셀이 평균(Mean)과 다소 차이가 난다고 하더라도 상기 경계 블록 내에 소정 개수(예: 3 개) 이상 존재한다면 임펄스 픽셀이라기 보다는 텍스쳐의 경계 부분과 같은 고주파 영역에 포함된 픽셀일 가능성이 높기 때문이다.
상기 판단 결과, 그러하다면 상기 경계 블록 내에서 현재 픽셀 및 현재 픽셀과의 차이가 Tvar 이내인 픽셀을 제외한 나머지 픽셀들의 평균(Meantrimmed)을 계산한다(S58). 이로써, 현재 픽셀이 임펄스 픽셀인지를 판단하는 과정이 완료된다. 이러한 과정은 프레임 내의 모든 픽셀에 대하여 수행될 때까지, 즉 모든 픽셀에 대하여 임펄스 픽셀인지 여부가 판단될 때까지 반복된다.
한편, 제 2 임펄스 제거부(144)는 색차 성분에 대하여 임펄스 픽셀을 제거하는데, 색차 성분에 대하여도 제 1 임펄스 제거부(142)가 수행하는 것과 동일한 알고리즘을 사용할 수도 있겠지만, 색차 성분은 저주파 특성을 가지므로 큰 크기의 그레인 잡음(grain noise)를 갖는 경우가 많다는 점을 고려하여 제 2 임펄스 제거부(144)에서의 알고리즘은 다소 달라져야 할 것이다. 즉, 현재 픽셀이 임펄스 픽셀인지 여부를, 상기 휘도 성분에서와 같이, 주변 픽셀과의 비교에 의하여 판단하면 오류가 발생할 여지가 많으므로, 색차 성분의 경우에는, 현재 픽셀과 공간적으로 다소의 오프셋만큼 떨어져 있는 픽셀과의 비교가 오히려 효과적이다.
이때, 가로 오프셋을 ε이라고 하고, 세로 오프셋을 λ라고 한다면, 제 2 임펄스 제거부(144)는 상기 현재 픽셀과 가로 방향으로 ε 만큼 떨어져 있는 두 픽셀 및 세로 방향으로 λ 만큼 떨어져 있는 두 픽셀, 총 네 개의 픽셀(이하 참조 픽셀이라고 함) 각각과 현재 픽셀과의 차이(D1, D2, D3, D4)를 구하고, 그 차이가 임펄스 문턱값(Timpulse)을 넘는지를 판단한다. 상기 임펄스 문턱값은 제 1 임펄스 제거부 (142)에서 사용된 것과 달리 고정된 상수값이 사용될 수 있다.
제 2 임펄스 제거부(144)는 D1, D2, D3, D4 중 상기 임펄스 문턱값을 넘는 것이 소정 개수, 예를 들어 3을 넘으면 상기 현재 픽셀을 임펄스 픽셀로 판정한다. D1, D2, D3, D4 모두가 임펄스 문턱값을 넘는 것을 기준으로 하여도 좋지만, 참조 픽셀 중 하나 정도는 그레인 잡음 내에 포함될 수도 있음을 고려한 것이다. 이와 같이, 상기 현재 픽셀이 임펄스 픽셀인지 여부를 판단하는 과정은 프레임 내의 모든 픽셀에 대하여 반복하여 수행된다.
한편, 필터 적용부(150)는 상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)과 상기 컨벌루션의 결과를 이용한 규준화(Normalization)를 수행하여 필터링하게 된다.
제 1 필터 적용부(152)는 상기 이미지 프레임의 휘도 채널에 대해 생성된 커널을 이용하여 상기 컨벌루션과 상기 규준화를 수행하여 필터링하며, 제 2 필터 적용부(154)는 색차 채널에 대해 생성된 커널을 이용하여 상기 컨벌루션과 상기 규준화를 수행하여 필터링한다.
이 경우, 제 1 필터 적용부(152)와 제 2 필터 적용부(154) 모두 하기의 수학식 2에 의해 상기 컨벌루션과 상기 규준화를 수행하여 필터링을 수행하게 된다.
Figure 112006006632030-PAT00002
여기서, 상기 k(s)는
Figure 112006006632030-PAT00003
에 의해 결정되는데, 상기 Ix와 상기 Ip에 대해서는 전술한 바와 같으며, 상기 W는 상기 필터링을 수행하기 위한 마스크 윈도우를 의미하며, 상기 p는 상기 윈도우를 구성하는 픽셀을 의미한다.
이상의 필터 적용 과정은 현재 프레임을 구성하는 전체 픽셀에 대하여 적용된다.
한편, 역 색공간 변환부(160)는 필터 적용부(150)에 의하여 필터링된 현재 프레임의 각 픽셀들을 휘도-색차 색공간에서 RGB 색공간으로 다시 변환하는 역할을 한다. 이와 같이, RGB로 변환된 이미지는 디스플레이 장치 등에 의하여 사용자에게 표시될 수도 있다.
이상 본 발명의 바람직한 실시예에 따른 이미지 센서 노이즈 저감 장치의 구성을 설명하였다. 그러나, 상기 도 1에 표시된 구성 요소들이 모두 필수적으로 포함되어야 하는 것은 아니다. 예를 들어, 제 1 노이즈 레벨 추정부(123)와 임펄스 제거부(140)에서의 동작 과정은 생략될 수 있다. 또한, 상기 노이즈 저감 장치로 입력되는 프레임이 RGB 성분이 아니라 YCbCr, YUV, 또는 YIQ 모델의 성분일 경우에는, 색공간 변환부(110) 및 역 색공간 변환부(160)의 경우도 생략될 수 있다.
또한, 이상에서는 휘도 성분 및 색차 성분 각각을 모두 다른 알고리즘에 의하여 처리하는 것으로 하였지만, 동일한 알고리즘에 의하여 처리하여도 본 발명의 사상을 벗어나지 않는다. 더욱이, 휘도 성분 또는 색차 성분 중 어느 하나에 대해서만 상기 노이즈 저감 과정을 적용하여도 무방하다.
한편, 상기와 같은 본 발명의 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만, 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서는 시간적 순서에 따른 본 발명의 실시예를 도 6을 참조하여 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 방법의 전체 흐름을 나타내는 도면이다.
먼저, 색공간 변환부(110)는 RGB 색 공간의 성분이 입력되는 경우에, 상기 RGB 색 공간의 성분을 소정 색 공간의 성분으로 변환하는 단계(S102)를 수행하는데, 본 발명의 바람직한 실시예에서는 YCbCr, YUV, 및 YIQ 색 공간 중 하나인 색공간의 색성분으로 변환하게 된다.
노이즈 레벨 설정부(120)는 상기 변환된 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하는 단계(S104)를 수행하면, 커널 생성부(130)는 상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하는 단계(S106)를 수행한다. 그리고, 임펄스 제거부(140)는 상기 이미지 프레임을 구성하는 픽셀들 중 임펄스 픽셀을 제거하는 단계(S108)를 수행하게 되며, 필터 적용부(150)는 상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)과 상기 컨벌루션의 결과를 이용한 규준화(Normalization)를 수행하게 된다(S110). 마지막으로, 역 색공간 변환부(160)는 상기 규준화된 결과를 RGB 색 공간의 성분으로 다시 변환하게 된다(S112).
한편, 도 7은 입력 영상과 본 발명의 실시예에 따른 출력 영상을 비교한 도면인데, 오른쪽에 디스플레이되고 있는 본 발명의 실시예에 따른 출력 영상의 화질은 왼쪽의 입력 영상에 포함되어 있는 노이즈를 저감시킨 결과이므로 영상의 화질이 개선되어 있음을 알 수 있다.
한편, 본 발명의 실시예에 따른 이미지 센서 노이즈 저감 장치의 권리 범위는 상기와 같은 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체에도 미침은 당업자에게 자명하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위, 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따르면, 이미지 센서에서 발생하는 노이즈를 적응적으로 저감시켜 출력 영상의 화질을 개선시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (37)

  1. 소정 색 공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하는 노이즈 레벨 설정부;
    상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하는 커널 생성부; 및
    상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)을 수행하고 상기 컨벌루션 수행 결과를 규준화(Normalization)하는 필터 적용부를 포함하는, 이미지 센서 노이즈 저감 장치.
  2. 제 1 항에 있어서,
    상기 색 공간은,
    YCbCr, YUV, 및 YIQ 색 공간 중 하나인, 이미지 센서 노이즈 저감 장치.
  3. 제 1 항에 있어서,
    상기 노이즈 레벨 설정부는,
    상기 이미지 프레임의 휘도 채널에 대한 노이즈 레벨을 설정하는 제 1 노이즈 레벨 설정부; 및
    상기 이미지 프레임의 색차 채널에 대한 노이즈 레벨을 설정하는 제 2 노이즈 레벨 설정부를 포함하는, 이미지 센서 노이즈 저감 장치.
  4. 제 3 항에 있어서,
    상기 제 1 노이즈 레벨 설정부는,
    현재 처리하고자 하는 입력 픽셀의 휘도값의 범위에 따라 상기 노이즈 레벨의 크기를 다르게 설정하는, 이미지 센서 노이즈 저감 장치.
  5. 제 3 항에 있어서,
    상기 휘도 채널에 대한 노이즈 레벨을 설정하지 못한 경우에는, 상기 이미지 프레임에 대하여 소정 주파수 및 크기를 갖는 마스크 단위로 Trimmed SAD(Sum of Absolute Difference)를 구하고, 상기 Trimmed SAD를 소정의 잡음 문턱값과 비교하여 상기 잡음 문턱값보다 큰 Trimmed SAD의 대표값을 구함으로써 상기 노이즈 레벨을 추정하는 제 1 노이즈 레벨 추정부를 더 포함하는, 이미지 센서 노이즈 저감 장치.
  6. 제 1 항에 있어서,
    상기 커널 생성부는,
    상기 이미지 프레임의 휘도 채널에 대한 커널을 생성하는 제 1 커널 생성부; 및
    상기 이미지 프레임의 색차 채널에 대한 커널을 생성하는 제 2 커널 생성부를 포함하는, 이미지 센서 노이즈 저감 장치.
  7. 제 6 항에 있어서,
    상기 제 1 커널 생성부 및 상기 제 2 커널 생성부는,
    현재 처리하고자 하는 입력 픽셀과 주위 픽셀과의 차이값에 따라 변하는 차이값 기반 가중치 함수와 상기 입력 픽셀의 위치에 따라 변하는 위치 기반 가중치 함수의 곱에 의해 제어되는 커널을 생성하며, 상기 곱의 값은 0 이상 1 이하인, 이미지 센서 노이즈 저감 장치.
  8. 제 7 항에 있어서,
    상기 제 1 커널 생성부의 차이값 기반 가중치 함수는,
    수학식
    Figure 112006006632030-PAT00004
    으로 표현되는데, 상기 Ix는 상기 입력 픽셀이며, 상기 Ip는 상기 입력 픽셀의 주위 픽셀이며, 상기 λ는 촬영 환경 인자이며, 상기 S는 상기 노이즈 레벨인, 이미지 센서 노이즈 저감 장치.
  9. 제 8 항에 있어서,
    상기 촬영 환경 인자 λ는 AGC(Auto Gain Control) 값에 비례하는, 이미지 센서 노이즈 저감 장치.
  10. 제 7 항에 있어서,
    상기 제 1 커널 생성부의 위치 기반 가중치 함수는,
    상기 입력 픽셀에 대해 bit-shift 작업을 수행하는 함수인, 이미지 센서 노이즈 저감 장치.
  11. 제 7 항에 있어서,
    상기 제 2 커널 생성부의 차이값 기반 가중치 함수는,
    상기 차이값의 절대값이 소정 문턱값(Tchroma)보다 작을 경우에는 1의 값을, 상기 절대값이 소정 문턱값보다 크거나 같을 경우에는 0의 값을 부여하는, 이미지 센서 노이즈 저감 장치.
  12. 제 11 항에 있어서,
    상기 문턱값(Tchroma)은 AGC(Auto Gain Control) 값에 비례하는 값인, 이미지 센서 노이즈 저감 장치.
  13. 제 7 항에 있어서,
    상기 제 2 커널 생성부의 위치 기반 가중치 함수는,
    상기 입력 픽셀에 대해 서브샘플링(Subsampling) 작업을 수행함으로써 상기 주변 픽셀에 1과 0의 값을 교대로 부여하는 함수인, 이미지 센서 노이즈 저감 장치.
  14. 제 1 항에 있어서,
    상기 이미지 프레임을 구성하는 픽셀들 중 임펄스 픽셀을 제거하는 임펄스 제거부를 더 포함하는, 이미지 센서 노이즈 저감 장치.
  15. 제 14 항에 있어서,
    상기 임펄스 제거부는,
    상기 이미지 프레임을 구성하는 휘도 픽셀 중에서 임펄스 픽셀을 제거하는 제 1 임펄스 제거부; 및
    상기 이미지 프레임을 구성하는 색차 픽셀 중에서 임펄스 픽셀을 제거하는 제 2 임펄스 제거부를 포함하는, 이미지 센서 노이즈 저감 장치.
  16. 제 1 항에 있어서,
    상기 필터 적용부는,
    상기 이미지 프레임의 휘도 채널에 대해 생성된 커널을 이용하여 상기 컨벌루션과 상기 규준화를 수행하여 필터링하는 제 1 필터 적용부; 및
    상기 이미지 프레임의 색차 채널에 대해 생성된 커널을 이용하여 상기 컨벌루션과 상기 규준화를 수행하여 필터링하는 제 2 필터 적용부를 포함하는, 이미지 센서 노이즈 저감 장치.
  17. 제 16 항에 있어서,
    상기 제 1 필터 적용부 및 상기 제 2 필터 적용부는,
    수학식
    Figure 112006006632030-PAT00005
    에 의해 상기 컨벌루션과 상기 규준화를 수행하여 필터링하며, 상기 k(s)는
    Figure 112006006632030-PAT00006
    에 의해 결정되며, 상기 Ix는 현재 처리하고자 하는 입력 픽셀이며, 상기 Ip는 상기 입력 픽셀의 주위 픽셀이며, 상기 W는 상기 필터링을 수행하기 위한 마스크 윈도우를 의미하며, 상기 p는 상기 윈도우를 구성하는 픽셀을 의미하며, 상기 f(Ip-Ix)는 상기 Ip-Ix 에 따라 변하는 차이값 기반 가중치 함수이며, 상기 s(p)는 상기 입력 픽셀의 위치에 따라 변하는 위치 기반 가중치 함수인, 이미지 센서 노이즈 저감 장치.
  18. 제 1 항에 있어서,
    RGB 색 공간의 성분이 입력되는 경우에, 상기 RGB 색 공간의 성분을 상기 소정 색 공간의 성분으로 변환하는 색공간 변환부; 및
    상기 규준화된 결과를 RGB 색 공간의 성분으로 다시 변환하는 역 색공간 변환부를 더 포함하는, 이미지 센서 노이즈 저감 장치.
  19. (a) 소정 색 공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 노이즈 레벨을 설정하는 단계;
    (b) 상기 노이즈 레벨에 근거하여 상기 이미지 프레임을 구성하는 픽셀들을 필터링하기 위한 커널(Kernel)을 생성하는 단계; 및
    (c) 상기 생성된 커널을 이용하여 상기 픽셀들에 대해 컨벌루션(Convolution)을 수행하고, 상기 컨벌루션 수행 결과를 규준화(Normalization)하는 단계를 포함하는, 이미지 센서 노이즈 저감 방법.
  20. 제 19 항에 있어서,
    상기 색 공간은,
    YCbCr, YUV, 및 YIQ 색 공간 중 하나인, 이미지 센서 노이즈 저감 방법.
  21. 제 19 항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 이미지 프레임의 휘도 채널에 대한 노이즈 레벨을 설정하는 단계; 및
    (a2) 상기 이미지 프레임의 색차 채널에 대한 노이즈 레벨을 설정하는 단계 를 포함하는, 이미지 센서 노이즈 저감 방법.
  22. 제 21 항에 있어서,
    상기 (a1) 단계는,
    현재 처리하고자 하는 입력 픽셀의 휘도값의 범위에 따라 상기 노이즈 레벨의 크기를 다르게 설정하는 단계를 포함하는, 이미지 센서 노이즈 저감 방법.
  23. 제 21 항에 있어서,
    (a3) 상기 휘도 채널에 대한 노이즈 레벨을 설정하지 못한 경우에는, 상기 이미지 프레임에 대하여 소정 주파수 및 크기를 갖는 마스크 단위로 Trimmed SAD(Sum of Absolute Difference)를 구하고, 상기 Trimmed SAD를 소정의 잡음 문턱값과 비교하여 상기 잡음 문턱값보다 큰 Trimmed SAD의 대표값을 구함으로써 상기 노이즈 레벨을 추정하는 단계를 더 포함하는, 이미지 센서 노이즈 저감 방법.
  24. 제 19 항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 이미지 프레임의 휘도 채널에 대한 커널을 생성하는 단계; 및
    (b2) 상기 이미지 프레임의 색차 채널에 대한 커널을 생성하는 단계를 포함하는, 이미지 센서 노이즈 저감 방법.
  25. 제 24 항에 있어서,
    상기 (b1) 단계 및 상기 (b2) 단계는,
    현재 처리하고자 하는 입력 픽셀과 주위 픽셀과의 차이값에 따라 변하는 차이값 기반 가중치 함수와 상기 입력 픽셀의 위치에 따라 변하는 위치 기반 가중치 함수의 곱에 의해 제어되는 커널을 생성하며, 상기 곱의 값은 0 이상 1 이하인, 이미지 센서 노이즈 저감 방법.
  26. 제 25 항에 있어서,
    상기 (b1) 단계에서의 상기 차이값 기반 가중치 함수는,
    수학식
    Figure 112006006632030-PAT00007
    으로 표현되는데, 상기 Ix는 상기 입력 픽셀이며, 상기 Ip는 상기 입력 픽셀의 주위 픽셀이며, 상기 λ는 촬영 환경 인자이며, 상기 S는 상기 노이즈 레벨인, 이미지 센서 노이즈 저감 방법.
  27. 제 26 항에 있어서,
    상기 촬영 환경 인자 λ는 AGC(Auto Gain Control) 값에 비례하는, 이미지 센서 노이즈 저감 방법.
  28. 제 25 항에 있어서,
    상기 (b1) 단계에서의 위치 기반 가중치 함수는,
    상기 입력 픽셀에 대해 bit-shift 작업을 수행하는 함수인, 이미지 센서 노이즈 저감 방법.
  29. 제 25 항에 있어서,
    상기 (b2) 단계에서의 차이값 기반 가중치 함수는,
    상기 차이값의 절대값이 소정 문턱값(Tchroma)보다 작을 경우에는 1의 값을, 상기 절대값이 소정 문턱값보다 크거나 같을 경우에는 0의 값을 부여하는, 이미지 센서 노이즈 저감 방법.
  30. 제 29 항에 있어서,
    상기 문턱값(Tchroma)은 AGC(Auto Gain Control) 값에 비례하는 값인, 이미지 센서 노이즈 저감 방법.
  31. 제 25 항에 있어서,
    상기 (b2) 단계에서의 위치 기반 가중치 함수는,
    상기 입력 픽셀에 대해 서브샘플링(Subsampling) 작업을 수행함으로써 상기 주변 픽셀에 1과 0의 값을 교대로 부여하는 함수인, 이미지 센서 노이즈 저감 방 법.
  32. 제 19 항에 있어서,
    (d) 상기 이미지 프레임을 구성하는 픽셀들 중 임펄스 픽셀을 제거하는 단계를 더 포함하는, 이미지 센서 노이즈 저감 방법.
  33. 제 32 항에 있어서,
    상기 (d) 단계는,
    (d1) 상기 이미지 프레임을 구성하는 휘도 픽셀 중에서 임펄스 픽셀을 제거하는 단계; 및
    (d2) 상기 이미지 프레임을 구성하는 색차 픽셀 중에서 임펄스 픽셀을 제거하는 단계를 포함하는, 이미지 센서 노이즈 저감 방법.
  34. 제 19 항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 이미지 프레임의 휘도 채널에 대해 생성된 커널을 이용하여 상기 컨벌루션과 상기 규준화를 수행하여 필터링하는 단계; 및
    (c2) 상기 이미지 프레임의 색차 채널에 대해 생성된 커널을 이용하여 상기 컨벌루션과 상기 규준화를 수행하여 필터링하는 단계를 포함하는, 이미지 센서 노이즈 저감 방법.
  35. 제 34 항에 있어서,
    상기 (c1) 단계 및 상기 (c2) 단계는,
    수학식
    Figure 112006006632030-PAT00008
    에 의해 상기 컨벌루션과 상기 규준화를 수행하여 필터링하는 단계를 포함하며, 상기 k(s)는
    Figure 112006006632030-PAT00009
    에 의해 결정되며, 상기 Ix는 현재 처리하고자 하는 입력 픽셀이며, 상기 Ip는 상기 입력 픽셀의 주위 픽셀이며, 상기 W는 상기 필터링을 수행하기 위한 마스크 윈도우를 의미하며, 상기 p는 상기 윈도우를 구성하는 픽셀을 의미하며, 상기 f(Ip-Ix)는 상기 Ip-Ix 에 따라 변하는 차이값 기반 가중치 함수이며, 상기 s(p)는 상기 입력 픽셀의 위치에 따라 변하는 위치 기반 가중치 함수인, 이미지 센서 노이즈 저감 방법.
  36. 제 19 항에 있어서,
    (d1) RGB 색 공간의 성분이 입력되는 경우에, 상기 RGB 색 공간의 성분을 상기 소정 색 공간의 성분으로 변환하는 단계; 및
    (d2) 상기 규준화된 결과를 RGB 색 공간의 성분으로 다시 변환하는 단계를 더 포함하는, 이미지 센서 노이즈 저감 방법.
  37. 제 19 항 내지 제 36 항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020060008693A 2006-01-27 2006-01-27 이미지 센서 노이즈 저감 장치 및 방법 KR101225056B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060008693A KR101225056B1 (ko) 2006-01-27 2006-01-27 이미지 센서 노이즈 저감 장치 및 방법
US11/640,259 US7813583B2 (en) 2006-01-27 2006-12-18 Apparatus and method for reducing noise of image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060008693A KR101225056B1 (ko) 2006-01-27 2006-01-27 이미지 센서 노이즈 저감 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070078463A true KR20070078463A (ko) 2007-08-01
KR101225056B1 KR101225056B1 (ko) 2013-01-23

Family

ID=38322167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060008693A KR101225056B1 (ko) 2006-01-27 2006-01-27 이미지 센서 노이즈 저감 장치 및 방법

Country Status (2)

Country Link
US (1) US7813583B2 (ko)
KR (1) KR101225056B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133520B1 (ko) * 2011-01-03 2012-04-04 엠텍비젼 주식회사 색 노이즈 제거 방법 및 장치
KR101303660B1 (ko) * 2007-10-01 2013-09-04 삼성전자주식회사 잡음제거를 고려한 선명도 향상 방법 및 장치 그리고 잡음가중치 계산 방법 및 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5143038B2 (ja) * 2009-02-02 2013-02-13 オリンパス株式会社 画像処理装置及び画像処理方法
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
US8295631B2 (en) * 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
US8345130B2 (en) * 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
KR102484386B1 (ko) * 2020-04-29 2023-01-03 삼성전자주식회사 영상을 스케일링하는 전자 장치 및 그 동작 방법
CN111935364B (zh) * 2020-08-17 2022-08-30 珠海奔图电子有限公司 图像处理方法、装置、图像形成装置及存储介质
KR20220037764A (ko) * 2020-09-18 2022-03-25 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US20230410273A1 (en) * 2020-11-09 2023-12-21 Canon U.S.A., Inc. Using luminance distributions to detect best areas of an image for prediction of noise levels
WO2022186499A1 (ko) * 2021-03-04 2022-09-09 삼성전자 주식회사 영상 처리 장치 및 그 동작방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512791B1 (en) * 1991-05-15 2003-01-28 Canon Kabushiki Kaisha Image processing apparatus having means for controlling exposure using an orthogonal transformation coefficient
JP3495766B2 (ja) * 1993-10-01 2004-02-09 テキサス インスツルメンツ インコーポレイテツド 画像処理方法
EP0811289B1 (en) * 1995-12-21 2001-10-17 Koninklijke Philips Electronics N.V. Noise reduction in an image
JP2003274180A (ja) 2002-03-12 2003-09-26 Canon Inc 画像処理装置、画像処理方法、プリンタドライバ、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP3893099B2 (ja) 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
JP2004228825A (ja) 2003-01-22 2004-08-12 Fuji Photo Film Co Ltd 固体電子撮像素子のノイズ低減装置および方法
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
KR20060019897A (ko) * 2004-08-30 2006-03-06 매그나칩 반도체 유한회사 노이즈 제거가 가능한 이미지센서의 디지털 신호 처리장치 및 이미지센서의 노이즈 제거 방법
KR100735561B1 (ko) * 2005-11-02 2007-07-04 삼성전자주식회사 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303660B1 (ko) * 2007-10-01 2013-09-04 삼성전자주식회사 잡음제거를 고려한 선명도 향상 방법 및 장치 그리고 잡음가중치 계산 방법 및 장치
US8699816B2 (en) 2007-10-01 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for enhancing detail based on noise elimination, and method and apparatus for calculating noise weight
KR101133520B1 (ko) * 2011-01-03 2012-04-04 엠텍비젼 주식회사 색 노이즈 제거 방법 및 장치

Also Published As

Publication number Publication date
KR101225056B1 (ko) 2013-01-23
US7813583B2 (en) 2010-10-12
US20070177816A1 (en) 2007-08-02

Similar Documents

Publication Publication Date Title
KR101225056B1 (ko) 이미지 센서 노이즈 저감 장치 및 방법
KR100735561B1 (ko) 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
JP5113171B2 (ja) イメージ情報にフィルタをかけるための適応空間イメージフィルタ
US7860334B2 (en) Adaptive image filter for filtering image information
JP4683994B2 (ja) 画像処理装置、画像処理方法、電子カメラ、スキャナ
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP4861667B2 (ja) 画像処理装置及び画像処理方法
KR101374971B1 (ko) 디지털 이미지 내의 노이즈 감소 방법, 디지털 이미지 내의 노이즈 감소 장치 및 디지털 이미지 내의 노이즈 감소 시스템
KR101389562B1 (ko) 이미지 처리 장치 및 방법
EP1394742B1 (en) Method for filtering the noise of a digital image sequence
US9014503B2 (en) Noise-reduction method and apparatus
US20060146151A1 (en) Apparatus for generating focus data in image sensor and method for generating the same
US7430334B2 (en) Digital imaging systems, articles of manufacture, and digital image processing methods
US20050025380A1 (en) Digital image processing methods, digital image devices, and articles of manufacture
US10863148B2 (en) Tile-selection based deep demosaicing acceleration
JP4178919B2 (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
KR102051367B1 (ko) Ｗｒｇｂ ｃｆａ 영상을 위한 처리 장치 및 그 처리 방법
US11153467B2 (en) Image processing
JP2004159176A (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
Bell et al. Image Processing with Stencil Pipelines
KR101372853B1 (ko) 화상처리장치, 화상처리방법 및 촬상장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 8