KR20070121440A - 노이즈 저감 방법 및 장치 - Google Patents

노이즈 저감 방법 및 장치 Download PDF

Info

Publication number
KR20070121440A
KR20070121440A KR1020060056519A KR20060056519A KR20070121440A KR 20070121440 A KR20070121440 A KR 20070121440A KR 1020060056519 A KR1020060056519 A KR 1020060056519A KR 20060056519 A KR20060056519 A KR 20060056519A KR 20070121440 A KR20070121440 A KR 20070121440A
Authority
KR
South Korea
Prior art keywords
center pixel
noise
input image
weight
signal strength
Prior art date
Application number
KR1020060056519A
Other languages
English (en)
Other versions
KR100843084B1 (ko
Inventor
유영진
이성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060056519A priority Critical patent/KR100843084B1/ko
Priority to US11/806,838 priority patent/US8467003B2/en
Publication of KR20070121440A publication Critical patent/KR20070121440A/ko
Application granted granted Critical
Publication of KR100843084B1 publication Critical patent/KR100843084B1/ko

Links

Images

Classifications

    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Abstract

본 발명은 노이즈 저감 방법 및 장치에 관한 것이다.
본 발명의 실시예에 따른 노이즈 저감 방법은 입력 영상의 노이즈 레벨을 산출하는 단계, 및 상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 단계를 포함한다.
영상, 노이즈 제거, 촬영 장치

Description

노이즈 저감 방법 및 장치{Method and apparatus for noise reduction}
도 1은 본 발명의 일 실시예에 따른 노이즈 저감 장치를 나타낸 블록도이다.
도 2a는 입력 영상의 신호 강도와 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다.
도 2b는 피실험자를 대상으로 한 입력 영상의 신호 강도와 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다.
도 2c는 도 2a의 실험 결과에 도 2b의 실험 결과를 반영한 예를 나타낸 도면이다.
도 3은 입력 영상의 자동이득조절 값과 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 윈도우를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 다른 엣지의 종류를 결정하는 과정을 나타낸 흐름도이다.
도 6은 엣지의 종류를 결정하는데 사용되는 윈도우를 나타낸 도면이다.
도 7은 자동이득조절 값과 비례 상수 간의 관계를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 마스크를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 임펄스 노이즈 판별 과정을 나타낸 흐름 도이다.
도 10은 ROAD를 구하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 노이즈 저감 방법을 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 노이즈 저감 장치가 구비된 촬영 장치를 나타낸 블록도이다.
<도면의 주요 부분에 관한 부호의 설명>
110 : 노이즈 레벨 산출부 120 : 가중치 결정부
130 : 엣지 판별부 140 : 가중치 보상부
150 : 임펄스 노이즈 판별부 160 : 필터링부
본 발명은 영상의 노이즈에 관한 것으로서, 더욱 상세하게는 입력 영상의 노이즈를 저감시키는 방법 및 장치에 관한 것이다.
최근 디지털 스틸 카메라나 디지털 캠코더와 같은 디지털 촬영 장치의 보급이 확산되고 있다. 이러한 디지털 촬영 장치가 촬영한 영상은 화질을 저하시키는 노이즈를 포함하게 된다. 따라서 보다 높은 화질의 영상을 얻기 위해서는 노이즈 제거가 필수적이다.
영상의 노이즈는 디지털 촬영 장치의 이미지 센서의 물리적 불안정성과 시스 템적 특성에 기인한다. 디지털 촬영 장치에 널리 사용되는 CMOS 센서에서 발생하는 노이즈는 주로 fixed-pattern noise와 temporal noise(또는 time-varying noise)이다. 이 중에서 fixed-pattern noise는 제거가 비교적 용이하며 관련 기술도 다수 공개되어 있다. 그러나 temporal noise는 fixed-pattern noise에 비해 제거하기가 용이하지 않다. 또한, Outlier 또는 impulse 형태의 노이즈도 영상의 화질 저하에 심각한 영향을 미치며 제거하기가 용이하지 않다. 따라서 영상 내의 노이즈(특히 temporal noise와 impulse noise)를 제거하는 기술이 요구되고 있다.
본 발명은 입력 영상의 노이즈를 제거 하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 노이즈 저감 방법은 입력 영상의 노이즈 레벨을 산출하는 단계, 및 상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 노이즈 저감 장치는 입력 영상의 노이즈 레벨을 산출하는 노이즈 레벨 산출부, 및 상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 필터링부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 촬영 장치는 소정의 피사체를 촬상하여 입력 영상을 제공하는 촬영부, 및 상기 입력 영상의 노이즈 레벨을 산출하고, 상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 노이즈 저감부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 노이즈 저감 장치(100)를 나타낸 블록도 이다. 도시된 노이즈 저감 장치(100)는 노이즈 레벨 산출부(110), 가중치 결정부(120), 엣지 판별부(130), 가중치 보상부(140), 및 필터링부(160)를 포함한다. 이러한 노이즈 저감 장치(100)는 디지털 스틸 카메라나 디지털 캠코더와 같은 촬영 장치에 적용될 수 있다.
참고로, 본 실시예에서는 입력 영상이 RGB로 구성되는 베이어 도메인(Bayer domain)으로 처리되는 경우를 위주로 설명할 것이지만 본 발명이 이에 한정되는 것은 아니다. 예를 들어 입력 영상이 YUV나 YCrCb 도메인으로 처리되는 경우를 위한 노이즈 저감 방식도 본 실시예를 통하여 이해될 수 있을 것이며, 이들 또한 본 발명의 범주에 포함되는 것으로 해석되어야 한다.
노이즈 레벨 산출부(110)는 입력 영상의 노이즈 레벨을 산출한다. 노이즈 레벨은 입력 영상에 존재하는 노이즈의 크기를 나타내는 수치이다. 노이즈 레벨에 주된 영향을 미치는 요인(이하 '노이즈 요인'이라 한다)으로서 입력 영상의 신호 강도(signal intensity), 영상 촬영시의 자동 노출(Auto Exposure; AE)에 따른 자동이득조절(Auto Gain Control; AGC) 값, 및 입력 영상의 조도 등을 들 수 있다. 여기서 신호 강도는 입력 영상의 촬영 시 빛의 수집량을 가늠하는 수치를 나타낸다.
입력 영상의 노이즈 요인에 따른 노이즈 레벨은 노이즈 저감 장치(100)가 적용될 촬영 장치에 대한 실험을 통하여 사전에 설정되어 있을 수 있으며, 노이즈 레벨 산출부(110)는 이를 이용함으로써 입력 영상의 노이즈 레벨을 산출할 수 있다. 이하 도 2a 내지 도 3을 참조하여 이에 대하여 설명하도록 한다.
도 2a는 입력 영상의 신호 강도와 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다. 도시된 바와 같이 노이즈 저감 장치(100)가 적용될 촬영 장치에 대하여 R, G, B 각 채널 별로 신호 강도에 따른 노이즈 레벨을 측정하고, 측정 결과의 추세선(212, 214, 216)을 구해둘 수 있다. 이러한 추세선(212, 214, 216)을 이용하여 신호 강도와 노이즈 레벨 간의 관계를 나타내는 룩업테이블이 생성될 수 있으며, 노이즈 레벨 산출부(110)는 룩업테이블을 사용하여 입력 영상의 신호 강도에 따른 노이즈 레벨을 산출할 수 있다.
한편, 인간은 낮은 신호 강도의 영상을 관찰할 경우보다 높은 신호 강도의 영상을 관찰할 경우 노이즈에 대하여 낮은 인지도를 갖는데, 이러한 인간의 시각적 특성이 노이즈 레벨 산출 작업에 반영되도록 할 수도 있다. 이를 위하여, 사전에 여러 피실험자들이 다양한 신호 강도의 입력 영상들과 원 영상을 시각적으로 비교하여 입력 영상의 노이즈 레벨을 결정하도록 하면, 도 2b에 도시된 바와 같이 입력 영상의 신호 강도에 따라서 피실험자들이 결정한 노이즈 레벨에 대한 추세선(220)을 구할 수 있다. 물론 이 경우에도 R, G, B 각 채널 별로 실험함으로써 R, G, B 채널 별로 추세선을 구할 수 있다.
이렇게 구해진 추세선을 도 2a의 추세선에 반영시킨 결과를 도 2c에 도시하였다. 최종적으로 얻어진, 신호 강도에 따른 노이즈 레벨 함수(232, 234, 236)는 도 2a에서 구한 추세선에 도 2b에서 구한 추세선을 곱한 결과를 나타낸다. 노이즈 레벨 산출부(110)는 최종적으로 얻어진 노이즈 레벨 함수(232, 234, 236)를 이용하여 R, G, B 채널 별로 입력 영상의 신호 강도에 따른 노이즈 레벨을 산출할 수 있 다.
도 3은 입력 영상의 자동이득조절 값과 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다. 도시된 바와 같이 노이즈 저감 장치(100)가 적용될 촬영 장치에 대하여 R, G, B 각 채널 별로 자동이득조절 값에 따른 노이즈 레벨을 측정하고, 측정 결과의 추세선(312, 314, 316)을 구해둘 수 있다. 이러한 추세선(312, 314, 316)을 이용하여 자동이득조절 값과 노이즈 레벨 간의 관계를 나타내는 룩업테이블이 생성될 수 있으며, 노이즈 레벨 산출부(110)는 룩업테이블을 사용하여 입력 영상의 자동이득조절 값에 따른 노이즈 레벨을 산출할 수 있다.
한편, 노이즈 요인 중에서 조도는 임펄스 노이즈(impulse noise)에 주된 영향을 미치는데, 일반적으로 저조도의 영상일수록 임펄스 노이즈의 발생 가능성이 높아진다. 따라서 입력 영상의 조도가 일정 수치보다 낮은 경우 입력 영상에서 임펄스 노이즈를 제거하기 위한 추가적인 연산이 수행될 수 있으며, 이에 대해서는 임펄스 노이즈 판별부(150)를 통해서 후술하도록 한다.
가중치 결정부(120)는 입력 영상의 노이즈 레벨과 입력 영상에 대한 소정 크기의 윈도우 내의 중심 픽셀과 인접 픽셀 간의 신호 강도의 차이에 기반하여 윈도우 내의 각 인접 픽셀에 적용될 가중치를 계산한다. 여기서 중심 픽셀은 노이즈 저감 작업의 대상이 되는 픽셀로서 윈도우의 중심에 위치하는 픽셀이고, 인접 픽셀은 윈도우 내에서 중심 픽셀과 동일한 종류의 광학 채널이 적용된 픽셀이다. 예를 들어 중심 픽셀이 R 채널의 픽셀이라면, 인접 픽셀은 윈도우 내의 픽셀들 중에서 중심 픽셀을 제외한 R 채널의 픽셀이 된다.
후술할 필터링부(160)가 중심 픽셀의 노이즈를 제거하기 위해서는 인접 픽셀에 대한 정보를 참조하게 되는데, 각 인접 픽셀에 할당되는 가중치는 노이즈가 제거된 중심 픽셀의 최종적인 신호 강도를 결정할 경우 인접 픽셀의 정보를 얼마나 반영시킬 것인가를 나타내는 척도가 된다.
윈도우의 크기는 실시예에 따라서 다양하게 설정될 수 있다. 도 4에 본 발명의 일 실시예에 따른 윈도우를 도시하였다. 도 4는 RGB 베이어 패턴의 입력 영상(400)과 입력 영상(400)에서 G1, R, B, G2의 각 광학 채널에 대한 4가지 종류의 윈도우(410, 420, 430, 440)를 나타낸다. 도시된 바와 같이 윈도우의 크기가 5*5로 설정되어 있다면 중심 픽셀 주변으로 8개의 인접 픽셀이 존재하게 된다.
가중치 결정부(120)가 각 인접 픽셀에 할당하는 가중치는 0에서 1 사이의 실수 값을 갖으며, 중심 픽셀과 인접 픽셀 간의 신호 강도의 차이에 따라서 결과 값이 가우시안 분포를 갖는 퍼지 소속 함수(fuzzy membership function)를 통해서 결정될 수 있다. 본 발명의 일 실시예에 따른 퍼지 소속 함수를 수학식1에 나타내었다.
[수학식1]
Figure 112006044262424-PAT00001
수학식1에서
Figure 112006044262424-PAT00002
는 중심 픽셀의 신호 강도이고,
Figure 112006044262424-PAT00003
는 인접 픽셀의 신호 강도이다. 또한 c는 입력 영상의 자동이득조절 값에 따라서 산출된 노이즈 레벨이고, n은 입력 영상의 신호 강도에 따라서 산출된 노이즈 레벨이며 이들은 노이즈 레벨 산출부(110)로부터 얻을 수 있다. 여기서 n은 도 2a를 참조하여 설명한 바와 같이 기계적으로 측정된 실험 결과를 이용하여 산출된 값일 수도 있지만 도 2b 및 도 2c를 참조하여 설명한 바와 같이 인간의 시각적 특성이 반영된 실험 결과를 이용하여 산출된 값인 것이 더 바람직하다. 또한 수학식1에서는 가중치를 얻기 위하여 c와 n이 모두 사용되었으나 실시예에 따라서는 c와 n 중에서 어느 하나만 사용될 수도 있다.
엣지 판별부(130)는 윈도우에서 중심 픽셀의 엣지(edge)의 종류를 판단한다. 엣지의 종류는 엣지 방향에 따라서, 수평 엣지, 수직 엣지, 우상-좌하 엣지, 좌상-우하 엣지, 및 비엣지로 나뉠 수 있다. 이하, 도 5 및 도 6을 참조하여 엣지의 종류를 결정하는 과정에 대한 일 실시예를 설명하도록 한다. 그러나 엣지의 종류를 결정하는 기술은 다양하게 공지되어 있으므로, 본 발명이 이하의 설명에 의하여 한정되는 것은 아니며, 엣지의 종류를 결정하기 위한 다른 방식의 기술이 적용되는 것도 가능하다.
도 5는 본 발명의 일 실시예에 다른 엣지의 종류를 결정하는 과정을 나타낸 흐름도이다.
입력 영상이 RGB 베이어 패턴으로 구성되고 도 6에 도시된 바와 같이 5*5의 윈도우(610)가 사용되는 경우, 엣지 판별부(130)는 중심 픽셀
Figure 112006044262424-PAT00004
과 인접 픽셀
Figure 112006044262424-PAT00005
내지
Figure 112006044262424-PAT00006
간의 신호 강도 차이를 계산한다(S510). 인접 픽셀의 개수가 8개이므로 하나의 윈도우에서 8개의 신호 강도 차이가 계산되며, 이를 수학식2에 나타내었다.
[수학식2]
Figure 112006044262424-PAT00007
수학식2에서
Figure 112006044262424-PAT00008
내지
Figure 112006044262424-PAT00009
은 각각 인접 픽셀
Figure 112006044262424-PAT00010
내지
Figure 112006044262424-PAT00011
의 신호 강도이고,
Figure 112006044262424-PAT00012
은 중심 픽셀
Figure 112006044262424-PAT00013
의 신호 강도이다. 윈도우 내에서 중심 픽셀
Figure 112006044262424-PAT00014
을 기준으로 하여 인접 픽셀들이 존재 하는 방향은 수평 방향, 수직 방향, 우상-좌하 방향, 및 좌상-우하 방향의 4 방향이며, 중심 픽셀이 엣지 픽셀이라면 이들 4 방향 중 어느 한 방향이 엣지 방향이 된다.
만약 가중치를 구하기 위하여 사용된 윈도우와 엣지 종류를 결정하기 위해 사용되는 윈도우의 크기가 동일하다면, 가중치 결정부(120)가 가중치를 구하기 위하여 계산하였던 중심 픽셀과 인접 픽셀 간의 신호 강도 차이를 그대로 사용하는 것도 가능하다.
중심 픽셀과 인접 픽셀간의 신호 강도 차이가 구해지면, 엣지 판별부(130)는 인접 픽셀이 존재하는 방향 별로 구해진 신호 강도 차이의 합을 계산한다(S520). 이를 수학식3에 나타내었다.
[수학식3]
Figure 112006044262424-PAT00015
수학식3에서
Figure 112006044262424-PAT00016
,
Figure 112006044262424-PAT00017
,
Figure 112006044262424-PAT00018
, 및
Figure 112006044262424-PAT00019
는 각각 윈도우에서 수평 방향의 신호 강도 차이의 합, 수직 방향의 신호 강도 차이의 합, 우상-좌하 방향의 신호 강도 차이의 합, 및 좌상-우하 방향의 신호 강도 차이의 합이다.
그 후 엣지 판별부(130)는
Figure 112006044262424-PAT00020
,
Figure 112006044262424-PAT00021
,
Figure 112006044262424-PAT00022
, 및
Figure 112006044262424-PAT00023
중에서 최소값을 선별하고(S530), 선별된 신호 강도 차이의 합이 구해진 방향에 수직한(orthogonal) 방향의 두 신호 강도 차이 중 적어도 하나가 임계값 보다 큰지 비교한다(S540). 예를 들어 최소값이 수평 방향의 신호 강도 차이의 합
Figure 112006044262424-PAT00024
라면, 엣지 판별부(130)는 수평 방향에 수직한(orthogonal) 방향인 수직 방향의 신호 강도 차이
Figure 112006044262424-PAT00025
Figure 112006044262424-PAT00026
를 임계값과 비교한다. 다른 예로써 우상-좌하 방향의 신호 강도 차이의 합
Figure 112006044262424-PAT00027
가 최소값이라면, 엣지 판별부(130)는 우상-좌하 방향에 수직한 방향인 좌상-우하 방향의 신호 강도 차이
Figure 112006044262424-PAT00028
Figure 112006044262424-PAT00029
를 임계값과 비교한다.
여기서 임계값은 입력 영상의 신호 강도에 따른 노이즈 레벨에 소정의 비례 상수를 곱한 값으로 설정될 수 있는데, 여기서 비례 상수는 입력 영상의 자동이득조절 값에 따라서 동적으로 결정된다. 자동이득조절 값과 비례 상수 간의 관계는 사전 실험을 통하여 노이즈 저감 장치(100)가 적용될 촬영 장치의 특성에 적합하게 설정되어 있을 수 있으며, 그 일 예를 도 7에 도시하였다.
다시 도 5를 참조하면, 과정 S540의 비교 결과 신호 강도 차이 중 적어도 하나가 임계값보다 크다면 엣지 판별부(130)는 과정 S530에서 선별된 최소값에 해당하는 신호 강도 차이의 합의 방향을 엣지 방향으로 결정한다(S550). 그러나 과정 S540의 비교 결과 두 신호 강도 차이 중 어느 것도 임계값보다 크지 않다면 엣지 판별부(130)는 중심 픽셀을 비엣지 픽셀(non-edge pixel)로 결정한다(S560).
다시 도 1을 참조하면, 가중치 보상부(140)는 가중치 결정부(120)에 의하여 결정된 가중치를 엣지 판별부(130)에 의하여 결정된 중심 픽셀의 엣지 방향에 따라서 보상한다. 이 때, 가중치 보상부(140)는 윈도우에서 중심 픽셀을 기준으로 하여 중심 픽셀의 엣지 방향에 대응하는 인접 픽셀이 나머지 인접 픽셀보다 중심 픽셀의 신호 강도를 결정하는데 높은 영향을 미칠 수 있도록, 각 인접 픽셀의 가중치 를 차등적으로 보상한다.
예를 들어 가중치 보상부(140)는 윈도우에서 중심 픽셀의 엣지 유형에 따라서 도 8에 도시된 바와 같은 마스크 값을 할당할 수 있다. 도시된 마스크 값은 중심 픽셀이 엣지 픽셀인 경우 중심 픽셀에 1, 엣지 방향의 인접 픽셀에 0.5, 나머지 인접 픽셀에 0.125로 할당되어 있다. 만약 중심 픽셀이 비엣지 픽셀이라면 중심 픽셀과 모든 인접 픽셀에 마스크 값으로서 1이 할당된다. 가중치 보상부(140)는 이러한 마스크 값과 가중치 결정부(120)가 제공하는 가중치간을 연산하여 보상된 가중치를 제공할 수 있다. 여기서 가중치와 마스크 값 간의 연산의 일 실시예로서 비트 쉬프트 연산(bit shift operation)이 사용될 수 있는데, 이 경우 마스크값 0.5를 위해서는 가중치에 대하여 1비트 쉬프트 연산이 수행되고, 마스크 값 0.125를 위해서는 가중치에 대하여 3비트 쉬프트 연산이 수행될 수 있다.
임펄스 노이즈 판별부(150)는 입력 영상에 임펄스 노이즈가 포함되어 있는지 판별한다. 임펄스 노이즈 판별부(150)는 공지된 다양한 임펄스 노이즈 판별 기술을 사용할 수 있으나, 구체적인 실시예로서 ROAD를 사용하는 경우를 도 9를 참조하여 설명하도록 한다.
임펄스 노이즈를 판별하기 위하여 임펄스 노이즈 판별부(150)는 윈도우에 대하여 ROAD 통계치(Rank-Ordered Absolute Differences statistic)를 계산한다(S910). ROAD는 「Roman Garntt, Timothy Huegerich, Charles Chui, Wenjie He, "A universal Noise Removal Algorithm with an Impulse Detector", IEEE Transactions on Image Processing, Vol. 14, No. 11, November 2005」에 공개되어 있으나, 이하에서 간략히 설명하도록 한다.
입력 영상이 임펄스 노이즈에 의하여 왜곡될 경우, 입력 영상의 픽셀들 중에서 일부가 입력 영상과 무관한 신호 강도를 갖게 된다. 따라서 임펄스 노이즈를 포함하는 픽셀의 신호 강도는 주변 픽셀들의 신호 강도와 높은 차이를 나타내게 되며, 이를 이용하면 임펄스 노이즈를 갖는 픽셀을 구별해낼 수 있다.
우선
Figure 112006044262424-PAT00030
를 (2N+1)*(2N+1) 크기의 윈도우에 포함되는 픽셀들의 좌표 집합이라 한다면,
Figure 112006044262424-PAT00031
는 수학식4와 같이 나타낼 수 있다.
[수학식4]
Figure 112006044262424-PAT00032
수학식4에서 s와 t는 중심 픽셀의 좌표를 (0,0)으로 하는 윈도우 내의 픽셀들의 좌표값을 나타낸다. 만약 입력 영상이 RGB 베이어 패턴으로 처리된 경우라면 도 10에 도시된 바와 같은 실제 윈도우(1010)에서 중심 픽셀과 인접 픽셀 만으로 이루어진 가상의 윈도우(1020)를 가정하고,
Figure 112006044262424-PAT00033
를 가상의 윈도우(1020) 내에서의 픽셀들의 좌표로 이해할 수도 있다.
윈도우 내의 중심 픽셀의 신호 강도를
Figure 112006044262424-PAT00034
라 하고 인접 픽셀들의 신호 강도를
Figure 112006044262424-PAT00035
라 하고,
Figure 112006044262424-PAT00036
Figure 112006044262424-PAT00037
에서 (0,0)을 제외한 좌표 집합이라 한다면, 중심 픽셀과 인접 픽셀 간의 신호 강도 차이의 절대값
Figure 112006044262424-PAT00038
은 수학식5와 같이 나타낼 수 있다.
[수학식5]
Figure 112006044262424-PAT00039
수학식5를 통해 계산된
Figure 112006044262424-PAT00040
값들을 오름차순으로 소팅(sorting)하고,
Figure 112006044262424-PAT00041
를 소팅된
Figure 112006044262424-PAT00042
값들 중에서 k번째로 작은 값이라고 한다면, ROAD는 수학식6과 같이 정의될 수 있다.
[수학식6]
Figure 112006044262424-PAT00043
수학식6에서 m은
Figure 112006044262424-PAT00044
의 범위를 갖는다. m을 4로 설정한다면 ROAD는 중심 픽셀이 자신과 가장 근접한 신호 강도를 갖는 4개의 인접 픽셀과 얼마나 근접한 신호 강도를 갖고 있는가에 대한 정보를 제공한다. 만약 중심 픽셀이 입력 영상 중에서 균일한 색상의 영역에 속해 있다면 중심 픽셀은 인접 픽셀들과 유사한 크기의 신호 강도를 갖을 것이므로 ROAD는 낮은 수치를 나타낼 것이다. 또한, 중심 픽셀이 엣지 상에 존재하더라도 적어도 절반의 인접 픽셀들은 중심 픽셀과 유사한 크기의 신호 강도를 갖을 것이므로 중심 픽셀의 ROAD는 낮은 수치를 나타낼 가능성이 높다. 그러나 중심 픽셀에 임펄스 노이즈가 부가되어 있다면, 중심 픽셀과 인접 픽셀 간의 신호 강도의 차이는 매우 클 것이므로 ROAD는 높은 수치를 나타내게 된다.
다시 도 9를 참조하면, ROAD가 계산된 후 임펄스 노이즈 판별부(150)는 ROAD가 제1 임계치보다 큰지 비교한다(S915). 만약 ROAD가 제1 임계치보다 크다면 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 가해진 것으로 판단한다(S920).
그러나 ROAD가 제1 임계치보다 크지 않다면 임펄스 노이즈 판별부(150)는 ROAD가 제2 임계치보다 작은지 비교한다(S925). 만약 ROAD가 제2 임계치보다 작으면 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 가해지지 않은 것으로 판단한다(S930).
제1 임계치는 제2 임계치보다 큰 값을 갖으며, 제1 임계치와 제2 임계치는 입력 영상의 자동이득조절 값에 따라서 동적으로 결정될 수 있다. 자동이득조절 값에 따른 제1 임계치와 제2 임계치는 사전 실험을 통하여 노이즈 저감 장치(100)가 적용될 촬영 장치의 특성에 적합한 값으로 설정되어 있을 수 있다.
만약 ROAD가 제1 임계치 이하지만 제2 임계치 이상의 값을 갖는다면, 임펄스 노이즈 판별부(150)는 중심 픽셀과 인접 픽셀들의 신호 강도의 분산 값을 계산하고(S935), 분산 값이 제3 임계치보다 큰지 비교한다(S940). 만약 분산 값이 제3 임계치보다 크다면 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 존재하지 않는 것으로 판단할 수 있다(S945). 분산 값이 일정 수준을 벗어난다는 것은 윈도우 내에서 중심 픽셀과 인접 픽셀들의 신호 강도의 편차가 심하다는 것을 의미하며, 이는 중심 픽셀에 영상 정보가 포함되어 있다는 것을 의미할 수 있기 때 문이다.
그러나 분산 값이 제3 임계치보다 크지 않다면, 임펄스 노이즈 판별부(150)는 중심 픽셀과 인접 픽셀들 간의 신호 강도의 차이가 모두 제4 임계치보다 큰지 비교한다(S950). 만약 모든 신호 강도 차이가 제4 임계치보다 크다면 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 가해진 것으로 판단할 수 있다(S955). 중심 픽셀이 인접 픽셀들 모두와 비교적 높은 신호 강도 차이를 나타낸다는 것은 중심 픽셀이 비정상적인 값들을 많이 포함하고 있는 것으로 해석할 수 있기 때문이다.
그러나 중심 픽셀과 인접 픽셀들 간의 신호 강도 차이 중에서 어느 하나라도 제4 임계치보다 크지 않다면, 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 가해지지 않은 것으로 판단한다(S960). 중심 픽셀이 대부분의 인접 픽셀들과 비교적 높은 신호 강도 차이를 나타내더라도 일부 인접 픽셀과 높지 않은 신호 강도 차이를 나타낸다면 중심 픽셀이 엣지 상에 존재하는 것으로 해석할 수 있기 때문이다.
도 9에서는 입력 영상의 조도 값에 관계없이 모든 과정이 수행되는 것처럼 도시되어 있으나 본 발명은 이에 한정되지 않는다. 임펄스 노이즈는 낮은 조도의 입력 영상에서 발생할 가능성이 높다. 따라서 본 발명의 일 실시예에 따르면, 입력 영상의 조도 값이 임계 조도 값보다 작다면 도 9의 과정 S950부터 그 이후의 과정들을 통해서 보다 정교한 임펄스 노이즈 존재 여부에 대한 판별 작업을 수행하도록 하고, 그렇지 않다면 과정 S950부터 그 이후의 과정을 생략함으로써 연산량을 감소시킬 수도 있다. 이 경우 도 9의 과정 S940의 비교 결과 분산 값이 제3 임계치보다 크지 않다면 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 가해지지 않은 것으로 판단할 수 있다.
필터링부(160)는 가중치 보상부(140)에 의하여 보상된 가중치를 사용하여 입력 영상을 필터링한다. 필터링 결과 중심 픽셀과 인접 픽셀들 간의 가중치 합의 평균을 중심 픽셀의 신호 강도로 설정될 수 있다. 보다 구체적으로, 필터링부(160)는 퍼지 스파셜 필터(fuzzy spatial filter)를 사용하여 중심 픽셀의 신호 강도를 결정할 수 있다. 퍼지 스파셜 필터는 수학식7을 통해 나타내었으며, 이에 대한 구체적인 설명은 「Tinku Acharya, Ajoy K. Ray, "Image Processing", Wiley-Interscience, 2005」에 공개되어 있다.
[수학식7]
Figure 112006044262424-PAT00045
수학식7에서
Figure 112006044262424-PAT00046
는 필터링 결과에 따른 중심 픽셀의 최종 신호 강도이고, N은 인접 픽셀의 개수이다. 또한,
Figure 112006044262424-PAT00047
Figure 112006044262424-PAT00048
는 각각 인접 픽셀과 중심 픽셀의 신호 강도이고,
Figure 112006044262424-PAT00049
는 수학식1을 참조하여 설명한 가중치가 가중치 보상부(140)에 의하여 보상된 결과이다.
만약 임펄스 노이즈 판별부(150)에 의해서 중심 픽셀에 임펄스 노이즈가 포 함된 것으로 판단되었다면, 필터링부(160)는 인접 픽셀들의 신호 강도의 평균값으로 중심 픽셀의 최종 신호 강도를 결정한다. 중심 픽셀의 최종 신호 강도를 계산하기 위하여 수학식 7이 사용된다면, 중심 픽셀에 임펄스 노이즈가 포함된 경우
Figure 112006044262424-PAT00050
는 1의 값을 갖게 된다. 이 경우, 임펄스 노이즈가 포함된 중심 픽셀의 신호 강도
Figure 112006044262424-PAT00051
는 필터링되어 최종 신호 강도에 영향을 미치지 않게 된다.
이상의 설명에 따른 노이즈 저감 장치(100)의 동작 과정에 대해서 도 11을 참조하여 설명하도록 한다.
도 11은 본 발명의 일 실시예에 따른 노이즈 저감 방법을 나타낸 흐름도이다.
먼저 노이즈 레벨 산출부(110)는 입력 영상에 대한 노이즈 레벨을 산출한다(S1110). 여기서 노이즈 레벨은 입력 영상 촬영 시의 자동이득조절 값에 따른 제1 노이즈 레벨과, 입력 영상의 신호 강도에 따른 제2 노이즈 레벨 중에서 적어도 하나를 포함한다.
그 후, 가중치 결정부(120)는 입력 영상에서 노이즈 저감 대상이 되는 픽셀을 중심 픽셀로 하는 소정 크기의 윈도우 내의 인접 픽셀들에 할당할 가중치를 계산한다(S1120). 또한, 엣지 판별부(130)는 윈도우의 중심 픽셀의 엣지 방향을 판별한다(S1130).
그 후, 가중치 보상부(140) 중심 픽셀의 엣지 방향에 따라서 가중치 결정부(120)가 제공하는 가중치를 보상하고(S1140), 임펄스 노이즈 판별부(150)는 중심 픽셀에 임펄스 노이즈가 포함되어 있는지 판단한다(S1150).
만약 중심 픽셀에 임펄스 노이즈가 포함되지 않았다면, 필터링부(160)는 보상된 가중치를 사용하여 중심 픽셀의 노이즈를 제거한다(S1160). 이 때 중심 픽셀의 최종 신호 강도는 중심 픽셀의 원래의 신호 강도와 인접 픽셀들 각각의 신호 강도 간의 가중치 합의 평균값을 가질 수 있다.
그러나 중심 픽셀에 임펄스 노이즈가 포함되어 있다면, 필터링부(160)는 보상된 가중치와 무관하게 중심 픽셀에 포함된 임펄스 노이즈를 제거한다(S1170). 이 때 중심 픽셀의 최종 신호 강도는 인접 픽셀들의 신호 강도의 평균값을 가질 수 있다.
만약 입력 영상의 모든 픽셀에 대하여 노이즈 제거 작업이 수행되었다면(S1180) 노이즈 저감 과정이 종료된다. 그러나 노이즈 제거 작업이 수행되지 않은 픽셀이 존재한다면 입력 영상에서 윈도우의 위치가 이동되고(S1190), 과정 S1120 및 이후의 과정이 반복된다.
도 11의 과정은 입력 영상의 각 광학 채널 별로 수행될 수 있다. 예를 들어 입력 영상이 RGB 도메인을 갖는다면 도 11의 과정은 R 채널, G 채널, 및 B 채널 별로 수행되고, 입력 영상이 YCrCb 도메인을 갖는다면 도 11의 과정은 Y 채널, Cr 채널, 및 Cb 채널 별로 수행될 수 있다.
도 12는 본 발명의 일 실시예에 따른 노이즈 저감 장치(100)가 구비된 촬영 장치(1200)를 나타낸 블록도이다. 도시된 촬영 장치(1200)는 촬영부(1210), 제1 노이즈 저감부(1220), 영상 보정부(1230), 색 변환부(1240), 제2 노이즈 저감 부(1250)를 포함한다. 앞서 설명한 노이즈 저감 장치(100)는 도시된 촬영 장치(1200)에서 제1 노이즈 저감부(1220)와 제2 노이즈 저감부(1250)로 모듈화 되어 있다.
촬영부(1210)는 영상을 캡쳐하여 입력 영상을 제공하는데, 렌즈(1212), 렌즈(1212)의 초점을 조절하는 자동 초점 제어부(1214), 렌즈(1212)의 수광량을 조절하는 자동 노출 제어부(1216), 및 렌즈(1212)를 통하여 수집된 광을 촬상시키는 이미지 센서(1218)를 포함한다. 여기서 이미지 센서(1218)는 RGB 베이어 패턴의 입력 영상을 제공한다.
제1 노이즈 저감부(1220)는 R, G, B 각 채널에 대하여 입력 영상의 노이즈를 저감시킨다. 제1 노이즈 저감부(1220)의 기능은 도 1 내지 도 11을 참조하여 설명한 노이즈 저감 장치(100)에 대한 설명을 통해서 이해될 수 있을 것이다. 노이즈 저감 작업이 필요한 입력 영상의 신호 강도, 자동이득조절 값, 및 조도 값에 대한 정보는 자동 노출부(1216)로부터 획득할 수 있다.
영상 보정부(1230)는 제1 노이즈 저감부(1220)에 의하여 노이즈가 제거된 입력 영상이 원 영상과 달리 갖고 있는 왜곡 정보를 보정한다. 영상 보정부(1230)는 입력 영상의 색 온도를 원 영상에 가깝게 조절하는 자동 백색 조절부(1232), 입력 영상의 픽셀들 간의 RGB 값을 보간(interpolation)하여 베이어 패턴의 각 픽셀에 RGB 값을 모두 분포시키는 보간부(1234), 및 색 보정(color calibration) 작업을 수행하는 색 처리부(1236)를 포함한다.
색 변환부(1240)는 영상 보정부(1230)에 의하여 보정된 입력 영상의 색 도메 인을 RGB에서 YCrCb 또는 YUV로 변환한다.
제1 노이즈 저감부(1220)에 의하여 노이즈가 제거된 입력 영상일지라도, 영상 보정부(1230)에 의한 각종 처리 작업과 색 변환부(1240)의 색 도메인 변환 작업에 따라서 입력 영상의 노이즈 특성이 변화하거나 입력 영상의 픽셀 간에 노이즈의 상관(correlation)으로 인하여 특정 노이즈 성분이 증가할 수 있다. 따라서 2차적으로 입력 영상의 노이즈를 제거하는 작업이 필요하며, 제2 노이즈 저감부(1250)가 이를 수행한다. 제2 노이즈 저감부(1250)의 기능 또한 도 1 내지 도 11을 참조하여 설명한 노이즈 저감 장치(100)를 통하여 이해될 수 있을 것이다. 다만, 제1 노이즈 저감부(1220)가 R, G, B 채널에 대하여 노이즈 제거 작업을 수행한 반면, 제2 노이즈 저감부(1250)는 광학 채널을 달리하여 Y, Cr, Cb 채널 또는 Y, U, V 채널에 대하여 노이즈 제거 작업을 수행하게 된다. 또한 입력 영상의 임펄스 노이즈는 제1 노이즈 저감부(1220)에 의하여 이미 제거된 상태이므로, 제2 노이즈 저감부(1250)의 경우에는 도 1의 노이즈 저감 장치(100)에서 임펄스 노이즈 판별부(150)의 기능은 생략되는 것이 바람직하다.
제2 노이즈 저감부(1250)에 의하여 노이즈가 제거된 입력 영상은 소정의 저장 매체에 저장되거나, 디스플레이 패널을 통하여 디스플레이될 수 있다.
이상의 설명에서 노이즈 저감 장치(100)를 구성하는 구성요소들과 촬영 장치(1200)를 구성하는 구성 요소들을 지칭하는 '~부'는 일종의 모듈로 구현될 수 있다. 여기서 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명의 노이즈 저감 방법 및 장치에 따르면 입력 영상의 노이즈를 제거하여 출력 영상의 화질을 개선하는 효과가 하나 혹은 그 이상 있다.

Claims (31)

  1. 입력 영상의 노이즈 레벨을 산출하는 단계; 및
    상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 단계를 포함하는, 노이즈 저감 방법.
  2. 제 1항에 있어서,
    상기 노이즈 레벨은 상기 입력 영상 촬영 시의 자동 이득 조절 값에 따른 제1 노이즈 레벨과, 상기 입력 영상의 신호 강도에 따른 제2 노이즈 레벨 중에서 적어도 하나를 포함하는, 노이즈 저감 방법.
  3. 제 1항에 있어서, 상기 제거하는 단계는,
    상기 신호 강도의 차이와 상기 노이즈 레벨에 따라서 상기 인접 픽셀들 각각에 적용될 상기 가중치를 계산하는 단계;
    상기 중심 픽셀의 엣지 방향에 따라서 상기 계산된 가중치를 보상하는 단계; 및
    상기 중심 픽셀의 신호 강도와 상기 인접 픽셀들 각각의 신호 강도 간의 가중치 합의 평균값을 상기 중심 픽셀의 최종 신호 강도로 출력하는 단계를 포함하고,
    상기 가중치 합의 평균값은 상기 가중치를 이용하여 계산되는, 노이즈 저감 방법.
  4. 제 3항에 있어서, 상기 가중치를 계산하는 단계는,
    상기 신호 강도의 차이에 따라서 결과 값이 가우시안 분포를 갖는 퍼지 소속 함수를 이용하여 상기 가중치를 계산하는 단계를 포함하는, 노이즈 저감 방법.
  5. 제 3항에 있어서, 상기 보상하는 단계는,
    상기 중심 픽셀의 엣지 방향에 따라서 상기 인접 픽셀들에 소정의 마스크 값을 할당하는 단계; 및
    상기 인접 픽셀들의 가중치를 상기 마스크 값과 연산하여 상기 보상된 가중치를 제공하는 단계를 포함하는, 노이즈 저감 방법.
  6. 제 5항에 있어서,
    상기 인접 픽셀들 중에서 상기 중심 픽셀을 기준으로 하여 상기 중심 픽셀의 엣지 방향에 해당하는 적어도 하나 이상의 인접 픽셀은 나머지 인접 픽셀 보다 높은 마스크 값을 할당 받는, 노이즈 저감 방법.
  7. 제 5항에 있어서,
    상기 연산은 비트 쉬프트 연산인, 노이즈 저감 방법.
  8. 제 3항에 있어서,
    상기 가중치 합의 평균은 퍼지 스파셜 필터를 이용하여 계산되는, 노이즈 저감 방법.
  9. 제 3항에 있어서, 상기 출력하는 단계는,
    상기 중심 픽셀에 임펄스 노이즈가 포함된 경우 상기 인접 픽셀들의 신호 강도의 평균값을 상기 중심 픽셀의 최종 신호 강도로 출력하는 단계를 포함하는, 노이즈 저감 방법.
  10. 제 9항에 있어서, 상기 출력하는 단계는,
    상기 윈도우에 대하여 계산된 ROAD(Rank-Ordered Absolute Differences statistic)를 사용하여 상기 중심 픽셀에 임펄스 노이즈가 포함되었는지의 여부를 판단하는 단계를 포함하는, 노이즈 저감 방법.
  11. 제 10항에 있어서, 상기 판단하는 단계는,
    상기 ROAD가 제1 임계치보다 큰 경우 상기 중심 픽셀에 상기 임펄스 노이즈가 포함된 것으로 결정하는 단계를 포함하는, 노이즈 저감 방법.
  12. 제 10항에 있어서, 상기 판단하는 단계는,
    상기 ROAD가 제1 임계치 이하이면서 제2 임계치 이상이고, 상기 중심 픽셀과 상기 인접 픽셀들의 신호 강도의 분산이 제3 임계치보다 큰 경우 상기 중심 픽셀에 상기 임펄스 노이즈가 포함되지 않은 것으로 결정하는 단계를 포함하는, 노이즈 저감 방법.
  13. 제 10항에 있어서, 상기 판단하는 단계는,
    상기 ROAD가 제1 임계치 이하이면서 제2 임계치 이상이고, 상기 중심 픽셀과 상기 인접 픽셀들의 신호 강도의 분산이 제3 임계치 이하이면, 상기 중심 픽셀과 상기 인접 픽셀들 간의 신호 강도의 차이가 모두 제4 임계치보다 큰 경우 상기 중심 픽셀에 상기 임펄스 노이즈가 포함된 것으로 결정하는 단계를 포함하는, 노이즈 저감 방법.
  14. 제 13항에 있어서,
    상기 결정하는 단계는 상기 입력 영상의 조도 값이 임계 조도 값보다 작은 경우에 수행되는, 노이즈 저감 방법.
  15. 제 1항에 있어서,
    상기 노이즈 레벨은 상기 입력 영상의 광학 채널 별로 산출되고,
    상기 제거하는 단계는 상기 광학 채널 별로 상기 중심 픽셀의 노이즈를 제거하는 단계를 포함하는, 노이즈 저감 방법.
  16. 입력 영상의 노이즈 레벨을 산출하는 노이즈 레벨 산출부; 및
    상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 필터링부를 포함하는, 노이즈 저감 장치.
  17. 제 16항에 있어서,
    상기 노이즈 레벨은 상기 입력 영상 촬영 시의 자동 이득 조절 값에 따른 제1 노이즈 레벨과, 상기 입력 영상의 신호 강도에 따른 제2 노이즈 레벨 중에서 적어도 하나를 포함하는, 노이즈 저감 장치.
  18. 제 16항에 있어서,
    상기 신호 강도의 차이와 상기 노이즈 레벨에 따라서 상기 인접 픽셀들 각각에 적용될 상기 가중치를 계산하는 가중치 계산부;
    상기 중심 픽셀의 엣지 방향에 따라서 상기 계산된 가중치를 보상하는 가중치 보상부를 더 포함하고,
    상기 필터링부는 상기 중심 픽셀의 신호 강도와 상기 인접 픽셀들 각각의 신호 강도 간의 가중치 합의 평균값을 상기 가중치를 이용하여 계산하고 상기 계산된 평균값을 상기 중심 픽셀의 최종 신호 강도로 출력하는, 노이즈 저감 장치.
  19. 제 18항에 있어서,
    상기 가중치 계산부는 상기 신호 강도의 차이에 따라서 결과 값이 가우시안 분포를 갖는 퍼지 소속 함수를 이용하여 상기 가중치를 계산하는, 노이즈 저감 장치.
  20. 제 18항에 있어서,
    상기 가중치 보상부는 상기 중심 픽셀의 엣지 방향에 따라서 상기 인접 픽셀들에 소정의 마스크 값을 할당하고, 상기 인접 픽셀들의 가중치를 상기 마스크 값과 연산하여 상기 보상된 가중치를 제공하는, 노이즈 저감 장치.
  21. 제 20항에 있어서,
    상기 가중치 보상부는 상기 인접 픽셀들 중에서 상기 중심 픽셀을 기준으로 하여 상기 중심 픽셀의 엣지 방향에 해당하는 적어도 하나 이상의 인접 픽셀에 나머지 인접 픽셀 보다 높은 마스크 값을 할당하는, 노이즈 저감 장치.
  22. 제 20항에 있어서,
    상기 연산은 비트 쉬프트 연산인, 노이즈 저감 장치.
  23. 제 18항에 있어서,
    상기 필터링부는 퍼지 스파셜 필터를 이용하여 상기 가중치 합의 평균을 계산하는, 노이즈 저감 장치.
  24. 제 18항에 있어서,
    상기 필터링부는 상기 중심 픽셀에 임펄스 노이즈가 포함된 경우 상기 인접 픽셀들의 신호 강도의 평균값을 상기 중심 픽셀의 최종 신호 강도로 출력하는, 노이즈 저감 장치.
  25. 제 24항에 있어서,
    상기 윈도우에 대하여 계산된 ROAD(Rank-Ordered Absolute Differences statistic)를 사용하여 상기 중심 픽셀에 임펄스 노이즈가 포함되었는지의 여부를 판단하는 임펄스 노이즈 판별부를 더 포함하는, 노이즈 저감 장치.
  26. 제 25항에 있어서,
    상기 임펄스 노이즈 판별부는 상기 ROAD가 제1 임계치보다 큰 경우 상기 중심 픽셀에 상기 임펄스 노이즈가 포함된 것으로 판단하는, 노이즈 저감 장치.
  27. 제 25항에 있어서,
    상기 임펄스 노이즈 판별부는 상기 ROAD가 제1 임계치 이하이면서 제2 임계치 이상이고, 상기 중심 픽셀과 상기 인접 픽셀들의 신호 강도의 분산이 제3 임계 치보다 큰 경우 상기 중심 픽셀에 상기 임펄스 노이즈가 포함되지 않은 것으로 판단하는, 노이즈 저감 장치.
  28. 제 25항에 있어서,
    상기 임펄스 노이즈 판별부는 상기 ROAD가 제1 임계치 이하이면서 제2 임계치 이상이고, 상기 중심 픽셀과 상기 인접 픽셀들의 신호 강도의 분산이 제3 임계치 이하이고, 상기 중심 픽셀과 상기 인접 픽셀들 간의 신호 강도의 차이가 모두 제4 임계치보다 큰 경우, 상기 중심 픽셀에 상기 임펄스 노이즈가 포함된 것으로 판단하는, 노이즈 저감 장치.
  29. 제 28항에 있어서,
    상기 임펄스 노이즈 판별부는 상기 입력 영상의 조도 값이 임계 조도 값보다 작은 경우 상기 중심 픽셀에 임펄스 노이즈가 포함되었는지의 여부를 판단하는, 노이즈 저감 장치.
  30. 제 16항에 있어서,
    상기 노이즈 레벨은 상기 입력 영상의 광학 채널 별로 산출되고,
    상기 제거하는 단계는 상기 광학 채널 별로 상기 중심 픽셀의 노이즈를 제거하는 단계를 포함하는, 노이즈 저감 방법.
  31. 소정의 피사체를 촬상하여 입력 영상을 제공하는 촬영부; 및
    상기 입력 영상의 노이즈 레벨을 산출하고, 상기 입력 영상에서 소정의 크기의 윈도우 내의 중심 픽셀과 복수의 인접 픽셀들 간의 신호 강도의 차이와 상기 노이즈 레벨에 따라서 결정되는 가중치를 이용하여 상기 중심 픽셀의 노이즈를 제거하는 노이즈 저감부를 포함하는, 촬영 장치.
KR1020060056519A 2006-06-22 2006-06-22 노이즈 저감 방법 및 장치 KR100843084B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060056519A KR100843084B1 (ko) 2006-06-22 2006-06-22 노이즈 저감 방법 및 장치
US11/806,838 US8467003B2 (en) 2006-06-22 2007-06-04 Noise reduction method, medium, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060056519A KR100843084B1 (ko) 2006-06-22 2006-06-22 노이즈 저감 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070121440A true KR20070121440A (ko) 2007-12-27
KR100843084B1 KR100843084B1 (ko) 2008-07-02

Family

ID=38873194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060056519A KR100843084B1 (ko) 2006-06-22 2006-06-22 노이즈 저감 방법 및 장치

Country Status (2)

Country Link
US (1) US8467003B2 (ko)
KR (1) KR100843084B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105689B1 (ko) * 2010-02-09 2012-01-17 아엠아이테크 주식회사 십자 형태의 윈도우 특성을 이용한 변형된 형태의 메디안 노이즈 제거 필터링 방법
KR20120018915A (ko) * 2010-08-24 2012-03-06 삼성전자주식회사 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
KR20120050678A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR101327789B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
US8810602B2 (en) 2009-06-09 2014-08-19 Samsung Electronics Co., Ltd. Image processing apparatus, medium, and method
KR101431715B1 (ko) * 2013-08-09 2014-08-22 성균관대학교산학협력단 선형 회귀 분석을 이용한 합산 영역 테이블의 정밀도 향상을 위한 방법 및 장치 및 이를 이용한 영상 이미지 복원을 위한 필터링 방법 및 장치
WO2016190698A1 (ko) * 2015-05-27 2016-12-01 한양대학교 에리카산학협력단 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
CN113014745A (zh) * 2021-02-26 2021-06-22 杭州朗和科技有限公司 视频图像降噪方法及装置、存储介质及电子设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI319676B (en) * 2006-10-18 2010-01-11 Quanta Comp Inc Image processing apparatus and method
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
JP4683343B2 (ja) * 2007-12-27 2011-05-18 株式会社 日立ディスプレイズ 色信号生成装置
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
KR101557100B1 (ko) * 2009-02-13 2015-10-02 삼성전자주식회사 선명도 향상부를 포함하는 영상 처리 장치
US8861885B2 (en) * 2009-08-26 2014-10-14 Apple Inc. Directional noise filtering
KR101101441B1 (ko) 2010-09-07 2012-01-02 삼성전기주식회사 노이즈 저감장치 및 방법
US8355064B2 (en) 2010-09-27 2013-01-15 Sharp Laboratories Of America, Inc. Noise reduction for machine vision systems
JP5603796B2 (ja) * 2011-02-10 2014-10-08 株式会社キーエンス 画像検査装置、画像検査方法、及びコンピュータプログラム
JP5926043B2 (ja) * 2011-12-02 2016-05-25 三星電子株式会社Samsung Electronics Co.,Ltd. 情報処理装置及び情報処理方法
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN105809630B (zh) * 2014-12-30 2019-03-12 展讯通信(天津)有限公司 一种图像噪声过滤方法及系统
CN105915761A (zh) * 2015-07-24 2016-08-31 乐视云计算有限公司 一种自适应视频空域去噪方法及装置
CN107231642B (zh) * 2016-03-25 2020-10-16 上海宽翼通信科技有限公司 一种wifi无线路由器及其天线方向自动优化方法
US10043252B2 (en) * 2016-06-14 2018-08-07 Intel Corporation Adaptive filtering with weight analysis
US10719916B2 (en) * 2018-08-02 2020-07-21 Apple Inc. Statistical noise estimation systems and methods
KR102512091B1 (ko) * 2022-07-29 2023-03-20 주식회사 다누시스 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013718A (ja) * 1996-06-18 1998-01-16 Oki Electric Ind Co Ltd ノイズ除去回路
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
JP3503372B2 (ja) * 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
DE69724412D1 (de) * 1997-05-12 2003-10-02 St Microelectronics Srl Adaptive Intra-Bild-Gauss-Rauschminderung unter Verwendung von unscharfer Logik
KR100249653B1 (ko) * 1997-06-24 2000-03-15 전주범 펄스성 노이즈 제거 장치
JP4662584B2 (ja) 1998-01-27 2011-03-30 イーストマン コダック カンパニー 画像センサのライン毎ノイズ除去装置及び方法
US6970268B1 (en) * 1999-02-05 2005-11-29 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
US6681054B1 (en) * 2000-05-01 2004-01-20 Eastman Kodak Company Noise reduction method utilizing probabilistic weighting, apparatus, and program for digital image processing
US6633683B1 (en) * 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
KR100327385B1 (en) * 2000-07-18 2002-03-13 Lg Electronics Inc Spatio-temporal three-dimensional noise filter
US6982752B2 (en) 2001-08-23 2006-01-03 Motorola, Inc Circuit and method for correcting a digital color sampled signal
US7110612B1 (en) * 2001-10-11 2006-09-19 Pixelworks, Inc. Weighted absolute difference based noise reduction method and apparatus
KR100900485B1 (ko) 2002-10-26 2009-06-03 삼성디지털이미징 주식회사 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
KR100510687B1 (ko) * 2003-04-25 2005-08-31 엘지전자 주식회사 디스플레이 기기의 임펄스성 노이즈 감소 방법
US7346226B2 (en) * 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
KR20060019897A (ko) 2004-08-30 2006-03-06 매그나칩 반도체 유한회사 노이즈 제거가 가능한 이미지센서의 디지털 신호 처리장치 및 이미지센서의 노이즈 제거 방법
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
KR100672328B1 (ko) * 2005-01-18 2007-01-24 엘지전자 주식회사 영상신호의 잡음 크기 추정 장치
US20070132865A1 (en) * 2005-12-12 2007-06-14 Eastman Kodak Company Filtered noise reduction in digital images
TWI324013B (en) * 2006-02-22 2010-04-21 Huper Lab Co Ltd Video noise reduction method using adaptive spatial and motion-compensation temporal filters

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327789B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
US8810602B2 (en) 2009-06-09 2014-08-19 Samsung Electronics Co., Ltd. Image processing apparatus, medium, and method
KR101105689B1 (ko) * 2010-02-09 2012-01-17 아엠아이테크 주식회사 십자 형태의 윈도우 특성을 이용한 변형된 형태의 메디안 노이즈 제거 필터링 방법
KR20120018915A (ko) * 2010-08-24 2012-03-06 삼성전자주식회사 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
KR20120050678A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR101431715B1 (ko) * 2013-08-09 2014-08-22 성균관대학교산학협력단 선형 회귀 분석을 이용한 합산 영역 테이블의 정밀도 향상을 위한 방법 및 장치 및 이를 이용한 영상 이미지 복원을 위한 필터링 방법 및 장치
WO2016190698A1 (ko) * 2015-05-27 2016-12-01 한양대학교 에리카산학협력단 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
CN113014745A (zh) * 2021-02-26 2021-06-22 杭州朗和科技有限公司 视频图像降噪方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20070296871A1 (en) 2007-12-27
KR100843084B1 (ko) 2008-07-02
US8467003B2 (en) 2013-06-18

Similar Documents

Publication Publication Date Title
KR100843084B1 (ko) 노이즈 저감 방법 및 장치
CN108600725B (zh) 一种基于rgb-ir图像数据的白平衡校正装置及方法
US8391629B2 (en) Method and apparatus for image noise reduction using noise models
KR100791391B1 (ko) 노이즈 저감 방법 및 장치
US7999867B2 (en) Image edge detection apparatus and method, image sharpness emphasizing apparatus and method, recorded meduim recorded the program performing it
US7969480B2 (en) Method of controlling auto white balance
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP2004522372A (ja) 時空間適応的雑音除去/高画質復元方法及びこれを応用した高画質映像入力装置
US20080112639A1 (en) Method and apparatus for removing noise in dark area of image
US9830690B2 (en) Wide dynamic range imaging method
KR101336240B1 (ko) 저장된 영상을 이용한 영상 처리 방법 및 장치
KR100627615B1 (ko) 조정 가능한 임계값을 이용한 노이즈 제거 장치
CN111654686B (zh) 去除图像彩噪的方法、去除视频彩噪的方法及相关装置
US10728440B2 (en) Apparatus for generating and displaying a focus assist image indicating a degree of focus for a plurality of blocks obtained by dividing a frame of image signal
JP2009544223A (ja) デジタル画像におけるモスキート・ノイズを低減するための方法及びシステム
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101143834B1 (ko) 화이트 밸런스 보정 장치 및 방법
CN114511469B (zh) 一种图像智能降噪先验检测方法
US11488286B2 (en) Method for determining Moire pattern, method for suppressing Moire pattern and circuit system thereof
JP2001189878A (ja) 撮像装置
KR100769561B1 (ko) 노이즈 제거에 사용되는 임계값 결정 장치 및 방법
JP2010239493A (ja) 撮像装置および映像信号の補正処理方法
CN117256158A (zh) 用于检测缺陷像素的方法和图像处理器单元
KR20070119150A (ko) 음영보상장치 및 보상방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140522

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160518

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180518

Year of fee payment: 11