KR101778461B1 - 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 - Google Patents
저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 Download PDFInfo
- Publication number
- KR101778461B1 KR101778461B1 KR1020160113511A KR20160113511A KR101778461B1 KR 101778461 B1 KR101778461 B1 KR 101778461B1 KR 1020160113511 A KR1020160113511 A KR 1020160113511A KR 20160113511 A KR20160113511 A KR 20160113511A KR 101778461 B1 KR101778461 B1 KR 101778461B1
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- image
- video signal
- space
- motion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 claims description 39
- 230000002123 temporal effect Effects 0.000 claims description 33
- 230000009467 reduction Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000008030 elimination Effects 0.000 claims description 10
- 238000003379 elimination reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 13
- 206010047571 Visual impairment Diseases 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000003068 static effect Effects 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H04N5/23251—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- G06T5/002—
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H04N5/2351—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Abstract
본 발명은 저조도 영상의 노이즈 제거 방법 및 노이즈 제거 장치에 관한 것이다. 본 발명의 일실시예에 따르면, 영상 신호를 수신하는 단계; 상기 영상 신호의 화소간 편차 정보를 상기 영상 신호에 적용하여 상기 영상 신호로부터 고정 패턴 노이즈를 제거하는 단계; 상기 영상 신호 내의 배경 신호, 상기 영상 신호의 이전 영상 신호, 상기 영상 신호의 현재 영상 신호를 이용하여 측정된 움직임 정보를 기반으로 시공간 노이즈 제거 필터의 계수를 생성하는 단계; 상기 생성된 시공간 노이즈 제거 필터의 계수를 포함하는 상기 시공간 노이즈 제거 필터를 상기 영상 신호에 적용하여 랜덤 노이즈를 제거하는 단계; 상기 영상 신호를 색공간 변환하여 분리되는 밝기 성분을 증폭하는 단계를 포함하는 저조도 영상의 노이즈 제거 방법이 제공된다.
Description
본 발명은 노이즈 제거 기술에 관한 것으로서, 더욱 상세하게는, 저조도 환경에서 촬영된 영상의 노이즈의 제거 방법 및 노이즈 제거 장치에 관한 것이다.
조도가 낮은 어두운 저조도 환경에서 카메라와 같은 영상 획득 장치로 영상을 촬영하는 경우, 일반적으로 두 가지 화질 열화 문제가 발생할 수 있다. 첫 번째로, 충분한 노출(exposure) 확보를 위해 장 노출 시간(long exposure time)을 설정하여 촬영하는 경우, 셔터 스피드가 길어지게 되고, 영상 획득 장치의 흔들림이나 오브젝트의 움직임에 의한 모션 블러(motion blur) 현상이 발생할 수 있다. 두 번째로, 단 노출 시간(short exposure time)의 고감도(high ISO)로 설정하여 촬영하는 경우, 강한 영상 노이즈와 함께 컬러 왜곡 문제가 발생할 수 있다.
위와 같은 저조도 환경에서 촬영된 영상의 화질 열화 문제를 해결하기 위하여, 한 장의 결과 영상에서 모션 블러를 제거하는 기술 및 고성능의 노이즈 제거 기술이 개발되어 왔다. 최근에는 위와 같은 문제를 해결하기 위해 한 장의 영상이 아닌 여러 장의 영상을 연속적으로 촬영한 후, 이를 융합 처리하는 기술이 개발되고 있으며, 저조도 환경에서 고선명의 영상을 획득하기 위한 기술이 계속적으로 요구되고 있다.
본 발명이 이루고자 하는 기술적 과제는, 저조도 영상의 노이즈를 제거하기 위하여 화소 편차로 인한 화질 저하가 개선된 노이즈 제거 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 시간적 노이즈 뿐만 아니라 공간적 노이즈를 제거함으로써, 저조도 영상의 강한 노이즈를 제거할 수 있는 노이즈 제거 장치를 제공하는 것이다.
본 발명의 일실시예에 따르면, 영상 신호를 수신하는 단계; 상기 영상 신호의 화소간 편차 정보를 상기 영상 신호에 적용하여 상기 영상 신호로부터 고정 패턴 노이즈를 제거하는 단계; 상기 영상 신호 내의 배경 신호, 상기 영상 신호의 이전 영상 신호, 상기 영상 신호의 현재 영상 신호를 이용하여 측정된 움직임 정보를 기반으로 시공간 노이즈 제거 필터의 계수를 생성하는 단계; 상기 생성된 시공간 노이즈 제거 필터의 계수를 포함하는 시공간 노이즈 제거 필터를 상기 영상 신호에 적용하여 랜덤 노이즈를 제거하는 단계; 및 상기 영상 신호를 색공간 변환하여 분리되는 밝기 성분을 증폭하는 단계를 포함할 수 있다.
일실시예에서, 상기 화소간 편차 정보는 상기 영상 신호의 비트스트림으로부터 추출되거나 상기 영상 신호 수신 후 상기 영상 신호로부터 산출될 수 있다.
또는, 상기 화소간 편차 정보는 상기 영상 신호의 캘리브레이션 수행시 산출될 수 있다.
상기 고정 패턴 노이즈를 제거하는 단계는, 상기 수신된 영상 신호에 상기 화소간 편차 정보를 적용하는 단계; 및 상기 영상 신호에 상기 시공적 노이즈 제거 기법을 적용할 수 있다. 또한, 상기 화소간 편차 정보는 동일 프레임에 포함되는 화소 간의 화소값의 차이 정보일 수 있다.
일실시예에서, 상기 움직임 정보는 상기 배경 신호와 상기 현재 영상 신호의 제 1 차 영상 신호 및 상기 현재 영상 신호와 상기 이전 영상 신호의 제 2 차 영상 신호에 근거하여 결정될 수 있다.
또한, 상기 시공간 노이즈 제거 필터의 계수는 상기 움직임 정보에 기초하여 상기 영상 현재 신호를 배경 영역 또는 움직임 영역으로 구분하여 생성될 수 있다. 일실시예에서는, 상기 색공간 변환이 YCuCv 변환일 수 있다.
일실시예에서, 상기 밝기 성분을 증폭하는 단계 이후에 색상, 채도 및 진하기 좌표를 이용하여 색을 지정하는 HSV 색공간 변환을 적용하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 저조도 영상의 노이즈 제거 장치는 영상 신호를 수신하고, 상기 영상 신호의 화소간 편차 정보 상기 영상 신호에 적용하여 상기 영상 신호로부터 고정 패턴 노이즈를 제거하는 화소 편차 보정부; 상기 영상 신호 내의 배경 신호, 상기 영상 신호의 이전 영상 신호, 상기 영상 신호의 현재 영상 신호를 이용하여 측정된 움직임 정보를 기반으로 생성된 노이즈 제거 필터의 계수를 상기 영상 신호에 적용하는 움직임 검출 기반 시공간 노이즈 제거부; 및 상기 영상 신호를 색공간 변환하여 분리되는 밝기 성분을 증폭하는 명암 복원부를 포함할 수 있다.
본 발명의 실시예에 따르면, 영상 신호의 화소간 편차 정보를 이용하여 상기 영상 신호로부터 시간적 노이즈 뿐만 아니라 고정 패턴 노이즈를 효과적으로 제거하는 노이즈 제거 방법이 제공될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 영상 신호의 배경 신호, 이전 영상 신호, 및 현재 영상 신호를 이용하여 시공간 노이즈 제거 필터의 계수를 조절함으로써, 움직임 검출을 기반으로 시공간 노이즈를 효과적으로 제거하는 노이즈 제거 방법이 제공될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 상기 이점을 갖는 노이즈 제거 방법을 채택함으로써 복잡도가 낮으면서 저조도 환경에서 획득된 영상의 화질을 개선하는 노이즈 제거 장치가 제공될 수 있다.
도 1a 내지 도 1c는 일반 조도 환경에서의 자동 이득 제어 온-오프에 따른 영상 및 화소 값 분포를 나타내고, 도 1d 내지 도 1f는 저조도 환경에서의 자동 이득 제어 온-오프에 따른 영상 및 화소 값 분포를 나타낸다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 움직임 검출부의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 시공간 노이즈 제거부의 구성을 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 저조도 영상의 시공간 노이즈 제거 방법을 도시한 순서도이다.
도 6a는 획득한 영상의 화소 값의 공간적 평균값이 같도록 가정하기 위하여 화이트 보드를 이용한 저조도 영상을 나타낸 것이고, 도 6b는 저조도 영상에서 종래의 방식으로 시간적 노이즈를 제거한 영상이며, 도 6c는 저조도 영상으로부터 종래의 시공간 필터를 이용하여 패턴 노이즈를 제거한 영상이다. 또한, 도 6d는 본 발명의 일실시예에 따른 화소 간 편차 보정부의 출력 영상을 나타내는 것이다.
도 7은 본 발명의 일실시예 따른 움직임 히스토리 버퍼의 움직임 검출 방법을 나타내는 것이다.
도 8a는 저조도 환경에서 취득한 움직임 영상 신호를 나타내고, 도 8b는 상기 움직임 영상 신호의 배경 영상과 정규화(normalization)된 2차원 영상의 차 영상이다. 또한, 도 8c는 본 발명의 일실시예에 따른 시간적 랩핑에 의한 움직임 검출 영상을 나타내며, 도 8d는 공간적 랩핑에 의한 움직임 검출 영상 이미지이다.
도 9a 및 도 9b는 본 발명의 일실시예에 따른 상기 시공간 노이즈 제거 필터의 계수 α를 조절하기 위한 그래프를 나타낸다
도 10a 내지 도 10f는 본 발명의 일실시예에 따른 노이즈 제거 영상 및 종래의 노이즈 제거 방식을 따른 영상이다. 도 10a는 가우시안 노이즈 및 포아송 노이즈가 포함된 영상이고, 도 10b 내지 도 10e는 종래의 노이즈 제거 방식이 적용된 영상이며, 도 10f는 본 발명의 일실시예에 따른 노이즈 제거 영상이다.
도 11a 내지 도 11f는 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상과 본 발명의 일실시예에 따른 시공간 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상을 나타낸 것이다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 움직임 검출부의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 시공간 노이즈 제거부의 구성을 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 저조도 영상의 시공간 노이즈 제거 방법을 도시한 순서도이다.
도 6a는 획득한 영상의 화소 값의 공간적 평균값이 같도록 가정하기 위하여 화이트 보드를 이용한 저조도 영상을 나타낸 것이고, 도 6b는 저조도 영상에서 종래의 방식으로 시간적 노이즈를 제거한 영상이며, 도 6c는 저조도 영상으로부터 종래의 시공간 필터를 이용하여 패턴 노이즈를 제거한 영상이다. 또한, 도 6d는 본 발명의 일실시예에 따른 화소 간 편차 보정부의 출력 영상을 나타내는 것이다.
도 7은 본 발명의 일실시예 따른 움직임 히스토리 버퍼의 움직임 검출 방법을 나타내는 것이다.
도 8a는 저조도 환경에서 취득한 움직임 영상 신호를 나타내고, 도 8b는 상기 움직임 영상 신호의 배경 영상과 정규화(normalization)된 2차원 영상의 차 영상이다. 또한, 도 8c는 본 발명의 일실시예에 따른 시간적 랩핑에 의한 움직임 검출 영상을 나타내며, 도 8d는 공간적 랩핑에 의한 움직임 검출 영상 이미지이다.
도 9a 및 도 9b는 본 발명의 일실시예에 따른 상기 시공간 노이즈 제거 필터의 계수 α를 조절하기 위한 그래프를 나타낸다
도 10a 내지 도 10f는 본 발명의 일실시예에 따른 노이즈 제거 영상 및 종래의 노이즈 제거 방식을 따른 영상이다. 도 10a는 가우시안 노이즈 및 포아송 노이즈가 포함된 영상이고, 도 10b 내지 도 10e는 종래의 노이즈 제거 방식이 적용된 영상이며, 도 10f는 본 발명의 일실시예에 따른 노이즈 제거 영상이다.
도 11a 내지 도 11f는 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상과 본 발명의 일실시예에 따른 시공간 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상을 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도면에서 동일 부호는 동일한 요소를 지칭한다. 또한, 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위하여 사용되며, 본 발명의 범위를 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수로 기재되어 있다 하더라도, 문맥상 단수를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이란 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 관한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그에 관한 상세한 설명은 생략할 것이다.
일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
자동 이득 제어로 제어된 영상은 상기 영상을 취득하는 환경의 광량에 따라 각각 다른 특성을 갖는다. 취득 영상은 시간에 따라 변화하는 랜덤 노이즈(Random Noise)와 고정된 형태의 고정 패턴 노이즈(Fixed Pattern Noise)를 포함할 수 있다. 상기 랜덤 노이즈 및 상기 고정 패턴 노이즈는 영상을 촬영하는 주변 환경에서 발생하는 빛의 세기의 영향을 받는다. 저조도 환경에서는 암전류 변화에 의해 발생하는 불균일한 암신호가 자동 이득 제어에 의하여 원 신호와 함께 증폭되어 랜덤 노이즈가 제거된 이후에도 공간적 편차(Spatial Deviation)이 나타날 수 있다. 즉, 시간적 노이즈 제거 기술로 노이즈를 제거하더라도 공간적 노이즈가 잔존할 수 있다.
도 1a 내지 도 1c는 일반 조도 환경에서의 자동 이득 제어 온-오프에 따른 영상 및 화소 값 분포를 나타내고, 도 1d 내지 도 1f는 저조도 환경에서의 자동 이득 제어 온-오프에 따른 영상 및 화소 값 분포를 나타낸다.
도 1a 및 도 1b를 참조하면, 일반적인 조도 환경에서 취득한 영상은 자동 이득 제어(AGC)의 온-오프에 따른 영상의 화질 차이가 크지 아니하였으며, 도 1c의 화소 값 비교에서도 큰 차이를 나타내지 않는다. 그러므로, 광량이 충분한 경우에는 자동 이득 제어에 의한 증폭값을 1 로 가정할 수 있다.
저조도 환경에서 취득한 영상은, 도 1d 및 도 1e를 참조하면, 자동 이득 제어의 온-오프에 따라 화질의 차이가 나타남을 알 수 있고, 도 1f의 화소 값 비교에서도 큰 차이를 나타낸다. 그러므로, 저조도 환경에서의 증폭값은 1 보다 크고, 원 신호와 노이즈가 모두 증폭함을 알 수 있다.
일반적으로 획득된 영상의 노이즈를 제거하기 위하여 공간(spatial) 영역 또는 시간(temporal) 영역에서의 노이즈 제거 기술이 적용된다. 상기 공간 영역에서의 노이즈 제거 기술은 현재 화소와 주변 화소와의 상관관계를 이용하여 노이즈를 제거하는 기술이다. 이는 추가적인 프레임 메모리 없이 노이즈 제거가 가능하지만, 노이즈 제거 뿐만 아니라 고주파 성분을 제거하기 때문에 왜곡이 발생할 가능성이 높다. 상기 시간 영역에서의 노이즈 제거 기술은 다수의 프레임 메모리를 사용하여 노이즈를 제거하므로 정적인 영역에서의 노이즈 제거 효과가 뛰어나다. 그러나, 움직임으로 인한 잔상으로 인해 화질 개선에 한계를 나타낸다.
영상에서 동적인 영역과 정적인 영역을 구분하여 노이즈를 제거하는 시공간(spatio-tempora) 영역에서의 노이즈 제거 기술이 최근 이용되고 있다. 시공간 영역에서의 노이즈 제거 기술은 공간 영역 또는 시간 영역의 노이즈 제거 기술의 단점을 극복할 수 있지만, 저조도 환경에서의 강한 노이즈에 의하여 움직임 검출에 대한 오류가 빈번하게 발생하므로 효과적인 노이즈 제거가 어렵다. 그러므로, 저조도 환경에서의 노이즈를 제거하기 위하여 움직임 검출에 기반한 적응형 시공간 노이즈 제거 기술이 필요하다.
도 2는 일실시예에 따른 영상 처리 장치의 구성을 도시한 도면이다. 도 2를 참조하면, 영상 처리 장치(1000)는 화소 편차 보정부(100), 움직임 검출 기반 시공간 노이즈 제거부(200), 및 명암 복원부(300)을 포함한다.
영상 처리 장치(1000)는 카메라 등과 같은 영상 획득 장치 내에 위치하거나, 영상 획득 장치 외부에 독립적으로 위치할 수 있으며, 영상 획득 장치로부터 입력 프레임들과 참조 프레임들을 수신할 수 있다. 그러나, 영상 획득 장치는 위에 기재한 예시에 한정되지 아니하고, 영상을 획득할 수 있는 장치를 모두 포함한다.
화소 편차 보정부(100)는 입력 영상 신호에 화소간 편차에 대한 화소간 편차 정보를 이용하여 자동 이득 제어(Automatic Gain Controller)에 의하여 증폭된 노이즈를 제거할 수 있다. 영상 신호의 화소 간 편차에 대한 화소 간 편차 정보를 LUT(Look-up Table)의 형태로 준비할 수 있다. 상기 화소 간 편차 정보는 카메라의 캘리브레이션 단계에서 산출될 수 있고, 또는 저조도 환경에서 취득한 영상들의 평균값을 이용하여 획득될 수도 있다. 일실시예에서, 시공간 노이즈 제거와 함께 입력된 영상 신호에서 상기 LUT 을 이용하여 편차 값을 빼줌으로써 카메라의 고정 패턴 노이즈(Fixed Pattern Noise)를 최소화 할 수 있다.
영상을 취득하는 환경의 조도가 충분한 경우에는 자동 이득 제어값(Automatic Gain Control)을 1로 가정할 수 있다. 그러나, 본 발명의 실시예와 같이 저조도 환경인 경우에는 게인값이 크게 적용되어 원 신호 뿐만 아니라 노이즈도 크게 증폭된다.
원 신호는 p, 화소 간 편차 d, 저조도 노이즈 n, AGC gain 이 a 일 때 획득 화소 y를 계산하면 하기 수학식 1 과 같다.
이 경우, 화소 y를 시간에 대하여 평균하면 랜덤 노이즈(Random Noise)의 시간에 대한 평균 
은 0 이므로 하기 수학식 2와 같이 정리할 수 있다.
영상 전체를 흰색으로 하고, 저조도 환경에서 촬영한 화이트 보드 영상의 화면 전체 공간에 대한 평균 
는 하기 수학식 3과 같이 정리될 수 있다.
상기 수학식 3에서 화소 간의 공간적 편차인 
의 평균은 0이다. 따라서, 
-
결과는 각 화소의 편차 d를 나타내며, 하기 수학식 4 와 같이 나타낼 수 있다.
상기 수학식 4의 화소 간 편차 d를 입력 영상에서 뺀 후 노이즈 제거를 수행하여 고정 패턴 노이즈를 최소화한 영상을 획득할 수 있다. 이와 같이, 화소 편차 보정부(100)는 CIS와 같은 이미지 센서의 특성에 의해 발생하는 고정 패턴 노이즈인 공간적 노이즈를 제거하여 전체적인 노이즈를 최소화할 수 있다.
움직임 검출 기반 시공간 노이즈 제거부(200)는 상기 고정 패턴 노이즈를 최소화한 영상 신호를 입력받고, 상기 영상 신호로부터 검출된 움직임을 기반으로 생성된 계수를 갖는 시공간 노이즈 필터를 이용하여 랜덤 노이즈를 필터링할 수 있다.
움직임 검출 기반 시공간 노이즈 제거부(200)는 영상 신호의 움직임 영역을 검출하여 시공간 노이즈 제거 필터의 계수를 조정하는 움직임 검출부(210) 및 영상 신호의 시공간 노이즈를 제거하는 시공간 노이즈 제거부(220)를 포함할 수 있다.
움직임 검출부(210)는 저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 영상 신호들 중 현재 영상 신호와 이전 영상 신호의 관계에 기초하여 움직임 정보를 추정할 수 있다. 또한, 배경 신호를 더 참조하여 움직임 객체를 검출할 수 있다. 또는, 움직임 검출부(120)는 오브젝트의 움직임으로 인해 발생한 영상 신호 간의 움직임을 검출할 수 있고, 상기 움직임 정보는 차 영상 및 딜레이 영상 정보일 수 있다.
일실시예에서, 움직임 검출부(210)는 움직임 객체 및 상기 움직임 객체에 대한 정보를 추정하기 위하여 현재 영상 신호의 영상 변환을 수행할 수 있는 영상 변환부를 더 포함할 수 있다. 예를 들면, 영상 변환부는 RGB 컬러 영상을 YCbCr 컬러 영상 또는 YCuCv 컬러 영상으로 변환할 수 있다. 움직임 검출부(210)는 변환된 YCbCr 컬러 영상 또는 YCuCv 컬러 영상에서 Y(휘도, brightness) 영상을 이용하여 움직임 객체를 추출할 수 있다.
시공간 노이즈 제거부(220)는 움직임 검출부(210)로부터 추출된 움직임 정보 및 시공간 노이즈 제거 필터 계수 α를 이용하여 현재 영상 신호의 시공간 노이즈를 제거할 수 있다. 상기 시공간 노이즈 제거 필터 계수 α를 이용하는 시공간 노이즈 제거 필터는 공간적 노이즈 제거 출력과 시간적 노이즈 제거 출력을 계수 값에 따라 합성하여 적응적으로 노이즈 제거를 수행할 수 있다. 상기 공간적 노이즈 제거는 양방향 필터(bilateral filter)일 수 있다.
도 3은 본 발명의 일실시예에 따른 움직임 검출부(210)의 구성을 도시한 블록도이다.
도 3을 참조하면, 움직임 검출부(210)는 고주파 신호 제거부(211), 다운샘플링부(222), 차 영상 생성부(223), 딜레이 영상 생성부(224), 업샘플링부(225), 움직임 히스토리 버퍼부(226), 및 계수 보정부(227)를 포함한다. 입력된 영상 신호는 저조도 환경에서 획득되었기 때문에 강한 저조도 잡음을 포함하고 있기 때문에 움직임 검출 오류가 발생될 가능성이 높다. 그러므로, 고주파 신호 제거부(211)는 영상 신호를 입력받아 영상 신호의 고주파 영역의 신호를 필터링함으로써 노이즈 일부를 제거한다. 이후, 다운샘플링부(222)를 통하여 고주파 영역의 신호가 제거된 영상신호를 다운샘플링함으로써, 최초 프레임 메모리(FM)보다 1/4배의 메모리 크기만을 사용하여 영상 신호를 저장할 수 있다. 따라서, 움직임 검출시 필요한 메모리의 크기는 하나의 프레임 메모리(single frame memory)이거나 하나의 프레임 메모리보다 작을 수 있다.
차 영상 생성부(223)는 현재 영상과 배경 영상의 제 1 차 영상(b) 및 현재 영상과 이전 영상의 차 영상인 제 2 차 영상(c) 을 생성할 수 있다. 상기 제 2 차 영상만을 이용하여 움직임을 검출하는 경우, 움직이는 물체의 경계에서만 움직임이 검출되고 그 물체의 내부 움직임이 검출되지 아니할 수 있다. 따라서, 본 발명의 일실시예에 따른 차 영상 생성부(223)는 상기 제 1 차 영상 뿐만 아니라, 현재 영상과 이전 영상의 차 영상인 상기 제 2 차 영상도 함께 고려하여 움직임을 검출한다.
또한, 일실시예에서, 상기 제 2 차 영상은 움직임 이후에 발생하는 상기 제 1 차 영상이 검출하지 못하는 움직임 이후에 발생하는 잔상(panning) 영역의 움직임 경계부를 검출할 수 있기 때문에, 움직임 검출 결과의 정확도를 향상시킬 수 있다. 또한, 상기 제 2 영상에 기초하여 원 영상과의 합성 정도를 나타내는 노이즈 제거 필터 계수를 조정하여 움직임으로 인한 잔상을 방지할 수있다.
딜레이 영상 생성부(224)는 상기 제 2 차 영상의 딜레이 영상을 생성할 수 있다. 객체의 움직임이 빠른 경우, 잔상 영역은 움직임이 늦을 때보다 넓어지기 때문에 상기 제 1 차 영상 및 상기 제 2 차 영상을 이용하여 움직임을 검출하는데 비효율적이다. 일실시예에서는, 상기 딜레이 영상을 이용하여 상기 잔상 영역을 효과적으로 검출할 수 있다. 또한, 상기 제 1 차 영상, 상기 제 2 차 영상, 및 상기 딜레이 영상은 이들 영상 신호들의 생성후 업샘플링부(225)에서 업샘플링되므로, 실제 상기 영상 신호들의 생성시에 드는 프레임 메모리의 필요량을 감소시킬 수 있다.
상기 제 1 차 영상, 상기 제 2 차 영상, 및 상기 딜레이 영상은 이후 움직임 정보를 계산하며, 상기 움직임 정보와 함께 시공간 노이즈 제거부(220)로 전송될 수 있다. 상기 움직임 정보는 하기 수학식 5와 같은 수식에 의하여 결정될 수 있다.
△b는 배경 영상 신호와 현재 영상 신호의 차 영상을 나타내는 상기 제 1 영상이고, △c는 n번째 현재 영상 신호와 n-1번째 이전 영상 신호의 차 영상을 나타내는 상기 제 2 차 영상이다. △d는 상기 제 2 차 영상의 딜레이 영상을 나타낸다.
또한, 배경 영상 신호는 노이즈가 적기 때문에 현재 영상 신호와의 차 영상으로 움직임 객체(foreground)를 검출할 수 있다. 저조도 환경에서 촬영된 영상은 강한 저조도 노이즈가 포함되어 있기 때문에 움직임 검출시 오류가 많이 발생할 수 있다. 그러므로, 배경 영상 신호의 생성과 차 영상 도출시 LPF(Low Pass Filter)를 이용하여 노이즈 일부를 제거할 수 있다. 또한, 상기 LPF는 영상 신호의 고주파 영역 신호를 제거하여 에일리어싱(aliasing)을 방지할 수 있고 다운샘플링이 가능하므로 1/4배 크기의 프레임 메모리를 이용할 수 있다. 이후, 업샘플링을 수행하고 움직임 영역과 정적 영역에서의 시공간 노이즈 제거 필터 계수α를 화소 단위로 조정하여 결정할 수 있다.
일실시예에서, 움직임 검출부(210)는 상기 움직임 경계부를 이용하여상기 원 영상과의 합성 계수 조정을 통하여 움직임으로 인한 상기 잔상 영역의 발생을 감소시킬 수 있다. 이 경우, 현재 영상 신호와 이전 영상 신호의 차 영상인 상기 딜레이 영상이 잔상 영역을 검출하는데 효과적일 수 있다. 그러므로, 상기 딜레이 영상의 계수 조정을 통하여 상기 잔상 영역을 제거할 수 있다.
또한, 움직임 검출부(210)는 상기 시공간 노이즈 제거 필터의 계수인 α를 최종적으로 결정하기 위하여 시간적 랩핑(T-WRAP) 및 공간적 랩핑(S-WRAP)을 더 수행할 수 있다. 상기 시간적 랩핑은 영상 신호의 움직임 히스토리를 이용하여 움직임 검출의 오차를 줄이고 움직임 패턴을 파악하여 상기 시공간 노이즈 제거 필터의 계수 α를 조정할 수 있다. 예를 들어, 움직임은 여러 장의 영상 신호에서 연속적으로 발생하기 때문에 일정한 패턴을 나타내지만 노이즈는 연속적인 패턴이 존재하지 않는다. 상기 시간적 랩핑은 움직임과 노이즈의 상이한 패턴 특징을 이용해 움직임 히스토리 버퍼에 저장된 움직임 패턴 정보에 기초하여 움직임과 노이즈를 구분하여 검출할 수 있다. 일실시예에서, 상기 움직임 히스토리 버퍼는 현재 영상과 이전 7장의 영상의 연속되는 움직임 정보를 바이너리 데이터로 저장 및 갱신할 수 있다.
움직임 히스토리 버퍼부(226)는 상기 제 1 차 영상, 상기 제 2 차 영상, 및 상기 딜레이 영상을 포함하는 움직임 정보를 저장할 수 있다. 상기 제 1 차 영상 및 상기 제 2 차 영상을 기초로 하는 움직임 검출 방법은 강한 노이즈를 움직임으로 검출하는 문제점이 발생할 수 있다. 이러한 움직임 검출의 오류를 최소화하기 위하여 하나의 영상 신호의 움직임 정보를 이용하는 것이 아니라, 복수 개의 프레임의 영상 신호에서 발생하는 움직임 영역의 패턴을 이용할 필요가 있다.
움직임은 복수 개의 프레임 영상 신호에서 연속적으로 발생하기 때문에 일정한 패턴을 나타내지만, 노이즈는 연속적인 패턴을 나타내지 아니한다. 따라서, 움직임 히스토리 버퍼부(226)는 상기 움직임 정보를 연속하여 저장하고, 현재 영상 신호의 움직임 검출시 움직임 패턴 정보를 참고하여 움직임과 노이즈를 구분할 수 있다. 움직임 히스토리 버퍼부(226)의 움직임 검출 방법은 도 7을 참조하여 후술하기로 한다.
계수 보정부(227)는 움직임 검출 오류를 최소화하기 위하여 움직임 히스토리 버퍼부(226)로부터 추출되는 움직임 패턴 및 계수 조정 알고리즘을 이용한 정보들을 이용하여 노이즈 제거 필터의 계수인 α를 조절하여 최종 필터 계수를 결정한다. 계수 보정부(227)는 후술할 시간적 랩핑 및 공간적 랩핑을 수행하면서 최종 노이즈 제거 필터의 계수를 결정할 수 있다.
상기 노이즈 제거 필터의 계수는 현재 화소가 포함되는 영역에 따라 결정될 수 있다. 상기 현재 화소가 포함되는 영역이 움직임 영역인 경우에는, 공간적 노이즈 제거 합성 비율이 높도록 계수를 1로 할당할 수 있다. 또한, 상기 현재 화소가 포함되는 영역은 공간적 랩핑이 적용되는 영역인지 시간적 랩핑이 적용되는 영역인지에 따라 하기 수학식 6에 따라 상기 노이즈 제거 필터 계수 α를 결정할 수 있다. 상기 현재 화소가 포함되는 영역이 배경 영역인 경우에는, 최소 계수 값을 할당하여 시간적 노이즈 제거가 적용될 수 있다.
도 4는 본 발명의 일실시예에 따른 시공간 노이즈 제거부의 구성을 도시한 블록도이다. 도 4를 참조하면, 시공간 노이즈 제거부(220)는 프레임 메모리부(221), 공간적 노이즈 제거부(222), 및 시공간 노이즈 제거 신호 생성부(223)를 포함한다.
프레임 메모리부(221)는 밝기 성분(Y) 및 휘도 성분(Cu, Cv)를 포함하는 영상 신호를 입력받아 현재 영상의 프레임에 상기 영상 신호를 저장한다. 이후, 공간적 노이즈 제거부(222)는 영상 신호로부터 공간적 노이즈를 제거하며, 시공간 노이즈 제거 신호 생성부(223)는 프레임 메모리부(221)로부터 입력되는 영상 신호, 공간적 노이즈 제거부(222)로부터 입력되는 영상 신호, 및 움직임 검출부(210)로부터 입력되는 움직임 정보와 노이즈 제거 필터 계수를 이용하여 영상 신호의 시공간 노이즈를 효과적으로 제거한 신호를 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 저조도 영상의 시공간 노이즈 제거 방법을 도시한 순서도이다. 먼저 움직임 검출부(220)에서 생성된 상기 제 1 차 영상 및 상기 제 2 차 영상(△b, △c)과 딜레이 영상(△d)를 입력 받는다(S10). 상기 제 1 차 영상, 상기 제 2 차 영상, 및 상기 딜레이 영상을 기초로 시간적 랩핑을 수행한다(S20). 이 단계에서 움직임 히스토리 버퍼를 이용하여 노이즈로 인한 움직임 검출 오류를 최소화할 수 있다. 상기 시간적 랩핑을 수행한 현재 영상 신호는 움직임 영역 및 배경 영역으로 구분될 수 있다(S30). 움직임 영역으로 검출된 화소는 공간적 노이즈 제거 합성 비율이 높도록 상기 시공간 노이즈 제거 필터 계수 α를 결정하여 2D-NR(noise reduction)을 수행한다(S35). 배경 영역으로 검출된 화소는 움직임 패턴 정보를 참조하여 움직임 이후 잔상 영역에 해당하는지 배경 영역인지 구분된다(S40). 이 단계에서 잔상 영역(T-WRAP area)로 결정된 화소는 시간적 랩핑에 의한 3D-NR을 수행한다(S45). 상기 잔상 영역에 대한 3D-NR에서 사용되는 노이즈 제거 필터의 계수는 추후 설명할 도 9a에 도시된 시간적 랩핑 테이블에 의하여 결정될 수 있다.
만일 상기 단계에서 잔상 영역에 포함되지 아니한 화소는 먼저 공간적 랩핑을 수행한다(S50). 상기 공간적 랩핑에 의하여 현재 화소가 움직임 영역과 배경 영역의 경계부에 해당하는지 여부를 판별될 수 있다. 상기 현재 화소가 경계부 영역에 포함되는 경우(S60), 화소의 시공간 노이즈 제거 필터의 계수 α는 도 9b 에 도시된 공간적 랩핑 테이블에 의하여 결정되어 3D-NR 을 수행한다(S65). 또한, 시간적 랩핑 및 공간적 랩핑 영역에 모두 포함되는 화소는 상기 수학식 5에 의하여 시공간 노이즈 제거 필터의 계수를 결정할 수 있다.
상기 현재 화소가 경계부에 해당하는지 여부를 판단하는 단계(S60)에서, 상기 현재 화소가 경계부 영역에 포함되지 아니하는 경우는 상기 현재 화소는 배경 영역의 화소에 해당하므로 상기 노이즈 제거 필터의 계수에 최소 계수값을 설정한다. 상기 최소 계수값이 설정된 현재 화소는 시간적 노이즈 제거를 수행한다(S70). 상기 현재 화소에 대한 상기 시공간 노이즈 제거 필터의 계수 α가 생성된 이후에는 움직임 검출 정보를 움직임 영역과 배경 영역의 이전 정보로 변환하여 움직임 정보 버퍼에 저장함으로써 움직임 정보 버퍼는 최신 움직임 정보를 갱신 및 유지할 수 있다(S80).
이와 같이, 시공간 노이즈 제거 필터의 계수 α가 결정되면 하기 수학식 7과 같은 시공간 노이즈 제거 필터를 이용하여 시공간 노이즈 제거를 수행할 수 있다. 상기 시공간 노이즈 제거 필터는 1차 IIR 필터일 수 있다.
수학식 7에서 나타난 바와 같이, t번째 노이즈 제거 영상(v)은 t-1번째 노이즈 제거 영상과 움직임 검출에 의하여 생성된 IIR 입력 영상을 합성하여 생성할 수 있다. 동적 영역의 노이즈 제거를 위하여 양방향 필터(bilateral filter)를 사용할 수 있고, 상기 양방향 필터는 경계를 보존하면서 노이즈를 감소시키는 효과가 뛰어나 동적 영역의 노이즈 제거 효과가 극대화 할 수 있다.
상기 시공간 노이즈 제거 필터의 계수 α는 움직임 검출에 의하여 결정되는 계수로서, 시간적 노이즈 제거 영상과 공간적 노이즈 제거 영상의 합성 비율을 나타낸다. 정적 영역으로 검출된 화소의 α는 0에 가깝게 설정되어 시공간 필터를 이용하여 노이즈를 제거하고, 움직임 영역으로 검출된 화소의 α는 1에 가깝게 설정되어 공간적 노이즈 제거 필터 영상으로 대체할 수 있다.
도 6a는 획득한 영상의 화소 값의 공간적 평균값이 같도록 가정하기 위하여 화이트 보드를 이용한 저조도 영상을 나타낸 것이고, 도 6b는 저조도 영상에서 종래의 방식으로 시간적 노이즈를 제거한 영상이며, 도 6c는 저조도 영상으로부터 종래의 시공간 필터를 이용하여 패턴 노이즈를 제거한 영상이다. 또한, 도 6d는 본 발명의 일실시예에 따른 화소 간 편차 보정부의 출력 영상을 나타낸다.
도 6a 및 도 6b를 참조하면, 노이즈 제거 처리를 수행하지 아니한 화이트 보드를 이용한 저조도 영상(도 6a)는 랜덤 노이즈 뿐만 아니라 패턴 노이즈를 포함하고 있음을 알 수 있다. 또한, 시간적 노이즈 제거를 수행한 영상(도 6b)도 랜덤 노이즈는 제거되었지만 패턴 노이즈는 아직 포함하고 있음을 알 수 있다.
도 6c 및 도 6d를 참조하면, 일반적인 시공간 노이즈 제거 방법을 이용하여 고정 패턴 노이즈의 일부를 제거할 수 있음(도 6c)을 확인할 수 있다. 그러나, 시공간 노이즈 제거에 소요되는 복잡한 연산량에 비하여 노이즈 제거 효과가 떨어짐을 알 수 있다. 본 발명의 일실시예에 따른 화소 간 편차 정보를 이용하는 화소 편차 보정부의 출력 영상은 공간적 편차를 시간적 노이즈 제거와 동시에 적용하였기 때문에, 고정 패턴 노이즈가 다른 방법으로 노이즈를 제거한 영상(도 6a 내지 도 6c)보다 효과적으로 제거됨을 확인할 수 있다.
도 7는 본 발명의 일실시예 따른 움직임 히스토리 버퍼(226)의 움직임 검출 방법을 나타낸다. 도 7을 참조하면, 현재 화소에 대한 움직임 정보가 연속적으로 계속되며 패턴을 나타내는 경우, 움직임 영역으로 결정하고, 패턴이 존재하지 않는 경우 노이즈로 판단하여 배경 영역으로 검출할 수 있다
도 8a는 저조도 환경에서 취득한 움직임 영상 신호를 나타내고, 도 8b는 상기 움직임 영상 신호의 배경 영상과 정규화(normalization)된 2차원 영상의 차 영상을 나타낸다. 도 8b를 참조하면, 상기 영상 신호는 저조도 환경에 의한 강한 노이즈 때문에 움직임 검출시 오류가 존재한다.
도 8c는 본 발명의 일실시예에 따른 시간적 랩핑에 의한 움직임 검출 영상을 나타내며, 도 8d는 공간적 랩핑에 의한 움직임 검출 영상을 나타낸다. 도 8c를 참조하면, 움직임 검출 오류를 제거하고 움직임 패턴을 회색 영상으로 나타낼 수 있기 때문에 노이즈 없이 움직임 객체를 검출할 수 있으며, 움직임 히스토리 버퍼를 이용하여 움직임 패턴을 인식할 수 있으므로 이에 따라 시공간 노이즈 제거 필터의 계수 α를 조절할 수 있다. 예를 들면, 움직임 영역에서 정적 영역으로 바뀐 영역에서는 시공간 노이즈 제거 필터의 계수 α를 급격히 낮춰 모션 블러 현상을 최소화할 수 있다.
도 8d를 참조하면, 왼쪽 상단의 움직임 객체의 경계 부분을 확대하여 나타낸 오른쪽 하단의 붉은색 박스를 살펴보면, 경계 부분에서 윤곽 효과가 존재함을 알 수 있다. 공간적 랩핑은 움직임 영역과 정적 영역의 경계부인 영역 화소의 시공간 노이즈 제거 필터의 계수 α를 점진적으로 조절함으로써, 움직임 영역과 정적 영역의 경계부에서 발생하는 윤곽 효과(contour effect)를 최소화하여 화질을 개선시킬 수 있다.
도 9a 및 도 9b는 본 발명의 일실시예에 따른 상기 시공간 노이즈 제거 필터의 계수 α를 조절하기 위한 테이블을 나타낸다. 도 9a를 참조하면, x축에 현재 화소를 포함하는 현재 프레임을 n으로 나타내고, 현재 화소에 대하여 움직임이 있었던 이전 프레임을 n-1, n-2, ...와 같이 나타내며, 움직임이 있는 프레임(n, n-1, n-2, ...)에 대응하는 시공간 노이즈 제거 필터의 계수를 y축에 도시한다. 시간적 랩핑(T-WRAP)을 수행하는 경우, 상기 시공간 노이즈 제거 필터의 계수 α 는 도 9a를 참조하여 결정될 수 있다.
또한, 도 9b는 공간적 랩핑(T-WRAP)를 수행하는 경우, 상기 시공간 노이즈 제거 필터의 계수 α 를 결정할 수 있는 테이블을 나타낸다. 도 9b를 참조하면, 현재 화소가 움직임 영역에 포함되지 아니하는 경우, 가장 가까운 움직임 영역과 상기 현재 화소 사이의 거리(x축)에 따른 상기 시공간 노이즈 제거 필터의 계수 α를 나타낸다. 이와 같이, 현재 화소가 시간적 랩핑 또는 공간적 랩핑을 수행하는 경우, 도 9a 및 도 9b에 나타낸 바와 같이, 각각 현재 화소에 대하여 움직임이 있는 프레임 및 현재 화소로부터 움직임 영역까지의 최소 거리에 대응하여 상기 시공간 노이즈 제거 필터의 계수 α를 결정할 수 있다.
도 3을 참조하여 설명된 계수 보정부(227)는 도 9a 및 도 9b에 도시된 테이블 및 상기 수학식 6을 이용하여 시공간 노이즈 제거 필터의 계수 α를 최종적으로 결정하고, 도 4를 참조하여 설명된 시공간 노이즈 제거 신호 생성부(223)에서 향상된 영상 신호를 생성할 수 있다. 상기 영상 신호는 저조도 환경에서의 노이즈를 제거하기 위하여 움직임 검출에 기반한 적응형 시공간 노이즈 제거 방식으로 노이즈를 제거함으로써, 하드웨어 비용을 최소화하면서 구현이 용이한 장점을 갖는다. 또한, 저조도 환경에서 입력되는 움직임 검출시 오류의 원인이 되는 강한 노이즈가 제거될 수 있다 향상된 영상 신호를 제공할 수 있다.
다시 도 2를 참조하면, 도 1a 내지 도 9b를 참조하여 상술한 장치 및 방법에 의하여 생성된 영상 신호는 명암 복원부(300)로 입력되어 획득시 영상의 명암을 복원할 수 있다.
컬러 영상의 RGB 값은 큰 상관 관계를 가지기 때문에 노이즈 제거를 수행하기에 앞서 색상의 변환이 수행된다. 일반적으로 사용되는 YCbCr 색상 변환은 선형 변환 방식으로 각 채널 간의 상관 관계를 감소시키는데 효과적이다. 그러나, 상기 YCbCr 색상 변환은 실수 연산이 수행되기 때문에 복잡도가 높고 완벽한 역변환이 존재하지 아니할 수 있다. 따라서, 명암 복원부(300)는 무손실 색상 변환에 해당하는 YCuCv 색상 변환을 이용하여 입력 영상의 명암을 복원한다.
명암 복원부(300)는 정수 연산에 해당하는 상기 YCuCv 변환을 수행함으로써 각 채널 간의 상관 관계를 감소시키는 것은 물론, 무손실 복원이 가능하며 저복잡도의 특성을 가질 수 있다. 상기 YCuCv 변환은 밝기 성분(Y)과 색상 성분 분리 성능이 뛰어나고, 밝기 성분의 증폭 이후에도 색 보존이 가능한 HSV 색공간 변환을 이용하여 밝기를 복원할 수 있다.
상기 HSV 색공간 변환은 색상을 각도로 표현할 수 있다. 예를 들어, 변환된 색상은 빨강색을 0도로 하였을 때 상대적인 배치 각도로 나타내고, 채도는 특정한 색상의 가장 진한 상태를 정규화하여 0 내지 1 의 값으로 표현될 수 있다. 또한, 명도는 R,G,B 각 채널 중 최대값으로 정규화한 값으로 0 내지 1 의 값으로 표현될 것이다. 명도 값을 증폭함으로써 밝기를 보정할 수 있다. 상기 명도 값의 증폭시 사용되는 증폭 계수(λ)는 조도에 따라 조절되며 증폭을 수행한 명도 값이 최대 값이 1 을 넘는 경우에는 0.95로 클리핑 처리하여 영상의 밝기를 복원할 수 있다.
도 10a 내지 도 10f는 본 발명의 일실시예에 따른 노이즈 제거 영상상 및 종래의 노이즈 제거 방식을 따른 영상이다. 도 10a은 가우시안 노이즈 및 포아송 노이즈가 포함된 영상이고, 도 10b 내지 도 10e는 종래의 노이즈 제거 방식이 적용된 영상이며, 도 10f는 본 발명의 일실시예에 따른 노이즈 제거 영상이다.
영상의 비교를 위하여 일반 영상에 백색 가우시안 노이즈와 포아송 노이즈를 추가한 영상을 이용하여 실험을 진행하였으며, 원본 영상과 노이즈가 제거된 영상은 피크 신호와 노이즈의 비율(peak signal to noise ratio, PNSR)을 측정함으로써 성능 평가를 수행하였다. 실험에 이용된 노이즈 영상은 저조도 환경이 아닌 일반 환경에서 획득된 영상으로 AGC에 의한 노이즈의 과도한 증폭이 발생하지 않음을 가정하여 본 발명에 따른 화소 간 편차 보정은 수행하지 아니하였다.
실험 영상은 1920 x 1080 의 크기를 갖고 노이즈 제거 방식 이외에 모든 알고리즘은 동일하게 적용하였다. 양방향 필터(bilateral filter)는 커널 사이즈를 11 x 11 로 설정하였으며, 커널 내부의 색 유사도를 고려하여 가중치를 조정하는 컬러 시그마 파라미터와 공간 영역의 표준편차를 조정하는 공간 시그마 파라미터는 각각 100으로 설정하였다. 비지역적 노이즈 제거 필터는 3 x 3 윈도우를 사용하였고, 필터 파라미터 h는 노이즈 영상의 표준 편차로 설정하여 실험에 적용하였다.
양방향 필터를 사용하여 노이즈를 제거한 영상(도 10b)과 비지역적 잡음 제거 필터를 사용하여 노이즈를 제거한 영상(도 10c)는 경계(edge) 영역에서의 노이즈 제거 효과는 우수하지만, 경계가 아닌 영역에서의 노이즈 제거 효과가 떨어지는 것을 확인할 수 있다. 또한, 종래의 시공간 노이즈 제거 기법을 이용한 영상(도 10d)은 저조도 영상의 강한 노이즈가 효과적으로 제거되지 아니하고 움직임 영역으로 인한 화질 저하가 복구되지 않음을 알 수 있다. 종래의 움직임 검출 기반 노이즈 제거 방식을 이용한 영상(도 10e)는 저조도의 강한 노이즈로 인해 움직임 검출 정확도가 떨어짐은 물론 화질의 복구 속도가 늦어 움직임이 지나간 영역에 잔상이 발생함을 알 수 있다.
그러나, 본 발명의 일실시예에 따른 시공간 노이즈 제거 방법을 적용한 영상(도 10f)는 경계 영역 및 경계가 아닌 영역 모두에서 화질이 우수하며, 움직임에 의한 잔상도 거의 발생하지 아니함을 확인할 수 있다. 즉, 움직임 영역은 양방향 필터를 수행한 결과를 나타내고 정적 영역의 노이즈는 효과적으로 제거되는 것을 알 수 있으며, 시간적 노이즈 제거 필터에 의하여 발생되는 잔상 영역은 시간적 노이즈 제거 필터의 결과와 공간적 노이즈 제거 필터의 경과가 합성됨으로써 블러 현상이 발생되지 아니함을 확인 할 수 있다.
하기 표 1은 원본 영상과 다양한 방법으로 노이즈를 제거한 영상의 PSNR의 측정 결과를 나타내는 것이다. 표 1을 살펴보면, 양방향 필터, 비지역적 노이즈 제거 필터, 종래의 시공간 노이즈 제거 필터, 및 종래의 움직임 검출 기반 노이즈 제거 필터를 이용하여 노이즈를 제거한 경우에 비하여, 본 발명의 움직임 검출 기반 시공간 노이즈 제거 필터를 사용하는 경우 평균 3dB 이상의 우수한 성능을 보임을 확인할 수 있다. 상기 움직임 검출 기반 시공간 노이즈 필터는 노이즈 강도에 따라 피드백 영상의 가중치를 조정하여 노이즈 제거 효과를 높일 수 있다. 결과적으로 추가적인 메모리나 연산 알고리즘 없이 필터 계수만을 조정하여 노이즈 제거 효과를 극대화할 수 있다.
본 발명의 움직임 검출 기반 시공간 노이즈 필터를 이용하여 시계추와 같이 반복적인 양방향 움직임 패턴을 갖는 객체가 존재하는 영상(이하, CD 영상이라고 함) 및 도 10f와 같이 단방향 움직임 패턴을 갖는 객체가 존재하는 영상(이하, 사람 영상)에 대한 PNSR을 측정하였다. 표 1 의 필터 계수 별 PSNR 결과는 값이 작을수록 개선된 성능을 나타낸다. 표 1을 참조하면, 시공간 노이즈 필터 계수 α의 최소 값을 0.05 또는 0.01로 설정하였을 때 PSNR을 측정하였다. 계수 α가 작아지면 정적 영역의 노이즈 제거에는 효과적이지만 평균 수렴 속도가 느려지고, α가 커지면 정적 영역의 노이즈 제거 성능은 떨어지지만 평균 수렴 속도가 빨라진다. 빠른 평균 수렴 속도는 움직임 객체가 지나간 이후의 배경 영역의 빠른 회복에 필수적으로, 잔상이 발생하는 것을 방지할 수 있다.
또한, 본 발명의 실시예에 따른 시공간 노이즈 제거 방식의 계산 성능을 평가하고 복잡도를 검증하기 위하여 인텔 i7-3930k 3.2GHz 및 32GB RAM PC 환경에서 실행 시간(run time)을 측정하였다. 상기 실행 시간은 100장의 영상에서 노이즈를 제거하는데 소요되는 시간을 나타내고, 720 x 480 x 100 및 1920 x 1080 x 100 의 2가지 해상도의 영상으로 실험을 수행하였다.
| 영상의 종류 | 노이즈 | 노이즈 이미지 | 비교예 1 | 비교예 2 | 비교예 3 | 비교예 4 | 실험예 | |
| 실험예 1 (α > 0.05) |
실험예 2 (α >0.01) |
|||||||
| CD 영상 | 가우시안 | 15.57 | 21.05 | 23.56 | 23.21 | 22.96 | 25.34 | 26.65 |
| 포아송 | 15.23 | 20.39 | 23.42 | 23.04 | 22.50 | 25.22 | 25.72 | |
| 가우시안 + 포아송 |
13.21 | 17.23 | 20.55 | 20.07 | 20.21 | 21.34 | 22.62 | |
| 사람 영상 | 가우시안 | 15.99 | 21.22 | 24.53 | 24.23 | 24.58 | 25.06 | 27.30 |
| 포아송 | 16.05 | 21.01 | 24.06 | 23.62 | 24.07 | 24.92 | 26.25 | |
| 가우시안 + 포아송 |
13.61 | 17.42 | 21.95 | 21.21 | 22.17 | 21.13 | 23.01 | |
| 실행 시간(sec) | ||||||||
| 해상도 | 비교예 1 | 비교예 2 | 비교예 3 | 비교예 4 | 실험예 | |||
| 720×480×100 | 7.96 | 174.04 | 17.93 | 180.56 | 12.96 | |||
| 1920×1080×100 | 28.66 | 1014.40 | 117.24 | 1055.04 | 77.44 | |||
표 1을 참조하면, 공간적인 필터인 양방향(bilateral) 필터를 이용하는 경우에 최소의 실행 시간을 나타냄을 확인할 수 있다. 그러나, 양방향 필터를 이용하여 노이즈를 제거한 영상은 PSNR 값이 상대적으로 크기 때문에 원하는 수준의 노이즈가 제거된 영상을 획득할 수 없다. 본 발명의 시공간 노이즈 제거 필터를 이용하여 노이즈를 제거한 영상은 실행 시간과 PSNR 측정 결과 모두에서 기존의 노이즈 제거 필터를 이용한 경우에 비하여 높은 성능을 나타냄을 확인할 수 있다.
또한, 본 발명의 일 실실예에 따른 영상 처리 장치의 저조도 영상의 노이즈 제거 성능을 평가하기 위하여 저조도에서 영상을 획득하여 실험을 수행하였다. 실험 영상은 CMOS 카메라로 취득한 영상으로 광량을 감소시키는 필터인 중성 밀도 필터(Neutral Density Filter, NDF)를 사용하여 저조도 환경을 조성하였으며, 최대 게인값을 적용하였다. ND 1000 필터는 투과율을 0.098% 로 감소시켜 빛의 양을 조절한다.
상기 실험 영상은 저조도에서 획득된 영상이므로, 화소 편차를 제거하기 위하여 본 발명의 일실시예에 따른 화소 편차 보정 및 명암 복원을 적용하여 저조도 노이즈 제거뿐만 아니라, 밝기 복원을 수행한 결과를 확인하였다. 이와 같은 실험을 수행하여 획득된 실험 영상은 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상과 비교하였다. 종래의 톤 매핑 기반의 노이즈 제거 방식은 자동 이득 제어에 의하여 신호가 증폭되지 아니한 저조도 영상의 화질 개선을 위한 것이다.
도 11a 내지 도 11f는 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상과 본 발명의 일실시예에 따른 시공간 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상을 나타낸 것이다.
ND 1000 필터를 이용하여 저조도 환경에서 획득된 영상(도 11a)에 대하여 자동이득제어(AGC) 및 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 획득된 복원 영상은 원 신호와 노이즈가 같이 증폭되어 화질의 저하가 나타남을 알 수 있다(도 11b). 그러나, 본 발명의 일실시예에 따른 시공간 노이즈 제거 방식 및 명암 복원 방식을 적용한 영상의 경우에는 효과적으로 노이즈를 제거함은 물론이고, 원본 영상과 같은 명암의 복원에도 효과적임을 알 수 있다.
또한, 저조도 환경에서 획득된 영상에 대하여 자동이득제어를 사용하지 아니하기 위하여 상기 ND 1000 필터 대신 ND 16 필터를 이용하여 저조도 환경에서 획득된 영상(도 11d)은 ND 1000 필터 및 자동이득제어를 이용하여 획득된 영상(도 11a) 보다 더 어두운 영상이 획득됨을 알 수 있다. 이러한 획득 영상에 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 획득된 복원 영상도 화질의 저하가 일어남을 확인할 수 있다(도 11e). 그러나, 본 발명의 일실시예에 따른 시공간 노이즈 제거 방식 및 명암 복원 방식을 적용한 영상의 경우에는 종래의 톤 매핑 기반의 노이즈 제거 방식을 적용하여 노이즈를 제거한 영상에 비하여, 효과적으로 노이즈를 제거하는 것은 물론이고, 원본 영상과 같은 명암의 복원에도 효과적임을 알 수 있다.
도 11c 및 도 11f를 참조하면, 본 발명의 일실시예에 따른 시공간 노이즈 제거 방식 및 명암 복원 방식을 적용한 복원 영상은, 시공간 노이즈 제거 뿐만 아니라 CMOS 카메라의 고정 패턴 노이즈까지 제거함으로써 저조도 영상의 화질 개선을 수행할 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
Claims (18)
- 영상 신호를 수신하는 단계;
상기 영상 신호의 화소 간 편차 정보를 상기 영상 신호에 적용하여 상기 영상 신호로부터 고정 패턴 노이즈를 제거하는 단계;
상기 수신된 영상 신호 내의 배경 신호, 상기 수신된 영상 신호의 이전 영상 신호, 상기 수신된 영상 신호의 현재 영상 신호를 이용하여 측정된 움직임 정보를 기반으로 시공간 노이즈 제거 필터의 계수를 생성하는 단계;
상기 생성된 노이즈 제거 필터의 계수를 포함하는 상기 시공간 노이즈 제거 필터를 상기 고정 패턴 노이즈가 제거된 영상 신호에 적용하여 랜덤 노이즈를 제거하는 단계; 및
상기 랜덤 노이즈가 제거된 영상 신호를 색공간 변환하여 분리되는 밝기 성분을 증폭하는 단계를 포함하며,
상기 시공간 노이즈 제거 필터의 계수는 시간적 랩핑 및 공간적 랩핑 중 어느 하나 이상을 적용하여 획득되는 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 화소 간 편차 정보는 상기 영상 신호의 비트스트림으로부터 추출되거나 상기 영상 신호 수신 후 상기 영상 신호로부터 산출되는 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 화소 간 편차 정보는 상기 영상 신호의 캘리브레이션 수행시 산출되는 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 고정 패턴 노이즈를 제거하는 단계는,
상기 수신된 영상 신호에 상기 화소 간 편차 정보를 적용하는 단계; 및
상기 화소 간 편차 정보가 적용된 영상 신호에 시간적 노이즈 제거 기법을 적용하는 저조도 영상의 노이즈 제거 방법 - 제 1 항에 있어서,
상기 화소 간 편차 정보는 동일 프레임에 포함되는 화소 간의 화소값의 차이 정보인 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 움직임 정보는 상기 배경 신호와 상기 현재 영상 신호의 제 1 차 영상 신호 및 상기 현재 영상 신호와 상기 이전 영상 신호의 제 2 차 영상 신호에 근거하여 결정되는 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 시공간 노이즈 제거 필터의 계수는 상기 움직임 정보에 기초하여 상기 현재 영상 신호를 배경 영역 또는 움직임 영역으로 구분하여 생성되는 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 색공간 변환은 YCuCv 변환인 저조도 영상의 노이즈 제거 방법. - 제 1 항에 있어서,
상기 밝기 성분을 증폭하는 단계 이후에 색상, 채도 및 진하기 좌표를 이용하여 색을 지정하는 HSV 색공간 변환을 적용하는 단계를 포함하는 저조도 영상의 노이즈 제거 방법. - 영상 신호를 수신하고, 상기 영상 신호의 화소 간 편차 정보를 상기 영상 신호에 적용하여 상기 영상 신호로부터 고정 패턴 노이즈를 제거하는 화소 편차 보정부;
상기 수신된 영상 신호 내의 배경 신호, 상기 수신된 영상 신호의 이전 영상 신호, 상기 수신된 영상 신호의 현재 영상 신호를 이용하여 측정된 움직임 정보를 기반으로 생성된 시공간 노이즈 제거 필터의 계수를 포함하는 상기 시공간 노이즈 제거 필터를 상기 고정 패턴 노이즈가 제거된 영상 신호에 적용하여 랜덤 노이즈를 제거하는 움직임 검출 기반 시공간 노이즈 제거부;
상기 랜덤 노이즈가 제거된 영상 신호를 색공간 변환하여 분리되는 밝기 성분을 증폭하는 명암 복원부를 포함하며,
상기 시공간 노이즈 제거 필터의 계수는 시간적 랩핑 및 공간적 랩핑 중 어느 하나 이상을 적용하여 획득되는 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 화소 간 편차 정보는 수신된 상기 영상 신호의 비트스트림으로부터 추출되거나 수신된 상기 영상 신호로부터 상기 화소 편차 보정부에서 산출되는 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 화소 간 편차 정보는 상기 영상 캘리브레이션 수행시 산출되는 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 화소 편차 보정부는 상기 수신된 영상 신호에 상기 화소 간 편차 정보를 적용하고, 상기 화소 간 편차 정보가 적용된 영상 신호에 시공간 노이즈 제거 기법을 적용하는 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 화소 간 편차 정보는 동일 프레임에 포함되는 화소 간의 화소값의 차이 정보인 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 움직임 검출 기반 시공간 노이즈 제거부는 상기 움직임 정보를 상기 배경 신호와 상기 현재 영상 신호의 제 1 차 영상 신호 및 상기 현재 영상 신호와 상기 이전 영상 신호의 제 2 차 영상 신호에 근거하여 결정하는 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 움직임 검출 기반 시공간 노이즈 제거부는 상기 움직임 정보에 기초하여 상기 현재 영상 신호를 배경 영역 또는 움직임 영역으로 구분하고, 상기 구분된 영역의 정보에 따라 상기 노이즈 제거 필터의 계수를 생성하는 저조도 영상의 노이즈 제거 장치. - 제 10 항에 있어서,
상기 명암 복원부는 YCuCv 변환으로 상기 색공간 변환을 수행하는 저조도 영상의 노이즈 제거 장치. - 제 17 항에 있어서,
상기 명암 복원부는 상기 색공간 변환된 상기 영상 신호에 색상, 채도 및 진하기 좌표를 이용하여 색을 지정하는 HSV 색공간 변환을 적용하는 저조도 영상의 노이즈 제거 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160113511A KR101778461B1 (ko) | 2016-09-02 | 2016-09-02 | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160113511A KR101778461B1 (ko) | 2016-09-02 | 2016-09-02 | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101778461B1 true KR101778461B1 (ko) | 2017-09-26 |
Family
ID=60036668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160113511A KR101778461B1 (ko) | 2016-09-02 | 2016-09-02 | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101778461B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220096328A (ko) * | 2020-12-31 | 2022-07-07 | 한국전자통신연구원 | 이벤트 기반 영상 센싱 장치 및 방법 |
| US11659141B2 (en) | 2019-11-22 | 2023-05-23 | Hanwha Techwin Co., Ltd. | Image processing apparatus and method |
| CN117061710A (zh) * | 2023-10-11 | 2023-11-14 | 深圳市蓝鲸智联科技股份有限公司 | 一种远程查看车内情况的系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009088884A (ja) * | 2007-09-28 | 2009-04-23 | Kyocera Corp | 撮像データにおける動きベクトル検出方法と装置 |
| JP2009130730A (ja) * | 2007-11-26 | 2009-06-11 | Fujitsu Microelectronics Ltd | ２次元固体撮像素子、そのノイズ検出方法、補正方法およびプログラム |
| JP2011044813A (ja) * | 2009-08-19 | 2011-03-03 | Sumitomo Electric Ind Ltd | 撮像装置、補正値算出方法、及び撮像方法 |
| JP2012124832A (ja) * | 2010-12-10 | 2012-06-28 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
-
2016
- 2016-09-02 KR KR1020160113511A patent/KR101778461B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009088884A (ja) * | 2007-09-28 | 2009-04-23 | Kyocera Corp | 撮像データにおける動きベクトル検出方法と装置 |
| JP2009130730A (ja) * | 2007-11-26 | 2009-06-11 | Fujitsu Microelectronics Ltd | ２次元固体撮像素子、そのノイズ検出方法、補正方法およびプログラム |
| JP2011044813A (ja) * | 2009-08-19 | 2011-03-03 | Sumitomo Electric Ind Ltd | 撮像装置、補正値算出方法、及び撮像方法 |
| JP2012124832A (ja) * | 2010-12-10 | 2012-06-28 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11659141B2 (en) | 2019-11-22 | 2023-05-23 | Hanwha Techwin Co., Ltd. | Image processing apparatus and method |
| KR20220096328A (ko) * | 2020-12-31 | 2022-07-07 | 한국전자통신연구원 | 이벤트 기반 영상 센싱 장치 및 방법 |
| KR102445008B1 (ko) * | 2020-12-31 | 2022-09-21 | 한국전자통신연구원 | 이벤트 기반 영상 센싱 장치 및 방법 |
| US11861814B2 (en) | 2020-12-31 | 2024-01-02 | Electronics And Telecommunications Research Institute | Apparatus and method for sensing image based on event |
| CN117061710A (zh) * | 2023-10-11 | 2023-11-14 | 深圳市蓝鲸智联科技股份有限公司 | 一种远程查看车内情况的系统及方法 |
| CN117061710B (zh) * | 2023-10-11 | 2024-02-27 | 深圳市蓝鲸智联科技股份有限公司 | 一种远程查看车内情况的系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101618298B1 (ko) | 고감도 영상 생성 장치 및 방법 | |
| KR100782845B1 (ko) | 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템 | |
| US7489829B2 (en) | Adaptive low-light image processing | |
| US20050248687A1 (en) | Apparatus and method for filtering digital image signal | |
| US7702178B2 (en) | Method and apparatus for providing noise reduction | |
| KR100687645B1 (ko) | 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치 | |
| Kim et al. | A novel approach for denoising and enhancement of extremely low-light video | |
| US8773593B2 (en) | Noise reduction filter circuitry and method | |
| KR20160138685A (ko) | 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법 | |
| IES20080497A2 (en) | Image processing method and apparatus | |
| KR102127306B1 (ko) | 움직임 검출 장치 및 움직임 검출 방법 | |
| US9830690B2 (en) | Wide dynamic range imaging method | |
| TWI536319B (zh) | 去雜訊方法以及影像系統 | |
| JP4111980B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3208762B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR101778461B1 (ko) | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 | |
| US20080292202A1 (en) | Dynamic Range Compensation-Dependent Noise Reduction | |
| KR20150035315A (ko) | 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 | |
| US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
| WO2020206659A1 (en) | Method and apparatus for combining low-dynamic range images to a single image | |
| KR20190072027A (ko) | 저조도 영상 개선 방법 | |
| WO2021127972A1 (zh) | 一种图像处理方法、装置、成像设备及可移动载体 | |
| KR102199472B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JPH10262160A (ja) | Ｓｎ比検出装置および雑音低減装置 | |
| Lee et al. | Improved spatiotemporal noise reduction for very low-light environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |