KR101442153B1

KR101442153B1 - 저조도 영상 처리 방법 및 시스템

Info

Publication number: KR101442153B1
Application number: KR1020080004481A
Authority: KR
Inventors: 위호천; 오현화; 유영진; 이성덕
Original assignee: 삼성전자 주식회사; 삼성전기주식회사
Priority date: 2008-01-15
Filing date: 2008-01-15
Publication date: 2014-09-25
Also published as: US20090180704A1; US8295629B2; KR20090078583A

Abstract

저조도 영상 처리 방법 및 시스템이 제공된다. 본 발명의 다른 실시예에 따른 저조도 영상 처리 시스템은 조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 영상 획득부; 상기 제1 영상을 기준으로 상기 제2 영상의 움직임 벡터를 추정하는 움직임 벡터 추정부; 상기 추정된 움직임 벡터를 이용하여 상기 제2 영상을 보정하는 영상 보정부; 상기 제1 영상 및 상기 보정된 제2 영상에 대한 합성 계수를 생성하는 합성 계수 산출부; 및 상기 산출된 합성 계수를 이용하여 상기 제1 영상 및 상기 보정된 제2 영상을 합성하는 영상 합성부를 포함한다.

저조도 영상, 영상 정합, 영상 합성

Description

저조도 영상 처리 방법 및 시스템{Method and system for processing for low light level image.}

본 발명은 저조도 영상 처리 방법 및 시스템에 관한 것으로, 보다 상세하게는 서로 다른 특성을 가지는 두 영상을 획득하여 처리하는 방법 및 시스템에 관한 것이다.

영상(Image)에 대한 움직임 정보는 비전 및 영상 처리 시스템에서 필요한 정보이다. 영상 정합(alignment, registration)이란 상기 영상에 대한 움직임 정보를 이용하여 서로 다른 두 장의 영상 또는 그 이상의 영상에서 물리적으로 유사한 영역들을 기하학적으로 일치시키는 것을 말한다.

이러한 영상에 대한 움직임 정보는 단일의 이미지 센서로부터 획득한 다중 노출 기반의 하이 다이나믹 레인지 영상(High dynamic range(HDR) image)을 위한 정합, 손떨림에 의한 영상을 보정하는 디지털 모션 안정기(Digital motion stabilizer), 영상 정보 압축을 필요로 하는 비디오 인코더(Video encoder) 및 의료기기에 의해 촬영된 영상 정합 등에 필요하다. 예를 들어, 일반 카메라 영상과 적외선 영상 혹은 CT(Computer Tomography) 와 MRI(Magnetic Resonance Imaging) 영상을 합성하는 경우를 들 수 있다.

한편, 야간 촬영 또는 저조도 촬영 환경에서는 촬상되는 객체의 시인성을 높이기 위하여 일반적으로 셔터 스피드(Shutter speed)가 길어지게 되고, 이로 인하여 영상 획득기의 흔들림에 의하여 모션 블러가 발생할 수 있다.

따라서, 저조도 촬영 환경에서 획득되는 영상에 대한 모션 블러 등을 제거하면서 촬상되는 객체의 외관선을 선명하게 조정할 수 있는 방법 및 시스템이 필요하다.

본 발명의 일 실시예에서는 저조도 촬영 환경에서 획득된 영상을 처리하여 양질의 영상을 획득할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 저조도 촬영 환경에서 감도가 높은 영상에 대하여 노이즈를 저감시켜 영상 합성 시에 양질의 영상을 획득할 수 있는 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 조도와 감도가 서로 다른 두 영상을 움직임 추정 및 합성 계수에 의하여 합성하여 영상을 처리하는 방법 및 시스템을 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 저조도 영상 처리 시스템은 조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 영상 획득부; 상기 제1 영상을 기준으로 상기 제2 영상의 움직임 벡터를 추정하는 움직임 벡터 추정부; 상기 추정된 움직임 벡터를 이용하여 상기 제2 영상을 보정하는 영상 보정부; 상기 제1 영상 및 상기 보정된 제2 영상에 대한 합성 계수를 생성하는 합성 계수 산출부; 및 상기 산출된 합성 계수를 이용하여 상기 제1 영상 및 상기 보정된 제2 영상을 합성하는 영상 합성부를 포함한다.

상술한 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 저조도 영상 처리 방법은 조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 단계; 상기 제1 영상을 기준으로 상기 제2 영상의 움직임 벡터를 추정하는 단계; 상기 추정된 움직임 벡터를 이용하여 상기 제2 영상을 보정하는 단계; 상기 제1 영상 및 상기 보정된 제2 영상에 대한 합성 계수를 생성하는 단계; 및 상기 산출된 합성 계수를 이용하여 상기 제1 영상 및 상기 보정된 제2 영상을 합성하는 단계를 포함한다.

상술한 목적을 달성하기 위하여 본 발명의 또다른 실시예에 따른 저조도 영상 처리 방법은 조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 단계; 상기 제1 영상 및 상기 제2 영상을 각각 제1 이진 영상 및 제2 이진 영상으로 변환하는 단계; 상기 제1 이진 영상 및 상기 제2 이진 영상을 논리합에 의하여 조합된 조합 이진 영상을 생성하는 단계; 상기 조합 이진 영상의 활성화 영역의 테두리에 경사를 두어 상기 조합 영상의 이진수를 연속적으로 변환시키는 단계; 및 상기 연속적으로 변환된 상기 조합 영상의 이진수를 이용하여 상기 제1 영상 및 상기 제2 영상을 합성하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의한 저조도 영상 처리 방법 및 시스템을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실해하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이하, 본 발명의 바람직한 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템의 블록도이며, 도 2는 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템에서의 영상 획득부의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템(100)은 영상 획득부(110), 노이즈 저감부(120), 움직임 벡터 추정부(130), 영상 보정부(140), 합성 계수 산출부(150) 및 영상 합성부(160)를 포함할 수 있다.

영상 획득부(110)는 촬영된 두 영상을 제1 영상 및 제2 영상으로 획득할 수 있다. 예를 들어, 사용자가 영상 촬영 기기를 이용하여 제1 영상을 촬영한 경우에 영상 획득부(110)는 자동적으로 조도와 감도가 제1 영상과 다른 제2 영상을 획득할 수 있다.

본 발명에 일 실시예에서의 제1 영상 및 제2 영상은 조도와 감도는 동일하지 않은 서로 다른 특성을 가지는 영상이다. 여기서, 조도는 어떤 면이 받는 빛의 세기를 그 면적에 비춰지는 광속선으로 나타낸 양이다. 단위로는 럭스(lx) 또는 포토(ph)를 사용하며, 일반적으로 밝기를 결정하는 기본이 될 수 있다. 감도(Sensitivity)는 외부의 자극 또는 작용에 대하여 반응하는 민감도로서, 소정의 규정된 유효출력을 얻을 수 있는 최소의 입력 값으로 나타낼 수 있다. 최소 입력 값이 작을 수록 유효 출력 값을 얻을 수 있는 가능성이 높아져 감도가 높다.

한편, 제1 영상에 대하여 소정의 노출시간 및 감도가 정해진 상태에서, 획득되는 제2 영상은 제1 영상에 비하여는 조도가 낮고 감도가 높을 수 있다. 영상획득부는 제2 영상의 획득 시에 자동적으로 다음의 수학식에 의하여 조도와 감도를 조정하여 획득할 수 있다.

여기서, Ex 는 조도를 조정하는 노출시간이며, Ga 는 감도를 조정하는 이득(Gain) 값이다. 1 및 2의 아래 첨자는 각각 제1 영상 및 제2 영상을 나타낸다. k 는 제1 영상에 비하여 조도와 감도의 비를 조정하는 계수로서, 1 보다 큰 값을 가진다. 한편, 본 발명의 일 실시예에서의 제1 영상 및 제2 영상의 지칭은 하나의 예이며, 제1 영상 및 제2 영상을 서로 반대로 지칭할 수도 있다.

따라서, 수학식 1과 같이 제2 영상은 제1 영상에 비하여는 노출시간은 k 배 짧게 설정되고, 이득 값은 k 배 크게 설정된다. 따라서, 제2 영상은 제1 영상에 비하여 조도는 낮으면서, 감도는 높은 영상이다.

제1 영상은 제2 영상에 비하여 노출 시간이 길기 때문에, 제1 영상은 상대적으로 조도가 높아 공간의 색상을 부드럽게 표현할 수 있다. 한편, 제2 영상은 제1 영상에 비하여 상대적으로 감도가 높아 에지 영역을 선명하게 표현할 수 있지만, 감도가 높게 설정되면서 노이즈가 증가할 수 있다.

이와 같이, 본 발명의 일 실시예에서는 조도와 감도가 서로 달라 영상 특성이 다른 제1 영상 및 제2 영상의 장점을 취합하여 합성할 수 있다. 제1 영상 및 제2 영상에 대하여 가중치를 달리하는 합성 계수를 취함으로써 제1 영상 및 제2 영상으로부터 모션 블러를 제거하면서 선명도가 높은 출력 영상을 획득할 수 있다.

도 2를 참조하면, 영상 획득부(110)는 렌즈(210), 이미지 획득 센서(220), 노출 및 감도 조절부(230)를 포함할 수 있다. 렌즈(210)는 외부에서 빛을 받아들여, 외부의 상을 축소하여 이미지 획득 센서(220)에 전달한다.

이미지 획득 센서(220)는 외부로부터 제1 영상 및 제2 영상을 입력 받는다. 제1 영상 및 제2 영상은 노출 및 감도 조절부(230)에 의하여 미리 노출 시간 및 이득(Gain)이 정해질 수 있다. 또는 제1 영상에 대하여는 사용자에 의하여 노출 시간 및 이득이 정해진 상태에서, 제2 영상에 대하여는 노출 및 감도 조절부(230)에 의하여 자동적으로 정해질 수도 있다.

이미지 획득 센서(220)는 피사체에서 반사된 광을 전기적인 이미지 신호로 변환하여 영상을 생성해 내는 영상 촬상 소자 부품을 일컫는 것으로, 그 제작 공정 과 응용 방식에 따라 크게 전하 결합 소자(CCD; Charge Coupled Device) 이미지 센서와 금속 산화물 반도체(CMOS; Complementary　Metal Oxide Semiconductor) 이미지 센서로 분류될 수 있다.

본 발명의 일 실시예에서는 획득된 이미지에는 제한이 없으며, 예를 들어 일반 카메라로부터 획득한 영상과 적외선 카메라로부터 획득한 영상, CT 영상과 MRI 영상에 대하여도 각각 제1 영상 및 제2 영상으로 하여 적용할 수 있다.

다시 도 1을 참조하면, 노이즈 저감부(120)는 입력 영상에서 노이즈를 추출하여, 추출된 노이즈가 감소된 영상으로 변환시킨다. 노이즈 저감부의 일 예로서 이산 코사인 변환(DCT; Discrete cosine transform) 및 웨이브릿 변환 영역(Wavelet transform domain)을 기반으로 노이즈를 저감 시킬 수 있다.

노이즈 저감부(120)의 다른 예로서, 노이즈 레벨을 기반으로 산출된 이진 영상에 대하여 필터링을 수행함으로써 촬영되는 객체(Object)의 경계(Edge) 부분에 대하여 선명도가 향상되고, 객체 또는 배경의 공간 영역에 대하여는 노이즈가 저감되는 영상을 얻을 수 있다. 이와 같은 노이즈 저감부(120)에 대해서는 후술하기로 한다.

움직임 벡터 추정부(130)는 제1 영상 및 제2 영상으로부터 움직임 벡터를 추정한다. 제1 영상 및 제2 영상에서는 상이한 영상을 순차적으로 획득하게 되므로 어느 하나의 영상을 기준으로 객체의 움직임 정도를 나타내는 움직임 벡터를 산출할 필요가 있다. 이는 두 영상을 획득하는 시간 차이를 두고 영상 획득부의 움직임 또는 물체의 움직임은 영상간의 공간적 차이(Spatial difference)를 발생시키기 때 문이다. 움직임 벡터(Motion vector)란 제1 영상 및 제2 영상 중 하나의 영상을 기준으로 다른 영상에서의 동일한 영역으로 추정되는 블록의 이동 정보 또는 동일한 객체로 인식되는 피쳐의 이동 정보를 말한다. 따라서, 움직임 벡터를 이용하여 제1 영상과 제2 영상을 합성함으로써 손떨림 또는 움직임에 의한 모션 블러(Motion blur)가 없는 영상을 얻을 수 있다.

움직임 벡터 추정부(130)는 움직임 벡터를 추정하는 일반적인 기법에 의할 수 있다. 예를 들어, 전영역 탐색 방식(Full search)에 의하여 움직임 벡터를 추정하거나, 또는 두 영상 간의 상관 관계를 이용하여 가변 영역을 탐색하여 움직임 벡터를 추정하는 등의 다양한 공지의 기법이 적용될 수 있다.

다른 예로서, 제1 영상 및 제2 영상에 대하여 가로 및 세로의 크기를 반으로 줄이는 서브 샘플링(Sub-sampling)을 통하여 영상 피라미드를 구성하고, 최상위 피라미드 레벨에서부터 하위 피라미드 레벨로 내려오면서 각 레벨에서의 영상간의 최적 움직임을 산출한다. 해당 레벨의 움직임 계산을 위하여는 영상간 밝기 차이, 예를 들어 Sum of absolute difference, Mean square error, 또는 일반적인 상호정보(mutual information), 정규 상호정보(normalized mutual information)과 같은 확률 기반의 기준(Measure)를 적용할 수 있다. 두 영상에 대하여 레벨간 움직임 벡터를 합산하여 전체 영상에서의 전역 움직임 벡터를 계산할 수 있다.

또 다른 예로서, 제1 영상 및 제2 영상에 대하여 일차원적인 투사 데이터를 이용하여 움직임 벡터를 추정할 수 있다. 각 영상에 대하여 가로축 또는 세로축으로의 픽셀 정보를 하나로 통합한 투사 데이터를 생성하고, 생성된 투사 데이터를 이동시키면서 유사 척도를 최대로 하는 움직임 벡터 성분을 구할 수 있다. 한편, 두 영상의 조도의 차이가 크게 나는 경우에는 제1 영상 및 제2 영상 중 조도가 낮은 제2 영상의 투사 데이터에 대하여는 맵핑 테이블을 이용하여 조도 차이를 보상할 수 있다.

영상 보정부(140)는 추정된 움직임 벡터를 이용하여 제1 영상 또는 제2 영상을 보정한다. 영상 보정부(140)는 제1 영상 또는 제2 영상을 기준으로 다른 영상을 움직임 벡터의 크기와 방향만큼 이동시켜 보정할 수 있다.

합성 계수 산출부(150)는 제1 영상 및 제2 영상에 대하여 합성하기 위한 합성 계수를 산출한다. 합성 계수는 제1 영상 및 제2 영상을 합성하기 위한 계수로서, 두 영상 중에 하나의 영상의 픽셀에 대한 가중치 계수로서 0 부터 1의 범위를 가진다.

예를 들어, (i, j) 픽셀에 위치하는 합성 계수(W(i, j))인 경우에, 제1 영상 및 제2 영상의 (i, j)의 RGB 픽셀은 다음 수학식에 의하여 계산될 수 있다.

여기서, R, G 및 B는 영상에서의 적색, 녹색 및 청색의 채널의 값이며, 1 및 2의 아래 첨자는 각각 제1 영상 및 제2 영상을 나타낸다. 따라서, 합성 계수(W(i, j))가 1이 되면, 제2 영상만을 이용하며, 합성 계수(W(i, j))가 0이 되면 제1 영상 만을 이용한다. 합성 계수가 0.5 미만이면, 제2 영상에 더 높은 가중치를 두게 되고, 합성 계수가 0.5 초과하면 제1 영상에 더 높은 가중치를 둔다는 의미이다.

영상 합성부(160)는 합성 계수 생성부(140)에 의하여 구해진 합성 계수를 이용하여 제1 영상 및 제2 영상을 하나의 출력 영상으로 합성한다. 영상 합성부(160)는 수학식 2를 적용하면서 합성 계수를 기반으로 하는 각 영상의 가중치를 반영하여 하나의 출력 영상을 합성할 수 있다.

상기와 같이, 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템에 의하면 서로 다른 두 영상으로부터 움직임 벡터와 합성 계수를 이용하여 모션 블러가 제거되고, 경계(Edge)가 선명한 하나의 출력 영상을 획득할 수 있다. 또한, 조도가 낮은 환경에서는 장노출 영상과 단노출 영상을 획득하고, 장노출 영상과 장노출 영상을 합성 계수에 의하여 조합함으로써 계조와 경계(Edge)가 선명하게 나타나는 출력 영상을 얻을 수 있다. 이와 함께, 감도를 높임으로 인하여 발생되는 노이즈를 저감시켜, 경계에 대한 선명도가 높으면서 노이즈가 상대적으로 저감된 출력 영상을 얻을 수 있다.

도 3은 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템에서 노이즈 저감부의 블록도이다.

도 3을 참조하면, 노이즈 저감부(120)는 입력된 제1 영상 또는 제2 영상의 노이즈(Noise)를 저감시킨다. 제2 영상이 제1 영상에 비하여 단노출이며, 감도가 높도록 설정되어 제2 영상에서 노이즈가 크게 나타날 수 있다. 따라서, 노이즈 저감부(120)는 제2 영상을 입력 영상으로 하여, 다음과 같이 노이즈를 저감시킬 수 있다.

노이즈 저감부(120)는 노이즈 레벨 산출부(310), 이진 영상 생성부(320), 경계 저감부(330) 및 필터링 적용부(340)를 포함할 수 있다.

노이즈 레벨 산출부(310)는 입력 영상의 노이즈 레벨을 산출한다. 노이즈 레벨은 입력 영상에 존재하는 노이즈의 크기를 나타내는 수치이다. 일반적으로 이미지 센서의 노이즈는 촬영 환경 및 센서의 특성에 따라 변화하는 신호 의존성 노이즈(signal dependent noise) 특성을 가지게 되는데, 이를 기초로 노이즈 레벨을 추정하는 방법은 다수의 방법으로 알려져 있다. 일 예로 "Block-based noise estimation using adaptive Gaussian filtering, D,H. Shin et al., IEEE Trans. On Consumer Electronices, Vol. 51, No. 1, Feb, 2005"가 알려져 있다. 또한, "Noise Estimation from a Single Image, C. Liu et al., Proceedings of the 2006 IEEE Computer Society Conference on CVPR'06"이 알려져 있다. 이는 노이즈 레벨을 추정하는 방법의 일 예를 소개한 것일 뿐, 노이즈 레벨을 추정하는 방법은 이에 한정되지 않고 다양한 방법이 사용될 수 있다.

이진 영상 생성부(320)는 산출된 노이즈 레벨을 이용하여 입력 영상의 각 픽셀별 신호 대 잡음비(SNR; signal to noise ratio)를 구하며, 구해진 신호 대 잡음비와 임의로 정한 잡음 문턱값을 비교하여 이진 영상을 생성한다. 예를 들어 잡음 대비 신호값이 특정 잡음 문턱값보다 크면 1로 설정하고, 잡음 대비 신호값이 특정 잡음 문턱값보다 작으면 0으로 설정을 할 수 있다. 특정 픽셀이 1로 설정됨은 영상에 있어서 중요한 정보를 내포하고 있음을 의미한다. 중요한 정보라 함은 영상의 에지 부분을 의미할 수 있다. 신호 대 잡음비는 구하고자 하는 픽셀 주변의 로컬(local) 영역의 데이터 값의 통계량을 이용해서 구하는데, STD(standard deviation), MAD(mean of absolute difference), SAD(sum of absolute difference) 등의 방법을 이용해서 구할 수 있다.

경계 저감부(330)는 이진 영상에서 이진 데이터의 경계를 저감시킨다. 이진 영상의 각 픽셀은 0 또는 1의 값을 가지게 되는데, 활성화(1) 또는 비활성화(0) 영역으로 영상을 나눔으로써, 이진 데이터의 경계에서는 급격하게 영상이 변화하여 부자연스러운 영상을 생성할 수 있다. 따라서, 이러한 경계 효과(boundary effect)를 저감시키기 위한 처리가 필요하다. 즉, 픽셀의 값이 0 또는 1의 값만을 가지는 것이 아니라 0~1 사이의 값을 가지도록 변환시킨다. 경계 효과를 저감시키기 위한 방법으로 가우씨안 블러(Gaussian blur)를 이용할 수 있다.

필터링 적용부(340)는 이진 데이터의 경계가 저감된 이진 영상에 대하여, 가중치를 달리 부여 하여 필터링한다. 예를 들어, 소정의 픽셀에서 이진 데이터의 값이 0에 가까우면, 큰 사이즈의 노이즈 필터 커널(large noise filter kernel)을 적용할 수 있다. 이는 입력 영상의 해당 픽셀의 주변 픽셀의 가중치를 높게 부여하여 해당 픽셀의 영상 정보를 보정함으로써 노이즈를 저감시킬 수 있다. 이에 비하여, 소정의 픽셀에서 이진 데이터의 값이 1에 가까우면, 작은 사이즈의 노이즈 필터 커널(small noise filter kernel)을 적용할 수 있다. 이진 데이터의 값이 1에 가까우면, 해당 픽셀이 에지 영역에 가까우므로, 해당 픽셀의 주변 픽셀의 가중치를 낮게 부여하여 해당 픽셀의 영상 정보를 보정한다. 따라서, 해당 픽셀의 영상 정보의 변 경이 거의 없어, 에지의 선명도가 유지될 수 있다.

이와 같이, 가중치가 달리 부여된 두 필터의 결과를 합쳐서 최종적으로 에지 영역의 왜곡(edge region artifact)이 향상된 영상을 생성할 수 있다. 큰 사이즈의 노이즈 필터 커널(L)에 가중치 g(0≤g≤1)가 부여되면, 작은 사이즈의 노이즈 필터 커널(S)에는 (1-g)의 가중치가 부여되고 합한 최종 영상은 gL+(1-g)S으로 나타낼 수 있다. 이때, 추정된 영역의 활성도가 크면 클수록 작은 사이즈의 노이즈 필터 커널에 높은 가중치를 부여하여 에지 부분이 향상된 영상을 생성할 수 있도록 한다.

도 4는 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템에서의 움직임 벡터 추정부의 블록도이다.

투사 데이터 생성부(410)는 제1 영상 및 제2 영상으로부터 맵핑 테이블을 이용하여 투사 데이터를 생성한다. 투사 데이터 생성부(410)는 2차원의 제1 영상에 대한 제1 투사 데이터 및 제2 영상에 대한 제2 투사 데이터를 생성한다. 각 투사 데이터는 2차원적인 영상에 대하여 가로 또는 세로축에 대하여 대표하는 값으로 나타내는 일차원적인 분포 데이터이다. 일차원적인 분포 데이터는 각각 가로 또는 세로축의 픽셀들에 대하여 평균 값으로 이루어지거나 또는 제1 영상을 기준으로 제2 영상의 밝기를 고려한 대표 값으로 이루어질 수 있다.

움직임 탐색부(420)는 생성된 제1 투사 데이터와 제2 투사 데이터를 이용하여 움직임 벡터를 추정한다. 움직임 탐색부(420)는 제1 투사 데이터와 제2 투사 데이터의 유사 척도를 최대화시킴에 의하여 움직임 벡터를 추정할 수 있다. 유사 척 도를 산출하는 방식은 다양한 방법에 의해 산출될 수 있다.

예를 들어, 일반적인 루미넌스(luminance) 기반 방법 또는 확률 기반 방법을 사용할 수 있다. 루미넌스 기반 방법으로 기존의 상관관계(correlation), 정규화된 상관관계(normalized correlation) 및 SAD(sum of the absolute difference) 등의 알고리즘을 사용할 수 있다. 그리고, 확률 기반 방법으로 상호정보(mutual information), 정규 상호정보(normalized mutual information) 등의 알고리즘을 사용할 수 있다. 상관관계, 정규화된 상관관계, SAD, 상호정보, 정규 상호정보는 이미 공지되어 있는 알고리즘 및 방법으로 본 발명의 상세한 설명에서는 이에 관한 자세한 설명을 생략한다.

상기와 같이, 본 발명의 일 실시예에 따라 움직임 벡터를 추정함에 있어서 2차원 영상으로부터 일차원적인 분포를 가지는 투사 데이터를 산출하여, 이를 바탕으로 움직임 벡터를 추정함으로써 복잡도를 줄일 수 있다. 추정된 움직임 벡터에 대하여 제2 영상을 이동시킴으로써, 영상 간의 움직임을 보정할 수 있다. 또는 제2 영상을 기준으로 제1 영상을 이동시킴으로써 영상 간의 움직임을 보정할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템에서 합성 계수 산출부의 블록도이다.

도 5를 참조하면, 합성 계수 산출부(150)는 제1 영상 및 보정된 제2 영상으로부터 합성 계수를 산출한다. 보정된 제2 영상은 움직임 벡터에 의하여 제2 영상에 대한 움직임 보상이 수행된 영상이다.

합성 계수 산출부(150)는 영상 변환부(510), 에지 추출부(520), 영상 조합부(530), 영상 확산부(540) 및 영상 평활부(550)를 포함할 수 있다.

영상 변환부(510)는 각 입력 영상의 RGB 채널에서 YCbCr 채널 값으로 변환할 수 있다. RGB 채널에서 YCbCr 채널 값의 변환은 다음의 수학식에 의하여 구할 수 있다.

Y = 0.29900R + 0.58700G + 0.11400B

Cb = -0.16874R - 0.33126G + 0.50000B

Cr = 0.50000R - 0.41869G - 0.08131B

여기서, Y는 휘도이며, Cb 는 청색 색차(Blue chrominance), Cr는 적색 색차(Red chrominance)이다.

영상 변환부(510)는 RGB 채널에서 YCbCr 채널 값으로 변환하는 경우에 각 영상에 대하여 3개의 그레이 스케일(Gray-scale) 영상을 얻을 수 있고, 따라서 총 6개의 그레이 스케일 영상을 얻을 수 있다.

한편, 영상 변환부(510)에서 각 영상을 YCbCr 채널 값으로 표현하는 영상으로 변환한 것에 하나의 예에 지나지 아니하며, 다른 예로서 Y 채널 값으로 표현되는 하나의 그레이 스케일 영상을 각각 제1 영상 및 보정된 제2 영상에 대하여 얻을 수 있다. 또는 영상 변환부(510)는 RGB 채널을 변환 없이 R, G 및 B 채널 값을 추출한 3개의 그레이 스케일 영상을 얻고, 제1 영상 및 보정된 제2 영상에 대하여 6개의 그레이 스케일 영상을 얻을 수도 있다.

여기서는, 설명의 편의를 위하여 영상 변환부(510)는 제1 영상 및 보정된 제2 영상을 Y 채널의 그레이 스케일 영상으로 변환한 경우를 살펴본다. 제1 영상으로부터 변환된 Y 채널의 그레이 스케일 영상은 제1 Y 채널 영상이라고, 보정된 제2 영상으로부터 변환된 Y 채널의 그레이 스케일 영상은 제2 Y 채널 영상이라고 한다.

에지 추출부(520)는 변환된 영상에 소정의 문턱값을 적용하여 이진 영상을 생성하고, 생성된 이진 영상에서 에지를 추출한다. 따라서, 에지 추출부(320)는 제1 Y 채널 영상으로부터 제1 이진 영상을 생성하고, 제2 Y 채널 영상으로부터 제2 이진 영상을 생성한다. 여기서, 이진 영상은 각 픽셀은 0 또는 1의 값을 가지는 영상으로, 예를 들어 1의 값을 가지는 부분이 활성화 영역으로, 에지를 나타낼 수 있다.

에지 추출부(520)에서 적용하는 소정의 문턱값은 제1 영상 및 보정된 제2 영상의 신호 대 잡음비를 통계적으로 분석하여 결정될 수 있다. 문턱값이 결정되면, 잡음 대비 신호값이 문턱값보다 크면 1로 설정하고, 잡음 대비 신호 값이 문턱값보다 작으면 0으로 설정될 수 있다.

영상 조합부(530)는 제1 이진 영상과 제2 이진 영상을 조합하여 조합 이진 영상을 생성한다. 제1 이진 영상과 제2 이진 영상을 논리합 연산(OR 연산)에 의하여 하나의 이진 영상으로 조합하는 경우에는 '1'이 설정되는 활성화 영역이 확대될 수 있다.

영상 확산부(540)는 조합 이진 영상에 대하여 에지(Edge)로 인식된 부분을 미세하게 확대시킨다. 조합 이진 영상에서는 '1'이 설정되는 활성화 영역이 사물의 외곽선을 나타내는 에지가 될 수 있다. 영상 확산부(540)는 '1'이 나타나는 활성화 영역의 테두리 부분을 활성화 영역이 아닌 영역으로 확대시킬 수 있다.

영상 평활부(550)는 조합된 이진 영상에 대하여 활성화 영역의 테두리 부분에서의 경사를 완만하게 조정한다. 이진 영상에서의 활성화 영역의 테두리에서는 갑자기 0에서 1로 값이 점프하게 되어 불연속적인 값을 가진다. 이를 컬러 영상으로 복원하는 경우에는 테두리 부분이 부자연스럽고, 색감이 좋지 않을 수 있다. 따라서, 영상 평활부(550)에 의하여, '1'이 나타나는 활성화 영역의 테두리에서 스무딩 기법(smoothing) 기법을 적용하여 테두리에서의 경사를 완만하게 조정할 수 있다. 스무딩 기법으로는 가우시안(Gaussian) 스무딩 등의 다양한 스무딩 기법이 적용될 수 있다.

영상 평활부(550)에 의하여, 0 부터 1 까지의 연속적인 값을 가질 수 있고, 0 부터 1 까지의 산출된 값이 최종 합성 계수가 된다. 따라서 합성 계수는 각 픽셀 마다 W(i,j)가 생성되어, 영상 합성부에서 사용될 수 있다.

이진 영상에서 에지가 아닌 영역에서는 합성 계수가 0이 되며, 에지 영역인 활성화 영역에서의 중심부에서는 합성 계수가 1이 된다. 따라서, 수학식 2를 적용하였을 때, 에지가 아닌 영역에서는 제1 영상에 의하여 출력 영상이 결정되고 활성화 영역에서의 중심부에서는 제2 영상에 의하여 출력 영상이 결정된다.

상기와 같이, 합성 계수를 이용하여 제1 영상과 제2 영상을 조합할 수 있다. 또한, 노출시간이 긴 제1 영상으로부터는 주로 공간 부분에서의 픽셀 정보를 이용하고, 노출시간이 짧고 감도가 높은 상태에서 획득된 제2 영상으로부터는 에지 부 분에서의 픽셀 정보를 이용함으로써, 전체적으로 색감이 뛰어나면서 에지 부분의 선명도가 높은 출력 영상이 획득될 수 있다.

도 6은 본 발명의 일 실시예에 따른 저조도 영상 처리 방법의 흐름도를 보여준다. 도 6을 참조하면, 먼저 조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득한다(S600). 수학식 1과 같이, 제1 영상에 대한 조도와 감도가 설정된 상태에서 제1 영상을 이미지 획득 센서를 통하여 획득하면서, 자동적으로 조도와 감도를 다르게 설정하여 제2 영상을 획득할 수 있다. 이는 제1 영상 및 제2 영상을 서로 다른 조도와 감도를 가지게 함으로써, 영상 합성에 있어 제1 영상 및 제2 영상 각각의 특징을 취합하여 합성하기 위함이다.

제2 영상에 대하여는 감도가 높아, 노이즈가 높을 수 있으므로 노이즈를 저감시키는 과정을 더 포함할 수 있다. 노이즈 저감은 이진 영상으로 변환한 후에 노이즈 필터 커널을 영역에 따라 다르게 적용함으로써 노이즈 저감이 필요한 영역에 노이즈를 제거할 수 있다.

제1 영상 및 제2 영상이 획득되면, 상기 두 영상 중에 하나를 기준으로 다른 영상의 움직임 벡터를 추정한다(S610). 움직임 벡터의 추정은 일반적인 공지의 방법으로 추정할 수 있다. 또는 영상 피라미드의 구성에 따른 레벨 간 움직임 벡터 추정, 투사 데이터를 바탕으로 하는 움직임 벡터 추정 기법 등이 적용될 수 있다.

움직임 벡터가 추정되면, 움직임 벡터를 이용하여 두 영상 중의 하나를 보정한다(S620). 움직임 벡터를 이용한 영상의 보정은 순차적인 시간에서 배치되는 두 영상에서의 공간적 차이를 보정할 수 있다.

영상 보정 후에는 제1 영상 및 제2 영상을 합성하기 위한 합성 계수를 산출한다(S630). 합성 계수 산출의 일 예는 다음과 같다. 먼저, 제1 영상 및 제2 영상을 각각 단일 채널 영상으로 변환한다. 또는 단일 채널의 복수의 영상으로 변환될 수도 있다. 단일 채널 영상에 대하여 소정의 문턱값을 적용하여 제1 영상 및 제2 영상 각각에 대하여 이진 영상을 생성한다. 각 이진 영상을 논리합으로 조합하여 하나의 조합 이진 영상을 생성한다. 조합 이진 영상에서 에지 영역이 되는 활성화 영역의 테두리를 확장시키는 확산(Dilation) 과정이 더 추가될 수 있다. 조합 이진 영상에서 활성화 영역의 테두리 부분에서의 경사를 완만하게 조정한다. 경사 조절에 의하여 조합 이진 영상에서 활성화 영역과 타 영역에서 연속적인 값을 가지도록 할 수 있다. 이와 같이 연속된 값이 합성 계수가 된다.

합성 계수 산출되면, 제1 영상과 제2 영상을 합성한다(S640). 여기서, 제1 영상 또는 제2 영상은 움직임 벡터에 의해 보정된 영상일 수 있다. 합성 계수는 가중치를 나타내는 값으로서, 합성 계수를 적용함으로써 제1 영상 및 제2 영상에서 각 픽셀별로 가중치를 달리하여 출력 영상을 획득할 수 있다.

상기와 같이 본 발명의 일 실시예에 따르면 저조도 촬영 환경에서 획득된 영상을 처리하여 양질의 영상을 획득할 수 있다. 또한, 저조도 촬영 환경에서 감도가 높은 영상에 대하여 노이즈를 저감시켜 영상 합성 시에 양질의 영상을 획득할 수 있다.

이와 함께, 또한, 조도와 감도가 서로 다른 두 영상을 움직임 추정 및 합성 계수에 의하여 합성하여 손 떨림 등의 모션 블러에 의한 영상의 정합뿐만 아니라 각 영상의 장점을 취합한 양질의 영상을 획득할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

도 1은 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템의 블록도이다.

도 2는 본 발명의 일 실시예에 따른 저조도 영상 처리 시스템에서의 영상 획득부의 블록도이다.

도 6은 본 발명의 일 실시예에 따른 저조도 영상 처리 방법의 흐름도이다.

<도면의 주요 부분에 대한 설명>

110: 영상 획득부

120: 노이즈 저감부

130: 움직임 벡터 추정부

140: 영상 보정부

150: 합성 계수 산출부

160: 영상 합성부

Claims

조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 영상 획득부;

상기 제1 영상을 기준으로 상기 제2 영상의 움직임 벡터를 추정하는 움직임 벡터 추정부;

상기 추정된 움직임 벡터를 이용하여 상기 제2 영상을 보정하는 영상 보정부;

상기 제1 영상 및 상기 보정된 제2 영상에 대한 합성 계수를 생성하는 합성 계수 산출부; 및

상기 산출된 합성 계수를 이용하여 상기 제1 영상 및 상기 보정된 제2 영상을 합성하는 영상 합성부를 포함하되,

상기 제2 영상의 각 픽셀별 신호 대 잡음비(SNR)를 구하여 문턱값을 기준으로 상기 제2 영상의 노이즈를 줄이는 노이즈 저감부를 더 포함하는, 저조도 영상 처리 시스템.
제 1항에 있어서,

상기 영상 획득부에 획득되는 상기 제2 영상은

상기 제1 영상에 비하여 조도는 낮고, 상기 제1 영상에 비하여 감도는 높은 영상인, 저조도 영상 처리 시스템.
삭제
제 1항에 있어서, 상기 노이즈 저감부는

제2 영상의 노이즈 레벨을 산출하는 노이즈 레벨 산출부;

상기 제2 영상의 각 픽셀별 신호 대 잡음비(SNR)를 구하여 문턱값을 기준으로 이진 영상을 생성하는 이진 영상 생성부;

상기 이진 영상에서 이진 데이터의 경계를 저감시키는 경계 저감부; 및

상기 이진 영상에 노이즈 필터를 적용하여 필터링 하는 필터링 적용부를 포함하는, 저조도 영상 처리 시스템.
제 1항에 있어서, 상기 움직임 벡터 추정부는

상기 제1 영상 및 제2 영상에 대하여 가로 및 세로의 크기를 반으로 줄이는 서브 샘플링(Sub-sampling)을 통하여 영상 피라미드를 구성하고, 최상위 피라미드 레벨에서부터 하위 피라미드 레벨로 내려오면서 각 레벨에서의 영상간의 움직임을 산출하여 상기 움직임 벡터를 추정하는, 저조도 영상 처리 시스템.
제 1항에 있어서, 상기 움직임 벡터 추정부는

상기 제1 영상 및 제2 영상에 대하여 일차원적인 투사 데이터를 생성하고, 생성된 투사 데이터를 이동시키면서 유사 척도를 최대로 하는 이동 거리를 상기 움직임 벡터로 추정하는, 저조도 영상 처리 시스템.
제 1항에 있어서, 상기 합성 계수 산출부는

상기 제1 영상 및 상기 보정된 제2 영상을 각각 제1 이진 영상 및 제2 이진 영상으로 변환하는 에지 추출부;

상기 제1 이진 영상 및 상기 제2 이진 영상을 논리합에 의하여 조합된 조합 이진 영상을 생성하는 영상 조합부; 및

상기 조합 이진 영상의 활성화 영역의 테두리에 경사를 두어 이진 영역을 연속적으로 변환시키는 영상 평활부를 포함하는, 저조도 영상 처리 시스템.
제 7항에 있어서, 상기 활성화 영역은

상기 논리합에 의하여 이진수가 '1'로 나타나는 영역인, 저조도 영상 처리 시스템.
제 7항에 있어서, 상기 합성 계수 산출부는

상기 조합 이진 영상의 활성화 영역의 테두리를 활성화 영역이 아닌 영역으로 확장시키는 영상 확산부를 더 포함하는, 저조도 영상 처리 시스템.
제 1항에 있어서, 상기 영상 획득부는

렌즈;

상기 렌즈를 통하여 입력된 상을 획득하는 이미지 획득 센서; 및

상기 획득하는 이미지의 노출 및 감도를 조절하는 노출 및 감도 조절부를 포 함하는, 저조도 영상 처리 시스템.
조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 단계;

상기 제1 영상을 기준으로 상기 제2 영상의 움직임 벡터를 추정하는 단계;

상기 추정된 움직임 벡터를 이용하여 상기 제2 영상을 보정하는 단계;

상기 제1 영상 및 상기 보정된 제2 영상에 대한 합성 계수를 생성하는 단계; 및

상기 생성된 합성 계수를 이용하여 상기 제1 영상 및 상기 보정된 제2 영상을 합성하는 단계를 포함하되,

상기 제1 영상 및 제2 영상으로 획득한 후에, 상기 제2 영상의 각 픽셀별 신호 대 잡음비(SNR)를 구하여 문턱값을 기준으로 상기 제2 영상의 노이즈를 줄이는 단계를 더 포함하는, 저조도 영상 처리 방법.
제 11항에 있어서,

상기 영상 획득부에 획득되는 상기 제2 영상은

상기 제1 영상에 비하여 조도는 낮고, 상기 제1 영상에 비하여 감도는 높은 영상인, 저조도 영상 처리 방법.
삭제
제 11항에 있어서, 상기 노이즈를 줄이는 단계는

제2 영상의 노이즈 레벨을 산출하는 단계;

상기 제2 영상의 각 픽셀별 신호 대 잡음비(SNR)를 구하여 문턱값을 기준으로 이진 영상을 생성하는 단계;

상기 이진 영상에서 이진 데이터의 경계를 저감시키는 단계; 및

상기 이진 영상에 노이즈 필터를 적용하여 필터링 하는 단계를 포함하는, 저조도 영상 처리 방법.
제 11항에 있어서, 상기 움직임 벡터를 추정하는 단계는

상기 제1 영상 및 제2 영상에 대하여 가로 및 세로의 크기를 반으로 줄이는 서브 샘플링(Sub-sampling)을 통하여 영상 피라미드를 구성하고, 최상위 피라미드 레벨에서부터 하위 피라미드 레벨로 내려오면서 각 레벨에서의 영상간의 움직임을 산출하여 상기 움직임 벡터를 추정하는 단계를 포함하는, 저조도 영상 처리 방법.
제 11항에 있어서, 상기 움직임 벡터를 추정하는 단계는

상기 제1 영상 및 제2 영상에 대하여 일차원적인 투사 데이터를 생성하고, 생성된 투사 데이터를 이동시키면서 유사 척도를 최대로 하는 이동 거리를 상기 움직임 벡터로 추정하는 단계를 포함하는, 저조도 영상 처리 방법.
제 11항에 있어서, 상기 합성 계수를 생성하는 단계는

상기 제1 영상 및 상기 보정된 제2 영상을 각각 제1 이진 영상 및 제2 이진 영상으로 변환하는 단계;

상기 제1 이진 영상 및 상기 제2 이진 영상을 논리합에 의하여 조합된 조합 이진 영상을 생성하는 단계; 및

상기 조합 이진 영상의 활성화 영역의 테두리에 경사를 두어 이진 영역을 연속적으로 변환시키는 단계를 포함하는, 저조도 영상 처리 방법.
제 17항에 있어서, 상기 활성화 영역은

상기 논리합에 의하여 이진수가 '1'로 나타나는 영역인, 저조도 영상 처리 방법.
제 17항에 있어서, 상기 합성 계수를 생성하는 단계는

상기 조합 이진 영상의 활성화 영역의 테두리를 활성화 영역이 아닌 영역으로 확장시키는 단계를 더 포함하는, 저조도 영상 처리 방법.
조도와 감도가 다른 두 영상을 제1 영상 및 제2 영상으로 획득하는 단계;

상기 제1 영상 및 상기 제2 영상을 각각 제1 이진 영상 및 제2 이진 영상으로 변환하는 단계;

상기 제1 이진 영상 및 상기 제2 이진 영상을 논리합에 의하여 조합된 조합 이진 영상을 생성하는 단계;

상기 조합 이진 영상의 활성화 영역의 테두리에 경사를 두어 상기 조합 영상의 이진수를 연속적으로 변환시키는 단계; 및

상기 연속적으로 변환된 상기 조합 영상의 이진수를 이용하여 상기 제1 영상 및 상기 제2 영상을 합성하는 단계를 포함하되,

상기 제1 이진 영상 및 제2 이진 영상으로 변환하는 단계는

상기 제1 영상 및 상기 제2 영상 각각의 영상의 각 픽셀별 신호 대 잡음비(SNR)를 구하고,

잡음 대비 신호 값이 문턱값보다 크면 1로 설정하고, 잡음 대비 신호 값이 문턱값보다 작으면 0으로 설정하여 상기 제1 이진 영상 및 제2 이진 영상으로 변환하는, 저조도 영상 처리 방법.
제 20항에 있어서,

상기 논리합에 의하여 이진수가 '1'로 나타나는 영역이며,

상기 합성 계수를 생성하는 단계는 상기 조합 이진 영상의 활성화 영역의 테두리를 활성화 영역이 아닌 영역으로 확장시키는 단계를 더 포함하는, 저조도 영상 처리 방법.
제 20항에 있어서, 상기 제1 영상 및 제2 영상으로 획득하는 단계 후에

상기 제1 영상 및 상기 제2 영상을 각각 단일 채널 영상으로 변환시키는 단계를 더 포함하는, 저조도 영상 처리 방법.
삭제