KR101141844B1 - 저조도 환경에서의 영상 개선 방법 및 장치 - Google Patents

저조도 환경에서의 영상 개선 방법 및 장치 Download PDF

Info

Publication number
KR101141844B1
KR101141844B1 KR1020100113594A KR20100113594A KR101141844B1 KR 101141844 B1 KR101141844 B1 KR 101141844B1 KR 1020100113594 A KR1020100113594 A KR 1020100113594A KR 20100113594 A KR20100113594 A KR 20100113594A KR 101141844 B1 KR101141844 B1 KR 101141844B1
Authority
KR
South Korea
Prior art keywords
value
image
exposure value
low light
light environment
Prior art date
Application number
KR1020100113594A
Other languages
English (en)
Inventor
문영식
김의성
박기태
박찬우
이종민
좌동훈
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020100113594A priority Critical patent/KR101141844B1/ko
Application granted granted Critical
Publication of KR101141844B1 publication Critical patent/KR101141844B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 저조도 환경에서의 영상 개선 방법 및 장치를 개시한다. 본 발명에 따른 방법은 (a) 노출값에 따른 픽셀값 변화 정도를 나타내는 컬러 변화 특성 정보를 저장하는 단계; (b) 저조도 환경인 경우, 노출값을 적정 노출값에서 제1 노출값으로 변경하는 단계-상기 제1 노출값은 상기 적정 노출값보다 미리 설정된 수치 이상의 노출값임-; 및 (c) 상기 제1 노출값 및 상기 컬러 변화 특성 정보를 이용하여 상기 저조도 환경에서 촬영된 영상을 개선하는 단계를 포함한다. 본 발명에 따르면, 적은 계산량으로 저조도 환경에서의 영상을 개선할 수 있는 장점이 있다.

Description

저조도 환경에서의 영상 개선 방법 및 장치{METHOD AND SYSTEM FOR ENHANCING IMAGE UNDER LOW ILLUMINATION}
본 발명은 저조도 영상의 개선 방법 및 장치에 관한 것으로서, 보다 상세하게는 저조도 환경에서 촬영된 영상의 밝기와 색감을 복원할 수 있는 방법 및 장치에 관한 것이다.
최근 디지털 카메라의 보급이 보편적으로 이루어지고 있으며, 특히 개인 블로그, 페이스북 및 트위터와 같은 소셜 네트워크가 보급됨에 따라 영상을 촬영하는 디지털 카메라는 생활 필수품으로 자리잡고 있는 실정이다.
자동 노출, 자동 포커싱 및 얼굴 인식과 같이 디지털 카메라와 관련된 기술의 발달에 따라 전문가가 아닌 일반 사용자들도 원하는 영상을 얻을 수 있는 상황이나, 아직까지 어두운 환경, 즉 저조도 환경에서 원하는 영상을 얻기에는 어려운 문제점이 있다.
저조도 환경에서 디지털 카메라를 이용해 사진을 촬영하는 경우 긴 노출시간이 필요하다. 여기서 노출은 카메라를 통해 들어오는 빛의 양을 의미하며, 노출은 조리개 및 셔터 스피드에 의해 영향을 받는다.
일반적으로 저조도 환경에서는 조리개가 열리면서 셔터 스피드가 느려지게 되는데, 그 시간 동안 카메라의 움직임이나 피사체의 움직임으로 인해 흔들리는 영상을 얻게 된다.
이를 위해 셔터 스피드를 빠르게 하는 경우에는 흔들리지는 않지만 매우 어두운 영상을 얻게 되는 문제점이 있다.
종래에 저조도 환경에서 촬영된 영상을 개선하기 위해 히스토그램 평활화(Histogram Equalization) 또는 Retinex 알고리즘이 제안되었다.
그러나, 히스토그램 평활화는 영상에서 너무 어둡거나 너무 밝은 부분이 동시에 존재하는 경우에 개선된 영상을 얻기가 어려운 문제점이 있으며, Retinex 알고리즘은 계산량이 많고 노이즈가 크게 발생되는 문제점이 있다.
나아가, Retinex 알고리즘은 색감이 왜곡되고 영상마다 적절한 파라미터를 정해주어야 하기 때문에 개선된 영상을 얻지 못하는 문제점이 있다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 적은 계산량으로 저조도 환경에서 얻어진 영상의 밝기와 색감을 복원할 수 있는 저조도 환경에서의 영상 개선 방법 및 장치를 제안하고자 한다.
상기한 목적을 달성하기 위해, 본 발명의 바람직한 일 실시예에 따르면, 영상 촬영 장치에서 저조도 환경에서의 영상을 개선하는 방법으로서, (a) 노출값에 따른 픽셀값 변화 정도를 나타내는 컬러 변화 특성 정보를 저장하는 단계; (b) 저조도 환경인 경우, 노출값을 적정 노출값에서 제1 노출값으로 변경하는 단계-상기 제1 노출값은 상기 적정 노출값보다 미리 설정된 수치 이상의 노출값임-; 및 (c) 상기 제1 노출값 및 상기 컬러 변화 특성 정보를 이용하여 상기 저조도 환경에서 촬영된 영상을 개선하는 단계를 포함하는 영상 개선 방법이 제공된다.
상기 컬러 변화 특성 정보는 상기 적정 노출값에서부터 상기 적정 노출값보다 큰 복수의 노출값에서의 복수의 색상 각각에 대한 픽셀값 변화 정도에 관한 정보일 수 있다.
상기 컬러 변화 특성 정보는 복수의 색상 각각에 대한 RGB 데이터의 변화 정도에 관한 정보일 수 있다.
상기 복수의 색상은 맥베스 컬러 체커에 따른 24가지 색상일 수 있다.
상기 (c) 단계는, (c1) 상기 컬러 변화 특성 정보를 통해 상기 제1 노출값으로 촬영된 영상의 입력 픽셀값과 인접하거나 일치하는 하나 이상의 레퍼런스 픽셀값을 탐색하는 단계; 및 (c2) 상기 탐색된 하나 이상의 레퍼런스 픽셀값과 상기 입력 픽셀값과의 차이를 이용하여 상기 입력 픽셀값을 상기 적정 노출값에서의 픽셀값으로 복원하는 단계를 포함할 수 있다.
상기 제1 노출값에서 상기 입력 픽셀값에 인접하는 레퍼런스 픽셀값이 2개 존재하는 경우, 상기 입력 픽셀값의 복원은 다음의 수학식을 통해 이루어질 수 있다.
[수학식 1]
Figure 112010074549295-pat00001
상기 제1 노출값에서 상기 입력 픽셀값과 일치하는 하나 이상의 레퍼런스 픽셀값이 존재하는 경우, 상기 입력 픽셀값의 복원은 상기 적정 노출값에서의 상기 하나 이상의 레퍼런스 픽셀값으로부터 복원된 픽셀값의 평균을 이용하여 이루어지는 영상 개선 방법.
상기 (c1) 및 (c2) 단계는 상기 저조도 환경에서 촬영된 모든 입력 픽셀값의 RGB 데이터 별로 반복 수행될 수 있다.
상기 컬러 변화 특성 정보는 룩업 테이블로 저장될 수 있다.
셔터 스피드가 미리 설정된 시간 이상인 경우, 저조도 환경인 것으로 판단하는 단계를 더 포함할 수 있다.
상기 (b) 단계는 저조도 환경인 경우, 상기 적정 노출값에서의 셔터 스피드보다 작은 값으로 변경할 수 있다.
본 발명의 다른 측면에 따르면, 영상 촬영 장치에서 저조도 환경에서의 영상을 개선하는 방법으로서, 적정 노출값 및 상기 적정 노출값보다 큰 복수의 노출값에서 복수의 색상을 포함하는 피사체에 대한 영상을 획득하는 단계; 및 상기 적정 노출값 및 상기 복수의 노출값에서 얻어진 영상을 이용하여 각 노출값에서의 복수의 색상에 대한 RGB 데이터를 저장하는 단계를 포함하되, 저조도 환경에서 촬영이 이루어지는 경우, 상기 복수의 색상에 대한 RGB 데이터를 이용하여 저조도 환경에서의 영상을 개선하는 영상 개선 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 저조도 환경에서의 영상을 개선하는 장치로서, 노출값에 따른 픽셀값 변화 정도를 나타내는 컬러 변화 특성 정보를 저장하는 메모리; 및 저조도 환경인지 여부를 판단하며, 저조도 환경인 경우, 노출값을 변경시켜 촬영이 이루어지도록 제어하는 제어부를 포함하되, 상기 제어부는 저조도 환경인 경우, 적정 노출값보다 큰 제1 노출값으로 영상이 촬영되도록 하고, 상기 제1 노출값 및 상기 컬러 변화 특성 정보를 이용하여 상기 저조도 환경에서 촬영된 영상을 복원하는 영상 개선 장치가 제공된다.
본 발명에 따르면, 저조도 환경에서 어둡지만 흔들리지 않는 영상을 얻은 후 이를 개선하며, 많은 노이즈 없이 적절한 밝기와 색감을 재현할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 저조도 환경에서의 영상 개선 장치를 도시한 도면.
도 2는 조리개 수치 및 셔터 스피드에 따른 노출값 테이블을 나타낸 도면.
도 3은 본 발명의 바람직한 일 실시예에 따른 컬러 변화 특성을 생성하기 위한 과정을 도시한 도면.
도 4는 본 발명에 따른 컬러 변화 특성을 얻기 위한 멕베스 컬러 체커를 도시한 도면.
도 5는 조리개 수치를 고정해 놓고 셔터 스피드를 점차적으로 증가시키면서 얻은 멕베스 컬러 체커 영상을 도시한 도면이다.
도 6는 멕베스 컬러 체커에 대해 노출값을 증가시키면서 촬영한 경우의 24가지 색상의 R, G 및 B 데이터의 컬러 변화를 도시한 도면.
도 7은 본 발명의 바람직한 일 실시예에 따른 영상 개선 과정을 설명하기 위한 도면.
도 8은 본 발명에 따른 영상 개선 과정의 순서도.
도 9는 본 발명에 따른 다양한 노출값에서의 영상 개선 결과를 도시한 도면.
도 10은 본 발명과 종래 기술에 따른 영상 개선 결과의 비교를 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
본 발명은 저조도 환경에서의 영상 개선에 관한 것으로서, 이미지 센서에서 적은 양의 빛을 이용하여 촬영한 영상에 대해 밝은 환경에서와 촬영한 것과 같은 영상으로 복원할 수 있는 방법 및 장치를 제안한다. 하기에서는 본 발명에 따른 장치가 디지털 카메라인 것으로 설명할 것이나, 이에 한정됨이 없이 본 발명은 이미지 센서를 구비하는 캠코더, CCTV 등 기타 영상 촬영 장치에는 모두 적용될 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 저조도 환경에서의 영상 개선 장치를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 영상 개선 장치는 이미지 센서(100), 제어부(102), 메모리(104) 및 사용자 조작부(106)를 포함할 수 있다.
이미지 센서(100)는 복수의 픽셀을 포함하면서 피사체의 이미지를 전기적인 영상 신호로 변환하는 소자로서, 광 다이오드를 포함하는 CMOS 센서 또는 CCD 센서일 수 있다.
이미지 센서(100)는 RGB 필터를 포함하면서 피사체에 대한 RGB 데이터를 출력할 수 있다.
제어부(102)는 이미지 센서(100)에서 얻어진 피사체에 대한 전기 신호를 수신하고 이를 보정하여 피사체에 대한 영상을 생성한다.
도면에 도시되지 않았으나, 영상 개선 장치는 현재 조도에서의 적정 노출값을 나타내는 노출계(exposure meter)를 더 포함할 수 있으며, 제어부(102)는 현재 조도에서의 적정 노출값에 따라 조리개 수치 또는 셔터 스피드를 제어하여 이미지 센서(100)에 충분한 빛이 들어올 수 있도록 한다.
여기서, 노출값(Exposure Value)은 아래의 수학식과 같이, 조리개 수치와 셔터 스피드에 따라 결정된다.
Figure 112010074549295-pat00002
여기서, N은 조리개 수치(f-number)이고, t는 셔터 스피드, 즉 셔터가 개방된 시간이다.
도 2는 조리개 수치 및 셔터 스피드에 따른 노출값 테이블을 나타낸 도면이다.
제어부(102)는 사용자 조작부(106)에서 입력된 정보에 따라 조리개 수치 및 셔터 스피드를 제어할 수도 있다.
본 발명의 바람직한 일 실시예에 따르면, 메모리(104)에는 저조도 환경에서의 영상을 개선하기 위한 컬러 변화 특성 정보가 저장되어 있으며, 제어부(102)는 저조도 환경에서 피사체의 촬영이 이루어지는 경우, 컬러 변환 특성 정보를 이용하여 저조도에서 얻어진 영상을 개선한다.
바람직하게, 제어부(102)는 저조도 환경인 것으로 판단되는 경우, 노출계에서 지시하는 적정 노출값보다
Figure 112010074549295-pat00003
EV 만큼 큰 노출값(proper EV+
Figure 112010074549295-pat00004
EV, 이하, '제1 노출값' 이라 함) 조건에서 촬영이 이루어지도록 한다.
여기서, 제1 노출값은 저조도 노출값으로도 정의될 수 있다.
본 실시예에 따른 제어부(102)는 셔터 스피드가 미리 설정된 수치보다 큰 경우(흔들리는 영상을 얻어질 가능성이 있는 경우)에 저조도 환경인 것으로 판단할 수 있다.
제1 노출값에서의 촬영은 예를 들어, 적정 노출값에서의 조리개 수치에서 셔터 스피드를 적정 노출값에서보다 빠르게 설정한 상태에서 피사체를 촬영하는 것을 의미한다.
이는 저조도 환경에서 적정 노출값으로 촬영을 하게 되면, 손떨림에 의해 흔들린 영상을 얻을 수 있기 때문이다.
제어부(102)는 제1 노출값으로 촬영된 영상(저조도 영상)을 컬러 변화 특성(Color Variation Characteristics)을 이용하여 개선한다.
하기에서는 컬러 변화 특성 및 이를 생성하는 과정을 상세하게 설명한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 컬러 변화 특성을 생성하기 위한 과정을 도시한 도면이다.
도 3을 참조하면, 소정 조도에서의 적정 노출값을 확인한다(단계 300).
단계 300에서의 조도는 원하는 영상을 얻기 위한 빛이 충분한 조건을 의미한다.
본 실시예에 따르면, 컬러 변화 특성 정보를 생성하기 위해, 도 4에 도시된 바와 같이, 멕베스 컬러 체커(Macbeth Color Checker)를 이용할 수 있다.
멕베스 컬러 체커는 채도 레벨을 측정하기 위해 사용되며, 24가지 대표 색상을 포함하는 챠트이다.
단계 300에서 확인된 적정 노출값에서부터 노출값을 점차적으로 증가시켜 맥베스 컬러 체커를 촬영한다(단계 302).
도 5는 조리개 수치를 고정해 놓고 셔터 스피드를 점차적으로 증가시키면서 얻은 영상을 도시한 것으로서, 노출값을 적정 노출값에서부터 점차적으로 증가된 복수의 노출값에서 얻어진 멕베스 컬러 체커 영상을 도시한 도면이다.
도 5는 캐논 EOS 550D 카메라에서 조리개 수치를 f/5.6으로 놓고 셔터 스피드를 1/6초에서 1/180초로 변경하면서 얻은 영상을 도시한 것이다.
도 5에서, f/5.6 및 1/6초가 적정 노출값(EV=7.5)으로 설정된 경우이며, 적정 노출값에서부터 0.5씩 노출값을 증가시키면서 모두 10회 멕베스 컬러 체커를 촬영한 것을 도시한 것이다.
즉, 도 5는 노출값을 7.5에서 12.5로 변경해가면서 촬영한 영상을 도시한 것이다. 조리개 수치가 고정된 상태에서 셔터 스피드가 빨라지는 경우, 촬영한 영상은 어둡게 나타난다.
도 5와 같이 얻어진 복수의 영상(소스 영상)을 이용하여 24가지 색상 각각에 대한 R, G 및 B 데이터(채널)의 컬러 변화 특성을 얻는다(단계 304).
단계 304는 각 노출값에서의 복수의 색상에 대한 RGB 데이터를 저장하는 것일 수 있다.
도 6는 멕베스 컬러 체커에 대해 노출값을 증가시키면서 촬영한 경우의 24가지 색상의 R, G 및 B 데이터의 컬러 변화를 도시한 도면이다.
도 6는 적정 노출값을 0으로 하고, 적정 노출값으로부터 0.5씩 노출값이 증가된 경우의 R, G 및 B 채널의 컬러 변화를 도시한 것이다.
상기에서는 조리개 수치를 고정하고, 셔터 스피드를 조절하면서 컬러 변화 특성을 생성하는 것으로 도시하였으나, 이에 한정됨이 없이 조리개 수치 및 셔터 스피드를 모두 조절하여 컬러 변화 특성을 얻을 수 있다는 점은 당업자에게 있어 자명할 것이다.
또한, 상기에서는 적정 노출값으로부터 상대적으로 0.5씩 노출값을 점차적으로 증가시키면서 10개의 컬러 변화 특성을 생성하는 것으로 설명하였으나, 노출값의 증가분 및 촬영 횟수는 다양하게 설정될 수 있을 것이다.
본 발명의 바람직한 일 실시예에 따르면, 제어부(102)는 저조도 환경에서의 영상에 대해 도 3을 통해 얻어진 컬러 변화 특성 정보를 이용하여 영상의 밝기 및 색감을 복원한다.
도 7은 본 발명의 바람직한 일 실시예에 따른 영상 개선 과정을 설명하기 위한 도면이다.
도 7은 입력 픽셀값의 RGB 데이터 중 하나를 적정 노출값의 픽셀값으로 복원하는 과정을 도시한 도면이며, 설명의 편의를 위해, R 데이터를 복원하는 것이라 가정한다.
도 7을 참조하면, 제어부(102)는 제1 노출값(proper EV+
Figure 112012021919223-pat00005
EV)에서 입력된 픽셀값(
Figure 112012021919223-pat00006
)와
Figure 112012021919223-pat00030
의 차이 (
Figure 112012021919223-pat00008
)및
Figure 112012021919223-pat00009
와
Figure 112012021919223-pat00010
의 차이(
Figure 112012021919223-pat00011
)를 계산한다. 이후, 제어부(102)는 아래의 수학식과 같이 계산된 차이값을 이용하여 제1 가중치(
Figure 112012021919223-pat00012
) 및 제2 가중치(
Figure 112012021919223-pat00013
)를 계산하고, 제1 및 제2 가중치와 인접한 레퍼런스 픽셀값(
Figure 112012021919223-pat00014
,
Figure 112012021919223-pat00015
)을 이용하여 입력 픽셀값을 복원한다.
여기서, 입력 픽셀값의 복원은 저조도 노출값(제1 노출값)에서의 입력 픽셀값(
Figure 112010074549295-pat00016
)을 적정 노출값에서의 픽셀값(
Figure 112010074549295-pat00017
)으로 변환하는 것을 의미한다.
Figure 112010074549295-pat00018
만일, 저조도 노출값에서 입력 픽셀값과 일치하는 레퍼런스 픽셀값이 하나 이상 존재하는 경우, 제어부(102)는 적정 노출값에서의 하나 이상의 레퍼런스 픽셀값으로부터 복원된 픽셀값의 평균으로 입력 픽셀값을 복원한다.
여기서, 하나 이상의 레퍼런스 픽셀값으로부터 복원된 픽셀값이란 제1 노출값에서의 레퍼런스 픽셀값을 적정 노출값에서의 픽셀값으로 복원한 값을 의미한다.
도 8은 본 발명에 따른 영상 개선 과정의 순서도이다.
도 8을 참조하면, 영상 개선 장치에 적정 노출값에서의 컬러 변화 특성 정보를 저장한다(단계 800).
상기한 바와 같이, 컬러 변화 특성은 복수의 노출값(적정 노출값보다 큰 노출값 중심)에서 복수의 색상에 대한 RGB 데이터의 변화 특성을 의미한다.
본 발명의 바람직한 일 실시예에 따르면, 컬러 변화 특성 정보는 복수의 노출값에서의 RGB 데이터에 대한 룩업(Look-up) 테이블 형태로 저장되어 있을 수 있으며, 이를 통해 계산량을 감소시킬 수 있다.
이후, 영상 개선 장치는 현재 상태가 저조도 환경인지 여부를 판단한다(단계 802).
영상 개선 장치의 제어부(102)는 현재 조도 상태에서의 적정 노출값의 셔터 스피드가 미리 설정된 수치 이상인지 여부(셔터 오픈 시간이 긴 경우)를 통해 저조도 환경인지를 판단할 수 있다.
저조도 환경으로 판단되는 경우, 영상 개선 장치는 적정 노출값보다 큰 제1 노출값으로 영상을 촬영한다(단계 804).
단계 804에서 얻어진 영상은 셔터 스피드를 빠르게 하여 얻어진 영상일 수 있으며, 이에 따라 어둡지만 흔들리지 않는 영상일 수 있다.
다음으로, 영상 개선 장치는 미리 저장된 컬러 변화 특성 및 제1 노출값에서 얻어진 입력 픽셀값을 이용하여 영상을 복원한다(단계 806).
단계 806에서의 영상 복원 과정에 있어서, 영상 개선 장치는 상기와 같이 제1 노출값으로 촬영된 영상의 입력 픽셀값과 인접하거나 일치하는 하나 이상의 레퍼런스 픽셀값을 탐색한다.
이후, 탐색된 하나 이상의 레퍼런스 픽셀값과 상기 입력 픽셀값과의 차이를 이용하여 상기 입력 픽셀값을 상기 적정 노출값에서의 픽셀값으로 복원한다.
만일, 제1 노출값에서 입력 픽셀값에 인접한 두 개의 레퍼런스 픽셀값이 탐색되는 경우, 상기한 수학식 2를 통해 입력 픽셀값을 복원한다.
반면, 제1 노출값에서 입력 픽셀값과 일치하는 하나 이상의 레퍼런스 픽셀값이 존재하는 경우, 입력 픽셀값의 복원은 적정 노출값에서의 상기 상기 하나 이상의 레퍼런스 픽셀값으로부터 복원된 픽셀값의 평균을 통해 얻어진다.
도 9는 본 발명에 따른 다양한 노출값에서의 영상 개선 결과를 도시한 도면이다.
도 9를 참조하면, 도 9a는 적정 노출값에서 촬영된 영상(기준 영상)을 도시한 것이며, 도 9b 내지 도 9e는 적정 노출값보다 큰 노출값으로 촬영한 영상을 도시한다.
도 9f 내지 도 9i는 도 9b 내지 도 9e에 각각 도시된 저조도 환경에서 촬영된 영상을 본 발명에 따른 방법으로 복원한 결과를 도시한 도면이다.
도 9f 내지 도 9i에 도시된 바와 같이, 저조도 환경에서 어둡게 찍혀진 영상에 대해 도 9a와 같은 기준 영상에 근접하게 영상을 복원할 수 있다는 점을 확인할 수 있다.
한편, 도 10은 본 발명과 종래 기술에 따른 영상 개선 결과의 비교를 위한 도면이다.
도 10a는 적정 노출값에서 촬영된 기준 영상, 도 10b는 저조도 환경에서 촬영된 영상을 도시한다.
도 10c는 히스토그램 평활화 과정을 통해 도 10b와 같이 저조도 환경에서의 영상을 개선한 결과이며, 도 10d는 멀티-스케일 Retinex 알고리즘을 통해 영상을 개선한 결과이다.
또한, 도 10e는 본 발명에 따른 저조도 노출값 및 컬러 변화 특성 정보를 이용하여 영상을 개선한 결과이다.
도 10에 도시된 바와 같이, 본 발명에 따른 영상 개선 방법은 종래의 방법에 비해, 저조도 환경에서 얻어진 영상의 색감 및 밝기를 본래 영상에 맞게 재현할 수 있다는 점을 확인할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (13)

  1. 영상 촬영 장치에서 저조도 환경에서의 영상을 개선하는 방법으로서,
    (a) 노출값에 따른 픽셀값 변화 정도를 나타내는 컬러 변화 특성 정보를 저장하는 단계;
    (b) 조리개 수치가 고정된 상태에서 셔터 스피드가 미리 설정된 수치 이상인 저조도 환경인 경우, 노출값을 상기 저조도 환경의 현재 조도에서 카메라 노출계가 측정한 적정 노출값에서 제1 노출값으로 변경하는 단계-상기 제1 노출값은 상기 적정 노출값보다 미리 설정된 수치 이상의 노출값임-; 및
    (c) 상기 제1 노출값 및 상기 컬러 변화 특성 정보를 이용하여 상기 저조도 환경에서 촬영된 영상을 개선하는 단계를 포함하는 영상 개선 방법.
  2. 제1항에 있어서,
    상기 컬러 변화 특성 정보는 상기 적정 노출값에서부터 상기 적정 노출값보다 큰 복수의 노출값에서의 복수의 색상 각각에 대한 픽셀값 변화 정도에 관한 정보인 영상 개선 방법.
  3. 제2항에 있어서,
    상기 컬러 변화 특성 정보는 복수의 색상 각각에 대한 RGB 데이터의 변화 정도에 관한 정보인 영상 개선 방법.
  4. 제3항에 있어서,
    상기 복수의 색상은 맥베스 컬러 체커에 따른 24가지 색상인 영상 개선 방법.
  5. 제1항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 컬러 변화 특성 정보를 통해 상기 제1 노출값으로 촬영된 영상의 입력 픽셀값과 인접하거나 일치하는 하나 이상의 레퍼런스 픽셀값을 탐색하는 단계; 및
    (c2) 상기 탐색된 하나 이상의 레퍼런스 픽셀값과 상기 입력 픽셀값과의 차이를 이용하여 상기 입력 픽셀값을 상기 적정 노출값에서의 픽셀값으로 복원하는 단계를 포함하는 영상 개선 방법.
  6. 제5항에 있어서,
    상기 제1 노출값에서 상기 입력 픽셀값에 인접하는 레퍼런스 픽셀값이 2개 존재하는 경우, 상기 입력 픽셀값의 복원은 다음의 수학식을 통해 이루어지는 영상 개선 방법.
    [수학식]
    Figure 112012021919223-pat00031
    Figure 112012021919223-pat00032
    는 적정 노출값에서의 픽셀값,
    Figure 112012021919223-pat00033
    는 제1 가중치,
    Figure 112012021919223-pat00034
    는 제2 가중치,
    Figure 112012021919223-pat00035
    ,
    Figure 112012021919223-pat00036
    는 제1 및 제2 가중치와 인접한 레퍼런스 픽셀값,
    Figure 112012021919223-pat00037
    은 제1 노출값(proper
    Figure 112012021919223-pat00038
    )에서 입력된 픽셀값(
    Figure 112012021919223-pat00039
    )과
    Figure 112012021919223-pat00040
    의 차이,
    Figure 112012021919223-pat00041
    는 제1 노출값(proper
    Figure 112012021919223-pat00042
    )에서 입력된 픽셀값(
    Figure 112012021919223-pat00043
    )과
    Figure 112012021919223-pat00044
    의 차이임.
  7. 제5항에 있어서,
    상기 제1 노출값에서 상기 입력 픽셀값과 일치하는 하나 이상의 레퍼런스 픽셀값이 존재하는 경우, 상기 입력 픽셀값의 복원은 상기 적정 노출값에서의 상기 하나 이상의 레퍼런스 픽셀값으로부터 복원된 픽셀값의 평균을 이용하여 이루어지는 영상 개선 방법.
  8. 제5항에 있어서,
    상기 (c1) 및 (c2) 단계는 상기 저조도 환경에서 촬영된 모든 입력 픽셀값의 RGB 데이터 별로 반복 수행되는 영상 개선 방법.
  9. 제1항에 있어서,
    상기 컬러 변화 특성 정보는 룩업 테이블로 저장되는 영상 개선 방법.
  10. 제1항에 있어서,
    상기 적정 노출값에서의 조리개 수치에서 셔터 스피드가 미리 설정된 시간 이상인 경우, 저조도 환경인 것으로 판단하는 단계를 더 포함하는 영상 개선 방법.
  11. 제1항에 있어서,
    상기 (b) 단계는 저조도 환경인 경우, 상기 제1 노출값에서의 셔터 스피드는 상기 적정 노출값에서의 셔터 스피드보다 작은 값을 갖는 영상 개선 방법.
  12. 영상 촬영 장치에서 조리개 수치가 고정된 상태에서 셔터 스피드가 미리 설정된 수치 이상인 저조도 환경에서의 영상을 개선하는 방법으로서,
    상기 저조도 환경의 현재 조도에서 카메라 노출계가 측정한 적정 노출값 및 상기 적정 노출값보다 큰 복수의 노출값에서 복수의 색상을 포함하는 피사체에 대한 영상을 획득하는 단계; 및
    상기 적정 노출값 및 상기 복수의 노출값에서 얻어진 영상을 이용하여 각 노출값에서의 복수의 색상에 대한 RGB 데이터를 저장하는 단계를 포함하되,
    저조도 환경에서 촬영이 이루어지는 경우, 상기 복수의 색상에 대한 RGB 데이터를 이용하여 저조도 환경에서의 영상을 개선하는 영상 개선 방법.
  13. 조리개 수치가 고정된 상태에서 셔터 스피드가 미리 설정된 수치 이상인 저조도 환경에서의 영상을 개선하는 장치로서,
    노출값에 따른 픽셀값 변화 정도를 나타내는 컬러 변화 특성 정보를 저장하는 메모리; 및
    저조도 환경인지 여부를 판단하며, 저조도 환경인 경우, 노출값을 변경시켜 촬영이 이루어지도록 제어하는 제어부를 포함하되,
    상기 제어부는 저조도 환경인 경우, 상기 저조도 환경에서 이미지 센서에 원하는 영상을 얻기 위한 빛이 들어올 수 있도록 하는 적정 노출값보다 큰 제1 노출값으로 영상이 촬영되도록 하고, 상기 제1 노출값 및 상기 컬러 변화 특성 정보를 이용하여 상기 저조도 환경에서 촬영된 영상을 복원하는 영상 개선 장치.
KR1020100113594A 2010-11-15 2010-11-15 저조도 환경에서의 영상 개선 방법 및 장치 KR101141844B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100113594A KR101141844B1 (ko) 2010-11-15 2010-11-15 저조도 환경에서의 영상 개선 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100113594A KR101141844B1 (ko) 2010-11-15 2010-11-15 저조도 환경에서의 영상 개선 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101141844B1 true KR101141844B1 (ko) 2012-05-07

Family

ID=46271412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100113594A KR101141844B1 (ko) 2010-11-15 2010-11-15 저조도 환경에서의 영상 개선 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101141844B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634904B1 (ko) * 2015-05-29 2016-06-29 인하대학교 산학협력단 저조도에서의 색상 보정 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677332B1 (ko) 2004-07-06 2007-02-02 엘지전자 주식회사 휴대단말기의 저조도 화질 개선장치 및 방법
KR100793284B1 (ko) 2007-05-11 2008-01-10 주식회사 코아로직 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
KR20090078583A (ko) * 2008-01-15 2009-07-20 삼성전자주식회사 저조도 영상 처리 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677332B1 (ko) 2004-07-06 2007-02-02 엘지전자 주식회사 휴대단말기의 저조도 화질 개선장치 및 방법
KR100793284B1 (ko) 2007-05-11 2008-01-10 주식회사 코아로직 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
KR20090078583A (ko) * 2008-01-15 2009-07-20 삼성전자주식회사 저조도 영상 처리 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634904B1 (ko) * 2015-05-29 2016-06-29 인하대학교 산학협력단 저조도에서의 색상 보정 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101633460B1 (ko) 다중 노출 제어 장치 및 그 방법
US7176962B2 (en) Digital camera and digital processing system for correcting motion blur using spatial frequency
JP4567593B2 (ja) 撮像装置および撮影方法
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6420540B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5169318B2 (ja) 撮像装置、撮像方法
US8059187B2 (en) Image capturing apparatus
JP6720881B2 (ja) 画像処理装置及び画像処理方法
CN103888661A (zh) 摄像设备、摄像系统和摄像设备的控制方法
US9654668B2 (en) Image composition apparatus and image composition method
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10600170B2 (en) Method and device for producing a digital image
JP2017108309A (ja) 撮像装置および撮像方法
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
US20170318208A1 (en) Imaging device, imaging method, and image display device
CN106134181B (zh) 摄影装置
JP6305290B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2010183460A (ja) 撮像装置およびその制御方法
JP2018050149A (ja) 画像処理装置
KR101141844B1 (ko) 저조도 환경에서의 영상 개선 방법 및 장치
JP2006262221A (ja) 撮像装置および画像処理方法
JP5984533B2 (ja) 撮像装置、その制御方法およびプログラム
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150421

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee