KR102214752B1 - 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법 - Google Patents

안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR102214752B1
KR102214752B1 KR1020190104971A KR20190104971A KR102214752B1 KR 102214752 B1 KR102214752 B1 KR 102214752B1 KR 1020190104971 A KR1020190104971 A KR 1020190104971A KR 20190104971 A KR20190104971 A KR 20190104971A KR 102214752 B1 KR102214752 B1 KR 102214752B1
Authority
KR
South Korea
Prior art keywords
image
transmission amount
inverted
low
estimated
Prior art date
Application number
KR1020190104971A
Other languages
English (en)
Inventor
백준기
박진호
박하실
신중철
하진솔
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020190104971A priority Critical patent/KR102214752B1/ko
Application granted granted Critical
Publication of KR102214752B1 publication Critical patent/KR102214752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법을 개시한다. 본 발명에 따르면, 저조도 영상의 복원 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 반전된 저조도 영상에서 대기강도 및 초기 전달량을 추정하고, 상기 초기 전달량의 베이스 레이어 및 유도 영상(Guidance image)의 디테일 레이어를 추정하고, 상기 추정된 베이스 레이어 및 디테일 레이어를 이용하여 상기 반전된 저조도 영상의 제1 추정 전달량을 계산하고, 안개모델에 상기 제1 추정 전달량, 상기 반전된 저조도 영상 및 상기 대기강도를 적용하여 제1 반전된 밝은 영상을 획득하고, 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하고, 상기 최종 반전된 밝은 영상을 이용하여 상기 저조도 영상을 복원하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 저조도 영상 복원 장치가 제공된다.

Description

안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법{Fog Model-based Variable Low Light Image Restoration Apparatus and Method}
본 발명은 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법에 관한 것이다.
저조도 환경에서 영상의 조명성분은 매우 낮은 값을 가진다. 저조도 영상은 낮은 색대비, 에지 손실 등 여러 문제가 발생할 수 있다.
그리고, 저조도 영상은 컴퓨터 비전이나 영상처리 알고리즘의 성능 열화를 발생시킬 수 있다.
일반적으로 감마 보정 및 명암 조절과 같은 조명성분 복원 방법은 널리 연구되어왔다.
종래 방법은 영상이 비슷한 명암값을 가질때 효과적이나, 그림자나 노이즈가 존재하는 경우에는 사용할 수 없다.
Jobson 등은 Single-Scale Retinex(SSR)라 불리는 Retinex 이론 기반의 단일 채널 영상의 향상 기법을 제안하였다.
상기한 방법은 저조도 컬러 영상을 색상 왜곡 없이 복원할 수 있으나, 노이즈 문제를 고려하지 않는다.
노이즈를 가진 영상을 개선하기 위해 Fu 등은 variational retinex 최적화 방법을 제안하였다.
여기서, 안개모델을 이용하면 더 효과적으로 저조도 영상을 개선할 수 있다.
그래서, Dong 등은 Dark Channel Prior(DCP) 기반의 저조 영상 향상 방법을 제안하였다.
이는 저조도 영상의 픽셀값을 반전하면 안개모델에 적용할 수 있다는 점에 기반하는 것이나, Dong 등의 결과는 DCP의 지역 최소 연산 때문에 헤일로(halo) 현상이 발생할 수 있다.
Jiang 등은 최소 채널과 미디언 필터(median filter)를 이용하여 저조도 영상을 안개모델에 적용하였다. 이 방법은 효과적이지만 픽셀 기반의 약한 DCP 연산 때문에 밝은 객체에서 오류가 생길 수 있다 Gao 등은 조명성분을 안개모델과 retinex 모델을 결합하여 추정하였다. 추가적으로 이들은 증폭되는 노이즈를 막기 위해 block-matching and 3-D filtering(BM3D)를 적용하였다.
그러나, 이는 non-local BM3D 연산 때문에 에지 정보가 비교 방법들보다 흐려질 수 있다.
[1] D. J. Jobson, Z. U. Rahman, and G. A. Woodell, "A multiscale retinex for bridging the gap between color images and the human observation of scenes," IEEE Trans. Image Proc., vol. 6, no. 7, pp. 965-976, 1997. [2] X. Fu, Y. Sun, M. Liwang, Y. Huang, X. Zhang and X. Ding, "A Novel Retinex Based Aapproach For Image Enhancement With Illumination Adjustment,"IEEE In Conf. Acoustic, Speech and Signal Proc.,2014, pp. 1190-1194. [3] X. Dong, G. Wang, Y. Pang,W. Li, J. Wen, W. Meng and Y. Lu, "Fast Efficient Algorithm For Enhancement of Low Lightimg Video," in Proc. IEEE Conf. M ultimedia and Expo. (ICME), July. 2011.
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 노이즈 증폭을 방지할 수 있는 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법을 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 저조도 영상의 복원 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 반전된 저조도 영상에서 대기강도 및 초기 전달량을 추정하고, 상기 초기 전달량의 베이스 레이어 및 유도 영상(Guidance image)의 디테일 레이어를 추정하고, 상기 추정된 베이스 레이어 및 디테일 레이어를 이용하여 상기 반전된 저조도 영상의 제1 추정 전달량을 계산하고, 안개모델에 상기 제1 추정 전달량, 상기 반전된 저조도 영상 및 상기 대기강도를 적용하여 제1 반전된 밝은 영상을 획득하고, 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하고, 상기 최종 반전된 밝은 영상을 이용하여 상기 저조도 영상을 복원하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 저조도 영상 복원 장치가 제공된다.
상기 프로그램 명령어들은, 상기 반전된 저조도 영상을 동일한 사이즈의 복수의 블록으로 분할하고, 상기 복수의 블록 각각에서의 가장 낮은 픽셀값과 상기 추정된 대기강도를 이용하여 상기 초기 전달량을 계산할 수 있다.
상기 프로그램 명령어들은, 가우시안 피라미드를 이용하여 상기 초기 전달량의 상기 베이스 레이어를 추정하고, DOG(Difference of Gaussian) 피라미드를 이용하여 상기 유동 영상의 디테일 레이어를 추정할 수 있다.
상기 유도 영상은, 상기 반전된 저조도 영상을 이용하여 생성될 수 있다.
노이즈 증폭을 방지하기 위해, 상기 안개모델은 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 포함하는 최적화 모델로 변경되며, 상기 최적화 모델에서 상기 제1 추정 전달량 및 상기 제1 반전된 밝은 영상의 값을 미리 설정된 횟수만큼 업데이트하여 상기 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득할 수 있다.
상기 프로그램 명령어들은, 상기 업데이트에서 연산량 감소를 위해 고속 퓨리에 변환을 사용할 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 저조도 영상을 복원하는 방법으로서, 반전된 저조도 영상에서 대기강도 및 초기 전달량을 추정하는 단계; 상기 초기 전달량의 베이스 레이어 및 유도 영상(Guidance image)의 디테일 레이어를 추정하는 단계; 상기 추정된 베이스 레이어 및 디테일 레이어를 이용하여 상기 반전된 저조도 영상의 제1 추정 전달량을 계산하는 단계; 안개모델에 상기 제1 추정 전달량, 상기 반전된 저조도 영상 및 상기 대기강도를 적용하여 제1 반전된 밝은 영상을 획득하는 단계; 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하는 단계; 및 상기 최종 반전된 밝은 영상을 이용하여 상기 저조도 영상을 복원하는 단계를 포함하는 저조도 영상 복원 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 기록매체에 저장되는 프로그램이 제공된다.
본 실시예에 따르면, 추정된 전달량 및 반전된 밝은 영상을 최적화 문제로 업데이트 하여 저조도 영상을 복원하기 때문에 노이즈의 증폭을 방지할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 저조도 영상 복원 장치의 구성을 도시한 도면이다.
도 2는 반전된 영상에서 쿼드-트리 서치 결과를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 입력 이미지, 베이스 레이어 및 디테일 레이어 추정 및 베이스 이미지 재구축 과정을 도시한 도면이다.
도 4는 초기 복원된 영상(c)과 본 실시예에 따른 방법으로 복원된 저조도 영상(d)을 도시한 것이다.
도 5는 종래 기법과 본 실시예에 따른 기법의 대조비(contrast) 및 연산 시간을 나타낸 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 저조도 영상 복원 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 저조도 영상 복원 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.
프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(100)는 메모리(102)에 저장된 프로그램 명령어들을 이용하여 반전된 저조도 영상에서 대기강도 및 초기 전달량을 추정하고, 상기 초기 전달량의 베이스 레이어 및 유도 영상(Guidance image)의 디테일 레이어를 추정한다.
또한, 상기 추정된 베이스 레이어 및 디테일 레이어를 이용하여 상기 반전된 저조도 영상의 제1 추정 전달량을 계산하고, 안개모델에 상기 제1 추정 전달량, 상기 반전된 저조도 영상 및 상기 대기강도를 적용하여 제1 반전된 밝은 영상을 획득하고, 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하고, 상기 최종 반전된 밝은 영상을 이용하여 상기 저조도 영상을 복원한다.
본 실시예에 따른 저조도 영상 복원 과정의 설명에 앞서 Retinex 이론에 대해 먼저 설명한다.
아래와 같이 Retinex 이론에서 이미지는 조명성분과 반사성분으로 분리될 수 있다.
Figure 112019087948415-pat00001
여기서
Figure 112019087948415-pat00002
와
Figure 112019087948415-pat00003
는 각각 조명성분과 반사성분이며, p는 픽셀 좌표를 의미한다.
수학식 1은 노이즈 문제를 고려하지 않기 때문에 Fu 등은 L2-norm 기반의 최적 Retinex 모델을 다음과 같이 정의하였다.
Figure 112019087948415-pat00004
여기서,
Figure 112019087948415-pat00005
는 편미분 연산자이고,
Figure 112019087948415-pat00006
는 평탄화(smoothness) 파라미터이다.
이는 노이즈에는 강건하지만 일부 컬러 영상에서는 컬러 밸런싱이나 감마보정과 같은 후처리가 요구될 수 있다.
적응적인 연산을 위해 Dong 등은 안개모델 기반의 저조도 영상 복원 방법을 제안하였다. 이는 저조도 영상이 반전되면 안개의 특성을 가지기 때문이다.
Figure 112019087948415-pat00007
여기서, R은 반전된 저조도 영상이고, J는 반전된 밝은 영상이다. t와 A는 (빛) 전달량과 대기강도이다.
지역 RGB 최소화 연산은 다음과 같이 수학식 3의 haze-free term J을 제거할 수 있다.
Figure 112019087948415-pat00008
따라서, DCP를 적용하면 전달량 t는 아래와 같이 쉽게 추정할 수 있다.
여기서, DCP는 안개가 없는 맑은 날에 촬영된 실외 영상에서 보이는 공통된 특성으로, 이미지 내에서 하늘을 제외한 영역에 속한 픽셀에 대하여, RGB 채널 공간 상의 값 중 최소한 하나는 0에 가까운 값을 갖는다는 것을 의미한다.
Figure 112019087948415-pat00009
여기서,
Figure 112019087948415-pat00010
는 인접 픽셀이 더해진 좌표를 의미하며, Dong 등은 추가적으로 전달량 곱셈 연산자 M을 다음과 같이 제안하였다.
Figure 112019087948415-pat00011
마지막으로 J는 다음과 같이 추정될 수 있다.
Figure 112019087948415-pat00012
저조도 영상이 복원된 밝은 영상은 다음과 같이 재구성될 수 있다.
Figure 112019087948415-pat00013
그러나 상기한 연산은 노이즈 문제를 고려하지 않는다.
안개모델을 풀기 위해서는 반전된 저조도 영상을 이용하여 대기강도와 전달량을 추정해야 한다.
이하에서는 본 실시예에 따른 반전된 저조도 영상을 이용하여 대기강도와 전달량을 추정하는 방법을 설명하며, 추가적으로 노이즈를 방지하기 위한 변분법적 복원 방법(variational recovery)을 설명한다.
본 실시예에 따른 대기강도 추정을 위해 쿼드-트리(quad-tree) 연산을 사용한다.
도 2는 반전된 영상에서 쿼드-트리 서치 결과를 나타낸 것이다.
도 2a는 반전된 저조도 영상을 나타내고, 도 2b는 쿼드-트리 서치를 나타낸 것이다.
도 2b에 도시된 바와 같이, 붉은 박스의 평균 픽셀값을 대기강도로 추정한다.
초기 전달량을 추정하기 위해, 반전된 저조도 영상을 동일한 사이즈의 복수의 블록으로 분할한다. 복수의 블록 내에 가장 낮은 픽셀값과 위에서 추정된 대기강도를 이용한다.
Figure 112019087948415-pat00014
여기서, c는 RGB 채널을 나타니며, p는 21×21 이미지 블록의 모든 픽셀 좌표를 나타낸다.
그러나, 수학식 9에서 추정된 전달량
Figure 112019087948415-pat00015
은 도 3에 도시된 바와 같이 블로킹 아티펙트(blocking artifact)에 의해 영향을 받는다.
도 3은 본 발명의 일 실시예에 따른 입력 이미지, 베이스 레이어 및 디테일 레이어 추정 및 베이스 이미지 재구축 과정을 도시한 도면이다.
블로킹 아티펙트를 제거하기 위해,
Figure 112019087948415-pat00016
의 베이스 레이어는 가우시안 피라미드로 추정된다. 반면 디테일 레이어는 DOG(Difference of Gaussian) 피라미드로 추정된다.
Figure 112019087948415-pat00017
Figure 112019087948415-pat00018
여기서,
Figure 112020092311956-pat00019
및
Figure 112020092311956-pat00020
는 l번째 레이어의 가우시안 및 DOG 피라미드를 의미하고,
Figure 112020092311956-pat00021
는 다운 샘플링 함수이다. h와
Figure 112020092311956-pat00022
는 가우시안 커널과 컨볼루션 연산자이다.
디테일 레이어는 유도 영상(Guidance image) g을 이용하여 추정되며, 다음과 같이 정의된다.
Figure 112019087948415-pat00023
즉, 유도 영상은 반전된 저조도 영상으로 생성된다.
베이스 이미지 재구축을 위해 전달량은 다음과 같이 l번째 베이스 레이어와 l-1번째 디테일 레이어를 이용하여 복원된다.
Figure 112019087948415-pat00024
여기서,
Figure 112019087948415-pat00025
는 양선형(bilinear) 업샘플링 연산자이다.
제거되지 않은 아티펙트를 제거하기 위해, 아래와 같이 전체 변분법적 방법(total variation method)이 적용되며, 아래와 같이 제1 추정 전달량이 계산된다.
Figure 112019087948415-pat00026
수학식 14에서 추정된
Figure 112019087948415-pat00027
(제1 추정 전달량)이 안개모델에 적용되면 반전된 밝은 영상(제1 반전된 밝은 영상)은 아래와 같이 얻어질 수 있다.
Figure 112019087948415-pat00028
여기서,
Figure 112019087948415-pat00029
은 제로 역(zero inverse)을 막기 위한 매우 작은 값이다.
본 실시예에 따르면, 노이즈 증폭 문제를 제거하기 위해 안개모델을 다음과 같은 최적화 문제로 수정한다. 또한, 아래의 수식을 이용하여 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하고, 최종 반전된 밝은 영상을 이용하여 저조도 영상을 복원한다.
Figure 112019087948415-pat00030
여기서,
Figure 112019087948415-pat00031
는 정규화 파라미터이고, 본 실시예에서는 0.1로 설정된다.
수학식 16의 비용을 최소화하기 위해, 다음과 같이 편미분 연산자가 적용되고, 0으로 설정된다.
Figure 112019087948415-pat00032
Figure 112019087948415-pat00033
고속푸리에변환(FFT)는 연산량을 줄이기 위해 다음과 같이 사용된다.
Figure 112019087948415-pat00034
Figure 112019087948415-pat00035
여기서,
Figure 112019087948415-pat00036
는 FFT 연산자를 의미한다.
제로 역을 방지하기 위해 t와 J 값을 다음과 같이 제한한다.
Figure 112019087948415-pat00037
Figure 112019087948415-pat00038
수학식 21 및 22에서 얻어진 전달량 및 반전된 밝은 영상에 관한 값은 수학식 16에 입력되며, 수학식 16 내지 22의 과정이 미리 설정된 횟수만큼 반복된다.
이처럼 추정 전달량 및 반전된 밝은 영상을 업데이트 함에 의해 노이즈 증폭을 방지하면서 저조도 영상을 복원할 수 있다.
도 4는 초기 복원된 영상(c)과 본 실시예에 따른 방법으로 복원된 저조도 영상(d)을 도시한 것이다.
도 4에 도시된 바와 같이, 본 실시예에 따른 기법을 이용하는 경우 에지가 보존되면서 노이즈 증폭 없이 저조도 영상이 복원되는 것을 확인할 수 있다.
또한, 도 5에 도시된 바와 같이, 본 실시예에 따른 기법을 이용하는 경우 대조비(contrast)가 개선되고 연산 시간도 한층 감소하는 것을 확인할 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (8)

  1. 저조도 영상의 복원 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    반전된 저조도 영상에서 대기강도 및 초기 전달량을 추정하고,
    상기 초기 전달량의 베이스 레이어 및 유도 영상(Guidance image)의 디테일 레이어를 추정하고,
    상기 추정된 베이스 레이어 및 디테일 레이어를 이용하여 상기 반전된 저조도 영상의 제1 추정 전달량을 계산하고,
    안개모델에 상기 제1 추정 전달량, 상기 반전된 저조도 영상 및 상기 대기강도를 적용하여 제1 반전된 밝은 영상을 획득하고,
    상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하고,
    상기 최종 반전된 밝은 영상을 이용하여 상기 저조도 영상을 복원하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 프로그램 명령어들은,
    상기 반전된 저조도 영상을 동일한 사이즈의 복수의 블록으로 분할하고,
    상기 복수의 블록 각각에서의 가장 낮은 픽셀값과 상기 추정된 대기강도를 이용하여 상기 초기 전달량을 계산하고,
    블로킹 아티펙트를 제거하기 위해, L번째 베이스 레이어를 가우시안 피라미드를 이용하여 L-1번째 베이스 레이어의 다운 샘플링 연산을 통해 추정하고, L번째 디테일 레이어를 DOG(Difference of Gaussian) 피라미드를 이용하여 L-1번째 유도 영상과 상기 L-1번째 유도 영상 및 가우시안 커널의 컨볼루션 연산과의 차이를 이용하여 추정하고,
    베이스 이미지 재구축을 위해, L-1번째 제1 추정 전달량은 L번째 제1 추정 전달량의 업샘플링 연산 및 L-1번째 디테일 레이어를 이용하여 계산되는 저조도 영상 복원 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 유도 영상은,
    상기 반전된 저조도 영상을 이용하여 생성되는 저조도 영상 복원 장치.
  5. 제1항에 있어서,
    노이즈 증폭을 방지하기 위해, 상기 안개모델은 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 포함하는 최적화 모델로 변경되며,
    상기 최적화 모델에서 상기 제1 추정 전달량 및 상기 제1 반전된 밝은 영상의 값을 미리 설정된 횟수만큼 업데이트하여 상기 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하는 저조도 영상 복원 장치.
  6. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 업데이트에서 연산량 감소를 위해 고속 퓨리에 변환을 사용하는 저조도 영상 복원 장치.
  7. 프로세서 및 메모리를 포함하는 장치에서 저조도 영상을 복원하는 방법으로서,
    (a) 반전된 저조도 영상에서 대기강도 및 초기 전달량을 추정하는 단계;
    (b) 상기 초기 전달량의 베이스 레이어 및 유도 영상(Guidance image)의 디테일 레이어를 추정하는 단계;
    상기 추정된 베이스 레이어 및 디테일 레이어를 이용하여 상기 반전된 저조도 영상의 제1 추정 전달량을 계산하는 단계;
    (c) 안개모델에 상기 제1 추정 전달량, 상기 반전된 저조도 영상 및 상기 대기강도를 적용하여 제1 반전된 밝은 영상을 획득하는 단계;
    (d) 상기 제1 추정 전달량 및 제1 반전된 밝은 영상을 미리 설정된 횟수만큼 업데이트 하여 최종 추정 전달량 및 최종 반전된 밝은 영상을 획득하는 단계; 및
    (e) 상기 최종 반전된 밝은 영상을 이용하여 상기 저조도 영상을 복원하는 단계를 포함하되,
    상기 반전된 저조도 영상은 동일한 사이즈의 복수의 블록으로 분할되고,
    상기 (a) 단계는, 상기 복수의 블록 각각에서의 가장 낮은 픽셀값과 상기 추정된 대기강도를 이용하여 상기 초기 전달량을 계산하고,
    상기 (b) 단계는 블로킹 아티펙트를 제거하기 위해, L번째 베이스 레이어를 가우시안 피라미드를 이용하여 L-1번째 베이스 레이어의 다운 샘플링 연산을 통해 추정하고, L번째 디테일 레이어를 DOG(Difference of Gaussian) 피라미드를 이용하여 L-1번째 유도 영상과 상기 L-1번째 유도 영상 및 가우시안 커널의 컨볼루션 연산과의 차이를 이용하여 추정하고,
    상기 (c) 단계는, 베이스 이미지 재구축을 위해, L-1번째 제1 추정 전달량은 L번째 제1 추정 전달량의 업샘플링 연산 및 L-1번째 디테일 레이어를 이용하여 계산되는 저조도 영상 복원 방법.
  8. 제7항에 따른 방법을 수행하는 기록매체에 저장되는 프로그램.
KR1020190104971A 2019-08-27 2019-08-27 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법 KR102214752B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190104971A KR102214752B1 (ko) 2019-08-27 2019-08-27 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190104971A KR102214752B1 (ko) 2019-08-27 2019-08-27 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102214752B1 true KR102214752B1 (ko) 2021-02-09

Family

ID=74559346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104971A KR102214752B1 (ko) 2019-08-27 2019-08-27 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102214752B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619659A (zh) * 2022-09-22 2023-01-17 北方夜视科技(南京)研究院有限公司 基于正则化高斯场模型的低照度图像增强方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091595A (ja) * 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091595A (ja) * 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
[1] D. J. Jobson, Z. U. Rahman, and G. A. Woodell, "A multiscale retinex for bridging the gap between color images and the human observation of scenes," IEEE Trans. Image Proc., vol. 6, no. 7, pp. 965-976, 1997.
[2] X. Fu, Y. Sun, M. Liwang, Y. Huang, X. Zhang and X. Ding, "A Novel Retinex Based Aapproach For Image Enhancement With Illumination Adjustment,"IEEE In Conf. Acoustic, Speech and Signal Proc.,2014, pp. 1190-1194.
[3] X. Dong, G. Wang, Y. Pang,W. Li, J. Wen, W. Meng and Y. Lu, "Fast Efficient Algorithm For Enhancement of Low Lightimg Video," in Proc. IEEE Conf. M ultimedia and Expo. (ICME), July. 2011.
Seungyong Ko ET AL:"Variational framework for low-light image enhancement using optimal transmission map and combined ℓ1 and ℓ2-minimization", Signal Processing: Image Communication, Volume 58, Pages 99-110, October 2017(2017.10.31.) 1부.* *
Xiaoyan Yuan ET AL:"An Effective and Robust Single Image Dehazing Method Using the Dark Channel Prior", Information, 17 May 2017(2017.05.17.) 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619659A (zh) * 2022-09-22 2023-01-17 北方夜视科技(南京)研究院有限公司 基于正则化高斯场模型的低照度图像增强方法与系统
CN115619659B (zh) * 2022-09-22 2024-01-23 北方夜视科技(南京)研究院有限公司 基于正则化高斯场模型的低照度图像增强方法与系统

Similar Documents

Publication Publication Date Title
Singh et al. Single image dehazing using gradient channel prior
Galdran Image dehazing by artificial multiple-exposure image fusion
CN108205804B (zh) 图像处理方法、装置及电子设备
Thanh et al. An adaptive method for image restoration based on high-order total variation and inverse gradient
Reeves Fast image restoration without boundary artifacts
Alajlan et al. Detail preserving impulsive noise removal
CN110706174B (zh) 一种图像增强方法、终端设备及存储介质
US20150036943A1 (en) Patch-Based, Locally Content-Adaptive Image and Video Sharpening
US10929967B2 (en) Method and device for image processing
WO2002089062A2 (en) System and method for image enhancement, dynamic range compensation, and illumination correction
JP7375208B2 (ja) スーパー夜景画像の生成方法、装置、電子機器および記憶媒体
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
KR102214752B1 (ko) 안개모델 기반 변분법적 저조도 영상 복원 장치 및 방법
Bindal et al. Novel three stage range sensitive filter for denoising high density salt & pepper noise
Pandey et al. A fast and effective vision enhancement method for single foggy image
CN111325680B (zh) 一种具有抑制局部过曝的图像增亮方法
Gunturk Bilateral filter: theory and applications
Wong et al. Turbo denoising for mobile photographic applications
Devi et al. An analysis on implementation of various deblurring techniques in image processing
Shin et al. Variational low-light image enhancement based on a haze model
Borraa An Efficient Shape Adaptive Techniques for the Digital Image Denoising
Latha et al. Simultaneous denoising and deblurring by non-convex regularization: alternating minimization framework
Alajlan et al. An effective detail preserving filter for impulse noise removal
CN115619659B (zh) 基于正则化高斯场模型的低照度图像增强方法与系统
Rouf et al. Retrieving information lost by image denoising

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant