KR101955826B1 - 안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체 - Google Patents

안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체 Download PDF

Info

Publication number
KR101955826B1
KR101955826B1 KR1020170181041A KR20170181041A KR101955826B1 KR 101955826 B1 KR101955826 B1 KR 101955826B1 KR 1020170181041 A KR1020170181041 A KR 1020170181041A KR 20170181041 A KR20170181041 A KR 20170181041A KR 101955826 B1 KR101955826 B1 KR 101955826B1
Authority
KR
South Korea
Prior art keywords
image
inversely
transformed
inverse
energy function
Prior art date
Application number
KR1020170181041A
Other languages
English (en)
Inventor
백준기
고승용
유수환
박선희
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170181041A priority Critical patent/KR101955826B1/ko
Application granted granted Critical
Publication of KR101955826B1 publication Critical patent/KR101955826B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/24—Fluid dynamics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체가 개시된다. 개시된 단말 장치는 컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및 상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되, 상기 프로세서부는, 입력된 대상 영상을 역변환하고, 상기 역변환된 대상 영상에서 에너지 함수의 값이 최소가 되도록 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트하여 산출하고, 최종적으로 업데이트된 상기 역변환된 복원 영상을 역변환하여 복원 영상을 산출하되, 상기 에너지 함수는, 상기 역변환된 대상 영상과 모델링된 안개 영상 사이의 제1 데이터 피델리티 항, 상기 역변환 복원 영상의 평활화 제약 항, 상기 역변환 전달량 맵의 평활화 제약 항 및 초기의 역변환 전달량 맵과 상기 역변환 전달량 맵 사이의 제2 데이터 피델리티 항의 선형 결합으로 이루어진다.

Description

안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체{Terminal devise, Method and Recording medium for enhancing image based on haze removal model}
본 발명의 실시예들은 안개 제거(haze removal) 모델에 기반하여 잡음 증폭과 색 왜곡을 발생시키지 않고 영상, 일례로 저조도 영상을 복원할 수 있는 단말 장치 및 방법과 이를 수행하는 기록 매체에 관한 것이다.
최근 디지털 카메라의 보급이 보편적으로 이루어지고 있으며, 특히 개인 블로그, 페이스북 및 트위터와 같은 소셜 네트워크가 보급됨에 따라 영상을 촬영하는 디지털 카메라는 생활 필수품으로 자리잡고 있는 실정이다. 자동 노출, 자동 포커싱 및 얼굴 인식과 같이 디지털 카메라와 관련된 기술의 발달에 따라 전문가가 아닌 일반 사용자들도 원하는 영상을 얻을 수 있는 상황이나, 아직까지 어두운 환경, 즉 저조도 환경에서 원하는 영상을 얻기에는 어려운 문제점이 있다.
이 문제를 해결하기 위해, 다양한 저조도 영상 개선 방법이 제안되었다
종래의 방법 중 히스토그램 기반(histogram based) 방법은 낮은 계산 비용에서 intensity bins를 재분배하거나 누적 분포 함수(CDF)를 수정하여 입력 이미지의 대비를 향상시킨다. 그러나, 저조도 이미지가 좁은 히스토그램 분포를 제공하기 때문에 CDF가 급격하게 변하게 되므로, 밝기 채도 및 색상 왜곡을 초래하는 단점이 있다.
또한, 종래의 방법 중 레티넥스(Retinex) 기반의 영상 개선 방법은 인간의 지각 시스템(HVS)을 기반으로 하는 방법으로, 최근에는 조명 성분과 반사율 성분을 추정하기 위해 l2-norm 최소화를 사용하는 방법 및 가우시안 저역 통과 필터(Gaussian low-pass filter)와 대수 변환(logarithmic transformation)을 이용하여 조명 성분을 추정하고, 추정된 조명 성분을 분리하여 반사율 성분만을 향상시켜 복원 영상을 구하는 방법 등이 제안되었다. 그러나, 이 방법은 에지 근처에서 후광 효과가 발생되는 단점이 있다.
그리고, 종래의 방법 중 전달량 맵 기반의 영상 복원 방법은 자연 이미지의 선험적 통계 속성을 사용하는 방법으로서, 저조도 영상의 역변환 영상이 안개 영상과 대응된다는 가정하에 전달량 맵을 추정하여 저조도 영상을 복원한다. 그러나, 이 방법은 잡음 증폭과 색 왜곡이 발생하는 단점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 안개 제거(haze removal) 알고리즘에 기반하여 잡음 증폭과 색 왜곡을 발생시키지 않고 영상, 일례로 저조도 영상을 복원할 수 있는 단말 장치 및 방법과 이를 수행하는 기록 매체를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 안개 제거 모델을 기반으로 하여 영상을 개선하는 동작을 수행하는 단말 장치에 있어서, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및 상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되, 상기 프로세서부는, 입력된 대상 영상을 역변환하고, 상기 역변환된 대상 영상에서 에너지 함수의 값이 최소가 되도록 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트하여 산출하고, 최종적으로 업데이트된 상기 역변환된 복원 영상을 역변환하여 복원 영상을 산출하되, 상기 에너지 함수는, 상기 역변환된 대상 영상과 모델링된 안개 영상 사이의 제1 데이터 피델리티 항, 상기 역변환 복원 영상의 평활화 제약 항, 상기 역변환 전달량 맵의 평활화 제약 항 및 초기의 역변환 전달량 맵과 상기 역변환 전달량 맵 사이의 제2 데이터 피델리티 항의 선형 결합으로 이루어진 것을 특징으로 하는 단말 장치가 제공된다.
상기 에너지 함수는 아래의 수학식과 같이 표현될 수 있다.
Figure 112017129836135-pat00001
여기서,
Figure 112017129836135-pat00002
는 상기 에너지 함수,
Figure 112017129836135-pat00003
는 상기 제1 데이터 피델리티 항,
Figure 112017129836135-pat00004
는 상기 역변환된 대상 영상,
Figure 112017129836135-pat00005
는 상기 모델링된 안개 영상,
Figure 112017129836135-pat00006
는 상기 역변환된 복원 영상,
Figure 112017129836135-pat00007
는 상기 역변환된 전달량 맵,
Figure 112017129836135-pat00008
는 안개의 밝기값인 안개값,
Figure 112017129836135-pat00009
는 상기 역변환 복원 영상의 평활화 제약 항,
Figure 112017129836135-pat00010
는 상기 역변환 복원 영상의 그래디언트,
Figure 112017129836135-pat00011
는 상기 역변환 전달량 맵의 평활화 제약 항,
Figure 112017129836135-pat00012
는 상기 역변환 전달량 맵의 그래디언트,
Figure 112017129836135-pat00013
는 상기 제2 데이터 피델리티 항,
Figure 112017129836135-pat00014
는 초기의 역변환 전달량 맵,
Figure 112017129836135-pat00015
,
Figure 112017129836135-pat00016
,
Figure 112017129836135-pat00017
각각은 정규화 매개 변수를 각각 의미함.
상기 프로세서부는 Bregman iteration을 이용하여 상기 에너지 함수를 반복적으로 업데이트할 수 있다.
상기 Bregman iteration에 적용되는 상기 에너지 함수는 아래의 수학식과 같이 표현될 수 있다.
Figure 112017129836135-pat00018
여기서,
Figure 112017129836135-pat00019
는 보조 변수(auxiliary variable),
Figure 112017129836135-pat00020
는 Bregman 변수,
Figure 112017129836135-pat00021
및
Figure 112017129836135-pat00022
각각은 Bregman penalization 매개 변수를 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 프로세서가 포함된 장치에서 수행되는 안개 모델 기반의 영상 개선 방법에 있어서, 입력된 대상 영상을 역변환하는 단계; 상기 역변환된 대상 영상에서 에너지 함수의 값이 최소가 되도록 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트하여 산출하는 단계; 및 최종적으로 업데이트된 상기 역변환된 복원 영상을 역변환하여 복원 영상을 산출하는 단계;를 포함하되, 상기 에너지 함수는, 상기 역변환된 대상 영상과 모델링된 안개 영상 사이의 제1 데이터 피델리티 항, 상기 역변환 복원 영상의 평활화 제약 항, 상기 역변환 전달량 맵의 평활화 제약 항 및 초기의 역변환 전달량 맵과 상기 역변환 전달량 맵 사이의 제2 데이터 피델리티 항의 선형 결합으로 이루어진 것을 특징으로 하는 영상 개선 방법이 제공된다.
본 발명에 따르면, 안개 제거 모델에 기반하여 잡음 증폭과 색 왜곡을 발생시키지 않고 영상, 일례로 저조도 영상을 복원할 수 있는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 종래의 안개 모델의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 저조도 영상 프레임을 복원하는 방법의 흐름도를 도시한 도면이다.
도 4는 도 3에 도시된 방법의 프레임워크를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 이론적 배경이 되는 안개 제거 알고리즘에 대해 먼저 설명한 후 본 발명을 설명하기로 한다.
도 1은 종래의 안개 모델의 개념을 설명하기 위한 도면이다.
도 1에서는 광원이 카메라까지 도달하는 과정을 나타내고 있으며, 카메라에 도달하는 빛은 객체(Object)로부터 직접 반사된 빛 및 안개나 수증기와 같은 대기 요인에 의해 산란된 빛을 포함한다. 이 때, 객체와 카메라의 거리가 멀수록 안개 등의 대기 요인에 의한 영향을 많이 받는다.
안개 제거에 사용되는 안개 모델은 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112017129836135-pat00023
여기서,
Figure 112017129836135-pat00024
는 RGB 채널에서의 안개가 포함된 영상,
Figure 112017129836135-pat00025
는 RGB 채널에서의 안개가 없는 영상 내지 안개가 제거된 복원 영상,
Figure 112017129836135-pat00026
는 안개의 밝기값의 정도를 의미하는 안개값 내지 대기값,
Figure 112017129836135-pat00027
는 카메라와 객체사이의 거리에 따른 안개량 변화에 의한 감쇠(attenuation) 효과를 의미하는 전달량 맵(transmission map),
Figure 112017129836135-pat00028
는 안개에 의한 산란 계수,
Figure 112017129836135-pat00029
는 객체와 카메라 사이의 대응 거리 맵(disparity map)을 각각 의미한다. 이 때, 전달량 맵은 대응 거리 맵에 따른 안개의 정도와 대응된다.
그리고, 안개가 제거된 복원 영상은 안개값과 전달량 맵을 추정하여 카메라에서 획득한 영상으로부터 산출한다. 이 때, 각 픽셀에서의 안개의 양을 나타내기 위해 DCP(dark channel prior)가 사용된다. DCP는 안개가 없는 영상에 대한 사전 지식으로 사용되며, 아래의 수학식 2와 같이 표현될 수 있다.
Figure 112017129836135-pat00030
여기서,
Figure 112017129836135-pat00031
는 DCP,
Figure 112017129836135-pat00032
는 영상 내의 패치를 각각 의미한다.
그리고, 전달량 맵은 아래의 수학식 3과 같이 표현될 수 있다.
Figure 112017129836135-pat00033
여기서,
Figure 112017129836135-pat00034
는 DCP의 가중 매개 변수(weighting parameter)를 각각 의미한다.
따라서, 안개가 제거된 복원 영상은 아래의 수학식 4과 같이 표현될 수 있다.
Figure 112017129836135-pat00035
여기서,
Figure 112017129836135-pat00036
는 복원 영상을 의미한다.
이하, 도 2 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 저조도 영상을 복원하는 단말 장치 및 방법을 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 단말 장치(200)의 개략적인 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 단말 장치(200)는 입력부(210), 메모리부(220), 프로세서부(230) 및 디스플레이부(240)를 포함한다.
입력부(210)는 사용자로부터 저조도 환경에서 획득된 영상을 입력받기 위한 구성요소이다. 일례로, 입력부(210)는 단말 장치(200)에 구비되어 있는 카메라에서 획득된 저조도 영상을 입력받을 수도 있고, 유선 통신 또는 무선 통신으로 통해 전송된 저조도 영상을 입력받을 수도 있다.
메모리부(220)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 단말 장치(200)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장한다. 특히, 메모리부(220)는 저조도 영상을 개선하여 복원된 영상을 출력하는 컴퓨터 프로그램 내지 기록 매체에 관계된 명령어 또는 데이터를 저장할 수 있다.
프로세서부(230)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서부(230)는 단말 장치(200)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 특히, 프로세서부(230)는 상기 컴퓨터 프로그램의 실행에 관계된 명령을 실행할 수 있다.
디스플레이부(240)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED) 등으로 구성될 수 있으며, 사용자에게 영상 내지 영상 프레임을 표시할 수 있는 장치이다. 특히, 디스플레이부(240)는 프로세서(230)에서 실행되는 컴퓨터 프로그램의 실행 화면을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 단말 장치(200)의 동작인 저조도 영상 프레임을 복원하는 방법의 흐름도를 도시한 도면이다. 그리고, 도 4는 도 3에 도시된 방법의 프레임워크를 도시한 도면이다.
이하, 도 3을 기준으로, 각 단계 별로 수행되는 과정을 상세하게 설명하기로 한다.
먼저, 단계(302)에서, 입력부(210)는 대상 영상을 입력받는다. 이 때, 대상 영상은 저조도 환경에서 획득된 RGB 채널의 영상인 저조도 영상일 수 있다.
그 후, 단계(304)에서, 프로세서부(230)는 입력된 대상 영상을 역변환 또는 반전한다. 이 때, 프로세서부(230)는 픽셀 단위로 역변환을 수행할 수 있다.
즉, 역변환된 대상 영상인 역변환된 저조도 영상은 안개 영상과 시각적으로 유사하므로, 본 발명에서는 아래에서 설명하는 바와 같이 안개 제거(haze removal) 모델에 기반하여 대상 영상을 개선, 즉 입력 저조도 영상의 밝기를 개선할 수 있다.
이 때, 저조도 영상에는 잡음이 존재하며, 역변환된 대상 영상은 아래의 수학식 5과 같이 표현될 수 있다.
Figure 112017129836135-pat00037
여기서,
Figure 112017129836135-pat00038
는 역변환된 대상 영상,
Figure 112017129836135-pat00039
는 역변환된 복원 영상,
Figure 112017129836135-pat00040
는 잡음,
Figure 112017129836135-pat00041
(=
Figure 112017129836135-pat00042
)는 역변환된 전달량 맵을 각각 의미한다.
계속하여, 단계(306)에서, 프로세서부(230)는 역변환된 대상 영상에서 에너지 함수의 값이 최소가 되도록 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트하여 산출한다.
마지막으로, 단계(308)에서, 프로세서부(230)는 최종적으로 업데이트된 역변환된 복원 영상을 역변환하여 복원 영상을 산출한다.
이하, 단계(306)에서 수행되는 과정을 보다 상세하게 설명하기로 한다.
에너지 함수는 영상을 개선하기 위해 사용되는 함수로서, 본 발명의 경우, 역변환된 복원 영상 및 역변환된 전달량 맵을 구성 요소로 하며, 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트한다. 이 때, 상기에서 언급한 바와 같이, 최종적으로 산출된 역변환된 복원 영상 역변환되어 복원 영상이 생성된다.
본 발명에 따르면, 에너지 함수는 역변환된 대상 영상과 모델링된 안개 영상 사이의 제1 데이터 피델리티 항, 역변환 복원 영상의 평활화 제약 항, 역변환 전달량 맵의 평활화 제약 항 및 초기의 역변환 전달량 맵과 역변환 전달량 맵(즉, 업데이트된 전달량 맵) 사이의 제2 데이터 피델리티 항의 선형 결합으로 이루어질 수 있다.
여기서, 제1 데이터 피델리티 항은 복원 영상과 대상 영상의 차이를 줄여주는 항을 의미한다. 즉, 복원 영상을 다시 어둡게 만들었을 때, 대상 영상(즉, 입력된 저조도 영상)과 같은 영상이 되어야 복원 영상이 제대로 산출되었다고 할 수 있다.
그리고, 제2 데이터 피델리티 항은 초기의 역변환 전달량 맵과 역변환 전달량 맵(즉, 업데이트된 전달량 맵)의 차이를 줄여주는 항을 의미한다.
본 발명의 일 실시예에 따르면, 에너지 함수는 아래의 수학식 6과 같이 표현될 수 있다.
Figure 112017129836135-pat00043
여기서,
Figure 112017129836135-pat00044
는 에너지 함수,
Figure 112017129836135-pat00045
는 제1 데이터 피델리티 항,
Figure 112017129836135-pat00046
는 역변환된 대상 영상,
Figure 112017129836135-pat00047
는 모델링된 안개 영상,
Figure 112017129836135-pat00048
는 역변환된 복원 영상,
Figure 112017129836135-pat00049
는 역변환된 전달량 맵,
Figure 112017129836135-pat00050
는 안개의 밝기값인 안개값,
Figure 112017129836135-pat00051
는 역변환 복원 영상의 평활화 제약 항,
Figure 112017129836135-pat00052
는 역변환 복원 영상의 그래디언트,
Figure 112017129836135-pat00053
는 역변환 전달량 맵의 평활화 제약 항,
Figure 112017129836135-pat00054
는 역변환 전달량 맵의 그래디언트,
Figure 112017129836135-pat00055
는 제2 데이터 피델리티 항,
Figure 112017129836135-pat00056
는 초기의 역변환 전달량 맵,
Figure 112017129836135-pat00057
,
Figure 112017129836135-pat00058
,
Figure 112017129836135-pat00059
각각은 정규화 매개 변수를 각각 의미한다. 그리고, 그래디언트는 반복적 산출에 대한 차이값과 대응되며, 초기의 역변환된 복원 영상(
Figure 112017129836135-pat00060
)은 역변환된 대상 영상(
Figure 112017129836135-pat00061
)과 대응된다.
또한, 제1 데이터 피델리티 항, 역변환 전달량 맵의 평활화 제약 항, 제2 데이터 피델리티 항에는 l2-norm이 적용되며, 역변환 복원 영상의 평활화 제약 항에는 l1-norm이 적용된다. 따라서, 본 발명은 밝기 개선과 잡음 제거를 동시에 수행할 수 있으며, 잡음 제거 시 에지를 보존하고 컨트라스트가 향상된 복원 영상을 산출할 수 있다.
요컨대, 상기한 수학식 6을 참조하면, 프로세서부(230)는 에너지 함수의 값이 최소가 되도록 하는, 즉, 4개의 항의 합이 최소값이 되게 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 산출하되, 이 과정을 반복적으로 수행하며, 최종적으로 산출된 역변환된 복원 영상이 다시 역변환되어 복원 영상이 생성된다.
한편, 본 발명의 일 실시예에 따르면, 프로세서(230)는 Bregman iteration을 이용하여 에너지 함수를 반복적으로 업데이트할 수 있다.
즉, 상기한 수학식 6은 l1-norm으로 인해 산출하는데 시간이 오래 걸릴 수 있으며, 본 발명의 경우 Bregman iteration를 이용하여 변수 별로 분할하여 해를 도출할 수 있다(split Bregman iteration).
본 발명의 일 실시예에 따르면, Bregman iteration에 적용되는 에너지 함수는 아래의 수학식 7과 같이 표현될 수 있다.
Figure 112017129836135-pat00062
여기서,
Figure 112017129836135-pat00063
는 보조 변수(auxiliary variable),
Figure 112017129836135-pat00064
는 Bregman 변수,
Figure 112017129836135-pat00065
및
Figure 112017129836135-pat00066
각각은 Bregman penalization 매개 변수를 각각 의미한다. 즉, 수학식 7은
Figure 112017129836135-pat00067
와
Figure 112017129836135-pat00068
의 하위 문제(sub problem)로 분해되며, 각각 최적화될 수 있다.
이하, 상기의 수학식 7을 이용한 해의 도출 과정을 상세하게 설명한다.
과정 1) 프로세서부(230)는
Figure 112017129836135-pat00069
를 일정값으로 고정한 후 아래의 수학식 8을 이용하여 역변환된 전달량 맵을 산출할 수 있다.
Figure 112017129836135-pat00070
이 때, 상기한 수학식 8의 에너지 함수는 오일러-라그랑지(Euler-Lagrange) 조건을 사용하여 해를 도출할 수 있으며, 이는 아래의 수학식 9와 같이 표현될 수 있다.
Figure 112017129836135-pat00071
여기서,
Figure 112017129836135-pat00072
는 반복 인덱스를 의미한다.
이 경우, 최적해
Figure 112017129836135-pat00073
는 켤레기울기법(conjugate gradient) 또는 고속 푸리에 변환(FFT) 등과 같은 선형 프로그래밍을 사용하여 산출될 수 있다.
과정 2) 프로세서부(230)는
Figure 112017129836135-pat00074
를 고정한 후 아래의 수학식 10을 이용하여 역변환된 복원 영상을 산출할 수 있다.
Figure 112017129836135-pat00075
이 때, 상기한 수학식 10의 에너지 함수는 오일러-라그랑지 조건을 사용하여 해를 도출할 수 있으며, 이는 아래의 수학식 11와 같이 표현될 수 있다.
Figure 112017129836135-pat00076
이 경우, 최적해
Figure 112017129836135-pat00077
는 켤레기울기법 또는 고속 푸리에 변환(FFT) 등과 같은 선형 프로그래밍을 사용하여 산출될 수 있다.
과정 3) 프로세서부(230)는
Figure 112017129836135-pat00078
및
Figure 112017129836135-pat00079
를 고정한 후 아래의 수학식 12를 이용하여 보조 변수 및 Bregman 변수를 산출할 수 있다.
Figure 112017129836135-pat00080
이 때, 보조 변수 관련 하위 문제는 아래의 수학식 13과 같은 soft shrinkage 방법을 사용하여 해를 도출할 수 있다.
Figure 112017129836135-pat00081
그리고, Bregman 변수는 아래의 수학식 14를 이용하여 해를 도출할 수 있다.
Figure 112017129836135-pat00082
한편, 프로세서부(230)는 상기와 같은 과정 1, 2, 3을 반복 수행함으로써 역변환된 전달량 맵, 역변환된 복원 영상, 보조 변수 및 Bregman 변수를 업데이트하고, 최종적으로 업데이트된 역변환 복원 영상을 이용하여 복원 영상을 산출할 수 있다. 아래의 표 1에서는 상기 반복 과정의 알고리즘을 도시하고 있다.
Figure 112017129836135-pat00083
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 안개 모델을 기반으로 하여 영상을 개선하는 동작을 수행하는 단말 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및
    상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되,
    상기 프로세서부는, 입력된 대상 영상을 역변환하고, 상기 역변환된 대상 영상에서 에너지 함수의 값이 최소가 되도록 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트하여 산출하되, Bregman iteration을 이용하여 상기 에너지 함수를 반복적으로 업데이트하고, 최종적으로 업데이트된 상기 역변환된 복원 영상을 역변환하여 복원 영상을 산출하되,
    상기 에너지 함수는, 상기 역변환된 대상 영상과 모델링된 안개 영상 사이의 제1 데이터 피델리티 항, 상기 역변환 복원 영상의 평활화 제약 항, 상기 역변환 전달량 맵의 평활화 제약 항 및 초기의 역변환 전달량 맵과 상기 역변환 전달량 맵 사이의 제2 데이터 피델리티 항의 선형 결합으로 이루어진 것을 특징으로 하는 단말 장치.
  2. 제1항에 있어서,
    상기 에너지 함수는 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.

    Figure 112017129836135-pat00084


    여기서,
    Figure 112017129836135-pat00085
    는 상기 에너지 함수,
    Figure 112017129836135-pat00086
    는 상기 제1 데이터 피델리티 항,
    Figure 112017129836135-pat00087
    는 상기 역변환된 대상 영상,
    Figure 112017129836135-pat00088
    는 상기 모델링된 안개 영상,
    Figure 112017129836135-pat00089
    는 상기 역변환된 복원 영상,
    Figure 112017129836135-pat00090
    는 상기 역변환된 전달량 맵,
    Figure 112017129836135-pat00091
    는 안개의 밝기값인 안개값,
    Figure 112017129836135-pat00092
    는 상기 역변환 복원 영상의 평활화 제약 항,
    Figure 112017129836135-pat00093
    는 상기 역변환 복원 영상의 그래디언트,
    Figure 112017129836135-pat00094
    는 상기 역변환 전달량 맵의 평활화 제약 항,
    Figure 112017129836135-pat00095
    는 상기 역변환 전달량 맵의 그래디언트,
    Figure 112017129836135-pat00096
    는 상기 제2 데이터 피델리티 항,
    Figure 112017129836135-pat00097
    는 초기의 역변환 전달량 맵,
    Figure 112017129836135-pat00098
    는 상기 역변환된 전달량 맵,
    Figure 112017129836135-pat00099
    ,
    Figure 112017129836135-pat00100
    ,
    Figure 112017129836135-pat00101
    각각은 정규화 매개 변수를 각각 의미함.
  3. 삭제
  4. 제1항에 있어서,
    상기 Bregman iteration에 적용되는 상기 에너지 함수는 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.

    Figure 112018121752494-pat00102


    여기서,
    Figure 112018121752494-pat00103
    는 보조 변수(auxiliary variable),
    Figure 112018121752494-pat00104
    는 Bregman 변수,
    Figure 112018121752494-pat00105
    및
    Figure 112018121752494-pat00106
    각각은 Bregman penalization 매개 변수를 각각 의미함.
  5. 프로세서가 포함된 장치에서 수행되는 안개 모델 기반의 영상 개선 방법에 있어서,
    입력된 대상 영상을 역변환하는 단계;
    상기 역변환된 대상 영상에서 에너지 함수의 값이 최소가 되도록 하는 역변환된 복원 영상 및 역변환된 전달량 맵을 반복적으로 업데이트하여 산출하는 단계; 및
    최종적으로 업데이트된 상기 역변환된 복원 영상을 역변환하여 복원 영상을 산출하는 단계;를 포함하되,
    상기 반복적으로 업데이트하여 산출하는 단계는 Bregman iteration을 이용하여 상기 에너지 함수를 반복적으로 업데이트하고,
    상기 에너지 함수는, 상기 역변환된 대상 영상과 모델링된 안개 영상 사이의 제1 데이터 피델리티 항, 상기 역변환 복원 영상의 평활화 제약 항, 상기 역변환 전달량 맵의 평활화 제약 항 및 초기의 역변환 전달량 맵과 상기 역변환 전달량 맵 사이의 제2 데이터 피델리티 항의 선형 결합으로 이루어진 것을 특징으로 하는 영상 개선 방법.
  6. 제5항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020170181041A 2017-12-27 2017-12-27 안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체 KR101955826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170181041A KR101955826B1 (ko) 2017-12-27 2017-12-27 안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170181041A KR101955826B1 (ko) 2017-12-27 2017-12-27 안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Publications (1)

Publication Number Publication Date
KR101955826B1 true KR101955826B1 (ko) 2019-03-07

Family

ID=65760614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170181041A KR101955826B1 (ko) 2017-12-27 2017-12-27 안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체

Country Status (1)

Country Link
KR (1) KR101955826B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102680104B1 (ko) 2020-12-18 2024-07-03 중앙대학교 산학협력단 자가 증류 네트워크를 통한 안개제거 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120079564A (ko) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120079564A (ko) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102680104B1 (ko) 2020-12-18 2024-07-03 중앙대학교 산학협력단 자가 증류 네트워크를 통한 안개제거 방법

Similar Documents

Publication Publication Date Title
Sutour et al. Adaptive regularization of the NL-means: Application to image and video denoising
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
Zhou et al. Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement
US10096088B2 (en) Robust regression method for image-space denoising
KR101426298B1 (ko) 안개 제거율을 높인 영상보정장치 및 방법
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
JP6320115B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20160321790A1 (en) Apparatus for image contrast enhancement and method, electronic equipment
KR101827361B1 (ko) 안개 제거를 위한 대기 강도 추정 장치 및 방법
Ma et al. Underwater image restoration through a combination of improved dark channel prior and gray world algorithms
Kumar et al. Dynamic stochastic resonance and image fusion based model for quality enhancement of dark and hazy images
Liu et al. Constrained nonconvex hybrid variational model for edge-preserving image restoration
Zhang et al. Underwater image enhancement via multi-scale fusion and adaptive color-gamma correction in low-light conditions
CN117152182B (zh) 一种超低照度网络相机图像处理方法、装置及电子设备
WO2020049567A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
Patle et al. High dynamic range image analysis through various tone mapping techniques
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
JP2017502429A (ja) 画像処理装置、電子機器及び方法
KR101955826B1 (ko) 안개 제거 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체
CN111062883B (zh) 图像处理方法及装置、计算机可读介质和电子设备
KR101942198B1 (ko) 레티넥스 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체
Zhang et al. An adaptive color correction method for underwater single image haze removal
KR20160056729A (ko) 극저조도 영상의 화질 개선 장치 및 방법
CN110211072A (zh) 一种图像去雾方法、系统及电子设备和存储介质
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant