KR102461144B1 - 영상 연무 제거 장치 - Google Patents

영상 연무 제거 장치 Download PDF

Info

Publication number
KR102461144B1
KR102461144B1 KR1020150144451A KR20150144451A KR102461144B1 KR 102461144 B1 KR102461144 B1 KR 102461144B1 KR 1020150144451 A KR1020150144451 A KR 1020150144451A KR 20150144451 A KR20150144451 A KR 20150144451A KR 102461144 B1 KR102461144 B1 KR 102461144B1
Authority
KR
South Korea
Prior art keywords
image
rgb
patch
nir
similarity
Prior art date
Application number
KR1020150144451A
Other languages
English (en)
Other versions
KR20170044844A (ko
Inventor
박래홍
장동원
Original Assignee
삼성전자주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서강대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020150144451A priority Critical patent/KR102461144B1/ko
Priority to US15/295,724 priority patent/US10002412B2/en
Publication of KR20170044844A publication Critical patent/KR20170044844A/ko
Application granted granted Critical
Publication of KR102461144B1 publication Critical patent/KR102461144B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H04N5/217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Image Communication Systems (AREA)

Abstract

영상 연무 제거 장치는 영상 분리부, 가중치 생성부, 세부층 영상 혼합부, 기저층 영상 연무 제거부 및 덧셈부를 포함한다. 영상 분리부는 NIR 영상에서 NIR 세부층 영상을 분리하고, RGB 영상을 RGB 세부층 영상 및 RGB 기저층 영상으로 분리한다. 가중치 생성부는 NIR 영상의 고주파 성분과 RGB 영상의 고주파 성분 간의 유사도에 기초하여 혼합 가중치를 생성한다. 세부층 영상 혼합부는 혼합 가중치에 기초하여 NIR 세부층 영상을 RGB 세부층 영상에 혼합하여 혼합 RGB 세부층 영상을 생성한다. 연무 제거부는 RGB 기저층 영상에서 연무를 제거하여 보상된 RGB 기저층 영상을 생성한다. 덧셈부는 혼합 RGB 세부층 영상과 보상된 RGB 기저층 영상을 합하여 출력 RGB 영상을 생성한다.

Description

영상 연무 제거 장치 {IMAGE HAZE REMOVING DEVICE}
본 발명은 영상 연무 제거 장치에 관한 것으로서, 더욱 상세하게는 RGB 영상에 근적외선 영상의 세부층을 혼합하여 상기 RGB 영상의 연무를 제거하는 장치에 관한 것이다.
영상 측정 장치(e.g. 디지털 카메라)가 실제 이미지(Real image)를 촬영할 때, 대기 중의 입자에 의해 빛의 산란(Scattering of light) 정도에 따라 측정 이미지(Measured image)에서 연무 현상(Haze phenomenon)이 발생할 수 있다. 피사체와 영상 측정 장치와의 거리, 대기 중의 입자의 크기에 따라 연무 현상의 정도는 달라질 수 있다.
연무가 짙어 대부분의 RGB 픽셀 데이터가 손실된 경우, 종래의 기술에 따라 연무를 제거하는 경우 노이즈 및 청색 결함(Bluish artifact)이 발생하는 문제가 있다. 연무가 짙은 경우 상기 문제점 없이 연무를 효과적으로 제거하는 방법이 필요하다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은 근적외선(Near Infra-Red; NIR) 영상의 세부층(Detail layer)을 RGB 영상에 혼합하여 RGB 영상의 윤곽을 복원하고 RGB 영상의 연무를 제거하는 영상 연무 제거 장치를 제공하는데 있다.
본 발명의 일 목적은 RGB 영상에 포함되는 R 영상의 세부층을 GB 영상에 혼합하여 RGB 영상의 윤곽을 복원하고 RGB 영상의 연무를 제거하는 영상 연무 제거 장치를 제공하는데 있다.
상기 일 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 연무 제거 장치는 영상 분리부, 가중치 생성부, 세부층 영상 혼합부, 기저층 영상 연무 제거부 및 덧셈부를 포함한다. 상기 영상 분리부는 근적외선(Near Infra-Red; NIR) 영상에서 NIR 세부층(Detail layer) 영상을 분리하고, RGB 영상을 RGB 세부층 영상 및 RGB 기저층(Base layer) 영상으로 분리한다. 상기 가중치 생성부는 상기 NIR 영상의 고주파 성분과 상기 RGB 영상의 고주파 성분 간의 유사도에 기초하여 혼합 가중치를 생성한다. 상기 세부층 영상 혼합부는 상기 혼합 가중치에 기초하여 상기 NIR 세부층 영상을 상기 RGB 세부층 영상에 혼합하여 혼합 RGB 세부층 영상을 생성한다. 상기 연무 제거부는 상기 RGB 기저층 영상에서 연무(Haze)를 제거하여 보상된 RGB 기저층 영상을 생성한다. 상기 덧셈부는 상기 혼합 RGB 세부층 영상과 상기 보상된 RGB 기저층 영상을 합하여 출력 RGB 영상을 생성한다.
일 실시예에 있어서, 상기 영상 분리부는 상기 NIR 영상을 가우시안 필터(Gaussian filter)를 통해 저역 통과 필터링하여 NIR 기저층 영상을 생성하고, 상기 NIR 영상에서 상기 NIR 기저층 영상을 빼서 상기 NIR 세부층 영상을 생성할 수 있다.
일 실시예에 있어서, 상기 영상 분리부는 상기 RGB 영상을 가우시안 필터를 통해 저역 통과 필터링하여 상기 RGB 기저층 영상을 생성하고, 상기 RGB 영상에서 상기 RGB 기저층 영상을 빼서 상기 RGB 세부층 영상을 생성할 수 있다.
일 실시예에 있어서, 상기 RGB 세부층 영상은 상기 RGB 영상의 고주파 특징부인 윤곽을 나타내고, 상기 RGB 기저층 영상은 상기 RGB 영상의 저주파 특징부인 색상을 나타낼 수 있다. 상기 NIR 세부층 영상은 상기 NIR 영상의 고주파 특징부인 윤곽을 나타낼 수 있다.
일 실시예에 있어서, 상기 RGB 영상이 포함하는 연무의 양이 증가할수록, 상기 유사도는 감소하고 상기 세부층 영상 혼합부가 상기 RGB 세부층 영상에 상기 NIR 세부층 영상을 혼합하는 비율인 상기 혼합 가중치는 증가할 수 있다. 상기 RGB 영상이 포함하는 연무의 양이 감소할수록, 상기 유사도는 증가하고 상기 혼합 가중치는 감소할 수 있다.
일 실시예에 있어서, 상기 RGB 영상은 R 영상, G 영상 및 B 영상을 포함할 수 있다. 상기 유사도는 R 유사도, G 유사도 및 B 유사도를 포함할 수 있다. 상기 R 유사도는 상기 NIR 영상의 고주파 성분과 상기 R 영상의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 G 유사도는 상기 NIR 영상의 고주파 성분과 상기 G 영상의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 B 유사도는 상기 NIR 영상의 고주파 성분과 상기 B 영상의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 혼합 가중치는 R 혼합 가중치, G 혼합 가중치 및 B 혼합 가중치를 포함할 수 있다. 상기 R 혼합 가중치는 상기 R 유사도에 상응하고, 상기 G 혼합 가중치는 상기 G 유사도에 상응하고, 상기 B 혼합 가중치는 상기 B 유사도에 상응할 수 있다.
일 실시예에 있어서, 상기 R 유사도는 상기 NIR 영상의 고주파 성분의 히스토그램과 상기 R 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 상기 G 유사도는 상기 NIR 영상의 고주파 성분의 히스토그램과 상기 G 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 상기 B 유사도는 상기 NIR 영상의 고주파 성분의 히스토그램과 상기 B 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다.
일 실시예에 있어서, 상기 RGB 영상이 연무를 포함하지 않는 경우, 상기 R, G 및 B 유사도들은 동일할 수 있다. 상기 RGB 영상이 포함하는 연무의 양이 증가하는 경우, 상기 B 유사도, 상기 G 유사도, 상기 R 유사도 순으로 감소 속도가 크고, 상기 B 혼합 가중치, 상기 G 혼합 가중치, 상기 R 혼합 가중치 순으로 증가 속도가 클 수 있다.
일 실시예에 있어서, 상기 NIR 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N NIR 패치들(Patches) (N은 자연수)로 나뉠 수 있다. 상기 RGB 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N RGB 패치들로 나뉠 수 있다. 상기 NIR 세부층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N NIR 세부층 패치들로 나뉠 수 있다. 상기 RGB 세부층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N RGB 세부층 패치들로 나뉠 수 있다. 상기 혼합 RGB 세부층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N 혼합 RGB 세부층 패치들로 나뉠 수 있다. 상기 혼합 가중치는 제1 내지 제N 패치 혼합 가중치들로 나뉠 수 있다. 상기 유사도는 제1 내지 제N 패치 유사도들로 나뉠 수 있다. 상기 세부층 영상 혼합부는 상기 제K 패치 혼합 가중치(K는 N이하 자연수)에 기초하여 상기 제K NIR 세부층 패치를 상기 제K RGB 세부층 패치에 혼합하여 상기 제K 혼합 RGB 세부층 패치를 생성할 수 있다.
일 실시예에 있어서, 상기 제K RGB 패치는 제K R 패치, 제K G 패치 및 제K B 패치를 포함할 수 있다. 상기 제K 패치 유사도는 제K R 패치 유사도, 제K G 패치 유사도 및 제K B 패치 유사도를 포함할 수 있다. 상기 제K R 패치 유사도는 상기 제K NIR 패치의 고주파 성분과 상기 제K R 패치의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 제K NIR 패치의 고주파 성분과 상기 제K G 패치의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 제K NIR 패치의 고주파 성분과 상기 제K B 패치의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 제K 패치 혼합 가중치는 제K R 패치 혼합 가중치, 제K G 패치 혼합 가중치 및 제K B 패치 혼합 가중치를 포함할 수 있다. 상기 제K R 패치 혼합 가중치는 상기 제K R 패치 유사도에 상응하고, 상기 제K G 패치 혼합 가중치는 상기 제K G 패치 유사도에 상응하고, 상기 제K B 패치 혼합 가중치는 상기 제K B 패치 유사도에 상응할 수 있다.
일 실시예에 있어서, 상기 제K R 패치 유사도는 상기 제K NIR 패치의 고주파 성분의 히스토그램과 상기 제K R 패치의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 상기 제K G 패치 유사도는 상기 제K NIR 패치의 고주파 성분의 히스토그램과 상기 제K G 패치의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 상기 제K B 패치 유사도는 상기 제K NIR 패치의 고주파 성분의 히스토그램과 상기 제K B 패치의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다.
일 실시예에 있어서, 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 이상인 경우, 상기 가중치 생성부는 1에서 상기 제K 패치 유사도를 뺀 값을 상기 제K 패치 혼합 가중치로서 출력할 수 있다. 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 미만인 경우, 상기 가중치 생성부는 0을 상기 제K 패치 혼합 가중치로서 출력할 수 있다.
일 실시예에 있어서, 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 이상인 경우, 상기 가중치 생성부는 1에서 상기 제K 패치 유사도를 뺀 값을 제K 임시 가중치로서 출력할 수 있다. 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 미만인 경우, 상기 가중치 생성부는 0을 상기 제K 임시 가중치로서 출력할 수 있다. 상기 가중치 생성부는 상기 제1 내지 제N 혼합 RGB 세부층 패치들 간의 경계가 상기 제1 내지 제N RGB 패치들 간의 경계와 유사해지도록 상기 제K 임시 가중치를 보상하여 상기 제K 패치 혼합 가중치를 생성할 수 있다.
일 실시예에 있어서, 상기 가중치 생성부는 가이디드 필터링(Guided filtering), 조인트 바이래터럴 필터링(Joint bilateral filtering) 또는 라플라시안 매트릭스(Laplacian matrix)를 통해 상기 제1 내지 제N 혼합 RGB 세부층 패치들 간의 경계가 상기 제1 내지 제N RGB 패치들 간의 경계와 유사해지도록 상기 제K 임시 가중치를 보상하여 상기 제K 패치 혼합 가중치를 생성할 수 있다.
일 실시예에 있어서, 상기 RGB 기저층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N RGB 기저층 패치들로 나뉠 수 있다. 상기 보상된 RGB 기저층 영상은 상기 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N 보상된 RGB 기저층 패치들로 나뉠 수 있다. 상기 기저층 영상 연무 제거부는 상기 제K RGB 기저층 패치에 포함되는 상기 픽셀 데이터들 중 최소값에 상응하는 제K 전달 계수를 추출하고, 상기 제K 전달 계수에 기초하여 상기 제K RGB 기저층 패치를 보상하여 상기 제K 보상된 RGB 기저층 패치로서 출력할 수 있다.
일 실시예에 있어서, 상기 출력 RGB 영상은 제1 내지 제N 출력 RGB 패치들로 나뉠 수 있다. 상기 덧셈부는 상기 제K 혼합 RGB 세부층 패치와 상기 제K 보상된 RGB 기저층 패치를 더하여 상기 제K 출력 RGB 패치를 생성할 수 있다.
상기 일 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 연무 제거 장치는 영상 분리부, 가중치 생성부, 세부층 영상 혼합부, 기저층 영상 연무 제거부 및 덧셈부를 포함한다. 상기 영상 분리부는 RGB 영상을 RGB 세부층(Detail layer) 영상 및 RGB 기저층(Base layer) 영상으로 분리한다. 상기 가중치 생성부는 상기 RGB 영상에 포함되는 R 영상의 고주파 성분과 상기 RGB 영상에 포함되는 GB 영상의 고주파 성분 간의 유사도에 기초하여 혼합 가중치를 생성한다. 상기 세부층 영상 혼합부는 상기 혼합 가중치에 기초하여 상기 RGB 세부층 영상에 포함된 R 세부층 영상을 상기 RGB 세부층 영상에 포함된 GB 세부층 영상에 혼합하여 혼합 RGB 세부층 영상을 생성할 수 있다. 상기 기저층 영상 연무 제거부는 상기 RGB 기저층 영상에서 연무(Haze)를 제거하여 보상된 RGB 기저층 영상을 생성할 수 있다. 상기 덧셈부는 상기 혼합 RGB 세부층 영상과 상기 보상된 RGB 기저층 영상을 합하여 출력 RGB 영상을 생성할 수 있다.
일 실시예에 있어서, 상기 RGB 영상이 포함하는 연무의 양이 증가할수록, 상기 유사도는 감소하고 상기 세부층 영상 혼합부가 상기 GB 세부층 영상에 상기 R 세부층 영상을 혼합하는 비율인 상기 혼합 가중치는 증가할 수 있다. 상기 RGB 영상이 포함하는 연무의 양이 감소할수록, 상기 유사도는 증가하고 상기 혼합 가중치는 감소할 수 있다.
본 발명의 실시예들에 따른 영상 연무 제거 장치는 연무가 짙은 경우 근적외선(Near Infra-Red; NIR) 영상의 세부층을 RGB 영상의 세부층에 혼합하여 RGB 영상의 윤곽을 복원하고, RGB 영상의 기저층에 포함되는 연무를 제거하여 RGB 영상의 화질을 개선할 수 있다.
본 발명의 실시예들에 따른 영상 연무 제거 장치는 연무가 짙은 경우 R 영상의 세부층을 GB 영상의 세부층에 혼합하여 RGB 영상의 윤곽을 복원하고, RGB 영상의 기저층에 포함되는 연무를 제거하여 RGB 영상의 화질을 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 연무 제거 장치를 나타내는 블록도이다.
도 2 내지 4는 도 1의 영상 연무 제거 장치에 포함되는 영상 분리부가 사용하는 가우시안 필터들을 나타내는 도면들이다.
도 5는 도 1의 영상 연무 제거 장치에서 사용하는 영상들이 포함하는 패치들(Patches)의 구조를 나타내는 도면이다.
도 6은 연무가 없는 경우 NIR 영상의 고주파 성분과 RGB 영상의 고주파 성분의 히스토그램들을 나타내는 그래프이다.
도 7은 연무가 짙은 경우 NIR 영상의 고주파 성분과 RGB 영상의 고주파 성분의 히스토그램들을 나타내는 그래프이다.
도 8은 도 1의 영상 연무 제거 장치에 의한 연무 제거 효과를 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 영상 연무 제거 장치를 나타내는 블록도이다.
도 10은 본 발명의 일 실시예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 11은 본 발명의 일 실시예에 따른 컴퓨팅 시스템 인터페이스를 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 연무 제거 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 연무 제거 장치(100)는 영상 분리부(IMAGE DECOMPOSER; 110), 가중치 생성부(WEIGHT GENERATOR; 120), 세부층 영상 혼합부(DETAIL LAYER MIXER; 130), 기저층 영상 연무 제거부(BASE LAYER DEHAZER; 140) 및 덧셈부(150)를 포함한다.
영상 분리부(110)는 근적외선(Near Infra-Red; NIR) 영상(IMG_NIR)에서 NIR 세부층(Detail layer) 영상(IMG_NIR_DETAIL)을 분리한다. 영상 분리부(110)는 RGB 영상(IMG_RGB)을 RGB 세부층 영상(IMG_RGB_DETAIL) 및 RGB 기저층(Base layer) 영상(IMG_RGB_BASE)으로 분리한다. 영상 분리부(110)의 동작에 대하여 도 2 내지 4를 참조하여 후술한다.
가중치 생성부(120)는 NIR 영상(IMG_NIR)의 고주파 성분과 RGB 영상(IMG_RGB)의 고주파 성분 간의 유사도에 기초하여 혼합 가중치(WEIGHT_MIX)를 생성한다. 세부층 영상 혼합부(130)는 혼합 가중치(WEIGHT_MIX)에 기초하여 NIR 세부층 영상(IMG_NIR_DETAIL)을 RGB 세부층 영상(IMG_RGB_DETAIL)에 혼합하여 혼합 RGB 세부층 영상(MD_RGB_DETAIL)을 생성한다. 연무 제거부(140)는 RGB 기저층 영상(IMG_RGB_BASE)에서 연무를 제거하여 보상된 RGB 기저층 영상(CPD_RGB_BASE)을 생성한다. 덧셈부(150)는 혼합 RGB 세부층 영상(MD_RGB_DETAIL)과 보상된 RGB 기저층 영상(CPD_RGB_BASE)을 합하여 출력 RGB 영상(IMG_RGB_OUT)을 생성한다. 덧셈부(150)는 통상의 기술자에게 널리 알려진 덧셈기의 구조를 가지므로, 덧셈부(150)에 대한 자세한 설명은 생략한다.
연무 제거부(140)의 실시예를 도 5를 참조하여 후술한다. 가중치 생성부(120), 세부층 영상 혼합부(130) 및 덧셈부(150)의 동작에 대하여 도 6 및 7을 참조하여 후술한다.
RGB 영상(IMG_RGB)은 R 영상, G 영상 및 B 영상을 포함할 수 있다. 상기 유사도는 R 유사도, G 유사도 및 B 유사도를 포함할 수 있다. 상기 R 유사도는 NIR 영상(IMG_NIR)의 고주파 성분과 상기 R 영상의 고주파 성분이 유사한 정도를 나타내고, 상기 G 유사도는 NIR 영상(IMG_NIR)의 고주파 성분과 상기 G 영상의 고주파 성분이 유사한 정도를 나타내고, 상기 B 유사도는 NIR 영상(IMG_NIR)의 고주파 성분과 상기 B 영상의 고주파 성분이 유사한 정도를 나타낸다.
혼합 가중치(WEIGHT_MIX)는 R 혼합 가중치, G 혼합 가중치 및 B 혼합 가중치를 포함할 수 있다. 상기 R 혼합 가중치는 상기 R 유사도에 상응하고, 상기 G 혼합 가중치는 상기 G 유사도에 상응하고, 상기 B 혼합 가중치는 상기 B 유사도에 상응할 수 있다.
상기 R 유사도는 NIR 영상(IMG_NIR)의 고주파 성분의 히스토그램과 상기 R 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 상기 G 유사도는 NIR 영상(IMG_NIR)의 고주파 성분의 히스토그램과 상기 G 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 상기 B 유사도는 NIR 영상(IMG_NIR)의 고주파 성분의 히스토그램과 상기 B 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 일 실시예에 있어서, RGB 영상(IMG_RGB)이 포함하는 연무의 양이 증가하는 경우, 상기 B 유사도, 상기 G 유사도, 상기 R 유사도 순으로 감소 속도가 크고, 상기 B 혼합 가중치, 상기 G 혼합 가중치, 상기 R 혼합 가중치 순으로 증가 속도가 클 수 있다. 상기 R, G 및 B 유사도들 및 상기 R, G 및 B 혼합 가중치들은 도 6 및7을 참조하여 자세하게 후술한다.
일 실시예에 있어서, RGB 영상(IMG_RGB)이 포함하는 연무의 양이 증가할수록, 상기 유사도는 감소하고 세부층 영상 혼합부(130)가 RGB 세부층 영상(IMG_RGB_DETAIL)에 NIR 세부층 영상(IMG_NIR_DETAIL)을 혼합하는 비율인 혼합 가중치(WEIGHT_MIX)는 증가할 수 있다. RGB 영상(IMG_RGB)이 포함하는 연무의 양이 감소할수록, 상기 유사도는 증가하고 혼합 가중치(WEIGHT_MIX)는 감소할 수 있다.
도 2 내지 4는 도 1의 영상 연무 제거 장치에 포함되는 영상 분리부가 사용하는 가우시안 필터들을 나타내는 도면들이다.
도 2는 1차원 가우시안 필터(Gaussian filter)(GF1)를 나타낸다. 일 실시예에 있어서, 1차원 가우시안 디지털 필터(GF1)는 G(-2), G(-1), G(0), G(1) 및 G(2)의 계수 값으로 표현될 수 있다.
도 3은 5 x 5 2차원 가우시안 필터(GF2)를 나타낸다. 도 2의 2차원 가우시안 필터(GF2)는 G(-2, -2) 내지 G(2, 2)의 계수 값들로 표현될 수 있다. 2차원 가우시안 필터(GF2)의 중심 픽셀에 상응하는 계수(G(0, 0))가 가장 큰 값을 가지고, 2차원 가우시안 필터(GF2)의 중심 픽셀에 가까운 픽셀일수록 더 큰 계수를 가진다. 다른 실시예에 있어서, 2차원 가우시안 필터의 사이즈는 도 2의 2차원 가우시안 필터(GF2)의 사이즈인 5 x 5 보다 크거나 작을 수 있다.
도 4를 참조하면, 제1 영상(IMG1)은 복수의 픽셀들(a(x-3, y-3) 내지 a(x-2, y+4))을 포함할 수 있다.
영상 분리부(110)는 NIR 영상(IMG_NIR)을 도 2의 2차원 가우시안 필터(GF2)를 통해 저역 통과 필터링하여 NIR 기저층 영상을 생성한다. 일 실시예에 있어서, 도 4의 제1 영상(IMG1)이 NIR 영상(IMG_NIR)이라고 할 때, 상기 NIR 기저층 영상의 (x, y) 좌표 상 픽셀 데이터(b(x, y))는 [수학식 1]을 통하여 계산될 수 있다. 영상 분리부(110)는 (x, y) 좌표를 쉬프트 시키면서 [수학식 1]을 반복하여 상기 NIR 기저층 영상을 생성할 수 있다. 영상 분리부(110)는 NIR 영상(IMG_NIR)에서 상기 NIR 기저층 영상을 빼서 NIR 세부층 영상(IMG_NIR_DETAIL)을 생성할 수 있다.
Figure 112015100022128-pat00001
영상 분리부(110)는 RGB 영상(IMG_ RGB)을 도 2의 2차원 가우시안 필터(GF2)를 통해 저역 통과 필터링하여 RGB 기저층 영상(IMG_RGB_BASE)을 생성한다. 일 실시예에 있어서, 도 4의 제1 영상(IMG1)이 RGB 영상(IMG_ RGB)이라고 할 때, RGB 기저층 영상(IMG_RGB_BASE)의 (x, y) 좌표 상 픽셀 데이터(b(x, y))는 [수학식 1]을 통하여 계산될 수 있다. 영상 분리부(110)는 (x, y) 좌표를 쉬프트 시키면서 [수학식 1]을 반복하여 RGB 기저층 영상(IMG_RGB_BASE)을 생성할 수 있다. 영상 분리부(110)는 RGB 영상(IMG_RGB)에서 NIR 기저층 영상(IMG_RGB_BASE)을 빼서 NIR 세부층 영상(IMG_RGB_DETAIL)을 생성할 수 있다.
일 실시예에 있어서, RGB 세부층 영상(IMG_RGB_DETAIL)은 RGB 영상(IMG_RGB)의 고주파 특징부인 윤곽을 나타내고, RGB 기저층 영상(IMG_RGB_BASE)은 RGB 영상(IMG_RGB)의 저주파 특징부인 색상을 나타낼 수 있다. NIR 세부층 영상(IMG_NIR_DETAIL)은 NIR 영상(IMG_NIR)의 고주파 특징부인 윤곽을 나타낼 수 있다.
도 5는 도 1의 영상 연무 제거 장치에서 사용하는 영상들이 포함하는 패치들(Patches)의 구조를 나타내는 도면이다.
도 5를 참조하면, 제2 영상(IMG2)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)을 포함한다. N은 자연수이다. 제K 패치(PATCH K) 는 제1 내지 제25 픽셀 데이터들(P1 내지 P25)을 포함할 수 있다. K는 N이하 자연수이다. 제K 패치(PATCH K)는 제1 내지 제25 픽셀 데이터들(P1 내지 P25)보다 적은 수의 픽셀 데이터들을 포함할 수 도 있고, 제K 패치(PATCH K)는 제1 내지 제25 픽셀 데이터들(P1 내지 P25) 외 픽셀 데이터들을 더 포함할 수 있다. 제1 내지 제25 픽셀 데이터들(P1 내지 P25)은 각각 R 픽셀 데이터, G 픽셀 데이터 및 B 픽셀 데이터를 포함한다.
일 실시예에 있어서, 제2 영상(IMG2)이 NIR 영상(IMG_NIR)에 대응되는 경우, NIR 영상(IMG_NIR)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N NIR 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 RGB 영상(IMG_RGB)에 대응되는 경우, RGB 영상(IMG_RGB)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N RGB 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 NIR 세부층 영상(IMG_NIR_DETAIL)에 대응되는 경우, NIR 세부층 영상(IMG_NIR_DETAIL)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N NIR 세부층 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 RGB 세부층 영상(IMG_RGB_DETAIL)에 대응되는 경우, RGB 세부층 영상(IMG_RGB_DETAIL)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N RGB 세부층 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 혼합 RGB 세부층 영상(MD_RGB_DETAIL)에 대응되는 경우, 혼합 RGB 세부층 영상(MD_RGB_DETAIL)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N 혼합 RGB 세부층 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 RGB 기저층 영상(IMG_RGB_BASE)에 대응되는 경우, RGB 기저층 영상(IMG_RGB_BASE)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N RGB 기저층 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 보상된 RGB 기저층 영상(CPD_RGB_BASE)에 대응되는 경우, 보상된 RGB 기저층 영상(CPD_RGB_BASE)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N 보상된 RGB 기저층 패치들을 포함할 수 있다. 일 실시예에 있어서, 제2 영상(IMG2)이 출력 RGB 영상(IMG_RGB_OUT)에 대응되는 경우, 출력 RGB 영상(IMG_RGB_OUT)은 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N 출력 RGB 패치들을 포함할 수 있다.
혼합 가중치(WEIGHT_MIX)는 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N 패치 혼합 가중치들로 나뉠 수 있다. 상기 유사도는 제1 내지 제N 패치들(PATCH 1 내지 PATCH N)에 각각 상응하는 제1 내지 제N 패치 유사도들로 나뉠 수 있다.
기저층 영상 연무 제거부(140)는 상기 제K RGB 기저층 패치에 포함되는 상기 픽셀 데이터들 중 최소값에 상응하는 제K 전달 계수(tb(x))를 [수학식 2]에 따라 추출할 수 있다.
Figure 112015100022128-pat00002
w는 0에서 1 사이 값을 가지는 대기 관점 파라메터(Aerial perspective parameter)를 나타내고, Ωk는 상기 제K RGB 기저층 패치를 나타내고, x는 상기 제K RGB 기저층 패치(Ωk) 내의 임의의 픽셀의 좌표를 나타낸다. c는 색상 변수로서 R, G, 또는 B의 값을 가질 수 있다. Ib R(x)는 RGB 기저층 영상(IMG_RGB_BASE)의 x 좌표의 R 픽셀 데이터 값, Ib G(x)는 RGB 기저층 영상(IMG_RGB_BASE)의 x 좌표의 G 픽셀 데이터 값, Ib B(x)는 RGB 기저층 영상(IMG_RGB_BASE)의 x 좌표의 B 픽셀 데이터 값을 지칭한다. Ab R는 RGB 기저층 영상(IMG_RGB_BASE) 전체의 R 픽셀 데이터들로부터 추출한 대기 상수를 지칭하고, Ab G는 RGB 기저층 영상(IMG_RGB_BASE) 전체의 G 픽셀 데이터들로부터 추출한 대기 상수를 지칭하고, Ab B는 RGB 기저층 영상(IMG_RGB_BASE) 전체의 B 픽셀 데이터들로부터 추출한 대기 상수를 지칭한다. 대기 상수들(Ab R, Ab G, 및 Ab B)은 통상의 기술자는 용이하기 알 수 있는 공지의 기술들이고, 상기 대기 상수들을 계산할 수 있는 방법은 널리 알려져 있으므로 상세한 설명은 생략한다.
기저층 영상 연무 제거부(140)는 제K 전달 계수(tb(x))에 기초하여 제K RGB 기저층 패치(Ωk)를 [수학식 3]에 따라 보상하여 상기 제K 보상된 RGB 기저층 패치로서 출력할 수 있다.
Figure 112015100022128-pat00003
Ib R,cpd(x)는 제K 보상된 RGB 기저층 패치의 x 좌표의 R 픽셀 데이터 값, Ib G,cpd(x)는 제K 보상된 RGB 기저층 패치의 x 좌표의 G 픽셀 데이터 값, Ib B,cpd(x)는 제K 보상된 RGB 기저층 패치의 x 좌표의 B 픽셀 데이터 값을 나타낸다. t0는 통상 0.1의 값을 가진다.
[수학식 2] 및 [수학식 3]은 종래의 다크 채널 프라이어(Dark channel prior) 방법을 나타낸다. 일 실시예에 있어서, 기저층 영상 연무 제거부(140)는 종래의 다크 채널 프라이어 방법 외의 다른 연무 제거 방법을 사용하여 구현될 수도 있다.
도 6은 연무가 없는 경우 NIR 영상의 고주파 성분과 RGB 영상의 고주파 성분의 히스토그램들을 나타내는 그래프이다. 도 7은 연무가 짙은 경우 NIR 영상의 고주파 성분과 RGB 영상의 고주파 성분의 히스토그램들을 나타내는 그래프이다.
일반적으로 대기 중의 빛의 산란은 [수학식 4]로 모델링될 수 있다.
Figure 112015100022128-pat00004
IR(x)는 RGB 영상(IMG_RGB)의 x 좌표의 R 픽셀 데이터 값, IG(x)는 RGB 영상(IMG_RGB)의 x 좌표의 G 픽셀 데이터 값, IB(x)는 RGB 영상(IMG_RGB)의 x 좌표의 B 픽셀 데이터 값을 나타낸다. t(x)는 전달 계수이고, JR(x), JG(x), JB(x)는 각각 IR(x), IG(x), IB(x)에서 연무를 제거한 R, G 및 B 픽셀 데이터 값들을 나타낸다. AR는 RGB 영상(IMG_RGB) 전체의 R 픽셀 데이터들로부터 추출한 대기 상수를 지칭하고, AG는 RGB 영상(IMG_RGB) 전체의 G 픽셀 데이터들로부터 추출한 대기 상수를 지칭하고, AG는 RGB 영상(IMG_RGB) 전체의 G 픽셀 데이터들로부터 추출한 대기 상수를 지칭한다.
전달 계수(t(x))는 좁은 영역인 제K RGB 패치(Ωk) 내에서는 상수(t)라 가정될 수 있고, [수학식 4]는 [수학식 5]로 나타내어질 수 있다. Nk는 제K RGB 패치(Ωk)가 포함하는 픽셀의 개수를 지칭한다.
Figure 112015100022128-pat00005
[수학식 5]는 제K RGB 패치(Ωk) 내 픽셀 데이터들의 평균에 대한 식이므로 [수학식 6]으로 간략화 할 수 있다.
Figure 112015100022128-pat00006
[수학식 7]에 따라 [수학식 4]와 [수학식 6]의 차이를 통해 제K RGB 패치(Ωk) 내 x 좌표의 픽셀 데이터의 고주파 성분()을 구할 수 있다. [수학식 7]을 간단히 나타내면 [수학식 8]과 같이 나타낼 수 있다.
Figure 112015100022128-pat00007
Figure 112015100022128-pat00008
제K RGB 패치(Ωk) 내 x 좌표의 픽셀 데이터의 고주파 성분(ΔIk c(x))은 전달 계수(t)와 비례 관계에 있다. 전달 계수(t(x))는 [수학식 9]에 따라 산란 계수(β) 및 피사체와 영상 촬영 장치 간의 거리(d(x))의 함수로 나타낼 수 있다.
Figure 112015100022128-pat00009
여기서 산란 계수(β)는 레일리 법칙에 의해 파장(λ)과 입자 크기 파라메터(γ)로서 [수학식 10]과 같이 모델링될 수 있다.
Figure 112015100022128-pat00010
[수학식 8] 내지 [수학식 10]을 참조하면, 연무가 있는 경우, 파장(λ)이 작아질수록 제K RGB 패치(Ωk) 내 x 좌표의 픽셀 데이터의 고주파 성분(ΔIk c(x))은 감소한다. (도 7 참조) 다시 말하면, 연무가 있는 경우, 제K NIR 패치 내 x 좌표의 픽셀 데이터의 고주파 성분(ΔIk n(x))보다 제K RGB 패치(Ωk) 내 x 좌표의 R 픽셀 데이터의 고주파 성분(ΔIk R(x))이 작아지고, 제K RGB 패치(Ωk) 내 x 좌표의 R 픽셀 데이터의 고주파 성분(ΔIk R(x))보다 제K RGB 패치(Ωk) 내 x 좌표의 G 픽셀 데이터의 고주파 성분(ΔIk G(x))이 작아지고, 제K RGB 패치(Ωk) 내 x 좌표의 G 픽셀 데이터의 고주파 성분(ΔIk G(x))보다 제K RGB 패치(Ωk) 내 x 좌표의 B 픽셀 데이터의 고주파 성분(ΔIk B(x))이 작아지게 된다. 따라서, 제K NIR 패치의 고주파 성분과 제K RGB 패치의 고주파 성분을 비교하여 RGB 영상(IMG_RGB) 내에 연무의 정도를 판단할 수 있다.
제K RGB 패치(Ωk)는 제K R 패치, 제K G 패치 및 제K B 패치를 포함할 수 있다. 제K 패치 유사도는 제K R 패치 유사도, 제K G 패치 유사도 및 제K B 패치 유사도를 포함할 수 있다.
상기 제K R 패치 유사도는 상기 제K NIR 패치의 고주파 성분과 상기 제K R 패치의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 제K G 패치 유사도는 상기 제K NIR 패치의 고주파 성분과 상기 제K G 패치의 고주파 성분이 유사한 정도를 나타낼 수 있다. 상기 제K B 패치 유사도는 상기 제K NIR 패치의 고주파 성분과 상기 제K B 패치의 고주파 성분이 유사한 정도를 나타낼 수 있다.
도 6을 참조하면, 제K R 패치 유사도(H(hk I,n ,hk I,R)), 제K G 패치 유사도(H(hk I,n ,hk I,G)) 및 제K B 패치 유사도(H(hk I,n ,hk I,B))를 포함하는 제K 패치 유사도(H(hk I,n ,hk I,c))는 다음과 [수학식 11]과 같이 나타낼 수 있다.
Figure 112015100022128-pat00011
히스토그램이 M개의 구간을 가지는 경우(도 6 및 7의 경우 M=20), hk,m I,n은 제K NIR 패치의 고주파 성분(NIR HFC)의 히스토그램 중 m 번째 구간의 확률을 의미하고, hk,m I,R은 제K RGB 패치에 포함되는 제K R 패치의 고주파 성분(R HFC)의 히스토그램 중 m 번째 구간의 확률을 의미하고, hk,m I,G은 제K RGB 패치에 포함되는 제K G 패치의 고주파 성분(G HFC)의 히스토그램 중 m 번째 구간의 확률을 의미하고, hk,m I,B은 제K RGB 패치에 포함되는 제K B 패치의 고주파 성분(B HFC)의 히스토그램 중 m 번째 구간의 확률을 의미한다. 각 히스토그램들 내에서
Figure 112015100022128-pat00012
을 만족한다.
제K R 패치 유사도는 제K NIR 패치의 고주파 성분(NIR HFC)의 히스토그램과 제K R 패치의 고주파 성분(R HFC)의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 제K G 패치 유사도는 제K NIR 패치(NIR HFC)의 고주파 성분의 히스토그램과 제K G 패치의 고주파 성분(G HFC)의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다. 제K B 패치 유사도는 제K NIR 패치(NIR HFC)의 고주파 성분의 히스토그램과 제K B 패치의 고주파 성분(B HFC)의 히스토그램이 겹치는 영역의 넓이에 상응할 수 있다.
Figure 112015100022128-pat00013
[수학식 12]에 따라, 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 이상인 제1 경우에(
Figure 112015100022128-pat00014
), 가중치 생성부(120)는 1에서 제K 패치 유사도(H(hk I,n ,hk I,c))를 뺀 값을 제K 패치 혼합 가중치(Wk c)로서 출력할 수 있다. 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 미만인 제2 경우에, 가중치 생성부(120)는 0을 상기 제K 패치 혼합 가중치(Wk c)로서 출력할 수 있다.
세부층 영상 혼합부(130)는 [수학식 13]에 따라 상기 제K 패치 혼합 가중치(Wk c)에 기초하여 제K NIR 세부층 패치를 제K RGB 세부층 패치에 혼합하여 제K 혼합 RGB 세부층 패치를 생성할 수 있다.
Figure 112015100022128-pat00015
Id,k R,md(x)는 제K 혼합 RGB 세부층 패치 내 x 좌표의 R 픽셀 데이터 값, Id,k G,md(x)는 제K 혼합 RGB 세부층 패치 내 x 좌표의 G 픽셀 데이터 값, Id,k B,md(x)는 제K 혼합 RGB 세부층 패치 내 x 좌표의 B 픽셀 데이터 값을 지칭한다. Id,k n(x)는 제K NIR 세부층 패치 내 x 좌표의 픽셀 데이터 값을 지칭한다. Id,k R(x)는 제K RGB 세부층 패치 내 x 좌표의 R 픽셀 데이터 값, Id,k G(x)는 제K RGB 세부층 패치 내 x 좌표의 G 픽셀 데이터 값, Id,k B(x)는 제K RGB 세부층 패치 내 x 좌표의 B 픽셀 데이터 값을 지칭한다.
도 6은 RGB 영상(IMG_RGB)이 연무를 거의 포함하지 않는 상태를 나타내는 제2 경우에 해당하여, 제K 패치 유사도(H(hk I,n ,hk I,c))는 R, G 및 B의 경우 모두 1의 값을 가진다. 제K 패치 혼합 가중치(Wk c)에 포함되는 제K R 패치 혼합 가중치(Wk R), 제K G 패치 혼합 가중치(Wk G) 및 제K B 패치 혼합 가중치(Wk B)는 0의 값을 가진다. 연무가 거의 없는 상태이므로, 세부층 영상 혼합부(130)는 제K NIR 세부층 패치를 제K 혼합 RGB 세부층 패치로서 출력할 수 있다.
도 7은 히스토그램들의 윤곽선만을 나타낸 도면이다. 도 7은 RGB 영상(IMG_RGB)이 포함하는 연무의 양이 큰 상태를 나타내며 제1 경우에 해당한다. 고주파 성분들이 훼손되어 도 6의 히스토그램보다 0에 몰려있는 것을 알 수 있다. 이 경우, 세부층 영상 혼합부(130)는 상기 제K 패치 혼합 가중치(Wk c)에 기초하여 연무에 의해 감쇄가 적은 제K NIR 세부층 패치를 제K RGB 세부층 패치에 혼합하여 제K 혼합 RGB 세부층 패치를 생성할 수 있다.
다른 실시예에 있어서, 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 이상인 경우(
Figure 112015100022128-pat00016
), 가중치 생성부(120)는 1에서 상기 제K 패치 유사도(H(hk I,n ,hk I,c))를 뺀 값을 제K 임시 가중치로서 출력할 수 있다. 상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 미만인 경우, 가중치 생성부(120)는 0을 상기 제K 임시 가중치로서 출력할 수 있다.
가중치 생성부(120)는 상기 제1 내지 제N 혼합 RGB 세부층 패치들 간의 경계가 상기 제1 내지 제N RGB 패치들 간의 경계와 유사해지도록 상기 제K 임시 가중치를 보상하여 제K 패치 혼합 가중치(Wk c)를 생성할 수 있다.
일 실시예에 있어서, 가중치 생성부(120)는 가이디드 필터링(Guided filtering), 조인트 바이래터럴 필터링(Joint bilateral filtering) 또는 라플라시안 매트릭스(Laplacian matrix)를 통해 상기 제1 내지 제N 혼합 RGB 세부층 패치들 간의 경계가 상기 제1 내지 제N RGB 패치들 간의 경계와 유사해지도록 상기 제K 임시 가중치를 보상할 수 있다.
덧셈부(150)는 상기 제K 혼합 RGB 세부층 패치와 상기 제K 보상된 RGB 기저층 패치를 더하여 상기 제K 출력 RGB 패치를 생성할 수 있다.
도 8은 도 1의 영상 연무 제거 장치에 의한 연무 제거 효과를 나타내는 도면이다.
도 8을 참조하면, 영상 연무 제거 장치(100)는 RGB 영상(IMG_RGB)으로서 입력 받은 입력 이미지(Input)에서 연무를 제거하고 윤곽을 보정한 출력 이미지(Ours)를 출력 RGB 영상(IMG_RGB_OUT)으로서 출력하였다. B 영상(B of input)에서 연무에 의한 훼손이 가장 심하였으나, 영상 연무 제거 장치(100)가 이를 복원하여 화질이 개선된 출력 B 영상(B of ours)을 생성하였다.
도 9는 본 발명의 다른 실시예에 따른 영상 연무 제거 장치를 나타내는 블록도이다.
도 9를 참조하면, 영상 연무 제거 장치(200)는 영상 분리부(IMAGE DECOMPOSER; 210), 가중치 생성부(WEIGHT GENERATOR; 220), 세부층 영상 혼합부(DETAIL LAYER MIXER; 230), 기저층 영상 연무 제거부(BASE LAYER DEHAZER; 240) 및 덧셈부(250)를 포함한다.
영상 분리부(210)는 RGB 영상(IMG_RGB)을 RGB 세부층(Detail layer) 영상(IMG_RGB_DETAIL) 및 RGB 기저층(Base layer) 영상(IMG_RGB_BASE)으로 분리한다. 가중치 생성부(220)는 RGB 영상(IMG_RGB)에 포함되는 R 영상의 고주파 성분과 RGB 영상(IMG_RGB)에 포함되는 GB 영상의 고주파 성분 간의 유사도에 기초하여 혼합 가중치(WEIGHT_MIX)를 생성한다. 세부층 영상 혼합부(230)는 혼합 가중치(WEIGHT_MIX)에 기초하여 RGB 세부층 영상(IMG_RGB_DETAIL)에 포함된 R 세부층 영상을 RGB 세부층 영상(IMG_RGB_DETAIL)에 포함된 GB 세부층 영상에 혼합하여 혼합 RGB 세부층 영상(MD_RGB_DETAIL)을 생성할 수 있다. 기저층 영상 연무 제거부(240)는 RGB 기저층 영상(IMG_RGB_BASE)에서 연무(Haze)를 제거하여 보상된 RGB 기저층 영상(CPD_RGB_BASE)을 생성할 수 있다. 덧셈부(250)는 혼합 RGB 세부층 영상(MD_RGB_DETAIL)과 보상된 RGB 기저층 영상(CPD_RGB_BASE)을 합하여 출력 RGB 영상(IMG_RGB_OUT)을 생성할 수 있다.
일 실시예에 있어서, RGB 영상(IMG_RGB)이 포함하는 연무의 양이 증가할수록, 상기 유사도는 감소하고 세부층 영상 혼합부(230)가 상기 GB 세부층 영상에 상기 R 세부층 영상을 혼합하는 비율인 혼합 가중치(WEIGHT_MIX)는 증가할 수 있다. RGB 영상(IMG_RGB)이 포함하는 연무의 양이 감소할수록, 상기 유사도는 증가하고 혼합 가중치(WEIGHT_MIX)는 감소할 수 있다.
도 9의 영상 연무 제거 장치(200)는, 도 1의 영상 연무 제거 장치(100)에서 연무에 의해 가장 훼손이 적은 NIR 영상의 세부층을 기준으로 RGB 영상의 세부층을 복원한 것과 같은 맥락으로, RGB 영상(IMG_RGB)에서 연무에 의해 가장 훼손이 적은 R 영상의 세부층을 기준으로 GB 영상의 세부층을 복원할 수 있다. 영상 연무 제거 장치(200)의 구조 및 동작은 도 1 내지 7을 참조하여 이해할 수 있으므로 자세한 설명은 생략한다.
도 10은 본 발명의 일 실시예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 10을 참조하면, 컴퓨팅 시스템(300)은 이미지 센서(310), 프로세서(320) 및 저장 장치(STORAGE DEVICE)(330)를 포함한다.
이미지 센서(310)는 입사광에 상응하는 디지털 신호를 생성한다. 저장 장치(330)는 상기 디지털 신호를 저장한다. 프로세서(320)는 이미지 센서(310) 및 저장 장치(330)의 동작을 제어한다.
컴퓨팅 시스템(300)은 메모리 장치(MEMORY DEVICE)(340), 입출력 장치(350) 및 전원 장치(360)를 더 포함할 수 있다. 또한, 도 10에는 도시되지 않았지만, 컴퓨팅 시스템(300)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(320)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라서, 프로세서(320)는 마이크로프로세서 (microprocessor), 중앙 처리 장치(CPU, Central Processing Unit)일 수 있다. 프로세서(320)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(330), 메모리 장치(340) 및 입출력 장치(350)에 연결되어 통신을 수행할 수 있다. 실시예에 따라서, 프로세서(320)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
프로세서(320)는 도 1 및 9의 영상 연무 제거 장치들(100 및 200) 중 적어도 하나를 포함할 수 있다. 일 실시예에 있어서, 프로세서(320)는 이미지 센서(310)에서 전달받은 RGB 영상에서 연무를 제거하여 실제 영상을 복원하고, 복원된 실제 영상을 메모리 장치(340) 또는 저장 장치(330)에 저장할 수 있다.
저장 장치(330)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 및 모든 형태의 비휘발성 메모리 장치 등을 포함할 수 있다.
메모리 장치(340)는 컴퓨팅 시스템(300)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(340)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(350)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(360)는 컴퓨팅 시스템(300)의 동작에 필요한 동작 전압을 공급할 수 있다.
이미지 센서(310)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(320)와 연결되어 통신을 수행할 수 있다.
이미지 센서(310)는 입사광을 감지하여 아날로그 신호를 생성하는 픽셀 어레이 및 제1 동작 모드에서 상기 아날로그 신호에 대해 시그마-델타(sigma-delta) 아날로그-디지털 변환 및 순환(cyclic) 아날로그-디지털 변환을 수행하여 상기 디지털 신호를 생성하고, 제2 동작 모드에서 상기 아날로그 신호에 대해 단일 기울기(single slope) 아날로그-디지털 변환을 수행하여 상기 디지털 신호를 생성하는 아날로그-디지털 변환부를 포함한다.
이미지 센서(310)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 이미지 센서(310)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
실시예에 따라서, 이미지 센서(310)는 프로세서(320)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
한편, 컴퓨팅 시스템(300)은 이미지 센서(310)를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(300)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
도 11은 본 발명의 일 실시예에 따른 컴퓨팅 시스템 인터페이스를 나타내는 블록도이다.
도 11을 참조하면, 컴퓨팅 시스템(400)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치(예를 들어, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등)로 구현될 수 있고, 어플리케이션 프로세서(410), 이미지 센서(440) 및 디스플레이(450) 등을 포함할 수 있다.
어플리케이션 프로세서(410)의 CSI 호스트(412)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(440)의 CSI 장치(441)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(412)는 광 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(441)는 광 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(410)의 DSI 호스트(411)는 디스플레이 시리얼 인터페이스(Display Serial Interface DSI)를 통하여 디스플레이(450)의 DSI 장치(451)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(411)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(451)는 광 디시리얼라이저(DES)를 포함할 수 있다. 어플리케이션 프로세서(410)는 도 1 및 9의 영상 연무 제거 장치들(100 및 200) 중 적어도 하나를 포함할 수 있다. 일 실시예에 있어서, 어플리케이션 프로세서(410)는 이미지 센서(440)에서 전달받은 RGB 영상에서 연무를 제거하여 실제 영상을 복원하고, 복원된 실제 영상을 디램(485) 또는 스토리지(470)에 저장할 수 있다.
또한, 컴퓨팅 시스템(400)은 어플리케이션 프로세서(410)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(460)을 더 포함할 수 있다. 컴퓨팅 시스템(400)의 PHY(413)와 RF 칩(460)의 PHY(461)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(410)는 PHY(461)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(414)를 더 포함할 수 있고, RF 칩(460)은 DigRF MASTER(414)를 통하여 제어되는 DigRF SLAVE(462)를 더 포함할 수 있다.
한편, 컴퓨팅 시스템(400)은 지피에스(Global Positioning System; GPS)(420), 스토리지(470), 마이크(480), 디램(Dynamic Random Access Memory; DRAM)(485) 및 스피커(490)를 포함할 수 있다. 또한, 컴퓨팅 시스템(400)은 초광대역(Ultra WideBand; UWB)(510), 무선랜(Wireless Local Area Network; WLAN)(520) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(530) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(500)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

  1. 근적외선(Near Infra-Red; NIR) 영상에서 NIR 세부층(Detail layer) 영상을 분리하고, RGB 영상을 RGB 세부층 영상 및 RGB 기저층(Base layer) 영상으로 분리하는 영상 분리부;
    상기 NIR 영상의 고주파 성분과 상기 RGB 영상의 고주파 성분 간의 유사도에 기초하여 혼합 가중치를 생성하는 가중치 생성부;
    상기 혼합 가중치에 기초하여 상기 NIR 세부층 영상을 상기 RGB 세부층 영상에 혼합하여 혼합 RGB 세부층 영상을 생성하는 세부층 영상 혼합부;
    상기 RGB 기저층 영상에서 연무(Haze)를 제거하여 보상된 RGB 기저층 영상을 생성하는 기저층 영상 연무 제거부; 및
    상기 혼합 RGB 세부층 영상과 상기 보상된 RGB 기저층 영상을 합하여 출력 RGB 영상을 생성하는 덧셈부를 포함하는 영상 연무 제거 장치.
  2. 제1 항에 있어서,
    상기 영상 분리부는 상기 NIR 영상을 가우시안 필터(Gaussian filter)를 통해 저역 통과 필터링하여 NIR 기저층 영상을 생성하고, 상기 NIR 영상에서 상기 NIR 기저층 영상을 빼서 상기 NIR 세부층 영상을 생성하고,
    상기 영상 분리부는 상기 RGB 영상을 가우시안 필터를 통해 저역 통과 필터링하여 상기 RGB 기저층 영상을 생성하고, 상기 RGB 영상에서 상기 RGB 기저층 영상을 빼서 상기 RGB 세부층 영상을 생성하는 영상 연무 제거 장치.
  3. 제1 항에 있어서,
    상기 RGB 세부층 영상은 상기 RGB 영상의 고주파 특징부인 윤곽을 나타내고, 상기 RGB 기저층 영상은 상기 RGB 영상의 저주파 특징부인 색상을 나타내고,
    상기 NIR 세부층 영상은 상기 NIR 영상의 고주파 특징부인 윤곽을 나타내고,
    상기 RGB 영상이 포함하는 연무의 양이 증가할수록, 상기 유사도는 감소하고 상기 세부층 영상 혼합부가 상기 RGB 세부층 영상에 상기 NIR 세부층 영상을 혼합하는 비율인 상기 혼합 가중치는 증가하고,
    상기 RGB 영상이 포함하는 연무의 양이 감소할수록, 상기 유사도는 증가하고 상기 혼합 가중치는 감소하는 영상 연무 제거 장치.
  4. 제1 항에 있어서,
    상기 RGB 영상은 R 영상, G 영상 및 B 영상을 포함하고,
    상기 유사도는
    상기 NIR 영상의 고주파 성분과 상기 R 영상의 고주파 성분이 유사한 정도를 나타내는 R 유사도;
    상기 NIR 영상의 고주파 성분과 상기 G 영상의 고주파 성분이 유사한 정도를 나타내는 G 유사도; 및
    상기 NIR 영상의 고주파 성분과 상기 B 영상의 고주파 성분이 유사한 정도를 나타내는 B 유사도를 포함하고,
    상기 혼합 가중치는
    상기 R 유사도에 상응하는 R 혼합 가중치;
    상기 G 유사도에 상응하는 G 혼합 가중치; 및
    상기 B 유사도에 상응하는 B 혼합 가중치를 포함하는 영상 연무 제거 장치.
  5. 제4 항에 있어서,
    상기 R 유사도는 상기 NIR 영상의 고주파 성분의 히스토그램과 상기 R 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응하고,
    상기 G 유사도는 상기 NIR 영상의 고주파 성분의 히스토그램과 상기 G 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응하고,
    상기 B 유사도는 상기 NIR 영상의 고주파 성분의 히스토그램과 상기 B 영상의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응하고,
    상기 RGB 영상이 연무를 포함하지 않는 경우, 상기 R, G 및 B 유사도들은 동일하고,
    상기 RGB 영상이 포함하는 연무의 양이 증가하는 경우, 상기 B 유사도, 상기 G 유사도, 상기 R 유사도 순으로 감소 속도가 크고, 상기 B 혼합 가중치, 상기 G 혼합 가중치, 상기 R 혼합 가중치 순으로 증가 속도가 큰 영상 연무 제거 장치.
  6. 제1 항에 있어서,
    상기 NIR 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N NIR 패치들(Patches) (N은 자연수)로 나뉘고,
    상기 RGB 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N RGB 패치들로 나뉘고,
    상기 NIR 세부층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N NIR 세부층 패치들로 나뉘고,
    상기 RGB 세부층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N RGB 세부층 패치들로 나뉘고,
    상기 혼합 RGB 세부층 영상은 각각 복수의 픽셀 데이터들을 포함하는 제1 내지 제N 혼합 RGB 세부층 패치들로 나뉘고,
    상기 혼합 가중치는 제1 내지 제N 패치 혼합 가중치들로 나뉘고,
    상기 유사도는 제1 내지 제N 패치 유사도들로 나뉘고,
    상기 세부층 영상 혼합부는 제K 패치 혼합 가중치(K는 N이하 자연수)에 기초하여 제K NIR 세부층 패치를 제K RGB 세부층 패치에 혼합하여 제K 혼합 RGB 세부층 패치를 생성하는 영상 연무 제거 장치.
  7. 제6 항에 있어서,
    제K RGB 패치는 제K R 패치, 제K G 패치 및 제K B 패치를 포함하고,
    제K 패치 유사도는
    제K NIR 패치의 고주파 성분과 상기 제K R 패치의 고주파 성분이 유사한 정도를 나타내는 제K R 패치 유사도;
    상기 제K NIR 패치의 고주파 성분과 상기 제K G 패치의 고주파 성분이 유사한 정도를 나타내는 제K G 패치 유사도; 및
    상기 제K NIR 패치의 고주파 성분과 상기 제K B 패치의 고주파 성분이 유사한 정도를 나타내는 제K B 패치 유사도를 포함하고,
    상기 제K 패치 혼합 가중치는
    상기 제K R 패치 유사도에 상응하는 제K R 패치 혼합 가중치;
    상기 제K G 패치 유사도에 상응하는 제K G 패치 혼합 가중치; 및
    상기 제K B 패치 유사도에 상응하는 제K B 패치 혼합 가중치를 포함하는 영상 연무 제거 장치.
  8. 제7 항에 있어서,
    상기 제K R 패치 유사도는 상기 제K NIR 패치의 고주파 성분의 히스토그램과 상기 제K R 패치의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응하고,
    상기 제K G 패치 유사도는 상기 제K NIR 패치의 고주파 성분의 히스토그램과 상기 제K G 패치의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응하고,
    상기 제K B 패치 유사도는 상기 제K NIR 패치의 고주파 성분의 히스토그램과 상기 제K B 패치의 고주파 성분의 히스토그램이 겹치는 영역의 넓이에 상응하는 영상 연무 제거 장치.
  9. 제7 항에 있어서,
    상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 이상인 경우, 상기 가중치 생성부는 1에서 상기 제K 패치 유사도를 뺀 값을 상기 제K 패치 혼합 가중치로서 출력하고,
    상기 제K NIR 패치의 고주파 성분의 절대값의 합이 상기 제K RGB 패치의 고주파 성분의 절대값의 합 미만인 경우, 상기 가중치 생성부는 0을 상기 제K 패치 혼합 가중치로서 출력하는 영상 연무 제거 장치.
  10. RGB 영상을 RGB 세부층(Detail layer) 영상 및 RGB 기저층(Base layer) 영상으로 분리하는 영상 분리부;
    상기 RGB 영상에 포함되는 R 영상의 고주파 성분과 상기 RGB 영상에 포함되는 GB 영상의 고주파 성분 간의 유사도에 기초하여 혼합 가중치를 생성하는 가중치 생성부;
    상기 혼합 가중치에 기초하여 상기 RGB 세부층 영상에 포함된 R 세부층 영상을 상기 RGB 세부층 영상에 포함된 GB 세부층 영상에 혼합하여 혼합 RGB 세부층 영상을 생성하는 세부층 영상 혼합부;
    상기 RGB 기저층 영상에서 연무(Haze)를 제거하여 보상된 RGB 기저층 영상을 생성하는 기저층 영상 연무 제거부; 및
    상기 혼합 RGB 세부층 영상과 상기 보상된 RGB 기저층 영상을 합하여 출력 RGB 영상을 생성하는 덧셈부를 포함하는 영상 연무 제거 장치.
KR1020150144451A 2015-10-16 2015-10-16 영상 연무 제거 장치 KR102461144B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150144451A KR102461144B1 (ko) 2015-10-16 2015-10-16 영상 연무 제거 장치
US15/295,724 US10002412B2 (en) 2015-10-16 2016-10-17 Image processing device that removes haze from image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150144451A KR102461144B1 (ko) 2015-10-16 2015-10-16 영상 연무 제거 장치

Publications (2)

Publication Number Publication Date
KR20170044844A KR20170044844A (ko) 2017-04-26
KR102461144B1 true KR102461144B1 (ko) 2022-10-31

Family

ID=58524126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150144451A KR102461144B1 (ko) 2015-10-16 2015-10-16 영상 연무 제거 장치

Country Status (2)

Country Link
US (1) US10002412B2 (ko)
KR (1) KR102461144B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
JP6635799B2 (ja) * 2016-01-20 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107317971A (zh) * 2017-07-27 2017-11-03 广东欧珀移动通信有限公司 图像去雾处理方法、装置、存储介质和移动终端
CN107705263A (zh) * 2017-10-10 2018-02-16 福州图森仪器有限公司 一种基于rgb‑ir传感器的自适应透雾方法和终端
CN108537760B (zh) * 2018-06-07 2021-10-01 南京信息职业技术学院 一种基于大气散射模型的红外图像增强方法
CN109360169B (zh) * 2018-10-24 2021-08-10 西南交通大学 一种单幅图像去雨除雾的信号处理方法
CN109523533B (zh) * 2018-11-14 2021-04-13 北京奇艺世纪科技有限公司 一种图像质量评价方法及装置
CN110211096B (zh) * 2019-04-30 2021-01-05 安徽四创电子股份有限公司 一种雾霾图像的检测方法
CN111161159B (zh) * 2019-12-04 2023-04-18 武汉科技大学 一种基于先验知识与深度学习结合的图像去雾方法和装置
US11164051B2 (en) * 2020-03-10 2021-11-02 GM Cruise Holdings, LLC Image and LiDAR segmentation for LiDAR-camera calibration
CN111784619B (zh) * 2020-07-03 2023-04-28 电子科技大学 一种红外和可见光图像的融合方法
WO2022103423A1 (en) * 2020-11-12 2022-05-19 Innopeak Technology, Inc. Depth-based see-through prevention in image fusion
WO2021184027A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Tuning color image fusion towards original input color with adjustable details
KR20220129837A (ko) * 2021-03-17 2022-09-26 한국전기연구원 영상 강화 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003048A (ja) 2009-06-19 2011-01-06 Casio Computer Co Ltd 画像処理装置、及び画像処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396324B2 (en) 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
KR101518722B1 (ko) * 2008-08-18 2015-05-15 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
GB0914982D0 (en) * 2009-08-27 2009-09-30 Univ East Anglia Methods and apparatus for generating accented image data
TWI423166B (zh) 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
US8542919B2 (en) * 2010-06-22 2013-09-24 SK Hynix Inc. Method and system for correcting lens shading
US8374428B2 (en) * 2010-12-05 2013-02-12 Microsoft Corporation Color balancing for partially overlapping images
JP5488530B2 (ja) 2011-05-23 2014-05-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101292421B1 (ko) * 2011-08-05 2013-08-01 경희대학교 산학협력단 단위 블록별 안개 영상 보상 방법
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
KR101418185B1 (ko) 2012-12-26 2014-07-10 금오공과대학교 산학협력단 디해이징 및 레티넥스 결합을 이용한 시야 개선 영상 처리 시스템 및 방법
KR101445577B1 (ko) 2013-03-11 2014-11-04 주식회사 브이아이티시스템 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
KR101470833B1 (ko) 2013-05-24 2014-12-09 전남대학교산학협력단 전달률 하한치를 이용한 안개영상 개선 장치
KR102104403B1 (ko) 2013-05-28 2020-04-28 한화테크윈 주식회사 단일영상 내의 안개 제거 방법 및 장치
US9383259B2 (en) * 2013-08-29 2016-07-05 Nokia Technologies Oy Method, apparatus and computer program product for sensing of visible spectrum and near infrared spectrum
CN103971337A (zh) 2014-04-29 2014-08-06 杭州电子科技大学 一种利用大气传输特征的红外图像去雾霾方法
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003048A (ja) 2009-06-19 2011-01-06 Casio Computer Co Ltd 画像処理装置、及び画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chen Feng 등, Near-infrared guided color image dehazing, 2013 ICIP.(2013.09.15.)
Lex Schaul 등, Color image dehazing using the near-infrared, 2009 ICIP.(2009.11.07.)

Also Published As

Publication number Publication date
KR20170044844A (ko) 2017-04-26
US20170109870A1 (en) 2017-04-20
US10002412B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
KR102461144B1 (ko) 영상 연무 제거 장치
US11244432B2 (en) Image filtering based on image gradients
US9294688B2 (en) Method of correcting saturated pixel data and method of processing image data using the same
US20080199100A1 (en) Image Processing Method
Di Carlo et al. An area-efficient 2-D convolution implementation on FPGA for space applications
US10127638B2 (en) Image haze removing apparatus and method of removing image haze
JP2017130060A (ja) 画像処理装置、画像処理方法及びプログラム
Shiau et al. A low-cost hardware architecture for illumination adjustment in real-time applications
CN109118436A (zh) 图像色调适配方法及相应的电子设备和存储介质
JP6256703B2 (ja) 画像処理方法、及び画像処理装置
Toet et al. Infrared contrast enhancement through log-power histogram modification
CN107492078B (zh) 一种去除图像中黑噪的方法及计算设备
US9633460B2 (en) Systems and methods for seamless patch matching
Cappetta et al. Hardware accelerator using Gabor filters for image recognition applications
EP3719740B1 (en) Image processing device, image processing method, and image processing program
CN118411305B (zh) 基于去噪与多阶稀疏联合先验的水下图像增强方法及系统
Nnolim FPGA-based multiplier-less log-based hardware architectures for hybrid color image enhancement system
Cappetta et al. Hardware architecture for 2D Gaussian filtering of HD images on resource constrained platforms
Oskarsson Regularizing image intensity transformations using the Wasserstein metric
WO2012101862A1 (ja) エッジ強調方法またはエッジ強調度演算方法
Ngo et al. Design of a systolic-pipelined architecture for real-time enhancement of color video stream based on an illuminance–reflectance model
Gong et al. Nighttime image enhancement applying dark channel prior to raw data from camera
Gu et al. On preprocessing methods for feature-based photo-mosaic underwater
Zhang et al. Design of an efficient flexible architecture for color image enhancement
Bhattacharya et al. Fast on-chip mean filter requiring only integer operations

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151016

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200910

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151016

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220516

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220927

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221026

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221027

End annual number: 3

Start annual number: 1

PG1601 Publication of registration