KR20180075753A - 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 - Google Patents

휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 Download PDF

Info

Publication number
KR20180075753A
KR20180075753A KR1020160179233A KR20160179233A KR20180075753A KR 20180075753 A KR20180075753 A KR 20180075753A KR 1020160179233 A KR1020160179233 A KR 1020160179233A KR 20160179233 A KR20160179233 A KR 20160179233A KR 20180075753 A KR20180075753 A KR 20180075753A
Authority
KR
South Korea
Prior art keywords
image
brightness
luminance
visibility
input
Prior art date
Application number
KR1020160179233A
Other languages
English (en)
Other versions
KR101881883B1 (ko
Inventor
홍성훈
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020160179233A priority Critical patent/KR101881883B1/ko
Publication of KR20180075753A publication Critical patent/KR20180075753A/ko
Application granted granted Critical
Publication of KR101881883B1 publication Critical patent/KR101881883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/003—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H04N5/2351—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 가시성 향상을 위한 영상시스템 및 그 방법에 관한 것으로, 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상의 가시성을 향상시킬 뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 실시간으로 가시성이 향상된 영상을 제공하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 및 그 방법에 관한 것이다.
상술한 바에 의하면, 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 대해 동일한 연산처리를 통해 실시간으로 가시성이 향상된 영상을 제공할 수 있다.

Description

휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 및 그 방법{A visibility Improvement System for foggy/dark image in luminance-color difference signal color coordinate system and method therefor}
본 발명은 영상의 가시성 향상을 위한 영상시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상의 가시성을 향상시킬 뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 실시간으로 가시성이 향상된 영상을 제공하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 및 그 방법에 관한 것이다.
종래, 국내공개특허 제2011-0113390호에 의하면, 입력 영상의 명암값에 대한 화소수의 히스토그램을 산출하고 상기 히스토그램을 이용하여 명암값의 최소값으로부터 화소수의 누적 분포 함수를 산출하는 명암값 누적 분포 산출부; 상기 명암값 누적 분포 함수에서 명암값이 작은쪽으로 사전 설정된 비율만큼의 화소수에 대응되는 명암값을 기저 신호 판단을 위한 임계 레벨로 결정하고 상기 임계 레벨 이하의 명암값을 갖는 화소를 기저 신호 화소로 판단하는 기저신호 판단부; 상기 임계 레벨보다 큰 명암값을 갖는 화소들에 대해, 상기 화소의 명암값의 크기에 반비례하는 기설정된 명암 보상값이 적용되도록 상기 명암 보상값을 생성하는 명암 보상값 생성부; 상기 입력 영상의 평균 명암값과 명암 보상값을 적용하고자 하는 화소의 명암값 레벨에 따라 상기 명암 보상값이 적용되는 이득을 결정하는 명암 이득 생성부; 및 상기 명암 보상값과 상기 이득을 승산하고, 상기 이득이 승산된 명암 보상값을 상기 입력 영상의 명암값에 합산하는 명암값 개선부를 포함한다.
최근 사고예방이나 감지를 위하여 영상 감시시스템이나 차량용 영상 블랙박스 등이 사용되고 있다. 또한 첨단 안전차량의 경우 컴퓨터 비전기술을 이용하여 동영상 카메라에서 획득한 영상으로부터 차선과 전방차량을 검출하여 차선이탈과 차량추돌 경보 등을 제공하는 연구가 진행되고 있다. 영상처리 또는 컴퓨터 비전 응용 시스템의 성능을 향상시키기 위해서는 깨끗한 입력 영상이 필요하다. 특히 객체를 탐지, 추적하거나 영상의 에지 정보를 사용할 때는 입력 영상이 깨끗할수록 좋은 결과를 얻을 수 있다. 하지만 실외 상황에서 촬영된 영상의 경우에는 객체로부터 반사되는 밝기와 색이 공기 중의 입자와 혼합되므로 원래의 선명한 색과 밝기 대비를 제공하지 못한다. 특히 안개나 연기와 같이 공기 중에 큰 입자가 있는 경우 객체의 원래 색과 형태를 정확하게 획득하기 어렵다.
안개가 있는 영상에서 안개를 제거하여 선명한 영상을 추정하는 다양한 방법들이 제시되었는데, 최근에는 단일 영상으로 안개를 제거하는 방법이 연구되고 있다. Tan은 [1]에서 밝기대비를 늘리는 방법을 통해서 안개를 제거하는 방법을 제안하였고, Fattal [2]은 일정 영상 영역 내에서 측정된 반사율은 항상 같은 벡터 방향을 갖는다는 가정을 통하여 영상의 반사율을 측정하여 안개가 제거된 영상을 복원하는 방법을 제안하였으며, He 등[3]은 안개가 없는 깨끗한 영상의 색선명도가 높은 화소는 R, G, B 값 중 한 채널(channel) 값이 매우 작은 값을 가지므로 안개가 없는 칼라 영상의 경우 일정 영역에서 매우 낮은 채널 값을 갖는 화소가 있다는 관측 결과를 이용하여 안개를 제거하는 방법을 제안하였는데, 매우 많은 연산량이 요구되어 실시간 처리가 어렵다.
한편, 야간 영상 개선 관련 기술은 최근에 Dong [4], Zhang [5] 등이 야간 영상을 반전시킨 영상이 안개영상과 유사한 밝기분포를 갖는다는 점을 기반으로 가시성을 향상시키는 방법을 개발하였다. Dong [4] 방식은 카메라로부터 입력된 RGB 영상을 각각 반전시킨 후 He [3]의 de-hazing 알고리즘에 적용하고 다시 반전시켜서 개선된 영상을 얻는다. Zhang [5] 방식은 Dong [4] 방식의 연산량을 줄이기 위하여 YCbCr 영상에서 휘도신호 Y를 Retinex 처리하여 구한 전송률을 이용하여 야간영상의 밝기를 개선하고, 개선된 야간 영상과 green 채널을 이용한 joint-bilateral filter를 적용하여 잡음 제거를 수행한다. 하지만 Retinex 처리로 전송률을 구하는 과정에서 사용되는 파라미터를 입력 영상마다 실험적으로 구하여야 하고, Retinex 처리 과정에 매우 많은 연산량이 요구되므로 실시간 처리가 어려운 문제가 있다.
[1] R.Tan, "Visibility in bad weather from a single image," in Proc CVPR, pp. 1-8, Alaska, USA, June 2008.
[2] R.Fattal, "Single image dehazing," ACM Trans. Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.
[3] K. He, J. Sun, and X.Tang, "Single image haze removal using dark channel prior," in Proc. CVPR, pp. 1956-1963, Miami, USA, June 2009.
[4] Xuan Dong, Guan Wang, Yi Pang, Weixin Li, Jiangtao Wen, Wei Meng, and Yao Lu, "A Fast Efficient Algorithm for Enhancement of Low-Lighting Video," in Proc. ICME, pp.1-6, Barcelona, Spain, July 2011.
[5] Xiangdong Zhang, Peiyi Shen, Lingli Luo, Liang Zhang, Juan Song, "Enhancement and Noise Reduction of Very Low Light Level Images," in Proc. ICPR, pp.2034-2037, Tsukuba, Japan, Nov. 2012.
본 발명의 목적은 전술한 점들을 감안하여 안출된 것으로, 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 대해 동일한 연산처리를 통해 실시간으로 가시성이 향상된 영상으로 변환하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 및 그 방법을 제공함에 있다.
또한 RGB 색좌표계가 아닌 대부분의 멀티미디어시스템에서 사용되는 YCbCr과 같은 휘도/색차신호 색좌표계를 사용하고, RGB 영역에서 처리하는 방식에 비해 휘도신호에 대해서만 주요 연산처리가 수행되므로 연산량이 매우 적어 임베디드 프로세서에서 실시간 처리가 가능하도록 하여 감시시스템, 블랙박스, 디지털 카메라 등 영상을 사용하는 모든 멀티미디어 기기에 적용이 가능한 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 및 그 방법을 제공함에 있다.
휘도신호에 대한 가시성향상 처리뿐만 아니라, 색차신호에 대한 선명도 증가 방법 그리고 가시성 향상 처리된 영상의 밝기를 원영상의 밝기를 기준으로 적절히 조정하여 보다 가시성을 향상시키는 밝기변환 방법을 제시하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 및 그 방법을 제공함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 입력 영상의 입력 휘도(YIN)를 선택적으로 반전시키는 제1 선택적 휘도신호 반전 처리부(101_1); 상기 제1 선택적 반전 처리된 휘도신호를 이용하여 전달률을 구하는 전달률 계산부(102); 상기 전달률을 이용하여 휘도영상을 복원하는 복원영상 계산부(103); 상기 복원 휘도영상을 선택적으로 반전 처리하여 가시성이 향상된 휘도영상을 출력하는 제2 선택적 휘도신호 반전 처리부(101_2); 입력영상의 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 밝기 변환부(104); 및 상기 전달률 계산부(102)의 출력 전달률을 이용하여 색차신호를 증폭하는 색차신호 증폭부(105);를 포함할 수 있다.
바람직하게 전달률 계산부(102)는 입력 휘도영상에 대해 대기밝기값(atmospheric brightness)을 구하는 대기 밝기 계산부(201); 화수단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 전달률 하한치 계산부(202); 전달률 하한치를 P제곱승한 초기 전달률을 구하는 멱승 계산부(203); 및 초기 전달률을 평탕화(smoothing)하여 최종 전달률을 구하는 저역통과필터(204);를 포함할 수 있다.
또한 바람직하게 밝기 변환부(104)는 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적 밝기분포를 구하고, 어두운 밝기를 갖는 화소수에 대한 임계치 TH에 대응하는 밝기값을 구하여 휘도영상 J의 밝기를 변화시킬 수 있다.
그리고 바람직하게 색차신호 증폭부(105)는 상기 입력 색차신호의 화소에 대해 전달률 계산부의 출력 전달률에 따라 증폭 처리하여 선명도가 개선된 색차신호를 출력할 수 있다.
한편, 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법은 (a) 상기 영상시스템이 입력 영상의 입력 휘도(YIN)를 선택적으로 반전시키는 단계; (b) 상기 영상시스템이 상기 제(a)단계의 휘도신호를 이용하여 전달률을 구하는 단계; (c) 상기 영상시스템이 상기 전달률을 이용하여 휘도영상을 복원하는 단계; (d) 상기 영상시스템이 상기 복원 휘도영상을 선택적으로 반전처리하여 가시성이 향상된 휘도영상을 출력하는 단계; (e) 상기 영상시스템이 입력영상의 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 단계; 및 (f) 상기 영상시스템이 상기 제(b)단계의 출력 전달률을 이용하여 색차신호를 증폭하는 단계;를 포함할 수 있다.
또한 바람직하게 제 (b) 단계는 (b-1) 상기 영상시스템이 입력 휘도영상에 대해 대기밝기값(atmospheric brightness)을 구하는 단계; (b-2) 상기 영상시스템이 화수단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 단계; (b-3) 상기 영상시스템이 전달률 하한치를 P제곱승한 초기 전달률을 구하는 단계; 및 (b-4) 상기 영상시스템이 초기 전달률을 평탕화(smoothing)하여 최종 전달률을 구하는 단계;를 포함할 수 있다.
또한 바람직하게 제 (e) 단계는 상기 영상시스템이 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적 밝기분포를 구하고, 어두운 밝기를 갖는 화소수에 대한 임계치 TH에 대응하는 밝기값을 구하여 휘도영상 J의 밝기를 변화시킬 수 있다.
그리고 바람직하게 제 (f) 단계는 상기 영상시스템이 입력 색차신호의 화소에 대해 전달률 계산부의 출력 전달률에 따라 증폭 처리하여 선명도가 개선된 색차신호를 출력하는 단계인 것을 특징으로 한다.
상술한 바에 의하면, 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 대해 동일한 연산처리를 통해 실시간으로 가시성이 향상된 영상을 제공할 수 있다.
또한 본 발명에서는 RGB 색좌표계가 아닌 대부분의 멀티미디어시스템에서 사용되는 YCbCr과 같은 휘도/색차신호 색좌표계를 사용하고, RGB 영역에서 처리하는 방식에 비해 휘도신호에 대해서만 주요 연산처리가 수행되므로 연산량이 매우 적어 임베디드 프로세서에서 실시간 처리가 가능하도록 하여 감시시스템, 블랙박스, 디지털 카메라 등 영상을 사용하는 모든 멀티미디어 기기에 적용할 수 있다.
또한 색차신호에 대한 선명도를 증가시켜 선명한 칼라를 제공하고, 안개제거 처리된 영상이 어두워지는 문제를 출력 영상의 밝기를 원영상의 밝기를 기준으로 밝기변환하여 보다 가시성이 향상된 영상을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 전달률 계산을 설명하기 위한 예시도이다.
도 3은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 밝기 변환부의 처리를 설명하기 위한 예시도이다.
도 4는 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 가시성 향상을 안개 영상에 적용한 결과를 나타낸 예시도이다.
도 5는 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 가시성 향상을 야간 영상에 적용한 결과를 나타낸 예시도이다.
도 6은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법의 전체 흐름도이다.
도 7은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법에서 전달률을 구하는 단계를 나타낸 상세흐름도이다.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
본 발명의 일실시예에서 제시하는 안개, 연기, 황사가 포함된 영상뿐만 아니라 저조도 영상을 동시에 가시성향상 처리를 하기 위해 입력 영상의 밝기 정도에 따라 ON/OFF하는 제어신호를 사용한다. 이때, 입력 영상이 밝은 경우 제어신호가 OFF되어 입력 휘도신호에 대해 안개제거 처리를 수행하여 가시성이 향상된 휘도영상을 출력한다.
한편, 입력영상이 어두운 경우 제어신호가 ON되어 입력 휘도신호를 반전시킨 후 안개제거 처리를 수행한 결과 영상을 다시 반전시켜 저조도 영상에 대해 가시성이 향상된 영상을 제공한다.
또한 본 발명에서는 휘도와 색차신호를 입력받아 입력 휘도신호 또는 반전된 휘도신호에 대해서 안개제거 처리를 수행한다. 본 발명에서 사용하는 안개제거 방법은 전달률의 하한치를 구하고 멱승연산과 저역통과필터 처리를 통해 각 휘도화소에 대한 전달률을 구하고, 구해진 전달률을 이용하여 가시성이 향상된 영상을 복원하는 저연산 방법을 사용한다. 한편 색차신호에 대해서는 입력 색차신호를 휘도신호 처리과정에서 구한 전달률로 증폭하여 선명한 색신호를 얻는다.
한편 입력영상이 밝은 경우 안개제거 처리를 수행하면 전체적으로 밝기 값이 어두워지는 문제를 입력 휘도신호와 출력 휘도신호의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 해결한다.
본 발명은 안개/연기가 낀 영상에 대해 안개/연기성분을 제거하고, 조도가 낮은 야간 또는 어두운 실내 영상에 대해서는 밝기를 높여 선명한 영상을 제공하는 방법에 대한 것이다. 제안방식은 입력 휘도신호로부터 가시성 정도를 나타내는 전달률을 구하고, 전달률에 따라 휘도와 색차신호의 밝기변환을 수행한 후, 사람의 시각특성을 고려한 후처리를 수행한다. 제안방식은 모든 멀티미디어 시스템에서 사용하는 휘도/색차신호 칼라좌표 영역에서 연산이 수행되므로 색좌표 변환이 필요없고, RGB 영역에서 처리하는 방식에 비해 연산량이 매우 적어 임베디드 프로세서에서 실시간 처리가 가능하므로 감시시스템, 블랙박스, 디지털 카메라 등 영상을 사용하는 모든 멀티미디어 기기에 적용이 가능하다.
이하, 첨부 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 나타낸 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템은 입력 영상이 어두운 경우에 입력 휘도(YIN)를 선택적으로 반전시키는 '제1 선택적 휘도신호 반전 처리부(101_1)', 선택적 반전 처리된 휘도신호를 이용하여 전달률을 구하는 '전달률 계산부 (102)', 전달률을 이용하여 휘도영상을 복원하는 '복원영상 계산부 (103)', 복원 휘도영상을 선택적으로 반전 처리하여 가시성이 향상된 휘도영상을 출력하는 '제2 선택적 휘도신호 반전 처리부(101_2)', 입력영상이 밝은 경우 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 '밝기 변환부 (104)', '전달률 계산부 (102)'의 출력 전달률을 이용하여 색차신호를 증폭함으로써 선명한 색을 제공하는 '색차신호 증폭부 (105)'로 구성된다.
여기서, 제1 선택적 휘도신호 반전 처리부(101_1) 구성은 기설정되는 임의의 일정 설정밝기정도 이하로 해당하는 어두운 경우, 입력 영상의 입력 휘도를 선택적으로 반전시키는 구성이다.
밝기 변환부(104) 구성은 입력 영상의 일정밝기정도 이상에 해당하는 밝은 경우에 입력영상의 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 구성이다.
도 2는 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 전달률 계산을 설명하기 위한 예시도이다.
도 2에 도시된 바와 같이, 입력 휘도영상에 대해 대기밝기값(atmospheric brightness)을 구하는 '대기 밝기값 계산부(201)', 화소단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 (식 10)에 따라 계산하는 '전달률 하한치 계산부(202)', 전달률 하한치를 P 제곱승한 초기전달률을 구하는 '멱승 계산부(203)', 초기전달률을 평탄화(smoothing)하여 최종 전달률을 구하는 '저역통과필터(204)'로 구성될 수 있다.
도 3은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 밝기 변환부의 처리를 설명하기 위한 예시도이다.
이러한 밝기 변환부의 처리는 입력 휘도영상
Figure pat00001
과 가시성이 향상된 출력 휘도영상 J의 누적밝기분포
Figure pat00002
와
Figure pat00003
를 구하고, 어두운 밝기를 갖는 화소 수에 대한 임계치 TH에 대응하는 밝기값 IJ과 IY를 구하고, (식 12)의 연산을 통해 휘도영상 J의 밝기를 변화시킬 수 있다.
여기서,
Figure pat00004
는 밝기값 i에 대응하는 입력영상
Figure pat00005
의 누적밝기분포이고,
Figure pat00006
는 밝기값 i에 대응하는 가시성향상 처리된 출력영상 J의 누적밝기분포이다.
그리고 색차신호 증폭부는 입력 색차신호 화소
Figure pat00007
,
Figure pat00008
에 대해 (식 13)과 같이 '전달률 계산부(102)'의 출력 전달률 t(x)에 따라 증폭 처리하여 선명도가 개선된 색차신호
Figure pat00009
,
Figure pat00010
을 출력할 수 있다.
본 실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 구체적으로 설명하면 다음과 같다.
우선, 카메라에서 획득된 영상은 대기에 포함된 먼지, 안개 등 불순물에 의해 가시성이 훼손되는데, 카메라에서 획득된 영상은 식 (1)의 모델로 표현된다.
Figure pat00011
여기서 I(x)는 카메라를 통해 획득된 영상의 x번째 화소값이고, J(x)는 원영상, A는 영상내의 화소 중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)이다. t(x)는 전달률(transmission rate)로 (식 2)와 같이 거리에 따라 지수함수적으로 감소한다.
Figure pat00012
여기서
Figure pat00013
는 공기의 산란계수(scattering coefficient)이고, d(x)는 x번째 화소에 대응하는 공간상의 점과 카메라 사이의 거리이다. 산란계수
Figure pat00014
값은 대기 중의 입자 크기와 관계가 있는데, 비, 짙은 안개, 황사, 연기 등과 같이 큰 입자의 경우
Figure pat00015
는 1에 근접하고, 맑은 날씨가 맑을수록 0에 가까워진다. 따라서 산란계수
Figure pat00016
가 일정한 경우 하늘과 같이 거리가 먼 곳은 전달률이 0에 가깝게 되어 (식 1)에서
Figure pat00017
가 되고, 매우 가까운 곳의 화소는 전달률이 1에 근접하므로
Figure pat00018
이 된다.
안개제거는 카메라로부터 획득한 입력영상 I(x)로부터 A와 t(x)을 구하고, 이를 이용하여 최종적으로 안개가 제거된 J(x)을 복원하는 것이다. (식 1)로부터 전달률과 복원값은 각각 (식 3)과 (식 4)로 구할 수 있다.
Figure pat00019
Figure pat00020
한편 안개가 제거된 영상 J(x)는
Figure pat00021
을 만족해야하므로 (식 4)로부터 전달률 t(x)의 범위는 (식 5)와 같이 결정된다.
Figure pat00022
(식 5)에서 전달률 하한치(lower bound of transmission rate)
Figure pat00023
는 짙은 안개로 인해 객체가 보이지 않거나 원래 객체의 밝기(radiance)가 없는 경우의 전달률을 의미한다.
만일 기상 상태가 다른(산란계수
Figure pat00024
가 다른) 두 개의 상황에서 동일한 장면(카메라와 공간상의 점의 거리가 같음)을 촬영한 경우 카메라를 통해 촬영된 영상들은 각각 (식 6)으로 나타낼 수 있다.
Figure pat00025
또한 (식 2)로부터 두 상황에 대한 전달률간의 상호관계는 (식 7)과 (식 8)로 표현된다.
Figure pat00026
Figure pat00027
결국 두 기상 상황에 대한 산란계수의 비율과 한 상황에서의 전달률을 알면 다른 기상상황에서의 전달률도 계산할 수 있다. 만일 대기의 밝기 값이 같고(즉,
Figure pat00028
) 특정 기상상황에서의 전달률이 전달률 하한치
Figure pat00029
와 같다면 (식 8)로부터 특정 기상상황에서의 전달률을 (식 9)와 같이 구할 수 있다.
Figure pat00030
여기서 전달률의 하한값 상황에서의 산란계수는 다른 기상상황에서의 산란계수보다 크기 때문에 산란계수 비율 상수 P는 1보다 작다.
한편 야간영상과 같이 조도가 낮은 어두운 영상을 반전시키면 안개낀 영상과 유사한 밝기 분포를 갖는다. 따라서 반전된 야간영상 역시 식 (1)의 모델로 표현할 수 있고, 반전된 야간영상의 전달률도 식 (9)로 표현할 수 있다. 따라서 안개, 황사. 연기 낀 영상뿐만 아니라 반전된 저조도 영상을 안개영상의 가시성 향상 방법과 동일한 방법을 사용하여 가시성을 향상시킬 수 있다.
본 발명을 도면을 사용하여 보다 상세히 설명하면 다음과 같다. 여기서 입출력 영상의 밝기값은 0 ~ 1로 정규화 되었다고 가정한다.
도 1은 본 발명에서 제안하는 안개/야간 영상의 가시성 향상 방법을 나타낸 블록도이다.
카메라를 통해 촬영된 영상은 휘도와 색차신호 형태로 입력되는데, 입력 휘도(YIN)는 '제1 선택적 휘도신호 반전 처리부(101_1)'에 입력되어 입력 영상이 어두운 경우 제어신호(sel_inv)가 ON되어 반전처리 되거나, 밝은 경우 제어신호(sel_inv)가 OFF되어 입력신호를 그대로 통과시킨다. 여기서 제어신호(sel_inv)의 제어는 조도센서를 이용하거나 입력 휘도신호의 평균밝기를 이용하거나 사용자가 직접 제어할 수 있다. '제1 선택적 휘도신호 반전 처리부(101_1)'의 출력
Figure pat00031
은 제어신호(sel_inv)가 ON인 경우 반전된 입력 휘도신호인 (1-YIN)이고, 제어신호(sel_inv)가 OFF인 경우 입력신호인 YIN이다.
Figure pat00032
은 '전달률 계산부 (102)'에 입력되어 전달률 t(x)을 계산하는데, 도 2를 이용하여 상세히 설명하면 다음과 같다. 대기 밝기값 계산(201) 과정은 '선택적 휘도신호 반전 처리부(101_1)'의 출력
Figure pat00033
의 영상의 화소들 중 일정 임계값보다 밝은 화소들을 평균하여 구한다. 전달률 하한치 계산(202) 과정은 입력 화소(
Figure pat00034
)와 '대기 밝기값 계산부(201)'의 출력 A를 입력받아 (식 10)을 수행한다.
Figure pat00035
멱승 계산부(203) 과정에서는 전달률 하한치
Figure pat00036
를 P 제곱승한
Figure pat00037
을 출력하는데, P의 범위는 (식 9)에서와 같이
Figure pat00038
으로 사용자에 의해 사전에 선택되는데, P가 0에 가까울수록 가시성향상이 약해지고, 1에 가까울수록 가시성 향상이 강화된다. 멱승 계산부(203)의 출력
Figure pat00039
에는 물체 고유의 반사성분이 포함되어 있어 대기 중의 불순물 제거 효과가 감소한다. 반사성분에 의한 전달률은 고주파성분에 해당되므로 저역통과필터 처리를 통해 제거할 수 있다. 하지만 저역통과필터 처리에 의해 구한 전달률을 바로 사용할 경우 밝기변화가 큰 에지(edge) 근처에서 후광효과(halo effect)가 발생한다. 따라서 저역통과필터(204)는 에지 보존형 저역통과필터를 사용하는 것이 보다 좋은 가시성 향상 성능을 갖을 수 있다.
'복원영상 계산부 (103)'에서는 '선택적 휘도신호 반전 처리부(101_1)'의 출력
Figure pat00040
과 전달률 계산부 (102)'에서 계산된 전달률 t(x)와 대기 밝기값 A를 입력받아 (식 11)의 연산을 수행하여 가시성이 향상된 영상을 출력한다.
Figure pat00041
여기서 t0는 분모항이 0에 근접하는 것을 방지하기 위한 상수로 0.1정도의 값을 사용한다.
'제2 선택적 휘도신호 반전 처리부(101_2)'에서는 제어신호 sel_inv가 ON인 경우 (식 11)에 의해 복원된 휘도영상
Figure pat00042
은 반전 처리하여 가시성이 향상된 출력 휘도영상 J를 출력한다.
한편 출력 휘도영상 J는 입력 휘도영상
Figure pat00043
에 비해 가시성이 향상된다. 하지만 입력영상이 안개영상인 경우(제어신호 sel_inv가 OFF인 경우) J는
Figure pat00044
에 비해 어두워지는데, 영상이 어두워지는 것은 가시성을 나쁘게 하므로 입력영상이 안개영상인 경우 (제어신호 sel_inv가 OFF인 경우) '밝기 변환부 (104)'에서 밝기를 조정한다. 한편 입력영상이 야간영상인 경우(제어신호 sel_inv가 ON인 경우)는
Figure pat00045
에 비해 밝아져서 가시성이 향상되므로 밝기변환 처리를 수행하지 않는다.
본 발명에서는 제어신호 sel_inv가 OFF인 경우 '선택적 휘도신호 반전 처리부(101_2)'의 출력 휘도영상인 J의 어두운 화소들의 밝기값을 이에 대응하는 입력 휘도영상인
Figure pat00046
의 화소들의 밝기값 수준으로 변환하는 구간별 선형변환 방식을 사용하여 밝기를 조정한다. 도 3을 이용하여 상세히 설명하면 다음과 같다.
[도 3]은 '밝기 변환부 (104)'의 처리 방법을 나타낸 것이다. 입력영상이 안개영상인 경우(제어신호 sel_inv가 OFF인 경우) 입력영상
Figure pat00047
의 누적밝기분포
Figure pat00048
와 '선택적 휘도신호 반전 처리부(101_2)'의 출력영상인 J의 누적밝기분포
Figure pat00049
에 대한 전형적인 형태를 주는데, J가
Figure pat00050
에 비해 어둡기 때문에
Figure pat00051
가
Figure pat00052
보다 위에 위치한다. 처리과정은 J와
Figure pat00053
의 누적밝기분포
Figure pat00054
와
Figure pat00055
에서 어두운 밝기를 갖는 화소 수에 대한 임계치 TH에 대응하는 밝기값 IJ과 IY를 구하고, (식 12)의 연산을 통해 휘도영상 J의 화소들 중 IJ보다 어두운 화소의 밝기값을 이에 대응하는 입력 휘도영상
Figure pat00056
의 화소 밝기값에 근접한 밝기 값으로 변환하여 출력한다.
Figure pat00057
한편 '색차신호 증폭부 (105)'에서는 입력 색차신호 화소
Figure pat00058
,
Figure pat00059
에 대해 (식 13)과 같이 '전달률 계산부(102)'의 출력 전달률 t(x)에 따라 증폭 처리하여 선명도가 개선된 색차신호
Figure pat00060
,
Figure pat00061
을 출력한다.
Figure pat00062
여기서 cont는 사용자에 의해 정해지는 상수값이다.
도 4는 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 가시성 향상을 안개 영상에 적용한 결과를 나타낸 예시도이다.
도 4에 도시된 바와 같이, 본 발명에서 제안한 가시성향상 방법을 안개영상에 적용한 결과를 나타낸 것으로 (a)는 입력영상, (b)는 출력 휘도영상으로 밝기변환 처리를 수행하지 않은 J가 적용된 결과이고, (c)는 출력 휘도영상으로 '밝기 변환부(104)'의 출력영상인 YOUT이 적용된 결과이다.
도 5는 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템의 가시성 향상을 야간 영상에 적용한 결과를 나타낸 예시도이다.
도 5에 도시된 바와 같이, 본 발명에서 제안한 가시성향상 방법을 야간영상에 적용한 결과를 나타낸 것으로 (a)는 입력영상, (b)는 가시성이 향상된 출력 영상을 보여준다.
본 발명은 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 대해 실시간으로 가시성이 향상된 선명한 영상을 제공한다.
따라서 고화질 감시시스템, 차량용 영상 블랙박스, 화재 방지시스템 등에 적용할 경우 안개나 연기 등으로 가시성이 감소되는 문제를 해결할 수 있고, 최근에 첨단 안전차량에 적용이 가능하다. 또한 모발폰에서 HD급 영상에 대해 처리가 가능하므로 영상을 다루는 다양한 스마트폰용 앱에 적용할 수 있다. 현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계와 같이 휘도신호와 색차신호를 사용하므로 휘도 정보만으로도 우수한 성능을 발휘하는 제안된 방법은 색좌표계의 변환없이 멀티미디어 시스템에 적용이 용이하다.
참고적으로 용어설명을 하면 다음과 같다.
I(x) : 좌표 x에서 입력화소의 밝기값
J(x) : 좌표 x에서 안개제거 처리된 출력화소의 밝기값
t(x) : 좌표 x에서 전달률 (안개낀 정도를 나타내는 값으로 0은 불투명, 1은 투명)
A : 영상내의 화소 중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)
Figure pat00063
: 좌표 x의 입력화소에 대한 전달률의 하한치
Figure pat00064
: 좌표 x의 신호 a에 대해 p 승 처리
sel_inv :제어신호로 입력영상이 어두운 경우 ON되고, 밝은 경우 OFF된다.
Figure pat00065
: 밝기값 i에 대응하는 입력영상
Figure pat00066
의 누적밝기분포
Figure pat00067
: 밝기값 i에 대응하는 가시성향상 처리된 출력영상 J의 누적밝기분포
Figure pat00068
,
Figure pat00069
: 좌표 x에서 입력 휘도화소 밝기값과 출력 휘도화소 밝기값
Figure pat00070
: 좌표 x에서 입력 색차신호 화소 밝기값
Figure pat00071
: 좌표 x에서 출력 색차신호 화소 밝기값
Figure pat00072
: 좌표 x에서 '선택적 휘도신호 반전 처리부(101_1)'의 출력 휘도 화소 밝기값
한편, 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법을 도 6 및 도 7을 참고로 설명하면 다음과 같다.
도 6은 도 6은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법의 전체 흐름도이다.
도 6에 도시된 바와 같이, (a) 영상시스템이 입력 영상의 입력 휘도(YIN)를 선택적으로 반전시키는 단계; (b) 상기 영상시스템이 상기 제(a)단계의 휘도신호를 이용하여 전달률을 구하는 단계; (c) 상기 영상시스템이 상기 전달률을 이용하여 휘도영상을 복원하는 단계; (d) 상기 영상시스템이 상기 복원 휘도영상을 선택적으로 반전처리하여 가시성이 향상된 휘도영상을 출력하는 단계; (e) 상기 영상시스템이 입력영상의 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 단계; 및 (f) 상기 영상시스템이 상기 제(b)단계의 출력 전달률을 이용하여 색차신호를 증폭하는 단계;를 포함할 수 있다.
도 7은 본 발명의 일실시예에 따른 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법에서 전달률을 구하는 단계를 나타낸 상세흐름도이다.
도 7에 도시된 바와 같이, 제 (b) 단계는 (b-1) 상기 영상시스템이 입력 휘도영상에 대해 대기밝기값(atmospheric brightness)을 구하는 단계; (b-2) 상기 영상시스템이 화수단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 단계; (b-3) 상기 영상시스템이 전달률 하한치를 P제곱승한 초기 전달률을 구하는 단계; 및 (b-4) 상기 영상시스템이 초기 전달률을 평탕화(smoothing)하여 최종 전달률을 구하는 단계;를 포함할 수 있다.
또한 제 (e) 단계는 상기 영상시스템이 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적 밝기분포를 구하고, 어두운 밝기를 갖는 화소수에 대한 임계치 TH에 대응하는 밝기값을 구하여 휘도영상 J의 밝기를 변화시킬 수 있다.
그리고 제 (f) 단계는 상기 영상시스템이 입력 색차신호의 화소에 대해 전달률 계산부의 출력 전달률에 따라 증폭 처리하여 선명도가 개선된 색차신호를 출력하는 단계인 것을 특징으로 한다.
본 발명은 안개, 연기, 황사, 미세먼지 등 공기 중의 불순물로 인해 가시성이 낮아진 영상뿐만 아니라, 야간영상이나 어두운 실내 영상과 같은 저조도 영상을 대한 가시성 향상 방법을 제시한다. 이를 위해서 본 발명에서는 입력 영상의 밝기 정도에 따라 ON/OFF하는 제어신호를 사용하여 입력 영상이 밝은 경우 제어신호가 OFF되어 입력 휘도신호에 대해 안개제거 처리를 수행하여 가시성이 향상된 휘도영상을 출력한다. 한편, 입력영상이 어두운 경우 제어신호가 ON되어 입력 휘도신호를 반전시킨 후 안개제거 처리를 수행한 결과 영상을 다시 반전시켜 저조도 영상에 대해 가시성이 향상된 영상을 제공한다.
본 발명에서는 휘도와 색차신호를 입력받아 입력 휘도신호 또는 반전된 휘도신호에 대해서 안개제거 처리를 수행한다. 본 발명에서 사용하는 안개제거 방법은 전달률의 하한치를 구하고 멱승연산과 저역통과필터 처리를 통해 각 휘도화소에 대한 전달률을 구하고, 구해진 전달률을 이용하여 가시성이 향상된 영상을 복원하는 저연산 방법을 사용한다. 한편 색차신호에 대해서는 입력 색차신호를 휘도신호 처리과정에서 구한 전달률로 증폭하여 선명한 색신호를 얻는다.
한편 입력영상이 밝은 경우 안개제거 처리를 수행하면 전체적으로 밝기 값이 어두워지는 문제를 입력 휘도신호와 출력 휘도신호의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 해결한다.
특히 본 발명에서는 RGB 색좌표계가 아닌 대부분의 멀티미디어시스템에서 사용되는 YCbCr과 같은 휘도/색차신호 색좌표계를 사용하고, RGB 영역에서 처리하는 방식에 비해 휘도신호에 대해서만 주요 연산처리가 수행되므로 연산량이 매우 적어 임베디드 프로세서에서 실시간 처리가 가능하도록 하여 감시시스템, 블랙박스, 디지털 카메라 등 영상을 사용하는 모든 멀티미디어 기기에 적용이 가능한 가시성 향상 방법이다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
101_1 : 제1 선택적 휘도신호 반전 처리부
101_2 : 제2 선택적 휘도신호 반전 처리부
102 : 전달률 계산부
103 : 복원영상 계산부
104 : 밝기 변환부
105 : 전달률 계산 증폭부
201 : 대기 밝기값 계산부
202 : 전달률 하한치 계산부
203 : 멱승 계산부
204 : 저역통과필터

Claims (8)

  1. 입력 영상의 입력 휘도(YIN)를 선택적으로 반전시키는 제1 선택적 휘도신호 반전 처리부(101_1);
    상기 제1 선택적 반전 처리된 휘도신호를 이용하여 전달률을 구하는 전달률 계산부(102);
    상기 전달률을 이용하여 휘도영상을 복원하는 복원영상 계산부(103);
    상기 복원 휘도영상을 선택적으로 반전 처리하여 가시성이 향상된 휘도영상을 출력하는 제2 선택적 휘도신호 반전 처리부(101_2);
    입력영상의 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 밝기 변환부(104); 및
    상기 전달률 계산부(102)의 출력 전달률을 이용하여 색차신호를 증폭하는 색차신호 증폭부(105);를 포함하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템.
  2. 제 1 항에 있어서,
    상기 전달률 계산부(102)는,
    입력 휘도영상에 대해 대기밝기값(atmospheric brightness)을 구하는 대기 밝기 계산부(201);
    화수단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 전달률 하한치 계산부(202);
    전달률 하한치를 P제곱승한 초기 전달률을 구하는 멱승 계산부(203); 및
    초기 전달률을 평탕화(smoothing)하여 최종 전달률을 구하는 저역통과필터(204);를 포함하는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템.
  3. 제 1 항에 있어서,
    상기 밝기 변환부(104)는,
    입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적 밝기분포를 구하고, 어두운 밝기를 갖는 화소수에 대한 임계치 TH에 대응하는 밝기값을 구하여 휘도영상 J의 밝기를 변화시키는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템.
  4. 제 1 항에 있어서,
    상기 색차신호 증폭부(105)는,
    상기 입력 색차신호의 화소에 대해 전달률 계산부의 출력 전달률에 따라 증폭 처리하여 선명도가 개선된 색차신호를 출력하는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템.
  5. 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템을 이용한 방법에 있어서,
    (a) 상기 영상시스템이 입력 영상의 입력 휘도(YIN)를 선택적으로 반전시키는 단계;
    (b) 상기 영상시스템이 상기 제(a)단계의 휘도신호를 이용하여 전달률을 구하는 단계;
    (c) 상기 영상시스템이 상기 전달률을 이용하여 휘도영상을 복원하는 단계;
    (d) 상기 영상시스템이 상기 복원 휘도영상을 선택적으로 반전처리하여 가시성이 향상된 휘도영상을 출력하는 단계;
    (e) 상기 영상시스템이 입력영상의 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적밝기분포에 근거한 구간별 선형변환 방식을 사용하여 밝기가 조정된 휘도신호를 출력하는 단계; 및
    (f) 상기 영상시스템이 상기 제(b)단계의 출력 전달률을 이용하여 색차신호를 증폭하는 단계;를 포함하는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 방법.
  6. 제 5 항에 있어서,
    상기 제 (b) 단계는,
    (b-1) 상기 영상시스템이 입력 휘도영상에 대해 대기밝기값(atmospheric brightness)을 구하는 단계;
    (b-2) 상기 영상시스템이 화수단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 단계;
    (b-3) 상기 영상시스템이 전달률 하한치를 P제곱승한 초기 전달률을 구하는 단계; 및
    (b-4) 상기 영상시스템이 초기 전달률을 평탕화(smoothing)하여 최종 전달률을 구하는 단계;를 포함하는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 방법.
  7. 제 5 항에 있어서,
    상기 제 (e) 단계는,
    상기 영상시스템이 입력 휘도영상과 가시성이 향상된 출력 휘도영상의 누적 밝기분포를 구하고, 어두운 밝기를 갖는 화소수에 대한 임계치 TH에 대응하는 밝기값을 구하여 휘도영상 J의 밝기를 변화시키는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 방법.
  8. 제 5 항에 있어서,
    상기 제 (f) 단계는,
    상기 영상시스템이 입력 색차신호의 화소에 대해 전달률 계산부의 출력 전달률에 따라 증폭 처리하여 선명도가 개선된 색차신호를 출력하는 것을 특징으로 하는 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 방법.
KR1020160179233A 2016-12-26 2016-12-26 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 KR101881883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160179233A KR101881883B1 (ko) 2016-12-26 2016-12-26 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179233A KR101881883B1 (ko) 2016-12-26 2016-12-26 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템

Publications (2)

Publication Number Publication Date
KR20180075753A true KR20180075753A (ko) 2018-07-05
KR101881883B1 KR101881883B1 (ko) 2018-08-27

Family

ID=62920231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179233A KR101881883B1 (ko) 2016-12-26 2016-12-26 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템

Country Status (1)

Country Link
KR (1) KR101881883B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766621A (zh) * 2019-10-09 2020-02-07 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR102277005B1 (ko) * 2020-03-13 2021-07-14 이화여자대학교 산학협력단 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
KR102668932B1 (ko) * 2023-02-03 2024-05-24 순천향대학교 산학협력단 저조도 이미지 대비 향상 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022267A1 (ko) * 2021-08-20 2023-02-23 주식회사 카탈로닉스 야간 조도 데이터 보정 방법 및 활용 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140140163A (ko) * 2013-05-28 2014-12-09 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
KR101535630B1 (ko) * 2014-01-21 2015-07-13 전남대학교산학협력단 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140140163A (ko) * 2013-05-28 2014-12-09 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
KR101535630B1 (ko) * 2014-01-21 2015-07-13 전남대학교산학협력단 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
이재동 외 3명, "영상의 화질을 실시간으로 개선하기 위한 안개 제거 하드웨어의 설계", 한국정보기술학회논문지 12(2), 2014.2, pp.123-133 (2014.02.28.) *
이재동 외 3명, "영상의 화질을 실시간으로 개선하기 위한 안개 제거 하드웨어의 설계", 한국정보기술학회논문지 12(2), 2014.2, pp.123-133 (2014.02.28.) 1부. *
이재동 외 3명, "영상의 화질을 실시간으로 개선하기 위한 안개 제거 하드웨어의 설계", 한국정보기술학회논문지 12(2), 2014.2, pp.123-133 (2014.02.28.)* *
홍성훈 외 1명, "안개제거 방법을 이용한 환경변화에 강인한 실시간 야간 가시성 향상", 멀티미디어학회논문지 제18권 제3호, 2015.03, pp.339-348 (2015.03.31.) *
홍성훈 외 1명, "안개제거 방법을 이용한 환경변화에 강인한 실시간 야간 가시성 향상", 멀티미디어학회논문지 제18권 제3호, 2015.03, pp.339-348 (2015.03.31.) 1부. *
홍성훈 외 1명, "안개제거 방법을 이용한 환경변화에 강인한 실시간 야간 가시성 향상", 멀티미디어학회논문지 제18권 제3호, 2015.03, pp.339-348 (2015.03.31.)* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766621A (zh) * 2019-10-09 2020-02-07 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110766621B (zh) * 2019-10-09 2022-03-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR102277005B1 (ko) * 2020-03-13 2021-07-14 이화여자대학교 산학협력단 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
KR102668932B1 (ko) * 2023-02-03 2024-05-24 순천향대학교 산학협력단 저조도 이미지 대비 향상 방법 및 장치

Also Published As

Publication number Publication date
KR101881883B1 (ko) 2018-08-27

Similar Documents

Publication Publication Date Title
KR101470831B1 (ko) 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
Tao et al. Low-light image enhancement using CNN and bright channel prior
TWI514323B (zh) 基於混合暗通道先驗的影像除霧方法及其系統
Huang et al. Visibility restoration of single hazy images captured in real-world weather conditions
Xu et al. Removing rain and snow in a single image using guided filter
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN103218778B (zh) 一种图像和视频的处理方法及装置
CN102831591B (zh) 一种基于高斯滤波的单幅图像的实时去雾方法
KR101881883B1 (ko) 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
Park et al. Single image haze removal with WLS-based edge-preserving smoothing filter
KR101917094B1 (ko) 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치
Pei et al. Effective image haze removal using dark channel prior and post-processing
Kumari et al. Single image fog removal using gamma transformation and median filtering
John et al. Enhancement of weather degraded video sequences using wavelet fusion
CN106327450A (zh) 一种基于时空累积和图像退化模型的低照度视频图像增强方法
KR101470833B1 (ko) 전달률 하한치를 이용한 안개영상 개선 장치
KR101535630B1 (ko) 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
Negru et al. Exponential image enhancement in daytime fog conditions
Kumari et al. Real time image and video deweathering: The future prospects and possibilities
Lu et al. Single image dehazing based on multiple scattering model
Powar et al. A review: Underwater image enhancement using dark channel prior with gamma correction
Kumar et al. Single image dehazing using improved dark channel prior
Kumari et al. Fast and efficient contrast enhancement for real time video dehazing and defogging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant