KR20210065230A - 영상에서의 안개 제거 방법 및 장치 - Google Patents

영상에서의 안개 제거 방법 및 장치 Download PDF

Info

Publication number
KR20210065230A
KR20210065230A KR1020190153243A KR20190153243A KR20210065230A KR 20210065230 A KR20210065230 A KR 20210065230A KR 1020190153243 A KR1020190153243 A KR 1020190153243A KR 20190153243 A KR20190153243 A KR 20190153243A KR 20210065230 A KR20210065230 A KR 20210065230A
Authority
KR
South Korea
Prior art keywords
image
fog
component
layer image
present
Prior art date
Application number
KR1020190153243A
Other languages
English (en)
Inventor
이정수
이철
트영
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020190153243A priority Critical patent/KR20210065230A/ko
Publication of KR20210065230A publication Critical patent/KR20210065230A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G06T5/005—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

영상의 안개 제거 장치에 구현된 프로세서는 입력 영상을 발광층 영상과 안개층 영상으로 분리하고, 상기 안개층 영상에 존재하는 안개 성분을 제거하여, 안개 성분이 제거된 영상을 생성하며, 상기 안개 성분이 제거된 영상을 이용하여 상기 발광층 영상에 포함된 디테일 성분을 추출한 후, 상기 안개 성분이 제거된 영상에 추출된 상기 디테일 성분을 반영하여 상기 안개 성분이 제거된 최종 영상을 획득한다.

Description

영상에서의 안개 제거 방법 및 장치{METHOD AND APPARATUS FOR REMOVING FOG IN IMAGE}
본 발명은 영상에서의 안개 제거 방법 및 장치에 관한 것으로, 특히 해양 환경하에서 촬영된 영상에 존재하는 안개 성분을 제거하여 영상의 시인성을 향상시키기 위한 영상에서의 안개 제거 방법 및 장치에 관한 것이다.
최근 군사 및 경제적인 요인으로 인하여 해양 환경에서의 자동 감시 시스템의 중요성이 증대되고 있으며, 이를 구현하는 한 방안으로 광학 카메라를 이용한 영상 기반의 자동 감시 시스템에 대한 연구가 활발히 진행되고 있다. 하지만 해상 감시 시스템에서는 다양한 기상 조건 및 관측 시점의 변화와 같은 해상의 특수한 환경으로 인하여 영상 화질의 저하가 발생하며, 이러한 화질의 저하로 인하여 기존의 컴퓨터비전 기술을 그대로 이용하면 컴퓨터비전 기술의 정확도가 저하되는 문제가 발생한다. 예를 들어, 해상에서만 발생하는 화질 저하 요소인 해무(해상에서 끼는 안개) 및 아지랑이 등은 카메라에 입사되는 빛을 산란시키기 때문에 입력 영상의 대조비를 현저히 저하시키는 특성이 있다. 따라서 해양 환경하에서 촬영된 영상을 이용하여 기존의 객체 추적, 인식, 식별 등의 컴퓨터비전 기술을 적용할 경우 영상의 낮은 대조비로 인하여 성능이 저하된다.
해양 환경하에서 컴퓨터비전 기술의 성능이 저하되는 문제를 해결하기 위해서는 해양 환경에 특화된 영상 전처리 기술의 개발이 필요하며, 전 세계적으로 이와 관련된 기초연구가 진행되었다. 예를 들어, 영상의 해무를 제거하기 위해서 정밀한 해무의 발생 모델을 이용하여 기존의 안개 제거 기법을 확장하는 방식으로 해무를 효율적으로 제거할 수 있는 기법에 관한 기술이 개발되었다. 하지만, 기존 기술은 안개 제거 시 영상 내의 구조를 잘 고려하지 못하기 때문에 디테일이 손실되고 색상이 변하는 단점이 있다.
본 발명이 해결하려는 과제는 해양 환경하에서 촬영된 영상의 화질 저하를 개선시킬 수 있는 영상에서의 안개 제거 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 영상에서의 안개 제거 장치에 구현된 프로세서에 의해 수행되는 영상에서의 안개 제거 방법이 제공된다. 영상의 안개 제거 방법은 입력 영상을 발광층 영상과 안개층 영상으로 분리하는 단계, 상기 안개층 영상에 존재하는 안개 성분을 제거하여, 안개 성분이 제거된 영상을 생성하는 단계, 상기 안개 성분이 제거된 영상을 이용하여 상기 발광층 영상에 포함된 디테일 성분을 추출하는 단계, 그리고 상기 안개 성분이 제거된 영상에 추출된 상기 디테일 성분을 반영하여 상기 안개 성분이 제거된 최종 영상을 획득하는 단계를 포함한다.
본 발명의 실시 예에 의하면, 해양 환경에 최적화된 영상 전처리를 수행함으로써, 해상 환경 하에서의 영상 화질을 개선할 수 있고, 이에 따라 컴퓨터비전 기술의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 영상에서의 안개 제거 방법을 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 영상에서의 안개 제거 방법을 설명하는 흐름도이다.
도 3은 해양 환경에서 촬영되는 영상을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 발광층 영상 및 안개층 영상의 특징을 설명하기 위한 일 예를 나타낸 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 영상에서의 안개 제거 장치의 개략적인 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 영상에서의 안개 제거 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 영상에서의 안개 제거 방법을 설명하는 도면이고, 도 2는 본 발명의 실시 예에 따른 영상에서의 안개 제거 방법을 설명하는 흐름도이다.
도 1 및 도 2를 참고하면, 영상에서의 안개 제거 장치(이하, "안개 제거 장치"라 함)는 입력 영상[I(x)]을 밝기 분해 기법을 이용하여 발광층 영상[G(x)]과 안개층 영상[F(x)]으로 분리한다(S210). 입력 영상[I(x)]은 해양 환경에서 촬영된 영상일 수 있으며, 이에 한정되지는 않는다.
안개 제거 장치는 안개층 영상[F(x)]에 존재하는 안개 성분을 제거하여, 안개 성분이 제거된 영상[J(x)]을 생성한다(S220). 안개층 영상[F(x)]에 존재하는 안개 성분은 기존의 안개 제거 기법을 이용하여 제거될 수 있다.
안개 제거 장치는 안개 성분이 제거된 영상[J(x)]을 이용하여 발광층 영상[G(x)]에 포함된 디테일 성분[Gm(x)]을 추출한다(S230). 안개 제거 장치는 안개 성분이 제거된 영상[J(x)]을 이용하여 발광층 영상[G(x)]을 보상하여 디테일 성분[Gm(x)]을 추출할 수 있다.
마지막으로, 안개 제거 장치는 안개 성분이 제거된 영상[J(x)]에 발광층 영상[G(x)]에 포함된 디테일 성분[Gm(x)]을 더해서, 안개 성분이 제거된 최종 영상[Jf(x)]을 획득한다(S240).
아래에서는 본 발명의 실시 예에 따른 영상에서의 안개 제거 방법에 대해 좀 더 구체적으로 설명한다.
도 3은 해양 환경에서 촬영되는 영상을 설명하는 도면이다.
도 3에 도시한 바와 같이, 해양에서 발생하는 화질 저하 요소인 해무 및 아지랑이 등은 카메라에 입사되는 빛을 산란시킨다. 따라서, 해양 환경에서 촬영된 영상은 다중 산란 현상으로 인해서 발광 성분(glow)를 포함하며, 수학식 1과 같이 모델링될 수 있다.
Figure pat00001
여기서, I(x)는 입력 영상을 나타내고, F(x) 및 G(x)는 각각 안개층 영상 및 발광층 영상을 나타내며, N(x)는 영상의 잡음 성분을 나타낸다.
본 발명의 실시 예에서는 입력 영상[I(x)]으로부터 안개층 영상[F(x)] 및 발광층 영상[G(x)]을 각각 추정하기 위해서 안개층 영상[F(x)] 및 발광층 영상[G(x)]이 다음과 같은 특징이 있음을 가정한다.
도 4는 본 발명의 실시 예에 따른 발광층 영상 및 안개층 영상의 특징을 설명하기 위한 일 예를 나타낸 도면이다.
도 4를 참고하면, 안개층 영상[F(x)] 내의 디테일 성분은 입력 영상[I(x)]의 디테일 성분과 유사하다.
발광층 영상[G(x)]은 발광원에서 가장 밝고 발광원으로부터 거리가 멀어짐에 따라 어두워진다. 즉 발광층 영상[G(x)]은 장면의 밝기 및 거리에 의해서만 결정되며, 영상 내 객체와 무관하다. 따라서 발광층 영상[G(x)]은 공간적으로 부드러운 특성을 갖는다.
또한 발광층 영상[G(x)]은 장면의 전체적인 구조를 유지하면서 텍스처 디테일이 제거된다.
안개 제거 장치는 위의 영상 특징 조건을 만족시키는 밝기 분해를 위해서 수학식 2에 도시한 바와 같은 비용함수 E를 계산한다.
Figure pat00002
수학식 2에서, I, F 및 G는 각각 입력 영상, 안개층 영상 및 발광층 영상을 나타낸다. ∇는 1차 미분 연산자를 나타내고, f는 2차 미분 연산 커널을 나타낸다. W는 영상 내 에지 부분을 구분하기 위한 가중치 행렬을 나타내고, 수학식 3과 같이 표현된다. ο는 성분곱(Elementwise multipication)을 나타내고, *는 컨볼루션 연산을 나타내며, Ismooth는 I에 가우시안 필터를 적용한 영상을 나타낸다. N은 영상의 잡음 성분을 나타내고, α, β,
Figure pat00003
는 각각 각 항의 상대적인 중요도를 나타내는 상수이다.
Figure pat00004
여기서, θ는 가중치 행렬 W에서 미분값의 영향력 정도(민감도)를 조정하기 위한 파라미터를 나타낸다.
수학식 2의 비용함수를 이용하여 최적의 밝기 문제는 수학식 4의 최적화 문제로 나타낼 수 있다.
Figure pat00005
여기서, r, g 및 b는 각각 컬러 영상에서의 적색, 녹색 및 파랑색을 나타낸다.
위의 최적화 문제는 변수 분해 기법을 적용하여 풀 수 있다. 즉 중간 변수 q를 도입하고, G를 I-F-N으로 치환하여 수학식 4의 최적화 문제는 수학식 5의 최적화 문제로 변환시킬 수 있다.
Figure pat00006
이러한 최적화 문제는 두 개의 변수를 고정시키고 나머지 하나의 변수를 업데이트하는 방식으로 총 3개의 하위 문제로 나누어 반복적으로 풀 수 있다. 즉 k번째 반복에서 q, F, N은 각각 아래와 같이 업데이트될 수 있다.
먼저, q 문제는 F와 N을 고정하고 q를 업데이트함으로써 풀 수 있다. 그러면, 수학식 5는 수학식 6과 같이 간단하게 표현될 수 있다.
Figure pat00007
수학식 6은 축소(shrink) 연산을 적용하여 수학식 7과 같이 풀 수 있다.
Figure pat00008
축소 연산은 수학식 8과 같이 정의된다.
Figure pat00009
다음, F 문제는 q와 N을 고정하고 F를 업데이트함으로써 풀 수 있다. 그러면, 수학식 5는 수학식 9와 같이 표현될 수 있다.
Figure pat00010
또한 N 문제는 q와 F을 고정하고 N을 업데이트함으로써 풀 수 있다. 그러면, 수학식 5는 수학식 10과 같이 표현될 수 있다.
Figure pat00011
수학식 9 및 수학식 10은 컨볼루션 연산을 포함하고 있기 때문에, 효율적인 계산을 위해서 고속 푸리에 변환(Fast Fourier Transform, FFT) 알고리즘을 이용한다. 구체적으로, 수학식 9 및 수학식 10은 각각 수학식 11 및 수학식 12와 같이 풀 수 있다.
Figure pat00012
Figure pat00013
여기서,
Figure pat00014
와
Figure pat00015
는 정방향 및 역방향 FFT 연산자이며,
Figure pat00016
는 켤레 복소수를 나타낸다.
본 발명의 실시 예에서는 위의 과정을 여러 번 수행하여 최적화 문제를 풀 수 있다. 예를 들면, 위의 과정을 4번 정도 반복 수행하면, q, F 및 N을 최적화할 수 있다.
안개 제거 장치는 위의 밝기 분해를 이용하여 입력 영상에 대한 안개층 영상 F 및 발광층 영상 G를 획득할 수 있다.
안개 제거 장치는 기존의 영상의 안개 제거 기법을 이용하여 안개층 영상 F에서 안개를 제거한 영상 J를 획득한다.
또한 획득한 발광층 영상 G는 실제로 영상의 디테일을 포함하고 있다. 따라서 안개 제거 장치는 안개를 제거한 영상 J를 이용하여 발광층 영상 G에 포함된 디테일을 각 컬러 채널 c에 대해서 수학식 13과 같이 추출한다.
Figure pat00017
마지막으로, 최종적으로 안개가 제거된 최종 영상 Jf는 수학식 14와 같이 얻을 수 있다.
Figure pat00018
이상에서 설명한 본 발명의 실시 예에 따른 영상의 안개 제거 방법 중 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 아래에서는 영상의 안개 제거 방법이 컴퓨터 시스템에 결합된 실시 예에 대해서 도 5를 참고로 하여 상세하게 설명한다.
도 5는 본 발명의 다른 실시 예에 따른 영상에서의 안개 제거 장치의 개략적인 도면으로, 도 1 내지 도 4를 참고하여 설명한 영상의 안개 제거 기능 중 적어도 일부를 수행하는 데 사용할 수 있는 시스템을 나타낸다.
도 5를 참고하면, 영상에서의 안개 제거 장치(500)는 프로세서(510), 메모리(520), 저장 장치(530) 및 입출력(input/output, I/O) 인터페이스(540)를 포함한다.
프로세서(510)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.
메모리(520)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다.
저장 장치(530)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.
I/O 인터페이스(540)는 프로세서(510) 및/또는 메모리(520)가 저장 장치(530)에 접근할 수 있도록 한다.
프로세서(510)는 도 1 내지 도 4에서 설명한 영상의 안개 제거 기능을 수행할 수 있으며, 영상의 안개 제거 기능을 구현하기 위한 프로그램 명령을 메모리(520)에 로드시켜, 도 1 내지 도 4를 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 이러한 프로그램 명령은 저장 장치(530)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (1)

  1. 영상의 안개 제거 장치에 구현된 프로세서에 의해 수행되는 영상의 안개 제거 방법으로서,
    입력 영상을 발광층 영상과 안개층 영상으로 분리하는 단계,
    상기 안개층 영상에 존재하는 안개 성분을 제거하여, 안개 성분이 제거된 영상을 생성하는 단계,
    상기 안개 성분이 제거된 영상을 이용하여 상기 발광층 영상에 포함된 디테일 성분을 추출하는 단계, 그리고
    상기 안개 성분이 제거된 영상에 추출된 상기 디테일 성분을 반영하여 상기 안개 성분이 제거된 최종 영상을 획득하는 단계
    를 포함하는 영상의 안개 제거 방법.
KR1020190153243A 2019-11-26 2019-11-26 영상에서의 안개 제거 방법 및 장치 KR20210065230A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153243A KR20210065230A (ko) 2019-11-26 2019-11-26 영상에서의 안개 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153243A KR20210065230A (ko) 2019-11-26 2019-11-26 영상에서의 안개 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210065230A true KR20210065230A (ko) 2021-06-04

Family

ID=76392034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153243A KR20210065230A (ko) 2019-11-26 2019-11-26 영상에서의 안개 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210065230A (ko)

Similar Documents

Publication Publication Date Title
US11037278B2 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN109791688B (zh) 曝光相关的亮度变换
US8755628B2 (en) Image de-hazing by solving transmission value
JP7178438B2 (ja) 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
CN113168670A (zh) 使用神经网络的亮点去除
KR101319048B1 (ko) 카메라 플래시 완화
KR20210116923A (ko) 디노이징 네트워크의 학습 방법, 및 이미지 처리 방법 및 그 장치 방법
Maniyath et al. RETRACTED ARTICLE: Learning-based approach to underwater image dehazing using CycleGAN
Asha et al. Auto removal of bright spot from images captured against flashing light source
CN112102179B (zh) 一种基于Retinex的深度网络单幅图像去雾方法
Das et al. A comparative study of single image fog removal methods
US8452116B1 (en) Estimating sensor sensitivity
EP0769760B1 (fr) Procédé de détection automatique des zones expertisables dans des images de pièces mécaniques
KR20210065230A (ko) 영상에서의 안개 제거 방법 및 장치
JP5197239B2 (ja) 画像処理装置、画像処理方法及びプログラム
Liu et al. Compounded layer-prior unrolling: A unified transmission-based image enhancement framework
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
Dimiccoli et al. Hierarchical region-based representation for segmentation and filtering with depth in single images
US20080199073A1 (en) Red eye detection in digital images
FR2864298A1 (fr) Procede et systeme de diminution de la surexposition du flash pour ameliorer la qualite d'images numeriques
JP7291389B2 (ja) 対象識別方法、情報処理装置、情報処理プログラム、および照明装置
KR102695217B1 (ko) 저조명도 영상을 개선하는 방법 및 장치
KR102543272B1 (ko) 영역 기반 안개 제거 방법 및 그 장치
KR102075704B1 (ko) 영상의 안개 제거를 위한 시스템 및 방법