KR20230123735A - 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법 - Google Patents
세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230123735A KR20230123735A KR1020220020876A KR20220020876A KR20230123735A KR 20230123735 A KR20230123735 A KR 20230123735A KR 1020220020876 A KR1020220020876 A KR 1020220020876A KR 20220020876 A KR20220020876 A KR 20220020876A KR 20230123735 A KR20230123735 A KR 20230123735A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- depth map
- module
- machine learning
- detail
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000010801 machine learning Methods 0.000 title claims abstract description 36
- 238000012546 transfer Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 7
- 125000001475 halogen functional group Chemical group 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명은 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법에 관한 것으로, 보다 구체적으로는, 단일 영상을 이용한 안개 제거 방법을 통해 기존의 안개제거 방법보다 연산량이 낮고 안개제거 성능도 우수하여 추후 실시간 처리가 가능한 하드웨어 설계가 가능한 알고리즘을 제공하도록 하기 위한 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법에 관한 것이다.
Description
본 발명은 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법에 관한 것으로, 보다 구체적으로는, 단일 영상을 이용한 안개 제거 방법을 통해 기존의 안개제거 방법보다 연산량이 낮고 안개제거 성능도 우수하여 추후 실시간 처리할 수 있는 하드웨어 설계가 가능한 알고리즘을 제공하도록 하기 위한 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법에 관한 것이다.
영상처리 분야에서 안개 제거 방법은 카메라 센서로 입력된 영상에서 안개 성분을 제거하는 방법이다. 이러한 안개 제거 방법은 최신 4차 산업혁명에서 각광받고 있는 자율주행 및 무인자동차, 드론 및 지능형 CCTV 등 비전 기반 플랫폼에 적용할 수 있는 기술이다.
안개제거 기술은 대부분 코쉬미더의 법칙(koschmieder's law)이라는 물리적인 모델을 바탕으로 하며, 이 모델은 하기의 수학식 1과 같이 정의 할 수 있다.
(수학식 1)
여기서 ,y는 픽셀 위치이고 I, J, A, t는 순으로 입력 안개 영상, 결과 영상(안개가 제거된), 대기 강도(atmospheric light), 전달 맵(transmission map)이다. 미리 알고 있는 변수는 I밖에 없어서 J를 복원하려면 A와 t의 추정치가 필요하다. A와 t를 구하기 위해 여러 안개제거 방법이 연구되었고, 특히 t를 구하기 위해서 비특허문헌 1은 supervised learning이라는 기계학습 기술을 이용하여 영상의 깊이(depth) 맵을 추정하였다. 또한, 비특허문헌 2는 안개 전달 맵을 추정하기 위해 Dark Channel Prior(DCP)를 제안하였고, 실내조건에서의 안개 제거 성능은 우수하지만 실외의 하늘 영역에서는 안개 제거시 어두워지는 단점이 발생한다. A의 대기 강도의 경우는 안개제거 성능에서 큰 영향을 주는 부분은 아니지만 여러 방법이 제시되었다. 비특허문헌 2의 경우 대기강도 추정 시 입력 영상의 밝기 값 중 상위 0.1%안의 픽셀을 추정하며, 이러한 방법은 한 프레임에 포함되는 모든 픽셀들을 정렬해야 하므로 연산량도 많고 추후 하드웨어 설계 시 프레임 메모리를 써야하는 비효율적인 방법이다. 비특허문헌 3은 쿼드트리(Quad-Tree)에 기반한 대기 강도 추정 방식이다. 쿼드트리 방법은 입력 영상을 네 개의 블록으로 분할하고, 각 블록의 픽셀 밝기 평균값을 계산하여 대소비교 후 가장 큰 밝기 평균값의 블록을 선택한다. 선택된 블록을 다시 네 개로 분할하여 미리 설정한 임계값까지 연산을 반복한다. 쿼드트리 방식은 여러 가지 입력 영상에 따라 적응적으로 안개 탐지를 할 수 있다는 장점은 있지만, 안개제거의 물리적 모델에서 대기강도(A)는 주요 이슈(major issue)가 아니므로 큰 연산량을 가질 필요가 없다. 그리고 비특허문헌 4는 안개제거의 전처리과정으로 화이트밸런스를 통과하고, 깊이 맵을 추정하기 위해 기계학습을 사용하며, 최종적으로 전달 맵을 보정하기 위한 제약조건을 거쳐서 최종 안개 제거된 영상을 생성하는 것에 관한 기술이나 대기강도를 추정하기 위한 별도의 연산이 필요하며, 화이트 밸런스의 경우 5x5 mHMF를 총 3채널에 사용하므로 연산량이 많은 문제점이 있다.
Qingsong Zhu, Jiaming Mai, Ling Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE Transactions on Image Processing (2015), Vol. 24, pp. 3522-3533.
K He, J Sun, X Tang 등, "Single Image Haze Removal Using Dark Channel Prior" IEEE Transactions on Pattern Analysis and Machine Intelligence(2011), pp. 2341-2353.
D. Park, H. Park, D. K. Han, and H. Ko, "Single image dehazing with image entropy and information fidelity," 2014 IEEE International Conference on Image Processing, Paris, France, pp. 4037-4041, 2014. DOI: 10.1109/ICIP.2014.7025820
Dat Ngo, Gi-Dong Lee and Bongsoon Kang, "Improved Color Attenuation Prior for Single-Image Haze Removal"Applied Sciences, (2019.09.25.)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 추후 실시간 처리가 가능한 하드웨어 설계까지 가능한 단일 영상 안개제거 방법을 위한 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법을 제공하기 위한 것이다.
그러므로 안개제거에 사용되는 필터 사용을 최소화하면서 안개제거는 효과적으로 수행하는 연산량이 낮은 안개제거 방법을 제시한다. 본 발명은 안개제거의 물리적 모델을 기반으로 하며, 전달량 맵(t)은 기계학습을 이용하여 깊이 맵을 추정하여 얻는다. 또한, 대기 강도(a)는 안개제거 물리적 모델에서 주요 이슈(minor issue)이므로 대기강도는 8bit 기준 255 상수로 고정하여 별도의 연산을 수행하지 않게끔 한다.
또한 안개제거 과정을 거치게 되면서 영상의 엣지(edge) 성분이 소실되는 것을 막기 위해 전처리 과정으로 세부 강조 모듈을 추가하여 최종 안개가 제거된 영상의 가시성을 높인다. 최종적으로 여러 안개영상 데이터세트(dataset)를 이용하여 정량적 평가를 통해 다른 알고리즘보다 본 발명이 우수한 것을 제시한다.
그리고 본 발명은 비특허문헌 4와는 달리 화이트밸런스를 제외하고 대신에 세부 강조 기능을 추가함으로써 연산량도 줄이고 안개 제거된 영상의 가시성도 높였으며, 비특허문헌 4의 경우 채도(S)채널에 배경잡음을 제거하기 위해 저역통과필터를 사용했지만, 본 발명에서는 필터를 사용하지 않고도 결과영상에서 우수한 결과를 나타내며, 대기강도를 상수로 고정하여 별도의 연산이 필요하지 않는 점이 장점을 제공하고자 한다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템은, 영상 획득에 따라 세부 강조를 수행하는 세부 강조모듈(100); 세부 강조된 영상에 대해서 깊이 맵 생성을 수행하는 깊이 맵 생성모듈(200); 깊이 맵에 대해서 전달 맵 보정 및 전달 맵 생성을 수행하는 전달 맵 보정모듈(300) 및 전달 맵 생성모듈(400); 전달 맵을 통해 물리적 모델을 생성하는 영상 복원을 수행하는 영상 복원모듈(500); 후처리 과정으로 적응형 색조 리맵핑 과정을 수행하는 적응형 색조 리맵핑 모듈(600); 을 포함하는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에 있어서, 깊이 맵 생성모듈(200)은, 세부 강조가 수행된 영상에 대해서 RGB→HSV 색변환을 수행하고, 채도와 명도를 이용하여 깊이 맵을 생성하고, 생성된 깊이 맵을 그대로 사용시 후광 효과(Halo effect)의 발생을 억제하기 위해 깊이 맵을 5x5 mHMF(수정된 하이브리드 미디언 필터)로 깊이 맵 보정을 수행하는 것을 특징으로 한다.
이때, RGB→HSV 색변환을 수행시, 색 공간 변환(YCbCr → RGB) 과정에서 얻은 는 RGB-HSV 색변환과정을 통해 S채널과 V채널로 분리하는 것을 특징으로 한다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 방법은, 영상 획득에 따라 세부 강조모듈(100)에 의한 세부 강조 단계(S100), 세부 강조된 영상에 대해서 깊이 맵 생성모듈(200)에 의한 깊이 맵 생성 단계(S200), 깊이 맵에 대해서 전달 맵 보정모듈(300)에 의한 전달 맵 보정 단계(S300) 및 전달 맵 생성모듈(400)에 의한 전달 맵 생성 단계(S400), 전달 맵을 통해 물리적 모델을 생성하는 영상 복원모듈(500)에 의한 영상 복원 단계(S500), 후처리 과정으로 적응형 색조 리맵핑 모듈(600)에 의한 적응형 색조 리맵핑 단계(S600)가 순차적으로 수행되는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 방법에 있어서, 세부 강조 단계(S100)가 수행된 영상에 대해서 깊이 맵 생성 단계(S200)는 RGB→HSV 색변환을 수행하는 단계(S201); 채도와 명도를 이용하여 깊이 맵을 생성하는 단계(S202); 및 생성된 깊이 맵을 그대로 사용시 후광 효과(Halo effect)의 발생을 억제하기 위해 깊이 맵을 5x5 mHMF(수정된 하이브리드 미디언 필터)로 깊이 맵 보정을 수행하는 단계(S203); 를 포함하는 것을 특징으로 한다.
이때, 단계(S201)는, 세부 강조 단계(S100) 중 색 공간 변환(YCbCr → RGB)단계(S105)에서 얻은 는 RGB-HSV 색변환과정을 통해 S채널과 V채널로 분리하는 것을 특징으로 한다.
본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법은, 영상처리에 불필요한 필터링 처리와 별도의 대기강도 모듈을 제거함으로써 연산량을 낮췄고, 이는 추후에 실시간 처리가 가능한 하드웨어 설계에 용이하다. 또한 세부 강조 기능은 안개 제거시 엣지(edge) 성분이 제거 되지 않게끔 보정해줌으로써 결과 영상의 가시성도 높힐 수 있는 효과를 제공한다.
그리고 본 발명은 비특허문헌 4와는 달리 화이트밸런스를 제외하고 대신에 세부 강조 기능을 추가함으로써 연산량도 줄이고 안개 제거된 영상의 가시성도 높였으며, 비특허문헌 4의 경우 채도(S)채널에 배경잡음을 제거하기 위해 저역통과필터를 사용했지만, 본 발명에서는 필터를 사용하지 않고도 결과영상에서 우수한 결과를 나타내며, 대기강도를 상수로 고정하여 별도의 연산이 필요하지 않는 점이 장점을 제공할 수 있다.
안개제거 기술은 비전 기판의 플랫폼(자율주행차 및 무인자동차, 드론 등)에 사용되기 때문에 실시간 처리가 필수적이다. 하지만, 안개제거 알고리즘의 경우 일반적으로 연산량이 많아 실시간처리가 어려우므로 안개제거 기술은 실시간처리가 가능한 하드웨어 설계까지 필수적이다. 그러기 위해선 본 발명에선 하드웨어 설계가 가능한 안개제거 알고리즘을 제공하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 세부 강조 모듈(100)에 의한 세부 강조 단계(S100)의 과정을 구체적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 세부 강조 모듈(100)에 의한 세부 강조가 수행된 영상을 나타낸 것이다.
도 5는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 깊이 맵 생성모듈(200)에 의한 깊이 맵 생성 단계(S200)를 구체적으로 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법 중 적응형 색조 리맵핑모듈(600)에 의한 적응형 색조 리맵핑단계(S600)를 구체적으로 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법 중 영상 복원 단계(S500)와 적응형 색조 리맵핑(S600)의 결과 영상을 나타낸 것이다.
도 2는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 세부 강조 모듈(100)에 의한 세부 강조 단계(S100)의 과정을 구체적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 세부 강조 모듈(100)에 의한 세부 강조가 수행된 영상을 나타낸 것이다.
도 5는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 깊이 맵 생성모듈(200)에 의한 깊이 맵 생성 단계(S200)를 구체적으로 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법 중 적응형 색조 리맵핑모듈(600)에 의한 적응형 색조 리맵핑단계(S600)를 구체적으로 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법 중 영상 복원 단계(S500)와 적응형 색조 리맵핑(S600)의 결과 영상을 나타낸 것이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1)을 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법을 나타내는 흐름도이다. 도 1 및 도 2를 참조하면, 예를 들어서 카메라로 안개가 포함된 영상이 획득된다면 안개 제거 방법은 다음과 같이, 세부 강조모듈(100)에 의한 세부 강조 단계(S100), 깊이 맵 생성모듈(200)에 의한 깊이 맵 생성 단계(S200), 전달 맵 보정모듈(300)에 의한 전달 맵 보정 단계(S300), 전달 맵 생성모듈(400)에 의한 전달 맵 생성 단계(S400), 영상 복원모듈(500)에 의한 영상 복원 단계(S500), 적응형 색조 리맵핑 모듈(600)에 의한 적응형 색조 리맵핑 단계(S600)로 구성된다.
도 3은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 세부 강조 모듈(100)에 의한 세부 강조 단계(S100)의 과정을 구체적으로 나타내는 도면이다. 세부 강조 모듈(100)에 의한 세부 강조 단계(S100)는 입력 영상에 대한 색 공간 변환(RGB → YCbCr)(S101), 라플라시안(Laplacian) 연상자로 세부 추출(S102), 영상의 지역 변동량에 따른 가중치 생성(S103), 가중치에 따른 세부 강조(S104), 색 공간 변환(YCbCr → RGB)(S105) 과정으로 이루어질 수 있다.
보다 구체적으로, 색 공간 변환(RGB → YCbCr) 단계(S101)는 하기의 수학식 2에 의해 입력 영상에 대해서 수행될 수 있다.
(수학식 2)
상기 식에서, Y는 휘도이고, Cb,Cr은 색차를 의미하며, 그리고, R, G, B는 각각 Red, Green, Blue를 의미한다.
다음으로, 라플라시안(Laplacian) 연산자로 세부 추출 단계(S102)는 하기의 수학식 3에 의해 수행될 수 있다.
(수학식 3)
여기서, E는 세부추출 값이며 ,는 콘볼루션 연산에 대해 나타낸 것이고 , 는 각각 세로축과 수평축 라플라시안(Laplacian) 연산자이다. T는 Tranpose로 전치를 의미한다.
다음으로, 영상의 지역 변동량에 따른 가중치 생성 단계(S103)는 하기의 수학식 4에 의해 수행될 수 있다.
(수학식 4)
여기서 는 영상의 지역 변동량에 따른 가중치이고, 는 영상의 지역 변동량이다. 그리고 는 위치에 중심으로 한 사각형 윈도우 속에 픽셀 위치이고 는 지역의 평균 값을 구하는 연산이다. 는 사용자 정의 변수이다. 제안한 가중치는 조각 선형(piecewise linear) 형태를 갖으며 범위에 선형적으로 변화하는데 그 범위 밖에는 상수()로 제한된다. 는 x를 중심으로 하는 일점 범위 안의 pixel들의 집합을 의미한다. Y는 밝기를 뜻한다.
도 3b를 참조하면, 세부 정보가 많이 사라진 지역에 대해 나타낸 작은 변동량에 큰 가중치를 할당해주고 세부 정보가 거의 사라지지 않은 지역에 대해 나타낸 큰 변동량에 작은 가중치를 할당해준다. 게다가 급격한 변환으로 인한 시각적인 문제를 예방하기 위해 범위에 가중치를 선형적으로 감소를 시킨다. 여기까지의 방법은 본 출원인이 2021년에 특허 등록받은 특허문헌 1의 세부 강조 방법과 동일하게 수행되며, 본 발명에서는 도시된 바와 같이 DE_W(세부 강조 가중치)를 추가로 적용하여 최종적으로 세부 강조의 비율을 조정한다.
다음으로 가중치에 따른 세부 강조단계(S104)는 하기의 수학식 5에 의해 수행될 수 있다.
(수학식 5)
여기서 는 가중치에 따른 세부 강조, 는 세부 강조 가중치, Y는 밝기, 는 영상의 지역 변동량에 따른 가중치, E는 세부추출 값을 의미한다.
다음으로, 색 공간 변환(YCbCr → RGB)단계(S105)는 하기의 수학식 6에 의해 수행될 수 있다.
(수학식 6)
도 4는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 세부 강조 모듈(100)에 의한 세부 강조가 수행된 영상을 나타낸 것이다. 도 4와 같은 효과를 위해 세부 강조를 하는 이유는 안개 제거 시 영상 엣지(edge) 성분이 다소 사라질 수 있기 때문이다. 그래서 세부 강조로 전처리를 해주게 되면 최종 안개 제거 시 가시성이 좋고 엣지(edge) 성분이 유지된다.
도 5는 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템(1) 중 깊이 맵 생성모듈(200)에 의한 깊이 맵 생성 단계(S200)를 구체적으로 나타내는 도면이다. 도 5를 참조하면, 깊이 맵 생성은 기계학습 기반으로 수행되며, 이때 채도(saturation, 명도(value) 채널이 필요하다. 그래서 RGB→HSV 색변환을 수행하고(S201), 채도와 명도를 이용하여 깊이 맵을 생성한다(S202). 또한 생성된 깊이 맵을 그대로 사용할 경우 후광 효과(Halo effect)가 발생하기 때문에 깊이 맵을 5x5 mHMF(수정된 하이브리드 미디언 필터)로 깊이 맵 보정을 한다(S203).
보다 구체적으로, 깊이 맵 생성단계(S200)는 색 공간 변환(YCbCr → RGB)단계(S105)에서 얻은 는 RGB-HSV 색변환단계(S201)를 통해 S채널과 V채널로 분리한다.
(수학식 7)
상기의 수학식 7의 수식을 통해 깊이맵(d)를 구하며, v(x,y)와 s(x,y)는 각각 영상의 명도와 채도를 의미한다. 그리고 는 선형모델의 매개 변수를 의미한다. 또한 는 오차를 뜻하며, 오차를 최소화하는 매개 변수의 값을 구하기 위해 감독 학습(Supervised Learning)을 통하여 추정한다.
종래의 기술로써 본 출원인이 202년에 특허 등록받은 특허문헌 2에서는 채도 채널에 대해 배경잡음을 제거하기 위하여 저역통과필터를 적용하였지만, 실제로 안개영상에서 안개 제거 시 채도채널에 저역통과필터를 적용하는 것은 큰 영향을 주지 않으므로 불필요한 연산이라 볼 수 있다. 본 발명에서는 연산량을 최소화하기 위해 채도채널에 저역통과 필터를 적용하지 않는다.
단계(S201) 이후, 깊이 맵 생성모듈(200)은 전달 맵 보정 및 생성단계(S202, S203)를 수행한다. 전달 맵은 물리적 모델에 기반하여 하기의 수학식 8과 같은 수식으로 구할 수 있다.
(수학식 8)
t는 전달 맵을 뜻하고, 는 산란계수를 의미하는데 상수 1로 고정이다. 그러므로 앞에서 구한 깊이 맵을 이용하여 t인 전달 맵을 구할 수 있다.
여기서 구한 전달 맵을 그대로 사용한다면, 안개 제거시 배경잡음 또는 색상 왜곡이 발생할 수 있다. 그래서 본 발명에서는 전달 맵을 보정한다.
앞서 물리적 모델의 수학식 8을 변환하면 다음과 같이 하기의 수학식 9로 변환할 수 있다.
(수학식 9)
여기서 A인 대기강도는 안개 제거 시 주요 이슈(minor issue) 부분이기 때문에 별도의 연산량을 요구하지 않는 상수 1로 고정을 한다.
그리고 J인 안개 제거된 영상의 경우 정규화된 값의 범위가 0~1의 값을 가지므로 전달 맵 수식은 다시 하기의 수학식 10과 같이 변환할 수 있다.
(수학식 10)
즉, 전달 맵의 최소 임계값의 조건이 위와 같게 된다. 하지만 여기서 그치지 않고 한가지 더 보정 조건이 있다. 여기서 I는 입력 영상을 의미한다.
두 번째 보정 조건은 안개 제거시 발생할 수 있는 음의(-) 값을 막기 위한 수식이다. 음의 값이란, 안개영상이 안개 제거 시 값의 범위가 0보다 아래로 내려가 검은 픽셀(Black pixel)이 되는 것을 의미한다. 이러한 현상을 막기 위해 영상의 평균값과 표준편차를 이용한다.
즉, 검은 픽셀(Black pixel)을 막기 위해서는 영상의 지역 평균값이 영상의 지역 표준편차값보다 동등 이상이 되어야 하며, 이와 같은 수식은 하기의 수학식 11과 같다. 여기서 는 지역의 평균 값을 구하는 연산이고, std는 지역 표준편차를 구하는 연산이다.
(수학식 11)
첫 번째 보정 수식과 두 번째 보정수식을 결합하게 되면 최종적으로 전달 맵의 수식인 하기의 수학식 12가 완성된다. 여기서 는 둘 중의 큰 값을 뽑는 연산을 의미한다.
(수학식 12)
다음으로, 영상 복원모듈(500)에 의한 영상 복원단계(S500)에 대해서 살펴본다.
상기 구한 수학식 12에 의한 전달 맵을 통해 물리적 모델의 J를 구하게 된다. 하지만 안개제거는 입력 영상으로부터 안개 성분을 제거하는 것이기 때문에 영상의 휘도가 낮아지게 되므로 안개는 제거됐지만 영상의 가시성이 떨어지게 된다. 그래서 후처리 과정인 적응형 색조 리맵핑 방법을 사용한다.
다음으로, 도 6은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법 중 적응형 색조 리맵핑모듈(600)에 의한 적응형 색조 리맵핑단계(S600)를 구체적으로 나타내는 도면이다. 도 6을 참조하면, 적응형 색조 리맵핑모듈(600)에 의한 적응형 색조 리맵핑단계(S600)에 대해서 살펴본다.
먼저, 색 공간 변환(RGB → YCbCr)단계(S601)를 수행한다.
보다 구체적으로, 색 공간을 변환하기 위해서 세부 강조 부분에서 소개했던 수식을 사용하면 된다. 그런데 여기서 표준 YCbCr 4:4:4대신에 YCbCr 4:2:2를 사용한다. 그래서 색 공간을 변환한 후 밝기 채널()과 색차 채널(Chrominance channel)()을 얻는다.
다음으로, 밝기 채널에 화질 개선단계(S602)를 수행한다.
(수학식 13)
여기서, 여기서 는 개선된 밝기이고 는 밝기 계수이다. 그리고 입력밝기의 히스토그램을 사용하여 CDF(cumulative distribution function)를 계산한 후 ALP(adaptive limit point)를 구한다. 는 ALP에 따른 비선형 거듭제곱 함수이다.
다음으로, 밝기 채널의 향상에 따른 색차 강조단계(S603)를 수행한다.
(수학식 14)
여기서 는 강조된 색차이고 는 색차 계수이고 C는 색차 채널이고 는 적응적인 색차 가중치이다. 를 입력 색차()와 밝기 향상 정도()의 곱으로 정의하였다. 는 세부 강조 부분에서 소개한 가중치와 비슷하게 piecewise linear 함수로 설계하였다.
다음으로,색 공간 변환(YCbCr → RGB)단계(S604)를 수행한다.
즉, 디스플레이 장치에 출력하기 위해서 RGB 색 공간으로 바꾼다.
도 7은 본 발명의 실시예에 따른 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에서 사용되는 단일 영상을 이용한 안개 제거 방법 중 영상 복원 단계(S500)와 적응형 색조 리맵핑(S600)의 결과 영상을 나타낸 것이다. 도 7을 참조하면, 안개 제거를 수행하면 영상의 휘도가 낮아지므로 후처리 과정으로 적응형 색조 리맵핑을 사용한다. 즉, 도 7은 안개 제거가 수행된 영상과 그 후 후처리 과정을 거친 영상을 나타낸 것이다.
즉, 본 발명의 기능은 영상처리 분야에서 많이 활용된 안개 제거 방법에 대한 것이다. 안개제거 기술은 비전 기반 플랫폼에 사용됨으로 알고리즘만으로는 실시간 처리가 어렵다. 그래서 실시간 처리가 가능한 하드웨어 설계가 필수적이다. 본 발명은 세부 강조를 사용하여 안개 제거 후 가시성이 높고 연산량도 낮아 추후 실시간 처리가 가능한 하드웨어 설계가 용이한 알고리즘이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템
100 : 세부 강조모듈
200 : 깊이 맵 생성모듈
300 : 전달 맵 보정모듈
400 : 전달 맵 생성모듈
500 : 영상 복원모듈
600 : 적응형 색조 리맵핑모듈
100 : 세부 강조모듈
200 : 깊이 맵 생성모듈
300 : 전달 맵 보정모듈
400 : 전달 맵 생성모듈
500 : 영상 복원모듈
600 : 적응형 색조 리맵핑모듈
Claims (4)
- 영상 획득에 따라 세부 강조를 수행하는 세부 강조모듈(100); 세부 강조된 영상에 대해서 깊이 맵 생성을 수행하는 깊이 맵 생성모듈(200); 깊이 맵에 대해서 전달 맵 보정 및 전달 맵 생성을 수행하는 전달 맵 보정모듈(300) 및 전달 맵 생성모듈(400); 전달 맵을 통해 물리적 모델을 생성하는 영상 복원을 수행하는 영상 복원모듈(500); 후처리 과정으로 적응형 색조 리맵핑 과정을 수행하는 적응형 색조 리맵핑 모듈(600); 을 포함하는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템에 있어서,
상기 깊이 맵 생성모듈(200)은,
세부 강조가 수행된 영상에 대해서 RGB→HSV 색변환을 수행하고, 채도와 명도를 이용하여 깊이 맵을 생성하고, 생성된 깊이 맵을 그대로 사용시 후광 효과(Halo effect)의 발생을 억제하기 위해 깊이 맵을 5x5 mHMF(수정된 하이브리드 미디언 필터)로 깊이 맵 보정을 수행하는 것을 특징으로 하는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템.
- 청구항 1에 있어서, RGB→HSV 색변환을 수행시,
색 공간 변환(YCbCr → RGB) 과정에서 얻은 는 RGB-HSV 색변환과정을 통해 S채널과 V채널로 분리하는 것을 특징으로 하는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템.
- 영상 획득에 따라 세부 강조모듈(100)에 의한 세부 강조 단계(S100), 세부 강조된 영상에 대해서 깊이 맵 생성모듈(200)에 의한 깊이 맵 생성 단계(S200), 깊이 맵에 대해서 전달 맵 보정모듈(300)에 의한 전달 맵 보정 단계(S300) 및 전달 맵 생성모듈(400)에 의한 전달 맵 생성 단계(S400), 전달 맵을 통해 물리적 모델을 생성하는 영상 복원모듈(500)에 의한 영상 복원 단계(S500), 후처리 과정으로 적응형 색조 리맵핑 모듈(600)에 의한 적응형 색조 리맵핑 단계(S600)가 순차적으로 수행되는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 방법에 있어서,
세부 강조 단계(S100)가 수행된 영상에 대해서 깊이 맵 생성 단계(S200)는 RGB→HSV 색변환을 수행하는 단계(S201);
채도와 명도를 이용하여 깊이 맵을 생성하는 단계(S202); 및
생성된 깊이 맵을 그대로 사용시 후광 효과(Halo effect)의 발생을 억제하기 위해 깊이 맵을 5x5 mHMF(수정된 하이브리드 미디언 필터)로 깊이 맵 보정을 수행하는 단계(S203); 를 포함하는 것을 특징으로 하는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 방법.
- 청구항 3에 있어서, 단계(S201)는,
세부 강조 단계(S100) 중 색 공간 변환(YCbCr → RGB)단계(S105)에서 얻은 는 RGB-HSV 색변환과정을 통해 S채널과 V채널로 분리하는 것을 특징으로 하는 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220020876A KR20230123735A (ko) | 2022-02-17 | 2022-02-17 | 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220020876A KR20230123735A (ko) | 2022-02-17 | 2022-02-17 | 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230123735A true KR20230123735A (ko) | 2023-08-24 |
Family
ID=87841455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220020876A KR20230123735A (ko) | 2022-02-17 | 2022-02-17 | 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230123735A (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102151750B1 (ko) | 2019-08-08 | 2020-09-03 | 동아대학교 산학협력단 | 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법 |
| KR102261532B1 (ko) | 2020-05-29 | 2021-06-04 | 동아대학교 산학협력단 | 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 |
-
2022
- 2022-02-17 KR KR1020220020876A patent/KR20230123735A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102151750B1 (ko) | 2019-08-08 | 2020-09-03 | 동아대학교 산학협력단 | 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법 |
| KR102261532B1 (ko) | 2020-05-29 | 2021-06-04 | 동아대학교 산학협력단 | 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 |
Non-Patent Citations (4)
| Title |
|---|
| D. Park, H. Park, D. K. Han, and H. Ko, "Single image dehazing with image entropy and information fidelity," 2014 IEEE International Conference on Image Processing, Paris, France, pp. 4037-4041, 2014. DOI: 10.1109/ICIP.2014.7025820 |
| Dat Ngo, Gi-Dong Lee and Bongsoon Kang, "Improved Color Attenuation Prior for Single-Image Haze Removal"Applied Sciences, (2019.09.25.) |
| K He, J Sun, X Tang 등, "Single Image Haze Removal Using Dark Channel Prior" IEEE Transactions on Pattern Analysis and Machine Intelligence(2011), pp. 2341-2353. |
| Qingsong Zhu, Jiaming Mai, Ling Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE Transactions on Image Processing (2015), Vol. 24, pp. 3522-3533. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9842382B2 (en) | Method and device for removing haze in single image | |
| KR100624421B1 (ko) | 디지탈 영상 신호 필터링 장치 및 방법 | |
| KR102261532B1 (ko) | 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 | |
| US20100040300A1 (en) | Image processing method and apparatus for correcting distortion caused by air particles as in fog | |
| CN110570374B (zh) | 一种对红外传感器所获得图像的处理方法 | |
| KR100771158B1 (ko) | 칼라 영상의 화질 향상을 위한 방법 및 시스템 | |
| CN109816608B (zh) | 一种基于噪声抑制的低照度图像自适应亮度增强方法 | |
| CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
| CN107862672B (zh) | 图像去雾的方法及装置 | |
| US7903900B2 (en) | Low complexity color de-noising filter | |
| CN103455979A (zh) | 一种低照度视频图像增强方法 | |
| CN106846258A (zh) | 一种基于加权最小平方滤波的单幅图像去雾方法 | |
| CN112070691A (zh) | 一种基于U-Net的图像去雾方法 | |
| Chen et al. | Improve transmission by designing filters for image dehazing | |
| CN111476744A (zh) | 一种基于分类及大气成像模型的水下图像增强方法 | |
| CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
| CN112435184B (zh) | 一种基于Retinex和四元数的雾霾天图像识别方法 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN104657939A (zh) | 一种低照度视频图像增强方法 | |
| KR20230123735A (ko) | 세부 강조를 이용한 기계학습 기반의 단일 영상 안개 제거 시스템 및 방법 | |
| CN106327439A (zh) | 一种快速雾霾天图像清晰化方法 | |
| CN105741248A (zh) | 一种去除图像中阴霾退化的方法 | |
| CN109886901B (zh) | 一种基于多通路分解的夜间图像增强方法 | |
| CN104112254A (zh) | 处理rgb彩色图像的方法和系统 | |
| CN104112258A (zh) | 实现rgb彩色图像处理的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |