KR102149974B1 - 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법 - Google Patents

단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법 Download PDF

Info

Publication number
KR102149974B1
KR102149974B1 KR1020190104305A KR20190104305A KR102149974B1 KR 102149974 B1 KR102149974 B1 KR 102149974B1 KR 1020190104305 A KR1020190104305 A KR 1020190104305A KR 20190104305 A KR20190104305 A KR 20190104305A KR 102149974 B1 KR102149974 B1 KR 102149974B1
Authority
KR
South Korea
Prior art keywords
image
patch
patches
single image
equation
Prior art date
Application number
KR1020190104305A
Other languages
English (en)
Inventor
강봉순
이승민
응오닷
김한결
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020190104305A priority Critical patent/KR102149974B1/ko
Application granted granted Critical
Publication of KR102149974B1 publication Critical patent/KR102149974B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/003
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 단일 영상의 안개 제거를 위한 연산량을 줄인 대기강도추정장치는, 안개가 포함되는 적(R), 녹(G), 청(B)의 단일 영상을 수신하는 영상 수신부, 및 수신한 단일 영상에 기설정된 크기를 갖는 복수의 패치(pactch)를 행(line)별로 적용해 패치 영역에서의 평균 밝기값을 계산하고, 계산한 평균 밝기값의 최대값을 행간 비교하여 대기강도 후보를 추정하며, 마지막 행까지 평균 밝기값의 최대값을 비교해 단일 영상의 대기 강도를 추출하는 영상 처리부를 포함한다.

Description

단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법{Apparatus for Estimating Airlight of Reducing Computational Burden of Dehazing in Unit Image and Driving Method Thereof}
본 발명은 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 자율주행차나 CCTV와 같은 시스템에서 대기 중에 포함된 안개로 인하여 가시성이 훼손된 영상을 복원하기 위하여 하드웨어 구조가 간단하고 실시간 처리가 가능한 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법에 관한 것이다.
촬영 영상의 품질은 대기 중에 포함된 입자의 수가 증가함으로써 발생하는 입자들의 산란으로 인해 훼손될 수 있다. 안개가 심할 경우 렌즈로 들어오는 빛이 안개에 의해 흡수, 산란되어 사물의 식별 능력이 떨어지게 된다. 특히 자율주행자동차와 같이 주위의 시야를 식별해야 하는 시스템에서는 안개가 심할 경우 성능이 크게 떨어질 수도 있다. 이 때문에 안개 영상으로부터 안개를 제거하기 위한 여러 대기 강도 추정 방법들이 제시되어 왔다.
첫 번째로 He, Sum, Tang의 DCP(Dark channel prior) 방법이다. 이 방법은 안개 제거 알고리즘에서 흔히 쓰는 방법으로서 연산 복잡도도 낮고, 안개 낀 영상에서 효과적으로 안개를 제거할 수 있다는 장점이 있으나, 흰 배경의 물체가 있는 경우 대기 강도 추정을 정확하게 수행하지 못하는 단점이 있다.
두 번째로 위의 DCP 방법의 단점을 보완하고자 최소 필터(minfilter)를 사용한 경우다. 이는 DCP 방법의 단점인 후광효과(halo)를 억제할 수는 있지만, 하드웨어 설계시 복잡하다는 단점이 있다.
세 번째로는 Berman, Treibitz, Avidan의 허프 변환(hough transform)을 사용한 대기 강도 추정 방법이다. 이 방법도 또한 하드웨어 설계시 복잡하다는 단점이 있다.
마지막으로 쿼드트리(Quad tree) 알고리즘을 사용한 대기 강도 추정 방법이다. 이 방법은 영상을 4개로 분할하여 분할된 블록의 최대값을 구한 후 해당 블록을 다시 4개로 분할하며 이를 계속 반복하게 된다. 이 방법을 하드웨어로 설계하게 되면 분할된 4개의 블록 값들을 저장해야 하기 때문에 프레임 메모리를 사용해야 하며, 이는 하드웨어 설계시 구조가 커지고 실시간 처리가 어려운 문제가 있다.
한국등록특허공보 제10-1798911호(2017.11.17. 공고) 선택적 대기 강도 추정에 기반한 안개 제거 방법 및 장치 한국등록특허공보 제10-1827361호(2018.02.08. 공고) 안개 제거를 위한 대기 강도 추정 장치 및 방법 한국공개특허공보 제10-2014-0142381호(2014.12.12. 공개) 단일영상 내의 안개 제거 방법 및 장치
"Single image dehazing with image entropy and information fidelity" IEEE International Conference on Image Processing(2014), pp. 4037-4041
본 발명의 실시예는 자율주행차나 CCTV와 같은 시스템에서 대기 중에 포함된 안개로 인하여 가시성이 훼손된 영상을 복원하기 위하여 하드웨어 구조가 간단하고 실시간 처리가 가능한 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 단일 영상의 안개 제거를 위한 연산량을 줄인 대기강도추정장치는, 안개가 포함되는 적(R), 녹(G), 청(B)의 단일 영상을 수신하는 영상 수신부, 및 상기 수신한 단일 영상에 기설정된 크기를 갖는 복수의 패치(patch)를 행(line)별로 적용해 패치 영역에서의 평균 밝기값을 계산하고, 상기 계산한 평균 밝기값의 최대값을 행간 비교하여 대기강도 후보를 추정하며, 마지막 행까지 평균 밝기값의 최대값을 비교해 상기 단일 영상의 대기 강도를 추출하는 영상 처리부를 포함한다.
상기 영상 처리부는, 상기 수신한 단일 영상을 그레이 스케일 영상으로 변환한 후, 최소 필터에 통과시켜 얻은 영상에 상기 복수의 패치를 행별로 적용할 수 있다.
상기 영상 처리부는, 상기 수신한 단일 영상의 크기에 따라 결정되는 기설정된 크기의 복수의 패치를 이용할 수 있다.
상기 영상 처리부는, 연산량을 줄이기 위하여 상기 수신한 단일 영상의 일 방향(height)을 기준으로 일부 영역의 행에 대하여 패치를 적용할 수 있다.
상기 영상 처리부는, 상기 단일 영상이 4K 영상인 경우, 행에 적용하는 상기 복수의 패치를 128개 이내의 범위에서 사용할 수 있다.
또한, 본 발명의 실시예에 따른 단일 영상의 안개 제거를 위한 연산량을 줄인 대기강도추정장치는 영상 수신부 및 영상 처리부를 포함하여 단일 영상의 안개 제거를 위한 연산량을 줄인 대기강도추정장치의 구동방법으로서, 안개가 포함되는 적(R), 녹(G), 청(B)의 단일 영상을 상기 영상 수신부에서 수신하는 단계, 및 상기 영상 처리부가, 상기 수신한 단일 영상에 기설정된 크기를 갖는 복수의 패치를 행별로 적용해 패치 영역에서의 평균 밝기값을 계산하고, 상기 계산한 평균 밝기값의 최대값을 행간 비교하여 대기강도 후보를 추정하며, 마지막 행까지 평균 밝기값의 최대값을 비교해 상기 단일 영상의 대기 강도를 추출하는 단계를 포함한다.
상기 대기 강도를 추출하는 단계는, 상기 단일 영상을 그레이 스케일 영상으로 변환한 후 상기 변환한 스케일 영상을 최소 필터에 통과시켜 얻은 영상에 상기 복수의 패치를 행별로 적용할 수 있다.
상기 대기 강도를 추출하는 단계는, 상기 수신한 단일 영상의 크기에 따라 결정되는 기설정된 크기의 복수의 패치를 이용할 수 있다.
상기 대기 강도를 추출하는 단계는, 연산량을 줄이기 위하여 상기 수신한 단일 영상의 일 방향을 기준으로 일부 영역의 행에 대하여 패치를 적용할 수 있다.
상기 대기 강도를 추출하는 단계는, 상기 단일 영상이 4K 영상인 경우, 행에 적용하는 상기 복수의 패치를 128개 이내의 범위에서 사용할 수 있다.
본 발명의 실시예에 따르면, 가령 자율주행차나 CCTV와 같은 시스템에 적용하게 될 때 하드웨어 구조가 간단하고 실시간 처리가 가능하게 될 것이다.
또한, 본 발명의 실시예는 기존 방법(예: 쿼드트리 방법)보다 연산량을 줄일 수 있고, 하드웨어 구현 방법에 있어서도 분할 모듈(divider)을 사용하지 않고 시프트(shift)로 대체함으로써 하드웨어 구조 또한 크게 줄일 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 대기강도추정장치의 세부 구조를 예시한 블록다이어그램,
도 2는 도 1의 영상 처리부의 다른 구조를 예시한 블록 다이어그램,
도 3은 본 발명의 실시예에 따른 대기 강도 측정을 위한 안개 영상 패치를 설명하기 위한 도면,
도 4는 대기 강도 측정을 위한 안개 영상에 패치를 적용하는 방법을 설명하기 위한 도면,
도 5는 도 4의 좌표 의미를 설명하기 위한 도면,
도 6은 안개가 입력 영상의 윗부분을 차지하는 것을 보여주는 도면,
도 7은 기존 쿼드 알고리즘(a)과 본 발명의 실시예에 따른 패치 사용 알고리즘(b)의 대기 강도 추정 결과를 비교하여 나타낸 도면, 그리고
도 8은 단일 영상의 안개 제거를 위해 논문에서 자수 사용되고 있는 IVC 데이터세트(dataset) 영상을 나타내는 도면,
도 9는 본 발명의 실시예에 따른 대기 강도 추정 과정의 흐름도, 그리고
도 10은 하드웨어에서의 대기 강도 추출 방법을 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 대기강도추정장치의 세부 구조를 예시한 블록다이어그램이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 대기강도추정장치(90)는 영상 수신부(100), 영상 처리부(110) 및 저장부(120)의 일부 또는 전부를 포함하며, 영상 출력부(미도시)를 더 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(120)와 같은 일부 구성요소가 생략되어 구성되거나, 영상 수신부(100)와 같은 구성요소가 영상 처리부(110)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
도 1의 대기강도추정장치(90)는 안개 제거를 위한 대기강도추정방법에서 실시간 하드웨어 구현을 가능하게 하고, 메모리 대신에 크기를 유동적으로 조절할 수 있는 패치(patch)를 이용하여 하드웨어의 복잡도를 낮춘다. 그리고 패치는 4K 안개 영상에서도 동작할 수 있도록 설계되며, 자율주행자동차, CCTV 등 실시간 영상처리가 필요한 장치에 적용될 수 있다. 무엇보다, 도 1의 대기강도추정장치(90)는 입력 영상에 안개가 존재할 때 안개가 제거된 영상을 복원해 내는 동작을 수행하는 장치의 일부를 구성할 수 있을 것이다.
또한, 본 발명의 실시예에 따른 패치는 마스킹(masking)과 같이 해당 마스킹부에 상응하는 기설정된 영역의 화소들에 대한 화소값을 가져와 밝기평균값을 계산하는 것도 가능하지만, 각 패치의 영역에 해당하는 좌표값을 기설정하고 기설정된 좌표값을 근거로 화소들의 화소값을 가져와 밝기평균값을 계산하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 패치의 개념을 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 본 발명의 실시예에서는 후자의 경우가 바람직할 수 있다. 패치는 단일 영상에서 지정 영역(혹은 블록)의 화소들에 대한 화소값(예: 계조값)을 이용해 밝기평균 등을 구하기 위한 하나의 방법에 해당할 수 있다.
도 1에서 볼 때, 영상 수신부(100)는 자율주행자동차에 구비되는 카메라 등의 촬영장치나 CCTV 등의 카메라로부터 촬영영상을 수신할 수 있다. 수신한 촬영영상은 가령 1초에 60장의 단위 프레임 영상을 생성한 동영상에 해당될 수 있다. 따라서, 영상 수신부(100)는 적색(R), 녹색(G), 청색(B)의 컬러를 갖는 일련의 단위 프레임 영상을 수신한다고 볼 수 있다.
영상 수신부(100)는 본 발명의 실시예에 따라 수신한 단위 프레임 영상을 연산 처리 속도를 증가시키기 위해 매크로블록 단위로 쪼갤 수 있다. 물론, 본 발명의 실시예에서는 픽쳐(picture) 단위의 단위 프레임 영상이나 매크로블록(macroblock) 단위의 영상을 단일 영상이라 명명할 수 있다. 따라서, 본 발명의 실시예에서는 수신한 영상을 어떠한 형태로 사용하느냐에 특별히 한정하지는 않을 것이다.
영상 처리부(110)는 제어부(111)와 대기강도추정부(113)를 포함할 수 있다. 영상 처리부(110)는 하드웨어나 소프트웨어(예: SW모듈 단위)로 구성될 수 있고, 또 그 조합에 의해 구성될 수도 있다. 이러한 관점에서 볼 때, 도 1의 영상 처리부(110)는 제어부(111)와 대기강도추정부(113)가 물리적으로 분리되어 하드웨어적으로 구성되는 것을 예시한다고 볼 수 있다. 물론 대기강도추정부(113)를 구성하는 프로그램은 SW모듈들의 결합에 의해 구성될 수 있을 것이다.
제어부(111)는 도 1의 대기강도추정장치(90)를 구성하는 영상 수신부(100), 대기강도추정부(113) 및 저장부(120)의 전반적인 제어 동작을 담당한다. 영상 수신부(100)를 통해 안개가 포함된 영상, 즉 단일 영상이 수신되면 대기강도추정부(113)로 제공한다. 이의 과정에서 제어부(111)는 수신된 단일 영상을 저장부(120)에 임시 저장시킨 후 불러내어 대기강도추정부(113)에 제공할 수 있다.
또한, 제어부(111)는 대기강도추정부(113)에서 입력된 단일 영상에 대한 대기 강도가 추정되면 추정된 대기 강도를 이용하여 영상 처리가 이루어지도록 할 수 있다. 이를 위하여 제어부(111)는 추정된 대기 강도와 관련한 값 또는 데이터를 영상의 배경 잡음을 제거하는 배경잡음제거부나 안개 영상을 제거해 영상을 복원하는 영상 복원부 등으로 제공하는 후행 동작을 수행할 수도 있을 것이다.
위의 동작을 수행하는 과정에서 제어부(111)는 수신된 단일 영상을 분석하여 안개 분포를 판단할 수도 있다. 예컨대, 자율주행자동차와 CCTV에서 촬영되는 촬영영상의 안개 분포가 서로 상이할 수 있다면, 영상 분석을 통해 촬영 장치의 유형을 구분하여 영상 처리를 수행할 수 있다. 다만, 시스템 설계자가 동작 초기에 이를 설정해 줄 수 있으므로 제어부(111)는 설정된 정보에 따라 동작할 수 있을 것이다. 예를 들어, CCTV의 경우에는 입력되는 단일 영상의 1/2 영역에 대하여만 패치를 적용한다면 자율주행자동차의 경우에는 안전을 위하여 단일 영상의 전 영역에 대하여 패치를 적용하는 형태로 영상을 처리할 수 있기 때문이다.
대기강도추정부(113)는 입력된 단일 영상에 대하여 대기강도를 추정한다. 이를 위하여 대기강도추정부(113)는 기설정된 크기를 갖는 복수의 패치를 단일 영상에 적용하여 패치 영역에서의 평균 밝기값을 구하고, 또 하나의 행(line)에서 최대가 되는 평균 밝기값을 도출하여 행간 비교를 수행하며, 이를 통해 대기 강도 후보를 추정한다. 또한, 대기강도추정부(113)는 마지막 행까지 위에서와 같은 방식으로 행간 평균 밝기값의 최대값을 비교하여 최종적으로 대기강도를 추정한다. 입력되는 단일 영상마다 패치를 적용할지, 아니면 지정된 시간 간격마다 간헐적으로 패치를 적용할지, 나아가 간헐적으로 패치를 적용하되 초기 수개의 단일 영상에 대하여 패치를 적용할지의 여부는 시스템 설계자의 의도에 따라 결정될 수 있을 것이다.
대기강도추정부(113)는 카메라로 촬영되는 안개 영상들이 대부분 영상의 윗부분에 안개들이 포착된다는 점을 고려하여 대기 강도 추정시, 입력 영상의 윗부분(예: 1/2 영역)만 고려하여 연산한 결과값으로 영상의 전체를 추정함으로써 연산량을 줄이고, 또 메모리 대신에 크기를 유동적으로 조절할 수 있는 패치를 이용하여 하드웨어 복잡도를 낮춘다. 앞서 언급한 대로 1/2 영역만 고려할지, 전체 영역을 고려할지, 또 하이브리드로 선택적으로 고려할지는 기설정될 수 있다. 가령 본 발명의 실시예에 따른 대기강도추정부(113)는 입력 영상의 안개 분포 특성에 따라 대기강도의 추정 방법을 변경할 수 있다. 다시 말해, 입력된 단일 영상의 윗부분 즉 1/2 영역만 패치를 적용하는 것이 아니라, 1/3 영역만 패치를 적용할 수도 있을 것이다.
또한, 본 발명의 실시예에 따른 대기강도추정부(113)는 패치를 행별로 적용하는 것을 예시하였지만, 패치를 적용하는 방식은 연산 처리 속도를 증가시키기 위하여 다양한 형태로 변경되어 적용될 수 있다. 다시 말해, 본 발명의 실시예에서는 일렬로 구성되는 복수의 패치를 1행부터 마지막 행까지 순차적으로 적용하는 것을 예시하고 있지만, 일렬로 구성되는 복수의 패치를 2세트로 구성하여 단일 영상에 적용함으로써 연산 처리 속도를 1/2로 줄일 수도 있다. 이와 같이, 대기강도추정부(113)는 연산량과 연산처리속도 중 적어도 하나를 고려하여 다양한 형태로 변경하여 영상 처리를 수행할 수 있다.
무엇보다 본 발명의 실시예에서는 지정된 크기의 패치를 통해 패치 영역 내의 화소들을 이용해 평균 밝기값을 도출하고, 동일 행에 위치하는 패치 영역의 평균 밝기값들과 비교하여 최대가 되는 평균 밝기값을 찾고, 또 각 행마다 도출한 평균 밝기값의 최대값을 서로 비교하여 대기강도 추정을 완료한다. 각각의 화소는 R, G, B의 컬러값과 밝기에 관련되는 그레이 스케일값 즉 휘도값을 가지므로, 이러한 휘도값의 평균을 계산하여 평균 밝기값을 계산할 수 있을 것이다. 예를 들어, 패치가 가로 256픽셀, 세로 128픽셀의 크기를 갖는다면 해당 픽셀들의 평균 밝기값을 구하면 되는 것이다. 대기강도추정방법과 관련한 자세한 내용은 이후에 좀더 다루기로 한다.
저장부(120)는 제어부(111)의 제어하에 처리되는 다양한 데이터를 저장할 수 있다. 본 발명의 실시예에 따라 저장부(120)는 안개가 포함되어 수신되는 단일 영상을 제어부(111)의 제어하에 저장하고, 저장한 단일 영상을 출력하여 대기강도추정부(113)로 제공되도록 할 수 있을 것이다.
한편, 본 발명의 다른 실시예로서 도 1의 제어부(111)는 CPU와 메모리를 포함할 수 있으며, CPU와 메모리는 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부, 레지스트리 등을 포함하고, 메모리는 램(RAM)을 포함할 수 있다. 제어회로는 실질적인 제어동작을, 연산부는 2진비트정보의 연산동작을, 명령어해석부는 인터프리터, 컴파일러 등과 같이 고급언어를 기계어로 또 기계어를 고급언어로 변환하는 등의 동작을 수행할 수 있고, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 따라서, 대기강도추정장치(90)는 장치의 초기 구동시 또는 복잡도 여부에 따라 선택적으로, 대기강도추정부(113)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램에 로딩한 후 이를 실행시켜 데이터 연산처리 속도를 빠르게 증가시킬 수 있을 것이다.
도 2는 도 1의 영상 처리부의 다른 구조를 예시한 블록 다이어그램, 도 3은 본 발명의 실시예에 따른 대기 강도 측정을 위한 안개 영상 패치를 설명하기 위한 도면, 도 4는 대기 강도 측정을 위한 안개 영상에 패치를 적용하는 방법을 설명하기 위한 도면, 그리고 도 5는 도 4의 좌표 의미를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 영상 처리부(혹은 대기강도추정장치)(113')는 패치적용부(200), 밝기평균값추출부(210), 최대평균값추출부(220), 대기강도후보군추정부(230) 및 대기강도추정부(240)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 일부 구성요소가 생략되어 구성되거나 대기강도추정부(240)와 같은 일부 구성요소가 대기강도후보군추정부(230)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
도 2의 영상 처리부(113')를 구성하는 구성요소들은 하드웨어나 소프트웨어로 구성되거나 이의 조합된 형태로 구성될 수 있지만, 도 2에서는 소프트웨어 모듈이 결합되는 형태인 것을 가정하여 설명하고자 한다.
본 발명의 실시예에 따른 도 2의 영상 처리부(113') 또는 대기강도추정장치는 안개 영상의 안개 제거를 위해 [수학식 1]과 같이 표현되는 코쉬마이더(Koschmider) 모델을 사용할 수 있다.
Figure 112019087332298-pat00001
I(x)는 카메라를 통해 얻은 안개가 포함된 입력 영상, J(x)는 안개가 제거된 원이미지 또는 피사체 고유의 복사량(scene radiance), t(x)는 좌표 x에서의 전달량(혹은 투과도)(transmission), 그리고 A는 대기 강도 추정에 의해 얻어진 대기 강도(혹은 대기 산란광)(atmospheric light)를 의미한다.
본 발명의 실시예는 코쉬마이더 모델에서 A(대기 광)를 하드웨어 설계시 메모리를 사용하지 않고 실시간으로 구현할 수 있는 방법에 대해 제시한다. 대기 강도를 구하기 위한 대기 강도 추정 방법으로는, I(x)의 입력 안개 영상을 RGB에서 그레이 스케일(Gray Scale)로 변환한다. 그리고 그레이로 변환된 영상을 최소 필터를 통과시킨다. 최소 필터를 통과시키는 이유는 흔히 DCP(Dark Channel Prior) 기반의 안개 제거 방법에서 쓰이는 이유와 같다. 안개영상을 제거하기 위해선 적합한 대기 강도를 구해야 하는데 흰 물체가 있는 영상에서는 대기 강도를 안개 대신에 흰 물체로 잡는 경우가 있다. 이를 방지하기 위해 최소 필터를 통과시킨다. 최소 필터를 통과한 영상에 하드웨어 설계를 위한 알고리즘으로서 패치를 적용한다. 종래의 대기 강도 추정 알고리즘은 하드웨어 구현을 하게 되면 프레임 메모리가 필요하게 되고 이에 따라 하드웨어 구조가 커지게 되며 실시간 처리가 어렵게 된다. 그래서 본 발명의 실시예에서는 프레임 메모리를 사용하지 않고 실시간 처리가 가능한 패치를 적용하여 대기 강도를 추정하는 방법을 제시한다.
패치적용부(200)는 각 패치가 기설정된 크기를 갖고 일렬로 생성되는 일종의 그룹을 형성한 복수의 패치를 안개가 포함되는 단일 영상에 대하여 적용한다. 즉 패치적용부(200)는 복수의 패치를 적용해 입력된 단일 영상에 대하여 행 단위로 평균 밝기값을 계산한다. 각 패치의 패치 영역에 포함되는 화소들에 대한 평균 밝기값을 계산한다. 통상 R, G, B의 화소는 계조를 표현하기 위한 계조값을 가지므로, 가령 동일한 R의 화소에 대하여 어떠한 계조값을 가지는지에 따라 R은 가령 256계조(예: 0~255)를 표현할 수 있는데, 평균 밝기값은 각 화소들의 계조값에 대한 평균값으로 표현될 수도 있다. 여기서, 계조값은 일종의 휘도값이 될 수 있다.
도 3에서 볼 수 있는 바와 같이, 패치(300)의 시작은 X_start, Y_start 기준으로 시작되며, 입력 영상(290)의 크기를 고려하여 패치(300)의 폭(width)과 높이(height)가 조절될 수 있다. 폭과 높이는 하드웨어 설계를 용이하게 하기 위해 2의 배수로 설정하며, 폭의 범위는 256, 128, 64, 32이며 높이는 128, 64, 32, 16이다. 패치(300)의 개수가 최대 128인 이유는 4K 영상의 가로 길이가 4096이라고 할 때 패치(300)의 폭을 32라 하면 패치(300)가 최대 128개까지 쓰이기 때문이다. 영상(290)의 크기에 따라 패치(300)의 사용 개수는 128개 내에서 유동적으로 사용될 수 있다. 그리고 패치(300)는 입력 영상 높이의 1/2인 윗부분(예: 촬영방향의 상측부위)만 적용된다. 카메라로 촬영되는 안개영상들은 대부분 영상의 윗부분에서 안개들이 포착되기 때문에 대기 강도 추정시, 입력 영상(290)의 윗부분만 고려하는 것이 바람직하다.
패치적용부(200)는 도 3에서와 같이 대기 강도 측정을 위한 안개 영상에 패치(300)를 적용할 수 있다. 패치(300)는 가령 4K 영상까지 적용할 수 있도록 최대 128개까지 사용할 수 있으며, 영상 크기에 따라 사용자가 직접 패치의 폭과 높이를 정할 수 있다. 물론 패치의 폭과 높이는 영상 처리 이전에 기설정될 수 있다. 그리고 패치(300)는 입력 영상(290)의 높이의 1/2인 윗부분만 적용한다. 그 이유는 카메라로 물체를 촬영할 경우, 카메라로부터 거리가 먼 쪽이 입력 영상의 윗부분을 차지한다. 즉, 안개는 카메라로부터 가까이 있을 경우 잘 보이지 않지만 카메라에서 멀어지면 안개가 보이는 특성을 이용한 것이다. 이 경우는 도 4 또는 도 6에서 확인할 수 있다. 그리고 x_start, y_start, width, height, x_jump, y_jump는 픽셀단위로 정의되며, 동작 방식은 도 4와 같다. 물론 입력 영상(290)에 대한 패치(300)의 적용 범위는 입력 영상(290)의 특성에 따라 얼마든지 변경될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
도 4는 x_start=1, y_start=1, width=32, height=16, x_jump=4, y_jump=4에 대한 동작 예시를 나타낸다. 도 4는 입력 영상(img_width)(290)의 가로(img_height)가 680, 세로가 460인 것을 기준으로 하였으며 x_start, y_start는 1이다. 6개의 패치 변수들은 픽셀 단위이기 때문에 x_start, y_start에 의해 x축, y축이 1픽셀 떨어진 위치에서 패치(300)가 시작하게 되고, 폭과 높이에 의해 패치(300)의 크기가 결정된다. 그리고 x축으로 x_jump에 의해 4개의 픽셀들은 스킵(skip)되고 (37, 1) 위치부터 패치 2가 시작되게 된다. 패치(300)는 총 18개가 사용된다. 패치 사용 개수에 따른 수식은 [수학식 2]와 같이 표현될 수 있다. 다음으로는 패치(300)가 적용되는 행은 1행의 패치 1의 (1, 17)을 기준으로 y_jump에 의해 4개의 픽셀들이 스킵된 (1, 21)부터 2행의 패치 1이 적용된다. 패치의 행의 개수는 [수학식 3]과 같이 표현될 수 있다. 즉, n은 한 행에 대한 패치(300)의 개수를 뜻하고, k는 패치가 적용되는 행의 개수를 의미한다. 도 4에 적용하면 n = 18, k = 11이다.
Figure 112019087332298-pat00002
상기 수학식 2에서,
x_start는 패치의 x축의 시작점이고, width는 패치의 넓이이고, n은 패치의 개수이고, x_jump는 패치간 x축 간격이며, img_width는 입력 영상의 넓이을 의미한다.
Figure 112019087332298-pat00003
상기 수학식 3에서,
y_start는 패치의 y축의 시작점이고, height는 패치의 높이이고, k는 패치의 행의 개수이고, y_jump는 패치간 y축 간격이며, img_height는 입력 영상의 높이를 의미한다.
도 5는 도 4의 좌표 의미를 설명하려는 것이다. 대체적으로 영상의 크기는 무수히 많은 픽셀을 가지지만 도 5에서는 좌표의 의미를 설명하기 위해 8×8의 간단한 영상을 가정하여 설명한다. (0, 0)은 도 5의 초록색 부분의 픽셀을 의미하고, (2, 1)은 빨간색 부분의 픽셀을 의미한다. 그리고 패치(300)를 정의하기 위한 (1, 3)에서 (4, 5)는 파란색 부분의 픽셀들을 의미한다.
밝기평균값추출부(210)는 도 4에서와 같이 1행부터 11행까지 패치를 행별로 순차적으로 적용하여 화소 블록 즉 패치 영역의 화소들에 대한 밝기평균값을 구한다. 다시 말해, 1행에는 18개의 패치가 설정되므로, 18개의 각 패치의 패치 영역에 포함되는 화소들에 대한 밝기평균값을 계산하는 것이다.
또한, 밝기평균값추출부(210)는 대기강도후보군추정부(230)에서 (n-1)행과 n행의 밝기평균값의 최대값을 서로 비교하여 대기강도후보군추정이 완료되면, 가령 비교 결과 더 큰 최대값으로 대기강도후보군을 추정하면, 이어 밝기평균값추출부(210)는 입력 영상의 마지막 행 즉 높이의 1/2 중 마지막에 해당하는 부위(예: 도 4의 11행)에 대한 밝기평균값을 계산하여 평균값을 산출한다.
최대평균값추출부(220)는 밝기평균값추출부(210)에서 행별로 복수의 밝기평균값이 수신되면, 복수의 밝기평균값들을 서로 비교하여 최대값을 갖는 밝기평균값을 산출하여 대기강도후보군추정부(230)로 제공할 수 있다. 또한, 최대평균값추출부(220)는 위의 방법과 같은 방식으로 1행과 2행, 즉 (n-1)행과 n행에 대한 최대평균값을 행별로 추출하여 대기강도후보군추정부(230)로 제공한다.
대기강도후보군추정부(230)는 행별로 순차적으로 입력되는 밝기평균값의 최대값을 서로 비교하며 후보군을 추정한다. 예를 들어, 1행과 2행을 비교하여 2행의 밝기평균값이 크면 2행의 밝기평균값의 최대값을 후보군으로 추정한다. 이어, 해당 후보군으로 추정된 최대값을 3행의 밝기평균값의 최대값과 비교한 결과 3행의 값이 더 크면 추정한 후보군을 갱신 또는 변경한다.
대기강도후보군추정부(230)는 이와 같은 방식으로 후보군을 추정하며, 대기강도추정부(240)는 행별로 후보군을 추정하는 과정에서 마지막 행까지 최대값을 비교하여 최종적으로 대기강도를 추정할 수 있다.
물론 본 발명의 실시예에서는 후보군 추정을 위하여 기준값을 설정하고, 기준값을 넘는 행의 최대값을 먼저 후보군으로 분류하고, 대기강도추정부(240)에서는 분류된 후보군들 중에 다시 특정 기준을 근거로 최종적으로 대기강도를 추정하는 방법도 얼마든지 사용할 수 있을 것이다. 따라서, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않지만, 가급적 후보군추정 이후에 대기강도를 추정하는 것이 바람직할 수 있다.
도 6은 안개가 입력 영상의 윗부분을 차지하는 것을 보여주는 도면이다.
도 6을 참조하면, 대기강도 추정을 위하여 입력 영상의 윗부분만 계산함으로써 대기 강도 추정을 위한 연산량을 크게 줄일 수 있게 되는 것이다. 앞서 언급한 대로 카메라의 촬영영상은 먼 거리에서 안개가 감지되므로, 이의 경우 1/2 영역에 대하여만 대기 강도 추정을 위한 연산을 수행하지만, 이는 카메라의 유형이나 카메라를 어떠한 장치에 적용하느냐에 따라 얼마든지 달라질 수 있는 것이므로, 본 발명의 실시예에서는 패치의 적용 영역에 대하여 특별히 한정하지는 않을 것이다.
도 7은 기존 쿼드 알고리즘(a)과 본 발명의 실시예에 따른 패치 사용 알고리즘(b)의 대기 강도 추정 결과를 비교하여 나타낸 도면이다.
도 7에서 볼 때, 빨간색 표시가 각 알고리즘의 대기 강도를 추정한 결과를 나타낸다. 각 방식으로 추정된 대기 강도가 유사한 것을 도 10을 통해 확인할 수 있으며, 쿼드트리 알고리즘은 입력영상 전체를 고려하여 대기 강도를 구하는 반면, 본 발명의 실시예에 따른 방법은 영상의 절반만 고려하여 대기 강도를 구하기 때문에 연산량에서 장점이 있다. 즉, 연산량을 기존의 방법보다 줄일 수 있으며 결과는 동등한 성능을 나타내는 장점이 있다.
도 7에서 종래의 대기 강도 추정 방법인 쿼드트리 방법과 본 발명의 실시예에 따른 기술의 결과를 비교하였다. 빨간색의 네모박스가 각 기술의 대기 강도 추정 결과이다. 종래의 기술과 대기 강도 추정 값이 거의 동일하며 오히려 본 발명의 실시예에 따른 기술은 하드웨어로 구현하기 용이하다는 장점과 입력 영상의 절반만 고려하기 때문에 연산량을 줄일 수 있다. 종래의 기술인 쿼드트리 알고리즘의 대기 강도 추정 방법은 영상 전체에 대해 4개로 분할하고 4개의 분할된 밝기평균값 중에서의 최대값을 정하고, 다시 4개로 분할하는 과정을 거치면서 하드웨어 설계시 프레임 메모리가 필수적으로 필요하게 되며 실시간 처리가 어렵다.
도 8은 단일 영상의 안개 제거를 위해 논문에서 자수 사용되고 있는 IVC 데이터세트(dataset) 영상을 나타내는 도면이다.
도 8에서의 그림들은 실세계의 실외 이미지를 촬영한 영상들이며, 빨간선 기준으로 상단에 안개들이 분포해 있는 것을 확인할 수 있다. 즉, 하단 부분에는 카메라와의 거리가 가까워 안개성분들이 잘 포착되지 않는다. 그렇기 때문에 안개 성분이 적은 하단 부분을 고려하지 않음으로써 대기강도 추정 시 연산량을 절반으로 줄일 수 있는 장점이 있다.
도 9는 본 발명의 실시예에 따른 대기 강도 추정 과정의 흐름도이다.
설명의 편의상 도 9를 도 2와 함께 참조하면, 도 2의 영상 처리부(혹은 대기강도추정장치)(113')는 S910 단계에서 S940 단계를 반복하게 된다. 이러한 이유는 패치가 1부터 128개까지 사용이 되는데 다음 행의 밝기의 최대값을 구하기 위해 이전 행의 패치값들은 초기화되면서 다시 재사용한다. 물론, 패치를 어떠한 방식으로 적용하여 계산하는지에 따라 방법은 상이할 수 있지만, 본 발명의 실시예에서는 행별로 순차적으로 패치를 적용하여, 입력 영상의 1/2의 높이까지 패치를 적용하는 것으로 가정한다.
첫 번째 행 기준으로 패치에 둘러싸인 픽셀의 밝기 평균값들을 패치 1부터 순서대로 추출하게 되고(S920), 추출된 밝기 평균값들에 대해서 차례대로 대소비교를 통해 최대값을 얻는다(S930). 첫 번째 행 기준으로 얻은 밝기 평균값 중의 최대값을 대기 강도 후보 추정이 된다. 이때, 첫 번째 행에서 구했던 패치의 밝기 평균값들은 y_jump 구간에서 리셋이 되기 때문에 두 번째 행에서 그대로 사용할 수 있고, 두 번째 행도 상기와 같은 방법으로 밝기 평균값의 최대값을 추출하게 된다. 그리고 첫 번째 행과 두 번째 행의 대기 강도 후보 중 최대값을 계산한다. 이러한 과정을 반복하여 마지막 행의 대기 강도 후보를 구하게 되면 최종적으로 안개 영상의 대기 강도 추정을 하게 된다. 본 발명의 실시예에서 하드웨어 복잡도가 낮은 이유는 행이 바뀔 때 마다 패치를 재사용하기 때문이다.
도 10은 하드웨어에서의 대기 강도 추출 방법을 설명하기 위한 도면이다.
설명의 편의상 도 10을 도 2와 함께 참조하면, 본 발명의 실시예에 따른 영상 처리부(혹은 대기강도추정장치)(113')는, 하드웨어에서의 대기강도를 추출하는 방법으로서, 먼저 각 패치 내의 픽셀들의 밝기 평균값을 구하고 첫 번째 행(1000_1)끼리, 즉 패치끼리 차례대로 대소비교를 통해 첫 번째 행(1000_1)의 최대값을 추출한다(S930_1). 즉, patch1과 patch2와 비교하고 큰 값을 patch3과 비교한다. 단, 여기서 행은 픽셀단위가 아닌 패치 기준의 행을 의미한다.
그리고 첫 번째 행(1000_1)에서 사용했던 각 패치들은 첫 번째 행(1000_1)의 최대값이 추출되자마자 초기화(초기화는 각 패치 내의 픽셀의 밝기 평균값들이 0이 되는 것을 의미한다)되면서 두 번째 행(1000_2)에서 재사용 되고 이러한 방법으로 N번째 행(1000_N)까지 진행된다. 그래서 제안하는 방법은 패치가 최대 128개만 있으면 4K 영상까지 적용할 수 있으며 또한 패치들을 재사용하기 때문에 이 부분에서도 하드웨어 구조를 줄일 수 있다.
좀더 살펴보면, 먼저 패치 내의 픽셀들의 밝기 평균값을 구하기 위해 도 5에서 설명했던 패치 1부터 패치 n까지 각 패치 내부의 포함된 픽셀들을 모두 더한다. 그리고 폭×높이(width×height)의 값을 나눠줌으로써 각 패치의 평균을 구할 수 있다. 이때 하드웨어에서는 나누기를 쓰기 위해 플립플롭이 많이 들어가는 분할 모듈을 사용하게 되는데, 본 발명의 실시예에서는 하드웨어 크기를 차지하는 분할 모듈을 사용하지 않고, 단순한 시프트(shift) 혹은 시프터를 사용하기 위해 폭과 높이를 2의 제곱승의 크기로 제한한다. 만약 패치의 폭이 32(25)이고, 높이가 16(24)일 경우, 폭×높이는 512로써 29이 된다. 그럼 하드웨어에서는 분할기(devider)를 쓰지 않고 시프트를 (예: 시프트는 소수점 이동이기 때문에 하드웨어 크기를 차지하지 않는다.) 사용함으로써 9자리 만큼 소수점 자리만 이동시켜준다. 즉 하드웨어에서는 2진수를 사용하기 때문에 0, 1로 이루어져 있고, 각 자리는 2의 승수로 표현할 수 있기 때문에 이러한 특성을 이용하여 시프트를 통해 나눗셈을 대체할 수 있다(Patch 1 ~ Patch 128).
각 패치의 밝기 평균값이 구해지면 패치 1과 패치 2의 대소비교를 통해 더 큰 값의 평균값을 선택하게 되고 이 값은 다음 패치 3과 대소비교를 하게 된다. 이렇게 순차적으로 n개의 패치까지 대소비교를 하게 되면 한 행에 대한 최대값을 추출하게 된다. 대소비교의 방식은 이전 패치의 평균값과 다음 패치의 평균값을 뺄셈을 하게 되는데 이때 하드웨어에서는 이전 패치의 평균값이 다음 패치의 평균값보다 클 경우 부호를 뜻하는 MSB(Most Significant Bit, 최상위 비트)는 0이 되고, 다음 패치가 이전 패치의 평균값보다 클 경우 MSB는 1이 된다(예: MSB 1은 음수를 뜻한다). 예를 들면 A가 이전 패치의 밝기 평균값, B가 다음 패치의 밝기 평균값이라 할 경우, A-B가 양수이거나 0이면 MSB는 0이기 때문에 MSB 값을 기준으로 이전 패치의 밝기평균값을 선택하게 되고 A-B가 음수이면 MSB는 1이기 때문에 MSB 값을 이용하여 다음 패치의 밝기 평균값이 크다는 것을 인지하여 다음 패치의 평균값을 선택하게 된다. 이러한 대소비교 과정을 n개의 패치까지 적용하여 한 행에 대한 패치 밝기 평균값에 대한 최대값을 추출한다(S930_1 ~ S930_k). S930_1 ~ S930_k까지의 과정은 k행의 패치까지 진행된다.
각각의 S930 단계에서 추출한 한 행에 대한 최대값은 S930 단계가 유사한 방식으로 가령 첫 번째 행(1000_1)의 밝기 최대값과 두 번째 행(1000_2)의 밝기 최대값의 대소비교를 통해 대기 강도 후보 추정을 하게 된다(S940_1). 그리고 대기 강도 후보 추정값과 다음 행인 세 번째 행(1000_3)의 밝기 최대값과 대소비교를 하게 된다. 순차적인 대소비교는 S940_(k)까지 진행되며 S940_k에서 대소비교를 통한 최대값이 입력 영상의 대기 강도가 되는 것이다.
상기한 내용 이외에도 도 2의 영상 처리부(113') 혹은 대기강도추정장치는, 다양한 동작을 수행할 수 있으며, 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 영상 수신부 110, 113': 영상 처리부
111: 제어부 113, 240: 대기강도추정부
120: 저장부 200: 패치적용부
210: 밝기평균값추출부 220: 최대평균값추출부
230: 대기강도후보군추정부 290: 입력 영상
300: 패치

Claims (10)

  1. 적색(R), 녹색(G), 청색(B)의 컬러를 갖는 일련의 단위 프레임 영상으로 안개가 포함되는 단일 영상을 수신하는 영상 수신부; 및
    상기 수신한 적(R), 녹(G), 청(B)의 단일 영상을 매크로블록 단위로 분할한 그레이 스케일 영상으로 변환한 후, 최소 필터(minfilter)를 통과시켜 얻은 영상에 상기 수신한 단일 영상의 크기에 따라 결정되는 기설정된 크기를 갖는 복수의 패치(patch)를 연산량을 줄이기 위하여 상기 수신한 단일 영상의 일 방향(height)을 기준으로 일부 영역의 행에 대하여 패치를 행(line)별로 적용하여 패치 영역에서의 평균 밝기값을 계산하고, 상기 계산한 평균 밝기값의 최대값을 행간 비교하여 대기강도 후보를 추정하며, 마지막 행까지 평균 밝기값의 최대값을 비교하여 상기 단일 영상의 대기 강도를 추출하는 영상 처리부;를 포함하되,
    패치 사용 개수에 따른 수식은 [수학식 2]로 표현되고, 패치의 행의 개수는 [수학식 3]으로 표현되는 것을 특징으로 하는 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치.

    [수학식 2]
    Figure 112020073309637-pat00004

    상기 수학식 2에서,
    x_start는 패치의 x축의 시작점이고, width는 패치의 넓이이고, n은 패치의 개수이고, x_jump는 패치간 x축 간격이며, img_width는 입력 영상의 넓이을 의미함.
    [수학식 3]
    Figure 112020073309637-pat00005

    상기 수학식 3에서,
    y_start는 패치의 y축의 시작점이고, height는 패치의 높이이고, k는 패치의 행의 개수이고, y_jump는 패치간 y축 간격이며, img_height는 입력 영상의 높이를 의미함.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 영상 처리부는, 상기 단일 영상이 4K 영상인 경우, 행에 적용하는 상기 복수의 패치를 128개 이내의 범위에서 사용하는 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치.
  6. 영상 수신부와 영상 처리부를 포함하여 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치의 구동방법으로서,
    적색(R), 녹색(G), 청색(B)의 컬러를 갖는 일련의 단위 프레임 영상으로 안개가 포함되는 단일 영상을 수신하는 단계; 및
    상기 영상 처리부가, 상기 수신한 적(R), 녹(G), 청(B)의 단일 영상을 매크로블록 단위로 분할한 그레이 스케일 영상으로 변환한 후, 최소 필터(minfilter)를 통과시켜 얻은 영상에 상기 수신한 단일 영상의 크기에 따라 결정되는 기설정된 크기를 갖는 복수의 패치(patch)를 연산량을 줄이기 위하여 상기 수신한 단일 영상의 일 방향(height)을 기준으로 일부 영역의 행에 대하여 패치를 행(line)별로 적용하여 패치 영역에서의 평균 밝기값을 계산하고, 상기 계산한 평균 밝기값의 최대값을 행간 비교하여 대기강도 후보를 추정하며, 마지막 행까지 평균 밝기값의 최대값을 비교하여 상기 단일 영상의 대기 강도를 추출하는 단계;를 포함하되,
    패치 사용 개수에 따른 수식은 [수학식 2]로 표현되고, 패치의 행의 개수는 [수학식 3]으로 표현되는 것을 특징으로 하는 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치의 구동방법.

    [수학식 2]
    Figure 112020073309637-pat00006

    상기 수학식 2에서,
    x_start는 패치의 x축의 시작점이고, width는 패치의 넓이이고, n은 패치의 개수이고, x_jump는 패치간 x축 간격이며, img_width는 입력 영상의 넓이을 의미함.
    [수학식 3]
    Figure 112020073309637-pat00007

    상기 수학식 3에서,
    y_start는 패치의 y축의 시작점이고, height는 패치의 높이이고, k는 패치의 행의 개수이고, y_jump는 패치간 y축 간격이며, img_height는 입력 영상의 높이를 의미함.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 대기 강도를 추출하는 단계는,
    상기 단일 영상이 4K 영상인 경우, 행에 적용하는 상기 복수의 패치를 128개 이내의 범위에서 사용하는 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치의 구동방법.
KR1020190104305A 2019-08-26 2019-08-26 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법 KR102149974B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190104305A KR102149974B1 (ko) 2019-08-26 2019-08-26 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190104305A KR102149974B1 (ko) 2019-08-26 2019-08-26 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법

Publications (1)

Publication Number Publication Date
KR102149974B1 true KR102149974B1 (ko) 2020-08-31

Family

ID=72234282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104305A KR102149974B1 (ko) 2019-08-26 2019-08-26 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법

Country Status (1)

Country Link
KR (1) KR102149974B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937144A (zh) * 2022-12-08 2023-04-07 郑州大学 一种胸腔镜术中图像处理方法及系统
KR102544504B1 (ko) 2022-08-18 2023-06-20 (주)에스알디코리아 안개 인식 소산 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141209A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置及び画像霧除去方法
KR20140142381A (ko) 2013-05-28 2014-12-12 삼성테크윈 주식회사 단일영상 내의 안개 제거 방법 및 장치
KR101798911B1 (ko) 2016-06-02 2017-11-17 한국항공대학교산학협력단 선택적 대기 강도 추정에 기반한 안개 제거 방법 및 장치
KR101827361B1 (ko) 2016-12-08 2018-02-08 한국항공대학교산학협력단 안개 제거를 위한 대기 강도 추정 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141209A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置及び画像霧除去方法
KR20140142381A (ko) 2013-05-28 2014-12-12 삼성테크윈 주식회사 단일영상 내의 안개 제거 방법 및 장치
KR101798911B1 (ko) 2016-06-02 2017-11-17 한국항공대학교산학협력단 선택적 대기 강도 추정에 기반한 안개 제거 방법 및 장치
KR101827361B1 (ko) 2016-12-08 2018-02-08 한국항공대학교산학협력단 안개 제거를 위한 대기 강도 추정 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Single image dehazing with image entropy and information fidelity" IEEE International Conference on Image Processing(2014), pp. 4037-4041
Bin Zhang ET AL:"Hardware Implementation for Real-Time Haze Removal", IEEE Transactions on Very Large Scale Integration (VLSI) Systems, Volume: 25, Issue: 3, March 2017(2017.03.31.) 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102544504B1 (ko) 2022-08-18 2023-06-20 (주)에스알디코리아 안개 인식 소산 시스템
CN115937144A (zh) * 2022-12-08 2023-04-07 郑州大学 一种胸腔镜术中图像处理方法及系统
CN115937144B (zh) * 2022-12-08 2023-08-25 郑州大学 一种胸腔镜术中图像处理方法及系统

Similar Documents

Publication Publication Date Title
CN109308711B (zh) 目标检测方法、装置及图像处理设备
EP2568438B1 (en) Image defogging method and system
KR101096825B1 (ko) 이미지 처리방법, 처리장치, 및 프로그램
US10559067B2 (en) Removal of shadows from document images while preserving fidelity of image contents
WO2017076040A1 (zh) 应用于连拍过程中的图像处理方法和装置
WO2018040756A1 (zh) 一种车身颜色识别的方法及装置
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
US20100135575A1 (en) Apparatus and method for reducing artifacts in images
EP2104918B1 (en) System and method for reducing artifacts in images
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
KR960706644A (ko) 단안시 시스템용 배경 결정 및 제거를 위한 방법 및 장치(method and apparatus for background determination and subtraction for a monocular vision system)
KR102149974B1 (ko) 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법
WO2020113989A1 (en) Method and system for image processing
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
CN108805838B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
JP2017085570A (ja) 画像補正方法及び画像補正装置
KR102395305B1 (ko) 저조도 영상 개선 방법
EP3407252B1 (en) Image processing apparatus, image processing method, and storage medium
JP2011076302A (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
KR102118783B1 (ko) 조명환경에 강인한 색상 필터링을 위한 전처리 방법 및 그 시스템
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
CN108810407B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
WO2015189369A1 (en) Methods and systems for color processing of digital images
CN115829848A (zh) 处理图形符号的方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant