KR101583430B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101583430B1
KR101583430B1 KR1020140130671A KR20140130671A KR101583430B1 KR 101583430 B1 KR101583430 B1 KR 101583430B1 KR 1020140130671 A KR1020140130671 A KR 1020140130671A KR 20140130671 A KR20140130671 A KR 20140130671A KR 101583430 B1 KR101583430 B1 KR 101583430B1
Authority
KR
South Korea
Prior art keywords
image
scattered light
value
block
local
Prior art date
Application number
KR1020140130671A
Other languages
English (en)
Inventor
고한석
박두복
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020140130671A priority Critical patent/KR101583430B1/ko
Application granted granted Critical
Publication of KR101583430B1 publication Critical patent/KR101583430B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 안개로 인해 화질이 저하된 영상의 화질을 개선할 수 있는 영상 처리 방법 및 장치에 대한 것이다.
본 발명의 일실시예에 의한 영상 처리 방법은 그레이(gray) 영상으로 변환된 입력 영상을 소정 개수의 블록으로 분할하고, 상기 분할된 각 블록에 대해 최소값 필터링을 수행하여, 상기 각 블록에 대해 지역적 산란광을 추정하는 단계-상기 최소값 필터링은 상기 각 블록의 최소 픽셀값을 상기 각 블록의 대표값으로 지정하는 것을 의미함-; 상기 각 블록에 대해 영상 엔트로피를 포함하는 목적 함수를 최대화하는 전달량을 추정하는 단계-상기 영상 엔트로피는 영상에서 화소값의 분포 정도를 나타내는 값으로 전달량을 변수로 포함함-; 및 상기 추정된 지역적 산란광 및 전달량을 이용하여 상기 입력 영상을 복원하는 단계를 포함할 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}
본 발명은 영상 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 안개로 인해 화질이 저하된 영상의 화질을 개선할 수 있는 영상 처리 방법 및 장치에 관한 것이다.
일반적으로 야외에 설치된 카메라의 경우, 비와 눈, 안개 등과 같은 날씨 변화는 카메라를 통해 획득한 영상의 화질에 영향을 미친다. 비와 눈은 그 입자가 크고 영상에서 산발적으로 발생하여 빠르게 변한다. 반면에 안개는 영상 전반에 걸쳐 발생하여 그로 인한 화질 저하가 비교적 균일하고 지속적으로 유지되는 특성이 있다.
안개는 대기 중 수증기가 응결하여 지표 가까이에 작은 입자 형태로 떠 있는 자연 현상이다. 안개로 인한 가시성 저하는 대기 중의 안개 입자가 전달되는 빛과 충돌하여 산란을 일으키는데 그 원인이 있다. 산란에 의해 발생하는 빛을 산란광(air-light)이라 하며 이는 모든 파장 범위에 동일하게 존재하여 안개가 낀 날씨에서 피사체들은 뿌옇게 보인다. 산란광으로 인해 가시성이 감쇄된 영상은 명암이 뚜렷하지 않고 채도가 낮은 특징을 가진다. 이러한 특징은 영상의 대조비와 채도의 저하로 설명될 수 있다.
안개로 인해 영상 화질이 저하된 영상을 개선하는 방법은 여러 가지 방식을 통해 개발되어 왔다. 관련 선행 문헌으로 대한민국 등록특허 10-1418185호가 있다. 초창기에는 편광필터를 통한 접근 방법이 제시되었으나 실용적이지 못하다.
따라서 안개 영상을 효과적으로 제거하여 복원하는 기술에 대한 연구가 필요한 실정이다.
본 발명의 목적은 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시키기 위한 영상 처리 방법 및 장치를 제공하는 데 있다.
상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 그레이(gray) 영상으로 변환된 입력 영상을 소정 개수의 블록으로 분할하고, 상기 분할된 각 블록에 대해 최소값 필터링을 수행하여, 상기 각 블록에 대해 지역적 산란광을 추정하는 단계-상기 최소값 필터링은 상기 각 블록의 최소 픽셀값을 상기 각 블록의 대표값으로 지정하는 것을 의미함-; 상기 각 블록에 대해 영상 엔트로피를 포함하는 목적 함수를 최대화하는 전달량을 추정하는 단계-상기 영상 엔트로피는 영상에서 화소값의 분포 정도를 나타내는 값으로 전달량을 변수로 포함함-; 및 상기 추정된 지역적 산란광 및 전달량을 이용하여 상기 입력 영상을 복원하는 단계를 포함하는 영상 처리 방법이 개시된다.
상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 입력 영상을 수신하는 입력부; 그레이(gray) 영상으로 변환된 입력 영상을 소정 개수의 블록으로 분할하고, 상기 분할된 각 블록에 대해 최소값 필터링을 수행하여, 상기 각 블록에 대해 지역적 산란광을 추정하는 산란광 추정부-상기 최소값 필터링은 상기 각 블록의 최소 픽셀값을 상기 각 블록의 대표값으로 지정하는 것을 의미함-; 상기 각 블록에 대해 영상 엔트로피를 포함하는 목적 함수를 최대화하는 전달량을 추정하는 전달량 추정부-상기 영상 엔트로피는 영상에서 화소값의 분포 정도를 나타내는 값으로 전달량을 변수로 포함함-; 및 상기 추정된 지역적 산란광 및 전달량을 이용하여 상기 입력 영상을 복원하는 복원부; 및 상기 입력부, 상기 산란광 추정부, 상기 전달량 추정부 및 상기 복원부를 제어하는 제어부를 포함하는 영상 처리 장치가 개시된다.
본 발명의 일실시예에 의한 영상 처리 방법 및 장치는 안개로 인해 대조비 및 색감이 열화된 상황에서도 영상 내 텍스쳐(texture) 및 객체 정보를 효과적으로 추출할 수 있다.
또한, 본 발명의 일실시예에 의한 영상 처리 방법 및 장치는 컴퓨터 비젼(Computer vision)에 있어 영상 전처리 기술로, 지능형 감시 시스템, 디지털 카메라 등 다양한 시스템에서 활용될 수 있다.
도 1은 본 발명의 일실시예와 관련된 대기 광학 모델 구조를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예와 관련된 영상 처리 장치를 나타내는 블록도이다.
도 3은 본 발명의 일실시예와 관련된 영상 처리 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일실시예와 관련된 영상 처리 방법에서 지역적 산란광 추정 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예와 관련된 안개 영상과 지역적 산란광 추정의 결과를 나타내는 영상이다.
도 6은 본 발명의 일실시예와 관련된 전달량 추정 과정에서의 함수별 변화량을 나타내는 도면이다.
도 7은 본 발명의 일실시예와 관련된 영상 처리 방법의 각 과정별 결과 영상을 나타내는 도면이다.
도 8은 본 발명의 일실시예와 관련된 영상 처리 방법에서 지역적 산란광 추정 및 정련 과정의 결과 영상을 나타내는 도면이다.
도 9은 입력 영상과 본 발명의 일실시예와 관련된 영상 처리 방법을 통해 복원된 결과 영상이다.
이하, 본 발명의 일실시예와 관련된 영상 처리 방법 및 장치에 대해 도면을 참조하여 설명하도록 하겠다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
본 명세서에서 입력 영상이라 함은 안개로 인해 화질이 저하된 영상을 말하고, 복원된 영상이라 함은 안개가 제거된 영상을 말한다.
본 발명의 일실시예에 의한 영상 처리 방법은 안개 영상 개선을 위해 대기 광학 모델(optical model)에 기반하여 영상 처리를 수행할 수 있다.
도 1은 본 발명의 일실시예와 관련된 대기 광학 모델 구조를 설명하기 위한 도면이다.
도시된 바와 같이, 대기 광학 모델에서 입력 영상은 안개를 포함한 영상으로, 상기 입력 영상은 하기 수학식 1로 표현될 수 있다.
본 발명의 일실시예에 의한 영상 처리 방법은 안개 영상 개선을 위해 대기 광학 모델(optical model)을 기반으로 한다. 상기 대기 광학 모델은 도 1과 같이 표현이 가능하며 수식적으로는 하기 수학식 1과 같이 표현할 수 있다.
Figure 112014093113905-pat00001
상기 수학식 1에서 I는 센서로 입력되는 영상, x는 영상 내 픽셀 좌표, J는 안개가 제거된 영상, t는 전달량, A는 전역 대기 산란광으로 일반적으로 영상에서 상수 값을 가진다. A의 경우 인공적인 산란광으로 인해 전역적이지 않을 수 있기 때문에, 본 발명의 일실시예에서는 하기 수학식 2와 같은 광학 모델을 기반으로 안개가 제거된 영상을 복원할 수 있다.
Figure 112014093113905-pat00002
이하에서는 상기 수학식 2로 표현되는 광학 모델을 이용하여 입력 안개 영상을 복원하는 방법에 대해 설명하기로 한다.
도 2는 본 발명의 일실시예와 관련된 영상 처리 장치를 나타내는 블록도이다.
도시된 바와 같이, 영상 처리 장치(100)는 입력부(110), 산란광 추정부(120), 전달량 추정부(130), 정련부(140), 복원부(150), 및 제어부(160)를 포함할 수 있다.
입력부(110)는 입력 영상을 수신할 수 있다. 상기 입력 영상에는 안개가 포함되어 있다.
산란광 추정부(120)는 지역적 대기 산란광 추정을 위해 먼저 입력 영상을 그레이(gray) 영상으로 변환한 후 MxM의 블록으로 나누고, 각 블록마다 최소값 필터링을 수행할 수 있다. 상기 최소값 필터링은 상기 각 블록의 최소 픽셀값을 상기 각 블록의 대표값으로 지정하는 것을 의미한다. 산란광 추정부(120)는 상기 최소값 필터링 수행된 그레이 영상에서 쿼드 트리 서브디비전(quad-tree subdivision)을 통해 하한 산란광 값(Alow _ threshold)을 구할 수 있다. 그런 후에, 산란광 추정부(120)는 구해진 하한 산란광 값(Alow _ threshold)을 이용하여 지역적 산란광 값을 추정할 수 있다. 지역적 산란광을 추정하는 구체적인 방법에 대해서는 후술하도록 하겠다.
전달량 추정부(130)는 전달량 값에 대한 엔트로피(entropy), 정보 신뢰성(information fidelity) 및 다이내믹 레인지(dynamic range) 중 적어도 하나를 포함하는 목적 함수를 최대화할 수 있는 전달량을 추정할 수 있다. 전달량은 산란되지 않고 카메라로 들어오는 빛의 양을 말한다. 상기 전달량은 depth에 반대되는 개념으로, 거리가 멀수록 전달량이 낮다. 그리서 상기 전달량은 0보다 크고 1보다 작거나 같은 값을 가질 수 있다.
영상 엔트로피는 영상에서 화소값의 분포 정도를 표현하는 값이다. 화소값의 분포가 좁은 영상은 엔트로피 값이 작으며 반대로 화소값의 분포가 넓은 영상은 엔트로피 값이 크게 된다. 따라서 안개 영상이 안개가 없는 영상보다 엔트로피 값이 작게 된다.
정보 신뢰성은 영상 표현 범위에 존재하는 화소값의 비율이다. 예를 들어, 8bit 영상의 경우 화소값이 0~255으로 표현될 수 있다. 이때 전체 영상에서 0~255안에 존재하는 화소값의 비율이 정보 신뢰성이 된다. 전달량 추정의 경우 지역적 산랑광(A)을 알고 있다면 임의의 t값을 통해 아래 수학식 2를 이용하여 안개가 제거된 J를 구할 수가 있다. 이때 낮은 t값의 경우 J의 값이 0~255 범위를 벗어날 수 있다. 이럴 경우 영상 왜곡이 발생할 수 있기 때문에 정보 신뢰성 측정을 통해 오류를 최소화할 수 있다.
다이내믹 레인지는 영상 내 존재하는 화소값들의 최대값과 최소값의 차이로 값이 클수록 대조비가 좋다고 할 수 있다. 안개 영상의 경우 다이내믹 레인지 값이 안개가 제거된 영상에 비해 낮은 값을 가지게 된다.
목적 함수를 최대화하는 전달량을 추정하는 구체적인 방법은 후술하도록 하겠다.
정련부(140)는 블록의 경계 영역에서 발생하는 블록 결함을 정련할 수 있다. 상기 정련을 위해 정련부(140)는 상기 산란광 추정부(120) 및 전달량 추정부(130)에서 추정된 지역적 산란광 및 전달량을 WLS(Weighted Least Squares) 최적화 방법을 통해 보정할 수 있다. 상기 WLS(Weighted Least Squares) 최적화 방법을 통해 추정된 지역적 산란광 및 전달량을 보정하는 방법에 대해서는 후술하도록 하겠다.
복원부(150)는 상기 산란광 추정부(120) 및 전달량 추정부(130)에서 추정된 지역적 산란광 및 전달량 또는 정련부(140)에서 보정된 지역적 산란광 및 전달량을 상기 수학식 2에 대입하여 입력 영상에서 안개가 제거된 영상을 복원할 수 있다.
제어부(160)는 상기 입력부(110), 상기 산란광 추정부(120), 전달량 추정부(130), 정련부(140), 및 복원부(150)를 전반적으로 제어할 수 있다.
도 3은 본 발명의 일실시예와 관련된 영상 처리 방법을 나타내는 흐름도이다.
입력부(110)는 입력 영상을 수신할 수 있다(S310).
산란광 추정부(120)는 최소값 필터링을 통해 지역적 산란광을 추정할 수 있다(S320).
산란광 추정부(120)는 먼저 입력 영상을 그레이(gray) 영상으로 변환한다. 산란광 추정부(120)는 상기 그레이 영상을 MxM의 블록으로 나누고, 각 블록마다 하기 수학식 3과 같이 최소값 필터링을 수행할 수 있다.
Figure 112014093113905-pat00003
상기 수학식 3에서 L은 gray 영상으로 변환된 입력 안개 영상, y는 나눠진 블록 내 픽셀의 좌표이다.
산란광 추정부(120)는 수학식 3을 통해 변환된 영상에서 쿼드 트리 서브 디비전(quad-tree subdivision)을 통해 최종적으로 선별된 영역의 컬러 영상에서 ∥(rx, gx, bx)-(1, 1, 1)∥값을 최소화하는 하한 산란광 값 Alow _ threshold를 추정할 수 있다. Quad-tree subdivision은 영상을 4 영역으로 분할한 후, 분할된 4영역 중 평균 화소값이 높은 한 영역만을 다시 4 등분으로 분할하는 방식을 말한다.
산란광 추정부(120)는 하한 산란광 값을 통해 최종적으로 지역적 산란광을 하기 수학식 4를 통해 추정할 수 있다.
Figure 112014093113905-pat00004
여기서, Alow _ threshold는 하한 산란광을 의미하고, Alocal은 각 블록에 대한 국부 지역적 산란광을 의미한다. ρ는 사용자 정의 값이다.
도 4는 본 발명의 일실시예와 관련된 영상 처리 방법에서 지역적 산란광 추정 과정을 설명하기 위한 도면이다.
도 4(a)는 입력 영상(안개 영상)을 나타내고, 도 4(b)는 그레이 영상으로 변환된 입력 영상을 나타내고, 도 4(c)는 최소값 필터링을 수행하지 않고 Quad-tree subdivision 결과를 나타내고, 도 4(d)는 최소값 필터링 후, Quad-tree subdivision 결과를 나타낸다.
Alow _ threshold는 영상 내에서 가장 거리가 먼 영역의 화소값을 의미하며 대체적으로 높은 화소값을 가지게 된다. 만약, 기존 방법의 경우 최소값 필터링을 하지 않고 quad-tree subdivision을 수행할 경우 근거리에 존재하는 밝은 화소값들로 인해 도 4(c)와 같이 잘못된 영역이 선택되게 될 수 있다.
하지만 최소값 필터링을 하게 될 경우, 근거리 영역은 그늘이나 낮은 화소값을 포함하고 있기 때문에 도 4(d)와 같이 화소값이 낮은 값으로 변환되기 때문에 quad-tree subdivision을 수행할 경우 올바른 영역을 선택되게 된다. 따라서 최소값 필터링을 통해 하한 산란광의 올바른 선택을 할 수 있다.
한편, 상기 수학식 4에서 Alocal은 다음과 같이 구해질 수 있다.
Alocal은 A의 하한값을 설정할 때와 같이 먼저 영상을 MxM으로 분할한다. 다음에 각 분할된 영역에 대해 ∥(rx, gx, bx)-(1, 1, 1)∥을 최소화 하는 값을 그 영역에서의 값으로 사용하게 된다. Alocal(x)의 영상 결과는 도 5와 같다.
도 5는 본 발명의 일실시예와 관련된 안개 영상과 지역적 산란광 추정의 결과를 나타내는 영상이다. 도 5(a)는 입력 영상(안개 영상)을 나타내고, 도 5(b)는 Alocal(x)의 영상을 나타낸다.
전달량 추정부(130)는 전달량 값에 대한 엔트로피(entropy), 정보 신뢰성(information fidelity) 및 다이내믹 레인지(dynamic range) 중 적어도 하나를 포함하는 목적 함수를 최대화할 수 있는 전달량을 추정할 수 있다(S330).
엔트로피(entropy)은 하기 수학식 5로 표현되고, 정보 신뢰성(information fidelity)은 하기 수학식 6 및 수학식 7로 표현되고, 다이내믹 레인지(dynamic range)는 하기 수학식 8로 표현될 수 있다. 또한 엔트로피(entropy), 정보 신뢰성(information fidelity) 및 다이내믹 레인지(dynamic range)으로 이루어진 목적 함수는 하기 수학식 9로 표현될 수 있다.
Figure 112014093113905-pat00005
수학식 5에서 N은 전체 화소의 개수, hi는 i 화소값(intensity)의 개수이다.
Figure 112014093113905-pat00006
수학식 6에서 c는 각 r,g,b 채널을 의미한다.
Figure 112014093113905-pat00007
수학식 7에서 x는 화소의 좌표, δ는 Kronecker delta함수로 주어진 조건에 따라 1 또는 0의 값을 가진다.
Figure 112014093113905-pat00008
수학식 8에서 Jgray는 도 4(b)와 같이 gray scale로 변환된 영상이다.
Figure 112014093113905-pat00009
안개의 경우 거리에 대해 농도가 상이하기 때문에, 전달량 추정부(130)는 블록 단위로 목적 함수에 대한 수학식 9를 최대화하는 전달량을 추정할 수 있다.
최종적으로 k번째 블록의 추정된 전달량은 수학식 10과 같다.
Figure 112014093113905-pat00010
도 6은 본 발명의 일실시예와 관련된 전달량 추정 과정에서의 함수별 변화량을 나타내는 도면이다. 즉, 도 6은 상기 목적 함수를 기반으로 균일한 안개 영역에서의 각 함수별 그래프의 변화량을 보여준다. 목적 함수의 경우 일반적으로 위로 볼록(concave)한 형태를 가지기 때문에 유일한 최대값을 갖게 된다.
도 6(a)는 입력 영상(안개 영상)에서 전달량에 따른 영상 엔트로피, 정보 신뢰성, 다이나믹 레인지, 목적 함수 변화량을 나타낸다. 도 6(b)는 입력 안개 영상을 나타내고, 도 6(c)는 목적 함수를 최대화하는 전달량을 나타내고, 도6 (d)는 도 6(c)를 통해 복원된 영상을 나타낸다.
정련부(140)는 경계 영역에서 발생하는 블록 결함 (block artifact)을 최소화하기 위해 블록 단위로 추정된 산란광 및 전달량을 정련할 수 있다(S340).
정련부(140)는 WLS(Weighted Least Squares) 최적화 방법을 통해 경계 영역에서 발생하는 블록 결함 (block artifact)을 정련할 수 있다. WLS 기반 정련 방법은 수학식 11의 목적 함수를 최소화하는 해를 구하는 방식으로 수행될 수 있다.
Figure 112014093113905-pat00011
수학식 11은 전체적인 화소값은 유지하면서 영상의 주요한 엣지(edge)를 제외한 영역을 부드럽게(smoothing)하기 위한 목적 함수이다. 수학식 11에서 x는 화소의 좌표이며, t는 정련된 영상,
Figure 112014093113905-pat00012
는 전달량 추정 단계(S330) 단계에서 구한 전달량,
Figure 112014093113905-pat00013
는 smoothing 조절 변수로 값이 높을수록 엣지를 제외한 영역이 더 부드럽게 변하게 된다.
Figure 112014093113905-pat00014
는 영상의 가로축에 대한 1차 미분 값 (즉, 엣지를 나타낸다),
Figure 112014093113905-pat00015
는 세로축에 대한 1차 미분 값을 나타낸다. w는 각 축에 대한 엣지의 웨이트 값으로 웨이트가 높을수록 해당 좌표에서 smoothing이 덜 적용되게 된다.
Figure 112014093113905-pat00016
수학식 12는 가로, 세로축에 대한 w값을 표현한 것이다. h는 입력 안개 영상이 gray-scale로 변환된 뒤, 형태학적 영상처리가 된 영상이다. 형태학적 영상 처리란 영상 내에 미세한 texture들은 없애고 대표적인 엣지만 추출하는 처리 방법을 말한다. a, b는 마찬가지로 가로, 세로축을 나타내며
Figure 112014093113905-pat00017
는 0으로 나누어지는 것을 방지하기 위한 미세상수.
Figure 112014093113905-pat00018
는 강도 조절을 위한 변수로 낮을수록 h의 엣지를 많이 반영하게 된다.
상기 수학식 11의 미분을 통한 해는 하기 수학식 13과 같다.
Figure 112014093113905-pat00019
상기 수학식 13에서 A는 각 가로, 세로 방향에 대해 수학식 12의 가중치 값이 대각 성분에 포함된 행렬이며 D는 1차 미분 행렬 연산자이다.
도 7은 본 발명의 일실시예와 관련된 영상 처리 방법의 각 과정별 결과 영상을 나타내는 도면이다. 도 7(a)는 입력 영상(안개 영상)이고, 도 7(b)는 전달량 정련을 통해 복원된 영상이고, 도 7(c)는 수학식 10을 통해 추정된 지역 전달량을 나타내고, 도 7(d)는 WLS 최적화를 통해 정련된 전달량을 나타낸다.
한편, 지역적 산란광의 정련 과정도 상기 전달량 정련 과정과 유사하게 수행될 수 있다.
지역적 산란광 정련을 위한 함수는 하기 수학식 14 및 하기 수학식 15와 같다.
Figure 112014093113905-pat00020
수학식 14은 전체적인 화소값은 유지하면서 영상의 주요한 엣지(edge)를 제외한 영역을 부드럽게(smoothing)하기 위한 목적 함수이다. 수학식 14에서 x는 화소의 좌표이며, A는 정련된 영상,
Figure 112014093113905-pat00021
는 지역적 산란광 추정 단계(S320)에서 구한 지역적 산란광 ,
Figure 112014093113905-pat00022
는 smoothing 조절 변수로 값이 높을수록 엣지를 제외한 영역이 더 부드럽게 변하게 된다.
Figure 112014093113905-pat00023
는 영상의 가로축에 대한 1차 미분 값 (즉, 엣지를 나타낸다),
Figure 112014093113905-pat00024
는 세로축에 대한 1차 미분 값을 나타낸다. w는 각 축에 대한 엣지의 웨이트 값으로 웨이트가 높을수록 해당 좌표에서 smoothing이 덜 적용되게 된다.
Figure 112014093113905-pat00025
수학식 15는 가로, 세로축에 대한 w값을 표현한 것이다. h는 입력 안개 영상이 gray-scale로 변환된 뒤, 형태학적 영상처리가 된 영상이다. a, b는 마찬가지로 가로, 세로축을 나타내며
Figure 112014093113905-pat00026
는 0으로 나누어지는 것을 방지하기 위한 미세상수.
Figure 112014093113905-pat00027
는 강도 조절을 위한 변수로 높을수록 h의 엣지를 많이 반영하게 된다. 결국, 정련된 지역적 산란광은 수학식 16을 통해 정련된다.
Figure 112014093113905-pat00028
도 8은 본 발명의 일실시예와 관련된 영상 처리 방법에서 지역적 산란광 추정 및 정련 과정의 결과 영상을 나타내는 도면이다. 도 8(a)는 Quad-tree 검색하는 과정을 나타내고, 도 8(b)
Figure 112014093113905-pat00029
영상을 나타내고, 도 8(c)는 A(x) 영상을 나타낸다. 도 8(d)는
Figure 112014093113905-pat00030
를 나타내고, 도 8(e)는 정련된 도 8(b)영상을 나타내고, 도 8(f)는 정련된 도 8(c) 영상을 나타낸다.
복원부(150)는 최종적으로 추정된 지역 산란광 및 전달량을 통해 안개가 제거된 영상을 수학식 17을 통해 복원한다(S350).
Figure 112014093113905-pat00031
도 9은 입력 영상과 본 발명의 일실시예와 관련된 영상 처리 방법을 통해 복원된 결과 영상이다. 도 9(a)는 입력 영상(안개 영상)을 나타내고, 도 9(b)는 상기 입력 영상에서 안개가 제거된 복원된 영상을 나타낸다.
전술한 바와 같이, 본 발명의 일실시예에 의한 영상 처리 방법 및 장치는 안개로 인해 대조비 및 색감이 열화된 상황에서도 영상 내 텍스쳐(texture) 및 객체 정보를 효과적으로 추출할 수 있다.
또한, 본 발명의 일실시예에 의한 영상 처리 방법 및 장치는 컴퓨터 비젼(Computer vision)에 있어 영상 전처리 기술로, 지능형 감시 시스템, 디지털 카메라 등 다양한 시스템에서 활용될 수 있다.
상술한 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.
또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기와 같이 설명된 영상 처리 방법 및 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 영상 처리 장치
110: 입력부
120: 산란광 추정부
130: 전달량 추정부
140: 정련부
150: 복원부
160: 제어부

Claims (10)

  1. 그레이(gray) 영상으로 변환된 입력 영상을 소정 개수의 블록으로 분할하고, 상기 분할된 각 블록에 대해 최소값 필터링을 수행하여, 상기 각 블록에 대해 지역적 산란광을 추정하는 단계-상기 최소값 필터링은 상기 각 블록의 최소 픽셀값을 상기 각 블록의 대표값으로 지정하는 것을 의미함-;
    상기 각 블록에 대해 영상 엔트로피를 포함하는 목적 함수를 최대화하는 전달량을 추정하는 단계-상기 영상 엔트로피는 영상에서 화소값의 분포 정도를 나타내는 값으로 전달량을 변수로 포함함-; 및
    상기 추정된 지역적 산란광 및 전달량을 이용하여 상기 입력 영상을 복원하는 단계를 포함하되,
    상기 지역적 산란광 추정 단계는
    상기 최소값 필터링이 수행된 그레이(gray) 영상을 컬러 영상으로 변환하는 단계; 및
    상기 컬러 영상에 대해 쿼드 트리 서브디비전(quad-tree subdivision)을 수행하여 최종적으로 선별된 영역의 컬러 영상에 대해 하한 산란광 값을 추정하고, 상기 추정된 하한 산란광 값을 이용하여 상기 지역적 산란광을 추정하고, 하기 수학식 1을 이용하여 수행하는 것을 특징으로 하는 영상 처리 방법.
    [수학식 1]
    Figure 112015091602682-pat00032

    (여기서, Alow_threshold는 하한 산란광을 의미하고, Alocal은 각 블록에 대한 국부 지역적 산란광을 의미한다. ρ는 사용자 정의 값이다.)
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 목적 함수는 전달량에 따라 달라지는 정보 신뢰성(information fidelity) 및 및 다이내믹 레인지(dynamic range) 중 적어도 하나를 더 포함하되,
    상기 전달량 추정 단계는 상기 목적 함수를 최대화하는 전달량을 추정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제 1 항에 있어서, 상기 입력 영상 복원 단계는
    블록의 경계 영역에서 발생하는 블록 결함이 최소화되도록 상기 추정된 지역적 산란광 및 전달량 중 적어도 하나를 보정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 입력 영상을 수신하는 입력부;
    그레이(gray) 영상으로 변환된 입력 영상을 소정 개수의 블록으로 분할하고, 상기 분할된 각 블록에 대해 최소값 필터링을 수행하여, 상기 최소값 필터링이 수행된 그레이(gray) 영상을 컬러 영상으로 변환하고 쿼드 트리 서브디비전(quad-tree subdivision)을 수행하여 최종적으로 선별된 영역의 상기 컬러 영상에 대해 하한 산란광 값을 추정하고, 상기 추정된 하한 산란광 값을 이용하여 상기 지역적 산란광을 추정하는 산란광 추정부-상기 최소값 필터링은 상기 각 블록의 최소 픽셀값을 상기 각 블록의 대표값으로 지정하는 것을 의미함-;
    상기 각 블록에 대해 영상 엔트로피를 포함하는 목적 함수를 최대화하는 전달량을 추정하는 전달량 추정부-상기 영상 엔트로피는 영상에서 화소값의 분포 정도를 나타내는 값으로 전달량을 변수로 포함함-; 및
    상기 추정된 지역적 산란광 및 전달량을 이용하여 상기 입력 영상을 복원하는 복원부; 및
    상기 입력부, 상기 산란광 추정부, 상기 전달량 추정부 및 상기 복원부를 제어하는 제어부를 포함하되,
    상기 산란광 추정부는 하기 수학식 1을 이용하여 수행하는 것을 특징으로 하는 영상 처리 장치.
    [수학식 1]
    Figure 112015091602682-pat00033

    (여기서, Alow_threshold는 하한 산란광을 의미하고, Alocal은 각 블록에 대한 국부 지역적 산란광을 의미한다. ρ는 사용자 정의 값이다.)
  7. 삭제
  8. 삭제
  9. 제 6 항에 있어서,
    상기 목적 함수는 전달량에 따라 달라지는 정보 신뢰성(information fidelity) 및 및 다이내믹 레인지(dynamic range) 중 적어도 하나를 더 포함하되,
    상기 전달량 추정부는 상기 목적 함수를 최대화하는 전달량을 추정하는 것을 특징으로 하는 영상 처리 장치.
  10. 제 6 항에 있어서, 상기 영상 처리 장치는
    블록의 경계 영역에서 발생하는 블록 결함이 최소화되도록 상기 추정된 지역적 산란광 및 전달량 중 적어도 하나를 보정하는 정련부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
KR1020140130671A 2014-09-30 2014-09-30 영상 처리 방법 및 장치 KR101583430B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140130671A KR101583430B1 (ko) 2014-09-30 2014-09-30 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140130671A KR101583430B1 (ko) 2014-09-30 2014-09-30 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101583430B1 true KR101583430B1 (ko) 2016-01-19

Family

ID=55306210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140130671A KR101583430B1 (ko) 2014-09-30 2014-09-30 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101583430B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858483A (zh) * 2019-01-22 2019-06-07 南京邮电大学 基于共生滤波形态学和局部熵的小目标检测方法
CN110717869A (zh) * 2019-09-11 2020-01-21 哈尔滨工程大学 一种水下浑浊图像清晰化方法
KR102583922B1 (ko) * 2023-09-04 2023-10-05 엘텍코리아 주식회사 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130123525A (ko) * 2012-05-03 2013-11-13 에스케이텔레콤 주식회사 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR20140011118A (ko) * 2012-07-17 2014-01-28 경희대학교 산학협력단 평가 전달량에 기초한 안개 영상 보상 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130123525A (ko) * 2012-05-03 2013-11-13 에스케이텔레콤 주식회사 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR20140011118A (ko) * 2012-07-17 2014-01-28 경희대학교 산학협력단 평가 전달량에 기초한 안개 영상 보상 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jin-Hwan Kim et al, "Single image dehazing based on contrast enhancement ," 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.1273-1276 (2011.5.22)* *
정수웅 외 3인, "스마트 무인기를 위한 효율적인 안개제거," 한국항공우주학회 2013년도 춘계학술대회, pp.1222-1225 (2013.4.)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858483A (zh) * 2019-01-22 2019-06-07 南京邮电大学 基于共生滤波形态学和局部熵的小目标检测方法
CN109858483B (zh) * 2019-01-22 2022-08-02 南京邮电大学 基于共生滤波形态学和局部熵的小目标检测方法
CN110717869A (zh) * 2019-09-11 2020-01-21 哈尔滨工程大学 一种水下浑浊图像清晰化方法
CN110717869B (zh) * 2019-09-11 2023-09-19 哈尔滨工程大学 一种水下浑浊图像清晰化方法
KR102583922B1 (ko) * 2023-09-04 2023-10-05 엘텍코리아 주식회사 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법

Similar Documents

Publication Publication Date Title
Gibson et al. Fast single image fog removal using the adaptive Wiener filter
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
Huang et al. Visibility restoration of single hazy images captured in real-world weather conditions
KR101518722B1 (ko) 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR101674078B1 (ko) 블록 기반의 영상 잡음 제거 방법 및 장치
Sathya et al. Underwater image enhancement by dark channel prior
CN108564597B (zh) 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法
WO1997004417A1 (en) Image enhancement
KR101582779B1 (ko) 영상의 파장 적응적 안개 제거 장치 및 방법
Dharejo et al. A color enhancement scene estimation approach for single image haze removal
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
KR102124497B1 (ko) 영상 개선 장치
CN111179189A (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
KR101583430B1 (ko) 영상 처리 방법 및 장치
Zhang et al. Fast image dehazing using guided filter
Yu et al. Image and video dehazing using view-based cluster segmentation
Zhu et al. Fast single image dehazing through edge-guided interpolated filter
Wang et al. An efficient method for image dehazing
CN115393216A (zh) 基于偏振特性与大气传输模型的图像去雾方法和装置
CN106709876B (zh) 一种基于暗像元原理的光学遥感图像去雾方法
CN108898561A (zh) 一种含天空区域雾天图像的去雾方法、服务器及系统
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
KR20160056729A (ko) 극저조도 영상의 화질 개선 장치 및 방법
CN110322431B (zh) 雾霾图像质量评价方法、系统、存储介质及电子设备
CN112150545A (zh) 一种基于Tobit Kalman滤波器的光斑质心获取方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191017

Year of fee payment: 5