KR101582478B1 - 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 - Google Patents

Abstract

본 발명은 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 관한 것으로, 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 헤이즈 밝기 측정부, 상기 영상에서 대조비 및 영상 손실량에 의한 최종 비용함수 값을 기초로 블록단위 전달량을 추정하고, 상기 블록 단위 전달량을 이용하여 화소 단위 전달량을 추정하는 전달량 추정부, 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부를 포함한다.

Description

정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS FOR IMAGE HAZE REMOVAL AND METHOD USING THAT}

본 발명은 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 관한 것으로, 보다 상세하게는 헤이즈가 포함된 영상에서 각 블록의 대표값을 기초로 헤이즈 밝기를 측정하고, 상기 영상에서 대조비 및 영상 손실량에 의한 최종 비용함수 값을 기초로 블록단위 전달량을 추정한 후, 상기 블록 단위 전달량을 이용하여 화소 단위 전달량을 추정하고, 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 관한 것이다.

안개란 대기 중의 수증기가 응결된 형태의 물방울로 떠있는 현상이다. 보통 안개가 끼었을 때 가시거리가 1km미만의 시정 장애 현상이 나타난다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기게 되고 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 빛의 산란이란 빛이 공기 중의 입자들과 충돌하여 진행방향이 바뀌는 것을 말한다. 이는 빛의 파장과 입자크기에 따라 다르다.

일반적으로 빛의 산란은 크게 레일리 산란(Rayleigh scattering)과 미에 산란(Mie scattering)으로 나뉜다. 레일리 산란은 산란의 요인이 되는 입자의 크기가 빛의 파장보다 작을 때 적용되고 이때 산란 에너지는 파장의 네 제곱에 반비례한다. 맑은 날 빛이 공기분자들에 의해 산란될 때 파란색이 붉은색보다 더 많이 산란되어서 하늘이 파랗게 보이는 것이 그 예이다. 그러나 산란의 요인이 되는 입자의 크기가 빛의 파장보다 큰 경우의 빛의 산란은 미에 산란이론에 따른다. 안개의 경우 입자의 직경이 수μm 내지 수십 μm로 가시광선의 파장인 400nm~700nm의 파장보다 크기 때문에 미에 산란 이론에 따른다. 미에 산란 이론에 의하면 대기 중에 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다. 따라서 안개가 끼었을 때 피사체들이 뿌옇게 보이게 된다. 이때 발생하는 새로운 광원을 대기 산란광(Airlight)이라고 한다.

안개 왜곡 보정을 통한 영상 화질 개선은 시정 장애를 해결하고 뿌연 영상을 선명하게 만들 수 있다. 또한, 안개로 인해 손상된 글씨, 물체 등에 대한 정보를 복원함으로써 인식을 위한 전처리 단계로서의 중요성을 가진다.

종래의 안개 제거 기술은 크게 비 모델 방식과 모델 방식으로 나눌 수 있다.

전자의 예로는 히스토그램 평활화(Histogram equalization)를 들 수 있다. 히스토그램 평활화는 히스토그램 평활화는 영상의 히스토그램을 분석하여 분포를 재분배하는 방법이다. 이러한 히스토그램 평활화는 쉽고 개선의 효과가 좋지만, 깊이(Depth)가 균일하지 않은 안개 영상의 경우 적합하지 않다. 또한, 일반적인 화질 개선에 적합하나 안개가 영상에 미치는 영향의 특성을 잘 반영하지 못하여 짙은 안개 영상의 경우 개선이 미미하다는 단점이 있다.

후자는 안개로 인한 빛의 산란현상이 영상에 미치는 영향을 모델링한 방식이다. 먼저, 다른 날씨 환경에서 얻은 두 장 이상의 영상을 비교하여 장면 깊이(Scene depth)를 추정한 후 보정을 함으로써 안개에 의한 왜곡을 보정하는 기술이 개시되어 있다. 하지만, 이는 날씨가 서로 다른 2장의 영상 입력이 필요하므로 실시간 구현을 위해서는 날씨의 변화를 감지함과 동시에 그에 상응하는 영상 저장 공간을 필요로 하게 된다. 그리고, 날씨 변화에 대한 주기를 예측할 수 없기 때문에, 저장 주기에 관한 결정이 어렵게 된다. 또한, 오차가 없는 동일한 장면을 촬영해야만 하기 때문에 움직이는 물체가 있는 경우 안개 왜곡 정도를 추정 시 오류가 발생할 수 있다.

다음으로, 안개에 의해 영상의 화소 값이 변한 정도를 추정하여 빼 줌으로써 안개에 의한 왜곡을 보정하는 기술이 명시되어 있다. 하지만, 안개가 균일하다는 가정으로부터 출발하였기 때문에 균일하고 옅은 안개의 경우에는 적용 가능하나 실제 균일하지 않은 안개의 경우가 더 많고, 안개가 균일하다고 할지라도 카메라와 피사체와의 거리에 따라 안개에 의하여 영향을 받는 정도가 달라지므로 실제 적용에 있어서는 문제점이 있다.

또한, 히스토그램 평활화 또는 감마 보정과 같은 일반적인 영상 대조비 개선 기법들은 영상 전체적으로 대조비를 향상할 수 있지만, 영상의 깊이정보에 따라 차등적으로 대조비가 하락한 안개 영상에서는 영상의 대조비 개선이 어렵다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 헤이즈를 포함한 정지영상으로부터 헤이즈 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법을 제공하는데 있다.

본 발명의 다른 목적은 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법을 제공하는데 있다.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 헤이즈 밝기 측정부, 상기 영상에서 대조비 및 영상 손실량에 의한 최종 비용함수 값을 기초로 블록단위 전달량을 추정하고, 상기 블록 단위 전달량을 이용하여 화소 단위 전달량을 추정하는 전달량 추정부, 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부를 포함하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치가 제공된다.

상기 헤이즈 밝기 측정부는, 상기 영상을 미리 정해진 제1 일정 개수의 블록으로 나누는 영역 분할 모듈, 상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하고, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 구하는 대표값 계산 모듈, 상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택하는 화소값 선택 모듈을 포함할 수 있다.

상기 전달량 추정부는, 상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 블록단위 전달량 추정부, 상기 블럭 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환하는 화소단위 전달량 추정부를 포함할 수 있다.

상기 블록 단위 전달량 추정부는, 상기 영상을 미리 정해진 제2 일정 개수로 분할하는 영상 분할 모듈, 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비와 영상 손실량을 각각 구하는 비용함수 계산모듈, 상기 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록별로 최종 비용함수 값을 구하는 최종 비용함수 계산 모듈, 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 블록단위 전달량 검출 모듈을 포함할 수 있다.

상기 비용함수 계산 모듈 각 화소의 화소값을 이용한 분산에 '(-1)'을 곱하여 대조비(Ec)를 구할 수 있다.

또한, 상기 비용함수 계산 모듈은 블록 단위 전달량이 '0'에 수렴할 경우, '0'미만 또는 '255'초과의 화소값을 가지는 영역의 면적을 이용하여 영상 손실량을 구할 수 있다.

상기 최종 비용함수 계산 모듈은 상기 대조비 및 영상 손실량을 포함하는 최종 비용함수를 만들고, 0부터 1사이의 임의의 값들을 전달량으로 변화시켜 가면서 최종 비용함수 값을 구할 수 있다.

상기 화소 단위 전달량 추정부는 각 블록별로 화소값들의 평균을 구하여 근사 전달량으로 정의하고, 상기 블록 단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수값을 구한 후, 상기 구해진 변수값에 의한 근사 전달량을 화소 단위 전달량으로 추정할 수 있다.

본 발명의 다른 측면에 따르면, 영상 처리 장치가 헤이즈가 포함된 정지영상을 복원하는 방법에 있어서, (a) 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 단계, (b) 상기 영상에서 대조비 및 영상 손실량에 의한 최종 비용함수 값을 기초로 블록단위 전달량을 추정하고, 상기 블록 단위 전달량을 이용하여 화소 단위 전달량을 추정하는 단계, (c) 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상에서 헤이즈를 제거하여 영상을 복원하는 단계를 포함하는 정지영상에 포함된 헤이즈 제거를 위한 방법이 제공된다.

상기 (a)단계는, 상기 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하는 단계, 상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하는 단계, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 각각 구하는 단계, 상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하는 단계, 상기 선택된 블록의 넓이가 미리 정해진 넓이 이하인지를 판단하는 단계, 상기 판단결과 미리 정해진 미리 정해진 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 헤이즈 밝기로 추정하는 단계를 포함할 수 있다.

상기 (b)단계는, 상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 단계, 상기 블럭 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환하는 단계를 포함할 수 있다.

상기 블록단위 전달량을 추정하는 단계는, 상기 영상을 미리 정해진 제2 일정 개수로 분할하는 단계, 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비과 영상 손실량을 각각 구하는 단계, 상기 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록별로 최종 비용함수 값을 구하는 단계, 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 단계를 포함할 수 있다.

상기 블럭 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환하는 단계는, 각 블록별로 화소값들의 평균을 구하여 근사 전달량으로 정의하는 단계, 상기 블록 단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수값을 구하는 단계, 상기 구해진 변수값에 의한 근사 전달량을 화소 단위 전달량으로 추정하는 단계를 포함할 수 있다.

상술한 바와 같이 본 발명에 따르면, 헤이즈를 포함한 정지영상으로부터 헤이즈 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선할 수 있다.

또한, 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있다.

또한, 전달량 계산을 통해 화소별로 헤이즈 농도를 예측하고, 이에 따라 각 화소별로 차등적으로 헤이즈를 제거하므로, 영상내에 헤이즈가 어떻게 분포하든지 상관없이 헤이즈를 효과적으로 제거할 수 있다.

도 1은 본 발명에 따른 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치의 구성을 나타낸 블럭도.
도 2는 도 1에 도시된 헤이즈 밝기 측정부의 구성을 상세히 나타낸 블럭도.
도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면.
도 5는 본 발명에 따른 영상 처리 장치가 헤이즈가 포함된 정지영상을 복원하는 방법을 나타낸 흐름도.
도 6은 본 발명에 따른 에지 보존 필터를 적용한 경우의 화면 예시도.
도 7은 본 발명에 따른 영상 처리 장치가 헤이즈 밝기를 측정하는 방법을 나타낸 흐름도.
도 8은 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
본 발명에 기재된 헤이즈(Haze)는 대기 중의 안개일 수 있으나 반드시 이에 한정되는 것은 아니며 안개와 유사한 예컨대, 황사, 먼지 및 대기 중에 포함된 공중 부유물 등의 희부연 것일 수 있다.

영상 처리 장치는 헤이즈가 포함된 영상을 수학식 1을 이용하여 복원한다.

여기서, I_p는 화소위치 p에서 취득 영상의 밝기 값(헤이즈에 영향을 받은 영상임), J_p는 화소위치 p에서 취득 영상의 원 밝기 값(헤이즈에 영향을 받지 않은 영상임), t_p는 화소위치 p에서 취득 영상의 전달량(깊이 정보, 영상과 해당 지점과의 거리), A는 헤이즈 밝기 값을 의미한다.

이때, 영상 처리 장치는 대조비를 고려하는 비용(E_c), 대조비 향상 시 발생할 수 있는 영상 손실(E_L)을 고려한 비용함수를 만들고, 그 비용함수를 최소로 하는 전달량(t)를 구한 후, 수학식 1을 이용하여 헤이즈가 포함된 영상을 복원한다.

이하, 영상 처리 장치가 수학식 1을 이용하여 헤이즈가 포함된 정지영상을 복원하는 기술에 대해 도면을 참조하여 설명하기로 한다.

도 1은 본 발명에 따른 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치의 구성을 나타낸 블럭도, 도 2는 도 1에 도시된 헤이즈 밝기 측정부의 구성을 상세히 나타낸 블럭도, 도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도, 도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면이다.

도 1을 참조하면, 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치(100)는 헤이즈 밝기 측정부(110), 블록 단위 전달량 추정부(120), 화소 단위 전달량 추정부(130), 영상 복원부(140)를 포함한다.

상기 헤이즈 밝기 측정부(110)는 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나누어 블록별 대표값을 각각 구하고, 상기 대표값들 중에서 그 값이 가장 큰 블록을 선택 및 그 선택된 블록의 넓이가 기 설정된 넓이 이하가 될 때까지 상기 선택된 블록을 상기 일정 개수의 블록으로 나누어 대표값을 구하는 과정을 반복하여 헤이즈 밝기를 구한다. 상기 헤이즈가 포함된 영상은 헤이즈가 포함된 정지영상일 수 있다.

헤이즈 밝기 값을 구하기 위해서는 "헤이즈는 태양으로부터 도달한 대기중의 빛이므로 영상 내에서 매우 밝은 값을 가진다", "헤이즈에 의해 영향을 받은 화소값은 헤이즈 밝기 값과 비슷한 값을 가진다"의 가정을 이용한다. 또한, 수학식 1을 참고하면, 취득한 영상에서 전달량(깊이정보, 영상과 객체간의 거리)이 클수록 헤이즈의 영향을 많이 받음을 알 수 있고, 따라서 헤이즈의 영향을 많이 받은 영역은 대부분의 값이 헤이즈값 주위에 분포하므로 표준편차가 작아진다.

따라서, 상기 2가지 가정을 조합하면, 헤이즈 밝기 값은 영상 내에서 매우 밝은 값을 가지며, 헤이즈에 의해 가장 많이 영향을 받은 영역에서 취득할 수 있다는 것을 알 수 있다. 일반적으로 헤이즈는 가장 밝은 화소값으로 선택하는 경우가 있는데, 이럴 경우 흰색 객체가 선택될 수도 있으므로 문제가 발생한다. 그러므로, 블록을 점차적으로 줄여나가면서 헤이즈값의 후보군을 좁혀나가기 위해 블록으로 나누어 검출하고, 최종적으로 후보군이 줄여진 상태에서는(설정된 넓이의 블록) 이미 블록 내 모든 화소값은 대부분 헤이즈 밝기 값에 영향을 받았다고 볼 수 있으므로, 가장 밝은 화소값을 헤이즈 밝기 값으로 선택해도 오차가 발생할 소지가 적다. 따라서, 헤이즈밝기 측정부(110)는 가장 밝은 화소값을 헤이즈 밝기값으로 선택할 수 있다.

상기 헤이즈 밝기 측정부(110)에 대해 도 2를 참조하면, 헤이즈 밝기 측정부(110)는 영역 분할 모듈(112), 대표값 계산 모듈(114), 화소값 선택 모듈(116)을 포함한다.

상기 영역 분할 모듈(112)은 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나눈다. 여기서, 일정 개수는 4개일 수 있다.

블록에서 대표값을 구할 때, 블록 내 화소 값들의 평균 밝기와 표준 편차를 이용하는데, 이 값들은 모두 블록의 크기에 따라 달라질 수 있다. 예를 들어 20 x 20 크기의 블록을 이용하여 대표값을 구할 경우, 헤이즈가 없는 영역에 흰색 건물이나 흰색 차량 등과 같은 밝은 객체가 존재하면, 대표값이 높게 선택될 수 있다. 블록의 크기를 확대하면, 대표값은 보다 헤이즈가 많은 쪽에서 선택되나, 블록 내에서 헤이즈 밝기 값을 찾기가 어렵기 때문에 블록을 점차적으로 줄여나가면서 헤이즈 밝기 값의 후보군을 좁혀나가기 위해 영상을 블록으로 분할한다.

상기 대표값 계산 모듈(114)은 상기 영역 분할 모듈(112)에서 분할된 각 블록별로 화소들의 평균과 표준편차를 각각 구하고, 각 블록별로 평균과 표준편차간의 차를 근거로 대표값을 구한다.

즉, 헤이즈 밝기 값은 영상 내에서 매우 밝은 값을 가지며, 헤이즈에 의해 가장 많이 영향을 받은 영역에서 취득할 수 있는데, 헤이즈의 영향을 많이 받은 영역은 대부분의 값이 헤이즈값 주위에 분포하므로 표준편차가 작아진다. 따라서, 상기 대표값 계산 모듈(114)는 헤이즈 밝기 값을 구하기 위해 각 블록의 평균과 표준편차를 이용하여 대표값을 구한다.

상기 화소값 선택 모듈(116)은 상기 대표값 계산 모듈(114)에서 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 그 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택한다.

즉, 최종적으로 후보군이 줄여진 상태에서는(설정된 넓이의 블록) 이미 블록 내 모든 화소값은 대부분 헤이즈값에 영향을 받았다고 볼 수 있으므로 가장 밝은 화소값을 헤이즈 밝기로 선택해도 오차가 발생할 소지가 적다. 따라서, 상기 화소값 선택 모듈(116)은 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 그 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택한다.

상기 화소값 선택 모듈(116)은 대표값이 가장 큰 블록을 선택하고, 그 선택된 블록의 넓이가 기 설정된 넓이 이하인지를 판단한다. 여기서, 상기 기 설정된 넓이는 그 블록의 (가로 길이 * 세로 길이)로서 예를 들면, 200일 수 있다. 상기 판단결과 상기 선택된 블록의 넓이가 200 이하가 된 경우, 상기 화소값 선택 모듈(116)은 상기 선택된 블록에서 가장 밝은 화소값을 선택하고, 상기 선택된 화소값을 헤이즈 밝기로 추정한다.

만약, 상기 판단결과 상기 선택된 블록의 넓이가 200 이하가 아니면, 상기 화소값 선택 모듈(116)은 상기 선택된 블록을 일정 개수로 분할 및 대표값들을 각각 구하고, 대표값이 가장 큰 블록을 선택하여 기 설정된 넓이 이하인지를 판단하는 과정을 반복하여, 기 설정된 넓이 이하의 블록이 선택된 경우, 그 선택된 블록에서 가장 밝은 화소값을 헤이즈 밝기로 추정한다.

다시 도 1을 참조하면, 상기 블록 단위 전달량 추정부(120)는 상기 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록으로 분할하고, 각 블록별로 대조비, 영상 손실량을 각각 구한 후, 상기 대조비, 영상 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정한다.

상기 블록 단위 전달량 추정부(120)에 대해 도 3을 참조하면, 블록 단위 전달량 추정부(120)는 영상 분할 모듈(122), 비용함수 계산 모듈(124), 최종 비용함수 계산 모듈(126), 블록 단위 전달량 검출 모듈(128)을 포함한다.

상기 영상 분할 모듈(122)은 상기 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나눈다. 이때, 블록의 크기가 너무 작을 경우 전달량 추정이 어렵기 때문에, 블록의 최소 크기는 16*16 이상의 크기로 정하고, 블록의 개수는 임의로 정할 수 있다. 여기서, 영역 분할을 하는 것은 균등하지 않은 헤이즈에 의한 영향을 고려하여 헤이즈 성분을 보상해주기 위함이고, 영역분할을 위한 블록의 개수는 하드웨어 복잡도를 고려하여 적절하게 선정할 수 있다.

또한, 영상을 복원하기 위해서는 수학식 1을 이용하는데, 헤이즈밝기 측정부(110)에서 구해진 헤이즈 밝기 값만 알고 있으므로, 모든 화소마다 전달량(t_p)과 원 밝기값(J_p)을 계산해야 하는데, 식보다 미지수가 많은 문제(under-determined problem)가 있다. 따라서 블록 내에 전달량(t_p)이 모두 동일하다고 가정을 할 경우 B(블록 내 화소의 개수)개의 식에 대해 (B+1)개의 미지수로 미지수의 수를 크게 줄일 수 있다. 따라서, 영상을 분할하지 않고 영상 전체에 동일한 전달량(t)으로 가정하게 되면, 영상의 깊이 정보에 따른 영상 열화를 적응적으로 보상할 수 없기 때문에, 영상을 분할하여 지역적 깊이 정보를 고려한 것이다.

상기 비용함수 계산 모듈(124)은 상기 영상 분할 모듈(122)에서 분할된 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량을 각각 구한다.

전달량(t)을 구하고자 할 경우, 전달량(t)에 의해서 결정된 출력 영상의 대조비는 커야 하고(1), 전달량(t)에 의해서 결정된 출력 영상의 손실은 최소가 되어야 한다(2)는 조건이 만족되어야 한다.

그러므로, 상기 비용함수 계산모듈(124)은 대조비를 고려하는 비용(E_c), 대조비 향상 시 발생할 수 있는 영상 손실(E_L)을 고려한 비용함수를 만들고, 각 비용함수를 이용하여 대조비, 영상 손실량을 구한다.

따라서, 상기 비용함수 계산 모듈(234)은 대조비를 구하는 대조비 계산 모듈(124a), 영상 손실량을 구하는 영상 손실량 계산 모듈(124b)을 포함한다.

상기 대조비 계산 모듈(124a)은 수학식 2와 같이 각 화소의 화소값을 이용한 분산(δ²)을 이용하여 대조비(E_c)를 구한다.

여기서, 상기 N은 화소 개수, J_p는 원래 객체가 가지고 있는 밝기, p는 각 화소의 위치,

는 원래 객체가 가지고 있는 밝기의 평균을 의미한다.

수학식 2는 영상에서 대조비(contrast)를 계산하는 방법으로 많이 사용되는 RMS contrast를 이용한 것으로, RMS contrast는 영상의 분산값을 이용하여 대조비를 측정한다.

또한, 전달량(t)에 의해서 결정된 출력 영상의 대조비는 커야 하므로, 수학식 2와 같은 비용함수를 만들고, 그 비용함수가 최소가 되는(최적의 값) 전달량(t)을 찾는 것이 목적이므로, RMS contrast는 대조비가 좋아질수록 값이 증가하기 때문에, 비용함수에서는 전달량이 작아질수록 비용함수가 작아지도록 설정하기 위해 - 기호를 붙인다.

즉, 상기 대조비 계산 모듈(124a)은 각 블록별로 각 화소의 화소값을 이용한 분산에 -1을 곱하여 대조비를 구한다. 상기 수학식 2는 제1 비용함수(또는, 대조비 향상 비용함수)로 칭할 수 있고, 상기 제1 비용함수는 복원한 영상의 대조비를 최대로 하는 전달량을 찾는 함수로, 대조비를 최대화하는 블록단위 전달량은 항상 '0'으로 수렴한다. 블록 단위 전달량이 '0'에 수렴할 경우, 입력 화소값에 대한 출력 화소값이 컴퓨터가 표현할 수 있는 화소값 [0 255]를 넘는 값으로 결정된다.

즉, 블록 단위 전달량이 '0'에 수렴할 경우, '0'이하 또는 '255'이상의 출력 화소값이 영상 손실로 존재하는데, 그 영상 손실을 최소화하는 것이 필요하다. 상기 영상 손실량은 '0'이하 또는 '255'이상의 출력 화소값이 0과 255로 절삭된 양을 말한다.

따라서, 상기 영상 손실량 계산 모듈(124b)은 영상 손실을 최소화하기 위해 수학식 3에 의한 제2 비용함수를 이용하여 각 블록별 영상 손실량을 구한다.

수학식 3의 개념을 그림으로 표현하면 도 4와 같이 A영역의 면적과 같다.

도 4를 참조하면, A영역은 '0'이하 또는 '255'이상의 화소값으로, 영상 손실량을 말한다.

수학식 2와 수학식 3을 통해 대조비와 영상 손실량이 구해지면, 상기 최종 비용함수 계산 모듈(126)은 상기 구해진 대조비, 영상 손실량에 의한 최종 비용함수 값을 구한다.

즉, 전달량(t)를 구하고자 할 경우, 전달량에 의해서 결정된 출력 영상의 대조비는 커야 하고(1), 전달량에 의해서 결정된 출력 영상의 손실은 최소가 되어야 한다(2)는 조건이 만족되어야 한다. 상기 2가지의 조건을 만족하는 전달량을 찾는데, 2가지 조건을 비용함수라고 하는 함수로 만들고 이를 최소로 하는 전달량을 찾을 수 있어야 한다. 다시 말해, 비용함수가 최소가 되면, 출력영상의 대조비는 크고, 영상의 손실은 작다고 할 수 있다.

따라서 최종 비용함수에는 상기 2가지 조건이 모두 포함되어야 하므로 블록 단위 전달량을 계산할 때 이를 모두 포함한 수학식 4와 같은 최종 비용함수를 만들고, 그 최종 비용함수를 이용하여 최종 비용함수 값을 구한다.

여기서, E는 최종 비용함수값, Ec는 대조비값, E_L은 영상 손실량, λ_L은 영상 손실량 계수를 의미한다.

상기 블록 단위 전달량 검출 모듈(128)은 상기 최종 비용함수 계산 모듈(126)에서 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출한다. 즉, 블록 단위 전달량은 0부터 1까지의 범위에 해당하는 값 중 하나이므로, 상기 블록 단위 전달량 검출모듈(138)은 0부터 1사이의 값(수)들을 블록단위 전달량으로 변화시켜 가면서 최종 비용함수 값을 구하고, 그 최종 비용함수 값이 최소가 되는 전달량을 블록 단위 전달량으로 검출한다. 여기서, 0부터 1사이의 값(수)은 0.1, 0.2 등과 같은 값을 의미하고, 그 값은 임의의 간격 또는 비율로 변화될 수 있다.

다시 도 1을 참조하면, 상기 화소 단위 전달량 추정부(130)는 상기 블록 단위 전달량 추정부(120)에서 검출된 블럭 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환한다. 상기 에지 보존 필터는 입력 영상의 화소값을 이용하여 화소단위의 근사 전달량을 만든다.

따라서, 상기 화소 단위 전달량 추정부(130)는 수학식 5를 이용하여 화소 단위의 근사 전달량을 구한다.

상기

는 화소 단위의 근사 전달량, I_p는 카메라에서 획득한 밝기를 의미하고, a, b는 에지 보존 필터를 적용하여 구해진 선형함수의 변수를 의미한다.

입력 영상은 0~255사이의 값을 가지는데, t는 0~1 사이의 값을 가진다. 따라서, 수학식 5는 입력 영상을 이용하여 t를 표현하기 위해서 0~255사이의 값을 a와 b를 통해 0~1 사이로 줄이고, 크기(평균 값)도 비슷하게 맞추고자 한 수식이다.

따라서, 화소단위 전달량 추정부(130)는 블록단위 전달량과 근사 전달량의 차이가 최소가 되는 a, b를 구함으로써 화소단위의 전달량을 획득할 수 있다. a, b를 계산할 때 W크기의 윈도우를 사용하여 a, b를 계산하고 다음 화소로 이동하여 a, b를 계산한다. 겹치는 영역에서는 a, b를 평균한다.

이때, 근사 전달량과 블록 단위 전달량의 차이가 최소가 되게 하기 위해서 식을 정의하면 수학식 6과 같다.

여기에서, p는 화소위치를 말하고, B는 블록을 의미한다.

수학식 6을 최소로 하는 a, b를 찾기 위해서 화소단위 전달량 추정부(130)는 선형대수에서 사용하는 최소 자승법을 이용한다.

따라서, 상기 화소단위 전달량 추정부(130)는 최소 자승법에 의해 구해진 a, b변수에 의한 근사 전달량을 화소단위 전달량으로 검출한다.

즉, 영상의 데이터는 화소마다 변하는데, 계산된 전달량은 블록단위로 계산되어있으므로, 전달량을 이용하여 영상을 복원할 경우 블록의 경계부분에서 전달량 값의 차이로 인하여 블록열화현상이 나타난다. 상기 블록 열화 현상은 블록의 경계부분에서 화소값 차이가 크게 벌어지는 현상을 말한다. 따라서 이러한 블록 열화 현상을 제거하기 위해 블록단위로 계산된 전달량을 화소단위 전달량으로 변환해야 한다.

상기 블록 단위 전달량 추정부(120)와 화소단위 전달량 추정부(130)는 하나로 구성될 수 있고, 이 경우 블록 단위 전달량 추정부(120)와 화소단위 전달량 추정부(130)을 전달량 추정부로 하나의 구성으로 할 수도 있다.

상기 영상 복원부(140)는 상기 헤이즈 밝기 측정부(110)에서 구해진 헤이즈 밝기와 상기 화소 단위 전달량 추정부(130)에서 구해진 화소 단위 전달량을 이용하여 상기 영상에서 헤이즈를 제거한다.

즉, 상기 영상 복원부(140)는 수학식 6을 이용하여 헤이즈가 제거된 영상을 생성한다.

여기서, I_p는 카메라에서 획득한 밝기, J_p는 원래 객체가 가지고 있는 밝기 , p는 각 화소의 위치, A는 헤이즈 밝기, t_p는 화소 단위 전달량을 의미한다.

도 5는 본 발명에 따른 영상 처리 장치가 헤이즈가 포함된 정지영상을 복원하는 방법을 나타낸 흐름도, 도 6은 본 발명에 따른 에지 보존 필터를 적용한 경우의 화면 예시도이다.

도 5를 참조하면, 영상 처리 장치는 헤이즈가 포함된 영상이 입력되면(S502), 상기 영상에서 헤이즈 밝기를 측정한다(S504). 상기 영상 처리 장치가 상기 영상에서 헤이즈 밝기를 측정하는 방법에 대한 상세한 설명은 도 6을 참조하기로 한다.

상기 S504가 수행되면, 상기 영상 처리 장치는 상기 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록을 분할하여 블록단위의 전달량을 추정한다(S506).

상기 영상 처리 장치가 블록 단위의 전달량을 추정하는 방법에 대한 상세한 설명은 도 7을 참조하기로 한다.

상기 S506이 수행되면, 상기 영상 처리 장치는 상기 블럭 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환한다(S508).

그런 다음 상기 영상 처리 장치는 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용한 수학식 6을 이용하여 헤이즈가 제거된 영상을 생성한다.

상기 영상 처리 장치가 헤이즈가 포함된 영상에 에지 보존 필터를 적용한 경우에 대해 도 6을 참조하여 설명하기로 한다.

도 6을 참조하면, (a)와 같은 헤이즈가 포함된 정지영상에서 블록 단위 전달량을 적용하면 (b)와 같은 영상이 된다. (b)에 에지 보존 필터에 의한 화소단위 전달량을 적용하면, (c)와 같은 영상이 된다. (c)는 전달량 계산을 통해 화소별로 헤이즈 농도를 예측하고, 이에 따라 각 화소별로 차등적으로 헤이즈가 제거된 영상일 수 있다.

도 7은 본 발명에 따른 영상 처리 장치가 헤이즈 밝기를 측정하는 방법을 나타낸 흐름도이다.

도 7을 참조하면, 영상 처리 장치는 헤이즈 포함 영상을 4개의 블록으로 분할하고(S702), 각 블록에 대한 화소값의 평균과 표준편차를 각각 구한다(S704).

그런 다음 상기 영상 처리 장치는 각 블록의 평균과 표준편차의 차에 의한 대표값을 블록별로 각각 구한다(S706).

그런 다음 상기 영상 처리 장치는 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고(S708), 그 선택된 블록의 넓이가 200이하인지의 여부를 판단한다(S710).

상기 S710의 판단결과 선택된 블록의 크기가 200이하인 경우, 상기 영상 처리 장치는 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 헤이즈 밝기로 정의한다(S712).

만약, 상기 S710의 판단결과 상기 선택된 블록의 크기가 200이하가 아니면, 상기 영상 처리 장치는 상기 S702를 수행한다.

도 8은 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도이다.

도 8을 참조하면, 영상 처리 장치는 헤이즈가 포함된 영상을 B크기의 블록으로 분할한다(S802).

상기 S802의 수행 후, 상기 영상 처리 장치는 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량을 각각 구한다(S804). 상기 영상 처리 장치가 대조비, 영상 손실량을 구하는 방법에 대한 상세한 설명은 3을 참조하기로 한다.

상기 S804의 수행 후, 상기 영상 처리 장치는 상기 대조비, 영상 손실량에 의한 최종 비용함수 값을 블록별로 구하고(S806), 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 선택한다(S808).

그런 다음 상기 영상 처리 장치는 상기 선택된 전달량을 블록 단위 전달량으로 검출한다(S810).

본 발명은 비행, 공항, 운송, 해운, 수중감시, 의료영상(체내 가스등에 의해 생성된 뿌연 성분의 제거등), 농업감시, 영상보안 카메라 등 다양한 분야의 영상의 대조비를 향상하는데 활용이 가능하다.

정지영상에서 헤이즈 제거를 위한 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 헤이즈를 포함한 정지영상으로부터 헤이즈 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선할 수 있고 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있도록 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 적용될 수 있다.

100 : 영상 처리 장치 110 : 헤이즈 밝기 측정부
120 : 블록 단위 전달량 추정부 130 : 화소 단위 전달량 추정부
140 : 영상 복원부

Claims (13)

1. 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 헤이즈 밝기 측정부;
   상기 영상에서 대조비 및 영상 손실량에 의한 최종 비용함수 값을 기초로 블록단위 전달량을 추정하고, 상기 블록 단위 전달량을 이용하여 화소 단위 전달량을 추정하는 전달량 추정부; 및
   상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부;
   를 포함하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
2. 제1항에 있어서,
   상기 헤이즈 밝기 측정부는,
   상기 영상을 미리 정해진 제1 일정 개수의 블록으로 나누는 영역 분할 모듈;
   상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하고, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 구하는 대표값 계산 모듈; 및
   상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택하는 화소값 선택 모듈을 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
3. 제1항에 있어서,
   상기 전달량 추정부는,
   상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 블록단위 전달량 추정부; 및
   상기 블록 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환하는 화소단위 전달량 추정부를 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
4. 제3항에 있어서,
   상기 블록 단위 전달량 추정부는,
   상기 영상을 미리 정해진 제2 일정 개수로 분할하는 영상 분할 모듈;
   각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비와 영상 손실량을 각각 구하는 비용함수 계산모듈;
   상기 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록별로 최종 비용함수 값을 구하는 최종 비용함수 계산 모듈; 및
   상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 블록단위 전달량 검출 모듈을 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
5. 제4항에 있어서,
   상기 비용함수 계산 모듈은 각 화소의 화소값을 이용한 분산에 '(-1)'을 곱하여 대조비(Ec)를 구하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
6. 제4항에 있어서,
   상기 비용함수 계산 모듈은 블록 단위 전달량이 '0'에 수렴할 경우, '0'미만 또는 '255'초과의 화소값을 가지는 영역의 면적을 이용하여 영상 손실량을 구하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
7. 제4항에 있어서,
   상기 최종 비용함수 계산 모듈은 상기 대조비 및 영상 손실량을 포함하는 최종 비용함수를 만들고, 0부터 1사이의 임의의 값들을 전달량으로 변화시켜 가면서 최종 비용함수 값을 구하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
8. 제3항에 있어서,
   상기 화소 단위 전달량 추정부는 각 블록별로 화소값들의 평균을 구하여 근사 전달량으로 정의하고, 상기 블록 단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수값을 구한 후, 상기 구해진 변수값에 의한 근사 전달량을 화소 단위 전달량으로 추정하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
9. 영상 처리 장치가 정지영상에 포함된 헤이즈를 제거하기 위한 방법에 있어서,
   (a) 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 단계;
   (b) 상기 영상에서 대조비 및 영상 손실량에 의한 최종 비용함수 값을 기초로 블록단위 전달량을 추정하고, 상기 블록 단위 전달량을 이용하여 화소 단위 전달량을 추정하는 단계; 및
   (c) 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상에서 헤이즈를 제거하여 영상을 복원하는 단계;
   를 포함하는 정지영상에 포함된 헤이즈 제거를 위한 방법.
10. 제9항에 있어서,
    상기 (a)단계는,
    상기 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하는 단계;
    상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하는 단계;
    각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 각각 구하는 단계;
    상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하는 단계;
    상기 선택된 블록의 넓이가 미리 정해진 넓이 이하인지를 판단하는 단계; 및
    상기 판단결과 미리 정해진 미리 정해진 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 헤이즈 밝기로 추정하는 단계를 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 방법.
11. 제9항에 있어서,
    상기 (b)단계는,
    상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 단계; 및
    상기 블록 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환하는 단계를 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 방법.
12. 제11항에 있어서,
    상기 블록단위 전달량을 추정하는 단계는,
    상기 영상을 미리 정해진 제2 일정 개수로 분할하는 단계;
    각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비과 영상 손실량을 각각 구하는 단계;
    상기 대조비와 영상 손실량에 의한 최종 비용함수를 이용하여 블록별로 최종 비용함수 값을 구하는 단계; 및
    상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 단계를 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 방법.
13. 제11항에 있어서,
    상기 블록 단위 전달량을 에지 보존 필터에 적용하여 화소 단위 전달량으로 변환하는 단계는,
    각 블록별로 화소값들의 평균을 구하여 근사 전달량으로 정의하는 단계;
    상기 블록 단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수값을 구하는 단계; 및
    상기 구해진 변수값에 의한 근사 전달량을 화소 단위 전달량으로 추정하는 단계를 포함하는 것을 특징으로 하는 정지영상에 포함된 헤이즈 제거를 위한 방법.

Images