KR101582479B1

KR101582479B1 - 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법

Info

Publication number: KR101582479B1
Application number: KR1020120051330A
Authority: KR
Inventors: 박용섭; 이동학; 김창수; 김진환; 장원동
Original assignee: 에스케이 텔레콤주식회사; 고려대학교 산학협력단
Priority date: 2012-05-15
Filing date: 2012-05-15
Publication date: 2016-01-19
Also published as: JP2015519837A; KR20130127654A; EP2851865A1; EP2851865A4; WO2013172580A1; CN104303208B; JP5865552B2; EP2851865B1; US20150071563A1; US9275443B2; CN104303208A

Abstract

본 발명은 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 관한 것으로, 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 헤이즈 밝기 측정부, 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 화소 단위 전달량을 추정하는 전달량 추정부, 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부를 포함한다.

Description

동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS FOR MOVING IMAGE HAZE REMOVAL AND METHOD USING THAT}

본 발명은 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 관한 것으로, 보다 상세하게는 헤이즈가 포함된 영상에서 각 블록의 대표값을 근거로 헤이즈 밝기를 측정하고, 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정한 후, 상기 블록단위 전달량을 기초로 화소 단위 전달량을 추정하고, 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 방법에 관한 것이다.

안개란 대기 중의 수증기가 응결된 형태의 물방울로 떠있는 현상이다. 보통 안개가 끼었을 때 가시거리가 1km미만의 시정 장애 현상이 나타난다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기게 되고 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 빛의 산란이란 빛이 공기 중의 입자들과 충돌하여 진행방향이 바뀌는 것을 말한다. 이는 빛의 파장과 입자크기에 따라 다르다.

일반적으로 빛의 산란은 크게 레일리 산란(Rayleigh scattering)과 미에 산란(Mie scattering)으로 나뉜다. 레일리 산란은 산란의 요인이 되는 입자의 크기가 빛의 파장보다 작을 때 적용되고 이때 산란 에너지는 파장의 네 제곱에 반비례한다. 맑은 날 빛이 공기분자들에 의해 산란될 때 파란색이 붉은색보다 더 많이 산란되어서 하늘이 파랗게 보이는 것이 그 예이다. 그러나 산란의 요인이 되는 입자의 크기가 빛의 파장보다 큰 경우의 빛의 산란은 미에 산란이론에 따른다. 안개의 경우 입자의 직경이 수μm 내지 수십 μm로 가시광선의 파장인 400nm~700nm의 파장보다 크기 때문에 미에 산란 이론에 따른다. 미에 산란 이론에 의하면 대기 중에 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다. 따라서 안개가 끼었을 때 피사체들이 뿌옇게 보이게 된다. 이때 발생하는 새로운 광원을 대기 산란광(Airlight)이라고 한다.

안개 왜곡 보정을 통한 영상 화질 개선은 시정 장애를 해결하고 뿌연 영상을 선명하게 만들 수 있다. 또한, 안개로 인해 손상된 글씨, 물체 등에 대한 정보를 복원함으로써 인식을 위한 전처리 단계로서의 중요성을 가진다.

종래의 안개 제거 기술은 크게 비 모델 방식과 모델 방식으로 나눌 수 있다.

전자의 예로는 히스토그램 평활화(Histogram equalization)를 들 수 있다. 히스토그램 평활화는 영상의 히스토그램을 분석하여 분포를 재분배하는 방법이다. 이러한 히스토그램 평활화는 쉽고 개선의 효과가 좋지만, 깊이(Depth)가 균일하지 않은 안개 영상의 경우 적합하지 않다. 또한, 일반적인 화질 개선에 적합하나 안개가 영상에 미치는 영향의 특성을 잘 반영하지 못하여 짙은 안개 영상의 경우 개선이 미미하다는 단점이 있다.

후자는 안개로 인한 빛의 산란현상이 영상에 미치는 영향을 모델링한 방식이다. 먼저, 다른 날씨 환경에서 얻은 두 장 이상의 영상을 비교하여 장면 깊이(Scene depth)를 추정한 후 보정을 함으로써 안개에 의한 왜곡을 보정하는 기술이 개시되어 있다. 하지만, 이는 날씨가 서로 다른 2장의 영상 입력이 필요하므로 실시간 구현을 위해서는 날씨의 변화를 감지함과 동시에 그에 상응하는 영상 저장 공간을 필요로 하게 된다. 그리고, 날씨 변화에 대한 주기를 예측할 수 없기 때문에, 저장 주기에 관한 결정이 어렵게 된다. 또한, 오차가 없는 동일한 장면을 촬영해야만 하기 때문에 움직이는 물체가 있는 경우 안개 왜곡 정도를 추정 시 오류가 발생할 수 있다.

다음으로, 안개에 의해 영상의 화소 값이 변한 정도를 추정하여 빼 줌으로써 안개에 의한 왜곡을 보정하는 기술이 명시되어 있다. 하지만, 안개가 균일하다는 가정으로부터 출발하였기 때문에 균일하고 옅은 안개의 경우에는 적용 가능하나 실제 균일하지 않은 안개의 경우가 더 많고, 안개가 균일하다고 할지라도 카메라와 피사체와의 거리에 따라 안개에 의하여 영향을 받는 정도가 달라지므로 실제 적용에 있어서는 문제점이 있다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 헤이즈를 포함한 동영상으로부터 헤이즈 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법을 제공하는데 있다.

본 발명의 다른 목적은 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법을 제공하는데 있다.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 헤이즈 밝기 측정부, 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 화소 단위 전달량을 추정하는 전달량 추정부, 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부를 포함하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치가 제공된다.

상기 헤이즈 밝기 측정부는 상기 영상을 미리 정해진 제1 일정 개수의 블록으로 나누는 영역 분할 모듈, 상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하고, 각 블록별 평균과 표준편차를 이용하여 대표값을 각각 구하는 대표값 계산 모듈, 상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택하는 화소값 선택 모듈을 포함할 수 있다.

상기 전달량 추정부는, 상기 헤이즈가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 블록단위 전달량 추정부, 상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량을 추정하는 제1 화소 단위 전달량 추정부를 포함할 수 있다.

상기 전달량 추정부는 상기 헤이즈가 포함된 영상을 미리 정해진 일정 크기로 축소하고, 상기 축소된 영상을 상기 블록단위 전달량 추정부로 전송하는 영상 축소부를 더 포함할 수 있다.

또한, 상기 전달량 추정부는 상기 축소된 영상과 상기 제1 화소 단위 전달량을 원 영상의 크기로 확대하는 영상 확대부, 상기 확대된 제1 화소 단위 전달량에 에지 보존 필터에 적용하여 제2 화소 단위 전달량을 추정하는 제2 화소단위 전달량 추정부를 더 포함할 수 있다.

상기 블록 단위 전달량 추정부는, 상기 영상을 미리 정해진 제2 일정 개수로 분할하는 영상 분할 모듈, 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 비용함수 계산모듈, 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 구하는 최종 비용함수 계산 모듈, 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 블록단위 전달량 검출 모듈을 포함할 수 있다.

상기 비용함수 계산 모듈은 각 화소의 화소값을 이용한 분산에 (-1)을 곱하여 대조비(Ec)를 구할 수 있다.

또한, 상기 비용함수 계산 모듈은 블록 단위 전달량이 '0'에 수렴할 경우, '0'초과 또는 '255'미만의 화소값을 가지는 영역의 면적을 이용하여 영상 손실량을 구할 수 있다.

상기 비용함수 계산 모듈은 이전 프레임의 블록단위 전달량에 객체의 이동에 따라 전달량을 보정해주는 블록단위 보정계수를 적용하여 상기 이전 프레임의 블록단위 전달량을 보정하고, 상기 보정된 이전 프레임의 블록단위 전달량과 현재 프레임의 블록단위 전달량을 이용하여, 영상의 시간적 차이를 최소화하는 시간 손실량을 구할 수 있다.

상기 최종 비용함수 계산 모듈은 상기 대조비, 영상 손실량, 시간 손실량을 포함하는 최종 비용함수를 만들고, 0부터 1사이의 임의의 값들을 전달량으로 변화시켜 가면서 최종 비용함수 값을 구할 수 있다.

상기 제1 또는 제2 화소 단위 전달량 추정부는 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 근사 전달량 계산모듈, 상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 변수 계산 모듈, 상기 구해진 변수에 의한 근사 전달량을 제1 또는 제2 화소단위 전달량으로 검출하는 화소단위 전달량 검출 모듈을 포함할 수 있다.

상기 영상 확대부는 최근접 이웃 화소 보간법을 이용하여 상기 축소된 영상을 원 영상의 크기로 확대할 수 있다.

본 발명의 다른 측면에 따르면, 영상 처리 장치가 헤이즈가 포함된 동영상을 복원하는 방법에 있어서, (a) 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 단계, (b) 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 화소 단위 전달량을 추정하는 단계, (c) 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 단계를 포함하는 동영상에 포함된 헤이즈 제거 방법이 제공된다.

상기 (a)단계는, 상기 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하는 단계, 상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하는 단계, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 각각 구하는 단계, 상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하는 단계, 상기 선택된 블록의 넓이가 미리 정해진 넓이 이하인지를 판단하는 단계 및 상기 판단결과 미리 정해진 미리 정해진 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 헤이즈 밝기로 추정하는 단계를 포함할 수 있다.

상기 (b) 단계는, 상기 헤이즈가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 단계, 상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량을 추정하는 단계를 포함할 수 있다.

상기 동영상에 포함된 헤이즈 제거 방법은 상기 블록단위 전달량을 추정하는 단계 이전에, 상기 헤이즈가 포함된 영상을 미리 정해진 일정 크기로 축소하는 단계를 더 포함할 수 있다.

또한, 상기 동영상에 포함된 헤이즈 제거 방법은 상기 제1 화소단위 전달량을 추정하는 단계 이후, 상기 축소된 영상과 상기 제1 화소 단위 전달량을 원 영상의 크기로 확대하는 단계, 상기 확대된 제1 화소 단위 전달량에 에지 보존 필터에 적용하여 제2 화소 단위 전달량을 추정하는 단계를 더 포함할 수 있다.

상기 블록단위 전달량을 추정하는 단계는, 상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하는 단계, 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 단계, 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 블록별로 구하는 단계, 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 단계를 포함할 수 있다.

상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량을 추정하는 단계는, 상기 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 단계, 상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 단계, 상기 구해진 변수에 의한 근사 전달량을 제1 화소단위 전달량으로 검출하는 단계를 포함할 수 있다.

상술한 바와 같이 본 발명에 따르면, 헤이즈를 포함한 동영상으로부터 헤이즈 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있다.

또한, 영상의 깊이정보에 따라 차등적으로 대조비를 개선할 수 있다.

또한, 전달량 계산을 통해 화소별로 헤이즈 농도를 예측하고, 이에 따라 각 화소별로 차등적으로 헤이즈를 제거하므로, 영상내에 헤이즈가 어떻게 분포하든지 상관없이 헤이즈를 효과적으로 제거할 수 있다.

또한 동영상에서 헤이즈제거 후 발생할 수 있는 flickering 현상을 제거함으로써, 보다 안정적인 헤이즈제거가 가능하며, 고속화된 필터를 도입함으로써 실시간 처리가 가능하다.

도 1은 본 발명에 따른 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치의 구성을 나타낸 블럭도.
도 2는 도 1에 도시된 헤이즈 밝기 측정부의 구성을 상세히 나타낸 블럭도.
도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면.
도 5는 도 1에 도시된 화소 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도.
도 6은 블록 중첩을 설명하기 위한 예시도.
도 7은 가우시안 가중치를 이용한 중첩의 설명을 위한 예시도.
도 8은 본 발명에 따른 영상 처리 장치가 헤이즈가 포함된 영상을 복원하는 방법을 나타낸 흐름도.
도 9는 본 발명에 따른 중첩 블록에 기반한 에지 보존 필터를 적용한 경우의 화면 예시도.
도 10은 본 발명에 따른 영상 처리 장치가 헤이즈 밝기를 측정하는 방법을 나타낸 흐름도.
도 11을 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도.
도 12는 본 발명에 따른 영상 처리 장치가 화소 단위 전달량을 추정하는 방법을 나타낸 흐름도.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
본 발명에 기재된 헤이즈(Haze)는 대기 중의 안개일 수 있으나 반드시 이에 한정되는 것은 아니며 안개와 유사한 예컨대, 황사, 먼지 및 대기 중에 포함된 공중 부유물 등의 희부연 것일 수 있다.

영상 처리 장치는 헤이즈가 포함된 영상을 수학식 1을 이용하여 복원한다.

여기서, I_p는 화소위치 p에서 취득 영상의 밝기 값(헤이즈에 영향을 받은 영상임), J_p는 화소위치 p에서 취득 영상의 원 밝기 값(헤이즈에 영향을 받지 않은 영상임), t_p는 화소위치 p에서 취득 영상의 전달량(깊이 정보, 영상과 해당 지점과의 거리), A는 헤이즈 밝기 값을 의미한다.

이때, 영상 처리 장치는 대조비를 고려하는 비용(E_C), 대조비 향상 시 발생할 수 있는 영상 손실(E_L), 동영상에서의 시간적 유사성을 고려한 비용(E_T)을 고려한 비용함수를 만들고, 그 비용함수를 최소로 하는 전달량(t)를 구한 후, 수학식 1을 이용하여 헤이즈가 포함된 영상을 복원한다.

이하, 영상 처리 장치가 수학식 1을 이용하여 헤이즈가 포함된 동영상을 복원하는 기술에 대해 도면을 참조하여 설명하기로 한다.

도 1은 본 발명에 따른 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치의 구성을 나타낸 블럭도, 도 2는 도 1에 도시된 헤이즈 밝기 측정부의 구성을 상세히 나타낸 블럭도, 도 3은 도 1에 도시된 블록 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도, 도 4는 영상 손실 최소화의 개념을 설명하기 위한 도면, 도 5는 도 1에 도시된 화소 단위 전달량 추정부의 구성을 상세히 나타낸 블럭도, 도 6은 블록 중첩을 설명하기 위한 예시도, 도 7은 가우시안 가중치를 이용한 중첩의 설명을 위한 예시도이다.

도 1을 참조하면, 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치(100)는 헤이즈 밝기 측정부(110), 영상 축소부(120), 블록 단위 전달량 추정부(130), 제1 화소 단위 전달량 추정부(140), 영상 확대부(150), 제2 화소 단위 전달량 추정부(160), 영상 복원부(170)를 포함한다.

상기 헤이즈 밝기 측정부(110)는 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나누어 블록별 대표값을 각각 구하고, 상기 대표값들 중에서 그 값이 가장 큰 블록을 선택 및 그 선택된 블록의 넓이가 기 설정된 넓이 이하가 될 때까지 상기 선택된 블록을 상기 일정 개수의 블록으로 나누어 대표값을 구하는 과정을 반복하여 헤이즈 밝기를 구한다. 상기 헤이즈가 포함된 영상은 동영상 일 수 있다.

헤이즈 밝기 값을 구하기 위해서는 "헤이즈는 태양으로부터 도달한 대기중의 빛이므로 영상 내에서 매우 밝은 값을 가진다", "헤이즈에 의해 영향을 받은 화소값은 헤이즈 밝기 값과 비슷한 값을 가진다"의 가정을 이용한다. 또한, 수학식 1을 참고하면, 취득한 영상에서 전달량(깊이정보, 영상과 객체간의 거리)이 클수록 헤이즈의 영향을 많이 받음을 알 수 있고, 따라서 헤이즈의 영향을 많이 받은 영역은 대부분의 값이 헤이즈값 주위에 분포하므로 표준편차가 작아진다.

따라서, 상기 2가지 가정을 조합하면, 헤이즈 밝기 값은 영상 내에서 매우 밝은 값을 가지며, 헤이즈에 의해 가장 많이 영향을 받은 영역에서 취득할 수 있다는 것을 알 수 있다. 일반적으로 헤이즈는 가장 밝은 화소값으로 선택하는 경우가 있는데, 이럴 경우 흰색 객체가 선택될 수도 있으므로 문제가 발생한다. 그러므로, 블록을 점차적으로 줄여나가면서 헤이즈값의 후보군을 좁혀나가기 위해 블록으로 나누어 검출하고, 최종적으로 후보군이 줄여진 상태에서는(설정된 넓이의 블록) 이미 블록 내 모든 화소값은 대부분 헤이즈 밝기 값에 영향을 받았다고 볼 수 있으므로, 가장 밝은 화소값을 헤이즈 밝기 값으로 선택해도 오차가 발생할 소지가 적다. 따라서, 헤이즈밝기 측정부(110)는 가장 밝은 화소값을 헤이즈 밝기값으로 선택할 수 있다.

상기 헤이즈 밝기 측정부(110)에 대해 도 2를 참조하면, 헤이즈 밝기 측정부(110)는 영역 분할 모듈(112), 대표값 계산 모듈(114), 화소값 선택 모듈(116)을 포함한다.

상기 영역 분할 모듈(112)은 헤이즈가 포함된 영상을 미리 정해진 일정 개수의 블록으로 나눈다. 여기서, 일정 개수는 4개일 수 있다.

블록에서 대표값을 구할 때, 블록 내 화소 값들의 평균 밝기와 표준 편차를 이용하는데, 이 값들은 모두 블록의 크기에 따라 달라질 수 있다. 예를 들어 20 x 20 크기의 블록을 이용하여 대표값을 구할 경우, 헤이즈가 없는 영역에 흰색 건물이나 흰색 차량 등과 같은 밝은 객체가 존재하면, 대표값이 높게 선택될 수 있다. 블록의 크기를 확대하면, 대표값은 보다 헤이즈가 많은 쪽에서 선택되나, 블록 내에서 헤이즈 밝기 값을 찾기가 어렵기 때문에 블록을 점차적으로 줄여나가면서 헤이즈 밝기 값의 후보군을 좁혀나가기 위해 영상을 블록으로 분할한다. 이때, 동영상의 경우 헤이즈 밝기 값은 첫 프레임 또는 T 프레임마다 한번씩 검출함으로써 헤이즈 밝기 값의 갱신으로 인한 반짝임 현상을 방지할 수 있다.

상기 대표값 계산 모듈(114)은 상기 영역 분할 모듈(112)에서 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하고, 각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 구한다.

즉, 헤이즈 밝기 값은 영상 내에서 매우 밝은 값을 가지며, 헤이즈에 의해 가장 많이 영향을 받은 영역에서 취득할 수 있는데, 헤이즈의 영향을 많이 받은 영역은 대부분의 값이 헤이즈값 주위에 분포하므로 표준편차가 작아진다. 따라서, 상기 대표값 계산 모듈(114)는 헤이즈 밝기 값을 구하기 위해 각 블록의 평균과 표준편차를 이용하여 대표값을 구한다.

상기 화소값 선택 모듈(116)은 상기 대표값 계산 모듈(114)에서 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 그 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택한다.

즉, 최종적으로 후보군이 줄여진 상태에서는(설정된 넓이의 블록) 이미 블록 내 모든 화소값은 대부분 헤이즈값에 영향을 받았다고 볼 수 있으므로 가장 밝은 화소값을 헤이즈 밝기로 선택해도 오차가 발생할 소지가 적다. 따라서, 상기 화소값 선택 모듈(116)은 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 그 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택한다.

상기 화소값 선택 모듈(116)은 대표값이 가장 큰 블록을 선택하고, 그 선택된 블록의 넓이가 기 설정된 넓이 이하인지를 판단한다. 여기서, 상기 기 설정된 넓이는 그 블록의 (가로 길이 * 세로 길이)로서 예를 들면, 200일 수 있다. 상기 판단결과 상기 선택된 블록의 넓이가 200 이하가 된 경우, 상기 화소값 선택 모듈(116)은 상기 선택된 블록에서 가장 밝은 화소값을 선택하고, 상기 선택된 화소값을 헤이즈 밝기로 추정한다.

만약, 상기 판단결과 상기 선택된 블록의 넓이가 200 이하가 아니면, 상기 화소값 선택 모듈(116)은 상기 선택된 블록을 일정 개수로 분할 및 대표값들을 각각 구하고, 대표값이 가장 큰 블록을 선택하여 기 설정된 넓이 이하인지를 판단하는 과정을 반복하여, 기 설정된 넓이 이하의 블록이 선택된 경우, 그 선택된 블록에서 가장 밝은 화소값을 헤이즈 밝기로 추정한다.

다시 도 1을 참조하면, 상기 영상 축소부(120)는 상기 헤이즈 영상을 미리 정해진 일정 크기로 축소한다. 예를 들면, 상기 영상 축소부(120)는 입력 영상을 320*240 크기의 영상으로 축소할 수 있다. 즉, 동영상은 크기가 커서 입력되는 동영상을 그대로 이용할 경우 계산량이 커지므로, 계산량을 줄이기 위해 영상을 축소하는 과정을 거치게 된다.

상기 블록 단위 전달량 추정부(130)는 상기 영상 축소부(120)에서 축소된 영상을 미리 정해진 일정 개수의 블록으로 분할하고, 각 블록별로 대조비, 영상 손실량 및 시간 손실량을 각각 구한 후, 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정한다.

상기 블록단위 전달량 추정부(130)에 대해 도 3을 참조하면, 상기 블록 단위 전달량 추정부(130)는 영상 분할 모듈(132), 비용함수 계산 모듈(134), 최종 비용함수 계산모듈(136), 블록 단위 전달량 검출 모듈(138)을 포함한다.

상기 영상 분할 모듈(132)은 상기 영상 축소부(120)에서 축소된 헤이즈 영상을 미리 정해진 일정 개수의 블록으로 분할한다. 이때, 상기 영상 분할 모듈(132)은 블록의 크기가 너무 작을 경우 전달량 추정이 어렵기 때문에, 블록의 최소 크기는 16*16 이상의 크기로 정하고, 블록의 개수는 임의로 정할 수 있다. 여기서, 영역 분할을 하는 것은 균등하지 않은 헤이즈에 의한 영향을 고려하여 헤이즈 성분을 보상해주기 위함이고, 영역분할을 위한 블록의 개수는 하드웨어 복잡도를 고려하여 적절하게 선정할 수 있다.

영상을 복원하기 위해서는 수학식 1을 이용하는데, 헤이즈밝기 측정부(110)에서 구해진 헤이즈 밝기 값만 알고 있으므로, 모든 화소마다 전달량(t_p)과 원 밝기값(Jp)을 계산해야 하는데, 식보다 미지수가 많은 문제(under-determined problem)가 있다. 따라서 블록 내에 전달량(t_p)이 모두 동일하다고 가정을 할 경우 B(블록내 화소의 개수)개의 식에 대해 (B+1)개의 미지수로 미지수의 수를 크게 줄일 수 있다. 따라서, 영상을 분할하지 않고 영상 전체에 동일한 전달량(t)으로 가정하게 되면, 영상의 깊이 정보에 따른 영상 열화를 적응적으로 보상할 수 없기 때문에, 영상을 분할하여 지역적 깊이 정보를 고려한 것이다.

상기 비용함수 계산 모듈(134)은 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구한다.

전달량(t)을 구하고자 할 경우, 전달량(t)에 의해서 결정된 출력 영상의 대조비는 커야 하고(1), 전달량(t)에 의해서 결정된 출력 영상의 손실은 최소가 되어야 하며(2), 동영상일 때는 깜박임 현상을 줄이기 위해 이전 프레임과의 차이가 적어야 한다(3)는 조건이 만족되어야 한다.

그러므로, 상기 비용함수 계산모듈(134)은 대조비를 고려하는 비용(E_C), 대조비 향상 시 발생할 수 있는 영상 손실(E_L), 동영상에서의 시간적 유사성을 고려한 비용(E_T)을 고려한 비용함수를 만들고, 각 비용함수를 이용하여 대조비, 영상 손실량, 시간 손실량을 구한다.

따라서, 상기 비용함수 계산 모듈(134)은 대조비를 구하는 대조비 계산 모듈(134a), 영상 손실량을 구하는 영상 손실량 계산 모듈(134b), 시간 손실량을 구하는 시간 손실량 계산 모듈(134c)을 포함한다.

상기 대조비 계산 모듈(134a)은 수학식 2와 같이 각 화소의 화소값을 이용한 분산(δ²)을 이용하여 대조비(E_C)를 구한다.

여기서, 상기 N은 화소 개수, J_p는 원래 객체가 가지고 있는 밝기, p는 각 화소의 위치,

는 원래 객체가 가지고 있는 밝기의 평균을 의미한다.

수학식 2는 영상에서 대조비(contrast)를 계산하는 방법으로 많이 사용되는 RMS contrast를 이용한 것으로, RMS contrast는 영상의 분산값을 이용하여 대조비를 측정한다.

또한, 전달량(t)에 의해서 결정된 출력 영상의 대조비는 커야 하므로, 수학식 2와 같은 비용함수를 만들고, 그 비용함수가 최소가 되는(최적의 값) 전달량(t)을 찾는 것이 목적이므로, RMS contrast는 대조비가 좋아질수록 값이 증가하기 때문에, 비용함수에서는 전달량이 작아질수록 비용함수가 작아지도록 설정하기 위해 - 기호를 붙인다.

즉, 상기 대조비 계산 모듈(134a)은 각 블록별로 각 화소의 화소값을 이용한 분산에 -1을 곱하여 대조비를 구한다. 상기 수학식 2는 제1 비용함수(또는, 대조비 향상 비용함수)로 칭할 수 있고, 상기 제1 비용함수는 복원한 영상의 대조비를 최대로 하는 전달량을 찾는 함수로, 대조비를 최대화하는 블록단위 전달량은 항상 '0'으로 수렴한다. 블록 단위 전달량이 '0'에 수렴할 경우, 입력 화소값에 대한 출력 화소값이 컴퓨터가 표현할 수 있는 화소값 [0 255]를 넘는 값으로 결정된다.

즉, 블록 단위 전달량이 '0'에 수렴할 경우, '0'미만 또는 '255'초과의 출력 화소값이 영상 손실로 존재하는데, 그 영상 손실을 최소화하는 것이 필요하다. 상기 영상 손실량은 '0'미만 또는 '255'초과의 출력 화소값이 0과 255로 절삭된 양을 말한다.

따라서, 상기 영상 손실량 계산 모듈(134b)은 영상 손실을 최소화하기 위해 수학식 3에 의한 제2 비용함수를 이용하여 각 블록별 영상 손실량을 구한다.

수학식 3의 개념을 그림으로 표현하면 도 4와 같이 A영역의 면적과 같다. 도 4를 참조하면, A영역은 '0'미만 또는 '255'초과의 화소값으로, 영상 손실량을 말한다.

또한, 동영상에서 블록 단위 전달량은 객체의 이동에 따라 값이 변한다. 그러므로, 블록 단위 전달량을 구하기 위해서는 영상의 시간적 차이를 최소화하는 시간 손실량을 구해야 한다.

상기 시간 손실량 계산모듈(134c)은 수학식 4에 의한 제3비용함수를 이용하여 영상의 시간적 차이를 최소화하는 시간 손실량을 구한다.

여기서, 상기 t^f는 현재 프레임의 전달량, t^f-1는 이전 프레임의 전달량, k^-f는 객체의 이동에 따라 전달량을 보정해주는 블록 단위 보정계수를 의미한다.

상기 시간 손실량 계산 모듈(134c)이 시간 손실량을 구하는 수학식 4의 구성요소에 대해 설명하기로 한다.

전달량은 객체의 이동에 따라 값이 변한다. 즉, 객체가 관찰자에게 가까이 이동할 경우 전달량은 커지고, 반대로 객체가 멀리 이동할 경우 전달량은 작아진다. 헤이즈의 농도가 모든 곳에 대해서 일정한 양을 가지고 있을 경우, 객체와 관찰자와의 거리에 따라서 헤이즈의 양이 달라진다. 따라서 거리가 가까울 경우 헤이즈에 의해 영향을 적게 받고, 거리가 멀 경우 헤이즈의 영향을 많이 받게 된다. 마찬가지로, 객체가 관찰자에게 가까이 이동하게 되면 헤이즈에 의한 영향이 적어지게 되고, 객체가 관찰자에게 멀어지면 헤이즈에 의해 영향을 더 많이 받게 된다. 그러나, 객체의 이동에 관계없이 객체의 복원된 원 밝기는 항상 동일하다. 따라서 동일 객체일 경우 인접한 프레임간의 복원된 밝기는 수학식 5와 같이 표현할 수 있다.

객체의 이동에 의한 전달량의 변화를 계산하면 수학식 6과 같다.

여기서

는 객체의 이동에 따라 전달량을 보정해주는 계수로 수학식 7을 이용하여 구한다.

여기서,

는 f프레임의 p화소에서의 밝기,

는 (f-1)프레임의 p화소에서의 밝기, A는 헤이즈 밝기를 의미한다.

상기 수학식 7은 수학식 5에 수학식1을 넣어서 정리하면 나오는 식으로, 이때 t를 제외한 나머지 항을 묶어서 kappa로 표기하고 사용한 것이다.

그리고, (f)프레임과 (f-1)프레임의 동일한 화소 위치가 항상 같은 객체를 표현하지는 않는다. 이는 객체의 움직임 때문이며, 객체의 움직임을 보상하기 위해 (f)프레임과 (f-1)프레임의 동일한 위치에서의 화소값 차이를 이용하여 확률 가중치를 계산한다. 상기 확률 가중치(

)는 수학식 8을 이용하여 구한다. 수학식8은 (f-1)프레임에서 p위치의 화소값과 f프레임에서 p위치의 화소값(동일 위치, 서로 다른 프레임)의 차이가 너무 크게 나타날 경우 동일한 객체일 확률이 낮으며, 차이가 작을 경우 동일 객체일 확률이 높으므로 전달량(t)의 변화로 밝기가 변했을 것이라고 가정하여 만든 수식일 수 있다.

여기에서 δ는 화소값 차이에 따른 확률을 나타내기 위한 표준편차로 통상적으로 10을 사용한다.

가 증가할 경우

과

이 동일한 객체를 가리킬 확률이 증가한다. 전달량은 블록 단위로 계산하므로, 확률 가중치를 이용하여 블록단위(B)로 수학식 7을 갱신하면, 수학식 9와 같은 블록 단위 보정계수(

)를 구할 수 있다.

상기 수학식 9를 통해 블록 단위 보정계수가 구해지면, 상기 시간 손실량 계산모듈(134c)은 이전 프레임의 전달량과 현재 프레임의 전달량의 차이를 이용한 수학식 4를 이용하여 시간 손실량을 구한다. 이때 상기 시간 손실량 계산 모듈(134c)은 객체의 움직임에 따른 전달량 변화를 고려하기 위해 확률 가중치(

)로 이전 프레임의 전달량(t^f-1)을 보정한다.

상기 최종 비용함수 계산모듈(136)은 상기 비용함수 계산모듈(134)에서 구해진 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 구한다.

즉, 전달량(t)를 구하고자 할 경우, 전달량에 의해서 결정된 출력 영상의 대조비는 커야 하고(1), 전달량에 의해서 결정된 출력 영상의 손실은 최소가 되어야 하며(2), 동영상일 때는 깜박임 현상을 줄이기 위해 이전 프레임과의 차이가 적어야 한다(3)는 조건이 만족되어야 한다. 상기 3가지의 조건을 만족하는 전달량을 찾는데, 3가지 조건을 비용함수라고 하는 함수로 만들고 이를 최소로 하는 전달량을 찾을 수 있어야 한다. 다시 말해, 비용함수가 최소가 되면, 출력영상의 대조비는 크고, 영상의 손실은 작으며, 동영상의 깜박임 현상이 가장 작다고 할 수 있다.

따라서 최종 비용함수에는 상기 3가지 조건이 모두 포함되어야 하므로 블록 단위 전달량을 계산할 때 이를 모두 포함한 수학식 10과 같은 최종 비용함수를 만들고, 그 최종 비용함수를 이용하여 최종 비용함수 값을 구한다.

여기서, E는 최종 비용함수값, E_C는 대조비값, E_L은 영상 손실량, E_T는 시간 손실량, λ_L은 영상 손실량 계수, λ_T는 시간 손실량 계수를 의미한다.

상기 블록 단위 전달량 검출 모듈(138)은 상기 최종 비용함수 계산 모듈(136)에서 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출한다. 즉, 블록 단위 전달량은 0부터 1까지의 범위에 해당하는 값 중 하나이므로, 상기 블록 단위 전달량 검출모듈(138)은 0부터 1사이의 값(수)들을 블록단위 전달량으로 변화시켜 가면서 최종 비용함수 값을 구하고, 그 최종 비용함수 값이 최소가 되는 전달량을 블록 단위 전달량으로 검출한다. 여기서, 0부터 1사이의 값(수)은 0.1, 0.2 등과 같은 값을 의미하고, 그 값은 임의의 간격 또는 비율로 변화될 수 있다.

다시 도 1을 참조하면, 상기 제1 화소 단위 전달량 추정부(140)는 상기 블록 단위 전달량 추정부(130)에서 검출된 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량으로 변환한다. 상기 에지 보존 필터는 입력 영상의 화소값을 이용하여 화소단위의 근사 전달량을 만든다.

상기 제1 화소 단위 전달량 추정부(140)는 수학식 11을 이용하여 화소 단위의 근사 전달량을 구한다.

상기

는 화소 단위의 근사 전달량, I_p는 카메라에서 획득한 밝기를 의미하고, a, b는 에지 보존 필터를 적용하여 구해진 선형함수의 변수를 의미한다.

입력 영상은 0~255사이의 값을 가지는데, t는 0~1 사이의 값을 가진다. 따라서, 수학식 11은 입력 영상을 이용하여 t를 표현하기 위해서 0~255사이의 값을 a와 b를 통해 0~1 사이로 줄이고, 크기(평균 값)도 비슷하게 맞추고자 한 수식이다.

상기 제1 화소단위 전달량 추정부(140)는 상기 블록단위 전달량과 근사 전달량의 차이가 최소가 되는 a, b를 구함으로써 화소단위의 전달량을 획득한다.

이때, 동영상에서의 보다 빠른 계산을 위하여 a, b를 계산할 때 W크기의 윈도우를 사용하여 a, b를 계산하고 W/2만큼 이동하여 a, b를 계산한다. 겹치는 영역에서는 a, b를 평균한다. 이동하는 거리 W/2에서 2는 다양한 숫자로 변경가능하다.

상기 제1 화소 단위 전달량 추정부(140)에 대해 도 5를 참조하면, 제1 화소 단위 전달량 추정부(140)는 근사 전달량 계산모듈(142), 변수계산 모듈(144), 화소단위 전달량 검출모듈(146)을 포함한다.

상기 근사 전달량 계산 모듈(142)은 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구한다.

화소 단위 처리의 정확도와 블록 단위 처리의 계산 복잡도를 동시에 만족시키기 위하여 상기 근사 전달량 계산 모듈(142)은 블록을 부분적으로 중첩하여 사용함으로써 계산속도의 향상과 알고리즘의 정확도를 동시에 만족시킨다. 부분적으로 블록을 중첩시키는 방법은 지역적 히스토그램 등화 기법에서도 사용되고 있는 보편적인 방법이다. 도 6에서 도시하는 것과 같이 중첩되는 범위가 늘어날수록 좀 더 많은 블록이 평균에 이용되기 때문에 화소단위 결과와 유사한 결과를 얻을 수 있다. 즉 도 6의 (a)는 블록 크기를 1/2로 중첩한 경우이고 (b)는 블록 크기를 1/4로 중첩한 경우를 예시한 도면이다. 상기 예시 도면으로부터 중첩되는 범위가 늘어날수록 좀 더 많은 블록이 평균에 이용되기 때문에 화소단위 결과와 유사한 결과를 얻을 수 있다는 것을 알 수 있다.

그러나, 중첩 범위가 늘어날수록 계산 속도 또한 증가하기 때문에, 중첩 횟수를 최소화해야 한다. 또한 부분적 중첩 블록 방법은 화소 단위 중첩 방법이 아니기 때문에 블록의 경계에서 블록 열화 현상이 발생하고 중첩 횟수가 줄어들수록 블록 열화는 심해진다.

따라서, 상기 근사 전달량 계산 모듈(142)은 각 블록에 도 7과 같은 가우시안 가중치를 적용하여 블록 열화를 최소화한다. 가우시안 가중치는 각 중첩 블록에 개별적으로 적용하며, 가우시안 가중치를 사용함으로써 경계부분에서의 블러 현상이 줄어들 수 있다.

즉, 상기 근사 전달량 계산 모듈(142)은 {(제1블록의 블록단위 근사 전달량값 *가우시안 가중치) + (제2블록 블록단위 근사 전달량값*가우시안 가중치)}의 식을 이용하여 특정 화소의 근사 전달량을 구한다. 이는 전달량은 화소 밝기에 비례한다는 원리를 이용하여 구한 것이다.

상기 변수 계산 모듈(144)은 상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구한다. 여기서, 변수는 수학식 11에서 a, b를 말한다. 근사 전달량과 블록 단위 전달량의 차이가 최소가 되게 하기 위해서 식을 정의하면 수학식 12와 같다.

여기에서, p는 화소위치를 말하고, B는 블록을 의미한다.

수학식 12를 최소로 하는 a, b를 찾기 위해서 변수 계산 모듈(144)는 선형대수에서 사용하는 최소 자승법을 이용한다. 따라서, 상기 변수 계산 모듈(144)는 최소 자승법을 이용하여 a, b를 구한다.

상기 화소단위 전달량 검출 모듈(146)은 상기 변수 계산 모듈(144)에서 구해진 변수에 의한 근사 전달량을 제1 화소단위 전달량으로 검출한다.

즉, 영상의 데이터는 화소마다 변하는데, 계산된 전달량은 블록단위로 계산되어있으므로, 전달량을 이용하여 영상을 복원할 경우 블록의 경계부분에서 전달량 값의 차이로 인하여 블록 열화현상이 나타난다. 상기 블록 열화 현상은 블록의 경계부분에서 화소값 차이가 크게 벌어지는 현상을 말한다. 따라서 이러한 블록 열화 현상을 제거하기 위해 블록단위로 계산된 전달량을 화소단위 전달량으로 변환해야 한다.

다시 도 1을 참조하면, 상기 영상 확대부(150)는 최근접 이웃 화소 보간법을 이용하여 상기 영상 축소부(120)에서 축소된 영상을 원 영상의 크기로 확대한다. 이때, 상기 영상 확대부(150)는 상기 제1 화소단위 전달량 추정부(140)에서 구해진 제1화소 단위 전달량도 원 영상의 크기로 확대한다.

상기 제2 화소 단위 전달량 추정부(160)는 상기 확대된 제1 화소 단위 전달량을 에지 보존 필터에 적용하여 제2 화소 단위 전달량으로 변환한다. 즉, 상기 제2 화소 단위 전달량 추정부(160)는 상기 확대된 영상의 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구한다. 그런 다음 상기 제2 화소 단위 전달량 추정부(160)는 상기 제1 화소 단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하고, 상기 구해진 변수에 의한 근사 전달량을 제2 화소단위 전달량으로 검출한다. 여기에서는 제2 화소 단위 전달량 추정부(160)에서 검출된 화소 단위 전달량을 제2 화소 단위 전달량으로 칭하였으나, 제2 화소 단위 전달량 대신에 화소 단위 전달량으로 칭할 수도 있다.

상기 제2 화소 단위 전달량 추정부(160)의 구성은 도 5와 같으므로 그 설명은 생략하기로 한다.

본 발명에서 영상 축소부(120), 블록 단위 전달량 추정부(130), 제1 화소 단위 전달량 추정부(140), 영상 확대부(150), 제2 화소 단위 전달량 추정부(160)는 하나의 구성요소로 구비될 수 있고, 이 경우 전달량 추정부로 칭할 수 있다.

상기 영상 복원부(170)는 상기 헤이즈 밝기 측정부(110)에서 측정된 헤이즈 밝기와 상기 제2 화소 단위 전달량 추정부(160)에서 변환된 제2 화소 단위 전달량을 이용하여 상기 영상에서 헤이즈를 제거한다.

즉, 상기 영상 복원부(170)는 수학식 13를 이용하여 헤이즈가 제거된 영상을 생성한다.

여기서, I_p는 카메라에서 획득한 밝기, J_p는 원래 객체가 가지고 있는 밝기 , p는 각 화소의 위치, A는 헤이즈 밝기,

t_p는 화소 단위 전달량을 의미한다.

수학식 13은 수학식 1을 J_p로 정리한 식이다.

도 8은 본 발명에 따른 영상 처리 장치가 헤이즈가 포함된 영상을 복원하는 방법을 나타낸 흐름도, 도 9는 본 발명에 따른 중첩 블록에 기반한 에지 보존 필터를 적용한 경우의 화면 예시도이다.

도 8을 참조하면, 영상 처리 장치는 헤이즈가 포함된 동영상이 입력되면(S802), 상기 동영상에서 헤이즈 밝기를 측정한다(S804). 상기 영상 처리 장치가 상기 동영상에서 헤이즈 밝기를 측정하는 방법에 대한 상세한 설명은 도 10을 참조하기로 한다.

상기 S804가 수행되면, 상기 영상 처리 장치는 상기 헤이즈가 포함된 영상을 미리 정해진 일정 크기로 축소하고(S806), 상기 축소된 영상을 미리 정해진 일정 크기의 블록으로 분할하여 블록단위 전달량을 추정한다(S808).

상기 영상 처리 장치가 블록 단위의 전달량을 추정하는 방법에 대한 상세한 설명은 도 11을 참조하기로 한다.

상기 S808이 수행되면, 상기 영상 처리 장치는 상기 블럭 단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량으로 변환한다(S810). 상기 영상 처리 장치가 제1 화소 단위 전달량을 추정하는 방법에 대한 상세한 설명은 도 12를 참조하기로 한다.

상기 S810이 수행되면, 상기 영상 처리 장치는 상기 제1 화소 단위 전달량 및 상기 축소된 영상을 원 영상의 크기로 확대한다(S812). 이때, 상기 영상 처리 장치는 최근접 이웃 화소 보간법을 이용하여 영상을 원 영상의 크기로 확대한다.

상기 S812의 수행 후, 상기 영상 처리 장치는 상기 원 영상의 크기로 확대된 제1 화소단위 전달량을 상기 에지 보존 필터에 적용하여 제2 화소 단위 전달량을 추정한다(S814). 상기 제2 화소 단위 전달량을 추정하는 방법에 대한 상세한 설명은 도 12를 참조하기로 한다.

상기 S814의 수행 후, 상기 영상 처리 장치는 상기 헤이즈 밝기와 상기 제2 화소 단위 전달량을 이용한 수학식 13을 이용하여 상기 확대된 영상을 복원한다(S816).

상기 영상 처리 장치가 헤이즈가 포함된 동영상에 에지 보존 필터를 적용한 경우에 대해 도 9를 참조하여 설명하기로 한다.

도 9를 참조하면, (a)와 같이 헤이즈가 포함된 동영상에서 블록 단위 전달량을 적용하면 (b)와 같은 영상이 된다. (b)에 블록 단위 에지 필터를 적용하면 (c)와 같은 영상이 되고, (c)의 영상에 가우시안 가중치를 적용하면 (d)와 같이 경계부분에서의 블록 현상이 줄어든 영상이 된다.

도 10은 본 발명에 따른 영상 처리 장치가 헤이즈 밝기를 측정하는 방법을 나타낸 흐름도이다.

도 10을 참조하면, 영상 처리 장치는 헤이즈 포함 영상을 4개의 블록으로 분할하고(S1002), 각 블록에 대한 화소값의 평균과 표준편차를 각각 구한다(S1004).

그런 다음 상기 영상 처리 장치는 각 블록의 평균과 표준편차의 차에 의한 대표값을 블록별로 각각 구한다(S1006).

그런 다음 상기 영상 처리 장치는 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고(S1008), 그 선택된 블록의 넓이가 200이하인지의 여부를 판단한다(1010).

상기 S1010의 판단결과 선택된 블록의 크기가 200이하인 경우, 상기 영상 처리 장치는 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 헤이즈 밝기로 정의한다(S1012).

만약, 상기 S1010의 판단결과 상기 선택된 블록의 크기가 200이하가 아니면, 상기 영상 처리 장치는 상기 S1002를 수행한다.

도 11을 본 발명에 따른 영상 처리 장치가 블록 단위 전달량을 검출하는 방법을 나타낸 흐름도이다.

도 11을 참조하면, 영상 처리 장치는 헤이즈가 포함된 영상을 B크기의 블록으로 분할한다(S1102).

상기 S1102의 수행 후, 상기 영상 처리 장치는 각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구한다(S1104). 상기 영상 처리 장치가 대조비, 영상 손실량, 시간 손실량을 구하는 방법에 대한 상세한 설명은 3을 참조하기로 한다.

상기 S1104의 수행 후, 상기 영상 처리 장치는 상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 블록별로 구하고(S1106), 상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 선택한다(S1108).

그런 다음 상기 영상 처리 장치는 상기 선택된 전달량을 블록 단위 전달량으로 검출한다(S1110).

도 12는 본 발명에 따른 영상 처리 장치가 화소 단위 전달량을 추정하는 방법을 나타낸 흐름도이다.

도 12를 참조하면, 영상 처리 장치는 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구한다(S1202).

그런 다음 상기 영상 처리 장치는 미리 구해진 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수 값을 구한다(S1204).

상기 영상 처리 장치는 상기 구해진 변수값에 의한 근사 전달량을 제1 화소단위 전달량으로 검출한다(S1206).

본 발명은 비행, 공항, 운송, 해운, 수중감시, 의료영상(체내 가스등에 의해 생성된 뿌연 성분의 제거등), 농업감시, 영상보안 카메라 등 다양한 분야의 영상의 대조비를 향상하는데 활용이 가능하다.

동영상서 헤이즈를 제거하는 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 헤이즈를 포함한 동영상으로부터 헤이즈 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있고, 동영상에서 헤이즈 제거 후 발생할 수 있는 flickering 현상을 제거함으로써, 보다 안정적인 헤이즈 제거가 가능하며, 고속화된 필터를 도입함으로써 실시간 처리가 가능한 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법에 적용될 수 있다.

100 : 영상 처리 장치 110 : 헤이즈 밝기 측정부
120 : 영상 축소부 130 : 블록 단위 전달량 추정부
140 : 제1 화소 단위 전달량 추정부 150 : 영상 확대부
160 : 제2 화소 단위 전달량 추정부 170 : 영상 복원부

Claims

헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 헤이즈 밝기 측정부;
상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 화소 단위 전달량을 추정하는 전달량 추정부; 및
상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상을 복원하는 영상 복원부;
를 포함하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제1항에 있어서,
상기 헤이즈 밝기 측정부는,
상기 영상을 미리 정해진 제1 일정 개수의 블록으로 나누는 영역 분할 모듈;
상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하고, 각 블록별 평균과 표준편차를 이용하여 대표값을 각각 구하는 대표값 계산 모듈; 및
상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하고, 상기 선택된 블록의 넓이가 기 설정된 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 헤이즈 밝기로 선택하는 화소값 선택 모듈을 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제1항에 있어서,
상기 전달량 추정부는,
상기 헤이즈가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 블록단위 전달량 추정부; 및
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량을 추정하는 제1 화소 단위 전달량 추정부를 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제3항에 있어서,
상기 헤이즈가 포함된 영상을 미리 정해진 일정 크기로 축소하고, 상기 축소된 영상을 상기 블록단위 전달량 추정부로 전송하는 영상 축소부를 더 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제4항에 있어서,
상기 축소된 영상과 상기 제1 화소 단위 전달량을 원 영상의 크기로 확대하는 영상 확대부; 및
상기 확대된 제1 화소 단위 전달량에 에지 보존 필터에 적용하여 제2 화소 단위 전달량을 추정하는 제2 화소단위 전달량 추정부를 더 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제3항에 있어서,
상기 블록 단위 전달량 추정부는,
상기 영상을 미리 정해진 제2 일정 개수로 분할하는 영상 분할 모듈;
각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 비용함수 계산모듈;
상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 구하는 최종 비용함수 계산 모듈; 및
상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 블록단위 전달량 검출 모듈을 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제6항에 있어서,
상기 비용함수 계산 모듈은 각 화소의 화소값을 이용한 분산에 (-1)을 곱하여 대조비(Ec)를 구하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제6항에 있어서,
상기 비용함수 계산 모듈은 블록 단위 전달량이 '0'에 수렴할 경우, '0'미만 또는 '255'초과의 화소값을 가지는 영역의 면적을 이용하여 영상 손실량을 구하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제6항에 있어서,
상기 비용함수 계산 모듈은 이전 프레임의 블록단위 전달량에 객체의 이동에 따라 전달량을 보정해주는 블록단위 보정계수를 적용하여 상기 이전 프레임의 블록단위 전달량을 보정하고, 상기 보정된 이전 프레임의 블록단위 전달량과 현재 프레임의 블록단위 전달량을 이용하여, 영상의 시간적 차이를 최소화하는 시간 손실량을 구하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제6항에 있어서,
상기 최종 비용함수 계산 모듈은 상기 대조비, 영상 손실량, 시간 손실량을 포함하는 최종 비용함수를 만들고, 0부터 1사이의 임의의 값들을 전달량으로 변화시켜 가면서 최종 비용함수 값을 구하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제5항에 있어서,
상기 제1 또는 제2 화소 단위 전달량 추정부는
블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 근사 전달량 계산모듈;
상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 변수 계산 모듈; 및
상기 구해진 변수에 의한 근사 전달량을 제1 또는 제2 화소단위 전달량으로 검출하는 화소단위 전달량 검출 모듈을 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
제5항에 있어서,
상기 영상 확대부는 최근접 이웃 화소 보간법을 이용하여 상기 축소된 영상을 원 영상의 크기로 확대하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치.
영상 처리 장치가 동영상에 포함된 헤이즈를 제거하는 방법에 있어서,
(a) 헤이즈가 포함된 영상에서 헤이즈 밝기를 측정하는 단계;
(b) 상기 영상에서 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수 값을 최소로 하는 블록단위 전달량을 추정하고, 상기 블록단위 전달량을 기초로 화소 단위 전달량을 추정하는 단계; 및
(c) 상기 헤이즈 밝기와 상기 화소 단위 전달량을 이용하여 상기 영상에서 헤이즈를 제거하여 영상을 복원하는 단계;
를 포함하는 동영상에 포함된 헤이즈 제거 방법.
제13항에 있어서,
상기 (a)단계는,
상기 영상을 미리 정해진 제1 일정 개수의 블록으로 분할하는 단계;
상기 분할된 각 블록별로 화소값의 평균과 표준편차를 각각 구하는 단계;
각 블록별로 평균과 표준편차의 차를 이용하여 대표값을 각각 구하는 단계;
상기 각 블록별로 구해진 대표값들 중에서 그 값이 가장 큰 블록을 선택하는 단계;
상기 선택된 블록의 넓이가 미리 정해진 넓이 이하인지를 판단하는 단계; 및
상기 판단결과 미리 정해진 미리 정해진 넓이 이하가 된 경우, 상기 선택된 블록에서 가장 밝은 화소값을 선택하여 헤이즈 밝기로 추정하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거 방법.
제13항에 있어서,
상기 (b) 단계는,
상기 헤이즈가 포함된 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하고, 각 블록별 대조비, 영상 손실량 및 시간 손실량에 의한 최종 비용함수를 이용하여 블록단위 전달량을 추정하는 단계;
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량을 추정하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거 방법.
제15항에 있어서,
상기 블록단위 전달량을 추정하는 단계 이전에,
상기 헤이즈가 포함된 영상을 미리 정해진 일정 크기로 축소하는 단계를 더 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거 방법.
제16항에 있어서,
상기 제1 화소단위 전달량을 추정하는 단계 이후,
상기 축소된 영상과 상기 제1 화소 단위 전달량을 원 영상의 크기로 확대하는 단계; 및
상기 확대된 제1 화소 단위 전달량에 에지 보존 필터에 적용하여 제2 화소 단위 전달량을 추정하는 단계를 더 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거 방법.
제15항에 있어서,
상기 블록단위 전달량을 추정하는 단계는,
상기 영상을 미리 정해진 제2 일정 개수의 블록으로 분할하는 단계;
각 블록별로 미리 정해진 범위의 전달량을 일정 비율씩 변화시키면서 대조비, 영상 손실량, 시간 손실량을 각각 구하는 단계;
상기 대조비, 영상 손실량, 시간 손실량에 의한 최종 비용함수 값을 블록별로 구하는 단계; 및
상기 구해진 최종 비용함수 값들 중에서 그 값을 최소로 하는 전달량을 블록 단위 전달량으로 검출하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거 방법.
제15항에 있어서,
상기 블록단위 전달량을 에지 보존 필터에 적용하여 제1 화소 단위 전달량을 추정하는 단계는,
상기 블록을 부분적으로 중첩시키고 각 블록에 가우시안 가중치를 적용하여 각 블록별로 근사 전달량을 구하는 단계;
상기 블록단위 전달량과 상기 근사 전달량의 차이가 최소가 되는 변수를 구하는 단계; 및
상기 구해진 변수에 의한 근사 전달량을 제1 화소단위 전달량으로 검출하는 단계를 포함하는 것을 특징으로 하는 동영상에 포함된 헤이즈 제거 방법.