KR101756173B1 - 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 - Google Patents
전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101756173B1 KR101756173B1 KR1020160053355A KR20160053355A KR101756173B1 KR 101756173 B1 KR101756173 B1 KR 101756173B1 KR 1020160053355 A KR1020160053355 A KR 1020160053355A KR 20160053355 A KR20160053355 A KR 20160053355A KR 101756173 B1 KR101756173 B1 KR 101756173B1
- Authority
- KR
- South Korea
- Prior art keywords
- transmission rate
- image
- fog
- frequency component
- transfer rate
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012546 transfer Methods 0.000 claims abstract description 114
- 238000004364 calculation method Methods 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 23
- CMRJPMODSSEAPL-FYQPLNBISA-N Trenbolone acetate Chemical compound C1CC2=CC(=O)CCC2=C2[C@@H]1[C@@H]1CC[C@H](OC(=O)C)[C@@]1(C)C=C2 CMRJPMODSSEAPL-FYQPLNBISA-N 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 25
- 125000001475 halogen functional group Chemical group 0.000 claims description 17
- 238000002834 transmittance Methods 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000012805 post-processing Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 239000000779 smoke Substances 0.000 abstract description 10
- 239000003595 mist Substances 0.000 abstract description 8
- 238000007796 conventional method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000984082 Amoreuxia Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G06T5/002—
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명은 안개나 연기로 인해 가시성이 저하된 영상에서 안개와 연기를 제거하여 가시성이 향상된 영상을 제공하는 방법을 제공하는 것으로, 이를 위하여 본 발명에서는 입력영상으로부터 원영상에 안개가 어느 정도의 비율로 섞여있는지를 나타내는 전달률(transmission rate)의 하한치를 각 화소별로 계산하고, 계산된 전달률 하한치를 멱승계산하여 초기 전달률을 구한다. 초기 전달률에 대해 변화가 큰 에지영역은 보존하고 변화가 작은 에지가 아닌 영역에 대해서는 강력한 저역통과필터처리를 하는 전달률 보정처리에 의해 최종 전달률을 구하여 안개성분이 제거된 선명한 영상을 구한다.
본 발명에서는 전달률 하한치를 멱승계산하여 구한 초기 전달률을 보정하는 3가지 방법을 제시하였다. 본 발명은 안개제거 처리를 통해 선명한 영상을 제공하면서도 기존 방식에 비하여 연산량이 매우 적어 실시간 처리가 요구되는 감시시스템, 블랙박스, 디지털 카메라 등 모든 멀티미디어 기기에 적용이 가능하다.
본 발명에서는 전달률 하한치를 멱승계산하여 구한 초기 전달률을 보정하는 3가지 방법을 제시하였다. 본 발명은 안개제거 처리를 통해 선명한 영상을 제공하면서도 기존 방식에 비하여 연산량이 매우 적어 실시간 처리가 요구되는 감시시스템, 블랙박스, 디지털 카메라 등 모든 멀티미디어 기기에 적용이 가능하다.
Description
본 발명은 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 안개나 연기로 인해 화질이 저하된 영상에서 안개나 연기 성분을 제거하여 가시성이 향상된 선명한 영상을 제공하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법에 관한 것이다.
최근 사고예방이나 감지를 위하여 영상 감시시스템이나 차량용 영상 블랙박스 등이 사용되고 있다. 또한 첨단 안전차량의 경우 컴퓨터 비전기술을 이용하여 동영상 카메라에서 획득한 영상으로부터 차선과 전방차량을 검출하여 차선이탈과 차량추돌 경보 등을 제공하는 연구가 진행되고 있다.
영상처리 또는 컴퓨터 비전 응용 시스템의 성능을 향상시키기 위해서는 깨끗한 입력 영상이 필요하다. 특히, 객체를 탐지/추적하거나 영상의 에지 정보를 사용할 때는 입력 영상이 깨끗할수록 좋은 결과를 얻을 수 있다.
하지만, 실외 상황에서 촬영된 영상의 경우에는 객체로부터 반사되는 밝기와 색이 공기 중의 입자와 혼합되므로 원래의 선명한 색과 밝기 대비를 제공하지 못한다. 특히 안개나 연기와 같이 공기 중에 큰 입자가 있는 경우 객체의 원래 색과 형태를 정확하게 획득하기 어렵다.
종래, 안개 등이 포함된 영상을 개선하는 방법과 관련해서는, 한국공개특허 제10-2010-0021952호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.
선행문헌에 따른 방법은, 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 단계; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 단계; 를 포함한다. 그러나, 상기한 선행문헌은 화소 단위로 안개 영상 처리를 수행하지 않고, 블록 단위로 단위로 처리를 수행한다.
한편, 안개가 있는 영상에서 안개를 제거하여 선명한 영상을 추정하는 다양한 방법들이 제시되었는데, 초기에는 안개가 낀 영상을 안개가 제거된 영상으로 복원하기 위해서 여러 개의 영상을 이용하거나, 영상 외에 추가적인 정보를 이용하는 방법이 제안되었다. 여러 개의 영상을 이용한 방법으로 편광을 이용한 방법[1, 2]이 제안되었는데, 이 방법은 정확히 동일한 위치에서 각각 다른 편광 필터가 장착된 상태로 촬영된 2장 이상의 영상을 획득하고, 편광된 양을 측정하는 방법을 통해 깊이 값을 계산하고 이를 이용하여 안개를 제거하였다.
이 방법들은 매우 좋은 결과 영상을 제공하지만, 동일한 위치에서 각각 다른 편광 필터를 사용해야 한다는 강한 제한 조건이 요구된다. 편광 필터를 이용하지 않고 단순히 여러 장의 영상을 이용하는 방법[3, 4, 5]은 동일한 위치에서 촬영된 다른 기상 환경의 두 영상으로부터 안개 값과 깊이 정보를 구하여 안개를 제거하였다. Kopf 등[6]은 여러 장의 영상을 이용하는 대신 영상의 깊이 정보를 이용하여 안개를 제거하는 방법을 제안하였는데, 카메라에 내장된 GPS 정보를 이용하여 깊이나 텍스쳐 정보를 획득하고, 안개 값의 농도(밀도)가 깊이정보라고 가정하여 영상의 안개를 제거하였다.
여러 장의 영상을 이용하거나 또는 한 장의 영상을 이용하더라도 추가적인 정보를 이용하여 안개를 제거하는 방법들은 다양한 조건에서의 영상 데이터 확보가 필요하므로 동적으로 움직이는 카메라로 촬영된 영상에 적용할 수 없다는 단점을 가지고 있다. 따라서 최근에는 단일 영상으로 안개를 제거하는 방법이 연구되고 있다.
Tan은 [8]에서 밝기대비를 늘리는 방법을 통해서 안개를 제거하는 방법을 제안하였는데, 안개가 없는 깨끗한 영상은 안개가 있는 영상에 비해 높은 에지 강도를 가지고 있고, 안개 값은 급격하게 변하지 않는다는 속성을 이용하여 안개를 제거하였다. 이 방법은 밝기대비가 크게 개선되기 때문에 영상의 형태나 구조가 확실히 들어난다는 장점이 있지만, 과도한 대비 증가로 인하여 포화현상이 일어나고, 깊이 정보가 많이 차이나는 구간에서는 후광효과(halo effect)가 발생하기도 한다. Fattal [9]은 일정 영상 영역 내에서 측정된 반사율은 항상 같은 벡터 방향을 갖는다는 가정을 통하여 영상의 반사율을 측정하여 안개가 제거된 영상을 복원하는 방법을 제안하였다.
He 등[10]은 안개가 없는 깨끗한 영상은 안개가 있는 영상에 비해 칼라의 채도가 높다는 특성을 이용하였는데, 안개가 없는 깨끗한 영상의 색선명도가 높은 화소는 R, G, B 값 중 한 채널(channel) 값이 매우 작은 값을 가지므로 안개가 없는 칼라 영상의 경우 일정 영역에서 매우 낮은 채널 값을 갖는 화소가 있다는 관측 결과를 이용하여 안개를 제거하는 방법을 제안하였다. 하지만 한 장의 영상을 사용하는 기존 방법은 RGB 칼라를 사용하므로 휘도영상만을 사용할 경우 안개제거 성능이 저하되고, 큰 크기의 필터를 사용하므로 후광효과가 나타나며, 전달률(transmission rate)을 정재하기 위해 매우 많은 연산량이 요구되어 실시간 처리가 어려운 문제가 있다.
Tarel 등[11]은 연산 속도를 개선하기 위하여 미디언 필터를 사용하는 안개제거 방법을 제안하였는데, 큰 크기의 미디언 필터를 사용하면 연산속도가 느려지고 후광효과가 나타나는 단점이 있다.
[1] Y. Y. Schechner, S. G. Narasimhan, and S. K. Nayar, "Instant dehazing of images using polarization," in Proc. CVPR, pp. 1984-1991, Hawaii, USA, Dec. 2001.
[2] S. Shwartz, E. Namer, and Y. Y. Schechner, "Blind haze separation," in Proc. CVPR, pp. 1984-1991, New York, USA, Oct. 2006.
[3] S.G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," in Proc. CVPR, pp. 598-605, SC, USA, June 2000.
[4] S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 6, pp. 713-724, June 2003.
[5] S. K. Nayar and S. G. Narasimhan, "Vision in bad weather," in Proc. ICCV, pp. 820-827, Corfu, Greece, Sep. 1999.
[6] J. Kopf, B. Neubert, B. Chen , M. Cohen, D. Cohen-Or, O. Deussen, M. Uyttendaele, and D. Lischinski, "Deep photo: Model-based photograph enhancement and viewing," ACM Trans. Graphics, vol. 27, no. 5, pp. 1-10, Dec. 2008.
[7] S. G. Narasimhan and S. K. Nayar, "Interactive deweathering of an image using physical models," In Workshop on Color and Photometirc Methods in Computer Vision, OCT. 2003
[8] R.Tan, "Visibility in bad weather from a single image," in Proc CVPR, pp. 1-8, Alaska, USA, June 2008.
[9] R.Fattal, "Single image dehazing," ACM Trans. Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.
[10] K. He, J. Sun, and X.Tang, "Single image haze removal using dark channel prior," in Proc. CVPR, pp. 1956-1963, Miami, USA, June 2009.
[11] Tarel, Jean-Philippe; Hautiere, Nicolas; "Fast visibility restoration from a single color or gray level image," Computer Vision, 2009 IEEE 12th International Conference on, pp.2201-2208, Sept. 2009.
본 발명의 목적은 전술한 점들을 감안하여 안출된 것으로, 기존 방식에 비해 연산량이 적어 모바일폰과 같은 임베디드 프로세서에서 실시간 처리가 가능한 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법을 제공함에 있다.
또한 안개, 연기, 구름 등 공기 중의 밝기와 색상 성분이 객체의 빛과 색 성분과 혼합되어 가시성이 낮아진 영상에 대해 안개와 연기 등 가시성을 저하시키는 성분을 제거하여 선명한 영상을 제공하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법을 제공함에도 있다.
그리고 기존 방식과 비교하여 후광 효과없이 우수한 안개제거 성능을 유지하면서도 모바일 폰과 같은 임베디드 프로세서에서 실시간 처리가 가능할 정도로 연산량을 크게 줄일 수 있는 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법을 제공함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 전달률 하한치를 이용한 안개영상 개선 장치에 관한 것으로서, 입력신호 Ic(x)에 대해 카메라에서 가장 먼 곳에 해당하는 대기의 밝기값(Ac)을 계산하는 대기 밝기값 계산부; 전달률 하한치 tLB(x)를 계산하는 전달률 하한치 계산부; 상기 전달률 하한치를 P제곱승한 [tLB(x)]P 초기 전달률을 계산하는 멱승 계산부; 초기 전단률을 보정하여 출력 복원영상이 후광효과없이 안개제거가 되도록 하는 최종 전달률을 계산하는 전달률 보정부; 연산을 통해 안개가 제거된 영상을 계산하는 복원영상 계산부; 및 명암대비 향상 등의 처리를 통해 최종 복원영상 Jc(x)를 출력하도록 하는 후처리부;를 포함한다.
바람직하게 상기 전달률 하한치 계산부는 [수식 11]의 연산을 통해 전달률 하한치 tLB(x)를 계산할 수 있다.
[수식 11]
또한 바람직하게 복원영상 계산부는 [수식 12]의 연산을 통해 안개가 제거된 영상을 계산할 수 있다.
[수식 12]
또한 바람직하게 안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률에 에지보존형 저역통과필터를 사용하여 최종 전달률을 구할 수 있다.
또한 바람직하게 안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리하는 초기 전달률 분리부; 상기 고주파 성분에 저역통과필터 처리하여 [수식 13]과 같이 저역필터 처리된 초기 전달률의 절대값에 비례하는 압축계수값 
을 구하고, 고주파 성분에 곱한 결과인 th(x)와 초기전달률의 저주파 성분을 더하여 최종 전달률 t(x)를 구하는 압축계수 산출부;를 포함할 수 있다.
[수식 13]
또한 바람직하게 안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리하는 초기 전달률 분리부; 초기 전달률의 고주파 성분 tH(x) 중 임계치보다 큰 성분의 위치를 1로 표시하는 임계치 처리부; 상기 임계치 처리부의 출력 중 독립적으로 존재하는 1을 0으로 변화시키는 독립성분 제거부; 상기 독립성분 제거부의 출력 중 1로 표시된 위치성분을 중심으로 영역을 확장하여 확장영역 위치는 1이고, 나머지 위치는 0을 갖는 R(x)를 출력하는 영역확장 처리부; R(x)와 초기 전달률의 고주파 성분을 곱하여 변형된 고주파 성분 th(x)를 구하는 곱셈 연산자부; 및 변형된 초기 전달률의 고주파성분th(x)과 저주파 성분 tL(x)을 더해서 최종 전달률 t(x)를 출력하는 덧셈 연산자부;를 포함할 수 있다.
바람직하게 대기 밝기값 계산부, 전달률 하한치 계산부, 멱승 계산부, 전달률 보정부, 복원영상 계산부, 후 처리부를 포함하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템을 이용한 방법은 대기 밝기값 계산부로 입력영상에 대해 대기밝기값에 대한 밝기값을 계산하는 단계; 상기 전달률 하한치 계산부로 화소단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 단계; 상기 멱승 계산부로 전달률 하한치를 멱승 계산하여 초기 전달률을 구하는 단계; 상기 전달률 보정부로 복원된 출력영상이 후광 효과없이 안개제거된 선명한 영상을 제공하기 위해 초기 전달률에 대해 강한 에지를 유지하면서 초기 전달률을 평탄화하는 보정처리를 하는 단계; 상기 복원영상 계산부로 안개제거에 적용할 최종 전달률을 계산하는 단계; 및 상기 후처리부로 영상복원과 후처리 과정을 통해 안개가 제거된 복원영상을 출력하는 단계;를 포함할 수 있다.
상술한 바에 의하면, 안개, 연기, 구름 등 공기 중의 밝기와 색상 성분이 객체의 빛과 색 성분과 혼합되어 가시성이 낮아진 영상에 대해 안개와 연기 등 가시성을 저하시키는 성분을 제거하여 선명한 영상을 제공할 수 있다.
그리고 기존 방식과 비교하여 후광효과없이 우수한 안개제거 성능을 유지하면서도 모바일 폰과 같은 임베디드 프로세서에서 실시간 처리가 가능할 정도로 연산량을 크게 줄일 수 있는 효과가 있다.
도 1은 본 발명에 따른 전달률 하한치의 변형에 의한 안개영상 개선 시스템 에 관한 전체 구성도.
도 2는 도 1에서 제안된 안개제거 방법에 대한 흐름도의 처리과정에 대한 시뮬레이션 결과.
도 3은 제안된 전달률 하한치 변형에 의한 안개제거 방법 및 시스템의 전체 블록도.
도 4는 전달률 계산방법1 블록도를 나타낸 예시도.
도 5는 도 4의 전달률 계산 방법1에 대한 안개제거 처리결과 영상.
도 6은 전달률 계산 방법2 블록도를 나타낸 예시도.
도 7은 도 6의 전달률 계산 방법2에 대한 안개제거 처리결과 영상.
도 8은 전달률 계산 방법3 블록도를 나타낸 예시도.
도 9는 도 8의 전달률 계산 방법3에 대한 안개제거 처리결과 영상.
도 2는 도 1에서 제안된 안개제거 방법에 대한 흐름도의 처리과정에 대한 시뮬레이션 결과.
도 3은 제안된 전달률 하한치 변형에 의한 안개제거 방법 및 시스템의 전체 블록도.
도 4는 전달률 계산방법1 블록도를 나타낸 예시도.
도 5는 도 4의 전달률 계산 방법1에 대한 안개제거 처리결과 영상.
도 6은 전달률 계산 방법2 블록도를 나타낸 예시도.
도 7은 도 6의 전달률 계산 방법2에 대한 안개제거 처리결과 영상.
도 8은 전달률 계산 방법3 블록도를 나타낸 예시도.
도 9는 도 8의 전달률 계산 방법3에 대한 안개제거 처리결과 영상.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
본 발명에 따르면, 전달률의 하한치를 거듭제곱 처리를 통해 초기 전달률을 구하고, 초기전달률을 보정하여 안개성분에 대한 전달률을 구하여 안개제거를 수행한다. 기존방식은 필터링 같은 영역처리를 통해 초기전달률을 구한 후, 후광효과를 줄이기 위해 전달률 정재과정에서 많은 연산을 사용하는 반면, 제안 방식은 화소단위의 처리를 통해 초기 전달률을 구하고 연산량이 매우 적은 전달률 보정과정을 수행한다.
또한 제안방식은 입력이 RGB칼라신호인 경우에도 각 칼라채널에 대해 각 연산을 수행하지 않고, 주요 연산이 전달률 정보에 대해서만 수행되므로, 연산량을 줄일 수 있다. 그리고 전달률 하한치 계산, 멱승계산 등 대부분의 연산을 LUT(LookUp Table)을 사용하여 한번에 계산할 수 있다.
가장 많은 연산이 필요한 전달률 보정처리 역시 연산량이 적은 이동평균필터를 적용하여도 성능이 우수하다. 제안된 방식은 모바일폰과 같은 임베디드 포르세서에서 실시간 처리가 가능한 적은 연산량을 사용하면서도 우수한 안개제거 성능을 보일 수 있다. 그리고 제안 방식은 휘도신호에 대해서도 우수한 안개제거 성능을 나타내어 멀티미디어 시스템에서 사용하는 다양한 칼라포맷(YCb,Cr, YUV 등)에 적용할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
우선, 도 3은 본 발명의 일실시예에 따른 전달률 하한치의 변형에 의한 안개영상 개선 시스템을 나타낸 구성도이다. 도 3에 도시된 바와 같이, 전달률 하한치의 변형에 의한 안개영상 개선 시스템은 대기 밝기값 계산부(300), 전달률 하한치 계산부(301), 멱승 계산부(302), 전달률 보정부(303), 복원영상 계산부(304), 후처리부(305)를 포함할 수 있다.
대기 밝기값 계산부(300)는 입력신호 Ic(x)에 대해 카메라에서 가장 먼 곳에 해당하는 대기의 밝기값(Ac)을 계산하는 구성이다.
대기 밝기값 계산 과정은 카메라에서 가장 먼 곳에 해당하는 대기의 밝기값을 구하는 과정이다. 대기밝기값은 [수식 10]과 같이 각각의 화소에 대해 R,G,B 칼라채널의 최소값을 구하고, 대기밝기
는 현재 영상의 화소들 중 [수식 10]에서 구한 최소값이 일정 임계값보다 큰 화소들의 R,G,B값을 각각 평균하여 구한다.
[수식 10]
전달률 하한치 계산부(301)는 전달률 하한치 tLB(x)를 계산하는 구성으로, 안개 낀 입력신호(
)와 대기 밝기값 계산부의 출력 
를 입력받아 [수식 11]을 수행한다. 여기서, 전달률 하한치 계산은 [수식 11]의 연산을 통해 전달률 하한치 tLB(x)를 계산할 수 있다.
[수식 11]
수식 11에서, 안개 낀 입력신호(
)와 대기 밝기값 계산부의 출력 
를 입력받고, 
는 좌표 x에서 R,G,B입력 칼라 중 최소값을 구하는 연산이고, 
는 대기 밝기값 계산부의 출력이다.
멱승 계산부(302)는 전달률 하한치를 P제곱승한 [tLB(x)]P 초기 전달률을 계산하는 구성이다. 멱승 계산 과정에서는 전달률 하한치를 P 제곱승한 
을 출력하는데, 이 값은 초기 전달률에 해당된다. 멱승 계산 과정의 출력인 초기 전달률에는 입력영상에 포함된 안개성분과 물체 고유의 반사성분에 대한 정보가 포함되어 있어, 초기 전달률을 이용하여 안개제거 처리를 수행할 경우 반사성분에 대한 전달률이 포함되므로 안개제거 효과가 감소한다.
전달률 보정부(303)는 초기 전달률을 보정하여 출력 복원영상이 후광효과없이 안개제거가 되도록 하는 최종 전달률을 계산하는 구성이다. 전달률 보정 과정은 초기전달률에 포함되어있는 성분 중 안개성분에 대한 전달률만을 추출하는 과정이다. 안개성분은 지역적으로 일정한 값을 갖는 반면 반사성분은 영상의 포함된 밝기(색상)의 변화에 따라 변한다. 따라서 초기전달률에 포함된 안개성분에 대한 전달률은 저주파성분에 해당되고, 반사성분에 대한 전달률은 고주파성분에 해당된다.
그러므로 안개성분에 대한 전달률은 저역통과필터 처리를 통해 구할 수 있다. 하지만 저역통과필터 처리에 의해 구한 전달률은 안개제거에 직접 사용할 경우 안개제거는 잘 되지만 밝기변화가 큰 에지(edge) 근처에서 후광효과(halo effect)가 발생한다. 따라서 전달률 보정 과정에서는 초기 전달률에 대해 강한 에지를 유지하면서 초기 전달률을 평탄화(smoothing)하는 처리를 통해 안개제거에 적용할 최종 전달률(t(x))을 계산한다.
복원영상 계산부(304)는 연산을 통해 안개가 제거된 영상을 계산하는 구성이다. 이러한 복원영상 계산부(304)는 [수식 12]의 연산을 통해 안개가 제거된 영상을 계산할 수 있다.
입력영상(
)과 최종 전달률(t(x))을 [수식 12]의 연산을 수행하여 안개가 제거된 영상을 출력할 수 있다.
[수식 12]
수식 12에서, Jc(x)는 좌표 x에서 출력 칼라채널 c의 밝기값이고, Ic(x)는 좌표 x에서 입력 칼라채널 c의 밝기값이며, 
는 대기 밝기값 계산부의 출력이며, t(x)는 좌표 x에서 전달률(안개낀 정도를 나타낸 값으로 0은 불투명, 1은 투명)이고, t0는 전달률이 매우 작을 경우 잡음이 증폭되는 문제를 억제하기 위한 최소 전달률이다.
후처리부(305)는 명암대비 향상 등의 처리를 통해 최종 복원영상 Jc(x)를 출력하도록 하는 구성이다.
본 발명에 따른 전달률 하한치의 변형에 의한 안개영상 개선 시스템은 안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률에 에지보존형 저역통과필터를 사용하여 최종 전달률을 구할 수 있다.
또한 전달률 하한치의 변형에 의한 안개영상 개선 시스템은 안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리하는 초기 전달률 분리부;와 상기 고주파 성분에 저역통과필터 처리하여 [수식 13]과 같이 저역필터 처리된 초기 전달률의 절대값에 비례하는 압축계수값 
을 구하고, 고주파 성분에 곱한 결과인 th(x)와 초기전달률의 저주파 성분을 더하여 최종 전달률 t(x)를 구하는 압축계수 산출부;를 포함할 수 있다.
[수식 13]
또한 전달률 하한치의 변형에 의한 안개영상 개선 시스템은 안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리하는 초기 전달률 분리부; 초기 전달률의 고주파 성분 tH(x) 중 임계치보다 큰 성분의 위치를 1로 표시하는 임계치 처리부; 상기 임계치 처리부의 출력 중 독립적으로 존재하는 1을 0으로 변화시키는 독립성분 제거부; 상기 독립성분 제거부의 출력 중 1로 표시된 위치성분을 중심으로 영역을 확장하여 확장영역 위치는 1이고, 나머지 위치는 0을 갖는 R(x)를 출력하는 영역확장 처리부; R(x)와 초기 전달률의 고주파 성분을 곱하여 변형된 고주파 성분 th(x)를 구하는 곱셈 연산자부; 및 변형된 초기 전달률의 고주파성분th(x)과 저주파 성분 tL(x)을 더해서 최종 전달률 t(x)를 출력하는 덧셈 연산자부;를 포함할 수 있다.
한편, 대기 밝기값 계산부, 전달률 하한치 계산부, 멱승 계산부, 전달률 보정부, 복원영상 계산부, 후 처리부를 포함하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템을 이용한 방법은 상기 대기 밝기값 계산부로 입력영상에 대해 대기밝기값에 대한 밝기값을 계산하는 단계; 상기 전달률 하한치 계산부로 화소단위로 입력영상과 대기밝기값 정보를 이용하여 전달률 하한치를 계산하는 단계; 상기 멱승 계산부로 전달률 하한치를 멱승 계산하여 초기 전달률을 구하는 단계; 상기 전달률 보정부로 복원된 출력영상이 후광 효과없이 안개제거된 선명한 영상을 제공하기 위해 초기 전달률에 대해 강한 에지를 유지하면서 초기 전달률을 평탄화하는 보정처리를 하는 단계; 상기 복원영상 계산부로 안개제거에 적용할 최종 전달률을 계산하는 단계; 및 상기 후처리부로 영상복원과 후처리 과정을 통해 안개가 제거된 복원영상을 출력하는 단계;를 포함할 수 있다.
본 발명을 보다 상세하게 설명하면 다음과 같다.
한 장의 영상을 이용하여 안개를 제거하는 방법들은 공통적으로 아래의 안개 모델링 식을 이용한다.
[수식 1]
여기서, 
는 카메라를 통해 획득된 안개낀 영상의 x번째 화소값이고, 
는 안개가 제거된 깨끗한 영상, A는 영상내의 화소 중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)이다. 
는 전달률(transmission rate)로서, 일반적으로 전달률 
는 다음의 [수식 2]와 같이 거리에 따라 지수함수적으로 감소한다.
[수식 2]
여기서, 
는 공기의 산란계수(scattering coefficient)이고, 
는 x번째 화소에 대응하는 공간상의 점과 카메라 사이의 거리이다. 산란계수 
값은 대기 중의 입자 크기와 관계가 있는데, 비나 짙은 안개와 같이 큰 입자의 경우 
는 1에 근접하고, 날씨가 맑을수록 입자가 작아 0에 가까워진다. 따라서 산란계수
가 일정한 경우 하늘과 같이 거리가 먼 곳은 전달률이 0에 가깝게 되어 [수식 1] 에서 
가 되고, 매우 가까운 곳의 화소는 전달률이 1에 근접하므로 
가 된다. 따라서, 영상에서 밝은 화소는 거리가 멀어 안개가 많이 낀 경우로 가정할 수 있고 전달률 
는 작은 값을 갖게 된다.
안개제거는 카메라로부터 획득한 입력영상 
로부터 A와 
를 구하고, 이를 이용하여 최종적으로 안개가 제거된 
를 복원하는 것이다. 상기 [수식 1] 로부터 전달률과 복원값은 각각 [수식 3] 과 [수식 4] 로 구할 수 있다.
[수식 3]
[수식 4]
한편, 안개가 제거된 영상 
는 
를 만족해야하므로, [수식 4]로부터 전달률 
의 범위는 [수식 5] 와 같이 결정된다.
[수식 5]에서 전달률 하한치(lower bound of transmission rate) 
는 짙은 안개로 인해 객체가 보이지 않거나 원래 객체의 밝기(radiance)가 없는 경우의 전달률을 의미한다.
[수식 5]
만일 기상 상태가 다른(산란계수 
가 다른) 두 개의 상황에서 동일한 장면(카메라와 공간 상의 점의 거리가 같음)을 촬영한 경우 카메라를 통해 촬영된 영상들은 각각 [수식 6]으로 나타낼 수 있다.
[수식 6]
또한 [수식 2]로부터 두 상황에 대한 전달률간의 상호관계는 [수식 7]과 [수식 8]로 표현된다.
[수식 7]
[수식 8]
결국 두 상황에 대한 산란계수의 비율과 한 상황에서의 전달률을 알면 다른 기상상황에서의 전달률도 계산할 수 있다. 만일 대기의 밝기 값이 같고(즉, A1=A2=A) 특정 기상상황에서의 전달률이 전달률 하한치 
와 같다면 [수식 8]로부터 특정 기상상황에서의 전달률을 [수식 9]와 같이 구할 수 있다.
[수식 9]
여기서 전달률의 하한값 상황에서의 산란계수는 다른 기상 상황에서의 산란계수보다 크기 때문에 산란계수비율 상수P는 1보다 작다.
도 1은 본 발명에서 제안하는 안개영상 개선 방법을 나타낸 흐름도이다. 영상읽기(101)과정에서는 카메라를 통해 얻은 한 프레임의 영상을 저장한다. 만일 입력이 RGB칼라신호인 경우, 입력신호
와 출력신호
는 모두 RGB신호이고(즉, 
), 입력이 휘도신호인 경우는 입력과 출력이 모두 휘도신호이다.
대기 밝기값 계산(102)과정은 카메라에서 가장 먼 곳에 해당하는 대기의 밝기값을 구하는 과정이다. 대기밝기값은 [수식 10]과 같이 각각의 화소에 대해 R,G,B 칼라채널의 최소값을 구하고, 대기밝기
는 현재 영상의 화소들 중 [수식 10]에서 구한 최소값이 일정 임계값보다 큰 화소들의 R,G,B값을 각각 평균하여 구한다. 도 2의 (g)는 안개낀 입력영상 (g)에 대해 [수식 10]으로 구한 최소값이 상위 1%보다 밝은 대기밝기에 해당되는 화소들의 위치를 빨간색으로 표시한 예를 보여준다.
[수식 10]
전달률 하한치 계산(103)과정은 안개 낀 입력신호(
)와 대기 밝기값 계산(102)의 출력 
를 입력받아 [수식 11]을 수행한다.
도 2의 (b)는 [수식 11]에 의해 구한 전달률 하한치 예를 나타낸 것으로, 카메라에서 먼 안개가 짙은 영역은 작은 값을 갖고, 카메라에서 가까운 안개가 옅은 영역은 큰 값을 갖는다.
[수식 11]
멱승 계산(104)과정에서는 전달률 하한치를 [수식 9]에 따라 P 제곱승한 
을 출력하는데, 이 값은 초기 전달률에 해당된다.
도 2의 (c)는 전달률 하한치를 0.75 제곱승한 결과 예를 보여주는데, 제곱승한 전달률이 (b)의 전달률 하한치보다 큰 값을 가짐을 알 수 있다.
멱승 계산(104)과정의 출력인 초기 전달률에는 입력영상에 포함된 안개성분과 물체 고유의 반사성분에 대한 정보가 포함되어 있어, 초기 전달률을 이용하여 안개제거 처리를 수행할 경우 반사성분에 대한 전달률이 포함되므로 안개제거 효과가 감소한다.
전달률 보정(105) 과정은 초기전달률에 포함되어있는 성분 중 안개성분에 대한 전달률만을 추출하는 과정이다. 안개성분은 지역적으로 일정한 값을 갖는 반면 반사성분은 영상의 포함된 밝기(색상)의 변화에 따라 변한다. 따라서 초기전달률에 포함된 안개성분에 대한 전달률은 저주파성분에 해당되고, 반사성분에 대한 전달률은 고주파성분에 해당된다.
그러므로 안개성분에 대한 전달률은 저역통과필터 처리를 통해 구할 수 있다. 하지만 저역통과필터 처리에 의해 구한 전달률은 안개제거에 직접 사용할 경우 안개제거는 잘 되지만 밝기변화가 큰 에지(edge) 근처에서 후광효과(halo effect)가 발생한다. 따라서 전달률 보정(105)과정에서는 초기 전달률에 대해 강한 에지를 유지하면서 초기 전달률을 평탄화(smoothing)하는 처리를 통해 안개제거에 적용할 최종 전달률(t(x))을 계산한다.
도 2의 (d)는 초기 전달률의 저주파 성분, (e)는 초기전달률의 고주파 성분, (f)는 전달률 보정(105)결과인 최종 전달률의 예를 보여준다. 이 결과 예로부터 전달률 보정 결과는 안개가 짙은 부분에 대해서는 (d)의 초기 전달률의 저주파 성분과 유사하고 안개가 옅은 선명한 에지가 있는 영역(사람, 가까운 잎 영역)에 대해서는 (c)의 초기전달률과 유사함을 알 수 있다.
복원영상 계산(106)과정에서는 입력영상(
)과 최종 전달률(t(x))을 [수식 12]의 연산을 수행하여 안개가 제거된 영상을 출력하고 안개 제거된 영상은 후처리(107)에서 명암대비 향상 등의 처리를 수행하여 최종적으로 안개가 제거된 영상을 출력한다.
[수식 12]
여기서, t0는 전달률이 매우 작을 경우 잡음이 증폭되는 문제를 억제하기 위한 최소 전달률이다. 도 2의 (h)~(j)는 [수식 12]에 따라 복원된 출력영상을 보여준다. (h)는 [수식 9]에 따라 구한 초기 전달률을 적용한 복원영상이고, (i)는 초기 전달률 저주파 성분을 적용한 복원영상이며, (j)는 전달률 보정결과를 적용한 복원영상이다 (c)의 초기 전달률을 적용한 복원영상 (h)는 후광효과가 없지만 안개제거 효과가 낮음을 알 수 있다. (d)의 초기 전달률의 저주파 성분을 적용한 복원영상(i)는 안개제거 효과는 좋지만 카메라에서 가까운 사람들과 가까운 잎 경계부분에서 후광효과가 나타난다. (f)의 보정처리된 최종 전달률을 적용한 복원영상(g)는 후광효과없이 안개제거 효과가 우수함을 알 수 있다.
만일 동영상인 경우 처리할 영상이 있는지를 판단(108)하여 반복할 경우(101)에서 (107)과정을 반복하여 처리하고 그렇지 않으면 종료한다.
도 3은 도 1의 흐름도에 따른 안개제거 방법 및 장치의 전체 블록도 예를 도시한 것으로, 동작과정을 살펴보면 다음과 같다. 입력 신호
에 대해 대기 밝기값 계산부(300)에서 카메라에서 가장 먼 곳에 해당하는 대기의 밝기 값 
을 계산한다.
전달률 하한치 계산부(301)에서 [수식 11]의 연산을 통해 전달률 하한치 tLB(x)를 계산한다. 멱승 계산부(302)에서는 전달률 하한치를 P 제곱승한 [tLB(x)]P을 출력하는데, 이 값이 초기 전달률이다.
전달률 보정부(303)에서는 초기 전달률을 보정하여 출력 복원영상이 후광효과없이 안개제거가 잘 될 수 있는 전달률을 계산하고, 복원영상 계산부(304)에서는 [수식 12]의 연산을 통해 안개제거된 영상을 계산하며, 후처리부(305)에서 명암대비 향상 등의 처리를 통해 최종 복원영상 Jc(x)를 출력한다.
도 4는 도 3의 전달률 계산블록에 대한 제안 방법1에 대한 블록도의 예를 도시한 것이고, 도 5는 도 4의 전달률 계산 방법1에 대한 안개제거 처리과정을 도시한 것이다.
멱승 계산부(402)의 출력인 초기 전달률[tLB(x)]P에 대한 전달률 보정방법으로 초기 전달률에 에지보존형 저역통과필터(403)를 사용하여 최종 전달률을 구하는 방법이다. 에지보존형 저역통과필터로는 bilateral 저역통과필터 등이 있는데, 에지 보존형 저역통과필터는 에지부분에서 약한 저역통과필터링을 하고 평탄한 부분에서는 강한 저역통과필터링을 함으로써 에지를 유지하면서 입력의 저주파성분을 추출한다.
도 5의 (a)는 입력영상, (b)는 안개제거 처리된 출력영상인데, 후광효과없이 좋은 안개제거 성능을 보인다. (c)는 멱승 계산부(402)의 출력인 초기 전달률이고, (d)는 에지보존형 저역통과필터(403)로 15x15 bilateral Gaussian 저역통과필터를 적용한 최종 전달률인데, (c)의 초기 전달률과 비교하면 에지가 강한 부분(안개가 옅은 부분에서의 에지)에서는 초기 전달률과 유사한 값을 갖지만 약한 에지에 대해서는 강한 저역통과필터링을 수행함을 알 수 있다.
도 6은 도 3의 전달률 계산블록에 대한 제안 방법 2에 대한 블록도의 예를 도시한 것이고, 도 7은 도 6의 전달률 계산 방법2에 대한 안개제거 처리과정을 도시한 것이다.
이 방법은 멱승 계산부(602)의 출력인 초기 전달률[tLB(x)]P을 보정하기 위해 초기 전달률 분리부(603)에서 초기 전달률을 저주파성분 tL(x)과 고주파성분 tH(x)으로 분리한다.
도 7의 (a)는 초기 전달률이고, (b)와 (c)는 각각 15x15 평균필터를 사용하여 분리한 초기 전달률의 저주파 성분 tL(x)과 고주파성분 tH(x)을 보여준다. (c)에 도시된 고주파 성분은 안개가 옅은(카메라에서 가까운) 나뭇잎에서 큰 값을 갖고 안개가 짙은(카메라에서 먼) 영역에서는 작은 값을 갖는다.
강한 에지에서 발생하는 큰 고주파 성분은 저주파 성분에 보상되어야 후광효과를 억제할 수 있고, 작은 고주파 성분은 제거되어야 복원 영상의 선명도가 증가된다. 제안방식에서는 고주파 성분의 큰 값에는 1에 가까운 가중치를 부여하고, 작은 값에는 0에 가까운 가중치를 부여한다.
처리과정은 고주파 성분 tH(x)에 잡음성분을 줄이기 위해 저역통과필터(604) 처리를 하고, [수식 13]과 같이 압축계수 산출부(605)에서 고주파 성분 tH(x)가 에지 부근에서 큰 값을 갖고 평탄한 부분에서 작은 값을 갖는 점을 이용하여 [수식 13]과 같이 tH(x)의 절대값에 비례하는 계수값 
을 구하는데, 계수값 
는 강한 에지에 해당하는 초기 전달률에 대해서는 1, 평탄한 부분에 대해서는 0에 가까운 값을 갖는다.
이와 같이 구한 계수값 
와 고주파 성분 tH(x)를 곱한(606)결과인 th(x)와 초기 전달률의 저주파 성분 tL(x)을 더한(607) 값이 최종 전달률 t(x)로 사용한다.
[수식 13]
여기서, 
는 저역통과필터링 연산자이다. 도 7의 (d)는 압축계수 
의 예를 나타낸 것으로 카메라에서 가까운 안개가 옅은 나뭇잎에서 1에 가까운 값을 갖고, 안개가 짙은 부분에서는 0에 가까운 값을 갖는다. 도 7의 (e)는 압축 처리된 고주파 성분 th(x)예이고, (f)는 최종 전달률이다. (g)와 (h)는 입력영상과 안개제거된 복원영상을 보여준다.
도 8은 도 3의 전달률 계산블록에 대한 제안 방법3에 대한 블록도의 예를 도시한 것이고, 도 9는 도 8의 전달률 계산 방법3에 대한 안개제거 처리과정을 도시한 것이다.
초기 전달률 분리부(803)에서 멱승 계산부(802)의 출력인 초기 전달률[tLB(x)]P을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리한다.
임계치 처리부(804)에서는 초기 전달률의 고주파 성분 tH(x) 중 에지와 같이 임계치보다 큰 성분의 위치를 1로 표시한다.
독립성분 제거부(805)에서는 임계치 처리부(804)의 출력 중 큰 에지가 잡음 등에 의해 나타난 위치성분을 제거한다.
영역확장 처리부(806)에서는 임계치보다 큰 위치성분을 중심으로 영역을 확장하는데, 출력 R(x)는 확장영역 위치는 1이고, 나머지 위치는 0을 갖는다.
따라서, 곱하기 연산자(807)의 출력 th(x)는 영역확장 처리부 출력 R(x)가 1인 위치는 초기 전달률 tH(x)과 같고, 나머지 위치는 0을 갖는다.
덧셈연산자(808)는 변형된 초기 전달률의 고주파 성분 th(x)과 저주파 성분 tL(x)을 더해서 최종 전달률 t(x)를 출력한다.
도 9의 (a)는 초기 전달률이고, (b)와 (c)는 초기 전달률의 저주파 성분tL(x)과 고주파 성분 tH(x)이다. (d)는 영역확장 처리부(806)의 출력 R(x)의 산출과정을 보여주는데, 빨간색은 임계치 처리부(804)에서 임계치보다 큰 성분의 위치이고, 노란색은 영역확장처리부의 확장영역을 보여준다. 노란색에 포함되지 않은 빨간색 위치는 독립성분 제거부(805)에서 제거된 위치성분을 보여준다. (e)는 변형된 고주파 성분 th(x)이고, (f)는 최종 전달률이다. (g)와 (h)는 입력영상과 안개제거된 복원영상을 보여준다.
본 발명은 안개, 연기, 구름 등 공기 중의 밝기와 색상 성분이 객체의 빛과 색 성분과 혼합되어 가시성이 낮아진 영상에 대해 공기 중의 밝기와 색상 성분을 제거하여 선명한 영상을 제공한다. 특히 임베디드 프로세서의 실시간 처리가 가능한 적은 연산량을 사용하면서도 우수한 안개제거 성능을 가지므로 고화질 감시시스템, 차량용 영상 블랙박스, 화재 방지 시스템 등에 적용할 경우 안개나 연기 등으로 가시성이 감소되는 문제를 해결할 수 있고, 최근에 첨단 안전차량에 적용이 가능하다. 또한 모바일폰에서 HD급 영상에 대해 처리가 가능하므로 영상을 다루는 다양한 스마트폰용 앱에 적용할 수 있다. 현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계와 같이 휘도신호와 색차신호를 사용하므로 휘도 정보만으로도 우수한 성능을 발휘하는 제안된 방법은 색좌표계의 변환없이 멀티미디어 시스템에 적용이 용이하다.
본 실시예에서의 부호를 설명하면 다음과 같다.
I(x): 좌표 x에서 입력화소의 밝기값
J(x): 좌표 x에서 안개제거 처리된 출력화소의 밝기값
t(x): 좌표 x에서 전달률(안개낀 정도를 나타낸 값으로 0은 불투명, 1은 투명)
A: 영상내의 화소 중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)
tLB(x): 좌표 x의 입력화소에 대한 전달률의 하한치
tL(x): 좌표 x의 전달률 중 안개성분에 대한 전달률(저주파 성분)
tH(x): 좌표 x의 전달률 중 반사성분에 대한 전달률(고주파 성분)
sel_comp( · ): 선택적 압축 연산
th(x): 좌표 x의 선택적 압축처리된 반사성분(고주파 성분)에 대한 전달률
Ic(x): 좌표 x에서 입력 칼라채널 c의 밝기값
Jc(x): 좌표 x에서 출력 칼라채널 c의 밝기값
[a(x)]P: 좌표 x의 신호 a에 대해 P승 처리
D: 선택적 압축에 사용되는 임계값
t0: 최소 전달률
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
300: 대기 밝기값 계산부 301: 전달률 하한치 계산부
302: 멱승 계산부 303: 전달률 보정부
304: 복원영상 계산부 305: 후처리부
302: 멱승 계산부 303: 전달률 보정부
304: 복원영상 계산부 305: 후처리부
Claims (7)
- 입력신호 Ic(x)에 대해 카메라에서 가장 먼 곳에 해당하는 대기의 밝기값을 계산하되, 각 화소에 대해 R,G,B 칼라채널의 최소값을 구하고, 최소값이 일정 임계값보다 큰 화소들의 R,G,B값을 각각 평균하여 구하는 대기 밝기값 계산부;
상기 대기 밝기값 계산부의 입력신호와 대기의 밝기값을 입력받아 전달률 하한치 tLB(x)를 계산하는 전달률 하한치 계산부;
상기 전달률 하한치를 P제곱승한 [tLB(x)]P 초기 전달률을 계산하는 멱승 계산부;
초기 전달률을 보정하여 출력 복원영상이 후광효과없이 안개제거가 되도록 하는 최종 전달률을 계산하는 전달률 보정부;
연산을 통해 안개가 제거된 영상을 계산하는 복원영상 계산부; 및 명암대비 향상 처리를 통해 최종 복원영상 Jc(x)를 출력하도록 하는 후처리부;를 포함하며,
안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 상기 초기 전달률을 저주파 성분과 고주파 성분으로 분리하는 초기 전달률 분리부; 및 상기 고주파 성분에 저역통과필터 처리하여 초기 전달률의 절대값에 비례하는 압축계수값을 구하고, 상기 압축계수값과 고주파 성분을 곱한 결과와 초기 전달률의 저주파 성분을 더하여 최종 전달률 t(x)를 구하는 압축계수 산출부;를 포함하는 것을 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템. - 제 1 항에 있어서,
상기 전달률 하한치 계산부는,
[수식 11]의 연산을 통해 전달률 하한치 tLB(x)를 계산하는 것을 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템.
[수식 11]
- 제 1 항에 있어서,
상기 복원영상 계산부는,
[수식 12]의 연산을 통해 안개가 제거된 영상을 계산하는 것을 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템.
[수식 12]
상기 t(x)는 좌표 x에서 전달률, 상기 t0는 최소 전달률 - 제 1 항에 있어서,
안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률에 에지보존형 저역통과필터를 사용하여 최종 전달률을 구하는 것을 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템. - 제 1 항에 있어서,
안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리하는 초기 전달률 분리부;
상기 고주파 성분에 저역통과필터 처리하여 [수식 13]과 같이 저역필터 처리된 초기 전달률의 절대값에 비례하는 압축계수값을 구하고, 고주파 성분에 곱한 결과인 th(x)와 초기전달률의 저주파 성분을 더하여 최종 전달률 t(x)를 구하는 압축계수 산출부;를 포함하는 것을 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템.
[수식 13]
는 저역통과필터링 연산자
tH(x): 좌표 x의 전달률 중 반사성분에 대한 전달률(고주파 성분)
D : 선택적 압축에 사용되는 임계값 - 제 1 항에 있어서,
안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 초기 전달률을 저주파 성분 tL(x)과 고주파 성분 tH(x)으로 분리하는 초기 전달률 분리부;
초기 전달률의 고주파 성분 tH(x) 중 임계치보다 큰 성분의 위치를 1로 표시하는 임계치 처리부;
상기 임계치 처리부의 출력 중 독립적으로 존재하는 1을 0으로 변화시키는 독립성분 제거부;
상기 독립성분 제거부의 출력 중 1로 표시된 위치성분을 중심으로 영역을 확장하여 확장영역 위치는 1이고, 나머지 위치는 0을 갖는 R(x)를 출력하는 영역확장 처리부;
R(x)와 초기 전달률의 고주파 성분을 곱하여 변형된 고주파 성분 th(x)를 구하는 곱셈 연산자부; 및
변형된 초기 전달률의 고주파성분th(x)과 저주파 성분 tL(x)을 더해서 최종 전달률 t(x)를 출력하는 덧셈 연산자부;를 포함하는 것을 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템. - 대기 밝기값 계산부, 전달률 하한치 계산부, 멱승 계산부, 전달률 보정부, 복원영상 계산부, 후 처리부를 포함하는 전달률 하한치의 변형에 의한 안개영상 개선 시스템을 이용한 방법에 있어서,
상기 대기 밝기값 계산부로 입력영상에 대해 대기밝기값에 대한 밝기값을 계산하되, 각 화소에 대해 R,G,B 칼라채널의 최소값을 구하고, 최소값이 일정 임계값보다 큰 화소들의 R,G,B값을 각각 평균하여 구하는 단계;
상기 대기 밝기값 계산부의 입력신호와 대기 밝기값을 입력받아 전달률 하한치를 계산하는 단계;
상기 멱승 계산부로 전달률 하한치를 멱승 계산하여 초기 전달률을 구하는 단계;
상기 전달률 보정부로 복원된 출력영상이 후광 효과없이 안개제거된 선명한 영상을 제공하기 위해 초기 전달률에 대해 강한 에지를 유지하면서 초기 전달률을 평탄화하는 보정처리를 하는 단계;
상기 복원영상 계산부로 안개제거에 적용할 최종 전달률을 계산하는 단계; 및
상기 후처리부로 영상복원과 후처리 과정을 통해 안개가 제거된 복원영상을 출력하는 단계;를 포함하며,
안개 제거된 영상복원에 적용할 최종 전달률을 구하기 위하여 전달률 하한치를 멱승계산하여 초기 전달률을 구하고, 상기 초기 전달률을 저주파 성분과 고주파 성분으로 분리하는 단계; 및 상기 고주파 성분에 저역통과필터 처리하여 초기 전달률의 절대값에 비례하는 압축계수값을 구하고, 상기 압축계수값과 고주파 성분을 곱한 결과와 초기 전달률의 저주파 성분을 더하여 최종 전달률 t(x)를 구하는 단계;를 포함하는 것 특징으로 하는 전달률 하한치의 변형에 의한 안개영상 개선 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160053355A KR101756173B1 (ko) | 2016-04-29 | 2016-04-29 | 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 |
| US15/394,535 US10290081B2 (en) | 2016-04-29 | 2016-12-29 | System for image dehazing by modifying lower bound of transmittance and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160053355A KR101756173B1 (ko) | 2016-04-29 | 2016-04-29 | 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101756173B1 true KR101756173B1 (ko) | 2017-07-10 |
Family
ID=59356634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160053355A KR101756173B1 (ko) | 2016-04-29 | 2016-04-29 | 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10290081B2 (ko) |
| KR (1) | KR101756173B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101917094B1 (ko) * | 2017-08-29 | 2018-11-09 | 전남대학교산학협력단 | 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치 |
| KR20200037627A (ko) | 2018-10-01 | 2020-04-09 | 전남대학교산학협력단 | 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI580266B (zh) * | 2016-02-15 | 2017-04-21 | 聯詠科技股份有限公司 | 影像處理裝置 |
| US10477128B2 (en) * | 2017-01-06 | 2019-11-12 | Nikon Corporation | Neighborhood haze density estimation for single-image dehaze |
| CN107977941B (zh) * | 2017-12-04 | 2021-04-20 | 国网智能科技股份有限公司 | 一种明亮区域色彩保真及对比度增强的图像去雾方法 |
| CN109993705A (zh) * | 2017-12-29 | 2019-07-09 | 展讯通信（上海）有限公司 | 一种去雾自适应控制方法及系统 |
| WO2020232710A1 (zh) * | 2019-05-23 | 2020-11-26 | 深圳大学 | 雾霾图像质量评价方法、系统、存储介质及电子设备 |
| CN110232666B (zh) * | 2019-06-17 | 2020-04-28 | 中国矿业大学(北京) | 基于暗原色先验的地下管道图像快速去雾方法 |
| CN111028175B (zh) * | 2019-12-10 | 2023-07-28 | 嘉应学院 | 一种快速图像去雾方法及系统 |
| CN111598791B (zh) * | 2020-04-13 | 2024-01-23 | 西安理工大学 | 一种基于改进动态大气散射系数函数的图像去雾方法 |
| CN111882496A (zh) * | 2020-07-06 | 2020-11-03 | 苏州加乘科技有限公司 | 一种基于递归神经网络的夜间图像去雾方法 |
| WO2022011661A1 (zh) * | 2020-07-17 | 2022-01-20 | 南京理工大学 | 一种基于渐进特征融合的图像去雾方法及系统 |
| CN112365467B (zh) * | 2020-11-11 | 2022-07-19 | 武汉长江通信智联技术有限公司 | 一种基于单幅图像深度估计的雾天图像能见度估计方法 |
| US11803942B2 (en) | 2021-11-19 | 2023-10-31 | Stmicroelectronics (Research & Development) Limited | Blended gray image enhancement |
| CN116612050B (zh) * | 2023-07-19 | 2023-10-31 | 国药新光医疗科技有限公司 | 一种基于暗通道的先验去雾方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101518722B1 (ko) | 2008-08-18 | 2015-05-15 | 삼성테크윈 주식회사 | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 |
| KR20140140463A (ko) | 2013-05-29 | 2014-12-09 | (주)브이앤아이솔루션 | 박막 트랜지스터 및 그 제조방법 |
-
2016
- 2016-04-29 KR KR1020160053355A patent/KR101756173B1/ko active IP Right Grant
- 2016-12-29 US US15/394,535 patent/US10290081B2/en active Active
Non-Patent Citations (1)
| Title |
|---|
| 김진환 외 1명, "개선된 Dark Channel Prior를 이용한 안개 제거 알고리즘", 2009년도 한국방송공학회 학술대회, 2009.11, 201-204 (4 pages)* |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101917094B1 (ko) * | 2017-08-29 | 2018-11-09 | 전남대학교산학협력단 | 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치 |
| US10609303B2 (en) | 2017-08-29 | 2020-03-31 | Industry Foundation Of Chonnam National University | Method and apparatus for rapid improvement of smog/low-light-level image using mapping table |
| KR20200037627A (ko) | 2018-10-01 | 2020-04-09 | 전남대학교산학협력단 | 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법 |
| KR102111317B1 (ko) * | 2018-10-01 | 2020-05-15 | 전남대학교산학협력단 | 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10290081B2 (en) | 2019-05-14 |
| US20170316551A1 (en) | 2017-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101756173B1 (ko) | 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 | |
| KR101470831B1 (ko) | 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 | |
| KR101445577B1 (ko) | 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템 | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| Ancuti et al. | Effective single image dehazing by fusion | |
| Ancuti et al. | Single image dehazing by multi-scale fusion | |
| Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
| US9177363B1 (en) | Method and image processing apparatus for image visibility restoration | |
| CN102831591B (zh) | 一种基于高斯滤波的单幅图像的实时去雾方法 | |
| KR101298642B1 (ko) | 영상 잡음 제거 방법 및 장치 | |
| CN108027961B (zh) | 用于从数字图像提供扩展的动态范围图像的方法和装置 | |
| US10367976B2 (en) | Single image haze removal | |
| KR102261532B1 (ko) | 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 | |
| KR101327789B1 (ko) | 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치 | |
| Kil et al. | A dehazing algorithm using dark channel prior and contrast enhancement | |
| US10609303B2 (en) | Method and apparatus for rapid improvement of smog/low-light-level image using mapping table | |
| Barros et al. | Single-shot underwater image restoration: A visual quality-aware method based on light propagation model | |
| CN113344820B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| CN111192205A (zh) | 一种图像去雾方法、系统和计算机可读存储介质 | |
| KR101470833B1 (ko) | 전달률 하한치를 이용한 안개영상 개선 장치 | |
| KR101881883B1 (ko) | 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 | |
| Chen et al. | Improve transmission by designing filters for image dehazing | |
| KR101535630B1 (ko) | 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치 | |
| CN110728647A (zh) | 水下图像的增强方法及装置、存储介质、终端 | |
| US20120155762A1 (en) | Image processing method, image processing device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |