KR20120079564A - 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법 - Google Patents

Abstract

에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법이 개시된다. 영상 분석부는 안개성분이 포함된 입력영상에 대응하여 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성한다. 안개값 추정부는 입력영상에서 에지 영역을 제외한 영역의 화소들에 대응하는 다크 채널 프라이어의 값을 기초로 입력영상의 안개값을 추정하고, 전달맵 생성부는 입력영상의 안개값을 기초로 입력영상에 포함된 안개성분을 제거하기 위한 전달맵을 생성한다. 영상 복원부는 전달맵 및 안개값을 기초로 입력영상으로부터 안개성분이 제거된 복원영상을 생성한다. 본 발명에 따르면, 영상의 에지 영역을 제외한 부분으로부터 선택된 다크 채널 프라이머 값을 사용하여 입력영상으로부터 안개성분을 제거하는 데 필요한 안개값을 추정함으로써, 기존의 안개제거 알고리즘에서 나타났던 색상 왜곡 없이 효과적으로 안개성분을 제거할 수 있다.

Description

에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법{Apparatus and method for image defogging based on edge information and tone mapping}

본 발명은 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법에 관한 것으로, 보다 상세하게는, 안개가 포함된 환경을 촬영한 영상에서 나타나는 안개로 인한 왜곡을 보정하여 영상의 화질을 개선하기 위한 장치 및 방법에 관한 것이다.

야외에서 촬영된 영상은 보통 대기 중의 입자 및 물방울 등과 같은 탁한 매체로 인하여 품질이 저하된다. 이와 같이 품질이 저하된 영상은 대비 및 채색 보전도(color fidelity)가 저하된 결과를 보인다. 따라서 영상에 포함된 객체의 본래의 색상 및 형태를 식별하는 것이 용이하지 않다.

이러한 문제를 해결하기 위하여 영상으로부터 안개, 연기 또는 구름을 제거하기 위한 다양한 기법들이 제안된 바 있다. 구체적으로, 다양한 기상 상태 하에서 얻어진 동일한 장면을 사용하여 깊이 정보를 산출하고 대비를 개선하는 알고리즘이 제안되었으나, 이러한 알고리즘의 특성상 급변하는 장면에는 사용할 수 없다는 단점이 있다. 또한 추가적인 깊이 정보를 사용하며 단일 영상을 기반으로 하는 안개제거 방법은 영상의 색상이 손상되는 문제를 보인다.

이상과 같은 기존의 안개제거 기법이 가지는 문제를 해결하고, 단일 영상으로부터 효과적으로 안개를 제거할 수 있는 방법이 요구된다.

본 발명이 이루고자 하는 기술적 과제는, 색상 손상과 같은 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 색상 손상과 같은 영상의 열화를 방지하면서 단일 영상을 사용하여 영상의 안개를 제거할 수 있는 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치는, 안개성분이 포함된 입력영상에 대응하여 상기 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성하는 영상 분석부; 상기 입력영상에서 에지 영역을 제외한 영역의 화소들에 대응하는 상기 다크 채널 프라이어의 값을 기초로 상기 입력영상의 안개값을 추정하는 안개값 추정부; 상기 입력영상의 안개값을 기초로 상기 입력영상에 포함된 안개성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부; 및 상기 전달맵 및 상기 안개값을 기초로 상기 입력영상으로부터 안개성분이 제거된 복원영상을 생성하는 영상 복원부;를 구비한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 방법은, (a) 안개성분이 포함된 입력영상에 대응하여 상기 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성하는 단계; (b) 상기 입력영상에서 에지 영역을 제외한 영역의 화소들에 대응하는 상기 다크 채널 프라이어의 값을 기초로 상기 입력영상의 안개값을 추정하는 단계; (c) 상기 입력영상의 안개값을 기초로 상기 입력영상에 포함된 안개성분을 제거하기 위한 전달맵을 생성하는 단계; 및 (d) 상기 전달맵 및 상기 안개값을 기초로 상기 입력영상으로부터 안개성분이 제거된 복원영상을 생성하는 단계;를 갖는다.

본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법에 의하면, 영상의 에지 영역을 제외한 부분으로부터 선택된 다크 채널 프라이머 값을 사용하여 입력영상으로부터 안개성분을 제거하는 데 필요한 안개값을 추정함으로써, 기존의 안개제거 알고리즘에서 나타났던 색상 왜곡 없이 효과적으로 안개성분을 제거할 수 있다.

도 1은 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 영상의 안개제거 장치를 적용하여 안개가 포함된 입력영상을 복원하는 일 예를 나타낸 도면, 그리고,
도 3은 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 영상의 안개제거 장치는, 영상 분석부(110), 안개값 추정부(120), 전달맵 생성부(130) 및 영상 복원부(140)를 구비한다.

영상 분석부(110)는 안개성분이 포함된 입력영상에 대응하여 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성하되, 구체적으로, 다크 채널 프라이어는 입력영상의 각 화소를 중심으로 하는 사전에 설정된 크기의 기준영역에 포함된 화소들의 컬러채널 값들 중 최소값으로 이루어진다.

컴퓨터 비젼 및 컴퓨터 그래픽 분야에서는 안개가 포함된 영상을 표현하기 위해 다음의 수학식 1과 같은 광학 모델이 널리 사용된다.

여기서, I(x)는 안개가 포함된 입력영상, J(x)는 안개가 제거된 상태를 나타내는 장면 래디언스(scene radiance), 즉 원영상, A는 입력영상의 안개값, 그리고 t(x)는 입력영상의 각 화소에 대응하여 산출된 전달량(transmission)으로 이루어진 전달맵으로, 입력영상에서 장면 래디언스와 안개값이 포함된 비율을 나타낸다.

수학식 1과 같은 모델은 영상의 R, G, B 컬러 채널에 대하여 각각 표현되며, 이를 사용한 입력영상의 안개 제거는 안개가 포함된 입력영상 I(x)로부터 안개값 A 및 전달맵 t(x)를 산출하고, 이를 이용하여 최종적으로 J(x)를 복원하는 것이다.

본 발명에 따른 영상의 안개제거 장치는 수학식 1의 모델을 사용하여 입력영상으로부터 안개를 제거하기 위해 다크 채널 프라이어를 사용한다.

다크 채널 프라이어(dark channel prior)는 기존에 영상의 안개를 제거하기 위해 제안된 방법이다. 안개가 없는 깨끗한 영상의 각 화소에 대하여 각 화소를 중심으로 하는 일정 크기의 패치(patch) 내의 몇몇 화소는 적어도 하나의 컬러 채널이 매우 작은 값인 0에 가까운 값을 가진다. 이는 다음의 수학식 2와 같이 표현될 수 있다.

여기서, J_dark(x)는 영상 J의 화소 x에 대한 다크 채널 프라이어, J^c는 컬러 채널, 그리고 Ω(x)는 화소 x를 중심으로 한 패치를 나타낸다.

앞에서 설명한 바와 같이 영상 J의 각 화소에 대하여 얻어지는 대부분의 다크 채널 프라이어 값은 0에 가까운 값을 가지므로

과 같이 가정하고, 수학식 1의 양변에 min 연산자를 취한 후 A로 나누면 다음의 수학식 3이 얻어진다.

위 수학식 3의 우변에서 J가 포함된 항은 0으로 가정할 수 있으므로, 결과적으로 전달맵은 다음의 수학식 4에 의해 얻어진다.

안개값 추정부(120)는 다크 채널 프라이어를 기초로 입력영상의 안개값 A를 추정하며, 전달맵 생성부(130)는 추정된 안개값을 기초로 수학식 4의 전달맵을 생성한다.

안개값 A는 입력영상의 가장 불투명한 화소로부터 추정되는데, 기존의 안개제거 알고리즘에서는 입력영상에 대한 다크 채널 프라이어에서 0.1%의 밝기값을 가지는 화소들을 선택하고, 선택된 화소들 중에서 가장 큰 밝기값을 가지는 화소를 입력영상의 안개값 A로 결정한다. 이와 같이 함으로써 입력영상으로부터 가장 밝은 화소를 선택한 경우에 비해 좋은 결과를 얻을 수 있다. 그러나 입력영상은 에지에 관한 정보를 가지고 있지 않기 때문에 안개값이 잘못 추정될 수 있으며, 효과적인 영상의 안개 제거에 실패할 수 있다.

따라서 안개값 추정부(120)는 위 수학식 4에 따라 전달량을 산출하기 위해 안개값 A를 추정할 때 입력영상의 에지가 존재하는 영역을 제외함으로써 잘못된 전달량이 산출되는 것을 방지할 수 있다.

한편, 수학식 4로부터 산출되는 각 화소에 대한 전달량은 일정 크기의 패치 Ω(x)를 기반으로 하는 것이므로 입력영상과 완전히 일치하지 않는다. 그 결과 다크 채널 프라이어와 영상의 에지가 완벽하게 일치하지 않는 블록현상이 발생할 수 있다.

전달맵 생성부(130)는 이러한 블록현상을 제거하기 위하여 산출된 전달량에 대한 정련과정을 수행할 수 있다. 전달맵의 정련을 위해서는 기존의 소프트 매팅 알고리즘(soft matting algorithm)이 사용될 수 있다. 이하에서는 소프트 매팅 알고리즘에 관하여 간단히 설명한다.

입력영상의 각 화소에 대하여 산출된 전달량으로 이루어진 전달맵을 벡터

라 하고, 소프트 매팅 알고리즘에 의해 정련된 전달맵을 벡터 t라 한다. 전달맵의 정련 과정은 다음 수학식 5의 비용함수를 최소화함으로써 수행된다.

여기서, L은 Levin에 의해 제안된 바 있는 매팅 라플라시안 행렬(Matting Laplacian matrix)이고, λ는 정규화 파라미터이다. 또한 수학식 5의 우변에서 첫 번째 항은 평활화 항이며, 두 번째 항은 데이터 항에 해당한다.

행렬 L의 (i,j) 원소는 다음의 수학식 6과 같이 정의된다.

여기서, I_i 및 I_j는 각각 입력영상의 i 위치에 해당하는 화소들 및 j 위치에 해당하는 화소들의 색상을 나타내고, δ_i,j는 크로네커 델타(Kronecker delta), μ_k 및 ∑_k는 각각 윈도우 ω_k 내의 색상들의 평균 및 공분산, U₃는 3×3 단위행렬, ε은 정규화 파라미터, 그리고 |ω_k|는 윈도우 ω_k 내의 화소들의 개수이다.

정련된 최적의 전달맵 t는 다음의 수학식 7과 같이 표현되는 희소 선형 시스템(sparse linear system)으로부터 얻어진다.

여기서, U는 L과 동일한 크기의 단위행렬이다. 정규화 파라미터 λ의 값은 10^-4와 같이 작은 값으로 설정될 수 있다.

전달맵 생성부(130)는 이상에서 설명한 소프트 매팅 알고리즘에 의하여 거친 전달맵

를 t로 정련함으로써 블록 현상을 제거하고 에지 부분의 세밀한 표현을 복원할 수 있다.

다음으로 영상 복원부(140)는 다음의 수학식 8에 의해 입력영상으로부터 복원된 원영상인 복원영상을 생성한다.

여기서, J(x)는 안개가 제거된 복원영상이며, t₀는 전달맵에 대한 제약조건으로서 설정되는 하한값으로, 그 값은 0.1로 설정되는 것이 바람직하다.

한편, 앞에서 단일 영상을 사용하는 기존의 안개제거 알고리즘에 의해 발생할 수 있는 색상 손상 문제를 해결하기 위하여 추가적인 보상 과정이 더 수행될 수 있다.

따라서 영상 복원부(140)는 다음의 수학식 9와 같이 입력영상의 그라디언트를 기초로 얻어진 비용함수를 사용하여 색상이 보상된 복원영상을 생성한다.

여기서, M은 그라디언트에 관한 비용함수로서, 다음의 수학식 10과 같이 나타낼 수 있다.

여기서 G는 입력영상의 그라디언트 맵을 나타낸다.

도 2는 본 발명에 따른 영상의 안개제거 장치를 적용하여 안개가 포함된 입력영상을 복원하는 일 예를 나타낸 도면이다.

도 2의 (a)는 600×400 크기의 입력영상이며, 안개성분이 포함되어 있다. 다크 채널 프라이어를 생성하기 위해 사용한 패치 크기는 15이다. 도 2의 (b)는 입력영상에 대응하여 생성된 다크 채널 프라이어를 나타낸다. 도 2의 (b)로부터 알 수 있는 바와 같이 다크 채널 프라이어는 영상의 깊이 정보를 나타내는 것이다.

도 2의 (c) 및 (d)는 각각 기존의 방법을 사용하여 얻어진 전달맵과 본 발명에서 제안된 방법에 의해 얻어진 전달맵을 나타낸 것으로, 영상의 에지 정보 및 소프트 매팅 알고리즘에 의해 정확한 전달맵이 얻어진다.

다음으로 도 2의 (e) 및 (f)는 각각 기존의 안개제거 알고리즘에 의해 얻어진 복원영상과 본 발명에 의해 얻어진 복원영상을 나타낸 것으로, 본 발명을 사용하는 경우에 영상의 색상 열화 없이 효과적으로 안개성분이 제거됨을 확인할 수 있다.

도 3은 본 발명에 따른 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 3을 참조하면, 영상 분석부(110)는 안개성분이 포함된 입력영상에 대응하여 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성하되(S310), 입력영상의 각 화소에 대응하는 다크 채널 프라이어 값을 산출하기 위해 각 화소를 중심으로 하는 일정 크기의 패치에 포함된 화소들의 컬러채널 값들 중 최소값을 선택한다.

다음으로 안개값 추정부(120)는 입력영상에서 에지 영역을 제외한 영역의 화소들에 대응하는 다크 채널 프라이어의 값을 기초로 입력영상의 안개값을 추정하고(S320), 전달맵 생성부(130)는 입력영상의 안개값을 기초로 입력영상에 포함된 안개성분을 제거하기 위한 전달맵을 생성한다(S330).

영상 복원부는 전달맵 및 안개값을 기초로 입력영상으로부터 안개성분이 제거된 복원영상을 생성한다(S340). 이상에서 설명한 과정들은 앞에서 상세히 설명한 바 있으므로 자세한 설명은 생략한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

110 - 영상 분석부
120 - 안개값 추정부
130 - 전달맵 생성부
140 - 영상 복원부

Claims (11)

1. 안개성분이 포함된 입력영상에 대응하여 상기 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성하는 영상 분석부;
   상기 입력영상에서 에지 영역을 제외한 영역의 화소들에 대응하는 상기 다크 채널 프라이어의 값을 기초로 상기 입력영상의 안개값을 추정하는 안개값 추정부;
   상기 입력영상의 안개값을 기초로 상기 입력영상에 포함된 안개성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부; 및
   상기 전달맵 및 상기 안개값을 기초로 상기 입력영상으로부터 안개성분이 제거된 복원영상을 생성하는 영상 복원부;를 포함하는 것을 포함하는 것을 특징으로 하는 영상의 안개제거 장치.
2. 제 1항에 있어서,
   상기 다크 채널 프라이어는 상기 입력영상의 각 화소를 중심으로 하는 사전에 설정된 크기의 기준영역에 포함된 화소들의 컬러채널 값들 중 최소값으로 이루어진 것을 특징으로 하는 영상의 안개제거 장치.
3. 제 1항 또는 제 2항에 있어서,
   상기 전달맵 생성부는 영상 내의 윤곽선을 보정하는 매팅 알고리즘에 의하여 상기 전달맵으로부터 정련된 전달맵을 생성하고,
   상기 영상 복원부는 상기 정련된 전달맵을 사용하여 상기 복원영상을 생성하는 것을 특징으로 하는 영상의 안개제거 장치.
4. 제 1항 또는 제 2항에 있어서,
   상기 영상 복원부는 상기 입력영상의 그라디언트를 기초로 얻어진 비용함수를 사용하여 색상이 보상된 복원영상을 생성하는 것을 특징으로 하는 영상의 안개제거 장치.
5. 제 4항에 있어서,
   상기 복원영상은 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상의 안개제거 장치:
   

   

   
   여기서, J(x)는 상기 복원영상, I(x)는 상기 입력영상, t(x)는 상기 전달맵, t₀는 상기 전달맵에 대한 제약조건으로서 설정되는 하한값, A는 상기 안개값, M은 상기 비용함수, 그리고 G는 상기 입력영상의 그라디언트 맵이다.
6. (a) 안개성분이 포함된 입력영상에 대응하여 상기 입력영상의 깊이정보를 나타내는 다크 채널 프라이어를 생성하는 단계;
   (b) 상기 입력영상에서 에지 영역을 제외한 영역의 화소들에 대응하는 상기 다크 채널 프라이어의 값을 기초로 상기 입력영상의 안개값을 추정하는 단계;
   (c) 상기 입력영상의 안개값을 기초로 상기 입력영상에 포함된 안개성분을 제거하기 위한 전달맵을 생성하는 단계; 및
   (d) 상기 전달맵 및 상기 안개값을 기초로 상기 입력영상으로부터 안개성분이 제거된 복원영상을 생성하는 단계;를 포함하는 것을 포함하는 것을 특징으로 하는 영상의 안개제거 방법.
7. 제 6항에 있어서,
   상기 다크 채널 프라이어는 상기 입력영상의 각 화소를 중심으로 하는 사전에 설정된 크기의 기준영역에 포함된 화소들의 컬러채널 값들 중 최소값으로 이루어진 것을 특징으로 하는 영상의 안개제거 방법.
8. 제 6항 또는 제 7항에 있어서,
   상기 (c) 단계에서, 영상 내의 윤곽선을 보정하는 매팅 알고리즘에 의하여 상기 전달맵으로부터 정련된 전달맵을 생성하고,
   상기 (d) 단계에서, 상기 정련된 전달맵을 사용하여 상기 복원영상을 생성하는 것을 특징으로 하는 영상의 안개제거 방법.
9. 제 6항 또는 제 7항에 있어서,
   상기 (d) 단계에서, 상기 입력영상의 그라디언트를 기초로 얻어진 비용함수를 사용하여 색상이 보상된 복원영상을 생성하는 것을 특징으로 하는 영상의 안개제거 방법.
10. 제 9항에 있어서,
    상기 복원영상은 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상의 안개제거 방법:
    

    

    
    여기서, J(x)는 상기 복원영상, I(x)는 상기 입력영상, t(x)는 상기 전달맵, t₀는 상기 전달맵에 대한 제약조건으로서 설정되는 하한값, A는 상기 안개값, M은 상기 비용함수, 그리고 G는 상기 입력영상의 그라디언트 맵이다.
11. 제 6항 또는 제 7항에 기재된 영상의 안개 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images