KR101477505B1 - 하이 다이나믹 레인지 영상 형성 방법 - Google Patents

Abstract

본 발명은 경제적이고 효율적인 방법으로 하이 다이나믹 레인지 영상을 형성하는 방법에 관한 것이다.
본 발명은,
하이 다이나믹 레인지 영상 형성 방법에 있어서,
영상촬영장치가 짧은 노출시간 영상과 긴 노출시간 영상을 차례로 촬영하는 단계; 상기 긴 노출시간 영상에서 임의의 설정치 이상의 밝은 픽셀들을 모두 0값으로 채운 Zero(x,y)영역을 가진 Image_long_zero 영상을 형성하는 단계; 상기 짧은 노출시간 영상에 대해 상기 Zero(x,y)영역 이외의 영역을 0값으로 만든 Image_short_zero영상을 형성하는 단계; 상기 Image_long_zero영상과 Image_short_zero영상을 합성하여 합성 영상(Image_compose)을 형성하는 단계; 상기 Image_short_zero 영상의 Zero(x,y) 영역 이외의 영역에서 설정치(S1) 이하인 픽셀 수를 카운트하여 설정치(S2) 이상인지를 판단하는 단계; 상기 판단 결과, 설정치(S2) 이상이면 고스트가 있는 것으로 판단하여, 어두운 부분은 크게 밝게 하고 밝은 부분은 약간만 더 밝게 하는 감마보정을 통해 조정된 Image_short_control 영상을 형성하여 사용하는 단계; 상기 판단 결과, 설정치(S2) 미만이면 고스트가 없는 것으로 판단하여 상기 합성 영상(Image_compose)을 사용하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명의 하이 다이나믹 레인지 영상 형성 방법에서는, 합성영상을 얻는 방법이나 고스트 여부를 판단하는 방법이 더하기나 카운팅, 간단한 곱하기 정도의 간단한 연산만 수행하므로, 계산량을 획기적으로 줄인 간단하고 효율적인 HDR영상 형성 방법 제공 방법이 제공된다.

Description

하이 다이나믹 레인지 영상 형성 방법{Forming Method of High Dynamic Range Image}

본 발명은 경제적이고 효율적인 방법으로 하이 다이나믹 레인지 영상을 형성하는 방법에 관한 것이다.

차량용 블랙박스나 감시용 카메라와 같은 영상촬영장치는 실시간으로 영상을 캡처하여 저장하거나 네트워크를 통해 원격지로 전송하게 되는데, 영상을 캡처하는 환경이 열악한 경우의 영상, 즉 빛이 많이 들어오거나 적게 들어올 때 캡처된 영상은 밝은 부분에 맞추면 어두운 부분의 디테일을 식별하기 어려운 경우가 많고, 어두운 부분에 맞추면 밝은 부분의 영상이 포화(saturation)되어 밝은 부분의 디테일을 식별하기 어려운 경우가 많다.

그래서, 종래기술에서는 노출을 조정하여 여러 장의 프레임을 촬영하여 이를 복잡한 융합처리 과정을 수행하여 원래의 디테일을 생성하는 HDR(High Dynamic Range)기술을 사용하지만, 이러한 종래기술에서는 피사체나 배경의 물체가 움직인 경우에는 융합처리 과정에서 움직임에 의한 열화, 일명 고스트 현상이 발생하여 이러한 고스트 현상을 줄이기 위한 별도의 복잡한 수학식에 의해 고스트를 처리하게 된다.

예를 들어, 한국특허공개공보10-2013-13288호(2013.2.6. 공개)에서는 이러한 고스트를 제거하기 위하여, 수신되는 다중 노출 멀티 프레임에 대해 가중치 맵을 계산하고, 영상별 고스트 확률을 계산하며, 이 계산된 고스트 확률을 고려하여 갱신된 영상별 고스트 보정 가중치 맵을 형성하며, 이 갱신된 영상별 고스트 보정 가중치 맵을 이용하여 영상을 생성하는 방법을 제시하고 있고, 각 단계에서 매우 복잡한 수학식들과 다수의 파라메터가 사용되고 있다.

그런데, 이러한 복잡한 수학식에 따른 고스트 처리 과정은, 계산량이 많아서 실시간적으로 수행하기 위해서는 고성능의 처리장치 및 고용량의 메모리 장치가 필수적이고, 수학식이 매우 복잡하고 파라메터도 다수 개가 사용되어 계산과정에서 잘못될 결과가 도출될 가능성이 높아서 실제적으로 정확하게 고스트를 제거하지 못한다.

특히, 종래기술에서는 이러한 복잡한 수학식을 처리하기 위하여, 고성능의 처리장치와 고용량의 메모리장치가 필요하여 고가가 되므로, 범용 차량용 블랙박스나 감시용 카메라에서는 가격 문제로 인하여 적용할 수가 없다.

종래기술의 이러한 문제점을 감안하여, 본 발명은, 범용 차량용 블랙박스나 감시용 카메라에서 사용가능하게 계산량을 획기적으로 줄인 간단하고 효율적인 HDR영상 형성 방법 제공 방법을 제공한다.

이상과 같은 기술적 과제를 달성하기 위하여, 본 발명은,

하이 다이나믹 레인지 영상 형성 방법에 있어서,

영상촬영장치가 짧은 노출시간 영상과 긴 노출시간 영상을 차례로 촬영하는 단계; 상기 긴 노출시간 영상에서 임의의 설정치 이상의 밝은 픽셀들을 모두 0값으로 채운 Zero(x,y)영역을 가진 Image_long_zero 영상을 형성하는 단계; 상기 짧은 노출시간 영상에 대해 상기 Zero(x,y)영역 이외의 영역을 0값으로 만든 Image_short_zero영상을 형성하는 단계; 상기 Image_long_zero영상과 Image_short_zero영상을 합성하여 합성 영상(Image_compose)을 형성하는 단계; 상기 Image_short_zero 영상의 Zero(x,y) 영역 이외의 영역에서 설정치(S1) 이하인 픽셀 수를 카운트하여 설정치(S2) 이상인지를 판단하는 단계; 상기 판단 결과, 설정치(S2) 이상이면 고스트가 있는 것으로 판단하여, 어두운 부분은 크게 밝게 하고 밝은 부분은 약간만 더 밝게 하는 감마보정을 통해 조정된 Image_short_control 영상을 형성하여 사용하는 단계; 상기 판단 결과, 설정치(S2) 미만이면 고스트가 없는 것으로 판단하여 상기 합성 영상(Image_compose)을 사용하는 단계를 포함하는 것을 특징으로 한다.

이상과 같은 본 발명의 하이 다이나믹 레인지 영상 형성 방법에서는, 합성영상을 얻는 방법이나 고스트 여부를 판단하는 방법이 더하기나 카운팅, 간단한 곱하기 정도의 간단한 연산만 수행하므로, 계산량을 획기적으로 줄인 간단하고 효율적인 HDR영상 형성 방법 제공 방법이 제공된다.

도1은 짧은 노출시간의 실제 영상을 나타냄.
도2는 긴 노출시간의 실제 영상을 나타냄.
도3은 도1과 도2를 합성한 것을 나타냄.
도4는 짧은 노출시간의 영상을 간략화한 것을 나타냄.
도5는 긴 노출시간의 영상을 간략화한 것을 나타냄.
도6은 도4와 도5를 합성한 것을 나타냄.
도7은 본 발명의 HDR영상 형성 방법 제공 방법을 나타내는 순서도.
도8은 본 발명에서 감마 보정을 나타냄.

이제, 도면들을 참고로 하여 본 발명의 원리를 자세히 설명하기로 한다.

다이나믹 레이지를 확장시키기 위해, 영상찰영장치에서 노출시간(exposer time)이 짧은 영상(도1)과 긴 영상(도2)을 차례로 한번씩 촬영한다.

그러면, 노출시간이 짧은 영상은 어두운 영상(Image_short_original)(도1)이 되고, 노출시간이 긴 영상은 밝은 영상(Image_long_original)(도2)이 되며, 이러한 도1, 2의 영상을 본 발명의 원리를 용이하게 이해하기 위해 간략화하면 도4(짧은 노출시간)과 도5(긴 노출시간)가 된다.

이제, 도5의 밝은 영상(Image_long_original)의 각 픽셀에, 제1 한계값(Th1)을 더하여 포화값(saturation value)(예:8비트라면 255)을 초과하는 픽셀들(임의의 설정치 이상으로 밝은 픽셀들)을 모두 0값으로 채워서 Zero(x,y)영역이라고 칭하고, 이렇게 하여 만들어진 영상을 Image_long_zero라고 칭한다.

다음으로, 어두운 영상(Image_short_original)에 대해 상기 Zero(x,y)영역 이외의 영역을 0값으로 만들고, 그 결과 영상을 Image_short_zero라고 칭한다.

이제, Image_long_zero와 Image_short_zero를 합성하면, 도6과 같은 합성 영상(Image_compose)이 되어 다이나믹 레인지가 크게 상승하게 된다.

그래서, 이러한 원리를 실제 영상인 도1과 도2에 적용한 결과는 도3과 같은 영상이 되는데, 도3에 나타난 바와 같이 밝은 부분과 어두운 부분 모두에서 디테일이 우수한 최상의 HDR영상이 된다.

그런데, 한번은 노출시간이 짧게 또 한번은 노출시간이 길게 하여 두 번 촬영하기 때문에, 움직임이 있는 물체의 경우에는 합성 영상(Image_compose)에서, 도3과 같이 움직이는 물체가 밝은 부분과 어두운 부분의 경계 부분에서 흰색 가장자리 선이 나타나는 고스트 현상이 발생한다.

이때, 고스트 현상이 존재한다면 Image_short_zero에서 Zero(x,y) 이외의 영역(고스트가 없다면 0값으로 채워져 있음)이 설정치(S1) 이하의 어두운 색으로 변한 픽셀이 많이 존재하게 되므로, Image_short_zero에서 Zero(x,y) 이외의 영역에서 설정치(S1) 이하로 된 픽셀 수를 카운트하여 카운팅 결과가 설정치(S2) 이상이면, 고스트 현상이 존재하는 것으로 판단한다.

즉, 움직임이 없다면 Image_short_zero에서 원래 0값으로 채워졌던 Zero(x,y) 이외의 영역의 모든 픽셀이 여전히 모두 0값이지만(오차를 고려하면 설정치(S1) 이하임), 움직임이 있는 경우에는 Image_short_zero에서 원래 0값으로 채워졌던 Zero(x,y) 이외의 영역의 픽셀들 중에서 설정치(S1) 이하의 어두운 색으로 변해 버린 픽셀들이 다수 존재하므로(움직임이 클수록 변경된 픽셀수가 많아짐), 변해버린 픽셀수의 카운팅 결과가 설정치(S2) 이상이면 움직임이 있는 것으로 판단하여 고스트가 있는 것으로 판단한다.

그래서, 이렇게 고스트가 있는 것으로 판단되는 경우에는 고스트가 있는 합성 영상(Image_compose)을 사용하면 안되므로, 이 경우에는 Image_short_original에 대해 도8과 같은 감마보정 곡선을 적용하여 Image_short_original영상에서 어두운 부분은 크게 밝게 하고(감마보정곡선에서 경사가 급한 부분을 적용함) 밝은 부분은 약간만 더 밝게 하여(감마보정곡선의 경사가 완만한 부분을 적용함) 형성되는 보정 영상(Image_short_control)(Image_compose에 비해 약간 다이나믹 레인지가 떨어짐)을 사용한다.

이때, 감마보정 곡선의 적용을 위한 조도별 상수값(도8의 감마보정 곡선의 기울기 값)을 조도별로 저장해 놓고 Image_short_original 영상의 각 픽셀의 조도에 대응하는 조도별 상수값을 곱하여 보정된 조도를 형성하게 된다.

다음으로, 본 발명의 HDR영상 형성 방법의 동작 순서를 설명한다.

먼저, 영상촬영장치가 노출시간이 짧은 영상(Image_short_original)과, 노출시간이 긴 영상(Image_long_original)을 차례로 촬영한다(Step1).

이제, 밝은 영상(Image_long_original)에서 임의의 설정치 이상으로 밝은 픽셀들)을 모두 0값으로 채운 Zero(x,y)영역과, 이렇게 하여 형성되는 Image_long_zero 영상을 형성한다(Step2).

다음으로, 어두운 영상(Image_short_original)에 대해 상기 Zero(x,y)영역 이외의 영역을 0값으로 만든 Image_short_zero영상을 형성한다(Step3).

이제, Image_long_zero영상과 Image_short_zero영상을 합성하여 합성 영상(Image_compose)을 형성하면(Step4), 다이나믹 레인지가 크게 상승하게 된다.

다음으로, Image_short_zero의 Zero(x,y) 영역 이외의 영역에서 설정치(S1) 이하인 픽셀 수를 카운트하여 설정치(S2) 이상인지를 판단한다(Step5).

이제, Image_short_zero의 Zero(x,y) 영역 이외의 영역에서 설정치(S1) 이하인 픽셀 수를 카운트하여 설정치(S2) 이상이면 고스트가 있는 것으로 판단하여, 짧은 노출시간 영상(Image_short_original)에 대하여 도8의 감마보정곡선을 적용하여 어두운 부분은 원래 조도 보다 크게 밝게 하고 밝은 부분은 원래 조도 보다 약간만 더 밝게 하여 형성되는 영상(Image_short_control)(합성영상(Image_compose)에 비해 약간 다이나믹 레인지가 떨어짐)을 사용한다(Step6).

만일, Image_short_zero의 Zero(x,y) 영역에서 설정치(S1) 이하인 픽셀 수를 카운트하여 설정치(S2) 미만이면 고스트가 없는 것으로 판단하여 합성 영상(Image_compose)을 사용한다(Step7).

결국, 이상과 같은 본 발명의 하이 다이나믹 레인지 영상 형성 방법에서는, 합성영상을 얻는 방법이나 고스트 여부를 판단하는 방법이 더하기나 카운팅, 간단 곱하기 정도의 간단한 연산만 수행하므로, 계산량을 획기적으로 줄인 간단하고 효율적인 HDR영상 형성 방법 제공 방법이 제공된다.

한편, 이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 점에 유의해야 한다.

예를 들어, 상기에서는 고스트인지 여부를 판단하는 단계(Step5) 이전에, 합성영상(Image_compose)을 형성하는 단계(Step4)를 두었지만, 고스트가 있는 경우에는 합성 영상(Image_compose)을 사용하지 않기 때문에, 고스트가 없는 것으로 판단된 경우에 단계(Step7)에서 비로소 합성 영상(Image_compose)을 형성하게 하는 것도 가능하다.

Claims (4)

1. 하이 다이나믹 레인지 영상 형성 방법에 있어서,
   영상촬영장치가 짧은 노출시간 영상(Image_short_original)과 긴 노출시간 영상(Image_long_original)을 차례로 촬영하는 단계;
   상기 긴 노출시간 영상(Image_long_original)에서 임의의 설정치 이상의 밝은 픽셀들을 모두 0값으로 채운 Zero(x,y)영역에 의해 만들어지는 Image_long_zero 영상을 형성하는 단계;
   상기 짧은 노출시간 영상((Image_short_original)에 대해 상기 Zero(x,y)영역 이외의 영역을 0값으로 만든 Image_short_zero영상을 형성하는 단계;
   상기 Image_long_zero영상과 Image_short_zero영상을 합성하여 합성 영상(Image_compose)을 형성하는 단계;
   상기 Image_short_zero 영상의 Zero(x,y) 영역 이외의 영역에서 설정치(S1) 이하인 픽셀 수를 카운트하여 설정치(S2) 이상인지를 판단하는 단계;
   상기 판단 결과, 설정치(S2) 이상이면 고스트가 있는 것으로 판단하여, 짧은 노출시간 영상(Image_short_original)의 어두운 부분에 대해서는 원래 조도보다 크게 밝게 감마 보정을 하고, 짧은 노출시간 영상(Image_short_original)의 밝은 부분에 대해서는 원래 조도보다 약간만 밝게 감마 보정을 하여 Image_short_control 영상을 형성하여 사용하는 단계;
   상기 판단 결과, 설정치(S2) 미만이면 고스트가 없는 것으로 판단하여 상기 합성 영상(Image_compose)을 사용하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 형성 방법.
2. 제1항에 있어서,
   상기 합성 영상(Image_compose)을 형성하는 단계는, 상기 합성 영상(Image_compose)을 사용하는 단계에서 실행되는 것을 특징으로 하는 하이 다이나믹 레인지 영상 형성 방법.
3. 삭제
4. 제1항의 하이 다이나믹 레인지 영상 형성 방법을 적용한 감시카메라 장치.

Images