KR101216663B1

KR101216663B1 - 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법

Info

Publication number: KR101216663B1
Application number: KR1020110051968A
Authority: KR
Inventors: 백준기; 임재현
Original assignee: 중앙대학교 산학협력단
Priority date: 2011-05-31
Filing date: 2011-05-31
Publication date: 2012-12-28
Anticipated expiration: 2031-05-31
Also published as: KR20120133338A

Abstract

고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법이 개시된다. 평균 영상 생성부는 동일한 피사체를 연속하여 촬영한 복수의 LDR 영상을 이용하여 복수의 LDR 영상의 평균 색상 값을 갖는 평균 영상을 생성한다. 최적 영상 결정부는 복수의 LDR 영상 중에서 평균 영상과의 색상 값의 오차가 최소인 영상을 최적 영상으로 결정한다. 영상 변환부는 최적 영상을 기준으로 상기 복수의 LDR 영상을 정렬하여 HDR 영상으로 변환한다. 본 발명에 따르면, HDR 영상을 생성하는데 있어서 영상 장치나 피사체의 움직임으로 인해 발생하는 고스트 현상을 감소시켜 보다 선명한 영상을 얻을 수 있다. 또한 노출 정도가 유사한 다수의 LDR 영상들 중 기준 영상과 노출 정도가 가장 가까운 영상을 선택하여 HDR 영상을 생성하는 기존의 방법에 비해 적은 수의 영상으로 선명한 HDR 영상을 얻을 수 있다.

Description

고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법{Apparatus and method for generating high dynamic range image to remove ghost effect}

본 발명은 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법으로, 보다 상세하게는, 카메라나 피사체의 움직임에 의하여 발생하는 고스트 왜곡이 제거된 높은 동적 대역 영상을 생성하는 장치 및 방법에 관한 것이다.

실제 환경에서 인간의 시각 인지 시스템(human visual system; HVS)은 일반적인 영상 장치보다 높은 동적 대역을 다룰 수 있다. 따라서 기존의 영상 장치는 인간이 인지하는 영상을 그대로 획득(capture) 또는 표현(display)할 수 없다. 이처럼 기존의 영상 장치가 다룰 수 있는 것보다 큰 동적 대역을 갖는 영상의 처리에 관한 필요성이 커지게 되었으며, 이러한 영상을 높은 동적 대역(high dynamic range; HDR) 영상이라고 한다.

높은 동적 대역 영상을 생성하는 가장 대표적인 기술은 서로 다른 노출 조건에서 동일한 장면을 연속적으로 촬영하여 얻어진 다수의 낮은 동적 대역(low dynamic range; LDR) 영상을 합성하여 동적 대역을 확장하는 것이다. 구체적으로 높은 동적 대역 영상은 단 노출 영상(short exposure image; SEI)과 장 노출 영상(long exposure image; LEI)을 합성하여 얻을 수 있다. 이때 단 노출 영상 및 장 노출 영상을 획득하는 과정에서 다소 시간이 걸릴 수 있다. 또한 복수의 LDR 영상을 순차적으로 촬영하는 동안 피사체 또는 영상 장치가 움직이면 단 노출 영상과 장 노출 영상이 동일하지 않으므로, 높은 동적 대역 영상 합성 시 움직임이 발생한 영역의 상이 겹쳐지는 고스트 현상(ghost effect)이 발생하게 된다.

따라서 영상 장치들은 적절한 노출 값을 찾아주는 자동 노출(auto exposure; AE) 제어 기능에 많이 의존하고 있으나, 이 기능만으로 고스트 현상 문제를 해결하기에는 부족하다. 또한 종래의 다른 방법은 화소간의 움직임 벡터와 피사체의 움직임 벡터의 차이가 일정한 임계값보다 클 때는 합성하지 않는다. 따라서 영상 장치나 피사체의 움직임이 없는 고정된 환경에서만 높은 동적 대역 영상을 획득할 수 있는 한계를 갖는다.

또한 영상 장치나 피사체의 움직임이 있는 환경에서 높은 동적 대역 영상을 생성하는 방법도 제안되었다. 일 예로서, 영상 장치나 피사체의 움직임을 보상하기 위해 복수의 LDR 영상을 공간적으로 정렬하는 탄력적 정합(elastic registration; ER) 방법이 있다. ER 방법은 타겟 영상(target images)과 소스 영상(source images)을 복수의 LDR 영상 집합에서 선택하고 영상 정렬을 위한 산술적인 파라미터를 측정한다. 그러나 타겟 영상에 색 정보(color information)가 부족하게 되면 ER 방법은 모션 벡터(motion vector)를 정확하게 측정할 수 없게 되고 그 결과 정확한 정합이 어려워진다.

본 발명이 이루고자 하는 기술적 과제는, 높은 동적 대역 영상을 생성하는데 있어서 영상 장치나 피사체의 움직임으로 인해 발생하는 고스트 현상을 효과적으로 제거할 수 있는 동적 대역 영상 생성장치 및 방법을 제공함에 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 고스트 왜곡이 제거된 높은 동적 대역 영상 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치는, 동일한 피사체를 연속하여 촬영한 복수의 LDR 영상을 이용하여 상기 복수의 LDR 영상의 평균 색상 값을 갖는 평균 영상을 생성하는 평균 영상 생성부; 상기 복수의 LDR 영상 중에서 상기 평균 영상과의 색상 값의 오차가 최소인 영상을 최적 영상으로 결정하는 최적 영상 결정부; 및 상기 최적 영상을 기준으로 상기 복수의 LDR 영상을 정렬하여 HDR 영상으로 변환하는 영상 변환부;를 구비한다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성방법은, 동일한 피사체를 연속하여 촬영한 복수의 LDR 영상을 이용하여 상기 복수의 LDR 영상의 평균 색상 값을 갖는 평균 영상을 생성하는 평균 영상 생성단계; 상기 복수의 LDR 영상 중에서 상기 평균 영상과의 색상 값의 오차가 최소인 영상을 최적 영상으로 결정하는 최적 영상 결정단계; 및 상기 최적 영상을 기준으로 상기 복수의 LDR 영상을 정렬하여 HDR 영상으로 변환하는 영상 변환단계;를 갖는다.

본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법에 의하면, HDR 영상을 생성하는데 있어서 영상 장치나 피사체의 움직임으로 인해 발생하는 고스트 현상을 감소시킴으로써 보다 선명한 영상을 얻을 수 있다. 또한 노출 정도가 유사한 다수의 LDR 영상들 중 기준 영상과 노출 정도가 가장 가까운 영상을 선택하여 HDR 영상을 생성하는 기존의 방법에 비해 적은 수의 영상으로 선명한 HDR 영상을 얻을 수 있다.

도 1은 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 3은 실험에 사용된 영상 시퀀스들을 나타낸 도면,
도 4는 도 3의 영상 시퀀스의 평균 및 각각의 영상 시퀀스로부터 생성된 평균 색상 값을 가지는 영상을 나타낸 도면,
도 5는 도 4에서 구한 평균 영상을 이용하여 영상 시퀀스에서 결정되는 최적 영상을 나타낸 도면, 그리고,
도 6은 본 발명 및 기존의 방법에 의해 얻어진 HDR 영상을 나타낸 도면이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상(HDR) 생성장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 HDR 영상 생성장치(100)는, 평균 영상 생성부(110), 최적 영상 결정부(120) 및 영상 변환부(130)를 구비한다.

평균 영상 생성부(110)는 동일한 피사체를 연속하여 촬영한 복수의 LDR 영상을 이용하여 복수의 LDR 영상의 평균 색상 값을 갖는 평균 영상을 생성한다. 각각의 LDR 영상이 가지는 색상 정보의 양은 HSV 색상공간(hue saturation value color space)으로부터 얻어질 수 있다.

일반적으로 LDR 영상은 과 노출(over-exposured)되거나 저 노출(under-exposured)되며, 노출 값(exposure value; EV)에 의해 색상 정보의 값이 측정된다. 즉, LDR 영상들은 영상의 일부에만 색 정보를 갖는 경우가 많다. 따라서 영상 전체에 걸쳐 색상 정보를 가지는 평균 영상을 생성할 필요가 있다.

복수의 LDR 영상의 평균 색상 값을 가지는 평균 영상은 다음의 수학식 1에 의해 얻어질 수 있다.

여기서, K는 복수의 LDR 영상의 개수, H_k(x,y)는 k번 째 LDR 영상의 (x,y) 위치의 색상 값, 그리고

는 복수의 LDR 영상의 (x,y) 위치의 화소에 대응하는 평균 색상 값, 즉 평균 영상의 (x,y) 위치의 색상 값을 나타낸다.

다음으로 최적 영상 결정부(120)는 복수의 LDR 영상 중에서 평균 영상과의 색상 값의 오차가 최소인 영상을 최적 영상으로 결정한다. 평균 영상과의 색상 값의 오차는 수학식 2와 같이 산출한다.

여기서 HE_k는

와 H_k사이의 오차로서, 평균 제곱 오차(mean-squared error; MSE)를 사용하여 추정된다.

즉, 최적 영상 결정부(120)는 LDR 영상들을 정렬하는 기준이 될 최적 영상을 결정하기 위해 평균 영상과 각각의 LDR 영상 사이의 색상 값의 오차를 산출한다. 만약 복수의 LDR 영상 중 k번째 LDR 영상의 각 화소의 색상 값이

와 비슷하다면 k번째 LDR 영상은 많은 색 정보를 가지며, HE_k값은 0에 가깝게 된다. 반대로, HE_k값이 증가하면 k번째 LDR 영상은 적은 색 정보를 갖는다는 것을 의미한다.

최적 영상은 다음의 수학식 3에 의해 결정된다.

여기서 f_opt는 복수의 LDR 영상 중에서 HE_k값이최소인최적 영상을 나타낸다.

영상 변환부(130)는 최적 영상을 기준으로 복수의 LDR 영상을 정렬하여 HDR 영상으로 변환한다. 효과적인 LDR 영상들의 정합을 위해서 카메라의 움직임은 병진(translation)과 회전(rotation) 성분만을 갖는다고 가정한다. 따라서 영상 변환부(130)는 복수의 LDR 영상을 정렬하기 위해 기존의 ER 방법을 적용하는데 있어서 어파인 메트릭스(affine matrix)의 병진과 회전 요소를 제외하고는 모두 0으로 설정한다.

LDR 영상 사이의 움직임은 어파인 메트릭스로 모델링되며, 이는 다음의 수학식 4와 같다.

여기서 f_opt(x,y,t)는 최적 영상, 즉 ER 방법에서의 소스 영상, f_opt(

,

,t-1) 는 최적 영상이 아닌 LDR 영상, 즉 ER 방법에서의 타겟 영상을 나타낸다. 또한 m₁,m₂,m₃및 m₄ 는 선형 어파인 파라미터, m₅,m₆는 병진 파라미터, 그리고 m₇,m₈는 명암과 밝기 변화를 나타내는 파라미터이다.

수학식 4의 m₁ 내지 m₈의 파라미터 값들을 추정하기 위해서는 다음의 수학식 5와 같은 이차의 오차 함수(quadratic error function)를 최소화해야 한다.

여기서

이고

는 (x,y) 위치를 포함하는 작은 이웃 영역을 나타낸다.

수학식 5의 오차 함수는 각각의 파라미터 m_i값에 대해 비선형적이기 때문에 분석적으로 최소화하기 어렵다. 따라서 최소화 과정을 단순화하기 위해 생략된 테일러 급수의 확장(truncated taylor series expansion)을 이용하여 다음의 수학식 6과 같이 오차 함수를 근사화할 수 있다.

여기서 f_x와 f_y는 f의 공간적인 도함수이고, f_t는 시간적인 도함수이다.

테일러 급수의 확장에 기초하여 오차 함수는 다음의 수학식 7과 같이 더 간단하게 나타낼 수 있다.

여기서 k와

는 다음의 수학식 8과 같다.

이 오차 함수는

에 대한 편미분에 의해 다음의 수학식 9와 같이 분석적으로 최소화될 수 있다.

결과적으로, 수학식 9의 값이 0으로 될 때 오차가 최소이며,

은 다음의 수학식 10과 같이 구해진다.

한편, 오차 함수를 보다 정확하게 추정하기 위해 뉴튼-랩손 타입 방정식(Newton-Raphson type iteration)이 사용될 수 있다. 구체적으로, 영상 변환부(130)는 이상의 과정에 의해 각 LDR 영상과 최적 영상 사이의 움직임을 추정하여 LDR 영상들을 정렬한 후, 정렬된 LDR 영상들에 대하여 추가적인 정렬 과정을 반복적으로 수행할 수 있다.

또한 단계적(coarse-to-fine) 접근법이 큰 움직임들을 다루기 위해 적용될 수 있다. 즉 최적 영상을 포함하는 복수의 LDR 영상을 위해 가우시안 피라미드(Gaussian pyramid)가 생성되고, 반복적인 LDR 영상의 정렬 과정은 큰 움직임으로부터 순차적으로 작은 움직임을 보정하기 위해 수행될 수 있다.

도 2는 본 발명에 따른 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

평균 영상 생성부(110)는 연속하여 촬영된 복수의 LDR 영상의 평균적인 색상 값을 갖는 평균 영상을 생성한다(S200). 이때 영상의 평균적인 색상 값을 구하기 위해 HSV 색상공간에서 복수의 LDR 영상 각각의 색상 값을 산출한다. 복수의 LDR 영상은 노출 값의 불균형으로 인해 서로 다른 색상 값을 갖는다. 따라서 이러한 복수의 LDR 영상의 평균적인 색상 값을 갖는 평균 영상을 생성할 수 있으며, 구체적인 방법은 앞서 설명한 바와 같다.

최적 영상 결정부(120)는 복수의 LDR 영상 각각에 대하여 평균 영상과의 색상 값의 오차를 산출한다(S210). 평균 영상은 복수의 LDR 영상의 색상 값의 산술적인 평균치를 갖는 영상이기 때문에 각각의 복수의 LDR 영상의 색상 값과 차이가 존재한다. 색상 값의 오차는 앞서 설명한 바와 같이 평균 제곱 오차(MSE)를 이용하여 산출할 수 있다. 그리고 최적 영상 결정부(120)는 앞서 산출한 오차 값이 최소인 최적 영상을 복수의 LDR 영상 중에서 결정한다(S220).

결과 영상 생성부(130)는 앞서 결정한 최적 영상을 기준으로 LDR 영상들을 정렬하여 고스트 현상이 제거된 HDR 영상을 생성한다(S230). LDR 영상들의 정렬은 기존의 ER 방법을 앞에서 설명한 바와 같이 수정함으로써 수행된다.

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에는 640 X 480 크기의 세 가지 영상 시퀀스를 사용하였다. 또한 각각의 영상 시퀀스는 카메라 또는 피사체의 움직임이 존재하는 상태에서 서로 다른 노출에 의해 얻어진 세 개의 LDR 영상으로 구성된다.

도 3은 실험에 사용된 영상 시퀀스들을 나타낸 도면이다. (a) 영상은 촛불을 연속적으로 촬영한 것으로 피사체인 촛불의 불꽃의 움직임이 다르게 촬영되었음을 알 수 있다. (b) 영상은 인형을, (c) 영상은 사람을 연속적으로 촬영한 것으로 빨간색 화살표 부분이 카메라의 움직임으로 다르게 촬영되었음을 알 수 있다. 세 개의 LDR 영상은 각각 -2Ev, 0EV, +2EV 의 노출에서 촬영되었다.

도 4는 도 3의 영상 시퀀스의 평균 및 각각의 영상 시퀀스로부터 생성된 평균 색상 값을 가지는 영상을 나타낸 도면이다.

도 4의 (a) 내지 (c)는 각각 도 3의 (a) 내지 (c)의 영상 시퀀스의 평균이다. 세 종류의 영상 시퀀스 모두 움직임에 의해 고스트 현상이 발생하였음을 알 수 있다. 또한 도 4의 (d) 내지 (f)는 각각의 영상 시퀀스로부터 얻어진 평균 영상, 즉 평균 색상 값을 가지는 영상으로, 영상 정렬을 위한 최적 영상을 결정하는 데 사용된다.

도 5는 도 4에서 구한 평균 영상을 이용하여 영상 시퀀스에서 결정되는 최적 영상을 나타낸 도면이다. 도 5를 참조하면, 촛불 영상 시퀀스에서는 세 번째 LDR 영상, 인형 영상 시퀀스에서는 두 번째 LDR 영상, 그리고 사람 영상 시퀀스에서는 두 번째 LDR 영상이 최적 영상으로 결정되었다.

도 6은 본 발명 및 기존의 방법에 의해 얻어진 HDR 영상을 나타낸 도면이다. 본 발명의 실험 결과를 서로 다른 노출에서 얻어진 모든 LDR 영상을 단순히 결합하는 Debevec의 방법 및 LDR 영상들의 정렬에 기존의 ER 방법을 사용하는 Periaswamy의 방법과 비교하였다.

도 6의 (a)를 참조하면, 촛불 영상은 Debevec의 방법에 의한 결과는 촛불의 불꽃 부분에 고스트 현상이 발생하며, Periaswamy의 방법에 의한 결과는 초의 모서리 부분에 고스트 현상이 발생한다. 그러나 본 발명에 의해 생성된 HDR 영상은 촛불의 불꽃과 모서리에서 모두 고스트 현상이 감소된 결과를 보인다.

도 6의 (b)를 참조하면 인형 영상은 Debevec의 방법에 의한 결과와 Periaswamy의 방법에 의한 결과 모두 빨간색 사각형 영역에서 고스트 현상이 발생하여 글씨가 선명하게 나타나지 않는다. 그러나 본 발명에 의한 결과에서는 비교적 선명하게 글씨를 확인할 수 있다.

도 6의 (c)를 참조하면, 사람 영상에서도 Debevec의 방법에 의한 결과와 Periaswamy의 방법에 의한 결과 모두 빨간색 사각형 영역 내에 고스트 현상이 발생하여 사람의 팔 부분이 흐리게 나타난다. 그러나 본 발명에 의한 결과에서는 고스트 현상이 제거되어 선명한 영상을 나타낸다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims

동일한 피사체를 연속하여 촬영한 복수의 낮은 동적 대역(Low Dynamic Range : LDR) 영상을 이용하여 상기 복수의 LDR 영상의 평균 색상 값을 갖는 평균 영상을 생성하는 평균 영상 생성부;
상기 복수의 LDR 영상 중에서 상기 평균 영상과의 색상 값의 오차가 최소인 영상을 최적 영상으로 결정하는 최적 영상 결정부;
상기 최적 영상을 기준으로 상기 복수의 LDR 영상을 정렬하여 높은 동적 대역(High Dynamic Range : HDR) 영상으로 변환하는 영상 변환부;를 포함하는 것을 특징으로 하는 동적 대역 영상 생성장치.
제 1항에 있어서,
상기 영상 변환부는 병진 성분과 회전 성분으로 이루어진 움직임 파라미터를 추정하여 상기 복수의 LDR 영상을 정렬하는 것을 특징으로 하는 동적 대역 영상 생성장치.
제 2항에 있어서,
상기 영상 변환부는 상기 최적 영상을 기준으로 정렬된 상기 복수의 LDR 영상에 대한 움직임 파라미터를 다시 추정하여 상기 복수의 LDR 영상을 반복적으로 정렬하는 것을 특징으로 하는 동적 대역 영상 생성장치.
동일한 피사체를 연속하여 촬영한 복수의 낮은 동적 대역(Low Dynamic Range : LDR) 영상을 이용하여 상기 복수의 LDR 영상의 평균 색상 값을 갖는 평균 영상을 생성하는 평균 영상 생성단계;
상기 복수의 LDR 영상 중에서 상기 평균 영상과의 색상 값의 오차가 최소인 영상을 최적 영상으로 결정하는 최적 영상 결정단계;
상기 최적 영상을 기준으로 상기 복수의 LDR 영상을 정렬하여 높은 동적 대역(High Dynamic Range : HDR) 영상으로 변환하는 영상 변환단계;를 포함하는 것을 특징으로 하는 동적 대역 영상 생성방법.
제 4항에 있어서,
상기 영상 변환단계는 병진 성분과 회전 성분으로 이루어진 움직임 파라미터를 추정하여 상기 복수의 LDR 영상을 정렬하는 것을 특징으로 하는 동적 대역 영상 생성방법.
제 5항에 있어서,
상기 영상 변환단계는 상기 최적 영상을 기준으로 정렬된 상기 복수의 LDR 영상에 대한 움직임 파라미터를 다시 추정하여 상기 복수의 LDR 영상을 반복적으로 정렬하는 것을 특징으로 하는 동적 대역 영상 생성방법.
제 4항 내지 제 6항 중 어느 한 항에 기재된 동적 대역 영상 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.