KR100987031B1 - 공간 해상도와 다이내믹 레인지가 향상된 영상 생성 방법과그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 동일 영역에 대해 획득된 복수개의 영상들을 이용하여 공간 해상도와 다이내믹 레인지가 모두 향상된 영상을 생성하는 방법과 그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 개시한다. 본 발명은 (a) 동일 영역에 대한 영상들로부터 공통 영역을 추출하는 단계; (b) 기준 영상으로부터 공통 영역에 해당하는 기준 영역을 추출하며, 추출된 기준 영역과 비교하여 추출된 공통 영역의 소정 방향으로의 움직임 벡터를 추정하는 단계; 및 (c) 영상을 획득하는 영상 획득 장치의 응답 함수(제1 변수) 또는 추정된 움직임 벡터가 고려된 영상의 화소(제2 변수)를 특정값으로 가정하며, 가정되지 않은 변수의 값을 먼저 산출한 후 다른 변수의 값을 이어 산출하는 방법을 반복하여 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 생성 방법을 제공한다. 본 발명에 따르면, 복원 영상의 공간 해상도와 다이내믹 레인지를 동시에 모두 향상시킬 수 있다. 또한, 하나의 영상에서 최대한 많은 정보를 얻을 수 있다.

영상 복원(image reconstruction), 공간 해상도(spatial resolution), 다이내믹 레인지(dynamic range), 부화소 단위 움직임 정보(sub-pixel motion)

Description

공간 해상도와 다이내믹 레인지가 향상된 영상 생성 방법과 그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Method and apparatus for generating image with improved spatial resolution and dynamic range, and the recording media storing the program performing the said method}

본 발명은 영상을 생성하는 방법과 그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 특히, 본 발명은 동일 영역에 대해 획득된 복수개의 영상들을 이용하여 공간 해상도(spatial resolution)와 다이내믹 레인지(dynamic range)가 모두 향상된 영상을 생성하는 방법과 그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.

일반적으로 디지털 영상 처리 장치는 이미지 센서의 물리적 한계로 인하여 공간 해상도(spatial resolution)와 다이내믹 레인지(dynamic range)가 제약된다.

디지털 영상에서 공간 해상도는 단위 면적당 화소 수를 말한다. 이러한 공간 해상도는 영상 내에 포함되어 있는 정보의 양을 결정하는 중요한 요인이다. 그러나, 이미지 센서가 포토 다이오드의 공간 배열로 구성되기 때문에 포토 다이오드의 개수에 따라 이미지 센서의 공간 해상도가 제한된다.

한편, 이미지 센서의 다이내믹 레인지는 센서가 반응하는 빛의 밝기의 분포를 말한다. 그런데, 실공간에서 빛의 밝기는 매우 넓게 분포하는데 반해, 이미지 센서의 다이내믹 레인지는 제한되어 있다. 따라서, 빛의 밝기가 상기 다이내믹 레인지 임계값을 초과하는 영역이 포함된 영상을 디지털 영상으로 수신하면, 디지털 영상에서 빛이 강한 영역 또는 빛이 약한 영역의 정보는 손실된다. 경우에 따라서는 디지털 영상에서 상기 두 영역 모두 정보가 손실되기도 한다.

제한된 공간 해상도와 다이내믹 레인지를 극복하고 하나의 영상에서 최대한 많은 정보를 얻기 위해 종래에는 다음 두가지 방법이 제안되었다. 하나는 소자 물리와 회로 기술을 기반으로 하는 방법이며, 다른 하나는 신호 처리적인 측면에서 접근하는 방법이다.

소자 물리에 기반을 두고 공간 해상도를 향상시키려면 이미지 센서의 집적도를 높여 동일 면적에 보다 많은 화소(pixel)가 포함되도록 해야 한다. 그러나, 이 방법에 따르면 화소당 수광 면적이 감소하여 노이즈가 증가하며, 다이내믹 레인지가 좁아지는 문제점이 발생한다. 소자 물리를 통해 다이내믹 레인지를 확장시키기 위해 종래 이미지 센서의 구조를 변경시키는 방안이 제안되기도 했다. 그러나, 이 방안에 따르면 이미지 센서의 구조가 매우 복잡해지며, 고화소 집적이 어려워진다.

신호 처리적인 측면에서는 다수개의 저해상도 영상들로부터 하나의 고해상도 영상을 복원하는 초해상도 영상 복원(super-resolution image reconstruction)이 연구되어 왔다. 초해상도 영상 복원은 동일한 장면을 촬영한 저해상도 영상들을 분석하여 고해상도 영상을 복원한다. 이러한 초해상도 영상 복원 방법에는 저해상도 영상들에 비균일 보간법(nonuniform interpolation)을 적용하는 방법, 각각의 저해상도 영상을 주파수 영역에서 분석하여 고해상도 영상을 복원하는 방법, 정규화에 기반한 방법, POCS(Projection Onto Convex Sets)에 기반한 방법 등이 있다. 초해상도 영상 복원 방법에 따르면 공간 해상도를 향상시킬 수 있다. 그러나, 초해상도 영상 복원 방법은 좁은 다이내믹 레인지를 향상시키지 못하는 문제점이 있다.

다이내믹 레인지가 좁아지는 문제점을 극복하기 위해 이미지 센서를 이용하여 노출이 다른 다수개의 영상을 획득하고 신호 처리 방법에 따라 획득된 영상들로부터 와이드 다이내믹 레인지 영상을 복원하는 방법이 제안되기도 했다. 그러나, 이 방법은 오히려 공간 해상도를 저해시키는 문제점을 발생시켰다.

영상에 포함된 정보의 측면에서 볼 때 공간 해상도와 다이내믹 레인지의 제약으로 인해 발생하는 정보의 손실은 동시 발생적이다. 그러나, 종래 방법으로는 공간 해상도와 다이내믹 레인지의 제약을 모두 극복하는 것이 불가능하였다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 동일 영역에 대해 획득된 영상들로부터 공통 영역을 추출하고 부화소 단위 움직임 정보(sub-pixel motion)를 추정하며 추정된 정보를 이용하여 공간 해상도(spatial resolution)와 다이내믹 레인지(dynamic range)가 모두 향상된 영상을 생성하는 영상 생성 방법과 그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, (a) 동일 영역에 대한 영상들로부터 공통 영역을 추출하는 단계; (b) 기준 영상으로부터 상기 공통 영역에 해당하는 기준 영역을 추출하며, 상기 추출된 기준 영역과 비교하여 상기 추출된 공통 영역의 소정 방향으로의 움직임 벡터를 추정하는 단계; 및 (c) 상기 영상을 획득하는 영상 획득 장치의 응답 함수(제1 변수) 또는 상기 추정된 움직임 벡터가 고려된 영상의 화소(제2 변수)를 특정값으로 가정하며, 가정되지 않은 변수의 값을 먼저 산출한 후 다른 변수의 값을 이어 산출하는 방법을 반복하여 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 생성 방법을 제공한다.

바람직하게는, 상기 (c) 단계는 (ca) 상기 영상의 화소를 특정값으로 가정하는 단계; (cb) 상기 특정값으로 가정된 영상의 화소를 고려하여 양자화 잡음이 소 거된 목적 함수를 최소화시키는 응답 함수를 산출하는 단계; (cc) 상기 산출된 응답 함수를 고려하여 상기 목적 함수를 최소화시키는 상기 영상의 화소를 산출하는 단계; 및 (cd) 상기 산출된 영상의 화소를 토대로 상기 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 단계를 포함한다. 더욱 바람직하게는, 상기 (cc) 단계는 상기 영상의 화소를 산출할 때에 기울기 하강 탐색을 이용한다.

바람직하게는, 상기 (a) 단계는 상기 기준 영상과 동등하게 상기 동일 영역에 대한 영상들의 밝기를 보정한 후 상기 공통 영역 추출을 수행한다. 더욱 바람직하게는, 상기 (a) 단계는 밝기 보정 대상 영상의 각 화소에 상기 기준 영상의 평균 밝기값과 상기 밝기 보정 대상 영상의 평균 밝기값의 차를 가산하여 상기 동일 영역에 대한 영상들의 밝기를 보정한다.

바람직하게는, 상기 (b) 단계는 상기 움직임 벡터로 부화소 단위의 움직임 벡터를 추정한다.

바람직하게는, 상기 (c) 단계는 상기 방법으로 가우스-자이델 반복법을 이용한다.

바람직하게는, 상기 (a) 단계는 (aa) 상기 동일 영역에 대한 영상들 중 하나인 제1 영상을 다른 하나인 제2 영상과 비교하며, 상기 비교로부터 상기 제1 영상의 움직임 벡터를 추정하는 단계; 및 (ab) 상기 추정된 움직임 벡터를 고려하여 상기 공통 영역을 추출하는 단계를 포함한다.

바람직하게는, 상기 (a) 단계와 상기 (b) 단계의 중간 단계로 상기 추출된 공통 영역을 동일 단위의 물리량으로 정렬시키는 단계를 포함한다.

바람직하게는, 상기 (b) 단계는 상기 기준 영상으로 촬영 영상을 나이퀴스트 주파수 비율로 샘플링한 영상 또는 원 영상을 이용한다.

바람직하게는, 상기 (a) 단계는 상기 공통 영역 추출에 선행하여 (a') 촬영을 통해 상기 동일 영역에 대한 영상들을 획득하는 단계, (a'') 미리 정해진 영상으로 상기 동일 영역에 대한 영상들을 획득하는 단계, 및 (a''') 촬영시 노출을 다르게 하여 상기 동일 영역에 대한 영상들을 획득하는 단계 중 어느 한 단계를 수행한다.

또한, 본 발명은 동일 영역에 대한 영상들로부터 공통 영역을 추출하는 공통 영역 추출부; 기준 영상으로부터 상기 공통 영역에 해당하는 기준 영역을 추출하며, 상기 추출된 기준 영역과 비교하여 상기 추출된 공통 영역의 소정 방향으로의 움직임 벡터를 추정하는 움직임 벡터 추정부; 및 상기 영상을 획득하는 영상 획득 장치의 응답 함수(제1 변수) 또는 상기 추정된 움직임 벡터가 고려된 영상의 화소(제2 변수)를 특정값으로 가정하며, 가정되지 않은 변수의 값을 먼저 산출한 후 다른 변수의 값을 이어 산출하는 방법을 반복하여 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 영상 생성부를 포함하는 것을 특징으로 하는 영상 생성 장치를 제공한다.

바람직하게는, 상기 영상 생성부는 상기 영상의 화소를 특정값으로 가정하는 화소 특정 모듈; 상기 특정값으로 가정된 영상의 화소를 고려하여 양자화 잡음이 소거된 목적 함수를 최소화시키는 응답 함수를 산출하는 응답 함수 산출 모듈; 상기 산출된 응답 함수를 고려하여 상기 목적 함수를 최소화시키는 상기 영상의 화소 를 산출하는 화소 산출 모듈; 및 상기 산출된 영상의 화소를 토대로 상기 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 영상 생성 모듈을 포함한다.

바람직하게는, 상기 영상 생성 장치는 상기 기준 영상과 동등하게 상기 동일 영역에 대한 영상들의 밝기를 보정하는 밝기 보정부 또는 상기 추출된 공통 영역을 동일 단위의 물리량으로 정렬시키는 정렬부를 더 포함한다.

본 발명에 따르면 동일 영역에 대해 획득된 영상들로부터 공통 영역을 추출하고 부화소 단위 움직임 정보(sub-pixel motion)를 추정하며 추정된 정보를 이용하여 영상을 생성함으로써 다음 효과를 얻을 수 있다. 첫째, 복원 영상의 공간 해상도(spatial resolution)와 다이내믹 레인지(dynamic range)를 동시에 모두 향상시킬 수 있다. 즉, 고해상도이면서 넓은 다이내믹 레인지를 가지는 HR(High Resolution)/WDR(Wide Dynamic Range) 영상으로 복원할 수 있다. 둘째, 공간 해상도와 다이내믹 레인지를 모두 향상시키면 영상에 담겨진 정보의 손실을 감소시킬 수 있다. 즉, 하나의 영상에서 최대한 많은 정보를 얻을 수 있다. 세째, HR/WDR 영상을 생성함에 있어 기존 영상 처리 장치를 이용할 수 있다. 이는 영상 처리 장치 개발에 투입될 연구개발 비용을 절감시킬 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요 소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 HR(High Resolution)/WDR(Wide Dynamic Range) 영상 생성 장치의 내부 구성을 개략적으로 도시한 개념도이다. 도 1에 따르면, HR/WDR 영상 생성 장치(100)는 다중 영상 획득부(110), 밝기 정도 통일부(120), 공통 영역 추출부(130), 정렬부(140), 부화소 단위 움직임 벡터 추정부(150), 영상 화소 계산부(160), HR/WDR 영상 생성부(170), 전원부(180) 및 제어부(190)를 포함한다.

본 발명에 따른 HR/WDR 영상 생성 장치(100)는 기존의 초해상도 영상 복원 알고리즘을 다이내믹 레인지로 확장하여 공간 해상도와 다이내믹 레인지를 동시에 향상시키는 것을 특징으로 한다. 구체적으로, HR/WDR 영상 생성 장치(100)는 공간 해상도가 제한되거나 다이내믹 레인지가 제약되어 정보 손실이 발생한 영상을 획득하는 과정을 모델링하고, 영상 시스템의 응답 함수를 추정하며, 추정된 부화소 단위 움직임 정보를 기반으로 공간 해상도와 다이내믹 레인지가 동시 향상되도록 영상을 복원시킨다. 이때, HR/WDR 영상 생성 장치(100)는 영상 시스템의 응답 함수를 매 반복시에 다시 추정한다.

다중 영상 획득부(110)는 동일 영역에 대하여 적어도 두개의 영상(특히, 노출이 다른 영상)을 획득하는 기능을 수행한다. 다중 영상 획득부(110)는 이를 위해 동일 영역을 촬영하는 적어도 두개의 카메라를 구비하는 영상 촬영 모듈(111), 영상 촬영 모듈(111)이 촬영을 통해 취득한 것을 영상 처리하는 영상 처리 모듈(112) 등을 구비할 수 있다. 다중 영상 획득부(110)가 촬영을 통해 영상을 획득하지 않고 미리 정해진 영상을 획득하는 것도 가능하다.

다중 영상 획득부(110)는 보통 LR(Low Resolution)/NDR(Narrow Dynamic Range) 영상들을 획득한다. 다중 영상 획득부(110)가 획득한 영상이 LR/NDR 영상인 이유는 서브 샘플링(sub-sampling), 워핑(warping), 블러링(blurring) 등에 기인한다. 그러나, 다중 영상 획득부(110)가 획득하는 영상들에 HR/NDR 영상이나 LR/WDR 영상이 포함될 수 있음은 물론이다.

다중 영상 획득부(110)가 영상 촬영 모듈(111)을 구비할 경우, 영상 촬영 모듈(111)은 예컨대 도 2와 같이 구현할 수 있다. 도 2의 (a)는 실제 제작된 영상 촬영 모듈(111)의 정면도이고, 도 2의 (b)는 상기 영상 촬영 모듈(111)의 후면도이다.

밝기 정도 통일부(120)는 다중 영상 획득부(110)가 획득한 영상들 간에 밝기 정도를 통일시키는 기능을 수행한다. 밝기 정도 통일부(120)는 이를 위해 기준 영상 취득 모듈(121), 영상 비교 모듈(122), 밝기 보정 모듈(123) 등을 구비한다.

기준 영상 취득 모듈(121)은 획득된 영상들의 원 영상을 기준 영상으로 취득하는 기능을 수행한다. 영상 비교 모듈(122)은 획득된 영상들을 차례대로 기준 영 상과 비교하는 기능을 수행한다. 밝기 보정 모듈(123)은 기준 영상과 밝기 정도가 일치하도록 획득된 각 영상의 밝기 정도를 보정하는 기능을 수행한다. 밝기 보정 모듈(123)은 아래 수학식 1을 이용하여 상기 기능을 수행한다.

상기에서, y'_k,l은 밝기 보정후 k번째 LR/NDR 영상 y_k의 화소, y_k,l은 밝기 보정전 k번째 LR/NDR 영상 y_k의 화소,

는 i번째 LR/NDR 영상의 밝기 평균값,

는 k번째 LR/NDR 영상의 밝기 평균값이다.

상기 수학식 1에 따라 다중 영상 획득부(110)로부터 획득되며 노출 시간이 △t_k인 k번째 LR/NDR 영상 y_k의 각 화소 y_k,l은 다중 영상 획득부(110)로부터 획득된 기준 영상(즉, i번째 영상 y_i)을 이용하여 밝기가 일정하게 맞춰진다.

공통 영역 추출부(130)는 밝기 보정된 LR/NDR 영상들에서 공통 영역을 추출하는 기능을 수행한다. 공통 영역 추출부(130)는 이를 위해 움직임 벡터 추정 모듈(131)과 공통 영역 추출 모듈(132)을 구비한다.

움직임 벡터 추정 모듈(131)은 밝기 보정된 LR/NDR 영상들에서 움직임 벡터를 추정한다. 움직임 벡터 추정 모듈(131)은 구현의 단순 용이성을 참작하여 상기 기능 수행에 블록 매칭 알고리즘(BMA; Block Matching Algorithm)을 적용한다. 블록 매칭 알고리즘(BMA)은 현재 프레임의 목표 블록과 가장 일치하는 영역을 참조 프레임(reference frame) 내에서 탐색하여 찾아내는 과정으로 진행된다. 그러나, 움직임 벡터 추정 모듈(131)은 움직임 벡터 추정에 화소 순환 알고리즘(PRA; Pixel Recursive Algorithm) 또는 옵티컬 플로우(optical flow) 방법을 적용하는 것도 가능하다.

공통 영역 추출 모듈(132)은 추정된 움직임 벡터를 토대로 밝기 보정된 LR/NDR 영상들에서 공통 영역을 추출한다. 도 2의 영상 촬영 모듈(111)을 이용할 경우, 공통 영역 추출 모듈(132)이 LR/NDR 영상들에서 추출하는 공통 영역의 일례는 도 3과 같다.

정렬부(140)는 추출된 LR/NDR 영상의 공통 영역을 동일 단위의 물리량으로 정렬시키는 기능을 수행한다. 바람직하게는, 정렬부(140)는 공통 영역을 정수 단위의 물리량으로 정렬시킨다. 정수 단위 정렬이 이루어진 공통 영역 영상은 아래 수학식 2와 같다.

상기에서,

는 해상도 M=N₁×N₂를 가지며 정수 단위 정렬이 이루어진 k번째 LR/NDR 영상의 공통 영역 영상,

은 상기 공통 영역 영상의 화소값, m은 1≤m≤M이다.

부화소 단위 움직임 벡터 추정부(150)는 기준 영상으로부터 공통 영역으로 추출된 공통 영역 기준 영상을 이용하여 LR/NDR 영상으로부터 공통 영역으로 추출된 공통 영역 영상의 부화소 단위 움직임 벡터를 추정하는 기능을 수행한다. 이때, 부화소 단위 움직임 벡터는 원 영상(즉, HR/WDR 영상)을 기준으로 다중 영상 획득부(110)로부터 획득된 LR/NDR 영상이 가지는 부화소 움직임 정도를 나타내는 파라미터로서, 영상의 기울기를 기반으로 최소 자승 에러값을 최소화하여 구한다. 본 발명의 실시예에서 기준 영상으로는 원 영상이 이용된다. 그러나, 기준 영상으로 제한된 공간 주파수를 갖는 실제 장면을 나이퀴스트 주파수(nyquist frequency) 이상의 적정 주파수로 샘플링된 디지털 영상이 이용되는 것도 가능하다.

도 4는 공통 영역 추출부(130)의 움직임 벡터 추정 방법과 부화소 단위 움직임 벡터 추정부(150)의 부화소 단위 움직임 벡터 추정 방법을 비교한 도면이다. 상기에서, 공통 영역 추출부(130)의 움직임 벡터 추정 방법은 공통 영역 추출부(130)가 LR/NDR 영상에서 공통 영역을 추출할 때에 수행하는 움직임 벡터 추정 방법이며, 부화소 단위 움직임 벡터 추정부(150)의 부화소 단위 움직임 벡터 추정 방법은 부화소 단위 움직임 벡터 추정부(150)가 LR/NDR 영상이 HR/WDR 영상과 비교하여 수행하는 부화소 단위 움직임 벡터 추정 방법이다.

도 4의 (a) 내지 (c)는 각각의 LR/NDR 영상을 도시한 것이다. 여기에서, 도면부호 400 ~ 420은 각 LR/NDR 영상에서 화소의 위치를 지시한다. 도 4의 (d)에 따르면, 공통 영역 추출부(130)의 움직임 벡터 추정 방법은 도면부호 430의 방향성을 고려하는 데에 반해, 부화소 단위 움직임 벡터 추정부(150)의 부화소 단위 움직임 벡터 추정 방법은 (b) 영상을 기준 영상으로 할 경우 도면부호 440의 방향성을 고 려한다.

영상 화소 계산부(160)는 추정된 부화소 단위 움직임 벡터를 이용하여 HR/WDR 영상 생성을 위한 목적 영상(즉, LR/NDR 영상)의 화소값들을 계산하는 기능을 수행한다. 영상 화소 계산부(160)는 변수가 2개인 점을 고려하여 가우스-자이델 반복법(gauss-seidel iteration)을 이용하여 목적 영상의 화소값들을 계산한다. 영상 화소 계산부(160)의 영상 화소값 계산은 구체적으로 다음과 같이 진행된다.

제1 단계에서, 화소값 특정화 모듈(161)이 제1 변수인 목적 영상의 화소값을 상수값으로 특정한다. 제2 단계에서, 응답 함수값 산출 모듈(162)이 특정된 목적 영상의 화소값을 고려하여 목적 함수를 최소화시키는 제2 변수인 응답 함수값을 산출한다. 제3 단계에서, 화소값 산출 모듈(163)이 산출된 응답 함수값을 이용하여 상기 목적 함수를 최소화시키는 목적 영상의 화소값을 산출한다. 상기에서, 목적 함수란 양자화 오류(또는 양자화 잡음)가 0인 함수를 말한다.

제2 단계에서, 응답 함수값 산출 모듈(162)이 산출하는 응답 함수값은 다중 영상 획득부(110)의 주파수 응답 함수(frequency response function)에 대한 값으로, 1차 함수값으로 나타난다. 응답 함수값 산출 모듈(162)은 아래 수학식 3을 이용하여 응답 함수값을 산출한다.

상기에서, g(z)는 다중 영상 획득부(110)의 응답 함수, W_k,m,n(S_k)는 HR/WDR 영상 x의 n번째 화소가 k번째 LR/NDR 영상의 m번째 화소에 미치는 영향을 나타내는 가중치, S_k는 k번째 LR/NDR 영상의 부화소 단위 움직임 벡터값, x_n은 HR/WDR 영상 x의 n번째 화소이다.

제3 단계에서, 화소값 산출 모듈(163)은 산출된 응답 함수값을 토대로 목적 영상의 각 화소에 기울기 하강 탐색법(gradient descent)을 반복 적용시켜 목적 영상의 화소값들을 산출한다. 여기서, 기울기 하강 탐색법이란 현재의 위치에서 기울기 또는 근사 기울기(approximate gradient)에 비례해서 단계적으로 함수의 최소 또는 최대에 접근하는 점근적인 언덕 오르기 알고리즘(hill climbing algorithm)을 말한다. 화소값 산출 모듈(163)은 아래 수학식 4를 이용하여 목적 영상의 화소값들을 산출한다.

상기에서, xⁱ _n은 i번째 반복 과정에서 추정된 LR/NDR 영상의 n번째 화소, α는 반복 과정 중에 적응적으로 바꾸어 사용할 수 있는 양자화 스텝 사이즈이다.

HR/WDR 영상 생성부(170)는 계산된 목적 영상의 화소값들을 수집하여 획득된 LR/NDR 영상들로부터 HR/WDR 영상을 생성하는 기능을 수행한다.

전원부(180)는 HR/WDR 영상 생성 장치(100)를 구성하는 모든 구성부에 전원을 공급하는 기능을 수행한다. 그리고, 제어부(190)는 HR/WDR 영상 생성 장치(100)를 구성하는 모든 구성부의 전체 작동을 제어하는 기능을 수행한다.

이하에서는 상기 수학식 3과 상기 수학식 4의 유도 과정을 설명한다.

기존의 초해상도 영상 복원 알고리즘이 부화소 단위의 움직임 정보를 영상 획득 과정의 모델링에 반영하여 고해상도 영상의 복원을 가능하게 하는 것과 마찬가지로, 본 발명은 공간 해상도 향상을 위해 부화소 단위의 움직임 정보를 사용하며, 이와 함께 노출이 다른 영상 사이의 상반칙 원리를 이용하여 다이내믹 레인지도 동시에 향상시킬 수 있음은 이미 언급한 바 있다.

제한된 공간 해상도와 다이내믹 레인지에 대해 부화소 단위의 움직임 정보와 상반칙 원리를 반영한 것이 도 5의 (a)에 도시된 영상 획득 과정 모델이다. 복원하고자 하는 와이드 다이내믹 레인지(WDR; Wide Dynamic Range)를 갖는 고해상도(HR; High Resolution) 영상(즉, HR/WDR 영상)이 L₁N₁×L₂N₂의 해상도를 가진다고 할 때, 이를 사전적 배열로 표현하면 아래 수학식 5의 (a)와 같다.

(a) X=[x₁, x₂, …, x_N]^T, 여기에서 N=L₁N₁×L₂N₂

(b) y_k=[y_k,1, y_k,2, …, y_k,M]^T, 여기에서 M=N₁×N₂

여기에서, X는 제한된 공간 주파수를 갖는 실제 장면을 나이퀴스트 주파수(nyquist frequency) 이상의 적정 주파수로 샘플링된 디지털 영상을 의미한다.

L₁과 L₂를 각각 저해상도 영상으로의 가로 방향과 세로 방향의 다운 샘플링 비율이라고 하면, 기록된 좁은 다이내믹 레인지(NDR; Narrow Dynamic Range)의 저해상도(LR; Low Resolution) 영상(LR/NDR 영상)은 N₁×N₂의 해상도를 갖게 된다. 또한, 이 영상들을 노출 시간으로 달리하여 총 p장을 기록한다고 할 때, △t_k의 노출 시간으로 기록된 k번째 영상을 사전적 배열로 기록하면 k=1, 2, …, p에 대해 수학식 5의 (b)와 같다.

기록이 진행되는 중에 HR/WDR 영상이 부화소 단위의 움직임과 열화 과정 외에 변화가 없다면 △t_k의 노출 시간으로 촬영된 k번째 LR/NDR 영상은 HR/WDR 영상으로부터 움직임(warping), 열화(blur)와 서브샘플링(subsampling)을 거친 후에 시스템의 응답 함수 f(·)을 거친 결과가 된다.

이때, 이미지 센서의 노출치(exposure value)는 이미지 센서에 입사한 광량 r과 노출 시간 △t로 주어진다는 상반칙 원리를 이용한다. 상반칙 원리는 예컨대 T. Tani가 "Theory and Mechanisms, Oxford University Press, 1995"를 통해 공개 한 "Photography Sensitivity"를 참조할 수 있다.

상반칙 원리에 따라서 기록된 영상의 화소값은 응답 함수 f(·)를 통해 노출치 r△t에 대해 이미지 센서의 광학 밀도가 양자화(quantization)된 값이다. 이 응답 함수 f(·)는 보통 허터-드리필드 곡선(hurter-driffield curve)으로 불리우며, 일반적으로 도 5의 (b)와 같이 s-형 곡선으로 주어진다. 여기에 양자화 과정에서 발생하는 양자화 오류를 고려하면 기록된 k번째 영상의 m번째 화소의 값은 k=1, 2, …, p과 m=1, 2, …, M에 대해 아래 수학식 6의 (1)와 같이 표현할 수 있다.

여기서, 가중치 w_k,m,n(s_k)는 HR/WDR 영상 X의 n번째 화소가 k번째 LR/NDR 영상의 m번째 화소에 미치는 영향을 나타내며, 벡터 s_k는 k번째 LR/NDR 영상이 HR/WDR 영상을 기준으로 어느 정도의 부화소 움직임을 가졌는가에 대한 부화소 단위의 움직임을 나타내는 파라미터이다. 또한, n^q _k,m은 k번째 LR/NDR 영상의 m번째 화소의 양 자화 오류이다.

수학식 6의 (1)의 모델링을 통해 HR/WDR 영상을 복원하기 위해서는 f(·)의 역함수가 필요하다. 이미지 센서의 응답 함수를 나타내는 비선형 함수 f(·)은 일반적으로 양자화 과정을 포함하기 때문에 단조 증가 함수임에도 불구하고 역함수가 존재하지 않는다. 따라서, f^-1(·)을 대신하여 디지털 이미지의 픽셀 값을 대응하는 양자화 구간의 중앙값으로 대응시켜 줄 함수가 필요로 하게 된다. 이러한 역할을 할 미분 가능한 단조 증가 함수를 역대응 함수 g(·)이라 가정하자.

이러한 역대응 함수의 정의를 수학식 5 (a)의 양변에 적용하여 테일러 전개를 이용하면 수학식 6의 (b)와 같이 다시 쓸 수 있다.

수학식 6의 (b) 가운데 g'(·)은 함수 g(·)의 1차 차분이며, 둘째 행의 근사치는 테일러 전개식 중 2차 이상의 고차항을 무시함으로써 얻을 수 있다. 또한, 기록된 LR/NDR 영상의 화소값 y_k,m에 비해 양자화 오류 n^q _k,m는 상대적으로 매우 작기 때문에 근사치를 얻을 수 있다. 여기서, n_k,m=g'(y_k,m)n^q _k,m이라 한다면 최종적으로 수학식 6의 (c)와 같이 쓸 수 있다.

이때, 양자화 오류 n^q _k,m가 평균이 0이고 분산이 σ² _q인 가우시안 랜덤 변수라는 일반적인 가정을 통해 n_k,m은 평균이 0이고 분산이 σ² _k,m=g'(y_k,m)·σ² _q인 가우시안 랜덤 변수가 된다.

이러한 사전 정보와 수학식 6의 (3)을 이용하여 본 발명 즉, 제안하는 다이내믹 레인지 및 공간 해상도 동시 향상 알고리즘은 오류를 최소화하기 위해 수학식 7과 같은 목적 함수를 최소화하는 g(·)와 X를 추정하는 문제로 귀결된다.

HR/WDR 영상을 복원하기 위해서는 역대응 함수 g(·)를 동시에 추정해야 한다. 따라서, 가우스-자이델 반복법(gauss-seidel iteration)을 사용하여 이 두가지를 동시에 추정한다. 가우스-자이델 반복법은 하나의 변수를 고정하고 다른 하나의 변수에 대해 목적 함수를 최소화시킨 후, 이를 만족하는 변수의 값을 산출하여 이를 고정하여 반대의 변수에 대해 목적 함수를 최소화하는 과정을 반복하는 방법이다.

먼저, 수학식 7을 최소화하는 X를 추정하기 위해 g(·)를 1차 함수로 고정하고, X에 대해 기울기 하강 탐색법(gradient descent)을 사용한다. i번째 반복 과정에서 추정된 Xⁱ의 n번째 화소는 아래 수학식 8의 (1)과 같다.

상기 수학식 8의 (1)에서 α는 고정된 값을 사용하거나 반복 과정 중에 적응적으로 바꾸어 사용할 수 있는 스텝 사이즈이고, x_n에 대한 O(X)의 편미분은 수학식 7로부터 상기 수학식 8의 (2)와 같이 유도된다.

이렇게 수학식 8의 (1)에 의해 추정된 X를 고정하고, 가우스-자이델 반복법에 근거하여 역대응 함수 g(·)를 구하기 위해 수학식 6의 (2)를 최소화하는 g(·)을 추정한다.

영상 시스템에서 화소의 밝기는 유한하기 때문에 g(·)의 추정은 이 유한한 값에 대응하는 양자화 구간의 중간값을 추정하는 과정이 되며, 수학식 7을 각 화소의 밝기에 따른 g(z)에 대해 편미분하면 밝기가 다른 화소에 의한 g(·)은 상수가 되고, 결과적으로 상기 수학식 8의 (3)을 얻을 수 있다.

이를 통해 O(X)를 최소화하는 g(z)는 아래 수학식 9와 같이 유도된다.

본 발명에 따라 제안하는 알고리즘(즉, 공간 해상도와 다이내믹 레인지를 동시에 향상시키는 알고리즘)은 이렇게 하여 하나의 반복 과정을 완성하게 되며, 이렇게 추정된 역대응 함수 g(·)를 고정하여 다시 HR/WDR 영상 X에 대한 기울기 하강 탐색 추정을 반복 수행한다.

복원 과정에서 HR/WDR 영상 X와 역대응 함수 g(·) 외의 변수들은 알고 있거나 사전에 추정되어야 한다. 추정된 g(·)는 예컨대 도 5의 (c)와 같다. 행렬 W_k는 HR 영상으로부터 LR 영상으로의 서브 샘플링 정보, 광학계 및 이미지 센서의 열화에 대한 점확산 함수(PSF; Point Spread Function), 부화소 단위의 움직임 정보를 포함하는 정보가 필요하며, 노출 시간인 △t_k에 대한 정보 역시 사전에 필요하다. 제안하는 알고리즘에서 이러한 변수들은 사전에 알고 있는 것으로 가정하여 HR/WDR 영상 X와 역대응 함수 g(·)를 복원한다.

다음으로, HR/WDR 영상 생성 장치(100)의 HR/WDR 영상 생성 방법을 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 HR/WDR 영상 생성 방법을 도시한 순서도이다. 이하 설명은 도 6을 참조한다.

먼저, 다중 영상 획득부(110)가 동일 영역에 대하여 적어도 두개의 영상(특 히, 노출이 다른 영상)을 획득한다(S600).

이후, 밝기 정도 통일부(120)가 획득한 영상들 간에 밝기 정도를 통일시킨다(S610). S610 단계는 구체적으로 영상 비교 모듈(122)이 획득된 영상들을 차례대로 기준 영상과 비교하며(S611), 밝기 보정 모듈(123)이 기준 영상과 밝기 정도가 일치하도록 획득된 각 영상의 밝기 정도를 보정함(S612)으로써 이루어진다.

이후, 공통 영역 추출부(130)가 밝기 보정된 각 영상들에서 공통 영역을 추출한다(S620). S620 단계는 블록 매칭 알고리즘 등을 적용시켜 영상에서 움직임 벡터를 추정함으로써 구현할 수 있다.

이후, 정렬부(140)가 각 영상에서 추출된 공통 영역 영상을 동일 단위의 물리량으로 정렬시킨다(S630).

이후, 부화소 단위 움직임 벡터 추정부(150)가 기준 영상으로부터 공통 영역으로 추출된 공통 영역 기준 영상을 이용하여 밝기 보정된 각 영상들로부터 공통 영역으로 추출된 공통 영역 영상의 부화소 단위 움직임 벡터를 추정한다(S640).

이후, 영상 화소 계산부(160)가 추정된 부화소 단위 움직임 벡터를 이용하여 HR/WDR 영상 생성을 위한 목적 영상(즉, LR/NDR 영상)의 화소값들을 계산한다(S650). 구체적으로, S650 단계는 다음과 같이 이루어진다. 제1 단계에서, 화소값 특정화 모듈(161)이 제1 변수인 목적 영상의 화소값을 상수값으로 특정한다(S651). 제2 단계에서, 응답 함수값 산출 모듈(162)이 특정된 목적 영상의 화소값을 고려하여 목적 함수를 최소화시키는 제2 변수인 응답 함수값을 산출한다(S652). 제3 단계에서, 화소값 산출 모듈(163)이 산출된 응답 함수값을 이용하여 상기 목적 함수를 최소화시키는 목적 영상의 화소값을 산출한다(S653).

이후, HR/WDR 영상 생성부(170)가 계산된 목적 영상의 화소값들을 수집하여 획득된 LR/NDR 영상들로부터 HR/WDR 영상을 생성한다(S660).

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 동일 영역에 대해 획득된 복수개의 영상들로부터 공통 영역을 추출하고 부화소 단위 움직임 정보(sub-pixel motion)를 추정하며 추정된 정보를 이 용하여 영상을 생성하는 영상 생성 방법과 그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 개시한다. 본 발명에 따르면, 복원 영상의 공간 해상도(spatial resolution)와 다이내믹 레인지(dynamic range)를 동시에 모두 향상시킬 수 있다. 또한, 복원 영상에 담겨진 정보의 손실을 감소시킬 수 있다.

오늘날 디지털 영상은 의료 분야(ex. 의료 영상 기기), 정보보안 분야(ex. 보안 카메라), 과학 연구분야 등의 전문 분야 뿐만 아니라 방송 시스템이나 가전 제품 등 실생활에 밀접한 부분에서도 많이 이용되고 있다. 그런데, 다양한 분야에서 고해상도이면서 넓은 다이내믹 레인지를 가지는 HR(High Resolution)/WDR(Wide Dynamic Range) 영상을 요구하고 있다. 그러나, 이를 위해서는 기존 영상 장치의 한계를 극복한 새로운 영상 장치의 개발이 필요하다. 본 발명은 기존 영상 장치를 이용하더라도 HR/WDR 영상을 생성할 수 있으므로, 영상 장치의 기능 향상이 필요하지 않다. 따라서, 디지털 영상을 이용하는 각 분야에서 많은 수요가 있을 것으로 기대된다.

도 1은 본 발명의 바람직한 실시예에 따른 HR/WDR 영상 생성 장치의 내부 구성을 개략적으로 도시한 개념도이고,

도 2는 본 발명의 바람직한 실시예에 따른 영상 촬영 모듈을 실제 구현한 사진이고,

도 3은 본 발명의 바람직한 실시예에 따른 공통 영역 추출부가 LR/NDR 영상들로부터 추출하는 공통 영역 영상의 일실시 예시도이고,

도 4는 공통 영역 추출부의 움직임 벡터 추정 방법과 부화소 단위 움직임 벡터 추정부의 부화소 단위 움직임 벡터 추정 방법을 비교한 도면이고,

도 5는 수학식 3과 수학식 4의 유도 과정을 설명하기 위한 참조도이고,

도 6은 본 발명의 바람직한 실시예에 따른 HR/WDR 영상 생성 방법을 도시한 순서도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100 : HR/WDR 영상 생성 장치 110 : 다중 영상 획득부

111 : 영상 촬영 모듈 112 : 영상 처리 모듈

120 : 밝기 정도 통일부 121 : 기준 영상 취득 모듈

122 : 영상 비교 모듈 123 : 밝기 보정 모듈

130 : 공통 영역 추출부 131 : 움직임 벡터 추정 모듈

132 : 공통 영역 추출 모듈 140 : 정렬부

150 : 부화소 단위 움직임 벡터 추정부 160 : 영상 화소 계산부

161 : 화소값 특정화 모듈 162 : 응답 함수값 산출 모듈

163 : 화소값 산출 모듈 170 : HR/WDR 영상 생성부

Claims (16)

1. (a) 동일 영역에 대한 영상들로부터 공통 영역을 추출하는 단계;

   (b) 기준 영상으로부터 상기 공통 영역에 해당하는 기준 영역을 추출하며, 상기 추출된 기준 영역과 비교하여 상기 추출된 공통 영역의 소정 방향으로의 움직임 벡터를 추정하는 단계; 및

   (c) 상기 영상을 획득하는 영상 획득 장치의 응답 함수(제1 변수) 또는 상기 추정된 움직임 벡터가 고려된 영상의 화소(제2 변수)를 특정값으로 가정하며, 가정되지 않은 변수의 값을 먼저 산출한 후 다른 변수의 값을 이어 산출하는 방법을 반복하여 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 단계

   를 포함하는 것을 특징으로 하는 영상 생성 방법.
2. 제 1 항에 있어서,

   상기 (c) 단계는,

   (ca) 상기 영상의 화소를 특정값으로 가정하는 단계;

   (cb) 상기 특정값으로 가정된 영상의 화소를 고려하여 양자화 잡음이 소거된 목적 함수를 최소화시키는 응답 함수를 산출하는 단계;

   (cc) 상기 산출된 응답 함수를 고려하여 상기 목적 함수를 최소화시키는 상기 영상의 화소를 산출하는 단계; 및

   (cd) 상기 산출된 영상의 화소를 토대로 상기 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 단계

   를 포함하는 것을 특징으로 하는 영상 생성 방법.
3. 제 1 항에 있어서,

   상기 (a) 단계는 상기 기준 영상과 동등하게 상기 동일 영역에 대한 영상들의 밝기를 보정한 후 상기 공통 영역 추출을 수행하는 것을 특징으로 하는 영상 생성 방법.
4. 제 1 항에 있어서,

   상기 (b) 단계는 상기 움직임 벡터로 부화소 단위의 움직임 벡터를 추정하는 것을 특징으로 하는 영상 생성 방법.
5. 제 2 항에 있어서,

   상기 (cc) 단계는 상기 영상의 화소를 산출할 때에 기울기 하강 탐색을 이용하는 것을 특징으로 하는 영상 생성 방법.
6. 제 1 항에 있어서,

   상기 (c) 단계는 상기 방법으로 가우스-자이델 반복법을 이용하는 것을 특징으로 하는 영상 생성 방법.
7. 제 1 항에 있어서,

   상기 (a) 단계는,

   (aa) 상기 동일 영역에 대한 영상들 중 하나인 제1 영상을 다른 하나인 제2 영상과 비교하며, 상기 비교로부터 상기 제1 영상의 움직임 벡터를 추정하는 단계; 및

   (ab) 상기 추정된 움직임 벡터를 고려하여 상기 공통 영역을 추출하는 단계

   를 포함하는 것을 특징으로 하는 영상 생성 방법.
8. 제 1 항에 있어서,

   상기 (a) 단계와 상기 (b) 단계의 중간 단계로 상기 추출된 공통 영역을 동일 단위의 물리량으로 정렬시키는 단계를 포함하는 것을 특징으로 하는 영상 생성 방법.
9. 제 1 항에 있어서,

   상기 (b) 단계는 상기 기준 영상으로 촬영 영상을 나이퀴스트 주파수 비율로 샘플링한 영상 또는 원 영상을 이용하는 것을 특징으로 하는 영상 생성 방법.
10. 제 3 항에 있어서,

    상기 (a) 단계는 밝기 보정 대상 영상의 각 화소에 상기 기준 영상의 평균 밝기값과 상기 밝기 보정 대상 영상의 평균 밝기값의 차를 가산하여 상기 동일 영 역에 대한 영상들의 밝기를 보정하는 것을 특징으로 하는 영상 생성 방법.
11. 제 1 항에 있어서,

    상기 (a) 단계는 상기 공통 영역 추출에 선행하여 (a') 촬영을 통해 상기 동일 영역에 대한 영상들을 획득하는 단계, (a'') 미리 정해진 영상으로 상기 동일 영역에 대한 영상들을 획득하는 단계, 및 (a''') 촬영시 노출을 다르게 하여 상기 동일 영역에 대한 영상들을 획득하는 단계 중 어느 한 단계를 수행하는 것을 특징으로 하는 영상 생성 방법.
12. 컴퓨터로 판독 가능한 기록매체에 있어서,

    제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.
13. 동일 영역에 대한 영상들로부터 공통 영역을 추출하는 공통 영역 추출부;

    기준 영상으로부터 상기 공통 영역에 해당하는 기준 영역을 추출하며, 상기 추출된 기준 영역과 비교하여 상기 추출된 공통 영역의 소정 방향으로의 움직임 벡터를 추정하는 움직임 벡터 추정부; 및

    상기 영상을 획득하는 영상 획득 장치의 응답 함수(제1 변수) 또는 상기 추정된 움직임 벡터가 고려된 영상의 화소(제2 변수)를 특정값으로 가정하며, 가정되지 않은 변수의 값을 먼저 산출한 후 다른 변수의 값을 이어 산출하는 방법을 반복 하여 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 영상 생성부

    를 포함하는 것을 특징으로 하는 영상 생성 장치.
14. 제 13 항에 있어서,

    상기 영상 생성부는,

    상기 영상의 화소를 특정값으로 가정하는 화소 특정 모듈;

    상기 특정값으로 가정된 영상의 화소를 고려하여 양자화 잡음이 소거된 목적 함수를 최소화시키는 응답 함수를 산출하는 응답 함수 산출 모듈;

    상기 산출된 응답 함수를 고려하여 상기 목적 함수를 최소화시키는 상기 영상의 화소를 산출하는 화소 산출 모듈; 및

    상기 산출된 영상의 화소를 토대로 상기 해상도와 다이내믹 레인지가 모두 기준값 이상인 영상을 생성하는 영상 생성 모듈

    을 포함하는 것을 특징으로 하는 영상 생성 장치.
15. 제 13 항에 있어서,

    상기 기준 영상과 동등하게 상기 동일 영역에 대한 영상들의 밝기를 보정하는 밝기 보정부

    를 더 포함하는 것을 특징으로 하는 영상 생성 장치.
16. 제 13 항에 있어서,

    상기 추출된 공통 영역을 동일 단위의 물리량으로 정렬시키는 정렬부

    를 더 포함하는 것을 특징으로 하는 영상 생성 장치.

Images