KR101404654B1 - 초점평면배열 적외선 카메라의 영상 불균일 보정 방법 - Google Patents

Abstract

초점평면배열 적외선 카메라의 영상 불균일 보정 방법이 개시된다. 본 발명의 실시예들에 의하면, 영상정합을 통해 획득한 잔차(residual)를 이용한 최적화 방식을 사용함으로써 보정 파라미터의 수렴 속도가 빨라지고, 영상정합에 의해 얻어진 이미지 와핑(image warping)의 파라미터를 사용하여 잔차(residual)를 산출하고 보정 파라미터의 업데이트 과정을 반복 수행함으로써, 높은 신호대 잡음비(SNR : Signal to Noise Ratio)와 수렴 안정성(convergence stability)이 얻을 수 있다.

Description

초점평면배열 적외선 카메라의 영상 불균일 보정 방법{CORRECTION METHOD OF THE SCENE-BASED NON-UNIFORMITY FOR THE FOCAL-PLANE ARRAYS INFRARED CAMERA}

본 발명은 고정패턴잡음을 제거하기 위한 초점평면배열 적외선 카메라의 영상 불균일 보정 방법에 관한 것이다.

일반적으로, 적외선 카메라는 영상의 각 픽셀을 검출하기 위한 이차원 배열 형태로 이루어진 검출기들을 구비한다.

이와 같은 검출기들의 특성은 균일하지 않은데, 예를 들어, 영상 기반 오프셋 초점평면배열(focal plane arrays, FPA) 방식을 사용하는 적외선 카메라는 각 검출기들의 특성에 따른 불균일(non-uniformity) 때문에 고정패턴잡음(fixed pattern noise, FPN)을 필연적으로 발생시킨다. 이러한 고정패턴잡음은 각 검출기 간의 특성 차이에 기인하기도 하고, 운용에 따라 각 검출기 자체의 특성 변화에 기인하기도 한다.

이러한 고정패턴잡음은, 제품단계에서 정밀한 제조공정 과정을 거치더라도 완전히 제거되기가 어렵고, 더욱이 시간에 따라서 변하기 때문에 열영상의 화질저하를 발생시키는 주된 원인이 된다.

이와 같은, 고정패턴잡음을 제거하기 위한 다양한 방법들이 연구되고 있는데, 크게는 참조물체기반의 기법과 영상기반의 기법으로 분류된다.

이중, 참조물체기반의 기법은 매크로 블럭 기반의 반복적 패딩(Repetitive Padding)방법을 적용한다. 여기서, 반복적 패딩방법은 물체정보 바깥 영역에 속한 휘도정보와 색도정보의 값들을 정의하는 방법이다.

한편, 영상기반의 불균일 보정 기법(scene-based non-uniformity correction, SBNUC)은 불균일 보정(non-uniformity correction, NUC)을 위한 별도의 하드웨어 구성이 필요 없고, 촬영 중에 영상의 끊김이 발생하지 않는 편의성 때문에 더욱 활발히 연구되고 있다. 특히 인접 프레임 간의 영상정합(registration)을 이용한 알고리즘은 영상기반의 불균일 보정 기법 중에서 가장 우수한 보정 결과를 제공하는 것으로 알려져 있다.

그러나, 이와 같은 영상정합을 이용한 불균일 보정 기법은 고정패턴잡음을 일으키는 각 검출기의 이득(gain)과 오프셋(offset)이 시간에 따라 변하는 것에 기따른 확률적 특성 때문에 일반적으로 스토캐스틱 프로세스(stochastic process)에 기반한 프레임 단위의 보정 파라미터를 업데이트해야하고, 수렴 안정성(convergence stability)을 보장받기 위하여 매우 작은 학습률(learning rate)을 사용할 수밖에 없는 단점이 있다. 즉, 만족할 만한 수준의 불균일 보정의 결과를 얻기 위해서는 많은 프레임이 소요되는 문제가 있었다.

이에, 본 발명의 실시예들은, 영상기반의 불균일 보정 기법에서 영상정합을 통해 획득한 잔차(residual)를 이용한 최적화 방식을 사용함으로써 영상보정을 위한 프레임의 사용이 최소가 되도록 한 초점평면배열 적외선 카메라의 영상 불균일 보정 방법을 제공하는데 그 목적이 있다.

본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법은, 보정 파라미터를 사용하여 인접한 영상 프레임에 대한 초기 불균일 보정을 수행하는 제1과정과; 불균일 보정된 인접한 영상 프레임을 정합하여 얻어진 이미지 와핑 파라미터를 사용하여 움직임 보상을 수행하는 제2과정과; 움직임 보상의 결과 및 불균일 보정된 인접한 영상 프레임간의 차이를 산출하여 잔차(residual)를 획득하는 제3과정과; 획득된 잔차(residual)에 근거하여 상기 보정 파라미터를 업데이트하는 제4과정과; 기설정된 조건을 만족할 때까지, 상기 제1과정 내지 제4과정를 반복하는 제5과정을 포함하여 이루어진다.

일 실시예에서, 상기 기설정된 조건은 기설정된 수렴 조건 및 기설정된 반복횟수 중 어느 하나인 것을 특징으로 한다.

일 실시예에서, 상기 기설정된 수렴 조건의 이하의 식에 의하여 산출되며,

여기서, Xn이 n번째 프레임의 참 방사조도(true irradiance)인 경우에

은 n번째 프레임을 k번 반복하여 불균일 보정한 결과이고, (i,j)는 해당 프레임에서의 픽셀 위치를 나타내는 것을 특징으로 한다.

일 실시예에서, 상기 제3단계는, 움직임 정보가 없는 비중첩 픽셀(non-overlapped pixel)을 제외시키기 위해, 재정의된 마스크(rmask)를 상기 잔차에 적용하는 단계를 포함하는 것을 특징으로 한다.

따라서, 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법에 의하면, 영상정합을 통해 획득한 잔차(residual)를 이용한 최적화 방식을 사용함으로써 보정 파라미터의 수렴 속도를 빨라지는 효과가 있다.

또한, 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법에 의하면, 영상정합에 의해 얻어진 이미지 와핑(image warping)의 파라미터를 사용하여 잔차(residual)를 산출하고 보정 파라미터의 업데이트 과정을 반복 수행함으로써, 높은 신호대 잡음비(SNR : Signal to Noise Ratio)를 확보 수 있고 영상의 경계부위에서의 번짐(blurring)도 거의 발생하지 않는 수렴 안정성(convergence stability)이 얻을 수 있다.

도 1은 본 발명의 실시예에 따라, 적외선 카메라를 통해 획득된 영상에서 영상기반의 불균일 보정 기법 수행시 프레임 내 최적화 방식을 사용한 예시 형태를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법의 예시 흐름도이다.
도 3은 본 발명의 실시예에 따라, 도 2의 최적화 방식을 설명하기 위한 예시 흐름도이다.
도 4는 본 발명의 실시예에 따라, 최적화 방식의 반복 연산시 비중첩 픽셀들(non-overlap pixel)이 확산(propagation)되는 현상을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법과 기존 보정 방법의 성능을 비교한 그래프이다.

이하에서는, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법에 대해 보다 상세하게 설명하기로 한다. 본 발명을 설명하는데 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략하는 것으로 한다.

먼저, 도 1 및 도 2를 참조하여, 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법을 상세하게 기술한다.

도 1은 본 발명의 실시예에 따라, 적외선 카메라를 통해 획득된 영상에서 영상기반의 불균일 보정 기법 수행시 프레임 내 최적화 방식을 사용한 예시 형태를 도시한 것이고, 도 2는 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법의 예시 흐름도이다.

본 발명에 따른 실시예에서, 적외선 카메라는 예를 들어, 가로 또는 세로의 지그재그 방향으로 움직이면서 촬영대상을 스캔한다. 이와 같이 적외선 카메라를 구동시킴으로써, 환경에 따라 다른 명도차를 극복할 수 있다. 즉, 적외선 카메라의 각 검출기를 넓은 영역에서 스캔하도록 하되 유사한 경로(path)를 거치면서 스캔하도록 하여 균일한 평균 영상을 얻도록 하기 위함이다. 이와 같이 적외선 카메라의 각 검출기들이 동일 또는 유사한 경로를 통해 스캔하게 되면 출력값의 분포가 유사하게 출력된다.

이와 같은 스캔작업을 통해 획득된 영상에 대한 불균일 보정은 이하에 기술된 과정을 통해서 이루어진다.

도 2를 참조하면, 먼저, 보정 파라미터를 사용하여 인접한 영상 프레임에 대한 초기 불균일 보정을 수행한다(S210).

이와 같이, 불균일 보정된 인접한 영상 프레임을 정합하여 이미지 와핑(image warpping) 파라미터를 획득하고, 획득된 이미지 와핑 파라미터를 사용하여 움직임 보상을 수행한다(S220). 여기에서, 이미지 와핑(image warpping)이란 예를 들어 이미지가 투영되는 면을 변화시키는 것을 의미한다. 그리고 이미지 와핑 파라미터는 이미지 와핑을 위해 적용되는 변수를 의미한다.

그런 다음, 움직임 보상의 결과와 불균일 보정된 인접한 영상 프레임간의 차이를 산출하여 잔차(residual)를 획득한다(S230).

이와 같이 획득된 잔차(residual)에 근거하여 상기 보정 파라미터를 업데이트한다(S240).

즉, 획득된 잔차를 이용하여 이득(gain)과 오프셋(off-set)의 보정 파라미터를 산출하고, 산출된 보정 파라미터를 업데이트한다. 기존의 스토캐스틱 프로세스(stochastic process)에 기반한 불균일 보정은 보정 파라미터 업데이트시 잔차(residual)의 일부분만을 프레임 단위로 수용하기 때문에 수렴 안정성은 보장되더라도 만족할만한 수준의 고정패턴잡음을 제거하기까지 많은 수의 프레임(예를 들어, 100장)요구되어서 수렴 속도는 느렸었다. 본 발명에 따른 실시예에서는 획득된 잔차(residual)에 근거하여 보정 파라미터를 업데이트하도록 구현함으로써 빠른 수렴이 가능하고 신호대 잡음비가 향상된다.

일 실시예에서는 움직임 정보가 없는 비중첩 픽셀(non-overlapped pixel)을 제외시키기 위하여, 상기 잔차에 재정의된 마스크(rmask)를 적용하여서 보정 파라미터를 업데이트 한다. 다시 말해서, 움직임 정보가 없는 비중첩 픽셀들은 보정 파라미터 계산 과정에서 제외되어야하는데, 이하에 기술되는 바와 같은 과정의 반복으로 인해 생길 수 있는 비중첩 픽셀들의 확산(propagation)을 방지하기 위하여, 본 발명에 따른 실시예에서는 과정을 반복할 때마다 잔차(residual)를 재정의(redefined) 하는 마스크(mask) 기법을 사용한다.

이와 같이 보정 파라미터가 업데이트되면, 기설정된 조건을 만족하는지를 판단하고(S250), 기설정된 조건을 만족하지 않으면 상기한 과정들(S210 내지 S240)을 반복적으로 수행한다. 도 1을 참조하면 알 수 있듯이, 프레임 내 최적화 기법은 임의의 횟수만큼 그리고/또는 임의의 프레임에서 사용될 수 있다.

이와 같이 과정들의 반복을 통해 이루어지는 최적화 기법의 일 예로는, 기울기하강기법(gradient descent)이 있다. 기울기하강기법은 현재의 위치에서 기울기(또는 근사 기울기, approximate gradient)에 비례하여 단계적으로 함수의 최소 또는 최대에 접근하는 점근적인 언덕 오르기(hill climbing) 알고리즘을 적용하여 보정 파라미터를 업데이트 하는 것이다.

여기에서, 기설정된 조건은 기설정된 수렴 조건 및 기설정된 반복횟수 중 어느 하나를 가리킨다.

예를 들어, 획득된 잔차(residual)의 크기를 최소화하는 보정 파라미터를 구하기 위하여 적합한 크기의 스텝크기(stepsize)를 사용하고, 기설정된 수렴조건 또는 기설정된 반복횟수를 만족할 때까지 초기 불균일 보정, 움직임 보상(motion compensation), 잔차(residual)획득, 그리고 보정 파라미터 업데이트의 과정을 반복한다.

기설정된 조건이 수렴 조건인 경우에는 다음의 수학식에 의하여 조건의 만족 여부를 판단한다.

여기서, Xn이 n번째 프레임의 참 방사조도(true irradiance)인 경우에

은 n번째 프레임을 k번 반복하여 불균일 보정한 결과이다. 그리고, (i,j)는 해당 프레임에서의 픽셀 위치를 나타낸다.

한편, 단계(S250)에서의 판단 결과, 기설정된 조건을 만족하면 종료된다.

도 3은 도 2의 최적화 방식을 설명하기 위한 예시 흐름도를 나타낸 것이다. 도 3을 참조하면, 고정패턴잡음이 제거되지 않은 인접한 프레임을 이득(gain)과 오프셋(off-set)으로 이루어진 이전 보정 파라미터 값을 사용하여서 초기 불균일 보정를 수행한다(영상 보정).

그런 다음, 초기 불균일 보정된 두 인접 프레임으로 영상정합을 수행하여 이미지 와핑(image warping) 파라미터를 구하고, 이로부터 움직임 보상을 수행한다(움직임 보상). 이와 같은 움직임 보상 결과와 참조 프레임 간의 차이를 계산하여 잔차(residual)가 획득되면(잔차 획득), 상기한 최적화 기법과 재정의 마스크(mask)를 사용하여 보정 파라미터를 업데이트 한다(보정 파라미터 업데이트).

그런 다음, 보정 파라미터의 최적화를 위해서 상기한 영상 보정, 움직임 보상, 잔차 획득, 그리고 보정 파라미터 업데이트를 기설정된 수렴 조건을 만족하거나 소정의 횟수에 도달할 때까지 반복한다.

도 4는 본 발명의 실시예에 따라, 최적화 방식의 반복 연산시 비중첩 픽셀들(non-overlap pixel)이 확산(propagation)되는 현상을 설명하기 위한 도면이다.

도 4에서, d는 카메라가 움직인 양이고, w와 b는 불균일 보정에 사용되는 보정 파라미터들이다. 또한, 상기한 최적화 기법의 과정들을 반복할수록 고정패턴잡음(FPN)에 의하여 바람직하지 않은 잔차(undesirable residual)가 보정 파라미터 계산 시에 포함될 수 있으므로 재정의 마스크 기법을 사용하여 잔차(residual)를 산출한다.

도 5는 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법의 적용시 기존 보정 방법에 의한 경우와의 성능을 비교한 그래프이다. 도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법을 사용하면, 기존 프레임 단위 학습방식보다 더 적은 프레임으로 우수한 성능이 도출될 수 있음을 알 수 있다.

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되고 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 범위에 의해 정해져야 한다.

이상에서와 설명한 바와 같이, 본 발명의 실시예에 따른 초점평면배열 적외선 카메라의 영상 불균일 보정 방법에 의하면, 영상정합을 통해 획득한 잔차(residual)를 이용한 최적화 방식을 사용함으로써 보정 파라미터의 수렴 속도가 빨라지고, 영상정합에 의해 얻어진 이미지 와핑(image warping)의 파라미터를 사용하여 잔차(residual)를 산출하고 보정 파라미터의 업데이트 과정을 반복 수행함으로써, 높은 신호대 잡음비(SNR : Signal to Noise Ratio)와 수렴 안정성(convergence stability)이 얻을 수 있다.

Claims (4)

1. 보정 파라미터를 사용하여 인접한 영상 프레임에 대한 초기 불균일 보정을 수행하는 제1과정;
   불균일 보정된 인접한 영상 프레임을 정합하여 얻어진 이미지 와핑 파라미터를 사용하여 움직임 보상을 수행하는 제2과정;
   움직임 보상의 결과 및 불균일 보정된 인접한 영상 프레임간의 차이를 산출하여 잔차(residual)를 획득하는 제3과정;
   획득된 잔차(residual)에 근거하여 상기 보정 파라미터를 업데이트하는 제4과정; 및
   상기 업데이트의 결과가 기설정된 조건을 만족할 때까지, 상기 제1과정 내지 제4과정를 반복하는 제5과정을 포함하는 것을 특징으로 하는 초점평면배열 적외선 카메라의 영상 불균일 보정 방법.
2. 제 1 항에 있어서,
   상기 기설정된 조건은 기설정된 수렴 조건 및 기설정된 반복횟수 중 어느 하나인 것을 특징으로 하는 초점평면배열 적외선 카메라의 영상 불균일 보정 방법.
3. 제 2 항에 있어서,
   상기 기설정된 수렴 조건은 이하의 식에 의하여 산출되며,
   

   

   
   여기서, Xn이 n번째 프레임의 참 방사조도(true irradiance)인 경우에

   

   은 n번째 프레임을 k번 반복하여 불균일 보정한 결과이고, (i,j)는 해당 프레임에서의 픽셀 위치를 나타내는 것을 특징으로 하는 초점평면배열 적외선 카메라의 영상 불균일 보정 방법.
4. 제 1 항에 있어서,
   제3과정은,
   움직임 정보가 없는 비중첩 픽셀(non-overlapped pixel)을 제외시키기 위해, 재정의된 마스크(rmask)를 상기 잔차에 적용하는 단계를 포함하는 것을 특징으로 하는 초점평면배열 적외선 카메라의 영상 불균일 보정 방법.

Images