KR101482637B1

KR101482637B1 - 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법

Info

Publication number: KR101482637B1
Application number: KR20140012506A
Authority: KR
Inventors: 곽동민; 양동원; 이용헌; 송천호
Original assignee: 국방과학연구소
Priority date: 2014-02-04
Filing date: 2014-02-04
Publication date: 2015-01-16

Abstract

본 발명의 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법은 다중 광학시스템의 광학모듈 온도값을 실시간 계측하여 실측 온도(t)가 검출되고, 실측 온도(t)에 일치되는 온도 값이 오프라인 온도검출값으로 구축된 LP(Look Up)테이블에서 찾아진 후, 실측 온도(t)와 오프라인 온도검출값으로 선형보간법을 적용하여 광축별 시계값이 산출되며, 광축별 시계값으로 기준 광축 시계와 배율 결정되면, 좌표계의 원점을 영상의 센터로 한 스케일변환 방식 적용되어져 기준 광축 시계와 배율일치영상의 변환으로 시계편차 보정 영상 획득이 완료되고, 이로부터 사용 시 노출환경에서 내부 렌즈모듈의 계측된 온도 값에 따라 영상처리 소프트웨어방식으로 비열화 보상을 하는 다중 광학시스템의 융합영상처리에서 요구되는 온도변화에 따른 영상 간 시계편차 보정이 자동으로 이루어지는 특징을 갖는다.

Description

다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법{Method for field of view deviation compensation according to temperature change of mult-band athermalization optic system}

본 발명은 다중대역 비열화보상 광학시스템에 관한 것으로, 특히 비열화 보상을 하는 다중 광학시스템의 융합영상처리에서 요구되는 온도변화에 따른 영상 간 시계편차 보정을 자동화한 방법에 관한 것이다.

일반적으로 별도의 광축을 가지는 광학계가 적용된 다축 광학 카메라 기반의 광학시스템은 영상융합 처리를 위해 각 광축을 통해 획득된 영상 간의 화소단위의 정밀한 기하학적 정렬 과정이 필수적으로 요구된다.

최근 들어서 광학시스템을 활용하여 가시광선, 적외선 등의 다중대역 영상을 융합하여 처리하는 기술이 활용되고 있다.

이러한 광학시스템중 적외선 광학장비에는 적외선 대역의 투과율 특성이 좋은 금속성 재질을 사용한 렌즈가 적용된다. 이로 인해 적외선 광학장비에는 렌즈의 곡률, 두께, 굴절율의 변화가 야기되는 온도차 영향을 보상하는 기능이 더 포함된다.

온도차 영향을 보상하는 방식의 예로서, 사용자가 직접 초점 조절렌즈를 선택하여 수동으로 렌즈 사이의 간격을 조절하거나 또는 전자적인 조절 메커니즘을 적용하는 비열화보상(athermalization)이 있다.

그러므로, 적외선 광학장비에서는 투과율 특성이 좋은 렌즈의 장점을 활용한 선명한 영상이 획득될 수 있다.

국내등록특허 10-1127905(2012년03월12일)

하지만, 서로 다른 렌즈군을 사용하는 다중대역 광학시스템의 경우에는 초점거리의 변화가 서로 다르게 발생하고, 이는 비열화보상 결과로 인한 시계변화가 서로 상이하게 나타나는 한 원인으로 작용된다. 이를 해소하려면, 영상매칭 등을 통해 시계(Field of View)가 서로 틀어지는 현상을 보상해주어야 만 한다.

그러므로, 다중대역 영상의 융합처리를 위한 광학시스템에서는 영상매칭 등을 통한 시계보상 과정이 별도로 필요할 수밖에 없다.

그러나, 영상매칭 등을 통한 시계보상 과정은 가시광과 적외선과 같이 영상 내의 특징이 유사하지 않은 이종 영상일 경우, 영상처리를 통한 매칭과정의 어려움이 상당하고 특히 실시간 처리에 한계가 있게 된다.

이에 상기와 같은 점을 감안한 본 발명은 사용 시 노출환경에서 내부 렌즈모듈의 계측된 온도 값에 따라 영상처리 소프트웨어방식으로 모든 광학 시스템의 시계가 기준 시계와 동일하도록 보정됨으로써 비열화 보상을 하는 다중 광학시스템의 융합영상처리에서 요구되는 온도변화에 따른 영상 간 시계편차 보정이 자동으로 이루어지는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법의 제공에 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법은 (A) 다중 광학시스템의 광학모듈 온도값을 실시간 계측하여 실측 온도(t)가 검출되고, 상기 실측 온도(t)에 일치되는 온도 값이 오프라인 온도검출값으로 구축된 LP(Look Up)테이블에서 찾아진 후, 상기 실측 온도(t)와 상기 오프라인 온도검출값으로 선형보간법을 적용하여 광축별 시계값이 산출되며; (B) 상기 광축별 시계값으로 기준 광축 시계와 배율 결정되면, 좌표계의 원점을 영상의 센터로 한 스케일변환 방식 적용되어져 상기 기준 광축 시계와 배율일치영상의 변환이 이루어지고; (C) 상기 기준 광축 시계와 배율일치영상의 변환이 완료된 상태에서 영상화질의 개선이 요구되지 않을 때 시계편차 보정 영상 획득이 완료되는 것을 특징으로 한다.

상기 (A)단계에서, 상기 광축별 시계값의 정밀도 향상 필요 시 온도구간 가변 또는 비선형보간법이 적용되고, 이로부터 상기 광축별 시계값이 다시 산출된다. 상기 (B) 단계에서, 상기 스케일변환 방식에는 영상 좌표값, 기준광축 시계값, 연관된 광축 시계값이 이용된다. 상기 (C)단계에서, 상기 영상화질 개선은 역변환 행렬을 이용한 최근접화소법, 선형보간법, bicubic 중 어느 하나가 적용된다.

상기 온도값의 실시간 계측은 상기 광학모듈에 설치된 온도센서로 이루어진다.

상기 LP(Look Up) 테이블은 상기 다중 광학시스템에 대해 오프라인에서 온도 구간별 시계변화 값에 대한 사전시험이 수행되어 구축된다.

이러한 본 발명은 사용파장이 다른 다축 광학계에 대한 비열화에 따른 시계보상이 온도 검출로 구현됨으로써 다중대역 비열화보상 광학시스템에서 별도의 시계보상을 위한 전처리과정 없이 영상융합처리가 이루어지는 효과가 있다.

또한, 본 발명은 사용파장이 다른 다축 광학계에 대한 비열화에 따른 시계보상이 영상처리 소프트웨어방식으로 수행됨으로써 다중대역 비열화보상 광학시스템에서 실시간처리와 함께 높은 신뢰도로 영상정합이 가능한 효과가 있다.

도 1은 본 발명에 따른 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법의 동작흐름이며, 도 2는 본 발명에 따른 온도변화에 따른 시계편차 보정 방법이 적용되는 다 광축의 예이고, 도 3은 본 발명에 따른 시계편차 보정 방법에서 선형보간법 적용을 위한 Look-up 테이블의 예이다.

이하 본 발명의 실시예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않는다.

도 1은 본 발명에 따른 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법의 동작흐름을 나타낸다.

S10과 같이 다중 광학시스템이 영상융합처리를 실행하면, S20과 같이 다중 광학시스템에서는 광학모듈 온도값이 실시간 계측이 이루어지고, S30과 같이 계측된 온도 값에 대해 Look Up 테이블(오프라인 계측값)을 이용한 선형보간법이 수행됨으로써 S40과 같이 실측 온도(t)에서 광축별 시계값이 산출된다.

하지만, 광축별 시계값이 산출되고 나면, S50과 같이 선형보간법으로 획득된 광축별 시계값의 정밀도 향상 필요성이 판단된다. 그러면 S50-1과 같이 온도구간 가변 또는 비선형보간법이 적용될 수 있다. 반면, 선형보간법에 의한 결과가 만족될 경우 S50-1의 온도구간 가변 또는 비선형보간법은 적용되지 않는다.

S60은 기준 광축 시계와 배율 결정이 확립된 상태이다.

이어, S70과 같이 좌표계의 원점을 영상의 센터로 한 스케일변환 방식 적용함으로써 기준 광축 시계와 배율일치영상의 변환이 이루어진다. 이때, 영상 좌표값, 기준광축 시계값, 연관된 광축 시계값등이 이용된다.

이후, S80과 같이 기준 광축 시계와 배율일치영상의 변환이 완료되고 나면, S90과 같이 시계편차 보정 영상이 획득된다.

하지만, 시계편차 보정 영상이 획득되고 나면, S100과 같이 스케일변환 방식으로 획득된 영상화질의 개선에 대한 필요성이 판단된다. 그러면 S100-1과 같이 역변환 행렬을 이용한 최근접화소법, 선형보간법, bicubic 중 어느 하나가 적용될 수 있다. 반면, 선형보간법에 의한 결과가 만족될 경우 S50-1의 온도구간 가변 또는 비선형보간법은 적용되지 않는다.

그러면, 모든 절차가 완료됨으로써 S200과 같이 영상융합처리가 완료된다.

한편, 도 2와 도 3은 본 발명의 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법의 실시예를 나타낸다.

도 2와 같이, 다중 광학시스템에는 광학 모듈이 포함되고, 상기 광학 모듈은 초점렌즈(1), 연결렌즈(2), 대물렌즈(3)가 포함되고, 대물렌즈(3)의 뒤쪽으로 연결렌즈(2)와 초점렌즈(1)가 순차 배열되며, 초점렌즈(1)가 연결렌즈(2)에 대한 거리 조절이 이루어짐으로써 초점 조절이 이루어지는 다 광축(10-1,10-2,...,10n)으로 구성된다.

이에 더하여, 다중 광학시스템에는 온도 센서가 더 포함되고, 상기 온도 센서는 다 광축 렌즈의 내부 온도를 검출하여 다중 광학시스템의 영상융합처리부로 제공하여 준다. 이러한 구성은 통상적인 구성이 적용된다.

도 3과 같이, 다중 광학시스템에 적용되는 LP(Look Up) 테이블(오프라인 계측값)은 특정한 다중 광학시스템에 대해 오프라인에서 온도 구간별 시스템의 시계변화 값에 대한 사전시험이 수행되고, 이로부터 다축광학계의 시계변화 값을 측정하여 실시될 수 있다.

그러므로, 도2와 도 3을 적용해 이루어지는 시계보정 실시예는 다음과 같이 수행된다.

먼저, 광학시스템 내부의 광학모듈에 장착된 온도센서에서 실시간으로 온도값을 계측하면, 계측된 온도값에 해당하는 온도에서의 시계값을 미리 계측해 둔 Look Up 테이블에서 찾아 영상처리를 하고, 이를 통해 기준이 되는 광축의 시계와 배율이 일치하도록 영상크기를 변환함으로써 시계편차가 보상된다. 그러므로, 이러한 과정이 필요한 주기로 반복 수행되면, 결국 시계편차를 보상한 영상이 획득될 수 있다.

본 실시예에서, 이러한 과정에 다음의 수학식 1과 수학식 2가 적용된다.

[수학식 1]

[수학식 1]에서,

는 시계변환 영상처리에 의해 옮겨지는 새로운 영상의 좌표값을 나타내고,

와

는 각각 현재 광학계 주변 온도에서의 다중광학장치의 기준광축의 시계값과 기준광축과 시계를 일치시킬 다른 광축의 시계값을 나타낸다. 이때, 광축의 센터가 영상의 센터가 되므로 좌표계의 원점을 영상의 센터로 하여 계산하게 된다.

그러므로, [수학식 1]은 영상처리에서 스케일변환을 하는 일반적인 수식에 해당되며, 디지털 영상처리에서 소수점 계산에 의해 발생되는 에러를 줄이기 위해서, 역변환 행렬을 이용한 최근접화소법, 선형보간법, bicubic 등의 개선된 방법을 적용하여 영상의 화질을 개선하는 방법들이 적용될 수 있다.

한편, [수학식 1]에서 사용하는 온도(

) 에서의 시계값(

)은 다음의 [수학식 2]를 적용한다. 여기서, [수학식 2]는 오프라인 계측값의 Look Up 테이블은 매온도 단위로 구성하기 여려워 실측온도 온도에서의 시계값이 보간법으로 산출됨을 나타낸다.

[수학식 2]

[수학식 2]에서,

는 현재 시스템의 계측된 온도이고,

은 Look-up 테이블에서 온도

이 속하는 구간의 최소 온도값이며,

는 Look-up 테이블에서 온도

이 속하는 구간의 최대 온도값을 나타낸다.

이때, [수학식 2]는 선형보간에 대한 실시예로 적용되었으나, 정밀도 향상을 위해 Look Up 테이블의 온도구간 가변 또는 비선형보간법이 적용될 수 있다.

전술된 바와 같이, 본 실시예에 따른 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법은 다중 광학시스템의 광학모듈 온도값을 실시간 계측하여 실측 온도(t)가 검출되고, 실측 온도(t)에 일치되는 온도 값이 오프라인 온도검출값으로 구축된 LP(Look Up)테이블에서 찾아진 후, 실측 온도(t)와 오프라인 온도검출값으로 선형보간법을 적용하여 광축별 시계값이 산출되며, 광축별 시계값으로 기준 광축 시계와 배율 결정되면, 좌표계의 원점을 영상의 센터로 한 스케일변환 방식 적용되어져 기준 광축 시계와 배율일치영상의 변환으로 시계편차 보정 영상 획득이 완료되고, 이로부터 사용 시 노출환경에서 내부 렌즈모듈의 계측된 온도 값에 따라 영상처리 소프트웨어방식으로 비열화 보상을 하는 다중 광학시스템의 융합영상처리에서 요구되는 온도변화에 따른 영상 간 시계편차 보정이 자동으로 이루어질 수 있다.

1 : 초점렌즈 2 : 연결렌즈
3 : 대물렌즈
10-1,10-2,...,10n : 제1,2,...,n광축

Claims

(A) 다중 광학시스템의 광학모듈 온도값을 실시간 계측하여 실측 온도(t)가 검출되고, 상기 실측 온도(t)에 일치되는 온도 값이 오프라인 온도검출값으로 구축된 LP(Look Up)테이블에서 찾아진 후, 상기 실측 온도(t)와 상기 오프라인 온도검출값으로 선형보간법을 적용하여 광축별 시계값이 산출되며;
(B) 상기 광축별 시계값으로 기준 광축 시계와 배율 결정되면, 좌표계의 원점을 영상의 센터로 한 스케일변환 방식 적용되어져 상기 기준 광축 시계와 배율일치영상의 변환이 이루어지고;
(C) 상기 기준 광축 시계와 배율일치영상의 변환이 완료된 상태에서 영상화질의 개선이 요구되지 않을 때 시계편차 보정 영상 획득이 완료
되는 것을 특징으로 하는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법.
청구항 1에 있어서, 상기 (A)단계에서, 상기 광축별 시계값의 정밀도 향상 필요 시 온도구간 가변 또는 비선형보간법이 적용되고, 이로부터 상기 광축별 시계값이 다시 산출되는 것을 특징으로 하는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법.
청구항 1에 있어서, 상기 (B) 단계에서, 상기 스케일변환 방식에는 영상 좌표값, 기준광축 시계값, 연관된 광축 시계값이 이용되는 것을 특징으로 하는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법.
청구항 1에 있어서, 상기 (C)단계에서, 상기 영상화질 개선은 역변환 행렬을 이용한 최근접화소법, 선형보간법, bicubic 중 어느 하나가 적용되는 것을 특징으로 하는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법.
청구항 1에 있어서, 상기 온도값의 실시간 계측은 상기 광학모듈에 설치된 온도센서로 이루어지는 것을 특징으로 하는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법.
청구항 1에 있어서, 상기 LP(Look Up) 테이블은 상기 다중 광학시스템에 대해 오프라인에서 온도 구간별 시계변화 값에 대한 사전시험이 수행되어 구축된 것을 특징으로 하는 다중대역 비열화보상 광학시스템의 온도변화에 따른 시계편차 보정 방법.