KR20050067389A

KR20050067389A - 화상 융합 시스템 및 방법

Info

Publication number: KR20050067389A
Application number: KR1020057003587A
Authority: KR
Inventors: 까를로 티아나
Original assignee: 배 시스템즈 에어크라프트 컨트롤즈 인크.
Priority date: 2002-08-28
Filing date: 2003-08-27
Publication date: 2005-07-01
Also published as: CN100421122C; CN1695155A; CA2497212C; EP1540575A4; JP2005537545A; US20040047518A1; CA2497212A1; EP1540575A1; JP4261480B2; USRE41447E1; WO2004021264A1; AU2003270034A1; KR100796707B1; US6898331B2; EP1540575B1; HK1085292A1

Abstract

하나 이상의 화상으로부터 서택된 영역을 포함하는 가공된 또는 융합된 화상을 형성하기 위한, 다수의 화상을 처리하는 콘트라스트-기반의 화상 융합 시스템 및 방법이 제공된다. 화상은 화상 영역으로 분할된다. 화상의 부분들은 필요에 따라 필터링된다. 콘트라스트 맵이 콘볼루션 커널을 통해 각 화상에 대해 생성되고, 이것은 각 화상 영역에 대한 콘트라스트 값을 포함한다. 콘트라스트 값은 비교되고, 화상 영역은 더 큰 또는 최대의 콘트라스트와 같은 선택 기준 또는 선택 처리에 기초하여 선택된다. 선택된 화상 영역은 융합된 화상을 형성한다. 필요에 따라, 융합된 화상의 하나 이상의 부분에 대한 휘도가 조정된다. 하나의 센서가 기준 센서로서 선택되고, 기준 센서 화상으 각 영역의 평균 광도가 기준 센서 화상을 가로질러 결정된다. 최종 화상 내의 하나 이상의 영역의 광도는 결정된 평균 휘도 값과 최종 화상의 광도 값을 결합함으로서 조정된다.

Description

화상 융합 시스템 및 방법{IMAGE FUSION SYSTEM AND METHOD}

본 발명은 일반적으로 촬상 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 둘 이상의 센서로부터의 화상의 영역을 선택적으로 융합 또는 결합하여 하나의 가공된 화상을 형성하는 촬상 시스템 및 방법에 관한 것이다.

화상 융합은 일반적으로 둘 이상의 화상의 일부를 하나의 가공된 화상으로 결합(combine) 또는 병합(merge)하는 것을 말한다. 화상 융합은, 화상을 생성하는 데에 둘 이상의 검출기가 사용된 때, 각각의 센서에 의해 제공되는 정보로부터 사용자에게 출력되거나 또는 자동 처리 시스템에 제공되는 이미지를 결합하기 위해 주로 사용된다.

서로 다른 센서로부터의 화상을 결합하는 알려진 시스템에서의 방법은, 단순히 두 개의 화상을 함께 화소-대-화소로 더하는 것이다. 그래서, 예컨대, 각 화소의 위치가 좌표(x.y)로 식별되는 n×m 행렬로 배열된 화소의 2차원(2-D) 가공된 이미지를 랜더링(rendering)하기 위해, 제1 화상의 화소(1,1)의 값 또는 데이터는 제2 화상의 화소(1,1)의 값 또는 데이터에 더해지고, 제1 화상의 화소(1,2)의 값 또는 데이터는 제2 화상의 화소(1,2)의 값 또는 데이터에 더해지며, 양 화상의 화소(n,m)에 걸쳐 각 화소에 대해 동일하게 행해진다. 다른 알려진 시스템은 이 기법을 변형하여 두 값을 더하는 대신 각 화소의 값의 평균을 연산한다. 따라서, 최종 화상은 평균의 화소값을 포함한다.

그러나, 이 시스템들은 많은 단점을 가지고 있다. 첫째, 알려진 화상 융합 기법은 전형적으로 바람직하지 않고 불필요한 왜곡을 가져온다. 예를 들면, 만일 이미지의 한 부분이 선명하여 사용자가 이해할 수 있는 정도이고, 다른 화상의 대응하는 부분은 흐릿하다면, 화소값을 더하거나 평균을 내는 것은 선명한 화상을 덜선명한 화상으로 왜곡시킬 수 있다. 이 바람직하지 않은 현상은 서로 더하거나 평균을 냄으로써 흐릿한 화소를 선명한 화소에 결합한 결과이다. 계속해서 예를 들면, 불필요한 배경 영역을 밝은 화상 영역에 더하는 것은 밝은 화상 영역의 콘트라스트(contrast) 및 화질을 감소시킬 수 있다. 예를 들면, 두 화상의 영역이 높은 도미넌스(dominance)를 가지거나 밝다면, 두 밝은 영역을 더하는 것은 최종 화상이 "과다노출된(overexposed)" 또는 너무 밝은 상태로 되는 결과를 가져온다. 이것은 포화된 화상(saturated image)을 가져온다. 결과적으로, 흐릿한 두 화상 영역을 평균화하는 것은 상대적으로 흐릿한 화상을 가져올 수 있고, 원래 흐릿했던 화상 영역은 그 밝기가 더 감소될 수 있다.

다른 알려진 시스템은, 이러한 단점을 극복하기 위해, 화상에서의 패턴을 식별하고 그 패턴에 기초하여 융합된 화상을 형성하는 기법을 이용하려고 시도해 오고 있다. 각각의 원래 화상은, 서로 다른 대역폭을 가진 필터를 이용하여(예컨대, 가우시안 롤-오프(Gaussian roll-off) 또는 라플라시안(Laplacian) "파라미드" 접근법), 다수의 저해상도 화상으로 분해한다. 피라미드 접근법은 서로 다른 화상에 대한 서로 다른 해상도를 이용-거친 특성은 저해상도에서 분석되고, 미세한 특성은 고해상도에서 분석된다-한다는 것에 기초하고 있다. 그러나, 이 시스템들은, 피라미드를 만드는 프로세스를 시작하기 전에 각 센서로부터 완벽한 화상을 수신하여야 한다는 결함이 있다. 이 요구사항은 전형적으로 가장 느린 센서로부터의 적어도 하나의 화상으로 인한 시간 지연을 가지고 온다. 그러한 시간 지연은 항공기나 다른 교통수단과 같은 빠르게 움직이는 플랫폼 또는 보다 일반적으로는 실시간 작동이 필요한 그런 곳에 설치된 선서에서는 허용될 수 있다.

또다른 알려진 시스템은 라플라시안 방법을 수정하여 원본 화상을 특성(saliency) 값(value) 또는 가중치(weight)가 부여된 패턴으로 분해하는 기법을 이용한다. 어느 패턴이 그 화상을 이해하는 데에 유용한 정보를 가지고 있다면, 그 패턴은 "특성적(salient)"이다. 최종 화상은 "가중된" 패턴에 기초하여 형성된다. 그러나, 이 기법은, 그들이 전형적으로 전체 화상의 각 화소 또는 영역에 대한 특성 가중치를 분석하고 할당하는 것을 포함한다고 하는 결함이 있다. 따라서, 그 전체 화상이 가공된다. 그런 다음, 특성적 패턴이 선택된다. 결과적으로, 전체 화상의 영역 및 그들의 대응하는 특성 값을 분석하는 데에 과다한 시간이 낭비된다.

이러한 단점들은 특히, 알려진 화상 시스템이 시간에 민감한 활동과 연결되어 사용된 때, 예를 들면 비행기를 착륙시키거나, 탱크를 운전하거나 하는 등에 있어서 문제로 된다. 이러한 상황에서는, 선명한 화상이 신속하게 재생될 필요가 있다. 그러나, 알려진 기법은 전형적으로 이러한 시간 제약 내에 고품질의 화상을 재생할 수 없거나, 또는 전형적으로 전체 화상이 가공에 이용할 수 있는 상태가 된 후에야 비로소 그렇게 할 수 있다.

따라서, 시간상 효율적으로 각각의 원본 화상으로부터 관련있고 적절하며 유용한 정보를 포함하는 보다 정보가 많고 유용한 가공된 화상을 형성하기 위해, 원본 화상으로부터 유용하고 적절하며 또는 관련있는 정보를 효과적이고 효율적으로 선별하는 방법 및 시스템에 대한 요구가 있다. 나아가, 선택적인 화상 융합 기법을 여러 가지 검출기 또는 화상 생성기에 적용하여 여러 가지 응용분야에 사용할 수 있는 유연성을 제공하는 것이 바람직하다.

도 1은, 프로세서 또는 컴퓨터, 두 개의 센서 및 비행기와 같은 이동 수단 내의 디스플레이를 포함하는 본 발명에 따른 시스템의 일례의 블록도이다.

도 2는 가공된 또는 융합된 화상을 형성하기 위해 센서에 의해 생성된 화상을 가공하는 것을 나타내는 흐름도이다.

도 3은 콘트라스트 값을 비교하는 방법을 나타내는 흐름도이다.

도 4는 가공된 화상의 휘도(luminance)가 조정되는 것을 보여주는 흐름도이다.

도 5a-5c는 레이다 센서의 화상, 적외선(IR) 센서의 화상, 및 선택 처리 또는 선택 기준에 기초하여 레이다 및 적외선 화상으로부터 선택된 영역을 포함하는 가공된 화상을 각각 보여주는 흑백사진이다.

도 6의 (a)-(f)는, 화소-대-화소에 기초하여, 화소군 또는 임의로 정의된 영역을 포함하는 서로 다른 화상 영역으로 화상을 분할하는 것을 보여주는 도면이다.

도 7a-7b는 각각의 화상에 대해 생성되는 콘트라스트 맵을 보여주는 흑백사진이다.

도 8a-8b는 선택 기준에 따라 도 7a-7b의 콘트라스트 맵으로부터 선택된 콘트라스트 값을 나타내는 흑백사진이다.

도 9는 가공된 또는 융합된 화상을 형성하기 위해 모든 화상의 콘트라스트 값을 비교함으로써 복수의 화상을 가공하는 것을 보여주는 흐름도이다.

도 10은 가공된 또는 융합된 화상을 형성하기 위해 콘트라스트 값의 다중 비교를 수행함으로써 복수의 화상을 가공하는 것을 보여주는 흐름도이다.

도 11a-11b는 휘도 보정 전후에 가공된 또는 융합된 화상을 보여주는 흑백사진이다.

도 12a-12b는 공간 필터를 보여주는 흑백사진이다.

도 13a-13b는 각각 레이차 및 적외선 센서에 대한 필터 궤적을 보여준다.

도 14의 (a)-(f)는 레이다 및 적외선 화상, 필터 기능 또는 효과, 및 레이다 및 적외성 화상에 적용되는 필터 기능을 보여주는 흑백사진이다.

도 15의 (a)-(e)는 롤 효과(roll effect)를 가진 경우 및 그렇지 않은 경우의 가중화 기능을 비교하여 보여주는 흑백사진이다.

본 발명은, 서로 다른 센서에 의해 생성된 화상(이하에서는, 센서 화상 또는 원본 화상이라 함)의 영역을 선택적으로 결합함으로써, 센서 화상으로부터의 관련있는 정보를 이용하여 가공된 또는 융합된 화상을 형성하기 위한 방법 및 시스템을 제공한다. 이 방법 및 시스템은 각각의 센서 화상을 화상 영역으로 분할하고 각 화상 영역에 대해 예컨대 콘볼루션(convolution)에 의해 콘트라스트 값의 맵을 생성함으로써 구현된다. 그러면, 하나의 센서 화상에 대한 콘트라스트 값의 맵은 다른 센서 화상에 대한 콘트라스트 값의 대응하는 맵에 비교된다. 비교된 콘트라스트 값의 사이에서, 하나의 콘트라스트 값이 선택 기준에 따라 선택된다. 선택 기준은, 예컨대, 둘 이상의 비교되는 콘트라스트 값들 중 더 큰 것일 수 있다. 선택된 콘트라스트 값에 대응하는 화상 영역은 가공된 화상을 형성하는 데에 사용된다. 본 발명에 따르면, 화상 영역은 화소-대-화소, 화소군, 또는 소정 형상의 영역에 기초하여 분할될 수 있다.

또한, 본 발명에 따르면, 각 센서는 서로 다른 파장을 검출한다.

또한, 본 발명에 따르면, 서로 다른 종류, 수 및 조합의 센서로부터의 화상이 처리될 수 있다. 사용가능한 센서는 적외선, 무선주파수 센서(예컨대, 레이다와 같은 액티브 센서(active sensor), 또는 라디오미터(radiometer)와 같은 패시브 센서(passive sensor))를 포함한다.

또한, 본 발명에 따르면, 복수의 센서로부터의 화상 영역은 가공된 화상을 형성하기 위해 결합된다.

또한, 본 발명에 따르면, 제1 센서 및 제2 센서로부터의 화상에 대한 콘트라스트 맵이 결합하여 중간 콘트라스트 맵을 형성하는데, 이 중간 콘트라스트 맵을 제3 화상의 콘트라스트 맵과 비교하여 가공된 화상을 형성한다.

또한, 본 발명에 따르면, 하나 이상의 화상 구역의 광도 또는 휘도가 가공된 화상을 가로 질러 조정된다. 하나의 센서가 기준 센서로서 선택되고, 기준 센서 화상의 영역의 평균 광도가 결정된다. 가공된 화상의 동일 또는 대응하는 영역 또는 인접하는 영역의 광도가, 기준 화상의 결정된 평균 휘도 값과 가공된 화상의 광도 값을 결합함으로써 조정된다.

또한, 본 발명에 따르면, 본 방법 및 시스템은 콘트라스트 비교가 수행되기 전에 센서 화상의 부분을 필터링하도록 구현된다.

이하의 본 발명의 실시예에 대한 설명에서, 본 명세서의 일부로서 도면이 참고를 위해 첨부되어 있는데, 이것은 본 발명을 구현하기 위한 구체적인 실시예를 보여주기 위한 것이다. 다른 실시예도 본 발명의 기술적 사상에서 벗어나지 않는 범위 내에서 구조적 변경에 의해 구현될 수 있음을 이해하여야 한다.

비행기의 조종실의 광경을 보여주는 도 1을 참조하면, 본 발명에 따른 시스템(S)이 센서들(100, 102), 프로세서(110) 및 디스플레이(120)을 가지고 있다. 센서들(100, 102)은 각각의 화상 데이터 또는 스트림(104,106)(즉, 센서 화상 또는 원본 화상)을 프로세서(110)(예컨대, 컴퓨터, 마이크로 컨트롤러, 또는 다른 제어 요소 또는 시스템)에게 제공한다. 센서들은 동일하거나 중첩되거나 또는 서로 다른 파장을 검출할 수 있다. 게다가, 센서들은 동일한 필드의 광경 또는 중첩하는 필드의 광경을 검출할 수도 있다.

프로세서(110)는 가공된 또는 융합된 화상(115)을 형성하기 위해 화상(104,106)으로부터의 영역을 선택적으로 결합하도록 프로그램되어 있다. 더욱 상세하게는, 프로세서(110)는 각 화상(104,106)의 영역을 비교하고, 선택 기준에 따라 화상 영역을 선택한다. 선택 기준은, 예컨대, 센서 화상의 밝은 영역과 어두운 영역 사이의 밝이의 명백한 차이를 나타내는 콘트라스트 값의 비교이다. 프로세서는 다른 선택 기준을 고려하도록 프로그램될 수도 있는데, 제한되지는 않지만, 각 비교에서 더 큰 또는 최대의 콘트라스트 값을 포함하도는 선택 기준을 고려할 수 있다. 따라서, 프로세싱 시스템은 필수적으로 하나 이상의 또는 모든 화상으로부터 선택 기준에 기초하여 바람직한 영역 또는 선택의 영역을 추출한다. 선택된 영역은 조각조각이 모여 융합된 화상(115)을 형성한다(퍼즐의 각 조각이 다수의 소스로부터 선택된다는 것을 제외하고는, 마치 지그소퍼즐(jigsaw puzzle)과 같이 다수의 조각으로 형성된다). "퍼즐 조각" 또는 화상 영역은 하나의 화상으로부터 올 수도 있고 몇몇 화상으로부터 올 수도 있으며, 또는 모든 화상으로부터 올 수도 있다. 그러면, 융합된 화상(115)은 후속 가공처리를 위해 화상 프로세서나 컴퓨터로 제공될 수 있다.

도 1이 비행기의 시스템(S)의 적용을 나타내고 있지만, 당업자라면 본 시스템이 다른 교통수단과 여러 가지 응용분야에 적용될 수 있다는 것을 인식할 것이다.

화상(104,106)의 부분을 선택적으로 결합하거나 융합하여 가공된 화상(115)을 만드는 기법이 도 2-4의 흐름도에 나타나 있다. 도 2에 도시된 바와 같이, 단계 200에서는, 각 센서가 화상을 생성하고, 화상 데이터가 프로세서에 제공된다. 단계 202에서, 필요에 따라 가공처리에서 제외하기 위해, 가공된 화상에서 제외하기 위해, 또는 가공된 화상에 대한 기여도를 약화시키기 위해, 화상 영역을 필터링할 수 있다. 단계 204에서, 각 센서 화상의 대응하는 영역의 콘트라스트 값을 비교한다. 단계 206에서, 선택 기준이 어떤 콘트라스트 값을 선택 또는 식별하기 위해 적용된다. 본 시스템(S)의 실시에에서, 선택 기준은 더 큰 또는 최대의 콘트라스트 값을 선택 또는 식별하는 것일 수 있지만, 선택 기준(들) 또는 선택 처리는, 본 시스템이 어떻게 활용되는가에 따라 시스템(S)의 다른 실시예에서 다르게 될 수도 있다. 단계 208에서, 선택된 또는 식별된 콘트라스트 값에 대응하는 화상 영역이 식별 또는 선택된다. 단계 210에서, 선택된 화상 영역이 결합된다. 즉, 효과적으로 "조각 맞춤"되어 융합된 또는 가공된 화상을 형성한다. 그런 다음, 단계 212에서, 필요에 따라, 가공된 또는 융합된 화상의 광도 또는 휘도를 조정 또는 보정하여 더 선명한 화상을 생성한다.

도 3은 단계 204 또는 콘트라스트 값을 비교하는 단계를 보여준다. 단계 300에서, 각 센서 화상은 복수의 화상 영역으로 분할된다. 그런 다음, 단계 302에서, 각 센서 화상에 대한 콘트라스트 맵이 생성된다. 각 콘트라스트 맵은 각각 정의된 화상 영역에 대한 콘트라스트 값을 포함한다. 단계 304에서, 하나의 센서 화상의 화상 영역의 콘트라스트 값을 다른 센서 화상(들)의 대응하는 화상 영역의 콘트라스 값과 비교한다. 이 글에서 사용되는 대응하는 화상 영역이란 적어도 중첩하는 센서 화상을 말한다. 예를 들면, 만일 하나의 센서 화상의 시계(field of view)가 비행장 활주로를 포함한다면, 이 센서 화상은 동일한 비행장 활주로를 포함하는 다른 센서 화상의 시계와 "중첩"한다. 만일 두 개의 센서 화상들의 시계가 서로 동일(또는 거의 동일)하다면, 그 화상들은 100% 중첩하는 것으로 간주된다.

이제 도 4로 가면, 단계 212 또는 융합된 화상의 광도 또는 휘도를 조정하는 단계가 더욱 상세하게 나타나 있다. 단계 400에서, 하나의 센서가 그 휘도 값을 대조하기 위한 기준 센서로서 선택된다. 그런 다음, 단계 402에서, 기준 센서 화상의 화상 영역의 평균 휘도 또는 광도가 화상을 가로 질러(예컨대, 횡단 라인) 결정된다. 다음으로, 단계 404에서, 융합된 또는 가공된 화상의 하나 이상의 영역의 광도가, 결정된 평균 휘도 값과 융합된 화상의 광도 값을 결합함으로써 조정되어, 휘도-보정된 융합된 화상을 형성한다. 광도 조정은 동일한 영역 또는 인접하거나 후속하는 영역에 적용될 수 있다. 예를 들면, 광도가 결정된 동일한 라인 또는 인접하는 라인 또는 후속하는 라인(406)을 융합된 화상의 동일 또는 인접하는 또는 후속하는 영역 또는 라인(408)에 대응하여 조정을 적용할 수 있다.

당업자라면 본 화상 융합 방법 및 시스템이 다중 화상을 처리하는 많은 다른 환경 및 응용분야에 사용될 수 있다는 것을 인식할 것이다. 예를 들면, 비행기(예컨대, 항공기, 제트기, 헬리콥터, 등) 외에도, 이 방법 및 시스템은 배, 자동차 또는 기차와 같은 다른 이동 수단에 구현될 수 있다. 또한, 본 화상 융합 방법 및 시스템은 의료 기구(예컨대, 초음파, 적외선, 레이저 촬상 또는 X선 단층 센서를 이용하는 의료 기구), 및 감시 시스템에서 화상을 디스플레이하기 위해 사용될 수 있다. 화상 영역의 선택적인 융합에 의해 각각의 센서 화상으로부터 관련 정보 또는 선택된 정보를 포함하는 가공된 또는 융합된 화상을 형성하는 것은 많은 응용분야에 적용하여 유용한 효과를 얻을 수 있다. 따라서, 본 명세서에서 설명된 예시적인 시스템 및 방법은 많은 다른 응용분야에서 사용될 수도 있다.

화상 및 센서

도 5a~5c를 참조하면, 센서(100,102)가 각각의 화상(104,106), 예컨대 도 5a 및 5b에 도시된 화상(500,510)을 생성한다. 하나 또는 두 개의 화상의 선택된 영역을 사용하여 효과적으로 결합 또는 조각 맞춤하여 융합된 또는 가공된 화상(115), 예컨대 도 5c에 도시된 융합된 화상(520)을 형성한다. 원본 화상의 콘텐트(content)에 의존하여, 예컨대 도 11a-11b와 관련하여 후술하는 바와 같이, 융합된 화상을 더 처리하는 것이 바람직할 수 있다.

더욱 상세하게, 도 5a는 적외선 센서에 의해 생성된 활주로의 화상(500)을 나타낸다. 적외선 센서는 여러 가지 적외선 파장 범위(예컨대 0.8~2㎛, 3-5, 8-12, 또는 이들의 조합 또는 확장)에서 동작할 수 있다. 사용할 수 있는 적외선 센서의 일례는, 배 시스템 적외선 촬상 시스템(BAE SYSTEMS, 렉싱턴, 메사추세츠)으로부터 입수할 수 있다. 도 5b는 동일한 또는 거의 동일한 활주로 장면에서의 동일한 활주로를 나타낸다. 다만, 화상(510)은 레이다 센서에 의해 생성된다. 레이다 센서는 X, K, Ka 또는 다른 대역의 레이다 센서일 수 있다. 본 발명에 사용되는 적절한 레이다 센서의 일례는, 예컨대 배 시스템 비행기 제어(BAE SYSTEMS, Aircraft Controls, 산타 모니카, 캘리포니아)로부터 입수할 수 있다.

본 예에서, 적외선 센서 및 레이다 센서는 일반적으로 동일하거나 중첩하는 시계를 제공하여, 양 시계에서 보이는 대상 도는 조건이 하나의 센서에 의해 다른 하나의 센서보다 더 잘 감지될 수 있도록 한다. 당업자라면 본 시스템 및 방법이, 후술하는 바와 같이, 중첩의 정도가 다른 또는 서로 다른 시계의 화상에 적용될 수 있다는 것을 인식할 것이다. 또한, 여기서 설명하는 실시예는 레이다 및 적외선 센서 및 화상을 포함하는 시스템의 구체적인 예를 제공하지만, 다른 종류, 수 및 그 조합의 센서 및 화상이 사용될 수도 있다. 예를 들면, 본 시스템은 초음파 센서를 사용할 수도 있다. 초음파 센서의 일례는 펄닉스 아메라카 인코포레이티드(Pulnix America, Inc, 서니베일, 캘리포니아)로부터 입수할 수 있다. 또한, 센서들 중 하나는, 제한되지는 않은 예로서 10, 35, 76, 94 및 220GHz의 여러 가지 RF 대역에서 동작하는, 예컨대 촬상 레이다 또는 라디오미터(radiometer)와 같은 액티브 도는 패시브 무선주파수 시스템에 기초할 수 있다. 그러한 센서의 일례가 TRW 인코퍼레이티드(레돈도 비치, 캘리포니아)로부터 입수할 수 있다. 예를 들어, 센서는, 제너럴 일렉트릭 메디컬 시스템부(와우케샤, 위스콘신)로부터 입수할 수 있는 의료 촬상 응용기기에서 사용되는 초음파 센서와 같은, 초음파 센서일 수 있다. 센서는 또한, 예컨대 저 레벨 가시 대역 센서(low-light level visible band sensor), 촬상소자(CCD), 또는 파나소닉 인코포레이티드(시카커스, 뉴저지)로부터 입수가능한 자연 또는 인공 조명을 이용할 수 있는 컬러 또는 그레이 스케일 카메라와 같은, 가시 대역 센서일 수 있다.

또한, 영상 융합 시스템은, 예컨대 3, 4 또는 다른 수의 센서 등의 복수의 센서로부터 화상을 처리하도록 구성될 수 있다. 하나의 가능한 센서의 조합은 두 개의 적외선 센서와 레이다 센서를 포함한다. 모든 센서로부터의 화상은 함께 처리되고, 선택적으로 결합되어 가공된 도는 융합된 화상(D)을 만든다. 다르게는, 두 개의 센서 화상이 처리될 수 있고, 그 결과가 제3 센서 화상과 처리되어 가공된 또는 융합된 화상 또는 그 대표 콘트라스트 맵을 형성할 수 있다. 예를 들면, 화상 A 및 B가 결합되어 화상 C가 되거나 도는 중간 콘트라스트 맵 C가 되고, 다음으로 화상 D 또는 콘트라스트 맵 D와 선택적으로 결합되어 융합된 화상 E 또는 또다른 중간 콘트라스트 맵을 형성할 수 있고, 이런식으로 모든 화상이 처리되어 융합된 화상을 형성할 때까지 계속할 수 있다. 서로 다른 수의 센서 화상의 서로 다른 결합은 필요에 따라 비교의 서로 다른 반복으로 처리될 수 있다.

센서의 종류의 선택은 그 센서가 사용되는 조건 및 환경에 의존할 수 있다. 상술한 바와 같이, 한 종류의 센서는, 다른 종류의 센서가 다른 환경에 더 적합하듯이, 어느 한 환경에 더 적합할 수 있다. 더욱 상세하게는, 어떤 종류의 센서가 환경이 낮, 밤, 안개, 비 등인지 아닌지 그리고 화상이 원거리인지 근거리인지에 따라 더 선명한 화상을 제공할 수 있다. 예를 들면, 레이다 센서는 전형적으로 안개 조건에서 적외선 센서보다 더 나은 화상을 제공하지만, 적외선 화상의 사진같은 품질은 부족하다.

화상 영역의 콘트라스트 값의 비교

화상 영역 콘트라스트 값은, 화상을 영역으로 분할하고, 정의된 영역에 기초하여 콘트라스트 맵을 생성하며, 선택 기준(들)을 이용하여 대응하는 콘트라스트 맵 값을 비교함으로써, 비교된다(단계 204). 이 비교는 정열된 또는 미리 등록된 화상 또는 관련된 화상 영역의 비교가 가능하도록 배열된 화상에 기초한다. 따라서, 중첩되지 않은 화상이 처리되면, 그들은 관련 영역이 아래에서 설명하는 바와 같이 비교되도록 미리 등록되거나 정렬된다. 그러면, 콘트라스트 값은, 예컨대, 더 큰 또는 최대의 콘트라스트 값을 선택하는 선택 기준에 따라 선택된다(단계 206). 예컨대, 시간적 지속성, 밝기, 컬러 등과 같은 다른 선택 기준도 활용될 수 있다.

화상을 영역으로 분할

초기에, 센서 화상은 도 6의 (a)~(f)에 도시된 바와 같이 화상 영역으로 분할된다. 화상은 화소-대-화소(600a-b,601a-b)(도 6의 (a)-(b))에 기초하여 분할될 수 있고, 또는 화소군(602a-b,604a-b)(도 6의 (c)-(d))에 기초하여 분할될 수도 있다. 화소 또는 화소군은, 단색 화상을 나타내는 "흑백"일 수 있고, 서로 다른 레벨의 광도를 가진 화상을 나타내는 서로 다른 회색 색조(shades)(회색 스케일(gray scale))일 수 있다. 화소 또는 화소군은 컬러 화상의 일부를 형성하기 위해 활성화되는 빨강, 초록 및 파랑의 점을 가질 수도 있다. 또한, 화상 영역은 소정 형상의 영역 또는 경계(606a-b, 608a-b, 610a-b, 612a-b)(도 6의 (e)-(f))를 가지도록 정의될 수 있다. 결과적으로, 하나의 화상 영역은 각각의 센서 화상 내의 각 영역에 대해, 다른 대응하는 영상 영역에 비교될 수 있다. 예를 들면, 도 6의 (a)-(b)를 참조하면, 영역(600a)(x₁=1, y₁=12)는 영역(600b)(x₂=1,y₂=12)에 비교될 수 있고, 영역(601a)(x₁=17, y₁=10)는 영역(601b)(x₂=17,y₂=10)에 대응할 수 있다.

설명을 위해, 도 5a-5b, 및 도 6의 (a)-(f)에 도시된 관련 화상 영역은, 일반적으로 정렬된 또는 미리 등록된 화상 영역(예컨대, 정렬된 또는 미리 등록된 화소, 화소군, 또는 소정 형상의 영역)과 동일한 또는 실질적으로 동일한 화상을 포함한다. 다른 말로, 도 5a-5b는 중첩하는 화상(100% 중첩) 또는 높은 정도의 중첩(거의 동일한 센서 화상)을 가지는 화상을 보여준다. 결과적으로, 도 6의 (a)-(f)의 화상 영역은 대응하는 화상 영역의 열로 서로 정렬되어 있다. 따라서, 물체(예컨대, 나무(607))가, 센서 화상 내의 거의 동일한 상대적 위치에서, 센서 화상이 어떻게 화상 영역으로 분할되었는지에 관계없이, 양 센서 화상의 동일한 화상 영역에 있다.

그러나, 당업자라면, 본 시스템 및 방법이, 센서의 위치, 배치, 시계 및 검출성능에 의존하여 중첩의 다른 정보를 가지는 서로 다른 수, 종류 및 그 조합의 센서 화상를 가지고 구현될 수 있다는 것을 인식할 것이다. 서로 다른 정도의 중첩을 관련시키는 경우, 화상 영역은 비교를 수행할 수 있도록 정렬되거나 도는 미리 등록될 수 있다.

예를 들면, 센서는 도 5a-5b에 도시된 바와 같은 활주로 장면과 같은 동일한 화상을 필수적으로 검출하도록 서로 함께 가까이 배치될 수 있다(예컨대, 비행기의 앞 또는 바닥). 결과적으로, 동일 도는 유사한 화상 내의 화상 영역은 일반적으로, 도 6의 (a)-(f)에 도시된 바와 같이, 대응하는 방식으로 서로서로 정렬된다. 이 경우에, 선택 처리 또는 선택 기준이 적용되는 화상 영역(또는 가공된 화상을 형성하기 위한 선택 및 사용에서 "경합"하는 화상 영역)은, 그 화상들이 일반적으로 동일한 경계와 시계를 가지고 있으므로, 도 6의 (a)-(f)에서의 모든 정렬된 화상 영역인 것으로 간주될 수 있다.

또한, 하나의 센서는 제1 화상을 검출할 수 있고, 다른 센서는 제1 화상의 대부분과 함께 추가 장면 요소를 포함하여 검출할 수 있다. 이것은, 예컨대 센서가 서로 떨어져서 배치되어 있거나, 도는 서로 다른 시계를 가지도록 배치되어 있는 경우에 발생된다. 이 경우에, 선택 처리는 중첩하는 영역의 전체 또는 일부에 적용될 수 있다. 그 화상 영역은 콘트라스트 비교와 같은 선택 처리 또는 기준의 적용에 의해 처리된다. 경합하는 영역은 비교되고, 화상 영역은 가공된 또는 융합된 화상을 형성하기 위해 선택된다. 중첩하지 않거나 경합하지 않는 화상 영역은, 예컨대 원본 및 융합된 또는 가공된 화상의 품질, 센서의 종류 및 사용자 및 시스템의 필요에 따라 다른 방법으로 처리될 수 있다. 예를 들어, 중첩하지 않는 화상은 필러(filler) 또는 배경으로서 가공된 화상에 더해질 수 있다. 다르게는, 중첩하지 않는 영역은 버려지고, 가공된 또는 융합된 화상에 포함되지 않을 수 있다. 몇몇 경우에는, 중첩하는 영역은 특정 시스템 및 응용분야에 따라 처리되지 않을 수 있다.

따라서, 본 방법 및 시스템은 서로 다른 정도의 중첩 및 서로 다른 정도의 정렬을 가진 화상 영역을 가진 화상을 가지고 구현될 수 있다. 중첩 및 정렬 변화는 서로 다른 검출 성능과 위치를 가진 센서로부터 바생될 수 있다. 그러나, 설명을 위해, 본 명세서 및 참조되는 도면에서는, 정렬된 대응하는 화상 영역을 가진 높은 정도의 중첩을 가진 화상을 보여주고 있다. 결과적으로, 대부분 또는 모든 화상 영역은 경합하는 화상 영역이고, 선택 기준에 따라 처리된다. 그러나, 본 방법 및 시스템은 서로 다른 정도의 중첩, 정렬, 및 대응관계를 가진 화상 영역 구성을 처리하도록 구성될 수 있다.

콘트라스트 맵의 생성

도 7a-7b에 도시된 바와 같이, 콘트라스트 맵(700,710)이 각각의 레이다 화상 및 적외5선 화상에 대해 생성된다. 각 콘트라스트 맵은 그 콘트라스트 맵 내에 각각 정의된 화상 영역에 대한 콘트라스트 값을 포함한다. 레이다 및 적외선 센서를 이용한 예를 가지고 계속 설명하면, 도 7a는, 레이다 영상이 분할되어서 된 각각의 영상 영역의 각각에 대해 하나씩의 콘트라스트 값을 포함하는 레이다 영상에 대한 콘트라스트 맵(700)을 보여준다. 유사하게, 도 7b는 적외선 영상이 분할되어서 된 각각의 영상 영역의 각각에 대해 하나씩의 콘트라스트 값을 포함하는 적외선 영상에 대한 콘트라스트 맵(710)을 보여준다. 본 발명에 따르면, 각 콘트라스트 맵(700,710) 내에는 어떤 수의 영상 영역도 있을 수 있고, 그 수는 레이다 및 적외선 센서가 100% 중첩하는 화상을 제공하도록 하는 대응 화상 영역과 같도록 하는 것이 바람직하다.

레이다 맵을 예로 하면, 그 화상/맵의 상부(top portion) 및 하부(bottom portion)(702,706)에서의 콘트라스트 값은 상대적으로 낮은 값이고, 중앙부(704)의 콘트라스트 값은 상대적은 높은 값이다. 적외선 맵을 예로 하면, 중앙부(714)에서의 콘트라스트 값은 상대적으로 낮은 값이고, 상부 및 하부(712,716)에서의 콘트라스트 값은 상대적으로 높은 값이다.

본 발명에 따르면, 각 화상 영역에 대한 콘트라스트 값을 포함하는 콘트라스트 맵은, 예컨대 적절한 커널(kernel)을 가진 콘볼루션(convolution)을 통해 생성된다. 활용할 수 있는 일례로서의 콘볼루션 및 커널은 아래와 같은 2차원(3x3)의 정규화된 콘볼루션 커널이다.

여기서,

*는 콘볼루션을 나타낸다.

x.y는 각각 0에서부터 화상의 폭(w) 및 높이(h)에 이르는 화상의 공간 좌표이고,

S1은 제1 센서 화상, 예컨대 mmW 레이다 화상 스트림이며,

S2는 제2 센서 화상, 예컨대, 제1 또는 레이다 화상과 정렬되어 있거나 또는 공간적으로 미리 등록되어 있는 IR 화상 스트림이이다.

커널 K_C의 일례는 중앙으로부터 떨어진 거리를 반영한 값을 포함한다. 콘트라스트 맵은 콘볼루션의 결과로서 각 화상의 각 화상 영역에 대한 콘트라스트 값을 포함하여 생성된다.

프로세서는 C-코드로 된 프로그램으로, 또는 다른 프로그램 언어로, 또는 전용의 집적회로 하드웨어로, 콘볼루션을 실행할 수 있다. 콘볼루션의 실시간 구현은 디지털 신호 처리기(Digital Signal Processor), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Arrays), 주문형 집적회로(ASICs), 또는 다른 하드웨어 기반 수단을 이용하여 달성될 수 있다.

콘트라스트 값의 선택

도 8a-8b는, 도 7a-7b의 콘트라스트 맵에서의 콘트라스트 값의 비교에 수행된 선택 기준에 기초하여 선택된, 가공된 화상을 형성하는 데 사용되는 화소 값을 나타낸다. 상기 레이다 화상의 화상 영역과 상기 적외선 화상의 대응하는 화상 영역 사이에서 보다 큰 콘트라스트 값(contrast value)을 선택하기 위하여 선택 기준을 적용하는 본 실시예에서는, 도 8a는 도 7a의 선택된 (레이다) 콘트라스트 값의 화소 값을 도시하고 있는데, 이는 상기에서 언급된 바와 같이, 일반적으로 상기 레이다 화상의 중간 부위(800)에 존재한다. 유사하게, 상기 동일한 선택 기준 하에 작동하는 시스템(S)을 가지고, 도 8b는 도 7b의 선택된 (적외선) 콘트라스트 값의 화소 값을 도시하고 있는데, 이는 상기에서 언급된 바와 같이, 일반적으로 상기 적외선 화상의 상부 부위(810) 및 바닥 부위(820)에 존재한다.

선택된 콘트라스트 값과 관련된 각 화상 영역은 각각의 화상으로부터 선택된 다음, 가공된 또는 융합된 화상, 예컨대 도 5c에 도시되어 있는 융합된 화상을 형성하기 위하여 다른 선택된 화상 영역과 결합된다(또는 융합된다). 따라서, 본 실시예에서, 최대 콘트라스트 값에 근거하여 화상 영역을 선택하기 위한 기준은 다음과 같이 언급될 수 있다.

여기서, “최대 기준” 작동은 매 영역을 기준으로, 예컨대 하나 이상의 화소 또는 소정 형상의 영역에서 수행된다. 따라서, 최대 콘트라스트에 기초하여 화상 영역을 선택하는 것은 필연적으로 다음 화상으로부터 화상 영역을 결합 또는 수퍼 세트(superset)를 포함하는 융합된 화상을 가져오는 화소 값으로 기여한다. 선택 처리의 결과로서, 상기 화상 영역은 단일의 화상 또는 상기 화상의 내용 및 콘트라스트 값에 의존하는 복수의 화상으로부터 선택될 수 있다. 어떤 센서 화상은 융합되거나 또는 가공된 화상에 어떠한 화상 영역도 주지 못할 수 있다. 예를 들면, 만일 제1 화상이 식별되거나 선택된 모든 콘트라스트 값을 구비하고 있다면, 상기 가공된 또는 융합된 화상은 상기 제1 화상과 동일할 것이다. 추가적인 예로서, 만일 콘트라스트 값이 상기 제1 화상이 아니라 제2 및 제3 화상으로부터 선택된다면, 상기 융합된 화상은 제1 화상이 아니라 상기 제2 및 제3 화상으로부터의 영역을 포함한다. 따라서, 화상 영역 A, B 및 C를 가지는 가공된 화상에서, 화상 영역 A는 센서 화상 1로부터일 수 있고, 화상 B는 센서 화상 2로부터일 수 있으며, 화상 영역 C는 센서 화상 3으로부터일 수 있다.

콘볼루션의 적용예를 포함하는 앞서 기술된 예는 2개의 콘트라스트 맵의 생성을 야기한다. 콘볼루션의 다른 수 및 조합은 복수의 콘트라스트 또는 복수의 센서 이미에 사용되는 복수의 콘트라스트 맵을 생성하도록 수행될 수 있다. 예컨대, 도 9를 참조하면, 화상(900-902)는 각각의 센서에 의해 생성된다. 적당한 커널(kernel)(910-912)를 가진 콘볼루션은 다음과 같이 각각의 콘트라스트 맵(920-922)을 생성하기 위하여 각각의 화상 (900-902)의 데이터에 적용된다.

여기서, 상기 제3 센서(S3)는 예컨대 적외선 센서이다. 본 분야에서 통상의 지식을 가진 자는 상이한 커널이 동일 또는 다른 센서와 함께 사용될 수 있다는 점을 인지할 것이다. 따라서, 3개의 콘볼루션을 포함하는 프로세싱은, 예컨대 3개의 상이한 콘볼루션 커널을 사용할 수 있다.

그 다음, 상기 3개의 화상의 대응하는 콘트라스트 값은 비교되고(930), 콘트라스트 값은 선택 기준에 따라 선택된다(940). 선택된 화상 영역(945)은 상기 선택된 콘트라스트 값에 상응한다. 최대 콘트라스트 값 기준에 근거한 화상 영역의 선택은 다음과 같이 나타낼 수 있다.

하나 이상의 상기 센서 화상으로부터 선택된 영역은 가공된 또는 융합된 화상(950)를 형성하기 위하여 융합된다. 따라서, 본 실시예에서, 모든 대응하는 콘트라스트 값은 상기 최대 콘트라스트 값을 가지는 화상 영역을 선택하기 위하여 함께 비교된다 (동시에 3개의 콘트라스트 값이 비교된다).

다른 실시예에서, 각각의 콘트라스트 맵을 생성하기 위하여, 콘볼루션의 복수의 반복(iteration)이 행해질 수 있다. 결과적으로 상기 맵의 값은 가공된 화상을 형성하기 위하여 반복하여 비교된다. 예컨대, 도 10을 참조하면, 콘트라스트 맵(920-922)은 앞서 기술된 바와 같이 콘볼루션과 적당한 커널(910-912)을 통하여 각각의 화상(900-902)를 위해 형성된다. 그러나, 각각의 콘트라스트 맵의 모든 대응하는 값들을 함께 비교하는 대신에, 콘트라스트 맵 비교의 반복은 가능한 한 상이한 콘트라스트 선택 커널을 사용하여 행해진다.

따라서, 예를 들면, 콘트라스트 맵(920,921)에서 콘트라스트 값의 비교(1000)가 행해져, 예컨대 더 크거나 또는 최대의 콘트라스트에 기초한 한 세트의 콘트라스트 값(1010)의 선택을 가져온다. 상기 선택된 콘트라스트 값은 매개의 화상 또는 콘트라스트 맵(1030)을 형성하기 위하여 선택적으로 결합된다.

그 다음, 콘트라스트 맵(1030)에서의 콘트라스트 값은 상기 제3 화상(902)로부터의 콘트라스트 맵(922)에서의 콘트라스트 값과 비교된다(1040). 상기 콘트라스트 값은 선택되거나 식별되며(1050), 상기 선택된 콘트라스트 값에 대응하는 화상 영역이 선택된다(1055). 상기 선택된 영역은 상기 프로세싱되거나 융합된 화상을 형성한다(1060). 본 분야에서 통상의 지식을 가진 자는, 상이한 수의 반복 또는 상이한 수의 콘트라스트 맵의 비교가 동일하거나 상이한 콘볼루션 커널을 가지고 수행될 수 있다는 점을 인지할 것이다. 따라서, 본 화상 처리 시스템 및 방법은 콘볼루션을 사용하는 다양한 적용예에 적용될 수 있는 융통성 있는 화상 융합을 제공한다.

융합된 화상의 휘도 보정

융합된 화상의 휘도 또는 광도는, 필요한 경우, 사용된 센서의 종류 및 센서 및 융합된 화상의 품질에 따라 수정되거나 조정될 수 있다. 휘도 보정은 상기 융합된 화상이 조종사에게 충분히 선명하지 않을 때 특히 유용하다.

레이다 및 적외선 화상을 포함하는 예에서는, 도 5c에 도시되어 있는 바와 같이, 상기 융합된 화상에 주목할만한 결과가 있을 수 있다. 상기 결과는 일관되지 않은 융합된 화상의 광도 또는 휘도로부터 야기되며, 상기 융합된 화상을 가로질러 불연속적인 휘도를 가져온다. 이 구체적인 예에서, 레이다 화상(본 예에서는 중앙 수평 대역)으로부터 선택된 영역(본 예에서는 중앙 수평 대역)은 적외선 화상으로부터의 높은 콘트라스트 영역에 비해 일반적으로 더 어둡다. 결과적으로 가공된 또는 융합된 휘도 분포는 2개의 입력 센서의 휘도 사이에서 변화된다. 예를 들면, 화상의 중심을 따라 보다 어두분 대역은, 그 영역에서, 더 높은 콘트라스트를 가지지만, 적외선 화상 보다 더 낮은 휘도를 가지는 레이더 화상으로부터 대체로 선택된다. 이것은 융합된 화상의 전체적인 선명도를 감소시킨다.

융합된 화상 내의 휘도 분포는 보다 선명한 융합된 화상을 생성하도록 조정될 수 있다. 휘도 조정은 기준 센서에 의하여 생성된 화상의 영역에서의 평균 휘도 값을 결정하고, 대응하는 결정된 값에 따라 융합된 화상의 영역의 휘도를 조정함으로써 수행된다. 도 5a 및 5b의 예시적인 화상에서, 휘도 조정 기법은 센서 화상의 수직 단면에서(예컨대, 수평선을 통해 전경(foreground)까지의 하늘) 일반적으로 변화하는 휘도에 기초하지만, 임의의 수평 단면(예를 들면, 임의의 특정 높이 각도에서 화상을 따라)에서 예측가능하지 않다.

기준 센서

휘도 보정은 기준 센서로서 하나의 센서를 선택하고, 상기 기준 센서의 휘도에 매칭시키거나 또는 근접시키도록 융합된 화상의 휘도를 조정함으로써 수행될 수 있다. 상기 기준 센서는 특정 상태에서 센서의 예상되는 용도에 따라 임의로 선택되거나 그에 기초하여 선택될 수 있다. 예를 들면, 레이더 센서는 일반적으로 적외선 센서보다 저-가시도 상태에서 더 많은 화상 상세를 제공한다. 그러나, 적외선 센서는 일반적으로 적어도 정밀한 범위에서, 더 자연적이거나 사진 같은 화상을 제공한다.

설명의 편의를 위하여, 본 명세서는 상기 센서로부터 화상의 자연적으로 보이는 특성을 포착하기 위하여, 휘도 분포용 기준 센서로서 적외선 센서 I(x,y)를 설명한다.

평균 휘도 결정

휘도 조정은 예를 들면, 장면 수평선에 평행한 각 화상 단면을 따른 스트립과 같은 특정 화상 영역에서 기준 센서의 평균 세기를 결정하는 단계를 포함한다. 상기 장면 수평선은 “실제적인” 실제-세상 수평선을 가리킨다. 상기 장면 수평선은 항공기의 롤(roll), 뱅크(bank) 또는 다른 운동 동안 화상 수평선에 대하여 기울어져 있을 수 있다.

기준 센서 화상의 상기 각 스트립의 평균 휘도가 결정된다. 또한, 상기 결정으로부터 얻어진 휘도값은 융합된 화상의 휘도를 조정하기 위하여 융합된 화상의 대응하는 각 스트립에 더해진다. 또한, 필요하다면, 휘도의 정도는 특정 휘도 조정 효과에 대하여 가중될 수 있다. 가중치(λ)는, λ=1의 값이 대부분의 상태에서 충분히 명료하게 조정된 융합된 화상을 제공하도록 결정되었지만, 휘도 보정의 효과를 감소시키는데 사용될 수 있다.

따라서, 휘도가 융합된 화상에서 조정되는 방식은 다음과 같이 표현될 수 있다:

여기서, F(x,y)는 융합된 화상의 휘도 값이고,

λ는 휘도 조정의 다른 정도에 대한 가중치 인자이고,

w는 x=0으로부터 x=0까지의 폭이고,

FLC(x,y)는 휘도-보정된 융합된 화상이다.

이 기술의 당업자는 기준 센서 화상이 수평 단면 외에의 다른 단면을 따라, 그리고 화상을 가로지른 스트립(strip) 이외의 다른 세그멘트로 샘플링될 수 있다는 것을 인식할 것이다. 단면의 선택 및 세그멘트의 샘플링은 센서의 종류, 센서 화상, 화상의 방위, 시스템의 장치 또는 방법을 포함하는, 각종 인자에 의존할 수 있다. 그러나, 설명의 편의를 위하여, 본 명세서는 기준 센서 화상의 스트립의 단면 샘플링, 및 처리되는 화상의 대응하는 스트립을 보정하는 것에 관련된다.

휘도 조정을 적용하는 한 예가 도 11에 도시된다. 휘도 보정 전에 융합된 화상(1100)에 묘사되는 활주로 장면은 처리되거나 또는 융합된 화상을 왜곡하는 다수의 인공물을 포함한다. 따라서, 상기 활주로 장면은 특히 화상의 중간 부분에서 다소 명확하지 않다. 상기 화상(1100)는 기준 센서로서 적외선 센서를 선택하고 휘도 보정 후 동일한 화상(1100)를 나타낸다.

화상 1100(휘도 보정 이전)와 1110(휘도 보정 후)을 비교함으로써 알 수 있는 바와 같이, 휘도 보정된 화상은 높이에서 덜 현저한 휘도 변화를 입증하며, 그렇지 않으면 노이지 화상을 발생시킨다. 그 결과는 더 분명한, 처리되거나 또는 융합된 화상이다.

융합된 화상의 휘도 보정은 융합된 화상의 영역 또는 다른 스트립을 보정함으로써 수행될 수 있다. 예를 들면, 기준 센서에 대한 평균 휘도는 기준 센서 화상의 화상 라인 또는 스트립에 대하여 결정된다. 상기 기준 센서 화상으로부터의 상기 결정된 평균 휘도값은 예를 들면 이전에 설명된 휘도 조정 표현으로, 대응하는 융합된 화상 라인 또는 스트립에서 각 화소에 부가하도록 처리된다.

다른 실시예에서, 처리 효율은 기준 센서 화상의 하나의 라인으로부터 평균 또는 결정된 휘도값을 사용하고, 기준 센서 화상(예를 들면, 대응하는 결정된 라인 위쪽 또는 아래쪽의 다음 라인)에서 결정된 라인에 대응하는 융합된 화상에서 라인에 인접한 처리되거나 또는 융합된 화상에서 라인에 대한 보정으로서 상기 값을 적용함으로써 증가될 수 있다. 상기 수단은 전형적으로, 연속되는 화상 라인들 사이에서 실질적으로 변화하지 않기 때문에, 후속하는 라인에 휘도값을 적용하는 것은 일반적으로 받아들일 수 있다. 그러나, 이러한 기술은 위쪽의 다음 라인(next line) 또는 아래쪽의 후속 라인(subject line), 또는 휘도 변화에 따라 기준 라인으로부터 분리된 다수개의 라인을 조정하기 위해 적용될 수 있다.

또한, 휘도 보정(luminance correction)은 장면 수평선(scene horizon)이 화상 수평선에 평행하지 않은 상황, 예를 들어, 비행체가 한쪽으로 롤(roll)하거나 뱅크(bank)하는 상황에 적응될 수 있다. 이 경우, 상기 장면 수평각 및 융기(elevation)는 일반적으로 비행체 배향 센서로부터 알려진다. 휘도 보정은 기준 센서로부터 계산되어 2차원의 검색표(lookup table)로서 저장될 수 있다. 상기 검색표로부터 얻은 보정은 융합된 화상(fused image)에 픽셀 대 픽셀의 방식으로 적용된다. 대기시간(latency) 및 처리시간을 최소화하기 위해서, 만일 전체 화상 검색표를 위한 충분한 메모리 저장 공급원이 가능한 경우, 표의 값을, 이전 프레임 동안 계산된 값을 기준으로 현재의 프레임에 적용할 수 있다. 이러한 요구조건들은, 대략 화상 프레임 크기에 상당하며, 예를 들어, 픽셀 센서 당 8 비트를 위해서는 320×240 바이트 또는 각각의 센서에 의해 생성되는 화상의 상세 내용에 따라 다른 크기에 상당한다.

센서 화상의 공간적 사전 필터링

영역(regions), 부분(portion) 또는 센서 화상도 콘트라스트 값을 비교하는 절차 및 선택 기준의 적용을 간략화하기 위해 필터링될 수 있다. 상기 필터링된 영역은 1(one) 미만의 수로 나타내어져서 융합된 화상에 대한 이들의 기여를 약화시키거나, 혹은 0으로 나타내어져서 상기 융합된 화상에 대한 기여를 완전히 제거하거나 혹은 처리 시간을 간락화하거나 감소시킬 수 있다.

필터링될 수 있는 화상 영역은, 융합된 화상에는 포함되지 않을 화상의 부분, 예를 들어, 레이더 센서의 경우 레이더 수평선 위의 영역을 포함한다. 만일 레이더 센서가 이용되는 경우, 일반적으로, 상기 레이더 수평선 이상 (즉, 레이더 센서의 탐지 한계를 초과하는 부분)에는 유용한 정보가 없으며, 근거리의 필드(적어도 가장 높은 고도에서)에는 거의 정보가 없다. 적외선 센서는 일반적으로 짧은 범위(근거리 필드)에서, 특히, 비 또는 안개와 같이, 센서가 투과할 수 없는 흐림(obscurant) 때문에 원거리 필드가 탐지할 수 없는 경우, 가장 효과적이다. 따라서, 레이더 또는 적외선 센서의 예와 함께, 상기 레이더 수평선 위 및 근거리 필드 내의 레이더 화상 영역은 예비 필터링될 수 있고, 원거리 필드내의 적외선 화상 영역은 예비 필터링될 수 있다. 다른 필드 및 영역은, 센서, 그에 따라 생성되는 최종 화상 및 사용자 또는 시스템의 요구에 따라, 필터링에 적합할 수 있다.

일반적인 공간상 필터를 도 12a 내지 12b에 도시하였다. 도 12a는 레이더 센서에 의해 생성된 화상를 위한 필터를 도시한 것이다. 특히, 상기 필터는 레이더 센서가 가장 덜 효과적인, 즉, 레이더 수평선(1200) 위의 정보 및 근거리 필드(1204)내의 정보를 제거하는 반면, 남아있는 레이더 센서 정보(1202)를 통과하도록 하고, 콘트라스트 맵(map)에 포함되도록 한다. 필터링된 데이터는 보다 어두운 영역(1200, 1204)으로 나타내진다. 비슷하게, 도 12b에서, 상기 필터는 적외선 센서가 덜 효과적인 곳, 즉, 원거리 필드(1212)내의 정보를 제거하는 반면, 남아있는 정보 (1210 및 1214)를 통과시켜 콘트라스트 맵 내에 포함시킨다. 도 12A-B는 필수적으로, 거의 보완적 (complementary) 필터를 나타내는 반면, 당업자는 상이한 센서/화상 조합의 경우, 항상 그러하지는 않다는 것을 이해할 것이다. 상이한 센서는 상이한 필터 기능을 필요로 할 수 있다.

화상 영역을 필터링하기 위한 기술은 공간-의존 α 및 β 가중 함수(weighting function)을 선택함에 의해 수행된다. 레이더와 적외선 화상와 관련된 실시예를 계속하면, 상기 가중함수는, 레이더 신호가 가장 강한 영역 내에서는 레이더 화상 기여를 오버 웨이팅(overweight)하고, 다른 곳에서는 적외선 신호를 오버 웨이팅하도록 선택될 수 있다.

상기 가중함수는 공간 필터 또는, 불필요한 결과(artifact)를 도입하지 않는 다른 평활함수(smoothing function), 예를 들어, 하기와 같은 1차원의 가우스 가중 함수를 통해 수행될 수 있다:

[상기 식에서, α_M 및 α_I는 가우스 함수의 최대 진폭(amplitude)이고 (통상, 1, 그러나, 다른 센서를 오버 웨이팅하거나 기초값(pedestal value) p _M 및 p _I을 보상하기 위해 다른 값을 사용할 수 있음);

b _M 및 b _I는 가우스 함수의 폭, 즉, 센서의 관심영역 또는 센서 정보가 클러스터링(clustering)되는 영역을 정하며;

y₀ 는, 필요한 경우, 가우스 함수의 중심을 수직 상하로 이동시킨다].

이러한 가중 함수의 보다 상세한 예는 도 13A-B에 나타내었다. 도 13A-B는, 각각의 레이더 및 적외선 센서를 위한 실시예 필터 투명도 분배의 플롯(1300, 1310)을 도시한 것이다. 각각의 플롯(1300, 1310)에서, 수평선 또는 x 축은 상응하는 화상에 따른 라인 또는 단면을 나타낸다. 수직선 또는 y축은 필터 투명도(filter transparency) 또는 전송능(transmission capability)을 나타낸다.

도 13A를 참조하면, 필터 플롯(1300)은 상응하는 도 13C 내에서의 수직 위치의 함수로서 필터 가중화(filter weighting)을 도시한다. 상기 플롯은 전송 값, 백분율 또는 비율을 도시한다: 0.0 (어떠한 데이터도 전송되지 않음), 0.2, 0.4, ...1.0 (모든 데이터가 전송됨). 따라서, 상기 실시예 필터는 레이더 화상의 가장 덜 효과적인 부분, 즉, 레이더 수평선 (1320) 위와 근거리 필드 (1324)내의 부분을 약화시키도록(de-emphasizing) 고안되었다. 그 결과, 높은 전송비(즉, 1.0)를 가진 필터가 레이더 화상의 가장 효과적인 부분에, 즉, 원거리 필드 내 또는 화상(1322)의 중간 섹션에 적용된다.

구체적으로, 레이다 필터의 일례는 총-콘트라스트 사이클: 화상의 중앙에서 최대 100% 투시도 및 화상의 상부 및 하부 에지에서 0% 투시도를 가지도록 구성된다. 예시적인 필터(filter)(1300)는 50 화소의 표준 편차로 구성된다. 사용되는 센서 및 원하는 필터링 효과에 따라 상이한 필터 구성 및 함수를 사용할 수 있다.

도 13b는 대응하는 도 13d의 수직 위치의 함수인 필터링 가충치를 나타낸 것이다. 이 필터(1310)는 적외선 필터의 적어도 유효 부분, 즉 중앙 화상 또는 원거리 대역(far-field band)(1332)을 디엠퍼시스하고 강한 영역(1330, 1334)을 엠퍼시스하도록 설계된다. 표본 적외선 필터는 75%의 최대 콘트라스트를 가지며, 이는 화상 중앙의 약 25% 투명도에서 상하 에지의 100% 까지 변화하며, 필터 함수(1300)와 동일한 50 픽셀의 표준 편차를 갖는다.

이 방식에서 가중치 센서 화상은 필수적으로 유용하고 관련 정보를 포함하는 화상 영역을 사전에 선택하고, 따라서 융합 화상 내에 포함하는 후보이다. 또한, 거의 정보를 입수할 수 없는 영역을 필터링함으로써 처리 시간을감소시킬 수 있다.

레이더 및 적외선 화상의 예에 계속하여, 화상의 사전 선택 또는 필터링은 도 14 (a) - (f)에 도시한다.

도 14 (a)는 레이더 센서가 생성한 원래의 레이더 화상(1400)을 나타내며, 중간 영역(1404) 또는 원거리는 영역(1402)(레이저 수평선 위) 및 영역(406)(근거리) (1406)과 비교되는 최대한의 정보를 포함한다. 도 14 (b)는 필터(1410)을 나타낸다. 필터는 레이더 화상의 영역(1404)에 대응하는 고속 전송부(1414)와 레이더 화상의 영역(1402, 1406)에 대응하는 저속 전송부(1412, 1416)를 포함한다. 따라서 필터 디엠퍼시스 영역(1402, 1406)에서 레이더는 효과가 최저이다. 도 14 (c)는 원거리 또는 중간 영역(1404)이 엠퍼시스되어 최대한 관련 정보를 제공하는 포스트 필터(post-filter) 레이더 화상(1420)을 나타낸다.

마찬가지로, 도 14 (d)는 적외선 센서가 생성한 원래의 적외선 화상(1430)을 나타낸다. 화상(1430)으로 알 수 있듯이, 상하 영역(1432)(레이더 수평선 위)과 영역(1436)(근거리)은 영역(1434)(원거리)과 비교되는 최대한의 정보를 포함한다. 도 14 (e)는 필터(1440)를 예시한다. 이 필터는 적외선 화상의 영역 (1432, 1436)에 대응하는 고속 전송부(1442, 1446)와 적외선 화상의 영역(1443)에 대응하는 저속 전송부(1444)를 포함한다. 따라서, 필터는 적외선의 효과가 최저인 영역(1434)을 디엠퍼시스한다. 도 14 (f)는 위의 레이더 수평선 영역(1432)와 근거리 영역(1436)이 최대한 관련 정보를 제공하도록 엠퍼시스되는 포스트 필터 적외선 화상를 나타낸다.

최적의 필터링을 위해 가중치 함수는 특정 시스템의 요구와 설계에 따라 상태 또는 연산 파리미터를 고려하여야 한다. 예를 들어, 도 15 (a) - (e)에 나타낸 바와 같이, 항공기의 경우, 필터링은 장면 수평선(scene horizon)의 회전을 초래하는항공기 롤(roll) 또는 다른 움직임(motions) 또는 방위(orientaions)의 함수일 수 있다. 따라서, 필터링은 가중치 함수의 방위에 의해 정합될 수 있다. 또한 필터링은 항공기 피치 및 고도의 함수일 수 있으며, 이들 모두는 유효 레이더 시야각에 영향을 미치고, 일반적으로 표준 편차 및 가중치 함수의 수직 위치에 영향을 미친다.

따라서, 도 15 (a)는 원래의 레이더 화상(1500)을 나타낸다. 도 15 (b)는 정상 상태, 즉 항공기 롤이 없는 상태의 가중치 또는 필터 함수(1510)를 나타낸다. 도 15 (c)는 포스트 필터 레이더 화상(1520)을 나타낸다. 따라서, 필터(1510)와 필터링된 레이더 화상(1520)는 장면 수평선에 평행하고 어떠한 각도 조정도 나타내지 않는다.

도 15 (d)는 약 5도의 항공기 롤을 반영하는 가중치 또는 필터 함수(1530)을 나타낸다. 더욱 구체적으로는, 필터의 전달 부분(transmissive portion)이 약 5도 회전되어 있다. 도 15 (e)는 약 5도의 항공기 롤을 고려하여 약 5도 회전되는 필터 함수를 반영하는 포스트 필터 레이더 화상(1540)을 타나낸다.

사전 필터링 결합, 콘트라스트 기반 화상 융함, 및 휘도 보정

센서 및 센서의 결과 품질 및 융합 화상에 따라, 공간 사전 필터링 및/또는 휘도 보정 처리를 화상 융합 처리의 일부로서 화상에 적용할 수 있다.

만약에 콘트라스 기반 화상 융합 및 휘도 보정만이 수행되면, 공간 사전 필터링이 일반적으로 먼저 수행된 다음, 콘트라스트 기판 센서 융합이 실행되고, 마지막으로 휘도 보정이 수행된다. 이러한 시퀀스는 처리 시간을 줄이면서 일반적으로 더욱 효과적인 융합 영향을 얻는다. 휘도 보정은 원하는 휘도 분포를 가장 근접하게 달성하고 후속하는 처리의 결과로서 화상 휘도 분포가 변화하는 것을 방지하기 위하여, 보통 사전 필터링과 콘트라스트 기반 융합를 모두 수행한 다음에 수행되어야 한다. 이런 방식으로 이 기술들을 적용함으로써, 파이프라인 지연 및 데이터 잠복(latency)를 최소화하여 시스템 성능을 향상시킨다. 이러한 향상은 화상, 즉 에어본(airbone), 파일럿인더루프(pilot-in-the-loop) 애플리케이션 또는 실시간 화상 처리를 사용하는 다른 애플리케이션을 포함하는 시간 집중 상황에서 특히 유용할 수 있다.

이상의 설명에서 바람직한 실시예에 대해 언급하였지만, 화상 처리 시스템 설계분야의 당업자는 첨부된 특허청구범위의 발명을 벗어나지 않고 기술된 바람직한 실시예에 대한 변경, 개조 및 대체할 수 있음을 알 것이다.

따라서, 바람직한 실시예는 항공기와 관련하여 레이더와 적외선 센서의 두 화상의 처리로써 주로 설명하였지만, 이 기술분야의 당업자는 다른 유형의 호상, 결합, 및 센서의 수가 사용될 수 있음을 알 것이다. 예를 들어, 2개의 센서 대신에, 시스템은 3개, 4개, 5개 또는 기타 개수의 센서로 구현될 수 있다. 또한, 레이더와 적외선 센서 대신에, 시스템은 서로 다른 파장으로 동일한 종류의 센서, 자외선 센서, 능동 또는 수동 무선 주파수(RF) 시스템; 초음파 센서, 기시대역 센서, 예를 들어 저광 레벨(low-light level) 가시 대역 센서, 전하 결합 소자(CCD), 또는 컬러나 그레이스케일 카메라로부터의 화상을 처리할 수 있다. 또한 이 기술분양의 당업자는 본 발명의 화상 융합 시스템 및 방법이 항공기 화상 처리 외의 다른 애플리케이션에 사용될 수 있음을 알 것이다. 예를 들어, 본 발명의 시스템 및 방법은 기타 이동 수단(moving vehicles), 의학적 절차, 감독, 및 기타 감시와 복수의 화상 또는 센서를 포함하는 화상처리 애플리케이션과 관련하여 사용될 수 있다. 또, 이 기술 분야의 당업자는 융합 또는 가공 화상이 다양한 선택 기준 또는 처리. 표본 기준(example criteria)인 최고 또는 최대 콘트라스트 값에 기초하여 형성된다는 것을 인식할 것이다.

Claims

각각의 화상이 각각의 센서로부터 생성되는 복수의 화상을 이용하여 가공된 화상을 형성하는 방법에 있어서,

상기 각각의 화상을 복수의 화상 영역으로 분할하는 단계;

상기 각각의 화상 영역에 대한 콘트라스트 값을 포함하는 콘트라스트 맵을 상기 각각의 화상에 대해 생성하는 단계;

상기 가공된 화상에서 사용하기 위한 화상 영역을 선택하기 위해, 상기 콘트라스트 값에 선택 처리를 적용하는 단계; 및

상기 선택된 화상 영역을 가지고 상기 가공된 화상을 형성하는 단계;

를 포함하는 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 복수의 화상 영역으로 분할하는 단계는, 화소-대-화소에 기초하여, 각각의 화상을 화소 블록 또는 소정 형상의 영역으로 분할하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 콘트라스트 맵을 생성하는 단계는, 상기 콘트라스트 맵의 콘트라스트 값을 결정하기 위해 콘볼루션(convolution)을 행하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제3항에 있어서,

상기 콘볼루션을 행하는 단계는, 커널(Kernel) Kc를 가지고 다음과 같이 표시되는 콘볼루션:

(여기서,

S1은 제1 화상의 화상 영역을 나타내고,

S2는 제2 화상의 화상 영역을 나타내며,

(x,y)는 상기 화상의 공간 좌표를 나타낸다.)

을 행하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 각각의 센서는 서로 다른 파장을 검출하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 복수의 센서는 적외선(IR) 센서 및 레이다 센서를 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 복수의 센서는 적외선(IR) 센서 및 자외선(UV) 센서를 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 복수의 센서는 레이다 센서 및 자외선(UV) 센서를 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 복수의 화상은 둘 이상의 적외선 센서에 의해 생성되고, 상기 각각의 적외선 센서는 서로 다른 파장을 검출하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 선택 처리를 적용하는 단계는, 두 개의 각 화상으로부터의 두 개의 대응하는 화상 영역의 서로 겹합하는 콘트라스트 값을 비교하는 단계를 포함하는, 가공된 화상을 형성하는 방법.
제10항에 있어서,

상기 선택 처리는 상기 경합하는 콘트라스트 값 중 더 큰 것을 선택하도록 동작하는, 가공된 화상을 형성하는 방법.
제10항에 있어서,

상기 경합하는 콘트라스트 값을 비교하는 단계는, 중첩하는 화상 영역의 대응하는 콘트라스트 값을 비교하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 가공된 화상을 형성하기 위해 각각의 제1, 제2 및 제2 센서의 콘트라스트 맵의 콘트라스트 값을 함께 비교하는, 가공된 화상을 형성하는 방법.
제13항에 있어서,

제1 및 제2 센서 화상으로부터의 콘트라스트 값을 식별하여 중간 콘트라스트 맵을 형성하는 단계;

상기 중간 콘트라스트 맵의 콘트라스트 값 및 제3 센서 화상의 콘트라스트 맵의 콘트라스트 값에 선택 처리를 적용하는 단계; 및

상기 선택된 화상 영역을 가지고 상기 가공된 화상을 형성하는 단계;

를 더 포함하는, 가공된 화상을 형성하는 방법.
제14항에 있어서,

상기 제1 및 제2 센서는 적외선 센서를 포함하고, 상기 제3 센서는 레이다 센서를 포함하는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

센서 화상이 이동 수단으로부터의 광경을 디스플레이하는, 가공된 화상을 형성하는 방법.
제16항에 있어서,

상기 이동 수단은 비행기, 배, 자동차 또는 기차인, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 가공된 화상의 하나 이상의 영역의 광도(intensity)를 조정하는 단계를 더 포함하는 가공된 화상을 형성하는 방법.
제18항에 있어서,

상기 광도 조정의 정도(degree)를 가중화(weighting)시키는 단계를 더 포함하는 가공된 화상을 형성하는 방법.
제18항에 있어서,

상기 광도를 조정하는 단계는, 상기 가공된 화상을 가로 질러 상기 광도를 조정하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제18항에 있어서,

상기 가공된 화상을 가로 질러 상기 강도를 조정하는 단계는,

기준 센서로서 하나의 센서를 선택하는 단계;

상기 기준 센서 화상의 각 영역의 평균 광도를 결정하는 단계; 및

상기 결정된 평균 휘도 값과 상기 가공된 화상의 광도 값을 조합함으로써, 상기 가공된 화상 내의 하나 이상의 영역의 광도를 조정하는 단계;

를 더 포함하는, 가공된 화상을 형성하는 방법.
제21항에 있어서,

상기 센서는 레이다 센서 및 적외선 센서를 포함하고, 상기 기준 센서는 레이다 센서를 포함하는, 가공된 화상을 형성하는 방법.
제21항에 있어서,

상기 센서는 레이다 센서 및 적외선 센서를 포함하고, 상기 기준 센서는 적외선 센서를 포함하는, 가공된 화상을 형성하는 방법.
제21항에 있어서,

상기 가공된 화상 내의 하나 이상의 영역의 광도를 조정하는 단계는, 평균 광도가 결정된 상기 기준 센서 화상의 라인에 대응하는 상기 가공된 화상의 라인의 광도를 조정하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제24항에 있어서,

상기 가공된 화상의 하나 이상의 라인의 광도를 조정하는 단계는, 평균 광도가 결정된 상기 기준 센서 화상의 동일한 라인에 대응하는 상기 가공된 화상의 라인에 인접하는 상기 가공된 화상의 라인의 광도를 조정하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제21항에 있어서,

장면 수평선이 화상 수평선에 대한 상대적인 각도로 재배치되고,

화소-대-화소에 기초하여 상기 기준 센서 화상의 평균 광도를 결정하는 단계; 및

화소-대-화소에 기초하여 상기 가공된 화상의 광도를 조정하는 단계;

를 더 포함하는, 가공된 화상을 형성하는 방법.
제26항에 있어서,

상기 장면 수평선은 롤(roll), 뱅크(bank), 요(yaw) 또는 피치(pitch) 움직임으로 인해 재배치되는, 가공된 화상을 형성하는 방법.
제1항에 있어서,

상기 각각의 화상에 대한 콘트라스트 맵을 생성하기 전에, 하나 이상의 화상의 영역을 필터링하는 단계를 더 포함하는 가공된 화상을 형성하는 방법.
제28항에 있어서,

상기 필터링하는 단계는, 선택된 화상 영역을 가중시킴으로써 각 화상의 영역을 공간적으로 필터링하는 단계를 더 포함하는, 가공된 화상을 형성하는 방법.
제29항에 있어서,

하나의 센서는 레이다 센서를 포함하고, 상기 공간 필터링은 레이다 수평선 위의 화상 영역을 필터링함으로써 실행되는, 가공된 화상을 형성하는 방법.
복수의 화상을 결합하여 최종 화상을 형성하는 시스템에 있어서,

각각의 화상을 생성하는 복수의 센서들; 및

프로세서;

를 포함하고,

상기 프로세서는,

상기 각각의 화상을 복수의 화상 영역으로 분할하고,

상기 각각의 화상 영역에 대한 콘트라스트 값을 포함하는 콘트라스트 맵을 상기 각각의 화상에 대해 생성하며,

상기 가공된 화상에서 사용하기 위한 화상 영역을 선택하기 위해, 상기 콘트라스트 값에 선택 처리를 적용하고,

상기 선택된 화상 영역을 가지고 상기 가공된 화상을 형성하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 프로세서는, 상기 각각의 화상을, 각각의 화소로, 화소군으로, 또는 소정 형상의 영역으로 분할하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 프로세서는, 상기 콘트라스트 맵의 콘트라스트 값을 결정하기 위해 콘볼루션(convolution)을 행함으로써 상기 콘트라스트 맵을 생성하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제33항에 있어서,

상기 프로세서는, 커널(Kernel) Kc를 가지고 다음과 같이 표시되는 콘볼루션:

(여기서,

S1은 제1 화상의 화상 영역을 나타내고,

S2는 제2 화상의 화상 영역을 나타내며,

(x,y)는 상기 화상의 공간 좌표를 나타낸다.)

을 행하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제34항에 있어서,

상기 각각의 센서는 서로 다른 파장을 검출하는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 복수의 센서는 적외선(IR) 센서 및 레이다 센서를 포함하는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 복수의 센서는 적외선(IR) 센서 및 자외선(UV) 센서를 포함하는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 복수의 센서는 레이다 센서 및 자외선(UV) 센서를 포함하는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 복수의 화상은 둘 이상의 적외선 센서에 의해 생성되고, 상기 각각의 적외선 센서는 서로 다른 파장을 검출하는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 프로세서는, 또한, 두 개의 각 화상으로부터의 두 개의 대응하는 화상 영역의 서로 겹합하는 콘트라스트 값을 비교하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제40항에 있어서,

상기 프로세서는, 또한, 상기 경합하는 콘트라스트 값 중 더 큰 것을 선택하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제40항에 있어서,

상기 프로세서는, 중첩하는 화상 영역의 대응하는 콘트라스트 값을 비교하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 가공된 화상을 형성하기 위해 각각의 제1, 제2 및 제2 센서의 콘트라스트 맵의 콘트라스트 값을 함께 비교하는, 최종 화상을 형성하는 시스템.
제43항에 있어서,

상기 프로세서는, 또한,

제1 및 제2 센서 화상으로부터의 콘트라스트 값을 식별하여 중간 콘트라스트 맵을 형성하고,

상기 중간 콘트라스트 맵의 콘트라스트 값 및 제3 센서 화상의 콘트라스트 맵의 콘트라스트 값에 선택 처리를 적용하며,

상기 선택된 화상 영역을 가지고 상기 가공된 화상을 형성하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제44항에 있어서,

상기 제1 및 제2 센서는 적외선 센서를 포함하고, 상기 제3 센서는 레이다 센서를 포함하는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

센서 화상이 이동 수단으로부터의 광경을 디스플레이하는, 최종 화상을 형성하는 시스템.
제46항에 있어서,

상기 이동 수단은 비행기, 배, 자동차 또는 기차인, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 프로세서는, 또한, 상기 가공된 화상의 하나 이상의 영역의 광도(intensity)를 조정하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제48항에 있어서,

상기 프로세서는, 상기 가공된 화상을 가로 질러 상기 광도를 조정하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제49항에 있어서,

상기 프로세서는, 상기 광도 조정의 정도(degree)를 가중화(weighting)시키도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제59항에 있어서,

상기 프로세서는, 또한,

기준 센서로서 하나의 센서를 선택하고,

상기 기준 센서 화상의 각 영역의 평균 광도를 결정하며,

상기 결정된 평균 휘도 값과 상기 가공된 화상의 광도 값을 조합함으로써, 상기 가공된 화상 내의 하나 이상의 영역의 광도를 조정하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제51항에 있어서,

상기 센서는 레이다 센서 및 적외선 센서를 포함하고, 상기 기준 센서는 레이다 센서를 포함하는, 최종 화상을 형성하는 시스템.
제51항에 있어서,

상기 센서는 레이다 센서 및 적외선 센서를 포함하고, 상기 기준 센서는 적외선 센서를 포함하는, 최종 화상을 형성하는 시스템.
제51항에 있어서,

상기 프로세서는, 평균 광도가 결정된 상기 기준 센서 화상의 라인에 대응하는 상기 가공된 화상의 라인의 광도를 조정하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제51항에 있어서,

상기 프로세서는, 평균 광도가 결정된 상기 기준 센서 화상의 동일한 라인에 대응하는 상기 가공된 화상의 라인에 인접하는 상기 가공된 화상의 라인의 광도를 조정하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제51항에 있어서,

장면 수평선이 화상 수평선에 대한 상대적인 각도로 재배치되고,

상기 프로세서는, 또한,

화소-대-화소에 기초하여 상기 기준 센서 화상의 평균 광도를 결정하고,

화소-대-화소에 기초하여 상기 가공된 화상의 광도를 조정하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제56항에 있어서,

상기 장면 수평선은 롤(roll), 뱅크(bank), 요(yaw) 또는 피치(pitch) 움직임으로 인해 상기 화상 수평선에 대해 상대적으로 재배치되는, 최종 화상을 형성하는 시스템.
제31항에 있어서,

상기 프로세서는, 하나 이상의 화상의 영역을 필터링하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제58항에 있어서,

상기 프로세서는, 선택된 화상 영역을 가중시킴으로써 각 화상의 영역을 필터링하도록 구성되어 있는, 최종 화상을 형성하는 시스템.
제58항에 있어서,

하나의 센서는 레이다 센서를 포함하고,

상기 프로세서는, 또한, 레이다 수평선 위의 화상 영역을 공간적으로 필터링하도록 구성되어 있는, 최종 화상을 형성하는 시스템.