KR20240000520A - 타겟 추적 시스템 - Google Patents

Abstract

타겟을 추적하는 시스템 및 방법. 획득 및 추적 센서(ATS)는 타겟의 이미지를 지속적으로 캡처하는 넓은 시야(FOV) 카메라 시스템을 포함한다. ATS는 중파 적외선 추적기가 될 수 있다. ATS는 추적할 타겟을 식별하고 추적할 타겟에 신호를 보낸다. FTS(정밀 추적 센서)는 좁은 FOV 카메라 시스템을 포함한다. FTS는 단파 적외선 추적기일 수 있다. FTS는, ATS에 의해 타겟이 신호를 받은 후, 타겟 주위에 좁은 FOV의 중심을 지속적으로 다시 지정한다. ATS와 FTS는 각 카메라 시스템에 대한 독립적인 조향 메커니즘(steering mechanism)을 포함한다.

Description

타겟 추적 시스템

본 발명은 고에너지 레이저(HEL) 시스템을 사용하여 객체 검출과 관련되고 특히 타겟 타겟팅화 시스템과 관련된다.

고에너지 레이저(HEL) 무기 시스템(weapons systems)은 레이저 빔(laser beam)을 타겟에 정확하게 조준(point)하기 위한 정밀 추적 시스템(fine tracking system)이 필요하다. 자동으로 또는 오퍼레이터의 도움을 받아 짐벌 센서(gimbaled sensor) 주변의 추적 루프를 닫아 정밀 추적 시스템에 신호를 보내고 지시하도록 타겟을 획득하고 추적하려면 광역 중적외선 카메라 시스템(wide area medium infrared camera system)이 필요하다. 광역 카메라 시야는 다른 관심 타겟을 포함하고, 크기가 작은 경우(박격포 및 UAS의 경우) 어수선한 배경으로 가려지고, 다양한 조명 조건으로 처리한다. 광역 추적 시스템(wide area tracking system)은, HEL 교전 중에, 재획득, 전투 손상 평가 및 주 타겟이 파괴된 후 다른 타겟의 획득을 위해 지속적으로 추적(track)해야 한다. 추적 하에 있는 타겟은 기동하고, HEL 빔 가열 효과(beam heating effect)를 방출하고, 다양한 조명을 가지며, 부서진다.

현재 적외선(IR) 및 가시광선 추적 알고리즘과 시스템은 타겟의 개방 루프 또는 폐쇄 루프 추적을 위해 설계되었지만 HEL 임무 요구 사항에는 적합하지 않다. 예를 들어, 타겟이 가열되는 동안, 이미지 아티팩트가 나타나 컴퓨터 비전 및/또는 기존 상관관계 추적기 기술(correlation tracker techniques)에 영향을 미치는 타겟 모양을 모호하게 만든다. 이러한 추적기(trackers)는 여러 타겟에 대한 추적을 제공하지만, 파괴 중 분리되어 이동하여 타겟 잠금 해제(target break lock)되는 경우 공간적으로 분리되는 타겟의 여러 조각을 추적하지 않는다. 이로 인해 타겟에 대한 손상을 정확하게 평가하는 것이 불가능하다. 따라서 이러한 추적기는 일반적으로 타겟을 추적하도록 설계되었지만, 전투 손상이나 타겟 사살을 표시할 수 있는 방식으로 타겟을 추적하도록 구비되어 있지 않다.

또한, 로켓이나 박격포와 같이 빠르게 움직이는 타겟과 교전하려면 HEL 무기 시스템이 HEL 빔을 조준하도록 타겟 목표점(target aimpoint)을 자동으로 획득, 추적 및 제공해야 한다. 추적 하에 있는 타겟은 상대적으로 고정되어 있거나 어수선한 배경에서 기동하고, HEL 빔 가열 효과를 방출하고, 수동적으로 또는 능동 조명기(illuminator)에서 다양한 조명을 가지며, 이 모든 것은 잠금 해제 추적(track break lock)을 유발하는 상관관계에 사용되는 타겟 서명(target signature)에 부정적인 영향을 통합하여 상관관계 추적기(correlation tracker) 성능에 영향을 미친다. 박격포와 로켓의 경우 타겟을 추적하는 것은, 더 큰 타겟 크기(target dimensions)가 필요한 기존 컴퓨터 비전 기술의 사용을 제한하는, 주어진 픽셀 크기에서 매우 작을 수 있다. 가장 중요한 것은, 타겟이 HEL 효과로 인해 뜨거워지면, 타겟의 핫스팟(hot spot)은 기존 추적 기술이 타겟 특징에 대한 잠금을 잃고 추적 드리프트(track drift) 및 궁극적으로 타겟 목표점에 대한 잠금 해제를 유발하는 HEL 빔에 의해 생성된 핫스팟을 추적하게 만들 것이다.

현재의 반능동 또는 수동 타겟 이미징 추적기(semi-active or passive target imaging trackers)는 통합 또는 고정 타겟 레퍼런스에 대한 프레임 간 상관관계를 기반으로 하며 어수선한 배경 및 타겟 측면 변경(target aspect change)에서 추적 잠금을 해제한다. 잠금 해제(Break Lock)는, 손상된 타겟 정보를, 타겟과 레퍼런스 사이의 상관관계 측정을 손상시키는, 통합 타겟 레퍼런스로 피드백하는 것으로부터 발생한다. 타겟 레퍼런스 업데이트의 부정적인 영향을 완화하기 위한 일부 접근 방식은, 레퍼런스에 통합하기 전에 타겟의 SNR 기반 임계값 뿐만 아니라 (CV) 기술을 사용하여 이미지로부터 타겟의 회전 및 크기를 추정하는 방법을 포함한다. 대부분의 CV는 작은 타겟 및 역학 강도 변화에 적합하지 않으며, 잠금 해제 추적(track break lock) 및 손상된 추정 추적(corrupted track estimate)을 유발한다.

또한, HEL 가열로 인해 추적 타겟 위치(track target position)를 바이어스하고, 추적기로 하여금 잠금 목표점 특징(lock aimpoint features)을 잃게 하여 추적된 위치가 타겟에서 벗어나게 함으로써 타겟의 핫스팟에서 잠금 해제가 발생한다. 다른 사람들은 이미지에서 핫스팟을 제거하거나 타겟의 예상 핫스팟 근처에 있지 않은 타겟의 추적 위치를 찾아 이 문제를 해결하려고 시도했다. 이미지의 핫스팟을 제거하는 접근 방식은, 핫스팟 크기 증가 및 강도 증가 또는 동적 범위 압축 및 강도 증가로 인한 채도와 같은 시간적 효과를 설명하지 않으며, 이 모두는 추적점 손상 및 잠금 해제를 유발한다. 핫스팟에서 오프셋된 타겟 특징들을 활용하는 접근 방식은 제한적이며 위치 및 SNR이 일관되지 않아 HEL 가열 중에 브레이크 잠금이 발생할 수 있다.

HEL 무기 시스템은 정밀성(precision)과 초고속 타겟 목표점 추적이 필요하다. 중심 기반 추적 및 상관기 기반 추적을 포함한 정밀성 추적 접근 방식(Precision tracking approaches)은 클러터(clutter) 및 노이즈에 대한 성능과 견고성으로 알려져 있다. 상관관계 추적기는 타겟의 레퍼런스 맵(reference map)과 현재 입력 이미지 간의 시프트(shift)를 추정한다. 이러한 시프트는, 다양한 시스템 레이저 빔 조준(beam pointing) 및 추적 기능(tracking functions)을 위한 필터링 알고리즘에 조준(pointing)을 제공한다. 타겟 맵과 레퍼런스 맵의 상호 상관을 추정하기 위한 가장 효율적인 계산 구현은 2D(FFT)를 사용하여 수행된다. 최첨단 HEL 추적 애플리케이션의 경우 타겟 영역은 일반적으로 배경에서 분리되어 배경 혼란으로 인해 추정치가 손상되는 것을 줄인다. 타겟의 크기와 모양은 교전 기간 동안 변경될 수 있다. 구현에 사용되는 2D FFT 크기는 고속 이미지 추적 및 후속 레이저 빔 조준을 위한 계산 시간과 대기 시간을 최소화하기 위해 타겟 크기에 맞게 조정되어야 한다. FFT 상관기(correlator)는 처리가 제한된 실시간 장치에서 매우 높은 실행(프레임) 속도로 2D FFT 작업을 실시간으로 실행해야 한다. 추가 실행 시간은 알고리즘 처리 타임라인에 영향을 미치고 추적 임무를 방해한다.

이전 시도에서는 크기가 변경되는 2D FFT 계획을 실시간으로 생성하는 데 따른 실행 시간 단축을 피할 수 없는 비용으로 받아들이거나 계획 생성 비용을 최소화하기 위해 최적이 아닌 예측 계획 크기를 선택했다. 다른 접근법은 모든 유입 신호 크기(incoming signal sizes)를 포괄하는 대형 FFT를 생성하며 결과는 실행 후 추출된다. 또 다른 시도에서는 추측을 바탕으로 일련의 계획을 만들고 최적의 크기나 실행을 보장하지 않고 가장 가까운 계획을 선택했다. 마지막으로, 접근 방식에서는 노이즈와 클러터에 민감한 타겟의 이진 또는 임계값 표현을 사용하여 상관기(correlator)의 계산 부하를 줄였다.

적어도 하나의 측면에서, 본 기술은 타겟을 추적하는 타겟 추적 시스템(target tracking system)에 관한 것이다. 시스템은 타겟(target)의 복수의 이미지를 연속적으로 캡처하도록 구성된 적어도 하나의 이미징 시스템(imaging system)을 포함한다. 시스템은 이미지로부터 클러터 및 노이즈를 필터링하고, 타겟의 중심(centroid)을 결정하고, 이미지에 기초하여 타겟의 복수의 순환 레퍼런스 이미지(recursive reference images)를 생성하기 위해 제1 추적기 모드(first tracker mode)를 실행하도록 구성된 중심 추적기(centroid tracker)를 포함한다. 시스템은 타겟의 연속적인 이미지 사이의 시프트를 결정하고 타겟 추적 시스템을 타겟에 조준을 위한 오프셋을 생성하기 위해 제2 추적기 모드(second tracker mode)를 실행하도록 구성된 상관기 추적기(correlator tracker)를 포함한다. 상관기 추적기는 제1 추적기 모드가 실행 중일 때 순환 레퍼런스 이미지를 활용한다. 시스템은 제1 추적기 모드와 제2 추적기 모드를 동시에 실행하고, 추적기 모드의 장애(failure) 여부를 모니터링하여 타겟을 추적하도록 구성된다. 추적기 모드 중 하나에서 장애가 검출되면 시스템은 장애가 검출되지 않은 추적기 모드만 실행한다.

일부 실시예에서, 시스템은 고에너지 레이저(HEL) 조정 모듈(high energy laser (HEL) adjustment module)을 포함한다. HEL 조정 모듈은 두 개의 스테이지(stages)를 실행하도록 구성된다. 제1 스테이지에서는 가열 효과(heating effect)로 인한 이미지 내 타겟의 공간 패턴 내 강도 변화를 검출하여 HEL 영향 영역을 식별한다. 강도 변화가 검출된 후, 제2 스테이지에서는 HEL 조정(adjustment)을 켜서 이미지 내 타겟의 공간 패턴 내에서 가열 효과를 제거한다. 일부 경우에, HEL 조정이 켜져 있을 때, 시스템이 HEL 영향 지역 내에 있지 않은 타겟 영역만을 사용하여 타겟을 추적하도록 추가로 구성된다. 일부 실시예에서, 시스템은 HEL 영향 영역에 기초하여 순환 레퍼런스 이미지를 업데이트하도록 추가로 구성된다. 일부 경우에, HEL 조정 모듈(adjustment module)이 켜져 있을 때, 시스템이 이미지 내 타겟의 피크 강도(peak intensity)를 지속적으로 모니터링하고 이미지 내 타겟의 피크 강도를 기반으로 시스템 파라미터를 업데이트하도록 구성된다. 일부 실시예에서, HEL 조정 모듈이 켜져 있을 때, 이미징 시스템은 이미지 내 타겟의 피크 강도를 미리 결정된 범위 내에서 유지하기 위해 이미지 내 타겟의 피크 강도에 기초하여 센서 게인(sensor gains)을 조정하도록 구성된다.

일부 실시예에서, 상관관계 추적기(correlation tracker)는 중심 추적기의 속도에 비해 비교적 빠른 속도로 실행된다. 일부 경우에, 시스템은 상관기 추적기(correlator tracker) 및 중심 추적기의 데이터를 융합하여 타겟의 현재 상태를 추정하도록 구성된 타겟 상태 추정기(target state estimator)를 포함한다. 중심 추적기와 상관기 추적기는 이후에 타겟의 추정된 현재 상태에 의존하도록 구성될 수 있다.

일부 실시예에서, 시스템은 타겟의 불규칙한 움직임을 확인하고 타겟에 대한 목표점(aimpoint)을 결정하도록 구성된 시선 관리자(line-of-sight manager)를 포함한다. 제1 추적기 모드와 제2 추적기 모드가 동작할 때, 목표점은 상관기 추적기의 시프트와 HEL 모듈의 업데이트에 의해 조정된 중심 추적기의 중심 위치를 기반으로 한다. 시스템은 또한 HEL을 포함할 수 있으며, 시선 관리자는 HEL을 조준하기 위한 목표점에 대한 제2 오프셋(second offset)을 결정하도록 구성될 수 있다. 그런 다음 시스템은 제2 오프셋과 목표점을 기반으로 타겟에 HEL을 조준(point)할 수 있다.

일부 실시예에서, 시스템은 시스템이 타겟을 찾는 이미지 내의 경계를 설정하는 게이트를 활용한다. 시스템은 연속적인 순환 레퍼런스 이미지 간의 시프트를 기반으로 게이트 크기를 지속적으로 조정할 수 있다. 일부 경우에, 게이트가 두 개의 개의 동심원 영역(concentric areas)으로 구성된다. 제1 동심 영역(first concentric area)은 타겟 위치(target position)를 결정하는 데 사용되는 타겟 크기의 추정 범위 주변의 버퍼(buffer)이다. 제2 동심 영역(second concentric area)은 제1 동심 영역 주위의 고리(annulus)이다. 시스템은 제2 동심 영역을 기반으로 배경을 추정할 수 있다.

적어도 하나의 측면에서, 본 기술은 타겟 추적 시스템을 이용하여 타겟을 추적하는 방법에 관한 것이다. 이 방법은 적어도 하나의 이미징 시스템을 사용하여 타겟의 복수의 이미지를 연속적으로 캡처하는(capturing) 단계를 포함한다. 방법은, 중심 추적기를 사용하여 제1 추적기 모드를 실행하는 단계를 포함하며, 제1 추적기 모드는 이미지로부터 클러터(clutter) 및 노이즈를 필터링하고, 타겟의 중심을 결정하고, 이미지에 기초하여 타겟의 복수의 순환 레퍼런스 이미지를 생성하는 것을 포함한다. 방법은 또한 상관기 추적기를 사용하여 제2 추적기 모드를 실행하는 단계를 포함하며, 제2 추적기 모드는 타겟의 연속적인 이미지 사이의 시프트를 결정하고 타겟에 타겟 추적 시스템을 조준하기 위한 오프셋을 생성하는 것을 포함하며, 상관기 추적기는 제1 추적기 모드가 실행 중일 때 순환 레퍼런스 이미지를 활용한다. 마지막으로, 방법은 제1 추적기 모드와 제2 추적기 모드를 동시에 실행하여 시스템으로 타겟을 추적하는(tracking) 단계 및 장애에 대한 추적기 모드를 모니터링하는 단계, 및 추적기 모드 중 하나에서 장애가 검출되면, 장애가 검출되지 않은 추적기 모드만 실행하는(running) 단계를 포함한다.

일부 실시예에서, 방법은 고에너지 레이저(HEL) 조정 모듈을 두 개의 스테이지로 실행하는 단계를 포함한다. 제1 스테이지는 HEL 영향 영역을 식별하기 위해 가열 효과로 인한 이미지 내 타겟의 공간 패턴 내 강도 변화를 검출하는 것을 포함한다. 강도 변화가 검출된 후, 제2 스테이지는, 이미지 내 타겟의 공간 패턴 내에서 가열 효과를 제거하기 위해 HEL 조정을 켜는 것을 포함한다. 일부 경우에, HEL 조정을 켠 후, 방법은, HEL 영향 영역 내에 있지 않은 타겟 영역만을 사용하여 타겟을 추적하는 단계를 포함한다. 그런 다음 순환 레퍼런스 이미지는 HEL 영향 영역을 기반으로 업데이트된다. 일부 실시예에서, HEL 조정을 켠 후, 방법은, 이미지 내 타겟의 피크 강도를 지속적으로 모니터링하는 단계 및 이미지 내 타겟의 피크 강도에 기초하여 시스템의 파라미터를 업데이트하는 단계를 포함한다. 일부 경우에, HEL 조정을 켠 후, 방법은, 이미지 내 타겟의 피크 강도를 미리 결정된 범위 내로 유지하기 위해 이미지 내 타겟의 피크 강도에 기초하여 이미징 시스템의 센서 게인을 조정하는 단계를 포함한다.

일부 실시예에서, 상관관계 추적기(correlation tracker)는 중심 추적기의 속도에 비해 비교적 빠른 속도로 실행된다. 방법은 타겟 상태 추정기(target state estimator)로, 상관기 추적기 및 중심 추적기로부터의 데이터를 융합함으로써 타겟의 현재 상태를 추정하는 단계를 포함할 수 있다. 중심 추적기와 상관기 추적기는 이후에 타겟의 추정된 현재 상태에 의존하도록 구성될 수도 있다.

일부 실시예에서, 방법은 타겟의 불규칙한 움직임(irregular motion)을 확인하는(checking) 단계 및 시선 관리자를 사용하여 타겟에 대한 목표점을 결정하는(determining) 단계를 포함한다. 제1 추적기 모드와 제2 추적기 모드가 동작 중일 때, 목표점은 상관기 추적기의 오프셋과 HEL 모듈의 업데이트에 의해 조정된 중심 추적기의 중심 위치를 기반으로 한다. 방법은, HEL을 목표로하기 위한 목표점(aimpoint)에 대한 제2 오프셋(second offset)을 결정하고, 제2 오프셋 및 목표점에 기초하여 HEL을 타겟에 목표로하는(aiming) 단계를 더 포함할 수 있다.

일부 실시예에서, 방법은 시스템이 타겟을 찾는 이미지 내 경계의 윤곽을 나타내는 복수의 게이트를 결정하는 단계를 포함한다. 그런 다음 연속적인 순환 레퍼런스 이미지 간의 시프트에 따라 게이트의 크기가 지속적으로 조정된다. 일부 경우에, 게이트는 두 개의 동심 영역을 포함한다. 제1 동심 영역(first concentric area)은 타겟 위치(target position)를 결정하는 데 사용되는 타겟 크기의 추정 범위 주변의 버퍼(buffer)이다. 제2 동심 영역(second concentric area)은 제1 동심 영역 주위의 고리(annulus)이다. 시스템은 제2 동심 영역을 기반으로 배경을 추정할 수 있다.

적어도 하나의 측면에서, 본 기술은 ATS 및 FTS를 이용하여 타겟을 추적하기 위한 타겟 추적 시스템(target tracking system)에 관한 것이다. ATS는 타겟의 이미지를 지속적으로 캡처하는 넓은 시야(FOV) 카메라 시스템을 포함한다. ATS는 추적할 타겟을 식별하고 추적할 타겟에 신호를 보내도록 구성된다. FTS는 좁은 FOV 카메라 시스템을 포함한다. FTS는, ATS에 의해 타겟이 신호를 받은 후, 타겟 주위에 좁은 FOV 카메라 시스템의 중심을 지속적으로 다시 지정한다. ATS와 FTS는 각 카메라 시스템에 대한 독립적인 조향 메커니즘(steering mechanism)을 포함한다.

일부 실시예에서, 타겟 추적 시스템은 고에너지 레이저(HEL) 추적 시스템이다. ATS는 MWIR 추적기일 수 있고 FTS는 SWIR 추적기일 수 있다. SWIR은 이미지로부터 클러터와 노이즈를 필터링하고, 타겟의 중심을 결정하고, 이미지에 기초하여 타겟의 복수의 순환 레퍼런스 이미지를 생성하도록 구성된 중심 추적기를 포함할 수 있다. SWIR는 타겟의 연속적인 순환 레퍼런스 이미지 간의 시프트를 결정하고 타겟의 목표점에 대한 오프셋을 생성하는 상관기 추적기를 포함할 수도 있다. 일부 실시예에서, 시스템은 타겟 상태 추정기를 포함할 수 있다. 타겟 상태 추정기는 상관기 추적기, 중심 추적기, MWIR의 데이터를 융합하여 타겟의 현재 상태를 추정하도록 구성될 수 있으며, 추정된 타겟의 현재 상태를 기반으로 순환 레퍼런스 이미지가 업데이트될 수 있다. 일부 경우에, SWIR 추적기는 고속 SWIR 카메라 시스템과 저속 SWIR 카메라 시스템을 포함하고 MWIR 카메라 시스템은 저속 MWIR 카메라 시스템을 포함한다.

일부 실시예에서, FTS는, 타겟의 복수의 세그먼트를 포함하는, 타겟의 복수의 특징을 추적하도록 구성된다. 시스템은 HEL 추적 시스템일 수 있으며 HEL 빔을 포함할 수 있다. 그런 다음 시스템은 FTS를 기반으로 HEL 빔을 신호 타겟으로 조준하게 할 수 있다.

일부 실시예에서, 시스템은 전투 손상 평가 모드(battle damage assessment mode)를 실행하도록 구성된다. 전투 평가 모드에서, 시스템은, 타겟이 HEL 빔에 맞은 후, 타겟의 운동역학이 타겟의 예상 역학에서 벗어나는 경우를 검출한다. 전투 평가 모드에서, 시스템은 또한 타겟의 하나 이상의 세그먼트가 타겟으로부터 공간적으로 분리되는 시기를 검출하고 타겟 손상(target damage)을 결정한다. 전투 평가 모드에서, 시스템은 결정된 타겟 손상을 기반으로 타겟 손상 평가 지표(target damage assessment indicator)를 제공한다. 일부 경우에서, 시스템은 타겟 손상을 결정하기 위해 HEL 빔이 꺼진 후 타겟을 재평가하도록 구성되며, 타겟 손상은 부분적으로 타겟의 공간적으로 분리된 세그먼트 사이의 거리에 기초한다. 일부 실시예에서, ATS는, 타겟 크기, 타겟 모양, 타겟 속도, 신호 대 노이즈비 및 나타나는 시간의 양을 포함하는, 타겟 특징이 복수의 미리 결정된 기준을 충족할 때 추적을 위해 타겟에 신호를 주도록 구성된다.

적어도 하나의 측면에서, 본 기술은 타겟 추적 시스템을 이용하여 타겟을 추적하는 방법에 관한 것이다. 방법은, 타겟의 이미지를 지속적으로 캡처하고, 추적할 타겟을 식별하고, 추적할 타겟에 신호를 보내는 넓은 시야(FOV) 카메라 시스템을 포함하는 ATS를 동작시키는(operating) 단계를 포함한다. 방법은, 또한 ATS에 의해 타겟이 신호를 받은 후 좁은 FOV를 타겟 주위로 연속적으로 다시 중심화하기 위해 좁은 FOV 카메라 시스템을 포함하는 FTS를 동작시키는 단계를 포함하며, ATS 및 FTS는 각각의 카메라 시스템에 대한 독립적인 조향 메커니즘을 포함한다.

일부 실시예에서, 타겟 추적 시스템은 고에너지 레이저 HEL 추적 시스템이고, ATS는 MWIR 추적기이고, FTS는 SWIR 추적기이다. 일부 경우에, FTS를 동작시키는 단계는 이미지로부터 클러터와 노이즈를 필터링하고, 타겟의 중심을 결정하고, 이미지에 기초하여 타겟의 복수의 순환 레퍼런스 이미지를 생성하는 중심 추적기를 동작시키는 단계를 포함한다. FTS를 동작시키는 단계는, 또한 타겟의 연속적인 순환 레퍼런스 이미지 사이의 시프트를 결정하고 타겟의 목표점에 대한 오프셋을 생성하기 위해 상관기 추적기를 동작시키는 단계를 포함할 수 있다. 일부 실시예에서, 방법은 상관기 추적기, 중심 추적기 및 MWIR로부터의 데이터를 융합함으로써 타겟 상태 추정기로 타겟의 현재 상태를 추정하는(estimating) 단계를 포함한다. 순환 레퍼런스 이미지는 타겟의 추정된 현재 상태를 기반으로 업데이트될 수 있다. 일부 경우에, SWIR 추적기는 고속 SWIR 카메라 시스템과 저속 SWIR 카메라 시스템을 포함하고, MWIR 카메라 시스템는 저속 MWIR 카메라 시스템을 포함한다.

일부 실시예에서, 방법은 타겟의 복수의 세그먼트를 포함하는 타겟의 복수의 특징을 FTS로 추적하는 단계를 포함한다. 일부 경우에, 시스템은 HEL 빔을 포함하는 HEL 추적 시스템이다. 방법은, SWIR 추적기에 기초하여, 타겟에 신호를 보낸 후, 타겟에 HEL 빔을 조준하는 단계를 포함할 수 있다. 일부 실시예에서, 방법은 전투 손상 평가 모드에서 시스템을 실행하는 단계를 포함한다. 전투 손상 평가 모드에서, 방법은, 타겟이 HEL 빔에 맞은 후, 타겟의 운동역학이 타겟의 예상 역학에서 벗어나는 경우를 검출하는(detecting) 단계를 포함한다. 전투 손상 평가 모드에서, 방법은 타겟의 하나 이상의 세그먼트가 타겟으로부터 공간적으로 분리되는 때를 검출하는 단계를 포함할 수 있다. 전투 손상 평가 모드에서, 방법은 타겟 손상을 결정하는 단계 및 결정된 타겟 손상을 기반으로 타겟 손상 평가 지표(damage assessment indicator)를 제공한다.

일부 실시예에서, 방법은 HEL 빔을 끄는 단계를 포함한다. HEL 빔이 꺼진 후, 타겟은 타겟 손상을 결정하기 위해 재평가될 수 있고, 타겟 손상은 부분적으로 타겟의 공간적으로 분리된 세그먼트 사이의 거리에 기초한다. 일부 실시예에서, ATS는 타겟 특징이 타겟 크기, 타겟 형상, 타겟 속도, 신호 대 노이즈비 및 나타나는 시간의 양을 포함하는 복수의 미리 결정된 기준을 충족할 때 추적을 위해 타겟에 신호를 보낸다.

개시된 시스템이 속하는 기술 분야의 숙련된 기술자가 만들고 사용하는 방법을 더 쉽게 이해할 수 있도록 다음 도면을 참조할 수 있다.
도 1은 본 기술에 따른 타겟 추적 시스템을 포함하는 타겟 추적 환경의 블록도이다.
도 2는 본 기술에 따른 타겟 추적 시스템에 대한 추적 아키텍처의 블록도이다.
도 3은 도 2의 추적 시스템의 일부로서 획득 추적 센서(acquisition track sensor)(ATS) 추적기에 의해 수행되는 기능의 블록도이다.
도 4는 해당 기술에 따라 ATS 추적기에 의해 생성된 예시적인 이미지이다.
도 5는 본 기술에 따라 타겟 추적 시스템 내에서 FFT를 적응적으로 크기 조정하고 실행하는 프로세스의 블록도이다.
도 6은 도 2의 추적 시스템의 일부로서 ATS 추적기에 의해 수행되는 기능의 블록도이다.

본 기술은 타겟 검출 시스템과 연관된 많은 선행 기술 문제를 극복한다. 본 명세서에 개시된 시스템 및 방법의 이점 및 기타 특징은 본 개시의 대표적인 실시예를 설명하는 도면과 함께 특정 바람직한 실시예에 대한 다음의 상세한 설명으로부터 당업자에게 더 쉽게 명백해질 것이다. 유사한 참조 번호는 유사한 부분을 나타내기 위해 본 명세서에서 사용된다. 또한, "상부(upper)", "하부(lower)", "원위(distal)" 및 "근접(proximate)"과 같은 방향을 나타내는 단어는 단지 서로에 대한 구성요소의 위치를 설명하는 데 도움을 주기 위해 사용된다. 예를 들어, 부품의 "상부" 표면은 단지 동일한 부품의 "하부" 표면과 별개의 표면을 설명하기 위한 것이다. 절대 방향을 설명하는 데 방향을 나타내는 단어는 사용되지 않다(예: "상부" 부분이 항상 더 높은 고도에 있어야 함).

FTS 좁은 시야 카메라(narrow field of view camera)에 신호를 주기 위해 ATS에 자동 큐잉 추적 기능을 제공하는 것 외에도, 여기에 개시된 추적기는 FTS의 검출 시 레이저를 통합한 다중-객체 추적파일(multi-object trackfile), 동일한 타겟과 연관된 일관되고 강력한 추적을 생성하기 위해 FTS 추적기 내의 다중 특징 추적기(multiple feature trackers), 및 정확성과 추적 일관성을 위해 FTS와 ATS 추적 출력을 모두 융합하는 타겟 상태 추정기(target state estimator)를 포함한다. 이 시스템는 게이트 크기 잠금, 시스템 게인 제어 및 알고리즘 처리를 포함하여 ATS의 HEL 방지 추적기 특징을 켜는 모드 선택(mode selection)도 포함한다. 예를 들어 타겟 특징이 HEL 가열 효과로 인해 가려지면 상관관계 전용 추적(correlation only track) 또는 중심 추적으로 전환하는 것이다. 세 번째 특징은 예상 역학에서 타겟 운동역학이 잘못된 경우와 예상치 못한 방식으로 변위되는 측정 특징을 검출하는 전투 손상 평가 모드(battle damage assessment mode)이다. FTS 추적기는 또한 백그라운드에서 지속적으로 실행하고 추적이 손실되면 좁은 시야 추적 센서를 다시 중앙에 놓는다. 이는 전투 손상 평가를 위한 지표(indicator)이기도 하다. 시스템은 타겟의 다양한 세그먼트를 추적하고 타겟의 분리된 세그먼트 사이의 거리를 기반으로 부분적으로 타겟에 대한 손상을 결정할 수 있다. 특히, 본 명세서에서 사용되는 경우, ATS는 단파 적외선 추적기(short-wave infrared tracker)(SWIR)일 수 있는 반면, FTS는 중파 적외선 추적기(medium wave infrared tracker)(MWIR)일 수 있다. 그러나 일부 경우에, ATS 및 FTS는 일반적으로 SWIR 또는 MWIR 외부의 광학 센서의 EM 파장대에서 동작할 수 있다.

이 시스템은 전투 손상 영향을 평가하기 위해 여러 타겟 대신 타겟의 다양한 특징과 역학을 추적하는 인트라-타겟 추적기(intra-target tracker), 추적 성능을 평가하고 전투 손상 평가를 위한 지표를 제공하기 위해 넓은 시야와 시야 및 좁은 시야 추적 센서 출력을 융합하는 타겟 상태 추정기(target state estimator), 추적기 출력에서 HEL 효과에 더 강한 다양한 추적 기능을 켜고 끄는 기능을 포함하여 레이저 중 HEL 효과의 상태에 따라 추적기 유형을 선택하는 적응형 학습 시스템(adaptive learning system), 및 고정 및 이동 타겟 모두의 배경을 제거하는 적응형 클러터 필터링(adaptive clutter filtering)을 포함한다.

여기에 개시된 추적기는 두 개의 모드가 동시에 실행되면서 하나가 실패하면 임의의 단일 모드로 회귀하는 상관관계 및 중심 추적 알고리즘을 모두 사용한다. 중심 추적기는 상관관계 추적기의 레퍼런스 템플릿을 반복적으로 업데이트하여 상관관계 추적기 드리프트를 방지하기 위한 타겟 세그먼트(target segmentation)을 지원하는 클러터(clutter) 및 노이즈 필터링 기능(noise filtering)이 모두 있다. 그런 다음 상관관계 추적기는 중심 추적기에 의해 업데이트된 순환 이미지를 사용하여 레이저 빔 조준에 대한 고속 오프셋(high-speed offset)을 제공한다. 순환적 이미지 업데이트는 HEL 가열 효과 완화 및 조명 변화(illumination variations)에 맞게 조정된다. 자동 목표점 선택(Automatic aimpoint selection)은 컴퓨터를 사용하여 목표점 위치 라이브러리에서 얻은 타겟 모양의 일반화된 추정을 기반으로 수행된다.

본 명세서에 개시된 추적기 시스템은 추적 드리프트를 방지하고 아티팩트(클러터 및 노이즈)로 인한 손실을 추적하기 위한 견고성을 제공하기 위해 인터리브 및 병렬 중심(interleaved 및 parallel centroid), 타겟 레퍼런스(target reference), 고속 상관관계 추적기(high-speed correlation trackers)를 포함하고 모드 중 기본 모드를 선택할 수 있다. 시스템은 시야 내에서 작은 타겟, 큰 타겟, 과도하게 채워진 타겟을 추적한다. 이 시스템은 대역통과 및 공간 노이즈 적응형 필터를 사용한 클러터 및 노이즈 필터링, 적응형 임계값에 대한 배경 통계 추정, 예측된 타겟 역학의 위치 피드백 및 동적으로 업데이트된 공간 타겟 게이트를 활용한다. 이 시스템은 속도가 0이고 움직이는 타겟을 사용한 작업을 다룬다. 반복적 타겟 레퍼런스는 상관관계 추적 및 타겟 기동 및/또는 변경 측면에 대한 목표점을 위해 동적으로 업데이트된다. 시스템은 조명 및 HEL 가열 효과로 인한 강도 변화를 보상하기 위해 상관관계에 사용되는 타겟 마스크 레퍼런스 통합에 대한 자동 게인 학습(automatic gain learning)을 사용한다. 시선 관리자 제어(line-of-sight manager control)는 중심과 상관관계 추적 위치를 최적으로 혼합하고 목표점 오프셋을 통합하며 추적 위치의 오류를 검출한다. 타겟 측면 변화에 대한 저장된 타겟 모델을 요구하지 않고 타겟 특징 추정을 형태학적으로 필터링하여 목표점 추정(Aimpoint estimation)이 수행된다. 타겟 레퍼런스 추적기는 레이저를 조준 상태로 유지하고 잔여 추적기 드리프트(residual tracker drifts)를 최소화하기 위해 타겟 레퍼런스 위치를 중앙에 유지한다.

여기에 개시된 추적기는 또한 두 개의 스테이지를 활용하는 알고리즘을 적용하여 HEL 가열 효과를 설명한다. 첫 번째는 가열 효과로 인한 강도 변화를 검출하고 HEL이 켜져 있다는 플래그를 시스템과 추적기 알고리즘에 보내는 "HEL ON" 검출기(또는 HEL 검출 모듈(detection module))이다. HEL이 켜져(ON) 있는 것으로 검출되면(즉, HEL 효과가 타겟에서 식별됨) HEL ON 검출기는 이미징 시스템에 알리고, 이미징 시스템은 이 정보를 사용하여 센서 게인을 조정하여 피크 강도와 타겟을 A/D 범위 내로 최대한 오랫동안 유지함으로써 포화 효과(saturation effect)를 최소화할 수 있다. 그런 다음 알고리즘의 제2 부분은 타겟의 HEL 영향 영역을 코어 아웃(cores out)하고 순환 레퍼런스를 포함하여 추적을 위해 HEL이 아닌 가열 타겟을 사용한다. 추적하는 동안 필터링한 후 타겟의 피크 강도는 지속적으로 모니터링되고 추적기 알고리즘 파라미터는 추적기에 대한 잔류 가열 효과를 완화하기 위해 적응적으로 업데이트된다.

따라서 본 기술은, HEL 가열 효과의 존재를 검출하고 그 효과에 저항하도록 추적기 알고리즘 및 시스템 파라미터를 적응적으로 조정하는 프로세스 및/또는 알고리즘을 (시스템 수준 및/또는 알고리즘 수준에서) 통합하는 방법을 포함한다. 추가적으로, 본 명세서에 개시된 시스템은 드리프트 없이 추적을 유지하고 영향을 받지 않는 타겟 특징을 추적함으로써 추적 잠금을 유지하기 위해 타겟 공간 패턴에서 공간 타겟 가열 효과의 제거를 제공하는 적응형 공간 필터링 기술(adaptive spatial filtering techniques)을 제공한다. 적응형 공간 필터링 기술과 HEL 빔의 시간적 검출는 추적을 위한 완전한 폐쇄 루프 HEL 가열 효과 완화 알고리즘 솔루션(complete closed loop HEL heating effects mitigation algorithm solution)을 위해 함께 통합된다.

또한, 최적화된 FFT 라이브러리는 사전 계산 경로(priori computational path)가 필요하며, 즉, 특정 FFT 작업 및 크기에 대해 최적의 경로를 따르도록 실행 프로필(execution profile), 메모리 레이아웃(memory layout) 및 변환(transforms)의 크기를 포함하는 계획이다. 계획 단계는 프로세스 집약적이며 실시간 루프에서 계획을 수립하는 것은 불가능하다. 이러한 부정적인 영향은 FFT 크기가 프레임 단위로 FFT 상관기 요구 사항에 맞게 변경될 때 증가하며 각 크기 변경에 대해 서로 다른 계획이 필요하다. 또한 작성된 모든 계획을 해체해야 하므로 추가 시간 벌칙이 부과된다. 본 명세서에 개시된 시스템은, 최적의 크기를 철저하게 검색하는 알고리즘을 사용하여 기본 실행 루프에서 가장 적합한 FFT 크기를 자동으로 선택함으로써, 상관기의 실행 시간에 미치는 영향을 최소화하면서 역학 변환 크기에 대한 최적의 2D FFT 계획을 생성하고 사용하는 문제를 해결한다.

이를 위해 본 기술은 주요 역률(Prime Power Factor)(PPF)와 PO2(Power of 2)를 철저하게 검색하여 모든 크기에 대해 최적 크기의 FFT를 수학적으로 산출하는 알고리즘이 포함한다. 알고리즘은 자동으로 메인 실행 루프를 벗어난 입력 신호의 2차원에 가장 적합한 2D FFT 크기를 선택하고 실시간으로 사용하기 위해 필요한 모든 데이터 구조를 생성한다. 하드웨어, 소프트웨어, 펌웨어를 포함한 모든 2D FFT 구현에 맞게 알고리즘을 조정하고 최적화할 수도 있다. 또한, 알고리즘은 이미지 또는 신호 표현이 다차원으로 확장되는 3D, 4D 및 ND로 확장될 수 있다. 또한, 2D FFT를 자동으로 선택하는 알고리즘은 알려진 바와 같이 2D FFT를 사용하는 다른 알려진 프로세스의 일부로서 적용될 수도 있다. 이 알고리즘은 FFT가 적용되는 다른 환경에서도 사용될 수 있다.

이제 도 1을 참조하면, 타겟 추적 환경이 도시된다. 타겟(target)(100)이 타겟 발사 영역(target launch area)(102)에서 발사되고 있다. 타겟(100)은 박격포, 미사일, 드론 등과 같은 군사 타겟 또는 비군사 발사체일 수 있다. 본 명세서의 교시에 따른 HEL 타겟 추적 시스템(HEL target tracking system)(104)은 비행 중에 타겟(100)을 획득하고 HEL 빔을 사용하여 타겟(100)을 손상시키거나 파괴하려고 한다. 본 명세서에 도시되고 아래에 설명된 추적 블록은 타겟의 궤적 동안 타겟(100)을 추적하는 단계를 나타낸다.

시스템(system)(104)은 타겟 큐잉 시스템(target cueing system)(106)과 함께 작동하는 빔 제어 시스템(beam control system)(108)을 포함한다. 임의의 주어진 시간에서의 타겟 큐는 외부 소스로부터 추적기 시스템(tracker system)(104)에 주어진 내부 위치 "진실(truth)"의 표현이다. 이는 일회성 업데이트 이벤트일 수도 있고 시스템(104)에 지속적으로 제공될 수도 있다. 따라서, 본 명세서에서 더 자세히 논의되는 바와 같이, 타겟 큐는 타겟 추적을 구축하는 데 의존하는 "진실" 입력(측정 업데이트)으로 사용된다. 다수의 특징이 관찰되고 미리 결정된 타겟 크기, 타겟 모양, 타겟 속도, 신호 대 노이즈비 및 시간(예: 이미지에 나타나는 시간)을 포함하여 미리 결정된 기준을 충족한 후에, 타겟에 신호를 보낼 수 있다. 타겟 큐잉 시스템(106)은 ATS(예를 들어 MWIR) 추적 시스템을 활용할 수 있는 반면 빔 제어 시스템(108)은 아래에서 더 자세히 설명되는 FTS(예를 들어 SWIR) 추적 시스템을 활용할 수 있다. 타겟 큐잉 시스템(106)은, 블록(112)에서 레이더 추적(radar track)(110)으로 타겟 추적을 시작하기 위해 클러터를 거부하고 타겟(100)을 분류하면서, 초기에 타겟(100)을 찾아간다. 빔 제어 시스템(108)으로의 레이더 핸드오버 후에, 빔 제어 시스템(108)은 저대역폭 짐벌 추적(low bandwidth gimbal track)(114)을 시작하고 116에서 넓은 시야(WFOV) 획득 및 추적 센서를 사용하여 타겟(100)을 검출한다. 그 다음, 빔 제어 시스템(beam control system)(108)은 블록(118)에서 타겟을 끌어당겨 중앙에 위치시킨다. 블록(120)에서, 획득 및 추적 센서는 추적을 위한 에지 및 크기 특징을 결정한다.

그 다음, 빔 제어 시스템(108)은 고대역폭 정밀성 추적(high bandwidth precision track)(122)을 시작한다. 정밀성 추적(precision track)(122) 동안, 시스템(108)은 정밀 추적 센서(fine tracking sensor)(FTS)를 사용하는 좁은 FOV 추적을 사용한다. 블록(124)에서 빔 제어 시스템(108)은 FTS 이미지 특징, 운동역학, 획득 및 추적 서명(track signature), LOS 기하학을 사용하여 타겟을 분류한다. 블록(128)에서 FTS는 타겟의 중심을 맞추고 타겟 ID를 결정하며 타겟의 목표점을 선택한다. 선택적으로, 블록(130)에서 비콘 조명(Beacon Illuminator)(BIL) 대기 보상이 적용될 수 있다. 마지막 블록(132)에서, 빔 제어 시스템(108)은 결정된 목표점에 기초하여 HEL과 타겟(100)을 결합할 수 있다. 또한, HEL이 타겟(100)과 결합함으로써, 타겟 저크 검출(target jerk detection), FTS 형태 변경 검출, TS 잔해 필드 분리 및 타겟(100)에 대한 HEL 효과에 대한 보상을 포함하는, FTS 목표점 유지 관리가 블록(132)에서 수행될 수 있다. 타겟(100)을 효과적으로 추적하기 위한 시스템(104)의 기능은 본 명세서에서 더 자세히 설명된다. 이제 도 2를 참조하면, 본 기술에 따른 추적 시스템(tracking system)(200)의 아키텍처를 도시하는 블록도가 도시된다. 추적 시스템(200)은 이전에 논의된 시스템(104)에 따라 HEL과 결합하기 위한 타겟을 추적하는 데 사용될 수 있다. 시스템(200)은 타겟 신호 시스템(106)과 유사하게 초기에 타겟을 찾고 발견하는 ATS 추적 시스템(202)을 포함한다. 타겟이 ATS 추적기에 위치되면, ATS 시스템(202)은 짐벌 제어기(gimbal controller)(224)를 사용하여 시스템의 조준점에 타겟의 중심을 맞추게 된다. 추적 및 폐쇄 루프 추적 센서 조준(pointing)은 타겟의 일반적인 위치가 이미 알려져 있기 때문에 상대적으로 작은 시야에서 고속, 정밀성 추적을 위한 추적기인 FTS 또는 SWIR로 전달된다. 정밀한 센서 조준은 FSM 제어기(controller)(246)에 의해 제어된다. 높은-레벨 입력(high-level input)은 FSM 제어기(246)에 제공되며, 이는 높은 속도(수십 킬로 헤르츠)로 시선을 관리한다. FSM 제어기(246)는 고속 FTS 제어기를 통해 타겟 각도 위치를 제공한다. 시스템(200)은 현재 동작 목표(current operation objective)(예를 들어 타겟 제거) 및 특정 교전(particular engagements)에 필요한 다른 빔 디렉터 상태 및 모드에 기초하여 시스템(200)의 액션(action)을 제어하도록 설계된 처리를 포함하는 임무 프로세서 유닛(mission processor unit)(248)을 포함할 수 있다. MPU(248)는 본 명세서에 설명된 ATS 시스템(202) 및 FTS 시스템(204)의 처리 작업을 수행하기 위한 명령들을 실행하도록 구성된 프로세서 및 메모리를 포함할 수 있다.

특히, ATS 시스템(202)은 다양한 기준에 기초하여 필터링된 이미지를 생성하기 위해 검출기(detector)를 사용하여 타겟에 신호를 보낸다. 검출기는 로빈슨 필터(Robinson filter)일 수도 있고, 다른 타겟 필터나 기계 학습 타겟 모양 검출기일 수도 있다. 이미지의 검출은 객체와 같은 타겟에서 추적을 시작하기에 충분한 신뢰도가 확립될 때까지, 예상 크기(expected size), 큐 게이팅(cue gating) 및 시간 지속성(persistence)을 기반으로 선별된다. 운동역학적 특징이 주어진 큐 기대치와의 상관관계를 기반으로 잠재적인 타겟를 선별할 수도 있다.

이를 위해, ATS 시스템(202)은 60-120Hz 사이일 수 있는 ATS 비디오(208)를 생성한다. ATS 시스템(202)은 공간 필터(206), 이동 타겟 표지(Moving Target Indicator)(MTI) 클러터 억제 모듈(clutter suppression module)(212) 및 낮은 SNR 타겟 통합 모듈(214)을 사용하여 비디오(208)를 처리할 수 있다. 공간 필터(spatial filter)(206)는 타겟을 검출하는 능력에 영향을 미치는 공간 장면 클러터를 제거하기 위해 적응형 공간 필터링을 적용하도록 설계된다. 이는 ATS 시스템(202)이 영향을 받지 않는 타겟 특징을 추적함으로써 드리프트 및 추적 잠금 없이 타겟 추적을 유지할 수 있게 해준다. 공간 필터(206)는 낮은 SNR 타겟을 검출하기 위해 필요에 따라 SNR을 높이기 위해 신호를 통합한다. 블록(216)에서 이미지의 여러 검출가 식별되고, 블록(218)에서 관심 타겟의 예상 위치 및 속도와 비교하여 검출의 위치 및 속도와 같은 예상 타겟 파라미터와의 연관성을 기반으로 타겟으로 선택적으로 신호가 전달된다. 배경에서 타겟을 식별하기 위해 로빈슨 검출기가 너무 작은 검출을 거부하거나 기타 공간 필터 또는 기계 학습 타겟 검출기를 사용하여 타겟의 기본 크기를 설정할 수 있다. ATS 시스템(202)은 이미지에서 평탄화되어 추적된 타겟 위치에 대한 타겟 위치의 이미지 위치 추정치를 필터링하기 위한 칼만 필터(Kalman filter)(220)를 포함할 수 있다. ATS 시스템(202)에 의해 타겟이 식별되고 예상 기준을 충족하는 것으로 결정된 후, 타겟 추적이 초기화될 수 있고 짐벌은 ATS 시스템(202) 타겟 추적 주위의 루프 추적을 폐쇄하라는 커맨드(command)를 받는다. ATS 시스템(202)에서 추적된 타겟 위치는, 고속 정밀 타겟 추적을 시작하기 위해, FTS 시스템(204)에 대한 큐(cue)로서 사용된다.

이제 도 6을 참조하면, 흐름도(600)는 타겟 검출(602)로부터 HEL(612)과 교전하기 위한 가장 가능성 있는 타겟의 선택까지 ATS 시스템(202)의 기능을 도시한다. ATS 시스템(202)은 추적 획득 단계 동안 미리 정의된 시간 간격에 걸쳐 객체와 같은 타겟에 대한 검출을 선별하여, 타겟 추적이 초기화될 수 있도록 한다. 블록(602)에서, 현재 이미지에서 다수의 검출이 식별된다. 블록(604)에서 블록(602)의 검출은 이미지에서 타겟의 위치를 추적하기 위해 일관성 측정법을 사용하여 시간에 맞춰 함께 어셈블된다. 그런 다음 블록(602)의 각 검출는 이전 검출와 비교되고, 가장 가능성이 높은 일치가 블록(606)에서 추적된 개체 위치를 업데이트하는 데 사용된다. 블록(606)은 클러터로 인해 잘못된 타겟 추적이나 시야에서 사라지는 타겟을 포함하여 원치 않는 타겟 추적을 삭제하는 데 사용된다. 블록(610)은 칼만 필터를 사용한 추정 필터링을 통해 타겟 추적의 운동역학적 파라미터(위치, 속도 및 시간)를 업데이트한다.

ATS 시스템(202)은 시간 및 측정 업데이트를 위해 픽셀 공간에서 운동역학적 동적 모델과 함께 킬만-제이 필터(Kalman-J filter)를 사용할 수 있다. 블록(604)에서, 다음에 따라 기존 추적에 대한 시간 업데이트가 제공된다.

(식 1)

(식 2)

여기의 방정식에서 "F"는 상태 전이 행렬(state transition matrix)이고 "x"는 추적의 6개 상태 추정치(state estimate)이다. 은 수치 안정성에 대한 조셉(Joseph)의 형식이다.

블록(606)에서, 알고리즘은 정보가 오래된 경우 타겟 추적을 정리한다. 새로운 검출은 블록(608)에서 기존의 현재 추적과 연관된다. 검출은 모든 쌍 사이에서 측정된 특징 거리(반드시 유클리드 거리(Euclidean distance)일 필요는 없음)를 기반으로 추적과 일치할 수 있다. 에서 의 검출을 위해, 모든 쌍 사이의 거리는 다음과 같이 측정될 수 있다:

(식 3)

측정 업데이트는 블록(610)에서 실행된다. 측정 업데이트는 다음에 따라 수행될 수 있다:

(식 4)

(식 5)

(식 6)

(식 7)

(식 8)

마지막으로, 블록(612)에서, 타겟 추적을 타겟 큐와 비교함으로써 타겟에 대한 가장 가능성 있는 추적이 선택되며, 타겟은 큐에 대한 근접성을 기반으로 선택된다. 마할로비스 거리(Mahalanobis distance)는 다음에 따라 추적 중심에서 큐 중심까지의 표준 편차 수를 찾는 데 사용된다:

(식 9)

주어진 큐에 대해 거리 매트릭(distance metric) D를 최소화하는 타겟 추적(target track)이 선택된다. 타겟 추적이 타겟 큐(target cue)와 연관될 가능성이 충분히 있는 경우(큐에 대한 상관관계 강도를 기반으로), 검출이 타겟으로 선언된다. 타겟이 선언되지 않은 경우, 시스템은 기본적으로 큐 추적(cue track)으로 설정되며, 여기서 타겟은 계속 획득되고 타겟은 선언되지 않는다. 큐가 없으면, 측정값 누락으로 인해 타겟 확인이 불충분하며, 측정값을 사용할 수 있을 때까지 마지막으로 알려진 타겟 추적이 전파된다.

ATS 시스템(202)을 사용하면, 다음에 따라 이미징 시스템의 초점 계획 어레이(focal plan array)에 대한 픽셀 공간의 고도 좌표(elevation coordinates)의 방위각(azimuth)이 검출에 제공된다:

(식 10)

(식 11)

내비게이션 데이터(navigation data)를 사용하여, 추적기(tracker)는 ECEF(지구 중심, 지구 고정)와 같은 좌표계에서 추적할 수 있다. 단위 시선(unit line-of-sight)은 다음에 따라 ECEF로 회전될 수 있다:

(식 12)

(식 13)

픽셀 좌표는 다음과 같이 ECEF 각도로 대체될 수 있으며, FTS 시스템(204)으로 전달된다:

(식 14)

(식 15)

도 2를 다시 참조하면, 여기에 개시된 FTS 시스템(204)은 대기 및 플랫폼 지터(platform jitter)로 인해 타겟이 기동 및/또는 명백한 시선 움직임에 있는 동안 고속 거울(platform jitter)을 타겟 목표점으로 조향하는 역할을 하는 고속 타겟 추적기(high-speed target tracker)이다. FSM 제어기(246)는 빔 제어 시스템(108)과 유사하게 타겟에 치명적인 효과를 제공하도록 HEL을 안내하는 FTS 시스템(204)에 의해 커맨드된 고속 거울를 지향한다. 도시된 고속 FTS 시스템(204)은 큐 또는 오퍼레이터가 지정한 이미지 위치로부터 타겟을 획득하고, 일단 획득되면 추적에 참여하고, 자동으로 목표점(예를 들어 블록(238))을 결정하고, 그런 다음 타겟을 조준하기 위해 FSM 제어기(246)에 의해 활용되는 시선(LOS) 조준 관리자(line of sight (LOS) pointing manager)를 통해 자동으로 결정된 목표점 주위의 레이저 빔 위치에 대한 오프셋(244)을 제공하기 위해 모드를 제공한다.

결합된 ATS 및 FTS 추적 하위 시스템의 추적 아키텍처는 도 2에 자세히 나와 있다. 블록(226)은 FTS 이미지로부터 HEL 빔을 조준하기 위해 FSM에 대한 커맨드를 생성하는 처리의 고속 FTS 추적 흐름을 보여준다. 도 2의 기능은 도 3에 자세히 설명되어 있다.

FTS 시스템(204)의 추적 모드는 도 3에서 자세히 분류된다. 간략한 개요에서, FTS 시스템(204)은 예를 들어 400-800Hz 사이일 수 있는 캡처된 이미지의 비디오 피드를 생성한다. FTS 시스템(204)은 하나가 실패하면 임의의 단일 모드로 회귀하는 상관관계 추적 알고리즘(경로 231) 및 중심 추적 알고리즘(경로 233)을 사용하며, 두 개의 모드는 일반적으로 동시에 실행된다. 예를 들어, 시스템(200)은 타겟 특징이 HEL 가열 효과로부터 가려지면 상관관계 전용 추적 또는 중심 추적으로 전환할 수 있다. 중심 추적 경로(233)에서의 액션은 중심 추적기에 의해 수행되는 것으로 본 명세서에서 설명되는 반면, 하위 경로에서의 액션은 상관기 추적기에 의해 수행되는 것으로 설명된다. 중심 추적기 경로(centroid tracker path)(233)는 클러터 필터(clutter filter)(228)를 사용하여 캡처된 이미지를 필터링한다. 중심 추적기 경로(233)는 HEL 효과가 타겟에서 검출될 때 HEL 조정 모듈(HEL adjustment module)(230)을 사용하여 추가 변경을 수행할 수 있다. 이는, HEL의 열로 인해 타겟이 결합된 후 상당히 가열되어, 타겟을 계속 추적하기가 어렵게 만드는, 높은 강도의 출력과 큰 조명 변화가 검출된 이미지에서 발생하기 때문에, 유리하다. HEL 효과를 고려하여 조정하면 HEL이 타겟이 제거될 때까지 타겟과 효과적으로 교전할 수 있다.

관찰될 수 있는 장애 가능성을 나타내는 여러 가지 상황이 있으며, 이로 인해 단일 추적기 모드로 회귀하게 된다. 발생할 수 있는 상관관계 추적기(300)(아래에서 더 자세히 설명됨)의 장애 모드는 노이즈 및 서명 변화로 인한 타겟 신호 손상으로 인한 상관관계 드리프트이다. 이 경우, 중심 추적기는 타겟의 임계값을 적절하게 설정하고 타겟 위치에 대한 절대 위치 레퍼런스를 제공하는 배경에서 타겟을 세그먼트화 한다. 중심 추적기(302)(아래에서 더 자세히 설명됨)의 장애 모드는 클러터 필터링의 누락된 타겟 검출(missed target detections)과 도 2의 블록(236)의 타겟 검출 블록(target detection blocks)을 포함한다. 이 경우 상관관계 추적기는 계속해서 이전에 저장된 타겟 서명 레퍼런스와 상관관계를 확인하여 지속적인 추적 업데이트를 가능하게 한다. 장애 모드의 예는 다음과 같다: (1) HEL 효과는 추적기에 긍정적인 피드백을 제공하므로 추적기는 타겟 대신 HEL 효과를 추적하고, (2) 고속 상관기가 역상관되므로 실제 추적이 타겟에서 멀어지고, (3) 중심 목표점 추적이 매우 불안정해져서 추적이 해제된다.

HEL 조정 모듈(230) 내에서, 검출이기는 이미지 내의 증가된 강도 및 조명 변화에 기초하여 블록(232)에서 타겟이 HEL 효과를 경험하고 있는지 여부를 결정한다. 타겟이 HEL 효과를 겪고 있는 경우, HEL ON 검출이기(블록(232))는 HEL ON 모듈(234) 내에서 HEL 효과를 설명하기 위해 추가 수정을 하도록 시스템(200)을 트리거한다. 블록(236)에서, 상관관계에 사용되는 통합된 타겟 서명이 임계값으로 검출되고 세그먼트화 된다. 검출된 통합 타겟 서명은 치명도(lethality)을 위해 HEL 빔을 조준하는 위치를 결정하기 위해, 블록(238)의 목표점 알고리즘에 의해 사용된다. 특히, HEL ON 모듈(234)이 활성화되면, 시스템(200)의 이미징 시스템은 피크 강도와 타겟를 가능한 오랫동안 A/D 범위 내로 유지함으로써 포화 효과가 최소화되도록 센서 게인을 조정할 수 있다. 블록(240)에서, 타겟 목표점에 사용되고 고속 상관기에 의해 사용되는 순환 이미지를 통합하는 이미지 내 타겟 위치의 절대 레퍼런스을 제공하기 위해 중심 추정치가 제공된다. 순환 레퍼런스 이미지는 추적에서 의존될 수 있고, 타겟 목표점 결정을 위한 블록(block)(236)의 템플릿뿐만 아니라 상관기(correlator)(229)에 의한 레퍼런스 템플릿으로도 사용된다. 알파-베타 필터, 칼만 필터 또는 기타 필터를 사용하여 원치 않는 배경 노이즈, 혼란, 지터 등을 제거하기 위해 블록(242)에서 추가 처리가 수행될 수 있다. 목표점에 사용되는 업데이트된 순환 레퍼런스 이미지는 블록(244)에서 HEL에 대한 고속 오프셋을 제공하고, 이는 타겟과 결합하기 위해 중심 및 상관 추적기에 의해 제공되는 프레임 간 시프트에 추가된 타겟 목표점에 대한 HEL을 가리키는 오프셋을 위해 FSM 제어기(246)에 의해 의존될 수 있다.

타겟 상태 추정기(target state estimator)(222)는 정확성과 일관성을 보장하기 위해 FTS 시스템(204)(예를 들어 상관기 추적기 및 중심 추적기)과 ATS 시스템(202)으로부터의 데이터를 융합할 수 있다. 그러면 시스템(200)은 후속 추적에 대한 융합 데이터에 의존할 수 있다. 시스템(200)은 연속적으로 타겟을 추적하고 전술한 바와 같이 상관관계 추적 및 목표점을 위한 순환 타겟 레퍼런스을 동적으로 업데이트하여, 시스템(200)이 타겟 기동 및/또는 변경에 대해 업데이트하는 것을 보장한다.

ATS 시스템(202)과 FTS 시스템(204)의 조합은 다수의 타겟이 동시에 신호를 받는 것을 허용하고, 분할된(split) 객체 추적이 동일한 타겟과 관련된 다수의 추적으로 열리도록 허용한다. 이를 통해 타겟이 HEL에 의해 교전되어 파괴되어 타겟이 여러 조각으로 부서지는 경우에도 타겟의 개별 조각을 추적할 수 있다. 시스템(200)은 타겟의 운동역학이 예상된 역학과 다를 때 및/또는 타겟의 특징이 예상치 못한 방식으로 변위될 때 타겟에 대한 전투 손상을 평가할 수 있다. 시스템(200)은 전투 손상 평가에 기초하여 전투 손상 지표를 제공할 수 있다.

특히, 시스템(200)의 일부가 본 명세서에서 기능 블록 또는 모듈로서 도시되고 설명되어 있지만, 여기에 개시된 기능은 설명된 기능을 수행하도록 설계된 특별히 구성된 시스템을 사용하여 수행될 수 있다는 것이 이해되어야 한다.

이제 도 3을 참조하면, FTS 시스템(204)의 기능이 더 자세히 도시되고 설명된다. FTS 시스템(204)의 추적 기능(tracking functions)은 고속 및 저속 타겟 추적 경로(300, 302)로 더 분리된다. 이들 경로(300, 302)는 일반적으로 FTS 경로(231, 233)에 각각 대응한다. 고속 추적기 경로(high-speed tracker path)(300)는 현재 프레임 속도로 타겟 위치 업데이트를 시선(LOS) 조준 관리자(line of sight (LOS) pointing manager)(314)에 제공한다. 고속 추적기 경로(300)는, 타겟이 추적될 때, FSM 제어기(246)에 의해 지시되는 고속 거울에 LOS 업데이트를 제공하는 주요 경로이다. 저속 추적기 경로(low-speed tracker path)(302)는 타겟 목표점에 대한 주기적인 업데이트를 제공하고, 고속 경로에 대한 상관을 위해 이미지 중심 타겟 레퍼런스를 일시적으로 통합하고, 타겟 추적 게이트를 검출, 세그먼트화 및 업데이트하고 초기화한다.

예시적인 타겟 추적 게이트는 도 4에서 볼 수 있다. 이제 도 4를 참조하면, FTS 시스템(204)에 의해 획득된 타겟(406)의 이미지(400)가 도시된다. 이미지(400)는 타겟 게이트를 나타내는 두 개의 동심 영역(concentric areas)(402, 404)을 포함한다. 첫 번째는 타겟 크기의 추정된 정도 주변의 버퍼를 포함하는 타겟 영역(target area)(402)이다. 두 번째는 배경 추정 영역(404)으로, 배경 추정에 사용되는 타겟 영역(target area)(402) 주변의 고리형이다. 배경 추정은 도 3의 저속 추적 경로(302) 동안 결정된다. 추적기 게이트(Tracker gates)(402, 404)는 추적 시스템(tracking system)(200)이 검출을 최대화하고, 이미지 공간에서 검색할 효율적인 위치를 제공하고, 배경 기여를 거부하기 위해 이미지(400)에 타겟(406)이 포함된 영역을 효과적으로 격리하는 한 가지 방법이다. 추적기 게이트(402, 404)는 고속 및 저속 인터리브 추적기 경로(interleaved tracker paths)(300, 302) 모두에서 크기와 위치를 연속적으로 업데이트한다. 큐 정보가 처음에 존재하지 않을 때, 추적기 게이트(402, 404)는 처음에 전체 이미지(400)를 포함하도록 크기가 조정될 수 있다. 대안적으로, 추적기 게이트(402, 404)는 초기에 타겟 위치 및/또는 ATS 추적기(202) 또는 다른 시스템 기능으로부터 존재하는 경우 크기 정보로부터 크기가 결정될 수 있다.

FTS 추적기(204)는 또한 이미지 특징점에서 HEL을 추적하고 중심화하기 위해 특징 상태 추정기를 사용한다. 이를 위해, FTS 추적기(204)는 다수의 상태 추정기(state estimators)를 포함한다. 진정한 의미에서 '상태(state)'는 추적된 특징의 속도, 가속도 및 위치를 의미한다. 이러한 특징은 이미지 좌표에 있으므로 이러한 특징 상태 추정기는 관성 좌표가 아닌 이미지 좌표에서 타겟 특징 상태를 제공한다. 타겟 특징 상태 추정기는 이하에서 더 자세히 논의되는 바와 같이 상관관계 추적기 모듈(correlation tracker module)(308), 중심 추적기(centroid tracker)(324), 목표점 추적기(aimpoint tracker)(312) 및 순환 레퍼런스 이미지 추적기(recursive reference image tracker)(326)를 포함한다.

다시 도 3을 참조하면, 저속 추적기(302)는 아래쪽 경로에 도시되어 있고, 고속 추적기(300)는 위쪽 경로에 도시되어 있지만, 둘 다 FTS 추적기(204)의 일부일 수 있다. 타겟이 처음 획득된 후, 후속 추적은 고속 및 저속 추적기(300, 302) 모두를 사용하여 수행될 수 있다. 일반적으로, 경로(300)의 구성 요소는 상관관계 추적기의 역할을 할 수 있는 반면, 경로(302)의 구성 요소는 중심 추적기의 역할을 할 수 있다. 두 개의 추적기(300, 302) 사이에 이미지 인터리브(image interleave)(330)가 사용될 수 있다. 이미지 인터리브는 저속 추적기(302)가 N번째 프레임마다 자신의 추적 위치, 중심, 타겟 레퍼런스을 업데이트하는 모드이고, 여기서 N은 추적기(302)가 동작하기 전에 설정된 변수이다. 타겟 위치의 추적기(302)의 출력은 일반적으로 후속 N-1 프레임에 대한 고속 추적기(300) 상관관계 출력이고, N번째 프레임은 중심 추적기 위치, 상관 추적기 타겟 추정 위치 또는 두 추적기 타겟 위치의 혼합 조합이다.

저속 추적기(302)에서, 이미지는 블록(316)에서 공간적으로 필터링된다. 필터 이미지 블록(316)은 배경과 노이즈를 제거하고 추가 처리를 위해 타겟 신호를 강화한다. 필터 이미지 블록(316)은 이미지의 각 프레임에서 동작하며 처리 체인의 제1 부분을 나타낸다. 이 단계에서는 타겟을 제외한 타겟 주변 영역의 배경 통계를 결정하여 픽셀 검출 임계값을 설정한다. 다음으로, 신호는 배경 추정 기능(estimate background function)(318)에 의해 처리된다. 배경 추정 프로세스(estimate background process)는 추적의 경우 타겟 위치 주변의 환형에서 통계를 계산하고, 획득의 경우 더 큰 경계(즉, 타겟이 여전히 식별되는 경우)에서 통계를 계산한다.

다음으로, 추적기는 임계값 및 세그먼트 타겟 기능(segment target function)(320)를 실행한다. 임계값 및 세그먼트 기능(320)는 저속 중심 추적기(324)에서 처리된 각각의 이미지를 입력으로 취하고, 배경 추정 기능(318)에 기초하여 임계값을 적용한 다음, 임계값보다 큰(양수 및 음수 모두) 픽셀을 검출한다. 임계값을 초과하는 픽셀은 8방향 연결을 사용하여 그룹화되고 크기, 면적, 중심 등의 통계와 함께 객체로 변환된다.

다음으로, 타겟 찾기 및 선택 기능(322)이 수행된다. 타겟 찾기 및 선택 기능(322)은 두 가지 동작 모드를 갖고; 타겟이 식별되는 타겟 획득 모드와 식별된 타겟을 추적하는 추적 모드가 있다. 타겟 획득에서, 기능(322)는 임계값 및 세그먼트 타겟 기능(320)으로부터 세그먼트된 객체를 입력으로 취하고 획득 기준에 가장 가까운 세그먼트된 객체를 선택한다. 추적에서, 타겟 찾기 및 선택 기능(322)은 추정된 추적 위치에 가장 가까운 세그먼트된 객체를 선택한다. 타겟 찾기 및 선택 기능(322)은 또한 타겟 및 배경(또는 일정한 허위 경보 CFAR) 게이트(예를 들어 402, 402)를 추정하기 위해 타겟 위치의 범위와 그 위치를 계산한다.

그 후, 중심 타겟 추적기(324)에 의해 추가 처리가 수행된다. 중심 타겟 추적기(324)는 타겟 찾기 및 선택 기능(322)에서 선택된 각 타겟에 대한 중심을 계산하고 위치를 필터링하여 현재 위치의 속도 및 위치 추정치와 다음 번 업데이트 시 미래 위치를 개발하는 기능을 구현한다. 추적 필터링에는 칼만 필터, 알파 베타 및 기타 알려진 필터를 포함한 다양한 추적 필터 구현 옵션이 있다.

그런 다음 업데이트 순환 레퍼런스 기능(recursive reference function)(326)는, 세그먼트되고 선택된 타겟 객체를 추적지점(trackpoint) 및 폐쇄 루프 시선 조준에 사용되는 레퍼런스 이미지 좌표 프레임으로 시프트하도록 적용된다. 세그먼트된 각 객체는 신호 대 노이즈비를 향상시키기 위해 레퍼런스 좌표계에 통합된다. 이 순환 레퍼런스 픽처(reference picture)는 두 가지 기능을 지원한다. 첫째, 순환적 레퍼런스 픽처는 추적 레퍼런스 지점에 대한 폐쇄 루프 추적을 위해 고속 추적기(즉, 경로(300))의 상관관계 추적기 모듈(308)에서 각 입력 이미지 전환(image translation)을 추정하는 데 사용되는 레퍼런스 이미지이다. 둘째, 타겟 목표점(target aimpoint)(312)이 추정된다. 입력 프레임(Input frames)은, 레퍼런스 이미지 신호 대 노이즈비를 최대화하는 동시에 레퍼런스와 현재 입력 프레임 간의 긴밀한 정렬을 보장하기 위해, 시간적으로 가중치를 부여하고 움직임 및 역학으로 인한 타겟 모양 변화와 일치하도록 설계된다. '레퍼런스 이미지 추적 상태 추정기(reference image track state estimator)'는 블록(326)에 내장되어 시선 조준 관리자(line of sight pointing manager)(314)를 조준하기 위한 타겟 중심의 중앙 위치(center location)를 추적한다.

그러면 전파 게이트 기능(328)는, 현재 세그먼트된 타겟 크기 및 다음 프레임의 중심 추적기 예측 타겟 위치에 기초하여 다음 프레임의 추적점 및 타겟 피처를 계산하기 위해 이미지 픽셀이 포착되는 게이트 영역을 업데이트한다. 게이트는, 추적에 있을 때, 다음 프레임의 배경 추정 기능(318)에서 배경 추정을 위한 타겟 영역(예를 들어 게이트(402))과 타겟 주위의 동심 영역(예를 들어 게이트(404))을 정의한다.

그런 다음 목표점 추정 기능(312)은 모양, 회전축 및 방향을 추정하는 컴퓨터 비전 기반 기술, 또는 임의의 다른 컴퓨터 비전 또는 기계 학습 기술을 사용하여 타겟 목표점을 계산하기 위해 업데이트 순환 레퍼런스 기능(update recursive reference function)(326)의 통합된 타겟 레퍼런스 이미지를 사용한다. 목표점은 회전축에 사전 정의된 위치, 사용자가 조정할 수 있는 위치 또는 사전 정의된 위치에 사용자가 조정할 수 있는 위치를 추가하여 회전축을 기준으로 결정된다. 목표점 추정(312)은 LOS 조준 관리자(314)에 목표점에 대한 오프셋 조준 위치 또는 레이저 위치와 오프셋 추적에 대한 순환 레퍼런스의 중심으로의 시프트를 제공한다. 목표점 위치는 이전에 설명한 대로 중심 타겟 추적기(324)와 유사하게 필터링되고 추적된다.

고속 추적기(300)는 저속 추적기(302)와 동시에 기능하다. 이러한 고속 추적기(300)는 FTS 시스템(204)의 LOS를 순간적으로 조준하는데 사용되는 주요 추적기 기능이다. 고속 추적기(300) 경로에서, 입력 이미지는 초기에 블록(304)에서 필터링되는데, 이는 위에서 설명한 필터 이미지 블록(316)과 유사하게 기능한다(예를 들어, 타겟 신호를 향상시키기 위해 각 프레임에 대해 연산을 수행하고 배경과 노이즈를 제거함).

저속 추적기(302) 경로의 업데이트 순환 레퍼런스 기능(326)에서 추정된 레퍼런스 이미지에 대한 현재 이미지 시프트를 계산하기 위해 레퍼런스 기능(reference function)(306) 대한 상관이 적용된다. 상관 영역은 타겟 찾기 및 선택 기능(322)에서 계산된 타겟 게이트의 크기에 적응된다. 레퍼런스 기능에 대한 상관은, 상호 상관을 수행하기 위해, 현재 게이트된 타겟 영역에 맞게 크기가 조정된, 적응형 크기 2D FFT 및 2D 역 FFT를 사용하여 레퍼런스 이미지와 현재 입력 이미지 간의 상호-상관(cross-correlation)을 결정한다. FFT의 크기를 적응적으로 조정하는 이 프로세스는 도 5에 도시되어 있으며 아래에서 더 자세히 설명된다. 순환 이미지에 대한 현재 이미지 시프트는 상관관계 출력의 검출된 피크 위치이며, 2D 피크 보간 방법을 사용하여 하위 픽셀 위치로 보간된다. 레퍼런스 기능(306)에 대한 상관은, 반이진 이미지(semi-binary image)를 생성하기 위해 게이트된 이미지 강도와 레퍼런스 이미지 강도를 클리핑하는 픽셀 임계값을 포함한다. 반이진 이미지는 상호 상관을 위한 주요 타겟 모양 속성을 유지하면서 타겟 모양 전체의 강도 변화로부터 보호한다. 현재 이미지에서 미리 결정된 픽셀이 검색된다.

그런 다음 상관관계 추적 기능(308)에 의해 시프트가 수행된다. 상관관계 추적기 기능(correlation tracker function)(308)은 이전에 논의된 타겟 상태 추정치 중 하나이다. 상관관계 추적기 기능(308)은 현재 프레임과 레퍼런스 프레임 사이의 이미지 시프트의 출력을 사용한다.

상관관계 모드가 동작할 때, 상관관계 게이트 영역 크기 위치는 업데이트 추적 게이트 블록(310)에서 업데이트된다. 상관관계 영역의 크기는 이전에 논의된 인터리빙된 중심 추적기 찾기 및 타겟 선택 기능(322)으로 업데이트된다.

LOS 조준 관리자(314)는 조준을 위해 시스템의 각도 제어기에 폐쇄 루프 시선 타겟 추적 위치를 제공하는 역할을 한다. FSM 제어기(246)는 조준 위치에 응답할 수 있다. 추적 시스템(200)이 획득 모드에 있을 때, 타겟 찾기 및 선택 기능(322)에서 검출된 타겟의 중심 위치는 시선을 조준한다. 추적 모드에서, 상관기가 동작 중일 때, 상관기 이미지는 레퍼런스 이미지 중심 위치를 레퍼런스에 대해 시프트한다. 인터리빙된 중심 모드가 동작할 때, 중심 위치(예를 들어 중심 타겟 추적기(324))는 시선을 하나의 옵션으로 조준키거나 상관관계 추적기 또는 상관관계 추적기 전용 출력과 혼합된다. LOS 조준 관리자(314)는, 또한 조준의 불규칙한 움직임을 확인하고 가짜 조준 커맨드를 제한하고 블록(312)에서 계산된 조준 오프셋에 대한 목표점 추정치를 추가한다.

다시 도 4를 참조하면, 타겟(406)의 이미지(400)는 상관관계 추적(correlation track)(408), 추적 상태 추정 평활화된 타겟 위치(track state estimates smoothed target position)(410), 및 자동으로 생성된 목표점(automatically generated aimpoint)(412)을 포함한다.

이제 도 5를 참조하면, 시스템(200)은 소수 역률(PPF) 및 2의 거듭제곱(PO2)을 철저하게 검색하여 최적의 FFT 크기를 수학적으로 산출하는 알고리즘(500)을 활용한다. 알고리즘은 입력 신호의 차원에 가장 적합한 FFT 크기를 선택하는 최적의 선택기를 구축한다. 이는 기본 실행 루프 외부에서 이를 수행하여 실시간 FFT 및 iFFT 변환에 필요한 모든 데이터 구조를 준비한다. 시스템(200)은 2D FFT를 활용하지만, 어떤 경우에는 알고리즘이 3D FFT에 대해 수행될 수도 있다.

단계(502)에서, 알고리즘은 FFT 크기에 대한 적용 범위를 정의함으로써 시작된다. 적용 범위는 두 차원(minS, maxS) 모두에서 예상되는 신호 크기를 기반으로 사용자가 입력할 수 있다. 그런 다음 알고리즘(algorithm)(500)은 계획 생성 엔진(plan creation engine)(504) 내에서 최적 크기의 솔루션 공간을 생성한다. 이는 모듈(506)이 FFT의 각 특성 차원(1에서 N 차원으로 확장 가능)을 스위핑하고 주어진 차원 범위 MxN의 모든 주요 역률(PPF) 및 2의 거듭제곱(PO2) 요소를 검색하는 것으로 시작된다. 모듈(508) 내에서 요인의 각 조합에 대해 해당 크기에 대해 최적의 실행 및 메모리가 되는 2D FFT 계획이 생성된다. 조회 알고리즘은 들어오는 치수의 각 세트를 치수보다 크거나 같은 최소 역률로 변환한다. 모듈(510) 내에서 모든 요소 조합을 FFT의 저장 공간에 대한 인덱스와 조합에 대한 역 FFT(IFFT)에 매핑하는 룩업 테이블이 생성되며, 이는 FFT 계산에 사용되는 알고리즘에 대해 최적이 보장된다. 이는 각 차원에서 모든 PPF 조합에 대한 철저한 공간을 생성하고 라이브러리가 특정 조합에 대한 최적의 명령들과 메모리 공간을 선택하기 위해 심층 벤치마킹을 활용하게 한다. 룩업 테이블(lookup table) 세트는, 이러한 데이터 구조의 위치를 색인화하며, 이는 애플리케이션의 빠른 루프(즉, FFT 크기가 동적으로 변경되는 동안) 동안 즉각적인 선택을 허용한다. 원래 범위에 포함된 임의의 들어오는 크기는 알고리즘(500)의 선택 프로세스에 의해 최적의 FFT 솔루션이 할당된다.

계획 생성 엔진(504)에서 생성된 계획은 FFT를 적용하기 위해 상관기(229)에 의해 활용될 수 있다. 특히, 추적 시스템(trecking system)(200)으로부터의 입력(512)은 알고리즘(500)에 제공된다. 이는 시스템(200)의 센서 서브시스템(sensor subsystem)(518)으로부터의 입력, 이미지 획득 시스템(image acquisition system)(516)으로부터 들어오는 2D 크기, 및 상관기 동적 신호 크기(correlator dynamic signal sizes)(514)를 포함한다. 상관기(229)에 대한 FFT는 고속 실행 루프(high-rate execution loop)(520) 내에서 실행될 수 있다. 고속 실행 루프(520) 동안, 매핑 테이블 및 기능의 사전 생성은 FFT 계획의 선택이 루프 내 계획 생성에 대한 페널티를 발생시키지 않고 실시간 요구 사항을 충족할 것을 보장한다. 실시간 최적 계획 선택 모듈(real time optimal plan selection module)(522)은 계획 생성 엔진(504)으로부터 최적 계획을 선택한다. 그런 다음 FFT 상관기 알고리즘(524)은, 적응형 크기의 FFT를 사용하여 레퍼런스 이미지와 현재 입력 이미지 사이의 상호 상관을 결정하기 위해, 2D FFT(최적 실행 모듈(526))를 최적으로 실행한다. 결과(results)(528)는 상호 상관을 수행하기 위해 상관기(229)에 의해 활용된다. 계획 생성 파괴 엔진(plan creation destruction engine)(530)은 루프-외 계획 분해(out-of-the-loop plan deconstruction)를 제공하여, 고속 알고리즘 루프 내에서 메모리 할당해제 실행 페널티(deallocation execution penalties)를 보장한다.

전체적으로 인터리브 및 병렬 중심, 타겟 레퍼런스, 고속 상관관계 추적을 이용한 타겟의 타겟 추적을 통해, 여기에 설명된 추적 시스템은 추적 드리프트를 방지하고 아티팩트(클러터 및 노이즈)로 인한 손실을 추적하기 위한 견고성을 제공할 수 있으며, 기본적으로 두 추적 모드 중 하나를 선택하여 시야에서 작은 타겟, 큰 타겟 및 과도하게 채워진 타겟을 추적할 수 있다.

여기에 표시된 구성 요소의 모든 배향과 배치는 단지 예로서 사용되었다. 또한, 대안적인 실시예에서는 여러 요소의 기능이 더 적은 수의 요소 또는 단일 요소에 의해 수행될 수 있다는 것이 당업자에게 이해될 것이다. 마찬가지로, 일부 실시예에서 임의의 기능 요소는 예시된 실시예에 대해 설명된 것보다 더 적거나 다른 동작을 수행할 수 있다. 또한, 설명을 위해 별개로 표시된 기능 요소는 특정 구현에서 다른 기능 요소 내에 통합될 수 있다.

본 기술이 바람직한 실시예에 대해 설명되었지만, 당업자는 본 기술의 사상 또는 범위를 벗어나지 않고 본 기술에 대해 다양한 변경 및/또는 수정이 이루어질 수 있음을 쉽게 이해할 수 있을 것이다. 예를 들어, 각 청구항은 원래 청구되지 않았더라도 다중 종속 방식으로 일부 또는 모든 청구항에 종속될 수 있다.

Claims (20)

1. 타겟을 추적하기 위한 타겟 추적 시스템에 있어서,
   상기 타겟의 이미지를 지속적으로 캡처하는 광시야각(FOV) 카메라 시스템을 포함하는 획득 및 추적 센서(ATS), 및
   좁은 FOV 카메라 시스템을 포함하는 정밀 추적 센서(FTS)
   를 포함하고,
   상기 ATS는,
   추적하기 위한 상기 타겟을 식별하고 추적하기 위한 상기 타겟에 신호를 보내고,
   상기 FTS는,
   상기 ATS에 의해 타겟이 신호를 받은 후, 상기 타겟 주위에 상기 좁은 FOV 카메라 시스템의 중심을 지속적으로 다시 지정하고,
   상기 ATS 및 FTS는,
   각각의 카메라 시스템에 대한 독립적인 조향 메커니즘을 포함하는,
   시스템.
   
2. 제1항에 있어서,
   상기 타겟 추적 시스템은,
   고에너지 레이저(HEL) 추적 시스템이고,
   상기 ATS는,
   중파장 적외선(MWIR) 추적기이고, 및
   상기 FTS는,
   단파 적외선(SWIR) 추적기인,
   시스템.
   
3. 제2항에 있어서,
   상기 SWIR 추적기는,
   상기 이미지로부터 클러터와 노이즈를 필터링하고, 상기 타겟의 중심을 결정하고, 상기 이미지에 기초하여 상기 타겟의 복수의 순환 레퍼런스 이미지를 생성하도록 구성된 중심 추적기, 및
   상기 타겟의 연속적인 순환 레퍼런스 이미지 간의 시프트를 결정하고 타겟의 목표점에 대한 오프셋을 생성하는 상관기 추적기
   를 포함하는,
   시스템.
   
4. 제2항에 있어서,
   타겟 상태 추정기
   를 더 포함하고,
   상기 타겟 상태 추정기는,
   상관기 추적기, 상기 중심 추적기, 상기 MWIR로부터의 데이터를 융합하여 상기 타겟의 현재 상태를 추정하도로 구성되고,
   순환 레퍼런스 이미지는,
   상기 타겟의 추정된 현재 상태를 기반으로 업데이트되는,
   시스템.
   
5. 제2항에 있어서,
   상기 SWIR 추적기는,
   고속 SWIR 카메라 시스템과 저속 SWIR 카메라 시스템을 포함하고, 및
   상기 MWIR 카메라 시스템은,
   저속 MWIR 카메라 시스템을 포함하는,
   시스템.
   
6. 제1항에 있어서,
   상기 FTS는,
   상기 타겟의 복수의 세그먼트를 포함하는, 상기 타겟의 복수의 특징을 추적하도록 구성되는,
   시스템.
   
7. 제6항에 있어서,
   상기 시스템은,
   HEL 빔을 포함하는 고에너지 레이저(HEL) 추적 시스템이고, 및
   상기 시스템은,
   상기 FTS를 기반으로 상기 HEL 빔을 신호 타겟으로 조준하도록 구성되는,
   시스템.
   
8. 제7항에 있어서,
   상기 시스템은,
   전투 손상 평가 모드를 실행하도록 구성되고,
   상기 시스템은,
   상기 타겟이 HEL 빔에 맞은 후, 상기 타겟의 운동역학이 상기 타겟의 예상 역학에서 벗어나는 경우를 검출하고,
   상기 타겟의 하나 이상의 세그먼트가 상기 타겟으로부터 공간적으로 분리되는 시기를 검출하고 타겟 손상을 결정하고,
   결정된 상기 타겟 손상을 기반으로 타겟 손상 평가 지표를 제공하도록 구성되는,
   시스템.
   
9. 제8항에 있어서,
   상기 시스템은,
   상기 타겟 손상을 결정하기 위해 상기 HEL 빔이 꺼진 후 상기 타겟을 재평가하도록 구성되고,
   상기 타겟 손상은,
   부분적으로 상기 타겟의 공간적으로 분리된 세그먼트 사이의 거리에 기초하는,
   시스템.
   
10. 제1항에 있어서,
    상기 ATS는,
    타겟 특징들이 복수의 미리 결정된 기준을 충족할 때, 추적을 위한 상기 타겟에 신호를 보내도록 구성되고,
    상기 기준은,
    타겟 크기, 타겟 모양, 타겟 속도, 신호 대 노이즈비 및 나타나는 시간의 양
    을 포함하는,
    시스템.
    
11. 타겟을 추적 시스템을 이용한 타겟 추적 방법에 있어서,
    상기 타겟의 이미지를 지속적으로 캡처하고, 추적할 상기 타겟을 식별하고, 추적할 상기 타겟에 신호를 보내는 넓은 시야(FOV) 카메라 시스템을 포함하는 획득 및 추적 센서(ATS)를 동작시키는 단계, 및
    상기 ATS에 의해 상기 타겟이 신호를 받은 후 좁은 FOV를 타겟 주위로 연속적으로 다시 중심화하기 위해 좁은 FOV 카메라 시스템을 포함하는 정밀 추적 센서(FTS)를 동작시키는 단계
    를 포함하고,
    상기 ATS 및 FTS는,
    각각의 카메라 시스템에 대한 독립적인 조향 메커니즘
    을 포함하는,
    방법.
    
12. 제11항에 있어서,
    상기 타겟 추적 시스템은,
    고에너지 레이저(HEL) 추적 시스템이고,
    상기 ATS는,
    중파장 적외선(MWIR) 추적기이고, 및
    상기 FTS는,
    단파 적외선(SWIR) 추적기인,
    방법.
    
13. 제12항에 있어서,
    상기 FTS를 동작시키는 단계는,
    상기 이미지로부터 클러터 및 노이즈를 필터링하고, 상기 타겟의 중심을 결정하고, 상기 이미지에 기초하여 상기 타겟의 복수의 순환 레퍼런스 이미지를 생성하는 중심 추적기를 동작시키는 단계, 및
    상기 타겟의 연속적인 순환 레퍼런스 이미지 간의 시프트를 결정하고 타겟의 목표점에 대한 오프셋을 생성하는 상관기 추적기를 동작시키는 단계
    를 포함하는,
    방법.
    
14. 제12항에 있어서,
    타겟 상태 추정기로, 상관기 추적기, 상기 중심 추적기, 상기 MWIR로부터의 데이터를 융합하여 상기 타겟의 현재 상태를 추정하는 단계, 및
    상기 타겟의 추정된 현재 상태를 기반으로 순환 레퍼런스 이미지를 업데이트하는 단계
    를 더 포함하는,
    방법.
    
15. 제12항에 있어서,
    상기 SWIR 추적기는,
    고속 SWIR 카메라 시스템과 저속 SWIR 카메라 시스템을 포함하고, 및
    상기 MWIR 카메라 시스템은,
    저속 MWIR 카메라 시스템을 포함하는,
    방법.
    
16. 제11항에 있어서,
    상기 타겟의 복수의 세그먼트를 포함하는 상기 타겟의 복수의 특징을 상기 FTS로 추적하는 단계
    를 더 포함하는,
    방법.
    
17. 제16항에 있어서,
    상기 시스템은,
    HEL 빔을 포함하는 고에너지 레이저(HEL) 추적 시스템이고,
    상기 방법은,
    SWIR 추적기에 기초하여, 상기 타겟에 신호를 보낸 후, 상기 타겟에 상기 HEL 빔을 조준하는 단계
    를 포함하는,
    방법.
    
18. 제17항에 있어서,
    전투 손상 평가 모드에서 상기시스템을 실행하는 단계
    를 더 포함하고,
    상기 시스템은,
    상기 타겟이 HEL 빔에 맞은 후, 상기 타겟의 운동역학이 상기 타겟의 예상 역학에서 벗어나는 경우를 검출하고,
    상기 타겟의 하나 이상의 세그먼트가 상기 타겟으로 부터 공간적으로 분리되는 시기를 검출하고,
    타겟 손상을 결정하고, 및
    결정된 상기 타겟 손상을 기반으로 타겟 손상 평가 지표를 제공하게 하는,
    방법.
    
19. 제18항에 있어서,
    상기 HEL 빔을 끄는 단계,
    상기 타겟 손상을 결정하기 위해 상기 HEL 빔이 꺼진 후 상기 타겟을 재평가하는 단계
    를 더 포함하고,
    상기 타겟 손상은,
    부분적으로 상기 타겟의 공간적으로 분리된 세그먼트 사이의 거리에 기초하는,
    방법.
    
20. 제11항에 있어서,
    상기 ATS는,
    타겟 특징들이 복수의 미리 결정된 기준을 충족할 때, 추적을 위한 상기 타겟에 신호를 보내고,
    상기 기준은,
    타겟 크기, 타겟 모양, 타겟 속도, 신호 대 노이즈비 및 나타나는 시간의 양
    을 포함하는,
    방법.