KR100885084B1 - 컴포넌트 관련 추적기 시스템 및 방법 - Google Patents

컴포넌트 관련 추적기 시스템 및 방법 Download PDF

Info

Publication number
KR100885084B1
KR100885084B1 KR1020067019413A KR20067019413A KR100885084B1 KR 100885084 B1 KR100885084 B1 KR 100885084B1 KR 1020067019413 A KR1020067019413 A KR 1020067019413A KR 20067019413 A KR20067019413 A KR 20067019413A KR 100885084 B1 KR100885084 B1 KR 100885084B1
Authority
KR
South Korea
Prior art keywords
component
track
target
tracks
image
Prior art date
Application number
KR1020067019413A
Other languages
English (en)
Other versions
KR20060129491A (ko
Inventor
제임스 슬라스키
Original Assignee
록히드 마틴 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 록히드 마틴 코포레이션 filed Critical 록히드 마틴 코포레이션
Publication of KR20060129491A publication Critical patent/KR20060129491A/ko
Application granted granted Critical
Publication of KR100885084B1 publication Critical patent/KR100885084B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

컴포넌트 관련 추적기가 개시된다. 상기 추적기는 이미지로부터 추출된 컴포넌트들을 사용하여 타겟 또는 타겟들을 탐지하고, 식별하고, 그리고 추적한다. 상기 추적기는, 연결된 픽셀들의 에지 방향들에 따라 상기 이미지 안에서 창으로부터 상기 컴포넌트들을 추출한다. 상기 추적기는 상기 컴포넌트들을 트랙 파일로부터 기존 트랙들과 관련시킨다. 상기 트랙들은 상기 관련된 컴포넌트들로부터의 정보에 따라 업데이트된다.
추적기

Description

컴포넌트 관련 추적기 시스템 및 방법{COMPONENT ASSOCIATION TRACKER SYSTEM AND METHOD}
본 발명은 주변 이미지의 개별 컴포넌트(클러터(clutter))와 오브젝트(object)(타겟(target))의 개별 컴포넌트를 추적함으로써 일련의 이미지에서 상기 오브젝트를 추적하기 위한 시스템 및 방법에 관한 것이다. 사용자는 특정한 컴포넌트들을 추적될 타겟으로 지정할 수 있고, 반면에 다른 컴포넌트들은 클러터로 간주된다. 잇따라 수신된 이미지들에 대해, 이들 컴포넌트들은 타겟 위치를 제공하기 위해 효율적인 방법으로 기존 타겟 및 클러터 마커들(clutter markers)(트랙(track)들)과 관련된다.
타겟들을 인식하는 것이 기존의 탐지 시스템에서 요구되고 있다. 자동 타겟 인식의 기능은 후보 타겟들을 찾아내고 클러터로부터 후보 타겟들을 분리하는 것인데, 일반적으로 타겟 검출, 분류, 그리고 식별을 포함한다. 또 다른 관련된 기능은 시간의 경과에 대해 타겟 정보(예를 들어, 타겟 위치)를 업데이트함으로 써 식별된 타겟들을 추적하는 것이다. 이미지 데이터를 사용하여 타겟들을 추적하는 것은 추적 타겟의 수신된(개별 컴포넌트로 나누어진) 이미지들과 관련된 데이터 픽셀(pixel)들을 인식하는 공지된 프로세스들을 사용함으로써 수행된다. 종래의 탐지 및 추적 시스템은 픽셀 왜곡에 대해 이미지들을 분석하여 차이를 결정하고 확립된 또는 새로운 타겟으로부터 배경 또는 클러터를 분리한다.
예를 들어, 발포 제어(fire control), 미사일 시커(seeker) 응용분야에서 타겟 추적은 잠재적인 타겟들을 높은 배경 클러터 영역에 위치시키고 잠재적인 타겟들을 추적하는 것이다. 몇 가지 문제점이 타겟 추적에서 발생할 수 있다. 한 가지 문제점은 실시간으로 타겟 획득 및 추적을 실행하는 것이다. 요구 조건들을 처리하는 것이(특히, 이미지 데이터에 대해서) 너무 커져 시기적절한 타겟 환경의 업데이트를 방해한다. 다른 환경, 타겟, 그리고 배경도 여러 문제점이 된다. 타겟 추적 시스템은 실시간 이미지 처리를 수행할 만큼 충분히 적응성이 있고 정교해야만 한다.
또 다른 문제점은, 높은 배경 클러터 영역들에서 발생하는 식별된 타겟들의, 잠재적인 락 손실(loss-of-lock), 또는 트랙 손실을 제거하는 것을 포함한다. 배경은 다양한 형상과 크기의 오브젝트와 섞여있을 수 있다. 이러한 오브젝트로부터 얻어진 컴포넌트들은 추적된 타겟 컴포넌트들을 간섭한다. 더욱이 참된 타겟과 거짓된 타겟 사이를 구별하는 것은 높은 배경 클러터에서 문제이다. 따라서, 타겟 추적 시스템은 배경 클러터의 영향을 감소시키고 타겟 식별 및 추적을 향상시키는 것이 목적이다.
종래의 타겟 추적기들은 타겟 위치와 방향을 업데이트하기 위하여 이미지 상관을 사용한다. 이러한 추적기들은 추적 타겟의 업데이트된 위치와 방향을 결정하기 위하여 이미지 데이터를 분석한다. 그러나, 종래의 추적기들은 입력 에러와 타 겟 추적을 방해하는 이미지 프로세스를 가지는 문제점이 있었다. 예를 들어, 전반적인 이동(global shift)이 이전의 타겟 이미지로부터 수신된 타겟 이미지에서 발생할 수 있다. 종래의 타겟 추적기에 대한 관련 알고리즘(association algorithem)은 이러한 전반적인 이동을 설명하지 못한다. 그리고 확립된 타겟들은 부적절하게 추적된다. 이미지로부터 얻어진 데이터는 멀티-타겟 추적기(multi-target tracker)에서 잘못된 타겟과 관련될 수 있다. 전반적인 이동 문제도 방향, 고도, 비행경로, 속도 등을 변경하는 다른 공증 비행 시커(airbone seeker) 응용분야, 미사일에서 일반적일 수 있다.
수신된 이미지들도 추적된 타겟들과 관련된 컴포넌트들을 탐지하기 위하여 종래의 방법을 사용하면서 필터링되고 처리된다. 그러나, 배경 또는 클러터와 비교하여, 컴포넌트 픽셀들의 에너지의 피크(peak)들이 쉽게 식별되지않을 때, 문제가 발생한다. 더욱이, 상기 얻어진 컴포넌트들은 확립된 타겟 또는 새로운 타겟과 쉽게 관련되지 않을 수 있다. 이러한 노력들은 처리 리소스들(processing resources)을 낭비한다. 따라서, 종래의 타겟 추적 시스템은 리소스들을 낭비하는 비효율적인 추적 또는 식별 및 추적 에러의 문제점을 가지고 있었다. 더욱이, 높은 배경 클러터에 대해 타겟들을 식별할 수 없는 능력은 탐지 및 추적 시스템의 유효성을 방해한다.
따라서, 본 발명의 개시된 실시예들은 상기 서술된 종래의 추적 시스템과 관련된 문제들을 감소시키는 컴포넌트 관련 추적 시스템 및 방법에 관한 것이다. 본 발명의 개시된 실시예들은 효율적으로 처리 리소스들을 이용하면서, 확립된 그리고 새로운 타겟들을 추적하는 능력을 향상시키는 것이다.
본 발명의 예시적 일 실시예에따라, 이미지에서 타겟을 추적하는 방법이 개시된다. 타겟은 타겟 트랙으로 정의된 이미지 컴포넌트 마커(트랙)와 관련되어 있다. 상기 방법은, 컴포넌트 안에 연결된 픽셀들의 에지 방향(edge direction)에 따라, 이미지로 확립된 검색 창(search window)에서, 수신된 이미지로부터 적어도 하나의 컴포넌트를 추출하는 것을 포함한다. 상기 창은 예측된 타겟 위치와 관련된 미리 결정된 검색 창이 될 수 있다. 상기 방법은 또한 관련(association)에 따라 트랙(track)을 업데이트하기 위해 컴포넌트를 선택하는 것을 포함한다. 상기 방법은 또한 컴포넌트의 에지 방향으로 트랙을 업데이트하는 것을 포함한다.
본 발명의 추가적인 특징과 장점은 다음에 서술되는 설명에 나타나며, 부분적으로 암시되고 또한 본 발명의 실행으로부터 알 수 있다. 본 발명의 타겟과 다른 장점들은 첨부된 도면뿐만 아니라 서술된 설명 및 청구범위에서 특히 지적된 구조와 방법에 의해 실현되고 달성된다.
첨부된 도면은 본 발명의 개시된 실시예를 보다 잘 이해시키기 위한 것이며, 본 명세서와 함께 본 발명의 원리를 설명하기 위해 제공된다. 도면에서,
도1은 본 발명의 실시예에 따른 탐지 및 추적 시스템을 나타낸다.
도2A는 본 발명의 실시예에 따른 컴포넌트 관련 추적기를 사용하여 타겟 식별 및 추적을 위해 컴포넌트를 관련시키는 것에 대한 순서도를 나타낸다.
도2B는 본 발명의 실시예에 따른 컴포넌트 관련 추적기를 사용하여 타겟 식별 및 추적을 위해 이미지 구성부분에 대해 지정될 수 있는 다수의 에지 방향들을 나타낸다.
도3은 본 발명의 실시예에 따른 이미지의 현재 프레임에서의 트랙들과 컴포넌트들을 나타낸다.
도4는 본 발명의 실시예에 따른 트랙들 그리고 컴포넌트들을 관련시키는 것에 대한 순서도를 나타낸다.
도1은 본 발명의 실시예에 따른 타겟 탐지, 식별 그리고 추적 시스템(100)을 도시한 것이다. 탐지 시스템(100)은 후보 타겟들과 관심 있는 다른 오브젝트들을 탐지하고 추적한다. 탐지 시스템(100)은 어떠한 환경에서도 동작하며, 바람직하게는 공중에서의, 지상에서의, 물 위에서의, 수중에서의, 기타 등등에서의 타겟들을 검색하고, 탐지하고, 식별하고, 그리고 추적하는 공중 플랫폼(airborne platform)에서 동작한다. 더욱 바람직하게는, 탐지 시스템(100)은 타겟들을 탐지하고 추적하는 미사일 시커에 구성될 수 있다.
탐지 시스템(100)은 환경으로부터 정보를 수신하고, 후보 타겟들(188)을 탐지하는 탐지기들(102)을 포함한다. 상기 정보는 적외선 탐지에 대한 방사속(radiant flux), 또는 탐지기들(102)에 의해 탐지가능성 있는 다른 에너지를 포함한다. 대안적으로, 탐지기들(102)은 전자기적 또는 무선 주파수(radio frequency) 에너지를 수신할 수 있다. 공지된 프로세스를 사용하여, 탐지기들(102) 그리고 수반하는 하드웨어 및 소프트웨어는 이지지(180)를 생성한다. 이미지(180)은 타겟들(188)에 관한 이미지 데이터를 포함한다. 탐지기들(102) 적외선 탐지기, 레이더 탐지기, 카메라, 또는 카메라들, 센서들, 또는 어떤 영역에 대해 타겟들(188)에 관한 데이터를 캡처(capturing) 할 수 있는 장치와 같은 어떠한 공지된 탐지기이다. 탐지기들(102)은 직간접적으로 추적기(104)에 연결(couple)되어 있다.
추적기(104)는 이미지(180)를 수신한다. 추적기(104)는 이미지(180)에 관해 처리 동작들을 수행하거나 정제(refine)할 수 있다. 바람직하게는, 이미지(180)은 잠재적인 후보 타겟들에 관하여 어떠한 정보를 포함한다. 더욱 바람직하게는 이미지(180)는 픽셀들을 포함한다. 각 픽셀은 밝기(brightness), 색(color), 대비(contrast) 등과 같은 다른 특징을 가질 수 있다. 이미지(180)은 타겟들(188)과 같은 추적될 수 있는 하나 이상의 타겟들을 포함한다. 타겟들(188)과 같은 추적된 타겟들은 일련의 이미지들(180)로 수신된다. 타겟 오브젝트(188)를 포함하는 일련의 이미지들(180)은, 주변 이미지(클러터) 뿐만 아니라 다수의 개별 이미지 컴포넌트로 분해될 수 있다. 추적기(104)는, 트랙들을 참조하여, 트랙 파일(track file)(116)에 저장되어 있는 기존 이미지 컴포넌트 마커들과 컴포넌트들을 관련시킴으로써, 이것들에 대해 개별 컴포넌트의 위치를 추적한다. 트랙 파일(116)은 3개 타입의 트랙들(이미지 컴포넌트 마커들)을 포함할 수 있으며, 이것들은 다음에 더 자세하게 개시된다.
추적기(104)는 프로세서(106), 메모리(110), 명령들(instructions)(108)을 포함한다. 프로세서(106)는 추적기(104)의 기능(function)들을 수행시키기 위해 명 령들(108)을 실행한다. 바람직하게는 명령들(108)은 추적기(104)에 저장된 소프트웨어 프로그램을 실행하는 데 사용되는 소프트웨어 코드이다. 명령들(108)은 추적기(104)에서 동작들을 수행하도록 메모리(110)에 저장될 수 있다. 대안적으로, 명령들(108)은 추적기(104) 내부에 있거나 또는 이와 결합된 또 다른 소스(source)에 상주할 수도 있다. 프로세서(106)는 명령들(108)에 따라, 이미지(180)에서 식별된 타겟들을 추적하기 위하여 계산(computations), 액션(actions), 그리고 다른 기능들을 수행한다.
명령들(108)은 추적기(104)의 동작을 안내(guide)한다. 명령들(108)은 이미지(180)에서 컴포넌트들을 식별하고, 아래에 개시될 프로세스들 중 어느 하나를 수행하기 위한 명령들을 포함한다. 명령들(108)은 또한 추적기(104)에서 수행될 수 있는 다른 기능들에 대한 명령들을 포함한다.
특히, 추적기(104)는 이미지(180)에서 이미지 데이터를 처리하거나 분석한다. 그 결과는 타겟들(188)과 같은 타겟의 위치를 예측하는 것을 도와준다. 타겟들 및 비타겟들(non-targets)과 관련되어 있는, 트랙의 위치들도 예측된다. 추적기(104)는 예측된 위치들에 따른 보다 심도있는 고찰(considerattion)을 위해 잠재적으로(potentially) 관심 있는 여러 조각의 이미지(180)를 분해한다. 잠재적으로 관심 있는 조각들을 "컴포넌트들"이라고 한다. 타겟은, 주변 클러터와 함께, 이미지(180) 내의 다수의 컴포넌트들로 분해(broken up)된다. 본 명세서에 참조로 통합되는 미국 특허 출원 제10/465,723호(제목 : "TARGET DETECTION SYSTEM USING TRAINED AND UNTRAINED DETECTION AND METHODS THEREFOR", 2003.06.20. 출원)에 개 시된 방법과 유사한 타겟/클러터 탐지 방법이 사용될 수 있다.
식별된 컴포넌트들 모두는 프로세서(106)에서 실행되는 트랙/컴포넌트 관련 절차(여기서 프로세서(106)는 기존 트랙들과 이미지(180)로부터 식별된 컴포넌트들 사이에 최적의 매치(match)를 찾기 위한 시도를 한다.)를 통해 개별적으로 추적된다. 전체 이미지(또는 타겟 이미지)에서 보다 이미지(180)에서 개별 컴포넌트들의 추적은 추적기(104)의 추적 동작에 가해진 적응성 있는 제약들(flexible constraints)을 고려한다.
추적기(104)에 의한 추적은 이미지(180)를 작은 에지 컴포넌트로 분할하는 것에 기초를 두고 있다. 추적된 이미지(180)에서, 하나 이상의 클러터 오브젝트들 뿐만 아니라 타겟은 다수의 개별 컴포넌트들로 분할될 수 있다. 개별 컴포넌트들의 위치는 추적기(104)에 있는 트랙 파일(116)에 저장된 기존 트랙들(이미지 컴포넌트 마커들)을 사용하여 추적될 수 있다. 트랙 파일(116)에 저장된 이미지 성분 마커들(트랙들)은, 수신된 이미지(180)로부터 이전에 분할된 개별 컴포넌트들을 사용하여 생산될 수 있다.
트랙 파일(116)은 바람직하게 3개 타입의 트랙들을 포함한다. 비-확립된(non-established) 트랙들은 짧은 시간 동안 존재하는 트랙들이고, 그리고 클러터 또는 배경과 같은 타겟과 관련되지 않은 가짜 컴포넌트(spurious component)들에 의해 야기될 수 있는 트랙들이다. 확립된 트랙들은 적어도 특정된 최소의 시간 동안 존재하고, 수신된 컴포넌트들과 일관성 있게 관련되어 있다. 타겟 트랙들은 확립된 트랙들의 부분집합(subset)이고, 추적된 타겟에 관해 위치 좌표를 가진다. 추가적인 타입의 트랙들이 트랙 파일(116)에 포함될 수 있다.
바람직하게는, 이미지 시퀀스(image sequence)의 첫번째 프레임에서, 타겟 트랙을 시작하기 위해서, 사용자 또는 다른 엔터티(entity)는 타겟을 포함하는 직사각형 영역 또는 타겟들을 포함하는 영역들을 지정한다. 이 영역은 타겟로 지정된 이미지 컴포넌트들로 분할될 수 있고 "확립된", 타겟 트랙들을 만드는 데 사용될 수도 있다. 직사각형 영역의 외부에 있는, 다른 모든 이미지 컴포넌트들은 클러터로 지정될 수 있고, "확립된", 비-타겟(non-target) 트랙을 만드는 데 사용될 수 있다. 바람직하게는, 이 처리절차는 수신된 이미지(180)의 첫 번째 프레임에 관해 단지 사용될 수 있다. 대안적으로, 직사각형 영역은 알고리즘 또는 미리 설정된 조건들을 통해 자동으로 지정될 수 있다. 타겟 초기화는 트랙 파일이 "시작" 위치로부터 초기화되도록 한다. 하나 이상의 타겟이 적용가능하다면, 다수의 직사각형 영역이 생성된다.
더욱이, 프로세서(106)은 언제 비-확립된 트랙이 확립된 트랙으로 변환돼야 하는지를 결정할 수 있고, 언제 확립된 트랙이 타겟 트랙으로 변환돼야 하는지를 결정할 수 있다. 추가로, 프로세서(106)는, 이미지(180) 안에서 기존 트랙들과 관련되지 않은 수신된 컴포넌트들을 사용함으로써, 새로운 타겟들의 식별 및 생성을 용이하게 한다. 메모리(110)는 추적기(104)에 의해 식별된 타겟 트랙들에 관한 정보를 저장한다.
수신된 이미지(180)로부터 분할된 개별 이미지 컴포넌트들을 사용하여, 추적기(104)는 계속해서 타겟의 업데이트 위치를 예측한다. 처음에, 첫 번째로 수신된 이미지 프레임(180)에 대해, 추적기(104)는, 사용자의 선택에 응해서, 수신된 이미지(180)로부터의 트랙 파일(116)에 저장된 분할된 컴포넌트들로부터 타겟 트랙과 비-타겟 트랙들을 확립한다. 장래에 수신될 이미지 프레임들(180)에 대해, 추적기(104)는, 프레임당 픽셀들 단위인 트랙의 속도와 타겟 중심에 대해 상대적인 픽셀 단위의 트랙의 위치를 포함하는, 트랙 파일(116)에서, 각 트랙 레코드(track record)에 기초하여 현재 수신된 이미지 프레임(180)에서의 저장된, 비-타겟 트랙들의 위치를 예측하기 위해 선형 예측(linear prediction)을 사용한다. 또한, 타겟 트랙은, 타겟 트랙 위치의 예측으로부터 타겟 위치를 예측하면서(또는 그 반대의 경우도 마찬가지), 타겟 중심에 관해 상대적으로 위치가 고정적으로 정해진다(타겟 사이즈(versize)에 표준화된다). 트랙 파일(116)은 메모리(110)에 저장될 수 있다. 대안적으로, 트랙 파일(116)은 또 다른 메모리 위치에 저장되거나, 또는 디스크, 휴대용 메모리, 이동성 장치(mobile device) 등과 같은 또 다른 저장 매체에 저장된다.
타겟 위치와 비-타겟 트랙 위치들의 예측 후에, 이미지 컴포넌트는, 예측된 타겟 위치 주위에서 수신된 이미지(180)로부터 추출/식별될 수 있다. 바람직하게는, 추출된 컴포넌트들은 동일한 에지 방향을 가진 확립된 트랙들과 관련되고, 그리고, 수신된 이미지(180) 안에서 예측된 트랙 위치 주위에서의 검색 창(search window)(예를 들어, 직사각형) 안으로 떨어진다. 바람직하게는, 검색 창은, 탐지기들(102)에 의해 사용된 센서들의 움직임(한 프레임 한 프레임)으로부터 시계(field of view, FOV)의 사이즈 안에서 타겟 움직임과 변화들을 설명할 수 있을 정도로 큰 사이즈가 될 수 있다.
수신된 이미지(180)로부터, 추적기(104)는, 이미지(180)로부터 식별된 컴포넌트들과 트랙들 사이에서 전체적인 최적화 또는 가장 좋은 일대일 관련을 결정하는 것을 포함하여, 확립된 트랙과 잠재적으로 관련될 수 있는 다수의 컴포넌트들을 추출하고 산출한다. 추적기(104)는, 타겟(180)의 현재의 위치를 예측하기 위해, 그리고 확립된 트랙들을 업데이트하기 위해, 마지막 트랙-대-컴포넌트 짝짓기(track-to-component pairing)를 사용한다.
업데이트되고 확립된 트랙들과 타겟 위치들은 디스플레이/출력(130)을 통해 사용자 또는 다른 엔터티에 전달된다. 디스플레이/출력(130)은 장치는 타겟 식별, 탐지, 또는 트랙 정보를 디스플레이하거나 출력할 수 있는 장치, 매체, 수단, 시스템, 구성부품 등이 될 수 있다. 디스플레이/출력(130)은 추적기(104)에 연결된 디스플레이 모니터가 될 수 있다. 예시적으로 추적기(104)가 적 미사일들을 탐지하고, 추적하고, 그리고 파괴하는데 사용될 수 있는 미사일 응용분야에서, 추적기(104)는 디스플레이를 사용하지 않고 미사일의 비행을 제어하기 위해 출력을 미사일 오토파일럿(autopilot)에 제공할 수 있다.
확립된 트랙들과 관련되지 않은 어떤 컴포넌트들은 추적기(104)에 의해 비-확립된 트랙들과 관련된다. 바람직하게는, 추적기(104)는, 이미지(180) 안에서 이전에 확립된 트랙 상관보다 더 작은 영역에 걸쳐 검색을 하는 단순한 가장 인접한-이웃(nearest-neighbor) 관련을 사용한다. 어떤 컴포넌트들이 두 번째 관련 단계 후에 사용되지 않았다면, 새로운 비-확립된 트랙들은 이미지(180)에서 식별된 이러 한 비-관련된 컴포넌트들로부터 만들어진다. 추적기(104)는 특정 기준에 따라 트랙들을 확립된 또는 타겟 상태로 승진시키고, 오래된 트랙들을 제거하는 것을 포함하여 트랙 파일 유지를 수행한다. 이 특징들은 다음에 더 자세하게 개시된다.
입력(120)은 또한 데이터 입력을 허락하거나 사용자 또는 다른 엔터티와 인터페이스하기 위해 추적기(104)에 연결된다. 추적기(104)는 시스템 요구조건들/사양들(requirements / specifications)에 따라 또는 사용자가 정의한 요구조건/사양에 따라 조절되고 제한될 수 있다. 입력(120)은, 추적기(104)에 요구조건들/사양들 또는 데이터의 입력을 허락하는 시스템, 또는 장치, 매체, 수단들이 될 수 있다. 예를 들어, 사용자는 입력(120)을 사용하여 프로세서(106)에 동작들을 더 정의하기 위하여 명령들을 입력한다. 이 예에서, 입력(120)은 추적기(104)를 사용하여 타겟들을 탐지하고, 식별하고, 그리고 추적하기 위하여 명령들(108)을 실행하는 컴퓨터에 연결된 키보드이다. 예시적인 미사일 응용분야에서, 데이터 입력은 미사일 발사기 인터페이스(missile launcher interface)로부터 올 수 있으며, 여기서 데이터는 파일럿 제어들(pilot controls)로부터 전송된다.
따라서, 추적기(104)는 타겟들(188)을 탐지하고 추적하기 위하여 이미지(180)을 수신하는 본 발명의 개시된 실시예에 따른 컴포넌트 관련 추적기이다. 추적기(104)는 이미지(180) 안에서 여러 그룹의 연결된 픽셀들의 에지 방향에 기초하여, 이미지(180)을 컴포넌트들로 분할한다.
추적기(104)는 또한 타겟 및 클러터 출현이 어떻게 변할지를 제어하는 로직(logic)을 포함한다. 이 로직은 프로세서(106) 및 명령들(108)에 의해 제어된다. 더욱이, 명령들(108)은 타겟 추적기(104)의 성능 대 프로세서(106)에 관한 프로세서 부하(load)의 균형을 잡기 위해 조정될 수 있는 알고리즘을 포함할 수 있다. 따라서, 추적기(104)는 특정된 요구조건들과 파라미터들에 따라 동적인 타겟 탐지, 분류, 식별, 그리고 추적을 가능하게 한다.
도2A는 본 발명의 실시예에 따른 컴포넌트 관련 추적기를 사용하여 타겟 식별 및 추적을 위한 컴포넌트들을 관련시키는 순서도이다. 바람직하게는, 도2A의 순서도는 도1에 개시된 하드웨어 및 소프트웨어 구성에 의해 구현된다. 그러나, 도1 또는 도2A 어느 것도 본 발명의 실시예에서의 응용 가능성 측면에서 서로를 제한하지 않는다.
단계 202는 컴포넌트 관련 추적기에서 어떤 소스로부터 수신될 수 있는 이미지를 수신함으로써 실행된다. 바람직하게는, 이미지는 탐지기들 및/또는 센서들로부터 수신된다. 도1을 다시 참조하면, 이미지(180)는 탐지기들(102)에 의해 생성된 후에 추적기(104)에 수신된다. 유익하게는 탐지기들(102)은 밀리미터-파(millimeter-wave,MMW) 및/또는 적외선(IR) 센서들을 포함하는 다수의 센서들을 포함할 수 있다. 또한 이 단계 동안, 타겟들(및 클러터)는 지정될 수 있고, 타겟 트랙들(및 확립된, 비-타겟 트랙들)은 상기 서술된 대로 생성될 수 있다.
단계 204는 소벨 에지 결정(Sobel edge discrimination) 알고리즘을 사용하여 단계 202에서 수신한 입력 이미지에 대해 임계값들을 계산함으로써 수행된다. 단계 204는 입력 이미지 안에서 잠재적으로 각 이미지 컴포넌트를 형성하는 에지 방향과 동일한 에지 방향으로 여러 그룹의 연결된 픽셀들을 분석한다. 미리 결정된 임계값을 사용하여, 컴포넌트 관련 추적기(104)는 연결된 픽셀들이 동일한 에지 방향을 가지고 있는지, 그리고 잠재적인 이미지 컴포넌트로 함께 그룹지어져야 하는지를 결정한다. 유익하게는, 임계값은 픽셀들의 백분율로 설정될 수 있다. 에지(edge) 크기는 막대그래프화 될 수 있고, 임계값은 어떤 미리 결정된 픽셀들의 백분율이 만족되고 통과(pass)하도록 설정될 수 있다. 예를 들어, 상기 백분율은 처음에 10%으로 설정될 수 있고, 처리 부하(processing load)와 성능 고려에 따라 변할 수 있다. 대안적인 실시예로, 임계값은 변하는 조건들(예를 들어, 날씨)을 설명하기 위해 한 프레임 한 프레임 기초로 동적으로 조정될 수 있다. 유익하게는, 임계값은 미리 결정된 상부 및 하부 경계들 사이에서 컴포넌트들의 수를 유지하기 위해 동적으로 조정될 수 있다.
단계 206은 이미지 컴포넌트를 수신된 이미지로부터 추출함으로써 수행된다. 단계 206은 각 컴포넌트를 형성하기 위해 동일한 에지 방향을 가진 여러 그룹의 픽셀들을 추출한다. 예를 들어, 이미지(180)는 추적기(104)에 입력된 후, 각 컴포넌트에 대해 개별적인 검색 창을 사용하여 다수의 개별적인 컴포넌트들로 분할될 수 있다. 각 컴포넌트는 입력 이미지(180)의 일부분(portion)을 포함한다. 이미지 일부분(서브이미지(subimage))의 크기는 바람직하게 이미지(180)의 폭과 높이 면에서 예측된 타겟 사이즈의 3배이다. 그러나 프로세서(106)에서 처리 부하를 제한하기 위하여 최대 사이즈까지 제한될 수 있다.
추출된 이미지 컴포넌트들은 3×3 평균 필터(mean filter)을 사용하여 평활될 수 있고, 그레디언트 연산자(gradient operator)가 그레디언트 크기와 방향을 산출하기 위해 컴포넌트들에 적용될 수 있다. 평활(smoothing)과 그레디언트 계산 모두의 기능들은 소벨 필터(sobel filter)를 사용함으로써 성취될 수 있다. 각 픽셀에서, x 및 y 방향 그레디언트 값들은 산출된다(dX 및 dY). 그레디언트 크기는 sqrt(dX2 + dY2)로 계산되고, 방향은 arctan(dX/dY)로 계산된다. 그레디언트 방향은 1부터 n까지 번호가 순차적으로 부여된 n개의 개별적인 에지 방향들로 양자화될 수 있다. 예시적 실시예로, 그레디언트 방향은, 도2B에 나타난 대로 팔각형(250)으로 도시되고 1부터 8까지 표시된 8개 방향들로 양자화될 수 있다. 더욱이, 8개 방향들(1부터 8)은, 추적기(104)에 의한 입력 이미지(180) 처리 동안 컬러 코딩(color coding)(예를 들어, 1-파랑, 8-노랑)에 의해 구별될 수 있다. 여기에 서술된 임계값은 그레디언트 크기에 적용될 수 있다. 그리고, 이 임계값 아래에 있는 픽셀들은 그레디언트 크기와 방향 모두 제로(0)에 설정될 수 있다.
그레디언트 크기 임계값이 적용된 후, 이미지(180)은 추출된 컴포넌트들로 분해된다. 상기 정의된 바와 같이, 컴포넌트는 동일한 비-제로(non-zero) 그레디언트 방향을 가지고, 이미지(180) 안에서 수평으로 또는 수직으로 연결된 한 그룹의 픽셀들이다. 서브이미지를 둘러싸는 창의 에지들에서 픽셀들을 포함하는 컴포넌트들은 무시된다. 왜냐면, 아마도 전체 컴포넌트가 탐지되지 않기 때문이다. 바람직하게는, 무시된 컴포넌트는 또 다른 창에서 탐지된다. 컴포넌트 안에서 픽셀들의 수는 임계값을 초과할 수도 있고, 1 픽셀로 초기화되며, 프로세서(106)에서의 처리 부하를 제어하기 위하여 조정될 수 있다. 이 임계값을 충족시키지 못한 컴포넌트들 은 버려지고, 이것에 의해 프로세서(106)가 불필요한 동작들과 관련들을 수행하는 것을 방지한다. 따라서, 단계 206은 추적기(104)에 의해 각 컴포넌트에 대해 요구된 필수 데이터를 추출함으로써 컴포넌트들을 추출한다. 이 데이터는 적어도, 이미지(180) 안에서 컴포넌트 픽셀들의 x- 및 y-중심 그리고 에지 방향을 포함한다.
단계 208은 추출된 컴포넌트들을 확립된 트랙들(이미지 컴포넌트 마커들)을 관련시킴으로써 수행된다. 바람직하게는 단계 208은 트랙들을 동일한 에지 방향을 가진 가까이 있는 모든 컴포넌트와 매치(match)시킨다. 각 확립된 트랙에 대해, 추적기(104)는, 확립된 트랙으로서 동일한 에지 방향을 가진 예측된 타겟 위치 주위에서 검색 창 안으로 떨어진 이미지(180)의 현재 수신된 프레임 안의 모든 컴포넌트를 발견한다. 바람직하게는, 모든 트랙의 위치 좌표들은 타겟 중심에 대해 상대적일 수 있다. 확립된 트랙과 비교해서, 검색창 안에서 컴포넌트들에 대한 검색은 모든 컴포넌트를 커버(cover)할 수 있거나, 다수의 컴포넌트들을 커버하지 못할 수 있다. 그리고 이것은 미리 결정된 거리 안에서 확립된 트랙과 컴포넌트에 대한 에지 방향 사이에 매치(match)를 찾느냐에 달려있다. 이 특징들은 도3, 도4, 그리고 표3을 참조하여 더 자세히 개시된다.
단계 210은, 수신된 이미지(180)로부터의 추출된 컴포넌트들과 확립된 트랙들 사이에서 가장 좋은 세트의 관련들을 결정함으로써 수행된다. 단계 210에서, 가능성 있는 관련들은 트랙들과 컴포넌트들 사이에 "최상의" 전체적인 매치를 발견하기 위하여 검색된다. 가능성 있는 트랙/컴포넌트 관련들의 리스트는 1대1 트랙/컴포넌트 관련들의 최상의 세트를 결정하기 위해 처리된다. 각 트랙/컴포넌트 관련은 하나의 값 또는 "가중치(weight)"을 할당받는다. 그리고, 최소의 전체 가중("최상의" 관련)을 산출한 한 세트의 관련들이 결정된다. 본 발명의 관련 절차는 도3과 도4를 참조하여 아래에 더 상세하게 개시된다.
단계212는 이미지(180) 안에서 타겟들(188)과 같은 타겟 또는 타겟들에 대한 타겟 위치를 예측함으로써 수행된다. 그 위치가 타겟 중심에 대해 상대적인 트랙들은 타겟 트랙들로 지정되고, 입력(180)으로부터의 추출된 이미지 컴포넌트들에 따라 현재 타겟 위치를 업데이트 하는데 사용된다. 추적된 타겟의 속도와 위치는, 이미지(180)의 현재 프레임에 관해, 타겟 트랙들과 관련되어, 추출된 컴포넌트들에 대한 평균 위치를 사용하여 업데이트된다. 단계 212는 또한 트랙과 관련된 타겟의 타겟 상태를 업데이트하기 위해, 단계 226에 결정된(계산된) 타겟 위치를 또한 보낸다.
단계 214는 추적기(104)의 트랙 파일(116)로부터의 확립된 트랙들을 업데이트함으로써 수행된다. 상기 개시된 대로, 확립된 트랙들은 이전에 결정된 트랙/컴포넌트 관련들에 기초하여 업데이트된다. 확립된 트랙들은 이미지(180)의 미리 결정된 수의 프레임들에 대해 존재했던 그러한 트랙들이다. 단계 216은 트랙 파일(116) 안에 비-확립된 트랙들을 업데이트함으로써 수행된다. 비-확립된 트랙들은, 비-확립된 트랙들과의 관련에 대한 테스트에 의해서, 확립된 트랙들과 관련되지 않은 컴포넌트들로 업데이트된다.
가장 오래된 트랙들로 시작하면서, 이미지(180)로부터 추출된 이미지 컴포넌트들은, 타겟 트랙 또는 확립된 트랙들과 연관된 컴포넌트들을 추출하는데 사용된 이전의 검색 창들 외부의 검색 창 안에 떨어진 컴포넌트들에 대해 검색된다. 컴포넌트들 가운데 어느 하나가 이 검색 창에 떨어지면, 트랙의 예측된 위치에 가장 가까이 있는 컴포넌트는 그 트랙에 할당되고, 트랙 데이터는 비-확립된 트랙/컴포넌트 관련을 가지고 업데이트 된다.
단계 218은 새로운 트랙들을 형성함으로써 수행된다. 새로운 트랙들은, 이전의 단계들로부터 남겨지고, 타겟, 확립된, 또는 비-확립된 트랙들과 관련되지 않은 사용되지 않은 어떤 컴포넌트들로부터 형성된다. 타겟에 대해 상대적인 컴포넌트 위치와 컴포넌트 에지 방향은 새로운 트랙에 복사되고, 속도는 제로(0)에 설정되며, 모든 카운터(counter)들과 플래그(flag)들은 초기값으로 설정된다. 새로운 트랙에 복사된 컴포넌트 에지 방향은 새로운 트랙에 대한 에지 방향이되고, 트랙의 라이프(life) 동안 잔존한다. 바람직하게는, 새로운 트랙은 동일한 에지 방향을 가진 컴포넌트들을 관련시킴으로써 단지 업데이트될 수 있다. 따라서, 모든 추출된 컴포넌트들은, 확립된 또는 비-확립된 트랙들 중 어느 하나와의 관련에 의해 설명될 수 있거나, 추출된 컴포넌트들은 새로운 트랙들을 형성하는데 사용된다. 이러한 액션(action)들 모두는 결과적으로 추적기(104)에 있는 트랙 파일(116)을 업데이트 하는 것이다.
단계 220은 트랙들을 소거하고 승진시킴으로써 수행된다. 미리 결정된 수의 프레임들에 대해 존재했던 트랙들은, 트랙 파일(116)로부터 "확립된"(승진된) 또는 소거된 것 중 어느 하나로 설정될 것이다. 단계 220에서, 새롭게 확립된 트랙들은 승진되고, 타겟 또는 클러터로 마크(mark)된다. 단계 220은 또한 트랙 파일(116)에 서 트랙들의 상태를 업데이트 하는 "트랙 파일 유지"로 알려질 수도 있다. 트랙-컴포넌트 관련이 초기에 발생한 후, 카운트(count)는 시간 들의 전체 수에 관해 유지되는데, 여기서 시간은 한 트랙이 한 컴포넌트와 연관되는 시간이다. 만약 이 카운트가 임계값을 초과한다면, 트랙은 상기 개시된 대로 "확립된" 것으로 설정된다. 만약 그렇지 않으면, 트랙이 트랙 파일(116)으로부터 소거된다. 타겟 영역 안으로 떨어지고, 타겟 중심에 관해서 중요한 모션(motion)을 가지지않는 새롭게 확립된 트랙들은 "타겟 트랙들"로 지정될 수 있다.
단계 220은 또한 이미지(180) 안에서 컴포넌트들에 이제 더 이상 상관되지 않는 트랙들을 소거한다. 트랙은, 업데이트된 이미지(180)의 수신 동안 초기 트랙 생성/관련 후에 미리 결정된 양의 시간에 대해 컴포넌트와 관련되지 않은 것으로 정의된 "코스트(coast)"하면, 소거된다. 트랙이 소거되어야 할지를 결정하는 것에 대해, 트랙이 추출된 컴포넌트에 관련될 때마다 카운터는, 상기 개시된 대로, 미리 결정된 최대값에 도달하기까지 증가한다. 트랙이 추출된 컴포넌트에 연관되지 않을 ("코스팅"("coasting")) 때마다, 카운터는 감소한다. 카운터가 제로(0)에 도달할 때, 비-관련("코스팅")에 기인하여 감소된 후, 트랙은 트랙 파일(116)로부터 제거된다.
단계 222는 단계 214, 216, 218, 그리고 220의 결과에 따라 트랙 파일(116)을 업데이트함으로써 수행된다. 트랙 파일(116)을 업데이트하는 것은 트랙들을 확립된 트랙들로 승진시키고, 관련되지 않으며 추출된 컴포넌트들에 의해 형성된 새로운 트랙들을 설명하는 것을 포함한다. 추가적으로, 소거된 트랙들은 트랙 파 일(116)으로부터 제거된다. 업데이트된 트랙 파일(116)은, 추적기(104)에 의해 수신된 업데이트된 이미지(180)에 응답하여 단계 208이 반복될 때, 앞으로의 처리 과정에 대해 이용가능하다. 이 특징은 새롭게 확립된 트랙들이, 다음에 수신된 이미지들 안의 추출된 컴포넌트들을 관련시키는 것에 있어서, 설명될 수 있도록 한다.
단계 224는 타겟 성장을 추정함으로써 수행된다. 단계 202로부터 타겟의 초기 예측된 위치와 단계 212로부터 업데이트된 타겟 위치의 비교는 타겟 성장을 생성한다. 단계 224는 현재 타겟 상태뿐만 아니라 업데이트된 타겟 트랙을 수신한다. 단계 212, 214로부터 타겟 위치는 결정될 수 있고, 디스플레이/출력(130)을 통해 사용자 또는 다른 엔터티에 제공될 수 있다. 타겟 또는 클러터(비-타겟, 단계 202에서 초기에 지정된 확립된 트랙들)로 식별된 승진된 트랙들은 또한 타겟 위치를 업데이트 하는 것에서 고려될 수 있다.
도3은 본 발명에 따른 이미지의 현재 프레임 안에서 트랙들과 컴포넌트들을 나타낸다. 도3은 도1의 이미지(180)와 같은 수신된 이미지의 이미지 프레임(300)을 보여준다. 검색 창(302)은 프레임(300) 안에서 확인된다. 프레임(300)은 추가적인 검색 창들을 포함할 수 있고, 검색 창(302)에 한정되지 않는다. 검색 창(302)은 쉽고 간략한 설명을 위해 보여진다. 검색 창(302)은 프레임(300) 안에서 식별된 타겟에 대응한다.
검색 창(302)은 타겟에 대응할 수 있거나 또는 대응하지 않을 수 있는 트랙들과 컴포넌트들을 둘러싼다. 바람직하게는, 검색 창(302)은 직사각형 모양을 가질 수 있다. 검색 창(302)은 예측된 타겟 위치 주위에서 추출된 입력 이미지의 일부분 이다. 바람직하게는, 창(302)의 사이즈는 예측된 타겟 사이즈의 3배이다. 그러나, 창(302)의 사이즈는 처리 요구조건에 의하여 제한될 수 있으며, 폭, 높이, 반경 등과 같은 어떤 특정된 파라미터에 한정된다.
도3을 참조하여, 트랙들(310, 312, 그리고 314)은 창(302) 안에 있다. 컴포넌트들(320, 322, 그리고 324)도 창(302) 안에 있다. 트랙들(310, 312, 그리고 314)은 각각 트랙 1, 2, 그리고 3으로 구별된다. 컴포넌트들(320, 322, 그리고 324)은 각각 컴포넌트 1, 2, 그리고 3으로 구별된다. 대안적인 실시예로, 창(302)은 추가적인 트랙들과 컴포넌트들을 가질 수 있고, 더 적은 트랙들과 컴포넌트들, 또는 심지어 트랙들과 컴포넌트들을 하나도 가지지 않을 수 있다. 본 발명의 창(302)은 도3에 도시된 컴포넌트들과 트랙들에 의해 제한되지 않는다.
트랙들(310, 312, 그리고 314)은 확립된 또는 비-확립된 트랙들이 될 수 있다. 예를 들어, 트랙(314)은 비-확립된 트랙인 반면에, 트랙들(310, 312)은 확립된 트랙들이 될 수 있다. 컴포넌트들(320, 322, 그리고 324)은 상기 개시된 대로 트랙들과 관련된다. 예를 들어, 컴포넌트들(320, 322, 그리고, 324)은 현재 트랙들(310, 312, 그리고 314)의 검색 창 안에 있다. 가장 좋은 1대1 트랙 대 컴포넌트 관련들의 세트를 결정하기 위해 프로세스를 통해 가능성 있는 트랙 대 컴포넌트 관련들에 관해 리스트가 컴파일(compile)된다. 더욱이, 컴포넌트들(320, 322, 그리고 324)의 가능성 있는 방향들이, 그들이 추출될 때 결정된다. 가능성 있는 방향은, 컴포넌트 안에서 픽셀들을 분석함으로써 결정된다. 트랙들(310, 312, 그리고 314)은 또한 방향들을 가진다. 관련시키는 절차는 도4를 참조하여 더 자세하게 개시되 며, 잠재적인 관련 쌍들(association pairs)을 결정하기 위해 각 트랙 및 컴포넌트에 대해 에지 방향과 위치를 고려한다.
도4는 본 발명의 실시예에 따른 트랙들과 컴포넌트들을 관련시키는 것에 대한 순서도를 나타낸다. 도4는 도2A의 예시적 단계들(206, 208, 210, 212, 214, 216, 그리고 218)을 더 자세하게 나타내고 있으며, 이러한 도2A의 유사한 단계들은 도4의 개시에 의해 제한되지 않는다.
도2A의 단계 202에서 입력 이미지(180)를 수신한 후에, 현재의 타겟 중심 위치에 대해 상대적인 타겟 트랙 위치의 계산 또는 비-타겟 트랙들 대한 선형 예측 가운데 어느 하나를 사용하여, 이전에 서술된 바와 같이, 이전 트랙 내력(history)에 기초하여, 현재의 트랙 위치들 및 에지 방향들을 결정함으로써 단계 402는 수행될 수 있다. 대안적으로, 만약 입력 이미지가 타겟 및 트랙 초기화에서 입력된다면, 이전에 서술된 바와 같이, 이미지 컴포넌트들은, 초기 타겟과 비-타겟 트랙들을 생성하기 위하여, 사용자 선택에 응답하여, 입력 이미지(180)로부터 추출된다.
도3을 참조하여, 트랙들(310, 312, 그리고 314)의 에지 방향 및 트랙 위치들은 예시적 좌표계(350)를 사용하여 창(302)에서 결정된다. 트랙 위치는, 트랙의 이전 위치와 속도에 기초하여, 트랙의 현재의 위치를 예측함으로써 결정될 수 있다. 여기서 위치들은 타겟의 중심에 대해 상대적이다. 트랙의 에지 방향은, 이전에 서술된 대로 트랙 초기화 동안 또는 단계 218에서 수행된 대로 트랙을 초기에 형성한 컴포넌트의 에지 방향에 의해 결정된 고정된 값일 수 있다. 트랙들(310, 312, 그리고 314)은, 단계 202에서 초기에 지정된 대로 또는 단계 212에서 업데이트된 대로 예측된 타겟 위치의 특정된 거리 안에 있다. 트랙 파일(116)과 같은 트랙 파일은 트랙들을 저장한다. 유익하게는, 모든 트랙은, 이전 프레임들 안에서 트랙을 형성한 컴포넌트들에 의해 결정된 위치와 에지 방향을 가진다. 바람직하게는, 에지 방향은 도2B에서 보이는 바와 같이 8개 방향들 중 하나로 주어질 수 있고, 도시된 각각의 트랙 및 컴포넌트에 대해 도3에서 보이는 바와 같이 x-y 좌표축에 상대적일 수 있다. 도2B에서 보이는 방향들은 예시적 실시예에서와 같이 단지 예시적이다. 방향 1은 "업(up)" 또는 도3에서 보이는 바와 같이 x-y 좌표계에 관하여 x=0, y<0 이 될 때일 수 있다. 예를 들어, 아래의 표1은 트랙들의 위치들과 에지 방향들로 트랙들을 리스트화 한 것이다.
Figure 112006068071833-pct00001
도3에서의 트랙(310)에 대응하는 트랙1에 관하여, 그것은 1 (업)의 방향을 가지고, x-y-좌표 축에서는 0.5, -3의 위치를 가지는 것으로 결정된다.
단계 206과 유사한 단계 404는, 수신된 이미지(180)로부터 추출된 이미지 컴포넌트들에 대해 도3의 창(302) 안에서의 컴포넌트들(320, 322, 그리고 324)과 같은 컴포넌트 위치들 및 에지 방향들을 결정함으로써 수행된다. 컴포넌트 위치들은, 이미지 안에서 바람직하게는 x 및 y 픽셀 위치들이며, 탐지기들(102) 안의 센서들을 사용하여 센서 좌표 프레임 안에 있을 수 있다. 컴포넌트 에지 방향들은 단계 206에서 계산된 양자화된 그레디언트 방향들이다. 컴포넌트들은, 예를 들어 도3의 현재 프레임(300)의 이미지로부터 추출된다. 아래의 표2는 컴포넌트 위치들과 에지방향들을 보여준다.
Figure 112006068071833-pct00002
단계 406, 408, 410은, 바람직하게, 도2A의 단계 208, 210 안에서 수행될 수 있다. 예시적 실시예로, 단계 406은 각 관련으로부터 유래한 타겟 위치와 가능성 있는 트랙-컴포넌트 관련들을 결정함으로써 수행된다. 가능성 있는 트랙-컴포넌트 관련들은 표1, 표2에서 보이는 바와 같이 각 트랙 및 컴포넌트에 대한 위치들 및 방향들을 리스트화한 트랙 및 컴포넌트 리스트로부터 결정된다. 예를 들어, 도3에서 보이는 컴포넌트들 320, 322, 그리고 324와 트랙들 310, 312, 그리고 314의 모든 가능성 있는 관련들은, 동일한 에지 방향을 가진 컴포넌트들과 트랙들을 관련시킴으로써 그리고 미리 결정된 서로 간의 거리 안에서 관련시킴으로써 결정될 수 있다. 더욱이, 각 트랙-컴포넌트 관련에 의해 추측된 타겟 위치는 계산된다. 각 트랙 위치는 타겟 중심에 상대적이고, 그리고 컴포넌트 위치는 수신된 이미지 좌표들 안에 있기 때문에, 트랙-컴포넌트 조합은 이미지 좌표들 안에서 타겟에 대해 잠재적인 위치를 준다. 사용자의 기준에 따라, 타겟은 트랙과 관련된 컴포넌트를 포함하는 직사각형 영역 안에 있을 수 있다. 트랙 및 컴포넌트의 위치와 속도에 기초하여, 표3에서 보이는 바와 같이 타겟 위치에 대해 추정이 이루어질 수 있다. 예를 들어, 표3에서 보이는 바와 같이, 잠재적인 타겟 위치(중심)는 트랙1/컴포넌트2 관련(11.5, 5에 위치한 컴포넌트2)에 대해 11, 8이 될 수 있다. 왜냐하면, 타겟은 컴포넌트2를 둘러싸는 직사각형 영역 안에 떨어지도록 예측되고, 위쪽 방향으로 움직이고 있기 때문이다.
표3에 리스트화된 잠재적인 타겟 위치는, 타겟 트랙이 타겟 중심에 대해 상대적인, 타겟 사이즈에 표준화된 고정된 위치를 가지기 때문에, 트랙 위치로부터 떨어진 절대값 (x, y) 좌표 거리로 측정된다. 예를 들어, 트랙1/컴포넌트2 쌍에 대해, 트랙1은 표1에서 가리키는 바와 같이 (0.5, -3)에 위치하고, 컴포넌트2는 표2에서 가리키는 바와 같이 (11.5, 5)에 위치한다. 따라서, 잠재적인 타겟 위치는 절대값 (x, y) 떨어진 거리 즉 (|11.5 - 0.5|, |5 - (-3)|)와 같은 (11, 8) 떨어진 거리에 있다. 아래의 표3은 가능성 있는 트랙-컴포넌트 조합들, 그리고 표1에서 리스트화된 트랙들의 타겟 위치들, 그리고 표2에서 리스트화된 컴포넌트들을 보여준다.
Figure 112006068071833-pct00003
단계 408은 상기 결정된 가능성 있는 관련들에 기초하여 트랙-대-컴포넌트 관련들을 결정함으로써 수행될 수 있다. 가능성 있는 트랙-대-컴포넌트 관련들이 일대일 트랙-대-컴포넌트 관련들을 결정하기 위하여 처리된다. 각 트랙-대-컴포넌트 관련에 값 또는 가중치가 할당되고, 최소의 전체 가중치를 산출하는 관련들의 세트가, 표4에서 확인되고 아래에서 서술되는 바와 같이, 결정된다. 계산된 전체 가중치는, 트랙/컴포넌트 관련들의 각각의 세트에 대해 검색 창(302)에서의 결정된 타겟 위치에 전체 근접도를 나타낸다.
단계 410은 이 관련들의 가중치를 결정함으로써 수행될 수 있다. 관련들의 각 세트에 대해, 각 트랙은 미리 결정된 거리에서 그리고 동일한 에지 방향을 가진 하나의 개별적인 컴포넌트와 단지 관련될 수 있다, 그렇지 않으면 트랙이 검색창(302)에서 평균 타겟 위치 결정으로부터 가장 먼 거리에 있다는 것을 나타내면서, 트랙은 컴포넌트와 관련될 수 없다(표4에서 "-"로 표시된다). 이 예에 대해, 트랙1은 컴포넌트2와 단지 관련될 수 있다, 왜냐하면 그들은 동일한 에지 방향(1)을 가지기 때문이다, 그렇지 않다면 트랙1에게 단지 2 가지 관련 가능성들을 주는 컴포넌트와는 관련될 수 없다. 대안적으로, 트랙2 및 트랙3 모두는 3가지 관련 가능성들을 가진다, 왜냐하면 이 트랙들 모두는 컴포넌트1 또는 컴포넌트3 가운데 어느 하나와, 그들이 동일한 에지 방향(7)을 가지기 때문에, 관련될 수 있다. 그러나, 트랙2/트랙3 관련 쌍들의 전체 수는 (3^2 - 3)과 같은 6이 된다. 왜냐면 당신은 동일한 컴포넌트 관련을 가지는 관련 쌍들 (2)를 빼기를 원하기 때문이다. 이것은 일어날 수 없기 때문이며(트랙2 그리고 트랙3은 컴포넌트1 또는 3 가운데 어느 하나와 모두 관련될 수 없다.), 컴포넌트는 단지 하나의 트랙과 단지 관련될 수 있고, 당신은 트랙들 모두가 관련되지 않은 관련 쌍(-, -)을 또한 제거하기 때문인고, 이것은 타겟 추적에 대해 유용하지 않은 데이터이기 때문이다. 따라서, 트랙2/트랙3 관련 쌍의 수(6)는 2(트랙1 관련 가능성들의 수)와 곱해진다. 이것은 12 세트의 트랙1/트랙2/트랙3-대-컴포넌트 관련들을 제공한다.
각 트랙-대-컴포넌트 쌍에 대한 가중치는, 그 쌍에 대한 예측된 타겟 위치(표3에 나타난 바와 같이)와 상기 주어진 예측된 타겟 위치에 대응하는 평균 타겟 위치 예측 사이의 유클리디안 제곱 거리(squared Euclidian distance)이다. 트랙이 관련된 컴포넌트를 가지지 않는다면(표4에서 대쉬(-)로 표시된다.), 고정된 최대 가중치는 이 트랙이 검색창(302)에서 평균 타겟 위치 결정으로부터 가장 먼 거리에 있음을 나타내는 데 사용된다. 바람직하게는, 고정된 최대 가중치는, 단계 406에 대해 사용된 트랙-컴포넌트 관련 창(302)(예를 들어, 타겟 창) 밖으로 떨어진 컴포넌트에 대해 가장 낮은 가중치(트랙이 창(302)에서 타겟 위치로부터 가장 멀리 떨어진 거리에 있음을 나타낸다.)이다.
예를 들어, 도3의 창(302) 안에서 트랙은 그 트랙에 관련된 컴포넌트를 가지지 않을 수 있다. 트랙은 추출된 컴포넌트 가까이 있지 않을 수 있거나, 트랙은 창(302)의 가장자리를 따라 존재할 수 있다. 이 경우에, 고정된 최대 가중치(창(302)의 바깥-거리 컴포넌트를 가리킨다.)는 트랙-대-컴포넌트 관련 가중치를 제공하기 위해 사용될 수 있다. 아래에 있는 표4는, 상기 주어진 예에 따라, 약간의 가능성 있는 조합들 그리고 그 조합들과 관련된 전체 가중치를 보여준다. 이 조합들과 가중치들은 도3 및 표3에서 보이는 트랙과 컴포넌트 조합들에 대응한다.
표의 첫 번째 행에서 단지 하나의 트랙-컴포넌트 쌍, 트랙3/컴포넌트1이 있다. 그래서 이 쌍의 타겟 위치는 그 행에 대해 평균 타겟 위치와 같고, 이 쌍에 대한 가중치에 기여는 따라서 0이다. 이 쌍에 대한 거리 떨어짐은 없다, 왜냐하면 이 트랙-컴포넌트 쌍에 대한 타겟 좌표들이 평균 타겟 위치 예측에 대해 정확한 좌표들이기 때문이다. 트랙 1과 2는 컴포넌트 관련을 가지지 않는다. 그래서 그들은 관련되지 않은 가중치(고정된 최대 가중치)(이 예에서는 8)를 각각 받는다. 이것은 16의 전체 가중치를 행1에 준다. 행4에서 트랙 2와 3 모두 관련들을 가지고, 표3을 참조하여 이 쌍들에 대한 잠재적인 타겟 위치들은 (12, 7.5)와 (18, 9)이다. 평균 타겟 위치는 (15, 8.25)로 계산된다. 평균으로부터 잠재적인 타겟 위치들의 제곱 거리를 취하면 (32 + .752) + (32 + .752), 또는 19.125가 된다. 트랙1에 대한 관련되지 않은 가중치를 더하면, 27.125의 전체 가중치가 된다. 트랙/컴포넌트 관련들의 행에 대해 타겟에 전체 근접도를 따라가도록, 모든 가중치들은 더해져야만 한다.
Figure 112006068071833-pct00004
단계 412는, 트랙-대-컴포넌트 관련들에 대한 최상의 관련들의 세트를 결정함으로써 수행될 수 있다. 바람직하게는, 최소의 전체 가중치를 산출하는 관련들의 세트는 최상의 세트이다. 예를 들어, 표4를 다시 참조하여, 표4안에서 최소의 전체 가중치는 8.625의 가중치이다. 이 행은, 검색 창(302)에서 타겟 위치에 가장 근접한 트랙/컴포넌트 관련들을 나타내는 관련들의 최상의 세트를 포함한다. 이 행에 대한 타겟 위치 추정은, 트랙2/컴포넌트1 관련 (12, 7.5)와 트랙1/컴포넌트2에 대한 잠재적인 타겟 위치들의 평균(mean average)을 취하면, 11.5, 7.75가 된다. 타겟 위치 계산에 따라, 타겟은 검색창(302)의 직사각형 영역을 커버(cover)하도록 취해진다. 여기서, 이 영역의 사이즈는 사용자에 의해 선택된 대로 초기 타겟 범위 및 사이즈에 의해, 그리고 트랙/컴포넌트 관련 및 관계된 절대값 (x, y) 거리 떨어짐에(도3에서 보이는 바와 같이) 의해 결정된 대로 타겟 범위의 현재 예측에 의해, 결정된다.
바람직하게, 차선의(suboptimal) 검색 알고리즘은 가중치들과 관련들의 최상의 세트를 결정하는데 사용된다. 모든 조합들의 소모적인 검색이 최적의 결과를 가져올지라도, 차선의 검색 알고리즘은 계산 시간을 감소시키기 위하여 사용된다. 차선의 검색 알고리즘은, 예를 들어 추적기(104)로부터의 처리 요구조건들을 감소시킨다. 표4를 다시 참조하여, 최상의 세트에 따라, 트랙1은 컴포넌트2와 관련되고, 트랙2는 컴포넌트1과 관련되며, 그리고 트랙3은 어느 컴포넌트와도 관련되지 않는다. 더욱이, 트랙3은 코스팅으로 표시될 수 있는데, 이것은 어떤 컴포넌트도 트랙3과 관련되지 않기 때문이다. 또한, 컴포넌트가 트랙과 관련되지 않을 때, 이 컴포넌트는 단계 218에 따라서 새로운 트랙을 확립하는데 사용될 수 있다.
단계 214, 216과 유사한 단계 414는, 단계 412로부터의 완성된 타겟 위치결정으로부터 속도 및 업데이트된 트랙 위치를 표시하는 것을 포함하며, 새로운 컴포넌트-대-트랙 관련들을 가지고 트랙 파일 116에서의 트랙들을 업데이트함으로써 수행될 수 있다. 모든 트랙들은 타겟 중심에 대해 상대적으로 위치하고 있기 때문에, 트랙 위치와 속도는 업데이트될 수 있다. 컴포넌트와 관련되지 않은 트랙들은 상기 서술된 대로 그 프레임에 대해 "코스트된다". 또한, 추적된 타겟의 속도 및 위치는, 단계 412로부터의 최상의 트랙/컴포넌트 관련(들)을 사용하여, (사용자를 위해 보고(report)될 수 있는) 타겟 위치를 결정하기위해, 업데이트된다.
본 명세서에 서술되어 개시된 실시예에 따라, 추적기(104)는, 이미지(180) 안에서 증가된 클러터 억제(suppression)를 포함하여, 다수의 장점을 제공한다. 타겟 오브젝트(188)뿐만 아니라 수신된 이미지(180) 안에서 다수의 오브젝트들을 추적하는 것은, 타겟(188)를 주변 클러터 또는 다른 인접한 타겟들과 혼동하는 타겟 탐지 에러를 감소시킨다. 또한, (추출된 컴포넌트들을 통해) 타겟 오브젝트에 관해 다수의 포인트(point)들을 추적하는 것은, 타겟의 부분적 모호함(obscuring) 동안에 정확한 타겟 추적을 가능하게 한다.
추가적으로, 본 발명의 실시예에 따라 추적기(104)는, 타겟 성장을 측정하는 능력을 포함하고, 동적인 타겟 추적으로 인한 범위(range) 입력에 대한 필요를 제거한다. 추적기(104)는, 또한 이미지(180)로부터 식별된 컴포넌트를 사용하여 타겟들(188)을 추적함에 있어서, 타겟들(188)과 탐지기들(102) 사이에서의 움직임(motion)에 의해 발생하는 적당한 롤 디스토션(roll distortion)들에 관한 탈러런스(tolerance)를 확립한다.
더 많은 장점들은, 본 발명의 개시된 실시예들이 이미지(180)와 같은 수신된 이미지에서 전체적인 이동을 설명할 수 있게 하는, 평균 타겟 위치 예측을 참조하여 거리 계산을 하는 것을 포함한다.
또한, 미사일들 및 다른 항공 장치(airbone device)들 안에서의 움직임 때문에, 본 발명의 개시된 실시예는, 마치 부정확한 관성 기준(inertial reference)에 있는 것처럼, 진행된다.
본 발명의 사상과 범위를 벗어나지 않고 다양한 수정과 변경이 가능하다는 것은 이 기술분야에서 통상의 지식을 가진자에 명백할 것이다. 따라서, 본 발명은, 개시된 실시예들의 여러 수정들과 변경들이 다음에 제시되는 특허청구범위들 및 그 균등한 것들의 범위 내에 있다면, 그러한 수정들과 변경들을 포함하도록 의도된 것이다.

Claims (16)

  1. 타겟을 추적하는 방법에 있어서,
    타겟을 포함하는 입력 이미지를 수신하는 단계와, 상기 타겟은 추적될 타겟 위치를 가지며;
    상기 이미지에서 적어도 하나의 컴포넌트를 결정함에 있어, 상기 컴포넌트 안의 연결된 픽셀들의 에지 방향에 따라 결정하는 단계와;
    상기 컴포넌트의 상기 에지 방향에 기초하여 상기 적어도 하나의 컴포넌트를 다수의 미리 결정된 트랙들 중의 하나와 관련시키는 단계와, 여기서 적어도 하나의 트랙은 상기 타겟 위치와 관련되며;
    현재 타겟 위치를 결정하기 위해 상기 관련된 컴포넌트에 기초하여 상기 트랙을 업데이트하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  2. 제1항에 있어서, 상기 결정하는 단계는,
    예측된 타겟 위치와 관련되어 미리 결정된 검색 창 안에 위치한 상기 컴포넌트에 기초하여 상기 적어도 하나의 컴포넌트를 결정하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  3. 제1항에 있어서, 상기 결정하는 단계는,
    미리 결정된 임계값을 만족시키는 상기 픽셀들에 기초하여 상기 적어도 하나의 컴포넌트를 결정하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방 법.
  4. 제1항에 있어서, 상기 업데이트하는 단계는,
    상기 타겟의 속도를 결정하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  5. 제1항에 있어서,
    상기 트랙을 업데이트하는 단계 이후에,
    상기 다수의 트랙들을 포함하는 트랙 파일을 생성하는 단계와;
    만족되어 미리 결정된 임계값에 따라 상기 다수의 트랙들 중 하나를 소거하거나 또는 관련시킴으로써 상기 트랙 파일을 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  6. 제5항에 있어서, 상기 트랙 파일을 업데이트하는 단계는,
    상기 미리 결정된 임계값을 만족시키는 시간 동안 컴포넌트와 관련되거나 또는 관련되지 않은 상기 다수의 트랙들 중 하나에 따라 상기 관련 또는 소거를 사용하여 상기 트랙 파일을 업데이트하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  7. 제1항에 있어서, 상기 관련시키는 단계는,
    상기 다수의 트랙들 중 하나에 상기 컴포넌트를 관련시키는 것에 대해 가중 치를 할당하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  8. 제7항에 있어서, 상기 업데이트하는 단계는,
    미리 결정된 임계값을 만족시키는 할당된 가중치를 가진 상기 관련된 컴포넌트에 기초하여 상기 트랙을 업데이트하는 단계를 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  9. 제1항에 있어서,
    상기 컴포넌트를 상기 다수의 미리 결정된 트랙들 중 하나와 관련시키는 것에 실패할 때 상기 컴포넌트와 관련시킬 트랙을 생성하는 단계를 더 포함하는 것을 특징으로 하는 타겟을 추적하는 방법.
  10. 타겟을 추적하는 장치에 있어서,
    타겟을 포함하는 입력 이미지로부터 결정된 컴포넌트와, 트랙 파일로부터 적어도 하나의 미리 결정된 트랙 사이에 다수의 관련들을 생성하는 프로세서를 포함하여 구성된 것을 특징으로 하고, 상기 타겟은 추적될 타겟 위치를 가지며,
    여기서, 상기 프로세서는 상기 컴포넌트의 상기 다수의 관련들 중 하나를 선택하고, 그리고 현재의 타겟 위치를 결정하기 위해 미리 결정된 임계값을 만족시키는 상기 선택된 관련에 기초하여 적어도 하나의 트랙을 선택하는 것을 특징으로 하며,
    여기서, 상기 적어도 하나의 트랙은 상기 관련의 선택에 응답하여 상기 트랙 파일에서 상기 관련된 컴포넌트와 업데이트되는 것을 특징으로 타겟을 추적하는 장치.
  11. 제10항에 있어서,
    상기 프로세서에 접근할 수 있는 명령들을 저장하는 메모리를 더 포함하는 것을 특징으로 하는 타겟을 추적하는 장치.
  12. 제10항에 있어서, 상기 컴포넌트는,
    예측된 타겟 위치와 관련되어 미리 결정된 검색 창에 위치한 상기 컴포넌트에 기초하여 결정되는 것을 특징으로 하는 타겟을 추적하는 장치.
  13. 다수의 실행할 수 있는 명령들을 저장하는 기계에서 판독 가능한 매체에 있어서, 상기 다수의 명령들은,
    타겟을 포함하는 입력 이미지를 수신하는 명령들과, 상기 타겟은 추적될 타겟 위치를 가지며;
    상기 이미지 안에서 적어도 하나의 컴포넌트를 결정함에 있어, 상기 컴포넌트 안의 연결된 픽셀들의 에지 방향에 따라 결정하는 명령들과;
    상기 컴포넌트의 상기 에지 방향에 기초하여 상기 적어도 하나의 컴포넌트를 다수의 미리 결정된 트랙들 중의 하나와 관련시키는 명령들과, 여기서 적어도 하나의 트랙은 상기 타겟 위치와 관련되며;
    현재 타겟 위치를 결정하기 위해 상기 관련된 컴포넌트에 기초하여 상기 트랙을 업데이트하는 명령들을 포함하는 것을 특징으로 하는 기계에서 판독 가능한 매체.
  14. 제13항에 있어서, 상기 결정하는 명령들은,
    예측된 타겟 위치와 관련되어 미리 결정된 검색 창 안에 위치한 상기 컴포넌트에 기초하여 상기 적어도 하나의 컴포넌트를 결정하는 명령들을 포함하는 것을 특징으로 하는 기계에서 판독 가능성 있는 매체.
  15. 타겟을 추적하는 방법에 있어서,
    타겟을 포함하는 입력 이미지를 수신하는 단계와, 상기 타겟은 추적될 타겟 위치를 가지며;
    상기 이미지에서 다수의 컴포넌트들을 결정함에 있어 상기 컴포넌트 안의 연결된 픽셀들의 에지 방향에 따라 결정하는 단계와;
    트랙-대-컴포넌트 관련들의 다수의 세트들을 생성하기 위하여, 여기서 각 컴포넌트는 한 세트에서 단지 하나의 트랙과 관련되며, 상기 컴포넌트의 상기 에지 방향에 기초하여 상기 다수의 컴포넌트들을 다수의 미리 결정된 트랙들과 관련시키는 단계와, 여기서 적어도 하나의 트랙은 상기 타겟 위치와 관련되며;
    상기 타겟 위치에 관계된 대로 관련된 컴포넌트와 각 트랙 사이의 거리에 기초하여 하나의 세트에서 각 트랙-대-컴포넌트 관련에 가중치를 할당하는 단계와;
    전체 가중치에 기초하여, 최소의 값까지 합쳐진 상기 세트들 중 하나에 대해, 트랙-대-컴포넌트 관련들의 최상의 세트를 결정하는 단계를 포함하여 구성되며, 여기서 상기 전체 가중치는 상기 세트에서 각 트랙-대-컴포넌트 관련에 대해 할당된 가중치를 더함으로써 계산되며, 상기 최상의 세트는 상기 현재 타겟 위치를 결정하는 것을 특징으로 하는 타겟을 추적하는 방법.
  16. 제15항에 있어서, 상기 관련시키는 단계는,
    적어도 한 세트의 트랙-대-컴포넌트 관련들을 생성하는 단계를 포함하며, 여기서 상기 세트에서 적어도 하나의 트랙이 컴포넌트와 관련하는 데 실패한 경우인 것을 특징으로 하는 타겟을 추적하는 방법.
KR1020067019413A 2004-02-20 2005-02-18 컴포넌트 관련 추적기 시스템 및 방법 KR100885084B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/781,641 US7298867B2 (en) 2004-02-20 2004-02-20 Component association tracker system and method
US10/781,641 2004-02-20

Publications (2)

Publication Number Publication Date
KR20060129491A KR20060129491A (ko) 2006-12-15
KR100885084B1 true KR100885084B1 (ko) 2009-02-25

Family

ID=34860915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067019413A KR100885084B1 (ko) 2004-02-20 2005-02-18 컴포넌트 관련 추적기 시스템 및 방법

Country Status (6)

Country Link
US (1) US7298867B2 (ko)
EP (1) EP1730669A4 (ko)
KR (1) KR100885084B1 (ko)
AU (1) AU2005216169B2 (ko)
NO (1) NO20064266L (ko)
WO (1) WO2005081941A2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378261B2 (ja) * 2004-10-27 2009-12-02 キヤノン株式会社 画像処理方法、画像処理装置
DE602006013113D1 (de) * 2006-07-07 2010-05-06 Selex Galileo Spa Verfahren und Vorrichtung zur Detektion von bewegten Objekten mittels SAR Bildern
US8799446B2 (en) * 2006-08-18 2014-08-05 Microsoft Corporation Service resiliency within on-premise products
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8478049B2 (en) * 2009-04-29 2013-07-02 Coherix, Inc. Method for fixed-rotation and rotation-independent image correlation
CN101872484B (zh) * 2010-06-30 2012-06-27 西安电子科技大学 图像域中多个微弱目标航迹自适应生长检测方法
US20120064974A1 (en) * 2010-09-10 2012-03-15 Karen L. Wahington Web application that allows one million players to engage simultaneously in prize-oriented tournaments
DE102011011931A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
KR101372390B1 (ko) * 2013-03-29 2014-03-19 한양대학교 에리카산학협력단 마코브 체인 방식의 다중스캔 추적 기법을 이용한 표적 추적방법 및 이를 이용한 표적 추적장치
CN104408401B (zh) * 2014-10-28 2017-08-15 中国科学院自动化研究所 一种时敏目标的在轨检测方法
US9870620B2 (en) 2015-06-18 2018-01-16 The Johns Hopkins University Non-linear associator and motion discriminator
US10002181B2 (en) 2015-09-11 2018-06-19 International Business Machines Corporation Real-time tagger
US10824974B2 (en) 2015-09-11 2020-11-03 International Business Machines Corporation Automatic subject matter expert profile generator and scorer
US10521770B2 (en) 2015-09-11 2019-12-31 International Business Machines Corporation Dynamic problem statement with conflict resolution
US10657117B2 (en) 2015-09-11 2020-05-19 International Business Machines Corporation Critical situation contribution and effectiveness tracker
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203586B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) * 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
CN111784224A (zh) * 2020-03-26 2020-10-16 北京京东乾石科技有限公司 物体跟踪方法和装置、控制平台和存储介质
CN115965657B (zh) * 2023-02-28 2023-06-02 安徽蔚来智驾科技有限公司 目标跟踪方法、电子设备、存储介质及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323987A (en) 1993-03-04 1994-06-28 The Boeing Company Missile seeker system and method
US5762292A (en) 1988-09-08 1998-06-09 Daimler-Benz Aerospace Ag Apparatus for identification and tracking of objects
US5872857A (en) 1996-05-22 1999-02-16 Raytheon Company Generalized biased centroid edge locator
US6265704B1 (en) 1996-04-02 2001-07-24 Trw Inc. Tracking means for distant ballistic missile targets

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3586770A (en) 1967-08-30 1971-06-22 Hughes Aircraft Co Adaptive gated digital tracker
US4739401A (en) 1985-01-25 1988-04-19 Hughes Aircraft Company Target acquisition system and method
US4910786A (en) * 1985-09-30 1990-03-20 Eichel Paul H Method of detecting intensity edge paths
JP2535927B2 (ja) * 1987-07-09 1996-09-18 アイシン精機株式会社 車上距離検出装置
GB8905926D0 (en) 1989-03-15 1990-04-25 British Aerospace Target aim point location
US5075875A (en) 1990-04-20 1991-12-24 Acuprint, Inc. Printer control system
US5233541A (en) 1990-08-10 1993-08-03 Kaman Aerospace Corporation Automatic target detection process
US5283839A (en) 1990-12-31 1994-02-01 Neurosciences Research Foundation, Inc. Apparatus capable of figure-ground segregation
US5335298A (en) * 1991-08-19 1994-08-02 The United States Of America As Represented By The Secretary Of The Army Automated extraction of airport runway patterns from radar imagery
EP0532052B1 (en) * 1991-09-12 2008-02-13 FUJIFILM Corporation Method for extracting object images and method for detecting movements thereof
US5157831A (en) * 1991-12-20 1992-10-27 Alfred University Process for preparing an hermetically sealed glass-metal electrical connector
US5341435A (en) 1992-03-17 1994-08-23 Corbett Technology Company, Inc. System for detection and recognition of an object by video imaging means
US5390133A (en) 1992-09-30 1995-02-14 Martin Marietta Corporation Image processor for target detection and tracking
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
JP3436828B2 (ja) 1995-05-08 2003-08-18 株式会社リコー 画像処理装置
IL114838A0 (en) * 1995-08-04 1996-11-14 Spiegel Ehud Apparatus and method for object tracking
US5657251A (en) 1995-10-02 1997-08-12 Rockwell International Corporation System and process for performing optimal target tracking
US6075875A (en) 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US6323987B1 (en) * 1999-05-14 2001-11-27 Agere Systems Optoelectronics Guardian Corp. Controlled multi-wavelength etalon
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6901110B1 (en) * 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
US6445832B1 (en) * 2000-10-10 2002-09-03 Lockheed Martin Corporation Balanced template tracker for tracking an object image sequence
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US7110602B2 (en) * 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
US8547437B2 (en) * 2002-11-12 2013-10-01 Sensormatic Electronics, LLC Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view
US7657059B2 (en) * 2003-08-08 2010-02-02 Lockheed Martin Corporation Method and apparatus for tracking an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5762292A (en) 1988-09-08 1998-06-09 Daimler-Benz Aerospace Ag Apparatus for identification and tracking of objects
US5323987A (en) 1993-03-04 1994-06-28 The Boeing Company Missile seeker system and method
US6265704B1 (en) 1996-04-02 2001-07-24 Trw Inc. Tracking means for distant ballistic missile targets
US5872857A (en) 1996-05-22 1999-02-16 Raytheon Company Generalized biased centroid edge locator

Also Published As

Publication number Publication date
AU2005216169B2 (en) 2010-09-30
EP1730669A2 (en) 2006-12-13
US7298867B2 (en) 2007-11-20
KR20060129491A (ko) 2006-12-15
US20050185822A1 (en) 2005-08-25
AU2005216169A1 (en) 2005-09-09
NO20064266L (no) 2006-09-20
WO2005081941A2 (en) 2005-09-09
EP1730669A4 (en) 2009-08-12
WO2005081941A3 (en) 2006-11-09

Similar Documents

Publication Publication Date Title
KR100885084B1 (ko) 컴포넌트 관련 추적기 시스템 및 방법
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
CN109407697A (zh) 一种基于双目视觉测距的无人机跟踪运动目标系统及方法
US20140254863A1 (en) Method for Detecting and Tracking Objects in Image Sequences of Scenes Acquired by a Stationary Camera
JP5807635B2 (ja) 動線検出システム、動線検出方法および動線検出プログラム
CN112526513A (zh) 基于聚类算法的毫米波雷达环境地图构建方法及装置
WO2015008432A1 (ja) 物体追跡装置、物体追跡方法および物体追跡プログラム
CN110070560B (zh) 基于目标检测的物体运动方向识别方法
Papaioannou et al. Accurate positioning via cross-modality training
CN113537077A (zh) 基于特征池优化的标签多伯努利视频多目标跟踪方法
JP2019138554A (ja) 指揮統制装置、迎撃システム、指揮統制方法及び指揮統制プログラム
KR101040306B1 (ko) 영상 추적 장치 및 이를 이용한 표적 탐지 방법
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
KR101280348B1 (ko) 다중 표적 추적 방법
Farazi et al. Real-time visual tracking and identification for a team of homogeneous humanoid robots
Jaenen et al. Qtrajectories: Improving the quality of object tracking using self-organizing camera networks
KR20180026095A (ko) 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법
CN107292916B (zh) 目标关联方法、存储设备、直录播互动终端
Antunes et al. Multiple hypothesis tracking in camera networks
KR101037971B1 (ko) 영상기반 위치인식 방법 및 시스템
KR101683178B1 (ko) 표적 확인을 통한 유도 무기 발사 방법 및 유도 무기 발사 시스템
KR102630236B1 (ko) 인공신경망을 이용한 복수의 목표물 추적 방법 및 그 장치
US11022685B2 (en) System and method for constructing pictures of tracks of moving targets from electro-optical detections
KR101407249B1 (ko) 증강현실에 의한 프리젠테이션 제어 시스템 및 그 방법
JP2019121031A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140207

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee