KR101202215B1 - 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템 - Google Patents

위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템 Download PDF

Info

Publication number
KR101202215B1
KR101202215B1 KR1020120003732A KR20120003732A KR101202215B1 KR 101202215 B1 KR101202215 B1 KR 101202215B1 KR 1020120003732 A KR1020120003732 A KR 1020120003732A KR 20120003732 A KR20120003732 A KR 20120003732A KR 101202215 B1 KR101202215 B1 KR 101202215B1
Authority
KR
South Korea
Prior art keywords
target
pixel
value
moment modeling
maximum brightness
Prior art date
Application number
KR1020120003732A
Other languages
English (en)
Inventor
박장한
Original Assignee
삼성탈레스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사 filed Critical 삼성탈레스 주식회사
Priority to KR1020120003732A priority Critical patent/KR101202215B1/ko
Application granted granted Critical
Publication of KR101202215B1 publication Critical patent/KR101202215B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/24—Beam riding guidance systems
    • F41G7/26—Optical guidance systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/14—Indirect aiming means
    • F41G3/16—Sighting devices adapted for indirect laying of fire
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F42—AMMUNITION; BLASTING
    • F42B—EXPLOSIVE CHARGES, e.g. FOR BLASTING, FIREWORKS, AMMUNITION
    • F42B15/00—Self-propelled projectiles or missiles, e.g. rockets; Guided missiles
    • F42B15/01—Arrangements thereon for guidance or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템이 개시된다. 상기 표적 결정 시스템은 특정 지역에 대한 적외선 영상과 가시광 영상을 각각 획득하는 적외선 영상 센서 및 가시광 영상 센서와 상기 획득된 적외선 영상으로부터 위치 가중 또는 영역 확장 기반의 2차원 모멘트 모델링을 통해 제1표적후보를 결정하는 2차원 모멘트 모델링 모듈과 상기 2차원 모멘트 모델링 모듈로부터 결정된 제1표적후보에 대응되는 지점을 대응 N ×N 영역으로 설정하고, 상기 설정한 N ×N 영역에 대하여 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 제2표적후보를 도출하는 SIFT 표적특징값 추출 모듈 및 상기 결정된 제1표적후보 및 제2표적후보의 특징값에 소정의 가중치를 적용하여 최종 표적을 결정하는 가중치 적용 표적 결정 모듈을 포함한다.

Description

위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템{WEIGHTED-BASED TARGET DECISION SYSTEM FOR STRAPDOWN DUAL MODE IMAGING SEEKER USING LOCATION WEIGHTED OR REGION GROWING MOMENT MODELING}
본 발명의 개념에 따른 실시 예는 스트랩다운 탐색기의 표적 결정 기술에 관한 것으로, 더욱 상세하게는 스트랩다운 이중 모드 영상탐색기에서 소형 표적 및 확장되는 표적을 가중치 기반으로 결정하는 방법 및 이를 이용한 결정 시스템에 관한 것이다.
표적을 요격하기 위한 장치들 중 하나인 유도탄은 목표에 도달할 때까지 특정 방법에 의해 유도되는 장치를 갖는 무기이다. 이러한 유도탄에는 표적 정보 처리를 위한 영상탐색 장치가 탑재되어 있으며, 상기 영상탐색 장치는 영상 기반으로 표적을 탐지하고 식별하여 포착 및 추적한 결과를 유도 조종 컴퓨터로 전송하는 역할을 수행한다. 최근 들어 상기 표적 탐지 및 식별률 향상을 위해 다중센서, 예컨대 적외선 센서나 가시광 센서 등을 이용한 영상융합 신호처리 기법에 관한 연구가 활발히 진행되고 있다. 상기의 영상융합 신호처리 기법은 다수의 단일센서들 각각으로부터 고유한 파장 대역의 영상 정보를 획득하고, 획득된 영상 정보를 융합하여 분석함으로써 단일 센서만으로는 볼 수 없었던 표적 및 배경에 대한 정보를 상호 보완하여 획득할 수 있는 기법이다. 종래의 다중센서의 영상 정보 융합 방법은 다중 센서들 각각이 획득한 영상정보에 대한 공통적인 영역 또는 특징점을 추출하여 표적을 탐지하는 방법으로, 이러한 방법은 등록특허 제10-1051716 등에 상세히 기재되어 있다. 그러나, 종래의 영상융합 신호처리 방법은 융합할 영상정보들의 공통적인 영역 또는 특징점을 추출하여 개략적으로만 표적을 탐지할 뿐이므로 환경적인 영향으로 밝기 값이나 형상이 다르게 획득되는 실제 표적에 대한 정밀한 탐지가 불가능하며, 또한 다수 표적, 소형 표적에 대한 정밀한 탐지 역시 불가능하다는 문제점이 있었다.
본 발명이 이루고자 하는 기술적인 과제는 영역 확장 또는 위치 가중 2차원 모멘트 모델링을 통해 적외선 영상(Imaging Infrared, IIR)의 특징을 추출하고, 크기 불변 특징 변환(Scale Invariant Feature Transform, SIFT) 기법을 통해 대비되는 가시광 영상(Visible Ray, VIS) 영상의 특징을 추출하며, 상기 추출된 특징들에 가중치를 적용하여 최종 표적을 결정하는 가중치 기반 표적결정 방법 및 이를 이용한 표적 결정 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템은 특정 지역에 대한 적외선 영상과 가시광 영상을 각각 획득하는 적외선 영상 센서 및 가시광 영상 센서와 상기 획득된 적외선 영상으로부터 위치 가중 또는 영역 확장 기반의 2차원 모멘트 모델링을 통해 제1표적후보를 결정하는 2차원 모멘트 모델링 모듈과 상기 2차원 모멘트 모델링 모듈로부터 결정된 제1표적후보에 대응되는 지점을 대응 N ×N 영역으로 설정하고, 상기 설정한 N ×N 영역에 대하여 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 제2표적후보를 도출하는 SIFT 표적특징값 추출 모듈 및 상기 결정된 제1표적후보 및 제2표적후보의 특징값에 소정의 가중치를 적용하여 하기 수학식에 따라 최종 표적을 결정하는 가중치 적용 표적 결정 모듈을 포함한다. 실시 예에 따라 상기 N은 최소 15 이상인 실수로 설정될 수 있다.
[수학식]
Figure 112012003035884-pat00001
이때, 상기 IIRi는 상기 제1표적후보의 특징값을 나타내고, 상기 CCDi는 상기 제2표적후보의 특징 값을 나타낸다.
본 발명의 일 실시 예에 따른 상기 2차원 모멘트 모델링 모듈은 상기 획득된 적외선 영상으로부터 최대 밝기값을 갖는 픽셀의 좌표를 획득하는 최대 밝기 위치 획득부와 상기 획득된 픽셀 최대 밝기 위치를 중심으로 동일한 픽셀 단위를 갖는 4개의 서브 영역들로 구성되는 소정 영역을 설정하고, 상기 서브 영역들의 평균 픽셀값을 산출하여 상기 소정 영역의 픽셀 평균의 최대값 좌표를 획득하는 영역 설정부와 상기 획득된 픽셀 평균의 최대값 좌표로부터 최종 픽셀 중심 좌표를 산출하는 중심좌표 산출부 및 상기 산출된 최종 픽셀의 중심 좌표로부터 위치 가중 2차원 모멘트 모델링을 수행하여 상기 1표적후보를 결정하는 2차원 모멘트 모델링부를 포함한다.
본 발명의 다른 실시 예에 따른 2차원 모멘트 모델링 모듈은 상기 획득된 적외선 영상으로부터 최대 밝기값을 갖는 픽셀의 좌표를 획득하는 최대 밝기 위치 획득부와 상기 획득된 최대 밝기값을 갖는 픽셀 좌표로부터 소정의 픽셀 영역을 설정하고, 상기 설정된 픽셀 영역 내의 픽셀들의 밝기값을 상기 획득된 최대 밝기값으로 확장하는 동일값 확장부와 상기 픽셀 영역의 확장된 전체 픽셀 평균을 구하여 임계값을 설정하고, 상기 설정된 임계값과 상기 최대 밝기값 사이의 픽셀 평균 좌표를 산출하며, 상기 확장된 밝기값 좌표와 상기 픽셀 평균 좌표에 따라 최종 픽셀 중심 좌표를 산출하는 중심좌표 산출부 및 상기 산출된 최종 픽셀의 중심 좌표로부터 영역 확장 2차원 모멘트 모델링을 수행하는 2차원 모멘트 모델링부를 포함한다.
본 발명의 실시 예에 따른 가중치 기반 표적 결정 방법은 위치 가중 또는 영역 확장 2차원 모멘트 모델링 및 크기 불변 특징 변환을 통해 적외선 영상 및 가시광 영상의 특징을 추출하고, 상기 추출된 특징들에 가중치를 설정하여 표적을 결정함으로써, 소형 표적 및 확장되는 표적을 매우 정밀하게 결정할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 표적에 대한 이해를 돕기 위해 이상적인 적외선 영상을 최대 밝기값 기준으로 2차원 가우시안 모델링(Gaussian Modeling)한 결과를 나타낸다.
도 2는 표적에 대한 이해를 돕기 위해 실제적인 적외선 영상을 최대 밝기값 기준으로 2차원 가우시안 모델링한 결과를 나타낸다.
도 3은 본 발명의 실시 예에 따른 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템의 내부 블럭도이다.
도 4는 본 발명의 실시 예에 따른 위치 가중 2차원 모멘트 모델링 모듈의 내부 블럭도를 나타낸다.
도 5는 도 4에 도시된 영역 설정부가 픽셀 최대 밝기 위치로부터 소정의 영역을 설정하는 방법을 설명하기 위한 도를 나타낸다.
도 6은 본 발명의 다른 실시 예에 따른 영역 확장 2차원 모멘트 모델링 모듈의 내부 블럭도를 나타낸다.
도 7은 도 6에 도시된 동일값 확장부가 3 × 3 영역에서 영역 확장하는 방법의 일례를 나타낸다.
도 8은 도 1에 도시된 2차원 모멘트 모델링 모듈이 적외선 영상을 2차원 모멘트 모델링한 결과를 나타내는 도이다.
도 9는 가시광 영상에 SIFT 기법을 적용하여 특징점을 추출하고 추출된 특징점에 대한 디스크립터를 생성한 결과를 나타낸다.
도 10은 센싱된 적외선 영상 및 센싱된 가시광 영상에 대한 예를 나타낸다.
도 11은 도 10의 적외선 영상에서 도출된 후보지점에 대응하는 픽셀 위치를 가시광 영상에서 후보지점으로 선정한 예를 나타낸다.
도 12는 본 발명의 실시 예에 따라 표적이 최종 선정된 결과의 예를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 표적에 대한 이해를 돕기 위해 이상적인 적외선 영상을 최대 밝기값 기준으로 2차원 가우시안 모델링(Gaussian Modeling)한 결과를 나타낸다.
도 1을 참조하면, (a)는 표적에 대한 이상적인 적외선 영상을 나타내고, (b)는 상기 (a)에 도시된 밝기값 분포에 따라 최대 밝기값을 기준으로 표적에 대한 이해를 돕기 위해 2차원 가우시안 모델링한 결과를 나타낸다.
즉, 도 1은 표적 최대 밝기값이 중앙부근에 존재할 때, 즉, 이상적인 표적 영상에 대한 2차원 가우시안 모델링 결과를 나타낸 것이다.
상기 적외선 영상에서 표적 M × N의 2차원 영상패턴 f(x,y)의 모멘트 m은 하기 수학식 1과 같이 구할 수 있다.
Figure 112012003035884-pat00002
상기 p는 가로축의 속성값이고 상기 q는 세로축의 속성값이다.
이때, 상기 p=0, q=0이라면, 모멘트
Figure 112012003035884-pat00003
는 영상패턴 f를 구성하는 전체픽셀에 해당되고, 모멘트
Figure 112012003035884-pat00004
,
Figure 112012003035884-pat00005
는 영상패턴의 중심(centroid)인
Figure 112012003035884-pat00006
에 해당한다.
상기 중심
Figure 112012003035884-pat00007
에에 대한 모멘트
Figure 112012003035884-pat00008
는 하기 수학식 2와 같이 구할 수 있다.
Figure 112012003035884-pat00009
이때, 정규화 중심 모멘트
Figure 112012003035884-pat00010
는 하기 수학식 3과 같이 구할 수 있다.
Figure 112012003035884-pat00011
한편, 후술할 도 8에 적용되는 일반적인 2차 가우시안 모델링 결과는 표적에 대한 이해를 돕기 위해 표현된 것이며, 하기 수학식 4에 근거하여 이루어진다.
Figure 112012003035884-pat00012
이때,
Figure 112012003035884-pat00013
는 표적의 최대 밝기값을 나타내고, 상기 e는 지수함수이며, 상기 σ는 가우시안 분포의 폭을 나타내고, ｒ는 가로축의 크기, c는 세로축의 크기를 나타낸다.
앞서 설명하였듯이, 도 1의 (b)는 표적 최대 밝기값이 중앙부근에 존재할 때에 대한 모델링 결과로서 표적에 대한 이상적인 적외선 영상의 모델링 결과를 나타낸다.
그러나 실제로 표적에 대한 적외선 영상은 상기 이상적인 적외선 영상과는 달리 환경 영향에 의해 밝기값이나 형상이 다른 적외선 영상이 획득된다.
도 2는 표적에 대한 이해를 돕기 위해 실제적인 적외선 영상을 최대 밝기값 기준으로 2차원 가우시안 모델링한 결과를 나타낸다.
즉, 도 2는 표적에 대한 적외선 영상 획득시 실제 환경의 영향을 받아 다르게 획득되는 영상 및 획득된 영상에 대한 2차원 가우시안 모델링을 수행한 결과를 나타내는 도이다.
도 2를 참조하면, (a)는 표적에 대한 실제적인 적외선 영상을 나타내고, (b)는 상기 (a)에 도시된 밝기값 분포에 따라 최대 밝기값을 기준으로 표적에 대한 이해를 돕기 위해 2차원 가우시안 모델링을 수행한 결과를 나타낸다.
상기 설명한 수학식 1 내지 수학식 4에 따라 2차 가우시안 모델링을 수행하면, 도 2의 (b)와 같이 표적에 대해 정확한 중심을 설정할 수 없는 결과가 도출된다.
따라서, 표적에 대한 정확한 중심을 설정할 수 있는 방안이 필요하다.
도 3은 본 발명의 실시 예에 따른 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템의 내부 블럭도이다.
도 3을 참조하면, 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템(이하, '표적 결정 시스템'이라 한다, 10)은 적외선 영상 센서(IIR, 30), 가시광 영상 센서(CCD, 50), 2차원 모멘트 모델링 모듈(100), SIFT 표적특징값 추출 모듈(200), 가중치 적용 표적 결정 모듈(300)을 포함한다.
본 명세서에서의 모듈(module)이라 함은 본 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 또한 특정한 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또한 특정한 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예컨대 프로세서를 의미할 수 있다.
다시 말해 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다.
적외선 영상 센서(30)와 가시광 영상 센서(50)는 특정 동일 지역을 피사체로 하는 적외선 영상과 가시광선 영상을 각각 센싱한다.
즉, 상기 특정 동일 지역에 대한 영상을 획득하기 위해 적외선 센서(30)와 가시광 센서(50)는 평행 동일선상에서 하나의 특정 지점(x,y)을 촬영한 적외선 영상 및 가시광 영상을 각각 획득한다.
일반적으로 적외선 영상의 소형 열 표적은 주변 배경보다 밝고, 동일한 최대 밝기(Intensity) 값이 여러 곳에 존재하며, 형상이 뚜렷하지 않은 특징이 있다.
상기 적외선 센서(30)는 센싱한 적외선 영상을 2차원 모멘트 모델링 모듈(100)로 전송하고, 상기 가시광 센서(50)는 센싱한 가시광 영상을 SIFT 표적 특징값 추출 모듈(200)로 전송한다.
2차원 모멘트 모델링 모듈(100)은 상기 전송된 적외선 영상을 기초로 실제 표적과 가장 유사한 제1표적후보를 검출하는 역할을 수행하며, 하기의 제1실시 예에 따라 위치 가중 기법을 사용한 위치 가중 2차원 모멘트 모델링 모듈로서 구현될 수 있고, 하기의 제2실시 예에 따라 영역 확장 기법을 사용한 영역 확장 2차원 모멘트 모델링 모듈로서 구현될 수 있다.
제1실시 예에 따라 2차원 모멘트 모델링 모듈(100)은 위치 가중 기법을 이용하여 2차원 모멘트 모델링을 수행하는 위치 가중 2차원 모멘트 모델링 모듈(100-1)로서 구현된다.
도 4는 본 발명의 실시 예에 따른 위치 가중 2차원 모멘트 모델링 모듈의 내부 블럭도를 나타낸다.
도 4를 참조하면, 위치 가중 2차원 모멘트 모델링 모듈(100-1)은 최대 밝기 위치 획득부(110-1), 영역 설정부(130-1), 중심좌표 산출부(150-1) 및 2차원 모멘트 모델링부(170-1)를 포함한다.
위치 가중 2차원 모멘트 모델링 모듈(100-1)은 소형표적에서 하나의 픽셀 위치로부터 표적 모멘트 모델링하는 것이 아니라 최대 밝기값의 위치 및 주변 픽셀의 밝기값 평균의 위치로 변환시키는 방법을 사용한다.
즉, 상기의 방법은 표적의 관심 영역뿐만 아니라 주변영역을 포함하여 모델링하기 때문에 소형 표적이 확장될 때 크기 및 밝기 변화에 둔감하게 표적을 검출할 수 있는 효과가 있다.
위치 가중 2차원 모멘트 모델링 모듈(100-1) 내의 최대 밝기 위치 획득부(110-1)는 적외선 영상으로부터 픽셀 최대 밝기 위치를 획득한다.
영역 설정부(130-1)는 최대 밝기 위치 획득부(110-1)로부터 획득된 픽셀 최대 밝기 위치로부터 인접하는 픽셀의 평균 밝기값을 구하기 위한 소정 영역을 설정한다.
도 5는 도 4에 도시된 영역 설정부가 픽셀 최대 밝기 위치로부터 소정의 영역을 설정하는 방법을 설명하기 위한 도를 나타낸다.
도 5의 (a)에 도시된 바와 같이, 영역 설정부(130-1)는 상기 최대 밝기 위치 획득부(110)로부터 획득된 위치로부터 3×3 영역을 설정하여 4개의 영역(A1, A2, A3, A4)으로 분할한다.
이때, 영역 설정부(130-1)는 상기 각각의 영역(A1, A2, A3, A4)에 대한 픽셀 평균을 계산하고, 상기 각각의 영역(A1, A2, A3, A4)에 대해 계산된 픽셀 평균이 가장 큰 값을 보상된 좌표값으로 획득한다.
상기 각각의 픽셀 평균 계산식은 하기 수학식 5와 같다.
Figure 112012003035884-pat00014
또한 도 5의 (b)에 도시된 바와 같이, 영역 설정부(130-1)는 상기 최대 밝기 위치 획득부(110-1)로부터 획득된 위치로부터 5×5 영역을 설정하여 4개의 영역(B1, B2, B3, B4)으로 분할한다.
마찬가지로 영역 설정부(130-1)는 상기 각각의 영역(B1, B2, B3, B4)에 대한 픽셀 평균을 계산하고, 상기 각각의 영역(B1, B2, B3, B4)에 대해 계산된 픽셀 평균이 가장 큰 값으로 보상된 좌표값을 획득한다.
상기 각각의 픽셀 평균 계산식은 상기 수학식 5와 같은 방법을 사용한다.
도 5의 (c)에 도시된 바와 같이, 영역 설정부(130-1)는 상기 최대 밝기 위치 획득부(110-1)로부터 획득된 위치로부터 7×7 영역을 설정하여 4개의 영역으로 분할(C1, C2, C3, C4)하여 각각의 픽셀 평균을 계산하고, 픽셀 평균이 가장 큰 값으로 보상된 좌표값을 획득한다.
이때에도 상기 수학식 5와 같은 방법을 사용하여 상기 보상된 좌표값을 획득할 수 있다.
한편, 위치 가중 2차원 모멘트 모델링 모듈(100-1) 내의 중심 좌표 산출부(150-1)는 영역 설정부(130-1)로부터 소정 영역들(3×3, 5×5, 7×7)로부터 각각 획득된 픽셀 평균의 최대값 좌표로부터 하기 수학식 6과 같이 최종 중심 좌표값(Cmax(x,y)에서의 x, y)을 산출한다.
Figure 112012003035884-pat00015
이때,
Figure 112012003035884-pat00016
는 최대 밝기값,
Figure 112012003035884-pat00017
는 3×3의 4개 분할 영역들(A1, A2, A3, A4)의 픽셀 평균값들 중 최대 밝기값,
Figure 112012003035884-pat00018
는 5×5의 4개 분할 영역들(B1, B2, B3, B4)의 픽셀 평균값들 중 최대 밝기값,
Figure 112012003035884-pat00019
는 7×7의 4개분할 영역들(C1, C2, C3, C4)의 픽셀 평균값들 중 최대 밝기값을 나타낸다.
상기 중심 좌표 산출부(150-1)로부터 산출된 최종 픽셀의 중심 좌표값은 주변영역 밝기값이 포함된 위치 가중 2차원 모멘트 모델링의 파라미터로 이후 사용된다.
2차원 모멘트 모델링부(170-1)는 상기 중심 좌표 산출부(150-1)로부터 산출된 최종 픽셀의 중심 좌표로부터 2차원 모멘트 모델링한 결과를 생성한다.
즉, 2차원 모멘트 모델링부(170-1)는 중심좌표 산출부(150-1)로부터 산출된 최종 픽셀의 중심좌표를 상기 수학식 2에 대입함으로써 위치 가중된 2차원 모멘트 모델링 결과를 생성할 수 있다.
따라서 위치가중 2차원 모멘트 모델링 모듈(100-1)은 상기와 같은 방법을 통하여 상기 소형 열 표적과 가장 유사한 제1표적후보를 생성할 수 있다.
제2실시 예에 따라 2차원 모멘트 모델링 모듈(100)은 영역 확장 기법을 이용하여 2차원 모멘트 모델링을 수행하는 영역 확장 2차원 모멘트 모델링 모듈(100-2)로서 구현될 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 영역 확장 2차원 모멘트 모델링 모듈의 내부 블럭도를 나타낸다.
도 6을 참조하면, 영역 확장 2차원 모멘트 모델링 모듈(100-2)은 상기 전송된 적외선 영상을 기초로 실제 표적과 가장 유사한 제1표적후보를 검출하는 역할을 수행하며, 최대 밝기 위치 획득부(110-2), 동일값 확장부(130-2), 중심좌표 산출부(150-2) 및 2차원 모멘트 모델링부(170-2)를 포함한다.
영역 확장 2차원 모멘트 모델링 모듈(100-2)은 동일한 최대 밝기값이 2개 이상 이웃하고 있을 때, 모멘트의 초기 중심위치를 적절하게 결정할 수 있도록 영역을 확장시키는 방법을 이용함으로써 상기 소형 열 표적과 가장 유사한 표적후보를 검출할 수 있다.
영역 확장 2차원 모멘트 모델링 모듈(100-2) 내의 최대 밝기 위치 획득부(110-2)는 상기 획득된 적외선 영상으로부터 픽셀 최대 밝기 위치를 획득한다.
동일값 확장부(130-2)는 상기 최대 밝기 위치 획득부(110-2)로부터 획득된 위치로부터 소정의 영역, 예컨대 3 × 3 영역을 설정하여 상기 최대 밝기값과 동일한 값으로 확장한다.
도 7은 도 6에 도시된 동일값 확장부가 3 × 3 영역에서 영역 확장하는 방법의 일례를 나타낸다.
도 7을 참조하면, 픽셀의 중심이 A1 픽셀인 경우, 동일값 확장부(130-2)는 상기 A1 픽셀을 중심으로 같은 밝기값을 포함하고 있는 A2 픽셀 좌표로 확장한다.
중심좌표 산출부(150-2)는 상기 확장된 3 × 3 영역의 전체 픽셀 평균을 구하여 임계값을 설정하고, 상기 설정된 임계값에서 최대 밝기값 사이의 픽셀 평균 좌표를 구한다.
또한 중심좌표 산출부(150-2)는 상기 최대 밝기값과 동일한 값으로 확장된 밝기값 좌표와 상기 픽셀 평균 좌표에 따라 최종 픽셀의 중심 좌표를 산출한다.
상기 확장된 3 × 3 영역에서 픽셀좌표의 중심을 구하는 방법은 하기 수학식 7과 같다.
Figure 112012003035884-pat00020
이때, Ai는 픽셀의 최대 밝기값을 포함한 좌표이며, n은 확장된 픽셀의 개수이다.
이때, 상기 3 × 3 영역의 픽셀 밝기값의 평균
Figure 112012003035884-pat00021
은 하기 수학식 8과 같이 나타낼 수 있다.
Figure 112012003035884-pat00022
또한, 중심좌표 산출부(150-2)가 상기 최대 밝기값 좌표와 상기 픽셀평균 좌표의 평균좌표를 계산하여 최종 픽셀의 중심좌표를 구하는 방법은 하기 수학식 9와 같다.
Figure 112012003035884-pat00023
상기 중심 좌표 산출부(150-2)로부터 산출된 최종 픽셀의 중심 좌표값은 주변영역 밝기값이 포함된 영역확장 2차원 모멘트 모델링의 파라미터로 이후 사용된다.
2차원 모멘트 모델링부(170-2)는 상기 중심 좌표 산출부(150-2)로부터 산출된 최종 픽셀의 중심 좌표로부터 영역확장 2차원 모멘트 모델링 결과를 생성한다.
이는 곧 상기 수학식 9에 따른 결과를 상기 수학식 2에 대입함으로써 상기 영역확장 된 2차원 모멘트 모델링 결과를 생성할 수 있는 것이다.
도 8은 도 1에 도시된 2차원 모멘트 모델링 모듈이 적외선 영상을 2차원 모멘트 모델링한 결과를 나타내는 도이다.
즉, 도 8의 (a)는 적외선 영상에 대한 밝기값을 도시한 것이며, (b)는 제1실시 예에 따른 위치 가중 2차원 모멘트 모델링 모듈(100-1)이 위치 가중 기반으로 2차원 모멘트 모델링한 결과를 나타낸 것이며, (c)는 제2실시 예에 따른 영역 확장 2차원 모멘트 모델링 모듈(100-2)이 영역 확장 기반으로 2차원 모멘트 모델링 한 결과를 나타낸다.
다시 도 1을 참조하면, 표적 결정 시스템(10)의 SIFT 표적특징값 추출 모듈(200)은 대응 영역 설정부(230) 및 SIFT 수행부(250)를 포함하며, 가시광 영상 센서(50)로부터 센싱된 가시광 영상을 수신하여 SIFT 기반 표적특징 값을 추출한다.
대응 영역 설정부(230)는 상기 가시광 영상에서 2차원 모멘트 모델링 모듈(100)로부터, 예컨대 제1실시예에 따른 위치가중 2차원 모멘트 모델링 모듈(100-1) 또는 제2실시예에 따른 영역확장 2차원 모멘트 모델링 모듈(100-2)로부터도출된 제1표적후보에 대응되는 지점을 N ×N 영역으로 설정한다.
SIFT 수행부(250)는 상기 대응 영역 설정부(230)가 설정한 N ×N 영역에 대하여 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 표적의 후보지점인 제2표적후보를 도출한다.
이때, SIFT 수행부(250)는 크기가 서로 다른 가우시안 필터를 단계적으로 적용하여 블러링된 영상을 획득하고, 크기 불변 공간에서 가우시안 차분(Difference of Gaussian, DoG)을 적용하여 계산한 후에 이웃한 8개의 픽셀들 및 이웃한 두 공간에서 극대값과 극소값이 되는 픽셀이 크기 불변 특징점(D(x,y,σ))을 상기 제2 표적후보로 산출한다.
이때, 상기 가우시안 차분은 하기의 수학식 10과 같이 수행된다.
Figure 112012003035884-pat00024
상기
Figure 112012003035884-pat00025
은 가우시안 함수이고, σ는 표준편차이며, k는 복수의 공간에 블러링을 적용하기 위한 상수 값이며, I(x,y)는 상기 가시광 영상 센서(50)부터 수신한 가시광 영상이다.
도 9는 가시광 영상에 SIFT 기법을 적용하여 특징점을 추출하고 추출된 특징점에 대한 디스크립터를 생성한 결과를 나타낸다.
도 9를 참조하면, (a)는 가시광 영상에 SIFT 기법을 적용하여 관심 영역 내 크기 불변 특징점을 추출한 결과이며, (b)는 (a)에 도시된 관심 영역 내 크기 불변 특징점을 추출한 결과에 대한 디스크립터를 생성한 결과이다.
다시 도 1을 참조하면, 표적 결정 시스템(10) 내의 가중치 적용 표적 결정 모듈(300)은 상기 적외선 영상과 가시광 영상에서 추출된 각각의 후보지점, 예컨대 제1군 표적후보와 제2군 표적후보의 특징값에 가중치를 적용하여 최종 표적 여부를 결정한다.
가중치 적용 표적 결정 모듈(300)이 상기 최종 표적 여부를 결정하기 위해, 각각의 영상에 대한 특징에 따라 가중치를 곱하여 가장 높은값을 위치 지점으로 선정하며, 상기 가중치 설정 방법은 하기 수학식 11과 같다.
Figure 112012003035884-pat00026
여기에서, Ｗi 는 적외선 영상과 가시광 영상의 표적에 대한 가중치 값의 예시이며, ｄi는 상기 추출된 표적의 특징벡터와 사전에 획득된 데이터베이스(DB) 간의 거리 차이로서 ｄi =ｄi1 /(ｄi1 +ｄi2 )로 표현되며, ｄi1은 상기 측정 데이터 간의 가장 작은 두 값의 차이고, ｄi2는 두 번째로 작은 두 값의 차이다.
가중치 적용 표적 결정 모듈(300)은 하기 수학식 12에 따라 상기 최종 표적 Ｒi를 결정한다.
Figure 112012003035884-pat00027
이때, 상기 IIRi는 적외선 영상의 표적에서 추출된 표적 특징값을 나타내고, 상기 CCDi는 가시광 영상의 표적에서 추출된 표적의 특징값을 나타낸다.
실시 예에 따라 가중치 적용 표적 결정 모듈(300)은 상기 수학식 12에 따라 산출된 값이 최대일 때 최종 표적으로 선정할 수 있다.
도 10은 센싱된 적외선 영상 및 센싱된 가시광 영상에 대한 예를 나타내며, 도 11은 상기 도 10의 적외선 영상에서 도출된 후보지점에 대응하는 픽셀 위치를 가시광 영상에서 후보지점으로 선정한 예를 나타낸다.
도 10을 참조하면, (a)는 센싱된 적외선 영상에 대한 예가 도시되어 있고, (b)는 센싱된 가시광 영상에 대한 예가 도시되어 있다.
도 11을 참조하면, 상기 도 10의 (a)에서 도출된 후보지점에 대응하는 픽셀 위치를 도의 10의 (b)에서 후보지점으로 선정한 예가 도시되어 있다.
즉, 도 11은 2차원 모멘트 모델링 모듈(100)에서 선정된 제1표적후보에 대응하는 픽셀 위치를 SIFT 표적특징값 추출 모듈(200)에서 대응하는 제2표적후보 지점으로 선정한 것이다.
도 12는 본 발명의 실시 예에 따라 표적이 최종 선정된 결과의 예를 나타낸다.
결국 본 발명의 실시 예에 따른 가중치 기반 표적 결정 시스템은 위치 가중 또는 영역 확장 2차원 모멘트 모델링 및 크기 불변 특징 변환을 통해 적외선 영상 및 가시광 영상의 특징을 추출하고, 상기 추출된 특징의 유사도를 가중치에 근거하는 확률로서 계산하여 최종 표적을 결정함으로써, 소형 표적 및 확장되는 표적을 매우 정밀하게 결정할 수 있는 효과가 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 표적 결정 시스템
30 : IIR
50 : CCD
100: 2차원 모멘트 모델링 모듈
100-1 : 위치 가중 2차원 모멘트 모델링 모듈
100-2 : 영역 확장 2차원 모멘트 모델링 모듈
110-1, 110-2: 최대 밝기 위치 획득부
130-1: 영역 설정부
130-2: 동일값 확장부
150-1, 150-2: 중심좌표 산출부
170-1, 170-2: 2차원 모멘트 모델링부
200: SIFT 표적특징값 추출 모듈(200)
300: 가중치 적용 표적 결정 모듈

Claims (3)

  1. 특정 지역에 대한 적외선 영상과 가시광 영상을 각각 획득하는 적외선 영상 센서 및 가시광 영상 센서;
    상기 획득된 적외선 영상으로부터 위치 가중 또는 영역 확장 기반의 2차원 모멘트 모델링을 통해 제1표적후보를 결정하는 2차원 모멘트 모델링 모듈;
    상기 2차원 모멘트 모델링 모듈로부터 결정된 제1표적후보에 대응되는 지점을 대응 N ×N 영역으로 설정하고, 상기 설정한 N ×N 영역에 대하여 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 제2표적후보를 도출하는 SIFT 표적특징값 추출 모듈; 및
    상기 결정된 제1표적후보 및 제2표적후보의 특징값에 소정의 가중치를 적용하여 하기 수학식에 따라 최종 표적을 결정하는 가중치 적용 표적 결정 모듈;을 포함하는 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템.
    [수학식]
    Figure 112012072001052-pat00028

    이때, 상기 IIRi는 상기 제1표적후보의 특징값을 나타내고, 상기 CCDi는 상기 제2표적후보의 특징 값을 나타낸다.
  2. 제1항에 있어서, 상기 2차원 모멘트 모델링 모듈은,
    상기 획득된 적외선 영상으로부터 최대 밝기값을 갖는 픽셀의 좌표를 획득하는 최대 밝기 위치 획득부;
    상기 획득된 픽셀 최대 밝기 위치를 중심으로 동일한 픽셀 단위를 갖는 4개의 서브 영역들로 구성되는 소정 영역을 설정하고, 상기 서브 영역들의 평균 픽셀값을 산출하여 상기 소정 영역의 픽셀 평균의 최대값 좌표를 획득하는 영역 설정부;
    상기 획득된 픽셀 평균의 최대값 좌표로부터 최종 픽셀 중심 좌표를 산출하는 중심좌표 산출부; 및
    상기 산출된 최종 픽셀의 중심 좌표로부터 위치 가중 2차원 모멘트 모델링을 수행하여 상기 1표적후보를 결정하는 2차원 모멘트 모델링부;를 포함하는 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템.
  3. 제1항에 있어서, 상기 2차원 모멘트 모델링 모듈은,
    상기 획득된 적외선 영상으로부터 최대 밝기값을 갖는 픽셀의 좌표를 획득하는 최대 밝기 위치 획득부;
    상기 획득된 최대 밝기값을 갖는 픽셀 좌표로부터 소정의 픽셀 영역을 설정하고, 상기 설정된 픽셀 영역 내의 픽셀들의 밝기값을 상기 획득된 최대 밝기값으로 확장하는 동일값 확장부;
    상기 픽셀 영역의 확장된 전체 픽셀 평균을 구하여 임계값을 설정하고, 상기 설정된 임계값과 상기 최대 밝기값 사이의 픽셀 평균 좌표를 산출하며, 상기 확장된 밝기값 좌표와 상기 픽셀 평균 좌표에 따라 최종 픽셀 중심 좌표를 산출하는 중심좌표 산출부; 및
    상기 산출된 최종 픽셀의 중심 좌표로부터 영역 확장 2차원 모멘트 모델링을 수행하는 2차원 모멘트 모델링부;를 포함하는 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템.
KR1020120003732A 2012-01-12 2012-01-12 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템 KR101202215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120003732A KR101202215B1 (ko) 2012-01-12 2012-01-12 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003732A KR101202215B1 (ko) 2012-01-12 2012-01-12 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템

Publications (1)

Publication Number Publication Date
KR101202215B1 true KR101202215B1 (ko) 2012-11-16

Family

ID=47564836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003732A KR101202215B1 (ko) 2012-01-12 2012-01-12 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템

Country Status (1)

Country Link
KR (1) KR101202215B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101546800B1 (ko) 2014-07-11 2015-08-26 한화탈레스 주식회사 이종 센서 탐색기를 이용한 표적 포착 장치 및 방법
KR101949520B1 (ko) * 2018-06-29 2019-02-18 한화시스템 주식회사 이종 센서 영상 탐색기를 이용한 표적 결정 방법
KR101949518B1 (ko) * 2018-05-11 2019-02-18 한화시스템 주식회사 이종 센서 영상 탐색기를 이용한 표적 결정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007409B1 (ko) 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
KR101051716B1 (ko) 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007409B1 (ko) 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
KR101051716B1 (ko) 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
표적 검출을 위한 context 정보 기반의 다중센서(논문,2010.12)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101546800B1 (ko) 2014-07-11 2015-08-26 한화탈레스 주식회사 이종 센서 탐색기를 이용한 표적 포착 장치 및 방법
KR101949518B1 (ko) * 2018-05-11 2019-02-18 한화시스템 주식회사 이종 센서 영상 탐색기를 이용한 표적 결정 장치 및 방법
KR101949520B1 (ko) * 2018-06-29 2019-02-18 한화시스템 주식회사 이종 센서 영상 탐색기를 이용한 표적 결정 방법

Similar Documents

Publication Publication Date Title
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
US10782399B2 (en) Object detecting method and apparatus using light detection and ranging (LIDAR) sensor and radar sensor
KR101725478B1 (ko) 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
JP6731097B2 (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
JP6806459B2 (ja) 対象を追跡するための方法および装置
Bhattacharya et al. Moving object detection and tracking in forward looking infra-red aerial imagery
JP2014071902A (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
JP2016181743A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
JP5262705B2 (ja) 運動推定装置及びプログラム
US11087159B2 (en) Object detection device, object detection method and non-transitory computer readable medium
CN111199198B (zh) 一种图像目标定位方法、图像目标定位装置及移动机器人
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
KR101188296B1 (ko) 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 방법 및 이를 이용한 가중치 기반 표적 결정 시스템
KR101202215B1 (ko) 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템
JP5367244B2 (ja) 目標検出装置および目標検出方法
US8891879B2 (en) Image processing apparatus, image processing method, and program
KR101175752B1 (ko) 위치 가중 또는 영역 확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 베이시안 규칙 기반 표적 결정 시스템
KR101175751B1 (ko) 스트랩다운 이중 모드 영상탐색기의 베이시안 규칙 기반 표적 결정 방법
JP2013196268A (ja) 対象物検出装置および対象物検出方法
JP6577424B2 (ja) 行動認識装置、および、行動認識方法
Walia et al. A novel approach of multi-stage tracking for precise localization of target in video sequences
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
Yang et al. Method for building recognition from FLIR images
Chakravorty et al. Automatic image registration in infrared-visible videos using polygon vertices

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151026

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 7