KR20200035747A - Apparatus and method for tracking a target based on tracking image and distance information - Google Patents
Apparatus and method for tracking a target based on tracking image and distance information Download PDFInfo
- Publication number
- KR20200035747A KR20200035747A KR1020180115254A KR20180115254A KR20200035747A KR 20200035747 A KR20200035747 A KR 20200035747A KR 1020180115254 A KR1020180115254 A KR 1020180115254A KR 20180115254 A KR20180115254 A KR 20180115254A KR 20200035747 A KR20200035747 A KR 20200035747A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- tracking
- distance information
- image
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치 및 그 방법에 관한 것으로, 보다 자세하게는 표적을 추적하기 위해 생성된 추적 영상 및 표적을 향하여 발사된 레이저 펄스로부터 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하도록 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for tracking a target based on the tracking image and distance information, and more specifically, based on the tracking image generated to track the target and the distance information collected from the laser pulse emitted toward the target. The present invention relates to an apparatus and method for tracking a target based on tracking image and distance information to track the target or retrace the target by reflecting the collected distance information only when the target tracking fails using only the tracking image.
기존에 영상을 기반으로 하는 표적 추적 시스템은 영상에 나타난 표적의 형상, 색상 등을 이용하거나, 이를 가공하여 특징 기술자 정보를 추출한 후 표적을 탐지하고 추적한다. A target tracking system based on an existing image detects and tracks a target after extracting feature descriptor information by using the shape, color, etc. of the target shown in the image or processing it.
이러한, 영상을 기반으로 하는 표적 추적 시스템은 표적과 배경이 유사한 색상 또는 무늬 등을 가진 경우에 표적과 배경을 구분하지 못하여 표적 추적에 실패하게 된다는 문제점이 있었다. 그리고 표적에 강한 조명을 비추거나 표적이 기동하여 영상에 나타나는 형상에 급격한 변화가 생긴 경우에도 추적하던 표적과 동일한지 판단할 수 없어서 표적 추적에 실패하게 된다는 문제점이 있었다. 또한, 대공 표적 탐지 및 추적에 있어 영상만으로는 대공표적과 배경의 물리적인 거리를 알 수 있는 특징점을 추출하기 어려워 배경과 표적이 유사한 특징을 가진 경우에 표적과 배경을 구분하지 못하여 표적 추적에 실패하게 된다는 문제점이 있었다.The target tracking system based on the image has a problem in that the target tracking fails because the target and the background cannot be distinguished when the target has a similar color or pattern. In addition, there was a problem in that the target tracking failed because it was not possible to determine whether the target was the same as the target that was being tracked even when a strong change was made to the target or when the target was maneuvered and suddenly changed the shape appearing on the image. In addition, in the detection and tracking of anti-aircraft targets, it is difficult to extract the feature points that can know the physical distance between the anti-aircraft target and the background, and if the background and the target have similar characteristics, the target and the background cannot be distinguished and the target tracking fails. There was a problem.
이와 관련하여, 한국공개특허 제2016-0136145호는 "영상의 표적 추적 장치 및 방법"에 관하여 개시하고 있다.In this regard, Korean Patent Publication No. 2016-0136145 discloses a "target image tracking device and method".
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 표적을 추적하기 위해 생성된 추적 영상 및 표적을 향하여 발사된 레이저 펄스로부터 수집된 거리 정보를 토대로 표적을 추적하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been invented to solve the above problems, and based on the tracking image and the distance information tracking the target based on the tracking image generated to track the target and the distance information collected from the laser pulse emitted toward the target. The aim is to provide an apparatus and method for tracking a target.
또한, 본 발명은 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention provides an apparatus and method for tracking a target based on the tracking image and the distance information that retraces the target by reflecting the collected distance information only when the target tracking fails using only the tracking image. There is this.
상기의 목적을 달성하기 위한 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치는 표적을 추적하기 위한 추적 영상을 생성하는 추적 영상 생성부; 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신하는 레이저 펄스 송수신부; 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 거리 정보 수집부; 및 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 표적 추적부;를 포함한다.The apparatus for tracking a target based on the tracking image and distance information according to the present invention for achieving the above object includes: a tracking image generating unit generating a tracking image for tracking a target; A laser pulse transmitting / receiving unit that fires a laser pulse toward the target and receives a laser pulse reflected and returned from the target area and the area around the target; A distance information collection unit collecting distance information on a target area and a region around the target based on the received laser pulse; And a target tracking unit that tracks a target based on the generated tracking image and the collected distance information or retraces the target by reflecting the collected distance information only when the target tracking fails using only the tracking image.
또한, 상기 거리 정보 수집부는 레이저 펄스가 발사된 시점과 반사되어 수신된 시점에 따른 시간에 기초하여 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 것을 특징으로 한다.In addition, the distance information collecting unit is characterized in that it collects the distance information for the target area and the area around the target based on the time according to the time point at which the laser pulse was fired and reflected and received.
또한, 상기 표적 추적부는 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적하는 것을 특징으로 한다.In addition, the target tracking unit is characterized in separating the target area and the area around the target in the tracking image based on the collected distance information, and tracking the target from the separated target area.
또한, 상기 표적 추적부는 추적 영상 내에서 표적을 탐지하고, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도를 비교하여 표적 추적의 성공 여부를 판단하는 것을 특징으로 한다.In addition, the target tracking unit detects a target in a tracking image, and compares the similarity between information of the previously tracked target and information about the currently detected target to determine whether the target tracking is successful.
또한, 상기 표적 추적부는 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하는 경우에 표적 추적이 성공한 것으로 판단하고, 전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하지 않는 경우 표적 추적이 실패한 것으로 판단하는 것을 특징으로 한다.In addition, the target tracking unit determines that the target tracking is successful when the similarity between the information of the previously tracked target and the information on the currently detected target falls within a preset similarity range, and the target tracking information and the currently detected target If the similarity of information on the target does not fall within a predetermined similarity range, it is characterized by determining that the target tracking has failed.
또한, 상기 표적 추적부는 표적 추적이 실패한 것으로 판단되면, 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적하는 것을 특징으로 한다.In addition, when it is determined that the target tracking is failed, the target tracking unit is characterized in separating the target area and the area around the target in the tracking image based on the collected distance information, and re-tracking the target from the separated target area.
또한, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적한 결과, 추적 영상만을 이용하여 표적 추적이 성공한 경우에 대한 결과 및 추적 영상만을 이용하여 표적 추적이 실패한 경우에 수집된 거리 정보를 반영하여 표적을 재추적한 결과 중 적어도 어느 하나를 운용자에게 제공하는 표적 추적 결과 제공부를 더 포함하는 것을 특징으로 한다.In addition, as a result of tracking a target based on the generated tracking image and the collected distance information, the collected distance information is reflected when the target tracking is failed using only the tracking image and the result of the successful tracking of the target using only the tracking image. It characterized in that it further comprises a target tracking result providing unit that provides at least one of the results of re-tracking the target to the operator.
상기의 목적을 달성하기 위한 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법은 추적 영상 생성부에 의해, 표적을 추적하기 위한 추적 영상을 생성하는 단계; 레이저 펄스 송수신부에 의해, 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신하는 단계; 거리 정보 수집부에 의해, 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 단계; 및 표적 추적부에 의해, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계;를 포함한다.A method of tracking a target based on the tracking image and distance information according to the present invention for achieving the above object includes: generating a tracking image for tracking a target by a tracking image generating unit; Receiving, by the laser pulse transmitting / receiving unit, a laser pulse that is reflected toward and returns from the target area and the area around the target by firing the laser pulse toward the target; Collecting distance information on the target area and the area around the target based on the received laser pulse by the distance information collection unit; And tracking, by the target tracking unit, a target based on the generated tracking image and the collected distance information, or re-tracking the target by reflecting the collected distance information only when the target tracking fails using only the tracking image. Includes.
또한, 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 단계는, 레이저 펄스가 발사된 시점과 반사되어 수신된 시점에 따른 시간에 기초하여 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 것을 특징으로 한다.In addition, the step of collecting the distance information for the target area and the area around the target based on the received laser pulse, the target area and the area around the target based on the time according to the time point at which the laser pulse was fired and reflected is received. Characterized by collecting the distance information for.
또한, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하는 단계는, 표적 추적부는 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적하는 것을 특징으로 한다.In addition, the step of tracking the target based on the generated tracking image and the collected distance information, the target tracking unit separates the target area and the area around the target in the tracking image based on the collected distance information, and targets from the separated target area It is characterized by tracking.
또한, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계는, 추적 영상 내에서 표적을 탐지하고, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도를 비교하여 표적 추적의 성공 여부를 판단하는 것을 특징으로 한다.In addition, the step of re-tracking the target by reflecting the collected distance information only when the target tracking fails by using only the tracking image, detects the target in the tracking image, previously tracked target information and the currently detected target It is characterized by determining whether the target tracking is successful by comparing the similarity of information on.
또한, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계에서, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하는 경우에 표적 추적이 성공한 것으로 판단하고, 전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하지 않는 경우 표적 추적이 실패한 것으로 판단하는 것을 특징으로 한다.In addition, in the step of re-tracking the target by reflecting the collected distance information only when the target tracking fails using only the tracking image, the similarity between the previously tracked target information and the information on the currently detected target is similar. It is characterized in that it is determined that the target tracking is successful in the case of belonging to the range, and the target tracking is failed when the similarity between the information of the previously tracked target and the information on the currently detected target does not fall within the preset similar range.
또한, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계는, 표적 추적이 실패한 것으로 판단되면, 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적하는 것을 특징으로 한다.In addition, the step of re-tracking the target by reflecting the collected distance information only when the target tracking fails using only the tracking image, if it is determined that the target tracking has failed, based on the collected distance information, the target region and the target area within the tracking image It is characterized by separating the area around the target and re-tracking the target from the separated target area.
상기의 목적을 달성하기 위한 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치 및 그 방법은 추적 영상 및 표적을 향하여 발사된 레이저 펄스로부터 수집된 거리 정보를 토대로 표적을 추적하기 위해 생성된 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적함으로써, 표적을 정확하게 추적할 수 있는 효과가 있다.Apparatus and method for tracking a target based on the tracking image and distance information according to the present invention for achieving the above object is to track the target based on the distance information collected from the tracking image and the laser pulse emitted toward the target By separating the target area and the area around the target in the generated tracking image, and tracking the target from the separated target area, it is possible to accurately track the target.
또한, 본 발명은 표적을 추적하기 위해 생성된 추적 영상만을 이용하여 표적을 추적하는 경우, 표적 주변의 배경의 변화, 조명의 변화, 표적의 형상 변화 및 표적의 색상 변화 등에 의해 표적 추적이 실패되면 표적을 향하여 발사된 레이저 펄스로부터 수집된 거리 정보를 반영하여 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적함으로써, 표적을 정확하게 추적할 수 있는 효과가 있다.In addition, in the case of tracking a target by using only a tracking image generated to track the target, the present invention, when target tracking fails due to a change in background around the target, a change in illumination, a change in shape of the target, and a change in color of the target, etc. By reflecting the distance information collected from the laser pulse emitted toward the target, the target area and the area around the target are separated in the tracking image, and the target can be accurately tracked by re-tracking the target from the separated target area. have.
도 1은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치의 구성을 설명하기 위한 도면이다.
도 2 및 도 3은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치에 채용되는 거리 정보 수집부에 의해 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 것을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치에 채용되는 표적 추적부에 의해 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리되는 것을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법의 순서를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법에서 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하는 방법의 순서를 자세하게 설명하기 위한 도면이다.
도 7은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법에서 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 방법의 순서를 자세하게 설명하기 위한 도면이다.1 is a view for explaining the configuration of a device for tracking a target based on tracking images and distance information according to the present invention.
2 and 3 show the distance information for the target area and the area around the target based on the laser pulse received by the distance information collection unit employed in the apparatus for tracking the target based on the tracking image and the distance information according to the present invention. It is a drawing to explain collecting.
FIG. 4 is a diagram for explaining separation of a target region and a region around a target in a tracking image by a target tracking unit employed in an apparatus for tracking a target based on the tracking image and distance information according to the present invention.
5 is a view for explaining a sequence of a method for tracking a target based on tracking images and distance information according to the present invention.
6 is a view for explaining in detail the sequence of a method for tracking a target based on the tracking image and the collected distance information generated in the method for tracking the target based on the tracking image and the distance information according to the present invention.
7 is a detailed sequence of a method for re-tracking a target by reflecting the collected distance information only when the target tracking fails using only the tracking image in the method of tracking the target based on the tracking image and the distance information according to the present invention. It is a figure for illustration.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals are used for similar components.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "include" or "have" are intended to indicate the presence of features, numbers, steps, actions, components, parts or combinations thereof described herein, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions for the same components are omitted.
도 1은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치의 구성을 설명하기 위한 도면이고, 도 2 및 도 3은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치에 채용되는 거리 정보 수집부에 의해 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 것을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치에 채용되는 표적 추적부에 의해 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리되는 것을 설명하기 위한 도면이다.1 is a view for explaining the configuration of a device for tracking a target based on tracking images and distance information according to the present invention, and FIGS. 2 and 3 are tracking targets based on tracking images and distance information according to the present invention A diagram for explaining collecting distance information for a target area and a region around a target based on a laser pulse received by a distance information collection unit employed in a device, and FIG. 4 is a tracking image and distance information according to the present invention A diagram for explaining separation of a target region and a region around a target in a tracking image by a target tracking unit employed in a device for tracking a target based on.
도 1을 참조하여 설명하면, 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치(100)는 크게 추적 영상 생성부(110), 레이저 펄스 송수신부(120), 거리 정보 수집부(130), 표적 추적부(140), 표적 추적 설정부(145) 및 표적 추적 결과 제공부(150)를 포함한다.Referring to FIG. 1, the apparatus 100 for tracking a target based on the tracking image and the distance information according to the present invention is largely a tracking
추적 영상 생성부(110)는 표적을 추적하기 위한 추적 영상을 생성한다.The
추적 영상 생성부(110)는 가시광선, 적외선, 밀리미터파(millimeter wave), 영상레이더(SAR) 등 여러 파장 대역과 기법을 이용하여 영상 정보를 획득할 수 있는 모든 장치가 될 수 있다.The
레이저 펄스 송수신부(120)는 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신한다.The laser pulse transmitting / receiving
레이저 펄스 송수신부(120)는 전파에 가까운 성질을 가진 레이저 펄스선을 사용하여 개발한 레이더인 라이다(lidar)인 것으로, 영어로 LIght Detection And Ranging의 약자로 풀이되기도 하고, 기원을 따지면 'light”와 'radar(radio detection and ranging)”를 혼합하여 만든 합성어이다. 즉, 라이다는 전파 대신에 빛을 쓰는 레이다를 뜻하는 것으로, 라이다는 전통적인 레이다와 원리가 같으나 그 사용하는 전자기파의 파장이 다르므로 실제 이용 기술과 활용 범위는 다르다.The laser pulse transmitting / receiving
본 발명에 따른 레이저 펄스 송수신부(120, 라이다)는 추적 영상 생성부(110)와 결합된 형태로 탑재될 수 있으나, 이에 한정되는 것은 아니다. 보다 자세하게, 레이저 펄스 송수신부(120)는 빠른 응답과 면적 범위의 측정을 위하여 매트릭스(matrix) 형태 또는 어레이(array) 형태의 광 감지장치를 사용하며, 추적 영상 생성부(110)의 제어 하에 운용될 수 있다. The laser pulse transmitting and receiving unit 120 (lider) according to the present invention may be mounted in a form combined with the tracking
거리 정보 수집부(130)는 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집한다.The distance
보다 자세하게, 거리 정보 수집부(130)는 반사되어 돌아온 레이저 펄스를 계측하여 센서와 반사지점 사이의 거리를 산출하고, 매트릭스 형태 또는 어레이 형태의 광 감지장치들로부터 도 2에 도시된 바와 같이 표적 영역 및 표적 주변(배경)의 영역 내의 거리 정보를 수집할 수 있다. 즉, 거리 정보 수집부(130)는 레이저 펄스가 발사된 시점과 레이저 펄스가 반사되어 수신된 시점의 시간(time of flight)에 기초하여 거리를 측정하는 방식 등을 이용하여 도 3에 도시된 바와 같이 표적 영역 및 표적 주변의 영역과의 거리를 산출할 수 있다. In more detail, the distance
표적 추적부(140)는 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적한다.The
즉, 표적 추적부(140)는 수신된 운용자의 표적 추적 설정정보에 따라 생성된 추적 영상 및 수집된 거리 정보를 동시에 이용하여 표적을 추적할 수도 있고, 우선 생성된 추적 영상을 통해 표적을 추적하다가 표적 추적이 실패한 경우 수집된 거리 정보를 이용하여 표적을 재추적할 수도 있다.That is, the
표적 추적부(140)는 생성된 추적 영상 및 수집된 거리 정보를 동시에 이용하여 표적을 추적하는 것으로 설정된 경우, 도 4에 도시된 바와 같이 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적한다.When the
한편, 표적 추적부(140)는 우선 생성된 추적 영상을 통해 표적을 추적하다가 표적 추적이 실패한 경우 수집된 거리 정보를 이용하여 표적을 재추적하는 것으로 설정된 경우, 추적 영상 내에서 표적을 탐지하고, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도를 비교하여 표적 추적의 성공 여부를 판단한다, Meanwhile, the
이때, 표적 추적부(140)는 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하는 경우에 표적 추적이 성공한 것으로 판단하고, 전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하지 않는 경우 표적 추적이 실패한 것으로 판단한다.In this case, the
표적 추적부(140)는 표적 추적이 실패한 것으로 판단되면, 도 4에 도시된 바와 같이 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적한다.When it is determined that the target tracking is failed, the
표적 추적 설정부(145)는 운용자로부터 표적 추적 시 생성된 추적 영상 및 수집된 거리 정보를 동시에 이용하여 표적을 추적할 것인지 또는 우선 생성된 추적 영상을 통해 표적을 추적하다가 표적 추적이 실패한 경우 수집된 거리 정보를 이용하여 표적을 재추적할 것인지에 대하여 선택 입력된 표적 추적 설정정보를 수신하여 저장한다.The target
표적 추적 결과 제공부(150)는 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적한 결과, 추적 영상만을 이용하여 표적 추적이 성공한 경우에 대한 결과 및 추적 영상만을 이용하여 표적 추적이 실패한 경우에 수집된 거리 정보를 반영하여 표적을 재추적한 결과 중 적어도 어느 하나를 운용자에게 제공한다.The target tracking
도 5는 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법의 순서를 설명하기 위한 도면이다.5 is a view for explaining a sequence of a method for tracking a target based on tracking images and distance information according to the present invention.
도 5를 참조하여 설명하면, 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법은 앞서 설명한 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치를 이용하는 것으로 이하 중복되는 설명은 생략하기로 한다.Referring to FIG. 5, a method of tracking a target based on the tracking image and the distance information according to the present invention uses a device for tracking the target based on the tracking image and the distance information described above, and the repeated description is omitted below. I will do it.
먼저, 표적을 추적하기 위한 추적 영상을 생성한다(S100).First, a tracking image for tracking a target is generated (S100).
다음, 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신한다(S110).Next, a laser pulse is emitted toward the target to receive the laser pulse reflected and returned from the target area and the area around the target (S110).
다음, 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집한다(S120).Next, based on the received laser pulse, the distance information for the target area and the area around the target is collected (S120).
S120 단계는 레이저 펄스가 발사된 시점과 레이저 펄스가 반사되어 수신된 시점의 시간(time of flight)에 기초하여 거리를 측정하는 방식 등을 이용하여 도 3에 도시된 바와 같이 표적 영역 및 표적 주변의 영역과의 거리를 산출할 수 있다. The step S120 uses a method of measuring a distance based on a time of flight when the laser pulse is fired and a time when the laser pulse is reflected and received, and the like, as shown in FIG. 3, and surrounding the target area. You can calculate the distance to the area.
다음, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적한다(S130).Next, the target is tracked based on the generated tracking image and the collected distance information, or the target is retraced by reflecting the collected distance information only when the target tracking fails using only the tracking image (S130).
S130 단계 이전에, 운용자로부터 표적 추적 시 생성된 추적 영상 및 수집된 거리 정보를 동시에 이용하여 표적을 추적할 것인지 또는 우선 생성된 추적 영상을 통해 표적을 추적하다가 표적 추적이 실패한 경우 수집된 거리 정보를 이용하여 표적을 재추적할 것인지에 대하여 선택 입력된 표적 추적 설정정보를 수신하여 저장하는 단계가 포함될 수 있으며 이에 대해서는 이후 설명되는 도 6 및 도 7에서 자세하게 설명하기로 한다.Before step S130, whether to track the target by simultaneously using the tracking image generated when tracking the target from the operator and the collected distance information, or first track the target through the generated tracking image, and if the target tracking fails, the collected distance information It may include the step of receiving and storing the target tracking setting information selectively selected as to whether or not to retrace the target, which will be described in detail in FIGS. 6 and 7 described later.
다음, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적한 결과, 추적 영상만을 이용하여 표적 추적이 성공한 경우에 대한 결과 및 추적 영상만을 이용하여 표적 추적이 실패한 경우에 수집된 거리 정보를 반영하여 표적을 재추적한 결과 중 적어도 어느 하나를 운용자에게 제공한다(S140).Next, as a result of tracking the target based on the generated tracking image and the collected distance information, the collected distance information is reflected when the target tracking is failed using only the tracking image and the result of the successful tracking of the target using only the tracking image By providing the operator with at least one of the results of re-tracking the target (S140).
도 6은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법에서 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하는 방법의 순서를 자세하게 설명하기 위한 도면이다.6 is a view for explaining in detail the sequence of a method for tracking a target based on the tracking image and the collected distance information generated in the method for tracking the target based on the tracking image and the distance information according to the present invention.
도 6을 참조하여 설명하면, 본 발명에 따른 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하는 방법은 먼저, 운용자로부터 선택 입력되는 표적 추적 시 생성된 추적 영상 및 수집된 거리 정보를 동시에 이용하여 표적을 추적하고자 하는 표적 추적 설정정보를 수신한다(S200).Referring to Figure 6, a method of tracking a target based on the generated tracking image and the collected distance information according to the present invention, first, the tracking image generated at the time of tracking the target selectively input from the operator and the collected distance information at the same time Target tracking setting information to track a target by using is received (S200).
다음, 표적을 추적하기 위한 추적 영상을 생성한다(S210).Next, a tracking image for tracking the target is generated (S210).
다음, 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신한다(S220).Next, a laser pulse is emitted toward the target to receive the laser pulse reflected and returned from the target area and the area around the target (S220).
다음, 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집한다(S230).Next, based on the received laser pulse, the distance information for the target area and the area around the target is collected (S230).
S230 단계는 레이저 펄스가 발사된 시점과 레이저 펄스가 반사되어 수신된 시점의 시간(time of flight)에 기초하여 거리를 측정하는 방식 등을 이용하여 표적 영역 및 표적 주변의 영역과의 거리를 산출할 수 있다. In step S230, the distance between the target area and the area around the target is calculated using a method of measuring a distance based on a time of flight when the laser pulse is fired and a time when the laser pulse is reflected and received. You can.
다음, 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리한다(S240).Next, the target region and the region around the target are separated in the tracking image based on the collected distance information (S240).
다음, 분리된 표적 영역으로부터 표적을 추적하고, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적한 결과를 운용자에게 제공한다(S250).Next, the target is tracked from the separated target area, and the result of tracking the target is provided to the operator based on the generated tracking image and the collected distance information (S250).
도 7은 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법에서 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 방법의 순서를 자세하게 설명하기 위한 도면이다.7 is a detailed sequence of a method for re-tracking a target by reflecting the collected distance information only when the target tracking fails using only the tracking image in the method of tracking the target based on the tracking image and the distance information according to the present invention. It is a figure for illustration.
도 7을 참조하여 설명하면, 본 발명에 따른 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 방법은 먼저, 운용자로부터 선택 입력되는 우선 생성된 추적 영상을 통해 표적을 추적하다가 표적 추적이 실패한 경우 수집된 거리 정보를 이용하여 표적을 재추적할 것인지에 대하여 선택 입력된 표적 추적 설정정보를 수신한다(S300).Referring to FIG. 7, the method of re-tracking a target by reflecting the collected distance information only when the target tracking fails using only the tracking image according to the present invention is firstly generated by the operator firstly selected tracking image When tracking a target through the target tracking fails, the target tracking setting information selectively input as to whether to retrace the target using the collected distance information is received (S300).
다음, 표적을 추적하기 위한 추적 영상을 생성한다(S310).Next, a tracking image for tracking the target is generated (S310).
다음, 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신한다(S320).Next, a laser pulse is emitted toward the target to receive the laser pulse reflected and returned from the target area and the area around the target (S320).
다음, 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집한다(S330).Next, based on the received laser pulse, the distance information for the target area and the area around the target is collected (S330).
S330 단계는 레이저 펄스가 발사된 시점과 레이저 펄스가 반사되어 수신된 시점의 시간(time of flight)에 기초하여 거리를 측정하는 방식 등을 이용하여 표적 영역 및 표적 주변의 영역과의 거리를 산출할 수 있다. In step S330, a distance between a target region and a region around the target is calculated using a method of measuring a distance based on a time of flight when the laser pulse is fired and a time when the laser pulse is reflected and received. You can.
다음, 추적 영상 내에서 표적을 탐지하고, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도를 비교하여 표적 추적의 성공 여부를 판단한다(S340).Next, the target is detected in the tracking image, and the success or failure of the target tracking is determined by comparing the similarity between the previously tracked target information and the information on the currently detected target (S340).
S340 단계는 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하는 경우에 표적 추적이 성공한 것으로 판단하고, 전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하지 않는 경우 표적 추적이 실패한 것으로 판단한다.In step S340, when the similarity between the information of the previously tracked target and the information on the currently detected target falls within a predetermined similarity range, it is determined that the target tracking is successful, and the information of the previously tracked target and the currently detected target If the similarity of information does not fall within the preset similarity range, it is determined that the target tracking has failed.
다음, S340 단계에서 표적 추적이 성공한 것으로 판단되면, 추적 영상만을 이용하여 표적 추적이 성공한 경우에 대한 결과를 운용자에게 제공한다(S350).Next, if it is determined in step S340 that the target tracking is successful, the result of the successful target tracking is provided to the operator using only the tracking image (S350).
한편, S340 단계에서 표적 추적이 실패한 것으로 판단되면, 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리한다(S360).Meanwhile, if it is determined in step S340 that the target tracking has failed, the target area and the area around the target are separated in the tracking image based on the collected distance information (S360).
다음, 분리된 표적 영역으로부터 표적을 재추적하고, 표적 추적이 실패한 경우에 수집된 거리 정보를 반영하여 표적을 재추적한 결과를 운용자에게 제공한다(S370).Next, the target is re-tracked from the separated target area, and the result of re-tracking the target is reflected to the operator by reflecting the distance information collected when the target tracking fails (S370).
이처럼, 본 발명에 따른 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치 및 그 방법은 추적 영상 및 표적을 향하여 발사된 레이저 펄스로부터 수집된 거리 정보를 토대로 표적을 추적하기 위해 생성된 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적함으로써, 표적을 정확하게 추적할 수 있다.As described above, the apparatus and method for tracking a target based on the tracking image and the distance information according to the present invention include a tracking image and a tracking image generated to track a target based on distance information collected from a laser pulse emitted toward the target By separating the target region from the target region and tracking the target from the separated target region, the target can be accurately tracked.
또한, 본 발명은 표적을 추적하기 위해 생성된 추적 영상만을 이용하여 표적을 추적하는 경우, 표적 주변의 배경의 변화, 조명의 변화, 표적의 형상 변화 및 표적의 색상 변화 등에 의해 표적 추적이 실패되면 표적을 향하여 발사된 레이저 펄스로부터 수집된 거리 정보를 반영하여 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적함으로써, 표적을 정확하게 추적할 수 있다.In addition, in the case of tracking a target by using only a tracking image generated to track the target, the present invention, when target tracking fails due to a change in background around the target, a change in illumination, a change in shape of the target, and a change in color of the target, etc. By reflecting the distance information collected from the laser pulse fired toward the target, the target area can be accurately tracked by separating the target area and the area around the target in the tracking image and retracking the target from the separated target area.
이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 또는 이들 중 하나 이상이 조합에서 구현 가능하다. As described above, the functional operations described in the present specification and the embodiments related to the present subject matter are implemented in digital electronic circuits or computer software, firmware or hardware, or a combination of one or more of them, including the structures disclosed herein and their structural equivalents. It is possible.
본 명세서에서 기술하는 주제의 실시형태는 하나 이상이 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체 상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상이 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 또는 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 또는 이들 중 하나 이상이 조합일 수 있다.Embodiments of the subject matter described herein may include one or more computer program products, ie, one or more computer program instructions that are encoded on a tangible program medium for execution by a data processing device or to control its operation. It can be implemented as a module. The tangible program medium may be a propagated signal or a computer-readable medium. Propagated signals are artificially generated signals, such as, for example, machine-generated electrical, optical or electromagnetic signals generated to encode information for transmission to a suitable receiver device for execution by a computer. The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, a combination of materials affecting a machine-readable propagated signal, or a combination of one or more of them.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. A computer program (also known as a program, software, software application, script, or code) can be written in any form of a compiled or interpreted language or a programming language, including a priori or procedural language, and can be a standalone program or module, It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment.
컴퓨터 프로그램은 파일 장치의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 또는 다중의 상호 작용하는 파일(예컨대, 하나 이상이 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일) 내에, 또는 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상이 스크립트) 내에 저장될 수 있다. Computer programs do not necessarily correspond to files on file devices. A program can be in a single file provided to the requested program, or in multiple interactive files (eg, one or more files that store modules, subprograms or parts of code), or of files that hold other programs or data. It may be stored in some (eg, one or more scripts stored in a markup language document).
컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.Computer programs may be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.
부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다. Additionally, the logical flow and structural block diagrams described in this patent document describe corresponding actions and / or specific methods supported by corresponding functions and steps supported by the disclosed structural means, and corresponding It can also be used to build software structures and algorithms and their equivalents.
본 명세서에서 기술하는 프로세스와 논리 흐름은 수신 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.The processes and logic flows described herein can be performed by a programmable processor, one or more executing a computer program to perform functions by operating on received data and generating output.
컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 형태의 디지털 컴퓨터의 어떠한 하나 이상이 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 양자로부터 명령어와 데이터를 수신할 것이다. Processors suitable for the execution of a computer program include, for example, both general purpose and special purpose microprocessors and any one or more processors of any type of digital computer. Generally, the processor will receive instructions and data from read-only memory or random access memory or both.
컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상이 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기 광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상이 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 또는 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.A key element of a computer is one or more memory devices for storing instructions and data, and processors for performing instructions. In addition, the computer is generally such that one or more for storing data, such as a magnetic, magnetic optical disk or optical disk, is operable to receive data from, transfer data to, or perform both of those operations from a mass storage device. Combined or will include. However, the computer need not have such a device.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. The described description presents the best mode of the present invention, and provides examples for explaining the present invention and for those skilled in the art to make and use the present invention. This written specification is not intended to limit the invention to the specific terms presented.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.Therefore, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, alterations, and modifications to these examples without departing from the scope of the present invention. In short, in order to achieve the intended effect of the present invention, it is not necessary to separately include all the functional blocks shown in the drawings or to follow all the order shown in the drawings in the order shown, and even if not, any number of technical aspects of the present invention described in the claims Note that it can fall within the scope.
100 : 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치
110 : 추적 영상 생성부
120 : 레이저 펄스 송수신부
130 : 거리 정보 수집부
140 : 표적 추적부
145 : 표적 추적 설정부
150 : 표적 추적 결과 제공부100: a device for tracking a target based on tracking images and distance information
110: tracking image generator
120: laser pulse transmitting and receiving unit
130: street information collection unit
140: target tracking unit
145: target tracking setting unit
150: target tracking result providing unit
Claims (13)
표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신하는 레이저 펄스 송수신부;
수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 거리 정보 수집부; 및
생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 표적 추적부;
를 포함하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.A tracking image generator for generating a tracking image for tracking a target;
A laser pulse transmitting / receiving unit that fires a laser pulse toward the target and receives a laser pulse reflected and returned from the target area and the area around the target;
A distance information collection unit collecting distance information on a target area and a region around the target based on the received laser pulse; And
A target tracking unit that tracks a target based on the generated tracking image and the collected distance information, or retraces the target by reflecting the collected distance information only when the target tracking fails using only the tracking image;
Device for tracking the target based on the tracking image and distance information, characterized in that it comprises a.
상기 거리 정보 수집부는 레이저 펄스가 발사된 시점과 반사되어 수신된 시점에 따른 시간에 기초하여 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.According to claim 1,
The distance information collecting unit collects the distance information for the target area and the area around the target based on the time according to the time point at which the laser pulse is fired and the time point at which the laser pulse is received. Device to keep track of.
상기 표적 추적부는 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.According to claim 1,
The target tracking unit separates a target region and a region around the target from the tracking image based on the collected distance information, and tracks the target based on the tracking image and distance information, characterized in that the target is tracked from the separated target region. Device.
상기 표적 추적부는 추적 영상 내에서 표적을 탐지하고, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도를 비교하여 표적 추적의 성공 여부를 판단하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.According to claim 1,
The target tracking unit detects a target in a tracking image, and compares the similarity between information of the previously tracked target and information about the currently detected target to determine whether the target tracking is successful or not. A device to track targets based on.
상기 표적 추적부는 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하는 경우에 표적 추적이 성공한 것으로 판단하고, 전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하지 않는 경우 표적 추적이 실패한 것으로 판단하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.According to claim 4,
The target tracking unit determines that the target tracking is successful when the similarity between the information of the previously tracked target and the information on the currently detected target falls within a preset similarity range, and the target tracking information and the currently detected target are determined. A device for tracking a target based on the tracking image and distance information, characterized in that it is determined that the target tracking has failed when the similarity of information for the information does not fall within a preset similarity range.
상기 표적 추적부는 표적 추적이 실패한 것으로 판단되면, 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.According to claim 4,
The target tracking unit, if it is determined that the target tracking has failed, based on the collected distance information, the target image and the area surrounding the target are separated, and a tracking image characterized by re-tracking the target from the separated target region and A device that tracks a target based on distance information.
생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적한 결과, 추적 영상만을 이용하여 표적 추적이 성공한 경우에 대한 결과 및 추적 영상만을 이용하여 표적 추적이 실패한 경우에 수집된 거리 정보를 반영하여 표적을 재추적한 결과 중 적어도 어느 하나를 운용자에게 제공하는 표적 추적 결과 제공부를 더 포함하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 장치.According to claim 1,
As a result of tracking the target based on the generated tracking image and the collected distance information, the target reflects the collected distance information when the target tracking is failed using only the tracking image and the result for the case where the target tracking is successful using only the tracking image And a target tracking result providing unit that provides at least one of the retraced results to the operator.
레이저 펄스 송수신부에 의해, 표적을 향하여 레이저 펄스를 발사하여 표적 영역 및 표적 주변의 영역에서 반사되어 돌아오는 레이저 펄스를 수신하는 단계;
거리 정보 수집부에 의해, 수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 단계; 및
표적 추적부에 의해, 생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하거나, 추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계;
를 포함하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법.Generating a tracking image for tracking the target by the tracking image generator;
Receiving, by the laser pulse transmitting / receiving unit, a laser pulse that is reflected toward and returns from the target area and the area around the target by firing the laser pulse toward the target;
Collecting distance information on the target area and the area around the target based on the received laser pulse by the distance information collection unit; And
Tracking, by the target tracking unit, a target based on the generated tracking image and the collected distance information, or retracking the target by reflecting the collected distance information only when the target tracking fails using only the tracking image;
Method for tracking a target based on the tracking image and distance information, characterized in that it comprises a.
수신된 레이저 펄스를 토대로 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 단계는,
레이저 펄스가 발사된 시점과 반사되어 수신된 시점에 따른 시간에 기초하여 표적 영역 및 표적 주변의 영역에 대한 거리 정보를 수집하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법.The method of claim 8,
The step of collecting distance information on the target area and the area around the target based on the received laser pulse,
A method of tracking a target based on a tracking image and distance information, characterized by collecting distance information for a target area and a region around the target based on a time according to a time point at which the laser pulse is fired and a time point at which the laser pulse is received.
생성된 추적 영상 및 수집된 거리 정보를 토대로 표적을 추적하는 단계는,
표적 추적부는 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 추적하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법.The method of claim 9,
Tracking the target based on the generated tracking image and the collected distance information,
The target tracking unit separates a target region and a region around the target from the tracking image based on the collected distance information, and tracks the target based on the tracking image and distance information, which is characterized in tracking the target from the separated target region. .
추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계는,
추적 영상 내에서 표적을 탐지하고, 이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도를 비교하여 표적 추적의 성공 여부를 판단하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법.The method of claim 8,
Retrace the target by reflecting the collected distance information only when the target tracking fails using only the tracking image,
The target is based on the tracking image and distance information, which detects the target in the tracking image and compares the similarity between the previously tracked target information and the information on the currently detected target to determine whether the target tracking is successful or not. How to track it.
추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계에서,
이전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하는 경우에 표적 추적이 성공한 것으로 판단하고, 전에 추적한 표적의 정보와 현재 탐지한 표적에 대한 정보의 유사도가 기 설정된 유사범위에 속하지 않는 경우 표적 추적이 실패한 것으로 판단하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법.The method of claim 11,
In the step of re-tracking the target by reflecting the collected distance information only when the target tracking fails using only the tracking image,
When the similarity between the information of the previously tracked target and the information on the currently detected target falls within a predetermined similarity range, it is determined that the target tracking is successful, and the similarity between the information on the previously detected target and the information on the currently detected target. A method of tracking a target based on the tracking image and distance information, characterized in that it is determined that the target tracking has failed if it does not belong to a preset similarity range.
추적 영상만을 이용하여 표적 추적이 실패하는 경우에만 수집된 거리 정보를 반영하여 표적을 재추적하는 단계는,
표적 추적이 실패한 것으로 판단되면, 수집된 거리 정보를 토대로 추적 영상 내에서 표적 영역과 표적 주변의 영역을 분리하고, 분리된 표적 영역으로부터 표적을 재추적하는 것을 특징으로 하는 추적 영상 및 거리 정보를 기반으로 표적을 추적하는 방법.
The method of claim 11,
Retrace the target by reflecting the collected distance information only when the target tracking fails using only the tracking image,
If it is determined that the target tracking has failed, based on the collected tracking information and the distance information, characterized in that the separation of the target area and the area around the target in the tracking image based on the collected distance information, and re-tracking the target from the separated target area How to track targets.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180115254A KR20200035747A (en) | 2018-09-27 | 2018-09-27 | Apparatus and method for tracking a target based on tracking image and distance information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180115254A KR20200035747A (en) | 2018-09-27 | 2018-09-27 | Apparatus and method for tracking a target based on tracking image and distance information |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200035747A true KR20200035747A (en) | 2020-04-06 |
Family
ID=70282187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180115254A KR20200035747A (en) | 2018-09-27 | 2018-09-27 | Apparatus and method for tracking a target based on tracking image and distance information |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200035747A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220124525A (en) * | 2021-03-03 | 2022-09-14 | 엘아이지넥스원 주식회사 | Method and Apparatus for Recognizing for High Threat Targets |
-
2018
- 2018-09-27 KR KR1020180115254A patent/KR20200035747A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220124525A (en) * | 2021-03-03 | 2022-09-14 | 엘아이지넥스원 주식회사 | Method and Apparatus for Recognizing for High Threat Targets |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bhanu et al. | Image understanding research for automatic target recognition | |
WO2021002912A1 (en) | Interference mitigation for light detection and ranging | |
US7809496B2 (en) | Error control in a traffic management system | |
KR101984274B1 (en) | Apparatus for detecting target and identifying shape in surveillance scout and method thereof | |
US9383170B2 (en) | Laser-aided passive seeker | |
US8990002B1 (en) | Method and apparatus for determining the relative position of a target | |
JP2017010527A (en) | Method and apparatus for tracking targets | |
CN107024693A (en) | A kind of radar relevance imaging method of single-shot beam | |
KR20200023974A (en) | Method and apparatus for synchronization of rotating lidar and multiple cameras | |
WO2017085755A1 (en) | An advanced security system, an advanced security method and an advanced security program | |
KR20200035747A (en) | Apparatus and method for tracking a target based on tracking image and distance information | |
KR20190117933A (en) | Nonlinear array antenna radar and method thereof | |
KR20200107143A (en) | Method and apparatus for generating deceptive signal | |
CN112990170B (en) | Phased array radar target identification method and system, electronic device and medium | |
KR102560439B1 (en) | Apparatus and method for detecting and tracking the targets in the dual-band radar system | |
KR101978491B1 (en) | Apparatus and method for controling strike command using ir sensor and lrf sensor | |
KR20070016394A (en) | Method for detecting jamming for target tracking by using the detection zone data | |
KR102645655B1 (en) | Target distance measuring device and method based on image acquisition | |
KR102420585B1 (en) | Apparatus and method for determining point cloud information in consideration of the operating environment of a light detection and ranging system | |
KR20200084724A (en) | Method and Apparatus of Multi-Target Positioning for Multistatic PCL System | |
KR101928509B1 (en) | Method for identifying friend or foe based on response result and apparatus supporting the same | |
KR101821607B1 (en) | Apparatus for generating SAR image and ISAR image using multiple computer processing of ω-k algorithm | |
US20180165522A1 (en) | Target Object Recognition in Infrared Images | |
KR102630234B1 (en) | Apparatus and method for generating a range-doppler map using a radar signal reflected form a target in a rader system | |
KR102567772B1 (en) | Apparatus and method for removing target ambiguity in radar system using search beam of MPRF waveform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E601 | Decision to refuse application |