KR20180048048A - 3d tracking apparatus and method using stereo camera - Google Patents

3d tracking apparatus and method using stereo camera Download PDF

Info

Publication number
KR20180048048A
KR20180048048A KR1020160145125A KR20160145125A KR20180048048A KR 20180048048 A KR20180048048 A KR 20180048048A KR 1020160145125 A KR1020160145125 A KR 1020160145125A KR 20160145125 A KR20160145125 A KR 20160145125A KR 20180048048 A KR20180048048 A KR 20180048048A
Authority
KR
South Korea
Prior art keywords
coordinates
laser
trajectory
unit
stereo cameras
Prior art date
Application number
KR1020160145125A
Other languages
Korean (ko)
Other versions
KR101895125B1 (en
Inventor
박가영
박종일
오준호
이상화
이재하
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020160145125A priority Critical patent/KR101895125B1/en
Publication of KR20180048048A publication Critical patent/KR20180048048A/en
Application granted granted Critical
Publication of KR101895125B1 publication Critical patent/KR101895125B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28Special adaptation for recording picture point data, e.g. for profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

The present invention relates to an apparatus and method for tracking a flying object and three-dimensional coordinates and trajectories of the flying object by using a stereo camera. The apparatus for tracking three-dimensional trajectories of a flying object according to the present invention includes: an image collecting unit for collecting camera images photographed by two stereo cameras; and a coordinate measuring unit for calculating three-dimensional coordinates of the flying object by analyzing the camera images. The apparatus further includes: a laser module installed at opposite positions of the two stereo cameras; a laser sensor for detecting a point on which laser emitted from a laser module of another stereo camera is focused; and an alignment determination unit for determining whether or not the two stereo cameras are aligned through a comparison between position coordinates of the point on which the laser is focused and set reference coordinates.

Description

스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법{3D TRACKING APPARATUS AND METHOD USING STEREO CAMERA}TECHNICAL FIELD [0001] The present invention relates to a 3D trajectory tracking apparatus and method using a stereo camera,

본 발명은 스테레오 카메라를 이용하여 비행체 및 비행체의 3차원 좌표와 궤적을 추적하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for tracking three-dimensional coordinates and trajectories of a flying object and a flying object using a stereo camera.

최근 적외선(열상) 카메라의 발달로 군사 분야, 보안/감시분야에서 물체의 추적과 감시하는 기술이 활발히 연구되고 있다. 비행체의 정확한 거리측정과 3차원 좌표 및 궤도의 추적을 구성하기 위해서는 2대 이상의 스테레오 카메라가 필요하며, 수 km 의 원거리 물체의 3차원 좌표를 측정하기 위해서는 두 카메라 사이의 거리인 베이스라인을 수 m 이상으로 크게 설정하여야 한다. Recent developments in infrared (thermal) cameras have been actively exploring technologies for tracking and monitoring objects in military and security / surveillance applications. Two or more stereo cameras are required to construct accurate distance measurement and tracking of three-dimensional coordinates and trajectories. In order to measure three-dimensional coordinates of several kilometers of distant objects, the distance between two cameras, Or more.

기존의 스테레오 카메라 장치는 500m 이내에 있는 물체의 위치를 측정하는데 초점을 맞추다 보니, 베이스라인도 1m 이내이고, 스테레오 카메라의 캘리브레이션과 스테레오 조정(rectification)을 수행할 수 있는 캘리브레이션 상자나 바둑판을 이용하는 것이 가능하다. 그러나 원거리(수 km) 물체의 3차원 좌표를 측정하기 위해서는 원리적으로 베이스라인이 수십 m에 이를 정도로 매우 커야 하는데, 이 때, 캘리브레이션 상자나 바둑판이 두 카메라에 동시에 보이지 않는 문제가 발생하여 대응관계를 이용한 일반적인 캘리브레이션 방법이나 조정 알고리즘을 적용할 수 없다. 이처럼 스테레오 카메라의 캘리브레이션과 조정을 기존처럼 두 영상에서 취득된 대응되는 특징점의 관계로 구할 수 없는 환경이거나 돌발 상황으로 스테레오 카메라의 위치가 틀어진 경우에는 기존의 영상 처리 방법으로는 원거리 비행체의 3차원 좌표를 측정하는 것이 불가능하다.The conventional stereo camera device focuses on measuring the position of an object within 500m, so it is possible to use a calibration box or checkerboard that can perform stereo calibration and stereo rectification within 1m of the baseline. Do. However, in order to measure the three-dimensional coordinates of a long distance (several km), basically the baseline must be as large as several tens of meters. At this time, there is a problem that the calibration box or checkerboard is not visible to both cameras at the same time, Can not be applied to a general calibration method or an adjustment algorithm. In the case where the stereo camera is calibrated and adjusted in such a way that it can not be obtained by the relationship between the corresponding minutia points acquired from the two images as in the conventional case, or when the stereo camera is located in an unexpected situation, the conventional image processing method includes the three- Can not be measured.

도 1은 종래의 스테레오 카메라 캘리브레이션과 조정을 하는 결과를 보여주는데, 두 카메라에 동시에 대응되는 물체가 촬영되어야 하고, 서로 대응되는 특징점을 자동으로 구하여 카메라간의 기하학적인 관계를 구하게 된다. 베이스라인이 크고 두 카메라에 캘리브레이션을 수행할 물체가 동시에 보이지 않는 환경에서는 이러한 종래의 방법으로는 캘리브레이션을 수행할 수 없다.FIG. 1 shows the result of calibration with conventional stereo camera calibration. Objects corresponding to both cameras simultaneously must be photographed, and feature points corresponding to each other are automatically obtained to obtain a geometrical relationship between the cameras. In an environment where the baseline is large and objects to be calibrated on both cameras are not visible at the same time, this conventional method can not perform calibration.

한국등록특허 제1021015호(명칭: 3차원 사용자 인터페이스 방법)Korean Patent No. 1021015 (name: 3D user interface method)

본 발명은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대한 예측을 수행하며, 상기 비행체의 궤도 변화를 판정할 수 있는 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법을 제공하는데 그 목적이 있다.The present invention relates to a method and apparatus for performing calibration of a camera image photographed through a stereo camera which has been distant from a remote camera, performing prediction of a three-dimensional trajectory of the vehicle, And an object of the present invention is to provide an apparatus and method.

상기와 같은 과제를 해결하기 위한 본 발명의 비행체를 촬영하는 평행식 스트레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 장치는 상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고, 상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 설치된 레이저 모듈; 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하는 것을 특징으로 한다.In order to solve the above-mentioned problems, an apparatus for estimating a three-dimensional trajectory of the air vehicle using a camera image photographed through two stereo cameras, which are parallel stereo cameras for photographing the air vehicle of the present invention, An image collection unit for collecting camera images taken from the camera; And a coordinate measuring unit for calculating three-dimensional coordinates of the flying object by analyzing the camera images, wherein the laser module is disposed at a position opposite to the two stereo cameras; A laser sensing unit for sensing a point where a laser emitted from a laser module of another stereo camera is formed; And an alignment determination unit for determining whether or not the two stereo cameras are aligned through comparison between position coordinates of a point at which the laser is formed and set reference coordinates.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 교정값 산출부를 더 포함할 수 있다.In addition, the three-dimensional trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention may further include a correction unit that corrects the correction distance based on the position coordinates of the point where the laser is formed and the difference between the position coordinates and the reference coordinates, And a calibration value calculation unit for calculating a calibration angle.

또한, 좌표 측정부는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 상기 비행체의 3차원 좌표를 산출할 수 있다.Further, the coordinate measuring unit may calculate the three-dimensional coordinates of the flying object in consideration of the calibration distance and the correction angle when the position coordinates of the point where the laser is formed and the set reference coordinates are different.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 이동 궤적 예측부를 더 포함할 수 있다.In addition, the 3D trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention predicts a moving trajectory of the air vehicle by using three-dimensional coordinates of the air vehicle, And a motion locus predicting unit.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 t 시점의 실제 이동 궤적을 도출하는 실제 궤적 도출부; 및 상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 궤도 변환 판정부를 더 포함할 수 있다.Also, the 3D trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention includes: an actual trajectory derivation unit for deriving an actual trajectory at time t; And a trajectory conversion determination unit that determines whether or not the trajectory is converted by comparing the actual trajectory of movement at the time t and the predicted movement trajectory of the time point t predicted at the previous time.

또한, 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장될 수 있다.In addition, the reference coordinates may be stored in the storage unit differently depending on the distance between the two stereo cameras.

상기와 같은 과제를 해결하기 위한 비행체를 촬영하는 평행식 스트레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 방법은 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 단계를 포함하고, 레이저 감지부에 의해, 상기 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 단계; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계를 더 포함하는 것을 특징으로 한다.A method for estimating a three-dimensional trajectory of the air vehicle using a camera image photographed through two stereo cameras, which are parallel stereo cameras for photographing the air vehicle to solve the above problems, Collecting camera images; And calculating the three-dimensional coordinates of the flying object by analyzing the camera images, wherein a point of laser emission from the laser module installed to face the two stereo cameras is detected by the laser detecting unit step; And determining whether or not the two stereo cameras are aligned by comparing the position coordinates of the point where the laser is formed and the set reference coordinates.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method for tracking a three-dimensional trajectory using a stereo camera, the method comprising: calculating a distance between a position of a laser spot and a reference distance, And calculating a calibration angle.

또한, 비행체의 3차원 좌표를 산출하는 단계는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 이루어질 수 있다.Also, the step of calculating the three-dimensional coordinates of the flying object may be performed in consideration of the calibration distance and the correction angle when the position coordinates of the point where the laser is formed and the set reference coordinates are different.

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 상기 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 단계를 더 포함할 수 있다.The three-dimensional trajectory tracking method using a stereo camera according to an embodiment of the present invention predicts a trajectory of a moving object by using three-dimensional coordinates of the moving object, The method comprising the steps of:

또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 t 시점의 실제 이동 궤적을 도출하는 단계; 및 상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a 3D trajectory tracking method using a stereo camera, comprising: deriving an actual movement trajectory at a time t; And determining whether the trajectory is converted by comparing an actual trajectory of movement at the time t and an expected trajectory of the time point t predicted at a previous time point.

또한, 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장될 수 있다.In addition, the reference coordinates may be stored in the storage unit differently depending on the distance between the two stereo cameras.

본 발명의 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 따르면 레이저 모듈을 이용하여 두 카메라의 기하학적인 위치에 대한 상관관계를 기록하므로 스테레오 보정(calibration)과 스테레오 조정(rectification)이 어려운 환경이나 원거리 베이스라인을 갖는 스테레오 장치, 그리고 실험 시 돌발 상황으로 카메라가 틀어진 상황에서도 비행체의 3차원 좌표를 측정할 수 있게 된다. 또한 레이저 모듈장치의 상관관계를 이용하면, 스테레오 카메라의 위치를 쉽게 설치할 수 있는 장점이 있다.According to the apparatus and method for tracking a three-dimensional trajectory using a stereo camera according to the present invention, a correlation between geometrical positions of two cameras is recorded by using a laser module, so that an environment in which stereo calibration and rectification are difficult, It is possible to measure the three-dimensional coordinates of a flying object even when the camera is distorted due to an unexpected situation in a stereo device having a baseline and an experiment. In addition, using the correlation of the laser module device, there is an advantage that the position of the stereo camera can be easily installed.

본 발명의 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 따르면 스테레오 카메라를 이용하여 추정한 3차원 좌표에 대하여 x, y, z축에 대하여 각각 시간에 대하여 다항함수로 표현함으로써, 비행체의 예측 궤적을 쉽게 정의할 수 있으며, 물리역학의 운동방정식으로도 설명할 수 있다. 또한 예측 궤적과 실제로 측정된 궤적의 차이를 측정함으로써, 외부적인 요소에 의하여 비행체의 궤적이 변경되었는지를 판단할 수 있어서 DIRCM 기만 성능을 평가하는데도 효과적이다.According to the three-dimensional trajectory tracking apparatus and method using the stereo camera of the present invention, the three-dimensional coordinates estimated using the stereo camera are represented by polynomial functions with respect to the x, y, and z axes, respectively, Can be easily defined and can be explained by the kinetic equations of physics. Also, by measuring the difference between the predicted trajectory and the actually measured trajectory, it is possible to determine whether the trajectory of the aircraft has been changed by an external factor, which is also effective in evaluating the DIRCM deception performance.

도 1은 종래 기술에 따른 스테레오 카메라의 캘리브레이션 및 조정 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치에서 원거리로 떨어진 스테레오 카메라의 캘리브레이션 방법을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치에 대한 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치를 통해
도 7은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법에 대한 흐름도이다.
FIG. 1 is a conceptual diagram for explaining a method of calibrating and adjusting a stereo camera according to the related art.
FIG. 2 is a conceptual diagram for explaining a method of calibrating a stereo camera that has remotely distanced from a three-dimensional trajectory tracking apparatus according to an exemplary embodiment of the present invention.
3 is a block diagram of a 3D trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention.
FIGS. 4 to 6 illustrate a three-dimensional trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention.
7 is a flowchart illustrating a three-dimensional trajectory tracking method using a stereo camera according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 대하여 설명하도록 한다. 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대한 예측을 수행하며, 상기 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 먼저, 도 2를 참조로 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에서 캘리브레이션을 수행하는 방법에 대해 설명된다.Hereinafter, an apparatus and method for tracking a 3D trajectory using a stereo camera according to an embodiment of the present invention will be described. An apparatus and method for tracking a three-dimensional trajectory using a stereo camera according to an embodiment of the present invention performs calibration of a camera image photographed through a stereo camera that has remained distant from the camera, performs prediction of a three- And the change of the trajectory of the flying object is determined. First, referring to FIG. 2, a method for performing a calibration in a three-dimensional trajectory tracking apparatus and method using a stereo camera according to an embodiment of the present invention will be described.

도 2는 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치에서 원거리로 떨어진 스테레오 카메라의 캘리브레이션 방법을 설명하기 위한 개념도이다. 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 카메라 이미지의 캘리브레이션을 위해 각 스테레오 카메라(10, 20)에 레이저 모듈(13, 14)을 설치한 것을 특징으로 한다. 구체적으로, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 각 스테레오 카메라(10, 20)에 설치된 레이저 모듈(13, 14)을 통해 레이저를 방출하고, 레이저가 맺힌 지점의 위치 좌표를 근거로 카메라의 정렬 여부를 판단하는 것을 특징으로 한다. FIG. 2 is a conceptual diagram for explaining a method of calibrating a stereo camera that has remotely distanced from a three-dimensional trajectory tracking apparatus according to an exemplary embodiment of the present invention. The 3D trajectory tracking apparatus 100 according to an embodiment of the present invention includes laser modules 13 and 14 installed in each of the stereo cameras 10 and 20 for calibrating a camera image . Specifically, the 3D trajectory tracking apparatus 100 according to an embodiment of the present invention emits laser through the laser modules 13 and 14 installed in the respective stereo cameras 10 and 20, And determines whether the camera is aligned based on the coordinates.

즉, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 최적의 환경에서 미리 설정된 기준 좌표를 구비하되, 레이저가 맺힌 지점의 위치 좌표가 산출되면, 위치 좌표와 기준 좌표를 비교하는 과정을 거쳐 카메라의 정렬 여부를 확인할 수 있다. 이를 위해, 두 대의 스테레오 카메라에서 서로 마주 보는 방향으로 좌우 카메라에 3개 이상의 레이저 포인터를 각각 설치하고, 베이스라인 거리에 따라서 평행식 스테레오 위치 관계를 갖는 레이저 포인터의 도착 위치를 사전에 구함으로써 기준 좌표 및 기준 패턴을 미리 구비하는 것이 바람직하다. 이 때, 스테레오 카메라의 평행식 구조를 파악할 수 있는 물체를 활용하여 먼저 평행식 스테레오 카메라를 설치하고, 좌우 카메라에 고정된 레이저 포인터가 각각 반대편으로 가리키는 지점을 저장해 둔다. 여기서, 레이저 포인터는 3개 이상으로 좌우 카메라에 각각 고정되어 설치되는 것이 바람직하고, 레이저 포인터는 모두 동일 직선상에 놓이지 않도록 한다. That is, the 3D trajectory tracking apparatus 100 according to an exemplary embodiment of the present invention is provided with preset reference coordinates in an optimal environment, and when position coordinates of a point at which the laser is formed are calculated, position coordinate and reference coordinate are compared You can check the alignment of the camera through the process. To this end, three or more laser pointers are installed in the left and right cameras in the direction opposite to each other in the two stereo cameras, and the arrival position of the laser pointer having the parallel stereo positional relationship is determined in advance according to the base line distance, And a reference pattern in advance. In this case, a parallel stereoscopic camera is first installed using an object capable of recognizing the parallel structure of the stereo camera, and a point where the laser pointers fixed to the right and left cameras point to opposite sides is stored. Here, it is preferable that the laser pointers are fixed to the left and right cameras in three or more positions, and the laser pointers are not all placed on the same straight line.

미리 설정된 레이저 포인터들이 반대편 카메라에서 도달하는 위치 관계를 이용하여 기하학적으로 두 카메라가 평행식으로 배열되도록 설치할 수 있으며, 캘리브레이션 상자와 같은 특징점 대응관계를 이용하지 않아도 상술한 기준 좌표의 도출이 가능해진다. It is possible to arrange two cameras geometrically arranged in parallel by using the positional relationship that the predetermined laser pointers arrive from the opposite camera, and it is possible to derive the reference coordinates without using the feature point correspondence relationship such as the calibration box.

또한, 하나의 스테레오 카메라(10, 20)에 장착된 레이저 모듈은 측정 정확도를 높이기 위해 3개 이상의 레이저 포인터로 구성되는 것이 바람직하다. 여기서, 레이저 모듈이 3개 이상의 레이저 포인터로 구성될 경우, 상술한 좌표에 기반한 정렬 여부 판단뿐만 아니라, 레이저가 맺힌 지점을 꼭지점으로 하는 패턴을 도출할 수 있게 된다. 즉, 3개 이상의 레이저 포인터가 존재한다면, 카메라의 정렬 여부 판단은 좌표 값뿐만 아니라, 기준 패턴과 레이저가 맺힌 지점의 패턴 간 비교를 더 수행할 수 있게 되므로, 정렬 여부의 판단 정확도를 보다 높일 수 있다. 물론, 상술한 판단 기법 모두를 사용하는 것이 아닌 2개의 판단 기법 중 하나의 판단 기법만을 선택하는 것도 생각해볼 수 있다.In addition, it is preferable that the laser module mounted on one stereo camera 10 or 20 is composed of three or more laser pointers in order to increase the measurement accuracy. Here, when the laser module is composed of three or more laser pointers, it is possible to determine not only the alignment based on the above-described coordinates, but also a pattern having vertexes at which the laser is formed. That is, if there are three or more laser pointers, it is possible to perform not only the coordinate value but also the comparison between the reference pattern and the pattern at the laser spot, have. Of course, it is also conceivable to select only one of the two determination techniques, rather than using all of the above determination techniques.

또한, 레이저의 경우 그 거리에 따라 레이저가 맺히는 지점의 위치 또는 패턴이 변경될 수 있다. 이에 따라 위에서 설명된 방법으로 기준 데이터(즉, 기준 좌표 및 기준 패턴)를 생성할 때에는 2개의 스테레오 카메라들 간 거리 별로 구분하여 그 값이 저장되는 것이 바람직하다.Further, in the case of a laser, the position or the pattern of the point at which the laser is formed may vary depending on the distance. Accordingly, when generating the reference data (i.e., the reference coordinates and the reference pattern) by the above-described method, it is preferable that the values are stored by dividing the distances between the two stereo cameras.

이에 따라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)에 따르면, 정상 조건 상태에서 레이저의 기준 좌표 및 기준 패턴을 도출할 수 있고, 다른 장소에서 2개의 스테레오 카메라의 설치 시, 상기 기준 좌표 및 기준 패턴을 근거로 2개의 스테레오 카메라들의 오정렬 여부를 판단할 수 있다. 만일 스테레오 카메라들이 올바르게 정렬되지 않은 경우, 레이저가 맺힌 지점의 위치 또는 패턴을 근거로 조작자가 스테레오 카메라의 위치 또는 방향을 조정할 수 있고, 이에 따라 비행체의 정확한 좌표 측정이 가능해진다. Accordingly, according to the three-dimensional trajectory tracking apparatus 100 according to an embodiment of the present invention, it is possible to derive the reference coordinates and the reference pattern of the laser under the normal condition, and in the case of installing two stereo cameras at different places, It is possible to determine whether two stereo cameras are misaligned based on the reference coordinates and the reference pattern. If the stereo cameras are not properly aligned, the operator can adjust the position or orientation of the stereo camera based on the position or pattern of the point at which the laser is located, thereby enabling precise coordinate measurement of the aircraft.

뿐만 아니라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라들간 거리인 베이스라인이 큰 경우, 스테레오 보정(calibration)과 스테레오 조정(rectification)이 어려운 환경 또는, 실험 과정에서 돌발 상황으로 카메라가 틀어진 상황에서도, 비행체의 정확한 좌표 측정이 가능한 것을 특징으로 한다. 이는 아래에서 다시 설명되는 것처럼 위에서 설명된 레이저가 맺힌 지점의 좌표를 측정함으로써 이루어질 수 있다. 이제, 도 3을 참조로 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)에 대한 설명이 더 이루어진다.In addition, the three-dimensional trajectory tracking apparatus 100 according to an embodiment of the present invention can be applied to an environment in which stereo calibration and stereo rectification are difficult in an environment where the distance between the two stereo cameras is large, It is possible to measure precise coordinates of a flying object even when the camera is turned into an unexpected state during the process. This can be done by measuring the coordinates of the point at which the laser is described as described above, as will be described below again. Now, referring to FIG. 3, a description will be given of a three-dimensional trajectory tracking apparatus 100 according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(100)에 대한 블록도이다. 위에서 설명한 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(이하, 3차원 궤적 추적 장치)는 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대해 예측하며, 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개 이상의 레이저 감지부(111, 112), 2개 이상의 레이저 모듈(113, 114), 저장부(120), 이미지 수집부(130), 좌표 측정부(140), 실제 궤적 도출부(150), 이동 궤적 예측부(160), 궤도 변환 판정부(170), 정렬 여부 판단부(180) 및 교정값 산출부(190)를 포함하는 것을 특징으로 한다. 여기서, 이미지 수집부(130), 좌표 측정부(140), 실제 궤적 도출부(150), 이동 궤적 예측부(160), 궤도 변환 판정부(170), 정렬 여부 판단부(180) 및 교정값 산출부(190)는 본 발명의 이해를 돕기 위해 기능별로 각 구성을 구분한 것이고, 실제로는 하나의 처리 장치를 통해 구현되는 것도 가능하다.3 is a block diagram of a 3D trajectory tracking apparatus 100 using a stereo camera according to an embodiment of the present invention. As described above, a three-dimensional trajectory tracking apparatus (hereinafter, a three-dimensional trajectory tracing apparatus) using a stereo camera according to an embodiment of the present invention performs calibration of a camera image photographed through a stereo camera that has been separated from a long distance, Dimensional trajectory, and determines a trajectory change of the flying object. For this, a three-dimensional trajectory tracking apparatus 100 according to an embodiment of the present invention includes two or more laser detecting units 111 and 112, two or more laser modules 113 and 114, a storage unit 120, The trajectory prediction unit 160, the trajectory conversion determination unit 170, the alignment determination unit 180, and the calibration value calculation unit (not shown). The calibration unit 130, the coordinate measuring unit 140, the actual trajectory deriving unit 150, 190). Here, the image collecting unit 130, the coordinate measuring unit 140, the actual trajectory deriving unit 150, the movement trajectory predicting unit 160, the orbit conversion determining unit 170, the alignment determining unit 180, The calculator 190 may be implemented by a single processing unit in order to facilitate understanding of the present invention.

저장부(120)는 2개의 스테레오 카메라(10, 20)에서 촬영된 카메라 이미지가 저장된다. 또한, 저장부(120)에는 아래에서 설명되는 정렬 여부 판단에 이용되는 기준 좌표 및 기준 패턴에 대한 정보가 포함될 수 있다. 앞서 설명한 것처럼 기준 좌표 및 기준 패턴의 경우, 정상 환경에서, 각 스테레오 카메라에 의해 서로 방출된 레이저가 맺힌 지점의 좌표 및 패턴을 근거로 생성될 수 있고, 레이저의 특성 상 거리에 따라 그 맺히는 지점이 달라질 수 있기에, 거리 별로 상이하게 저장되는 것이 바람직하다.The storage unit 120 stores camera images taken by the two stereo cameras 10 and 20. In addition, the storage unit 120 may include information on reference coordinates and reference patterns used for determination of alignment, which will be described below. As described above, the reference coordinates and the reference pattern can be generated based on the coordinates and the pattern of the spot where the laser emitted by each stereo camera is formed in a normal environment. It is desirable to store them differently for different distances.

또한, 위에서 설명된 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(100)는 스테레오 카메라(10, 20)에 부착시킬 수 있는 레이저 모듈과, 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 포함할 수 있다. 즉, 2개의 스테레오 카메라(10, 20)에는 3개 이상의 레이저 포인터를 포함하는 레이저 모듈이 구비될 수 있다. 여기서, 제 1 스테레오 카메라(10)와 제 2 스테레오 카메라(20)는 평행식 스테레오 카메라인 것으로 가정되기에, 상기 레이저 모듈은 제 1 스테레오 카메라(10)와 제 2 스테레오 카메라(20)의 평행 여부를 판단하기 위해, 대향하는 지점에 포함되는 것이 바람직하다. 또한, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)는 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺힌 지점의 위치 좌표를 감지할 수 있다. In addition, as described above, the 3D trajectory tracking apparatus 100 using a stereo camera according to an embodiment of the present invention includes a laser module attachable to the stereo cameras 10 and 20, A first laser detecting unit 111 and a second laser detecting unit 112 for detecting a point where the laser emitted from the first laser detecting unit 111 is formed. That is, the two stereo cameras 10 and 20 may be provided with a laser module including three or more laser pointers. Here, since the first stereo camera 10 and the second stereo camera 20 are assumed to be parallel stereo cameras, the laser module is arranged so that the parallelism of the first stereo camera 10 and the second stereo camera 20 , It is preferable that they are included at opposite points. In addition, the first and second laser sensing units 111 and 112 may sense the position coordinates of the laser emitted from the laser module of another stereo camera.

정렬 여부 판단부(180)는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 기능을 한다. 앞서 설명한 것처럼, 저장부(120)에는 정상 환경에서 실험되어 저장된 기준 좌표 및 기준 패턴에 대한 정보가 저장된다. 또한, 기준 좌표 및 기준 패턴의 경우 2개의 스테레오 카메라(10, 20)들 간 거리에 따라 다른 값으로 저장되기에, 정렬 여부 판단부(180)는 현재 환경에서 2개의 스테레오 카메라 간 거리를 측정하고, 측정된 거리에 대응하는 기준 좌표와 기준 패턴 중 적어도 하나를 검색할 수 있다. The alignment determining unit 180 determines whether or not the two stereo cameras are aligned by comparing the position coordinates of the laser spot and the set reference coordinates. As described above, the storage unit 120 stores information on reference coordinates and reference patterns experimentally stored in a normal environment. In addition, the reference coordinates and the reference pattern are stored in different values according to the distances between the two stereo cameras 10 and 20. The alignment determination unit 180 measures the distances between the two stereo cameras in the current environment , It is possible to search at least one of the reference coordinates corresponding to the measured distance and the reference pattern.

그 후, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표를 비교함으로써 2개의 스테레오 카메라(10, 20)의 정렬 여부를 판단할 수 있다. 즉, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표가 동일한 경우, 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되었다고 판단할 수 있다. 반대로, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표가 상이하다면 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되지 않았다고 판단할 수 있다. Thereafter, the alignment determination unit 180 may determine whether the two stereo cameras 10 and 20 are aligned by comparing the searched reference coordinates with the coordinates of the laser spot. That is, the alignment determining unit 180 can determine that the two stereo cameras 10 and 20 are perfectly aligned when the searched reference coordinates are the same as the coordinates of the laser spot. On the other hand, if the coordinates of the reference point coincide with the coordinates of the searched reference coordinates, the alignment determining unit 180 may determine that the two stereo cameras 10 and 20 are not completely aligned.

여기서, 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되지 않은 경우, 사용자 또는 조작자에게 이를 알림으로써 2개의 스테레오 카메라(10, 20)의 정렬이 이루어지도록 유도할 수 있다. 물론, 2개의 스테레오 카메라(10, 20)의 하부에 바퀴와 같은 구동부를 설치하고, 구동부의 직진 및 회전 움직임을 제어함으로써 상술한 정렬 과정이 자동으로 이루어지도록 하는 방법도 생각해 볼 수 있다. Here, if the two stereo cameras 10 and 20 are not perfectly aligned, it is possible to induce the alignment of the two stereo cameras 10 and 20 by notifying the user or the operator thereof. Of course, a method may be considered in which a driving unit such as a wheel is provided under the two stereo cameras 10 and 20, and the above-described alignment process is automatically performed by controlling the linear movement and the rotational movement of the driving unit.

또한, 위의 설명에서 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 좌표의 위치를 기초로 정렬 여부를 판단하는 것으로 설명하였으나, 레이저에 의해 형성된 점들에 의해 형성되는 패턴을 근거로 상술한 정렬 여부 판단을 수행하는 것도 가능하다.In addition, in the above description, the 3D trajectory tracking apparatus 100 according to an embodiment of the present invention is described as determining whether or not to align on the basis of the position of the coordinates. However, It is also possible to perform the above-described alignment determination.

또한, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라들간 거리인 베이스라인이 큰 경우, 스테레오 보정과 스테레오 조정이 어려운 환경 또는, 실험 과정에서 돌발 상황으로 카메라가 틀어진 상황에서도, 비행체의 정확한 좌표 측정이 가능한 것을 특징으로 한다. 예를 들어, 2개의 스테레오 카메라(10, 20)가 평행하지 않은 경우, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 통해 감지된 좌표들의 위치는 기준 좌표와 상이할 것이고, 마찬가지로 감지된 패턴은 기준 패턴의 형상과 상이할 것이다. 다만, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 정상 상태일 때 생성된 기준 좌표와 기준 패턴을 미리 알고 있으므로, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 통해 감지된 좌표들 및 패턴을 분석하면, 정상 상태의 좌표 및 패턴 대비 얼마나 이격되어 있는지, 그리고 어느 각도로 회전 되었는지를 알 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라가 오정렬 상태더라도, 비행체의 정확한 추적이 가능하도록 아래와 같이 교정값 산출부(190)를 통한 교정값 산출을 수행한다.In addition, the 3D trajectory tracking apparatus 100 according to an embodiment of the present invention can be used in an environment where stereo correction and stereo adjustment are difficult in an environment where the distance between two stereo cameras is large, It is possible to accurately measure coordinates of a flying object even in a wrong situation. For example, when the two stereo cameras 10 and 20 are not parallel, the positions of the coordinates detected through the first laser sensing unit 111 and the second laser sensing unit 112 will be different from the reference coordinates , Likewise, the sensed pattern will be different from the shape of the reference pattern. However, since the 3D trajectory tracking apparatus 100 according to an embodiment of the present invention knows the reference coordinates and the reference pattern generated in the steady state in advance, the first laser sensing unit 111 and the second laser sensing unit 112), it is possible to know how far it is from the coordinates of the steady state and the pattern, and to what angle it is rotated. Accordingly, even if two stereo cameras are misaligned, the three-dimensional trajectory tracking device 100 according to an embodiment of the present invention can calculate the calibration value through the calibration value calculation unit 190 as follows .

교정값 산출부(190)는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 기능을 한다. 이렇게 산출된 교정 거리 및 교정 각도는 아래에서 설명되는 좌표 측정부(140)로 전달되어, 비행체의 정확한 좌표 측정에 이용될 수 있다.The calibration value calculating unit 190 calculates the calibration distance and the calibration angle based on the difference between the position coordinate of the point where the laser is formed and the coordinate difference between the position coordinate and the reference coordinate when the set reference coordinate is different. The calibration distance and correction angle thus calculated are transmitted to the coordinate measuring unit 140, which will be described below, and can be used for accurate coordinate measurement of the air vehicle.

즉, 이미지 수집부(130)는 저장부(120)에 저장된 카메라 이미지들을 수집하는 기능을 하고, 좌표 측정부(140)는 이미지 수집부(130)를 통해 수집된 카메라 이미지를 분석함으로써, 비행체의 3차원 좌표를 산출하는 기능을 한다. 여기서, 교정 거리 및 교정 패턴이 존재하는 경우, 즉, 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 좌표 측정부(140)는 교정 거리 및 교정 각도를 고려하여 비행체의 3차원 좌표를 산출할 수 있다. 또한, 좌표 측정부(140)를 통해 이루어지는 비행체의 위치 측정 방법은 통상적인 스테레오 정합 알고리즘과 위치 측정 방법을 통해 이루어지는 것도 가능하다.That is, the image collecting unit 130 collects the camera images stored in the storage unit 120, and the coordinate measuring unit 140 analyzes the camera images collected through the image collecting unit 130, And calculates the three-dimensional coordinates. Here, when the calibration distance and the calibration pattern exist, that is, when the position coordinates of the laser spot are different from the set reference coordinates, the coordinate measuring unit 140 measures the three- Can be calculated. In addition, the method of measuring the position of the flying object through the coordinate measuring unit 140 may be performed by a conventional stereo matching algorithm and a position measuring method.

실제 궤적 도출부(150)는 t 시점 즉, 현재 시점의 실제 이동 궤적을 도출하는 기능을 한다. 구체적으로, 실제 궤적 도출부(150)는 비행체가 발사된 후, 또는 비행체가 감지된 후 비행체의 3차원 좌표들을 근거로 현재 시점까지의 실제 이동 궤적을 도출하는 기능을 한다.The actual trajectory derivation unit 150 functions to derive the actual trajectory of movement at the time t, that is, the current time. Specifically, the actual trajectory derivation unit 150 derives the actual trajectory of the vehicle up to the present time based on the three-dimensional coordinates of the vehicle after the flight object is fired or after the flight object is detected.

이동 궤적 예측부(160)는 비행체의 3차원 좌표를 이용하여, 비행체의 이동 궤적을 예측함으로써, 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 기능을 한다. 즉, 이동 궤적 예측부(160)는 스테레오 카메라를 이용하여 비행체의 3차원 좌표가 측정되면, 좌표 측정부(140)를 통해 측정된 비행체의 3차원 좌표를 이용하여 향후 비행체의 이동 궤적을 예측하는 기능을 한다. 이 때, x, y, z축 각각의 위치에 대하여 시간에 대한 다항함수의 형태로 예측 좌표를 표현할 수 있다. 측정된 좌표에 대한 통상적인 회귀분석 방법을 통하여 3개의 축에 대한 위치를 1차 함수, 2차 함수 또는 그 이상의 고차 다항함수로 표현할 수 있다. 유도된 다항함수에 의하면, 현재 시점까지 측정된 3개 축의 좌표로부터 이후 시점의 좌표를 각각 예측할 수 있다. 즉, 비행체의 움직임 속도가 일정할 때는 1차 함수로 표현이 가능하고, 일정한 힘을 받아서 움직이는 경우에는 2차 함수로 위치변화를 표현할 수 있다. 또한 일정한 힘을 받는 상황에서 원운동을 할 경우에는 4차 함수로 표현하는 것이 가능하다. The movement locus predicting unit 160 predicts the movement locus of the airplane using the three-dimensional coordinates of the airplane, thereby to derive the expected locus of movement after the current point of time of the airplane. That is, when the three-dimensional coordinates of the air vehicle are measured using the stereo camera, the movement trajectory predicting unit 160 predicts the moving trajectory of the air vehicle in the future using the three-dimensional coordinates of the air vehicle measured through the coordinate measuring unit 140 Function. At this time, the predicted coordinates can be expressed in the form of a polynomial function with respect to the positions of the x, y, and z axes. The position of the three axes can be expressed as a linear function, a quadratic function, or a higher order polynomial function through a conventional regression analysis method for measured coordinates. According to the derived polynomial function, the coordinates at the subsequent point can be respectively predicted from the coordinates of the three axes measured up to the present point in time. In other words, when the moving speed of the flying object is constant, it can be represented by a linear function, and when moving by a constant force, the positional change can be represented by a quadratic function. It is also possible to express it as a quadratic function when circular motion is performed under a constant force.

궤도 변환 판정부(170)는 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 기능을 한다. 측정된 비행체의 3차원 좌표가 다항함수로 예측된 3차원 좌표와 차이가 큰 경우에는 물체의 움직임 방향이 외부적인 요인에 의하여 변경된 것으로 판단할 수 있는데, 이러한 예측 궤적과 측정 궤적 사이의 거리차이를 측정함으로써, DIRCM의 기만 성능을 평가할 수 있다. 즉, DIRCM에 의하여 기만되기 이전의 비행체의 3차원 궤도를 측정하고, 이로부터 얻은 예측 함수에 의하여 예측된 비행체의 3차원 궤도와 DIRCM에 의하여 기만된 이후 측정된 비행체의 실제 3차원 궤적 사이의 차이를 비교함으로써, 기만성능을 평가하고 측정할 수 있다. 이 때, 궤적간의 차이는 통상적인 3차원 벡터 거리와 방향의 차이로 측정할 수 있으며, 예측 궤적의 함수와 측정된 궤적좌표의 차이를 누적하여 DIRCM 기만 여부를 판단할 수 있다. The trajectory conversion determination unit 170 determines whether or not the trajectory is converted by comparing the actual trajectory at time t with the predicted trajectory at time t predicted at the previous time. If the measured three-dimensional coordinates are different from the three-dimensional coordinates predicted by the polynomial function, it can be judged that the direction of movement of the object is changed by an external factor. The difference in distance between the predicted trajectory and the measured trajectory By measuring, the deceptive performance of DIRCM can be evaluated. In other words, the 3D trajectory of the aircraft before deceiving by the DIRCM is measured, and the difference between the actual 3D trajectory of the aircraft measured after the deceiving by the DIRCM and the 3D trajectory of the predicted flight by the predictive function obtained from the 3D trajectory , The degenerative performance can be evaluated and measured. In this case, the difference between the trajectories can be measured by the difference between the normal three-dimensional vector distance and the direction, and the difference between the function of the predicted trajectory and the measured trajectory coordinates can be accumulated to determine whether the DIRCM is deceptive.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치를 통해 측정된 3개의 비행체에 대한 측정 결과의 예시를 나타낸다. 구체적으로, 도 4 내지 도 6은 비행체에 대한 3차원 궤적 측정 실험에서 측정된 3차원 각 좌표(x, y, z)를 시간에 대한 2차 함수로 표현한 실시 예를 나타내고, 본 예시에서 3개의 비행체에 대한 측정 결과로서 점은 실제로 측정된 좌표, 점선 곡선을 2차 함수로 표현된 궤적으로 가로축인 시간이 2초 이후부터는 예측 궤적을 나타낸다. 또한, 도 4는 좌우(x축)에 대한 그래프, 도 5는 높이(y축)에 대한 그래프, 그리고 도 6은 거리(z축)에 대한 그래프를 각각 나타낸다.FIGS. 4 to 6 illustrate examples of measurement results of three flight objects measured through a three-dimensional trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention. 4 to 6 show an embodiment in which the three-dimensional coordinates (x, y, z) measured in the three-dimensional trajectory measurement experiment for the air vehicle are expressed by a quadratic function with respect to time. In this example, three As a result of the measurement on the flying object, the point represents the predicted trajectory of the measured coordinates and the dotted line curve from the trajectory represented by the quadratic function to the trajectory after 2 seconds. 4 is a graph for left and right (x-axis), Fig. 5 is a graph for height (y-axis), and Fig. 6 is a graph for distance (z-axis).

도 7은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법에 대한 흐름도이다. 위에서 설명한 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법(이하, 3차원 궤적 추적 방법)은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대해 예측하며, 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 이제, 도 7을 참조로 본 발명의 일 실시예에 따른 3차원 궤적 추적 방법에 대한 설명이 이루어지고, 아래에서는 위에서 언급된 부분과 중복되는 사항은 생략하여 그 설명이 이루어진다.7 is a flowchart illustrating a three-dimensional trajectory tracking method using a stereo camera according to an embodiment of the present invention. As described above, a three-dimensional trajectory tracking method using a stereo camera (hereinafter, a three-dimensional trajectory tracking method) according to an embodiment of the present invention performs calibration of a camera image photographed through a stereo camera that has been separated from a long distance, Dimensional trajectory, and determines a trajectory change of the flying object. Now, referring to FIG. 7, a three-dimensional trajectory tracking method according to an exemplary embodiment of the present invention will be described. In the following, description overlapping with those described above will be omitted.

S110 단계는 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈을 통해 레이저를 방출하는 단계이고, S120 단계는 레이저 감지부에 의해, 레이저가 맺히는 지점을 감지하는 단계이다. Step S110 is a step of emitting a laser through a laser module provided so as to face each of the two stereo cameras, and step S120 is a step of detecting a point where the laser is formed by the laser sensing unit.

S130 단계는 정렬 여부 판단부에 의해 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계이다. 앞서 설명한 것처럼, 본 발명은 저장부에 미리 저장된 기준 데이터 즉, 기준 좌표와 기준 패턴 중 적어도 하나를 근거로 카메라의 정렬 여부를 판단하는 것을 특징으로 한다. 여기서 2개의 스테레오 카메라들이 올바르게 정렬된 상태라면, 레이저가 맺힌 지점의 위치 좌표와 기준 좌표는 동일할 것이다. 마찬가지로, 2개의 스테레오 카메라들이 올바르게 정렬된 상태라면, 레이저가 맺힌 지점들을 근거로 생성된 패턴과 기준 패턴은 동일할 것이다. 반대로, 2개의 스테레오 카메라들이 올바르게 정렬되지 않았다면, 상기 지점의 위치 좌표와 기준 좌표는 상이할 것이고, 지점들을 연결한 패턴과 기준 좌표 역시 상이할 것이다.In step S130, it is determined whether or not the two stereo cameras are aligned by comparing the position coordinates of the laser spot by the alignment determination unit and the set reference coordinates. As described above, the present invention is characterized in that whether or not the camera is aligned is determined based on at least one of reference data stored in advance in a storage unit, that is, reference coordinates and a reference pattern. If the two stereo cameras are correctly aligned, the position and reference coordinates of the point where the laser is formed will be the same. Likewise, if the two stereo cameras are correctly aligned, the generated pattern and the reference pattern will be the same based on the locations of the laser. Conversely, if the two stereo cameras are not aligned correctly, the position coordinates of the points will be different from the reference coordinates, and the pattern connecting the points and the reference coordinates will also be different.

여기서, 2개의 스테레오 카메라들이 올바르게 정렬되지 않았을 때 별도의 처리 없이 그대로 비행체의 좌표 측정을 수행하면, 좌표 측정 정확도가 떨어질 수 밖에 없으므로, 본 발명의 일 실시예에 따른 3차원 궤적 추적 방법은 사용자로부터 2개의 스테레오 카메라들의 오정렬 상태를 알림으로써 정렬을 수행하도록 유도하거나, 아래에서 설명되는 바와 같이 교정값을 도출하여 캘리브레이션을 수행하는 것도 가능하다. 물론, 각 스테레오 카메라에 스테레오 카메라의 위치 및 각도 변경 수단이 구비된 경우, 스테레오 카메라의 위치 및 각도를 변경함으로써 정렬을 수행하는 것도 생각해볼 수 있다. 아래에서는, 2개의 카메라 이미지들이 오정렬 상태일 때, 캘리브레이션을 수행하는 방법을 중심으로 그 설명이 이루어진다.In this case, when two stereo cameras are not properly aligned, coordinate measurement of a flying object is performed without any additional processing. Therefore, the accuracy of coordinate measurement is inevitably lowered. Therefore, a three- dimensional trajectory tracking method according to an embodiment of the present invention includes: It is also possible to induce the alignment to be performed by notifying the misalignment state of the two stereo cameras, or to perform the calibration by deriving the calibration value as described below. Of course, in the case where each stereo camera is provided with means for changing the position and angle of the stereo camera, it is also conceivable to perform alignment by changing the position and angle of the stereo camera. Below is a description of how to perform calibration when two camera images are misaligned.

S150 단계는 교정값 산출부에 의해, 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계이다. 이에 대한 설명은 위에서 상세히 언급하였으므로, 중복되는 설명은 생략한다.Step S150 is a step of calculating the calibration distance and the calibration angle based on the difference between the position coordinates of the point where the laser is formed and the coordinate difference between the position coordinates and the reference coordinates when the set reference coordinates are different by the calibration value calculation unit. The description thereof has been given above in detail, so that redundant description is omitted.

S140 단계는 이미지 수집부에 의해, 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계이고, S160 단계는 좌표 측정부에 의해, 카메라 이미지들을 분석함으로써, 비행체의 3차원 좌표를 산출하는 단계이다. 앞서 언급한 것처럼, 2개의 스테레오 카메라들 간 정렬이 이루어지지 않은 경우 즉, 오정렬 상태인 경우 S160 단계는 아래에서 설명되는 비행체의 3차원 좌표의 측정 정확도를 높이기 위해 S150 단계를 통해 산출된 교정값 즉, 교정 각도 및 교정 거리를 고려함으로써 이루어질 수 있다.Step S140 is a step of collecting camera images photographed from two stereo cameras by the image collecting unit, and step S160 is a step of calculating three-dimensional coordinates of the flying object by analyzing camera images by the coordinate measuring unit . If the two stereo cameras are not aligned, that is, if the two stereo cameras are misaligned, step S160 is performed to increase the measurement accuracy of the three-dimensional coordinates of the vehicle, which will be described below, , The correction angle and the calibration distance.

S160 단계는 실제 궤적 도출부에 의해, t 시점의 실제 이동 궤적을 도출하는 단계이고, S170 단계는 이동 궤적 예측부에 의해, 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 단계이다.In step S160, the actual trajectory derivation unit derives the actual trajectory at time t. In step S170, the movement trajectory prediction unit predicts the trajectory of the flight by using the three-dimensional coordinates of the flight, It is a step of deriving a predicted movement trajectory after the present time of the air vehicle.

S180 단계는 궤도 변환 판정부에 의해, t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 단계이다. S180 단계의 판단 결과 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적이 동일하거나, 궤적간 차이가 임계 궤적 차이 미만이라면, 제어는 S190 단계로 전달되어 정상 상태인 것으로 판정할 수 있다. 반대로, S180 단계의 판단 결과 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적간 차이가 임계 궤적 차이 이상인 경우, 제어는 S195 단계로 전달되어 외부 요인이 존재하는 것으로 판단할 수 있다.Step S180 is a step of determining whether the trajectory is converted by comparing the actual trajectory of movement at the time t and the predicted movement trajectory of the time point t predicted at the previous time by the trajectory conversion judgment unit. If it is determined in step S180 that the actual movement trajectory at time t is the same as the expected movement trajectory at time t predicted at the previous time, or if the difference between trajectories is less than the critical trajectory difference, control is passed to step S190 to determine that the vehicle is in a normal state . On the contrary, if it is determined in step S180 that the difference between the actual trajectory at time t and the predicted movement trajectory at time t predicted at the previous time is greater than or equal to the threshold trajectory difference, control is passed to step S195 to determine that an external factor exists have.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100 : 스테레오 카메라를 이용한 3차원 궤적 추적 장치
111 : 제 1 레이저 감지부 112 : 제 2 레이저 감지부
113 : 제 1 레이저 모듈 114 : 제 2 레이저 모듈
120 : 저장부 130 : 이미지 수집부
140 : 좌표 측정부 150 : 실제 궤적 도출부
160 : 이동 궤적 예측부 170 : 궤도 변환 판정부
180 : 정렬 여부 판단부 190 : 교정값 산출부
100: 3D Trajectory Tracking Device Using Stereo Camera
111: first laser sensing unit 112: second laser sensing unit
113: first laser module 114: second laser module
120: storage unit 130: image collecting unit
140: coordinate measuring unit 150: actual trajectory deriving unit
160: Moving locus predicting unit 170: Orbit conversion determining unit
180: alignment determination unit 190: calibration value calculation unit

Claims (7)

비행체를 촬영하는 평행식 스트레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 장치로서,
상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및
상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고,
상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 설치된 레이저 모듈;
다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및
상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
An apparatus for estimating a three-dimensional trajectory of a flying body using a camera image photographed through two stereo cameras, which are parallel stereo cameras for photographing a flight body,
An image collecting unit for collecting camera images photographed from the two stereo cameras; And
And a coordinate measuring unit for calculating three-dimensional coordinates of the airplane by analyzing the camera images,
A laser module installed at positions opposite to each other of the two stereo cameras;
A laser sensing unit for sensing a point where a laser emitted from a laser module of another stereo camera is formed; And
Further comprising an alignment determination unit for determining whether the two stereo cameras are aligned through comparison between a position coordinate of a point at which the laser is formed and a set reference coordinate.
제1항에 있어서,
상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 교정값 산출부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
The method according to claim 1,
Further comprising a calibration value calculating unit for calculating a calibration distance and a calibration angle on the basis of a difference between the coordinates of the position where the laser is formed and the coordinate of the coordinates between the position coordinates and the reference coordinates when the reference coordinates are different from each other, 3D Trajectory Tracking System Using.
제2항에 있어서,
상기 좌표 측정부는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 상기 비행체의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 궤적 추적 장치.
3. The method of claim 2,
Wherein the coordinate measuring unit calculates the three-dimensional coordinates of the flying object in consideration of the calibration distance and the calibration angle when the position coordinates of the point where the laser is formed and the set reference coordinates are different from each other.
제1항에 있어서,
상기 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 이동 궤적 예측부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
The method according to claim 1,
Further comprising a moving locus predicting unit for predicting a moving locus of the airplane using the three-dimensional coordinates of the airplane so as to derive an expected locating locus after the current time point of the airplane, Tracking device.
제4항에 있어서,
t 시점의 실제 이동 궤적을 도출하는 실제 궤적 도출부; 및
상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 궤도 변환 판정부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
5. The method of claim 4,
an actual trajectory deriving unit for deriving an actual trajectory of movement at time t; And
Further comprising a trajectory conversion determining unit for determining whether or not the trajectory is converted by comparing an actual trajectory of movement at the time t and an expected trajectory of the time point t predicted at a previous time point.
제1항에 있어서,
상기 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장된 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.
The method according to claim 1,
Wherein the reference coordinates are stored in the storage unit differently according to distances between the two stereo cameras.
비행체를 촬영하는 평행식 스트레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 방법으로서,
상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계; 및
상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 단계를 포함하고,
레이저 감지부에 의해, 상기 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 단계; 및
상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 방법.
A method for estimating a three-dimensional trajectory of a flying object using a camera image photographed through two stereo cameras, which are parallel stereo cameras,
Collecting photographed camera images from the two stereo cameras; And
Dimensional coordinates of the air vehicle by analyzing the camera images,
Sensing a point at which a laser emitted from a laser module installed opposite to the two stereo cameras converges by the laser sensing unit; And
Further comprising the step of determining whether the two stereo cameras are aligned through comparison between a position coordinate of a point where the laser is formed and a set reference coordinate.
KR1020160145125A 2016-11-02 2016-11-02 3d tracking apparatus and method using stereo camera KR101895125B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160145125A KR101895125B1 (en) 2016-11-02 2016-11-02 3d tracking apparatus and method using stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145125A KR101895125B1 (en) 2016-11-02 2016-11-02 3d tracking apparatus and method using stereo camera

Publications (2)

Publication Number Publication Date
KR20180048048A true KR20180048048A (en) 2018-05-10
KR101895125B1 KR101895125B1 (en) 2018-09-04

Family

ID=62185223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145125A KR101895125B1 (en) 2016-11-02 2016-11-02 3d tracking apparatus and method using stereo camera

Country Status (1)

Country Link
KR (1) KR101895125B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470409A (en) * 2021-07-20 2021-10-01 常州市规划设计院 Merging ramp alternate-passing vehicle guiding system and method
US11176708B2 (en) * 2019-11-21 2021-11-16 Ifm Electronic Gmbh Camera and method for checking an alignment of such a camera
CN114822042A (en) * 2022-06-28 2022-07-29 深圳市华耀商品检验有限公司 Information security test management system and method for vehicle-mounted terminal detection
KR20220170276A (en) * 2021-06-22 2022-12-29 포항공과대학교 산학협력단 Appratus and methods for optical detection and analysis of particle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266155A (en) * 2008-04-30 2009-11-12 Toshiba Corp Apparatus and method for mobile object tracking
JP2010161633A (en) * 2009-01-08 2010-07-22 Tokyo Electric Power Co Inc:The Device and method for horizontal setting of a plurality of cameras and stereoscopic photographing device
KR101021015B1 (en) 2009-03-27 2011-03-09 호서대학교 산학협력단 Three dimension user interface method
KR101619672B1 (en) * 2014-12-15 2016-05-10 현대자동차주식회사 Method for Tracking Pedestrians based on Binarization and Apparatus thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266155A (en) * 2008-04-30 2009-11-12 Toshiba Corp Apparatus and method for mobile object tracking
JP2010161633A (en) * 2009-01-08 2010-07-22 Tokyo Electric Power Co Inc:The Device and method for horizontal setting of a plurality of cameras and stereoscopic photographing device
KR101021015B1 (en) 2009-03-27 2011-03-09 호서대학교 산학협력단 Three dimension user interface method
KR101619672B1 (en) * 2014-12-15 2016-05-10 현대자동차주식회사 Method for Tracking Pedestrians based on Binarization and Apparatus thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176708B2 (en) * 2019-11-21 2021-11-16 Ifm Electronic Gmbh Camera and method for checking an alignment of such a camera
KR20220170276A (en) * 2021-06-22 2022-12-29 포항공과대학교 산학협력단 Appratus and methods for optical detection and analysis of particle
CN113470409A (en) * 2021-07-20 2021-10-01 常州市规划设计院 Merging ramp alternate-passing vehicle guiding system and method
CN114822042A (en) * 2022-06-28 2022-07-29 深圳市华耀商品检验有限公司 Information security test management system and method for vehicle-mounted terminal detection
CN114822042B (en) * 2022-06-28 2022-09-02 深圳市华耀商品检验有限公司 Information security test management system and method for vehicle-mounted terminal detection

Also Published As

Publication number Publication date
KR101895125B1 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
KR101895125B1 (en) 3d tracking apparatus and method using stereo camera
CN110573830B (en) Calibration method of laser sensor
EP2733457B1 (en) Position and orientation calibration method and apparatus
US8427472B2 (en) Multidimensional evidence grids and system and methods for applying same
US10502557B2 (en) Method for the three dimensional measurement of a moving objects during a known movement
JP3833786B2 (en) 3D self-position recognition device for moving objects
CN107710094B (en) Online calibration check during autonomous vehicle operation
JP5586967B2 (en) Robot and robot system
CN105424006A (en) Unmanned aerial vehicle hovering precision measurement method based on binocular vision
CN104677340A (en) Point character based monocular vision pose measurement method
US20170287169A1 (en) Extrinsic calibration method for cameras of an on-board system for formation of stereo images
WO2008091714A1 (en) Method and apparatus for localizing and mapping the position of a set of points on a digital model
KR102314092B1 (en) Calibration apparatus and the method for robot
KR20170027767A (en) Device for detection of obstacles in a horizontal plane and detection method implementing such a device
EP3399327A1 (en) Pose estimation using radio frequency identification (rfid) tags
CN103635777B (en) For the structure measurement unit at the edge and corner of following the trail of, measure and mark adjacently situated surfaces
KR101815938B1 (en) Method and apparatus for estimating 3D position and orientation by means of sensor fusion
CN111796667A (en) Distortion correction for tracking objects in a magnetic field
CN107864375A (en) Imaging device with alignment analysis
US20160232654A1 (en) Information processing apparatus, control method thereof, and computer readable storage medium
US9341703B2 (en) System and method for identifying a component
CN108459595A (en) A kind of method in mobile electronic device and the mobile electronic device
JP2013242186A (en) On-vehicle measurement system
US8717579B2 (en) Distance measuring device using a method of spanning separately targeted endpoints
US10775881B1 (en) High assurance head tracker monitoring and calibration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant