KR20180048048A - 3d tracking apparatus and method using stereo camera - Google Patents
3d tracking apparatus and method using stereo camera Download PDFInfo
- Publication number
- KR20180048048A KR20180048048A KR1020160145125A KR20160145125A KR20180048048A KR 20180048048 A KR20180048048 A KR 20180048048A KR 1020160145125 A KR1020160145125 A KR 1020160145125A KR 20160145125 A KR20160145125 A KR 20160145125A KR 20180048048 A KR20180048048 A KR 20180048048A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- laser
- trajectory
- unit
- stereo cameras
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H04N5/2258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
Description
본 발명은 스테레오 카메라를 이용하여 비행체 및 비행체의 3차원 좌표와 궤적을 추적하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for tracking three-dimensional coordinates and trajectories of a flying object and a flying object using a stereo camera.
최근 적외선(열상) 카메라의 발달로 군사 분야, 보안/감시분야에서 물체의 추적과 감시하는 기술이 활발히 연구되고 있다. 비행체의 정확한 거리측정과 3차원 좌표 및 궤도의 추적을 구성하기 위해서는 2대 이상의 스테레오 카메라가 필요하며, 수 km 의 원거리 물체의 3차원 좌표를 측정하기 위해서는 두 카메라 사이의 거리인 베이스라인을 수 m 이상으로 크게 설정하여야 한다. Recent developments in infrared (thermal) cameras have been actively exploring technologies for tracking and monitoring objects in military and security / surveillance applications. Two or more stereo cameras are required to construct accurate distance measurement and tracking of three-dimensional coordinates and trajectories. In order to measure three-dimensional coordinates of several kilometers of distant objects, the distance between two cameras, Or more.
기존의 스테레오 카메라 장치는 500m 이내에 있는 물체의 위치를 측정하는데 초점을 맞추다 보니, 베이스라인도 1m 이내이고, 스테레오 카메라의 캘리브레이션과 스테레오 조정(rectification)을 수행할 수 있는 캘리브레이션 상자나 바둑판을 이용하는 것이 가능하다. 그러나 원거리(수 km) 물체의 3차원 좌표를 측정하기 위해서는 원리적으로 베이스라인이 수십 m에 이를 정도로 매우 커야 하는데, 이 때, 캘리브레이션 상자나 바둑판이 두 카메라에 동시에 보이지 않는 문제가 발생하여 대응관계를 이용한 일반적인 캘리브레이션 방법이나 조정 알고리즘을 적용할 수 없다. 이처럼 스테레오 카메라의 캘리브레이션과 조정을 기존처럼 두 영상에서 취득된 대응되는 특징점의 관계로 구할 수 없는 환경이거나 돌발 상황으로 스테레오 카메라의 위치가 틀어진 경우에는 기존의 영상 처리 방법으로는 원거리 비행체의 3차원 좌표를 측정하는 것이 불가능하다.The conventional stereo camera device focuses on measuring the position of an object within 500m, so it is possible to use a calibration box or checkerboard that can perform stereo calibration and stereo rectification within 1m of the baseline. Do. However, in order to measure the three-dimensional coordinates of a long distance (several km), basically the baseline must be as large as several tens of meters. At this time, there is a problem that the calibration box or checkerboard is not visible to both cameras at the same time, Can not be applied to a general calibration method or an adjustment algorithm. In the case where the stereo camera is calibrated and adjusted in such a way that it can not be obtained by the relationship between the corresponding minutia points acquired from the two images as in the conventional case, or when the stereo camera is located in an unexpected situation, the conventional image processing method includes the three- Can not be measured.
도 1은 종래의 스테레오 카메라 캘리브레이션과 조정을 하는 결과를 보여주는데, 두 카메라에 동시에 대응되는 물체가 촬영되어야 하고, 서로 대응되는 특징점을 자동으로 구하여 카메라간의 기하학적인 관계를 구하게 된다. 베이스라인이 크고 두 카메라에 캘리브레이션을 수행할 물체가 동시에 보이지 않는 환경에서는 이러한 종래의 방법으로는 캘리브레이션을 수행할 수 없다.FIG. 1 shows the result of calibration with conventional stereo camera calibration. Objects corresponding to both cameras simultaneously must be photographed, and feature points corresponding to each other are automatically obtained to obtain a geometrical relationship between the cameras. In an environment where the baseline is large and objects to be calibrated on both cameras are not visible at the same time, this conventional method can not perform calibration.
본 발명은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대한 예측을 수행하며, 상기 비행체의 궤도 변화를 판정할 수 있는 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법을 제공하는데 그 목적이 있다.The present invention relates to a method and apparatus for performing calibration of a camera image photographed through a stereo camera which has been distant from a remote camera, performing prediction of a three-dimensional trajectory of the vehicle, And an object of the present invention is to provide an apparatus and method.
상기와 같은 과제를 해결하기 위한 본 발명의 비행체를 촬영하는 평행식 스트레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 장치는 상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고, 상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 설치된 레이저 모듈; 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하는 것을 특징으로 한다.In order to solve the above-mentioned problems, an apparatus for estimating a three-dimensional trajectory of the air vehicle using a camera image photographed through two stereo cameras, which are parallel stereo cameras for photographing the air vehicle of the present invention, An image collection unit for collecting camera images taken from the camera; And a coordinate measuring unit for calculating three-dimensional coordinates of the flying object by analyzing the camera images, wherein the laser module is disposed at a position opposite to the two stereo cameras; A laser sensing unit for sensing a point where a laser emitted from a laser module of another stereo camera is formed; And an alignment determination unit for determining whether or not the two stereo cameras are aligned through comparison between position coordinates of a point at which the laser is formed and set reference coordinates.
또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 교정값 산출부를 더 포함할 수 있다.In addition, the three-dimensional trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention may further include a correction unit that corrects the correction distance based on the position coordinates of the point where the laser is formed and the difference between the position coordinates and the reference coordinates, And a calibration value calculation unit for calculating a calibration angle.
또한, 좌표 측정부는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 상기 비행체의 3차원 좌표를 산출할 수 있다.Further, the coordinate measuring unit may calculate the three-dimensional coordinates of the flying object in consideration of the calibration distance and the correction angle when the position coordinates of the point where the laser is formed and the set reference coordinates are different.
또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 이동 궤적 예측부를 더 포함할 수 있다.In addition, the 3D trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention predicts a moving trajectory of the air vehicle by using three-dimensional coordinates of the air vehicle, And a motion locus predicting unit.
또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치는 t 시점의 실제 이동 궤적을 도출하는 실제 궤적 도출부; 및 상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 궤도 변환 판정부를 더 포함할 수 있다.Also, the 3D trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention includes: an actual trajectory derivation unit for deriving an actual trajectory at time t; And a trajectory conversion determination unit that determines whether or not the trajectory is converted by comparing the actual trajectory of movement at the time t and the predicted movement trajectory of the time point t predicted at the previous time.
또한, 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장될 수 있다.In addition, the reference coordinates may be stored in the storage unit differently depending on the distance between the two stereo cameras.
상기와 같은 과제를 해결하기 위한 비행체를 촬영하는 평행식 스트레오 카메라인 2개의 스테레오 카메라를 통해 촬영된 카메라 이미지를 이용하여, 상기 비행체의 3차원 궤적을 추정하는 방법은 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계; 및 상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 단계를 포함하고, 레이저 감지부에 의해, 상기 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 단계; 및 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계를 더 포함하는 것을 특징으로 한다.A method for estimating a three-dimensional trajectory of the air vehicle using a camera image photographed through two stereo cameras, which are parallel stereo cameras for photographing the air vehicle to solve the above problems, Collecting camera images; And calculating the three-dimensional coordinates of the flying object by analyzing the camera images, wherein a point of laser emission from the laser module installed to face the two stereo cameras is detected by the laser detecting unit step; And determining whether or not the two stereo cameras are aligned by comparing the position coordinates of the point where the laser is formed and the set reference coordinates.
또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method for tracking a three-dimensional trajectory using a stereo camera, the method comprising: calculating a distance between a position of a laser spot and a reference distance, And calculating a calibration angle.
또한, 비행체의 3차원 좌표를 산출하는 단계는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 이루어질 수 있다.Also, the step of calculating the three-dimensional coordinates of the flying object may be performed in consideration of the calibration distance and the correction angle when the position coordinates of the point where the laser is formed and the set reference coordinates are different.
또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 상기 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 단계를 더 포함할 수 있다.The three-dimensional trajectory tracking method using a stereo camera according to an embodiment of the present invention predicts a trajectory of a moving object by using three-dimensional coordinates of the moving object, The method comprising the steps of:
또한, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법은 t 시점의 실제 이동 궤적을 도출하는 단계; 및 상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a 3D trajectory tracking method using a stereo camera, comprising: deriving an actual movement trajectory at a time t; And determining whether the trajectory is converted by comparing an actual trajectory of movement at the time t and an expected trajectory of the time point t predicted at a previous time point.
또한, 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장될 수 있다.In addition, the reference coordinates may be stored in the storage unit differently depending on the distance between the two stereo cameras.
본 발명의 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 따르면 레이저 모듈을 이용하여 두 카메라의 기하학적인 위치에 대한 상관관계를 기록하므로 스테레오 보정(calibration)과 스테레오 조정(rectification)이 어려운 환경이나 원거리 베이스라인을 갖는 스테레오 장치, 그리고 실험 시 돌발 상황으로 카메라가 틀어진 상황에서도 비행체의 3차원 좌표를 측정할 수 있게 된다. 또한 레이저 모듈장치의 상관관계를 이용하면, 스테레오 카메라의 위치를 쉽게 설치할 수 있는 장점이 있다.According to the apparatus and method for tracking a three-dimensional trajectory using a stereo camera according to the present invention, a correlation between geometrical positions of two cameras is recorded by using a laser module, so that an environment in which stereo calibration and rectification are difficult, It is possible to measure the three-dimensional coordinates of a flying object even when the camera is distorted due to an unexpected situation in a stereo device having a baseline and an experiment. In addition, using the correlation of the laser module device, there is an advantage that the position of the stereo camera can be easily installed.
본 발명의 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 따르면 스테레오 카메라를 이용하여 추정한 3차원 좌표에 대하여 x, y, z축에 대하여 각각 시간에 대하여 다항함수로 표현함으로써, 비행체의 예측 궤적을 쉽게 정의할 수 있으며, 물리역학의 운동방정식으로도 설명할 수 있다. 또한 예측 궤적과 실제로 측정된 궤적의 차이를 측정함으로써, 외부적인 요소에 의하여 비행체의 궤적이 변경되었는지를 판단할 수 있어서 DIRCM 기만 성능을 평가하는데도 효과적이다.According to the three-dimensional trajectory tracking apparatus and method using the stereo camera of the present invention, the three-dimensional coordinates estimated using the stereo camera are represented by polynomial functions with respect to the x, y, and z axes, respectively, Can be easily defined and can be explained by the kinetic equations of physics. Also, by measuring the difference between the predicted trajectory and the actually measured trajectory, it is possible to determine whether the trajectory of the aircraft has been changed by an external factor, which is also effective in evaluating the DIRCM deception performance.
도 1은 종래 기술에 따른 스테레오 카메라의 캘리브레이션 및 조정 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치에서 원거리로 떨어진 스테레오 카메라의 캘리브레이션 방법을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치에 대한 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치를 통해
도 7은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법에 대한 흐름도이다.FIG. 1 is a conceptual diagram for explaining a method of calibrating and adjusting a stereo camera according to the related art.
FIG. 2 is a conceptual diagram for explaining a method of calibrating a stereo camera that has remotely distanced from a three-dimensional trajectory tracking apparatus according to an exemplary embodiment of the present invention.
3 is a block diagram of a 3D trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention.
FIGS. 4 to 6 illustrate a three-dimensional trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention.
7 is a flowchart illustrating a three-dimensional trajectory tracking method using a stereo camera according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.
이하, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에 대하여 설명하도록 한다. 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대한 예측을 수행하며, 상기 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 먼저, 도 2를 참조로 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법에서 캘리브레이션을 수행하는 방법에 대해 설명된다.Hereinafter, an apparatus and method for tracking a 3D trajectory using a stereo camera according to an embodiment of the present invention will be described. An apparatus and method for tracking a three-dimensional trajectory using a stereo camera according to an embodiment of the present invention performs calibration of a camera image photographed through a stereo camera that has remained distant from the camera, performs prediction of a three- And the change of the trajectory of the flying object is determined. First, referring to FIG. 2, a method for performing a calibration in a three-dimensional trajectory tracking apparatus and method using a stereo camera according to an embodiment of the present invention will be described.
도 2는 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치에서 원거리로 떨어진 스테레오 카메라의 캘리브레이션 방법을 설명하기 위한 개념도이다. 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 카메라 이미지의 캘리브레이션을 위해 각 스테레오 카메라(10, 20)에 레이저 모듈(13, 14)을 설치한 것을 특징으로 한다. 구체적으로, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 각 스테레오 카메라(10, 20)에 설치된 레이저 모듈(13, 14)을 통해 레이저를 방출하고, 레이저가 맺힌 지점의 위치 좌표를 근거로 카메라의 정렬 여부를 판단하는 것을 특징으로 한다. FIG. 2 is a conceptual diagram for explaining a method of calibrating a stereo camera that has remotely distanced from a three-dimensional trajectory tracking apparatus according to an exemplary embodiment of the present invention. The 3D
즉, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 최적의 환경에서 미리 설정된 기준 좌표를 구비하되, 레이저가 맺힌 지점의 위치 좌표가 산출되면, 위치 좌표와 기준 좌표를 비교하는 과정을 거쳐 카메라의 정렬 여부를 확인할 수 있다. 이를 위해, 두 대의 스테레오 카메라에서 서로 마주 보는 방향으로 좌우 카메라에 3개 이상의 레이저 포인터를 각각 설치하고, 베이스라인 거리에 따라서 평행식 스테레오 위치 관계를 갖는 레이저 포인터의 도착 위치를 사전에 구함으로써 기준 좌표 및 기준 패턴을 미리 구비하는 것이 바람직하다. 이 때, 스테레오 카메라의 평행식 구조를 파악할 수 있는 물체를 활용하여 먼저 평행식 스테레오 카메라를 설치하고, 좌우 카메라에 고정된 레이저 포인터가 각각 반대편으로 가리키는 지점을 저장해 둔다. 여기서, 레이저 포인터는 3개 이상으로 좌우 카메라에 각각 고정되어 설치되는 것이 바람직하고, 레이저 포인터는 모두 동일 직선상에 놓이지 않도록 한다. That is, the 3D
미리 설정된 레이저 포인터들이 반대편 카메라에서 도달하는 위치 관계를 이용하여 기하학적으로 두 카메라가 평행식으로 배열되도록 설치할 수 있으며, 캘리브레이션 상자와 같은 특징점 대응관계를 이용하지 않아도 상술한 기준 좌표의 도출이 가능해진다. It is possible to arrange two cameras geometrically arranged in parallel by using the positional relationship that the predetermined laser pointers arrive from the opposite camera, and it is possible to derive the reference coordinates without using the feature point correspondence relationship such as the calibration box.
또한, 하나의 스테레오 카메라(10, 20)에 장착된 레이저 모듈은 측정 정확도를 높이기 위해 3개 이상의 레이저 포인터로 구성되는 것이 바람직하다. 여기서, 레이저 모듈이 3개 이상의 레이저 포인터로 구성될 경우, 상술한 좌표에 기반한 정렬 여부 판단뿐만 아니라, 레이저가 맺힌 지점을 꼭지점으로 하는 패턴을 도출할 수 있게 된다. 즉, 3개 이상의 레이저 포인터가 존재한다면, 카메라의 정렬 여부 판단은 좌표 값뿐만 아니라, 기준 패턴과 레이저가 맺힌 지점의 패턴 간 비교를 더 수행할 수 있게 되므로, 정렬 여부의 판단 정확도를 보다 높일 수 있다. 물론, 상술한 판단 기법 모두를 사용하는 것이 아닌 2개의 판단 기법 중 하나의 판단 기법만을 선택하는 것도 생각해볼 수 있다.In addition, it is preferable that the laser module mounted on one
또한, 레이저의 경우 그 거리에 따라 레이저가 맺히는 지점의 위치 또는 패턴이 변경될 수 있다. 이에 따라 위에서 설명된 방법으로 기준 데이터(즉, 기준 좌표 및 기준 패턴)를 생성할 때에는 2개의 스테레오 카메라들 간 거리 별로 구분하여 그 값이 저장되는 것이 바람직하다.Further, in the case of a laser, the position or the pattern of the point at which the laser is formed may vary depending on the distance. Accordingly, when generating the reference data (i.e., the reference coordinates and the reference pattern) by the above-described method, it is preferable that the values are stored by dividing the distances between the two stereo cameras.
이에 따라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)에 따르면, 정상 조건 상태에서 레이저의 기준 좌표 및 기준 패턴을 도출할 수 있고, 다른 장소에서 2개의 스테레오 카메라의 설치 시, 상기 기준 좌표 및 기준 패턴을 근거로 2개의 스테레오 카메라들의 오정렬 여부를 판단할 수 있다. 만일 스테레오 카메라들이 올바르게 정렬되지 않은 경우, 레이저가 맺힌 지점의 위치 또는 패턴을 근거로 조작자가 스테레오 카메라의 위치 또는 방향을 조정할 수 있고, 이에 따라 비행체의 정확한 좌표 측정이 가능해진다. Accordingly, according to the three-dimensional
뿐만 아니라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라들간 거리인 베이스라인이 큰 경우, 스테레오 보정(calibration)과 스테레오 조정(rectification)이 어려운 환경 또는, 실험 과정에서 돌발 상황으로 카메라가 틀어진 상황에서도, 비행체의 정확한 좌표 측정이 가능한 것을 특징으로 한다. 이는 아래에서 다시 설명되는 것처럼 위에서 설명된 레이저가 맺힌 지점의 좌표를 측정함으로써 이루어질 수 있다. 이제, 도 3을 참조로 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)에 대한 설명이 더 이루어진다.In addition, the three-dimensional
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(100)에 대한 블록도이다. 위에서 설명한 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(이하, 3차원 궤적 추적 장치)는 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대해 예측하며, 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개 이상의 레이저 감지부(111, 112), 2개 이상의 레이저 모듈(113, 114), 저장부(120), 이미지 수집부(130), 좌표 측정부(140), 실제 궤적 도출부(150), 이동 궤적 예측부(160), 궤도 변환 판정부(170), 정렬 여부 판단부(180) 및 교정값 산출부(190)를 포함하는 것을 특징으로 한다. 여기서, 이미지 수집부(130), 좌표 측정부(140), 실제 궤적 도출부(150), 이동 궤적 예측부(160), 궤도 변환 판정부(170), 정렬 여부 판단부(180) 및 교정값 산출부(190)는 본 발명의 이해를 돕기 위해 기능별로 각 구성을 구분한 것이고, 실제로는 하나의 처리 장치를 통해 구현되는 것도 가능하다.3 is a block diagram of a 3D
저장부(120)는 2개의 스테레오 카메라(10, 20)에서 촬영된 카메라 이미지가 저장된다. 또한, 저장부(120)에는 아래에서 설명되는 정렬 여부 판단에 이용되는 기준 좌표 및 기준 패턴에 대한 정보가 포함될 수 있다. 앞서 설명한 것처럼 기준 좌표 및 기준 패턴의 경우, 정상 환경에서, 각 스테레오 카메라에 의해 서로 방출된 레이저가 맺힌 지점의 좌표 및 패턴을 근거로 생성될 수 있고, 레이저의 특성 상 거리에 따라 그 맺히는 지점이 달라질 수 있기에, 거리 별로 상이하게 저장되는 것이 바람직하다.The
또한, 위에서 설명된 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치(100)는 스테레오 카메라(10, 20)에 부착시킬 수 있는 레이저 모듈과, 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 포함할 수 있다. 즉, 2개의 스테레오 카메라(10, 20)에는 3개 이상의 레이저 포인터를 포함하는 레이저 모듈이 구비될 수 있다. 여기서, 제 1 스테레오 카메라(10)와 제 2 스테레오 카메라(20)는 평행식 스테레오 카메라인 것으로 가정되기에, 상기 레이저 모듈은 제 1 스테레오 카메라(10)와 제 2 스테레오 카메라(20)의 평행 여부를 판단하기 위해, 대향하는 지점에 포함되는 것이 바람직하다. 또한, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)는 다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺힌 지점의 위치 좌표를 감지할 수 있다. In addition, as described above, the 3D
정렬 여부 판단부(180)는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 기능을 한다. 앞서 설명한 것처럼, 저장부(120)에는 정상 환경에서 실험되어 저장된 기준 좌표 및 기준 패턴에 대한 정보가 저장된다. 또한, 기준 좌표 및 기준 패턴의 경우 2개의 스테레오 카메라(10, 20)들 간 거리에 따라 다른 값으로 저장되기에, 정렬 여부 판단부(180)는 현재 환경에서 2개의 스테레오 카메라 간 거리를 측정하고, 측정된 거리에 대응하는 기준 좌표와 기준 패턴 중 적어도 하나를 검색할 수 있다. The
그 후, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표를 비교함으로써 2개의 스테레오 카메라(10, 20)의 정렬 여부를 판단할 수 있다. 즉, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표가 동일한 경우, 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되었다고 판단할 수 있다. 반대로, 정렬 여부 판단부(180)는 검색한 기준 좌표와 레이저가 맺힌 지점의 좌표가 상이하다면 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되지 않았다고 판단할 수 있다. Thereafter, the
여기서, 2개의 스테레오 카메라(10, 20)가 완벽하게 정렬되지 않은 경우, 사용자 또는 조작자에게 이를 알림으로써 2개의 스테레오 카메라(10, 20)의 정렬이 이루어지도록 유도할 수 있다. 물론, 2개의 스테레오 카메라(10, 20)의 하부에 바퀴와 같은 구동부를 설치하고, 구동부의 직진 및 회전 움직임을 제어함으로써 상술한 정렬 과정이 자동으로 이루어지도록 하는 방법도 생각해 볼 수 있다. Here, if the two
또한, 위의 설명에서 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 좌표의 위치를 기초로 정렬 여부를 판단하는 것으로 설명하였으나, 레이저에 의해 형성된 점들에 의해 형성되는 패턴을 근거로 상술한 정렬 여부 판단을 수행하는 것도 가능하다.In addition, in the above description, the 3D
또한, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라들간 거리인 베이스라인이 큰 경우, 스테레오 보정과 스테레오 조정이 어려운 환경 또는, 실험 과정에서 돌발 상황으로 카메라가 틀어진 상황에서도, 비행체의 정확한 좌표 측정이 가능한 것을 특징으로 한다. 예를 들어, 2개의 스테레오 카메라(10, 20)가 평행하지 않은 경우, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 통해 감지된 좌표들의 위치는 기준 좌표와 상이할 것이고, 마찬가지로 감지된 패턴은 기준 패턴의 형상과 상이할 것이다. 다만, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 정상 상태일 때 생성된 기준 좌표와 기준 패턴을 미리 알고 있으므로, 제 1 레이저 감지부(111) 및 제 2 레이저 감지부(112)를 통해 감지된 좌표들 및 패턴을 분석하면, 정상 상태의 좌표 및 패턴 대비 얼마나 이격되어 있는지, 그리고 어느 각도로 회전 되었는지를 알 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 3차원 궤적 추적 장치(100)는 2개의 스테레오 카메라가 오정렬 상태더라도, 비행체의 정확한 추적이 가능하도록 아래와 같이 교정값 산출부(190)를 통한 교정값 산출을 수행한다.In addition, the 3D
교정값 산출부(190)는 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 기능을 한다. 이렇게 산출된 교정 거리 및 교정 각도는 아래에서 설명되는 좌표 측정부(140)로 전달되어, 비행체의 정확한 좌표 측정에 이용될 수 있다.The calibration value calculating unit 190 calculates the calibration distance and the calibration angle based on the difference between the position coordinate of the point where the laser is formed and the coordinate difference between the position coordinate and the reference coordinate when the set reference coordinate is different. The calibration distance and correction angle thus calculated are transmitted to the coordinate measuring
즉, 이미지 수집부(130)는 저장부(120)에 저장된 카메라 이미지들을 수집하는 기능을 하고, 좌표 측정부(140)는 이미지 수집부(130)를 통해 수집된 카메라 이미지를 분석함으로써, 비행체의 3차원 좌표를 산출하는 기능을 한다. 여기서, 교정 거리 및 교정 패턴이 존재하는 경우, 즉, 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 좌표 측정부(140)는 교정 거리 및 교정 각도를 고려하여 비행체의 3차원 좌표를 산출할 수 있다. 또한, 좌표 측정부(140)를 통해 이루어지는 비행체의 위치 측정 방법은 통상적인 스테레오 정합 알고리즘과 위치 측정 방법을 통해 이루어지는 것도 가능하다.That is, the
실제 궤적 도출부(150)는 t 시점 즉, 현재 시점의 실제 이동 궤적을 도출하는 기능을 한다. 구체적으로, 실제 궤적 도출부(150)는 비행체가 발사된 후, 또는 비행체가 감지된 후 비행체의 3차원 좌표들을 근거로 현재 시점까지의 실제 이동 궤적을 도출하는 기능을 한다.The actual
이동 궤적 예측부(160)는 비행체의 3차원 좌표를 이용하여, 비행체의 이동 궤적을 예측함으로써, 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 기능을 한다. 즉, 이동 궤적 예측부(160)는 스테레오 카메라를 이용하여 비행체의 3차원 좌표가 측정되면, 좌표 측정부(140)를 통해 측정된 비행체의 3차원 좌표를 이용하여 향후 비행체의 이동 궤적을 예측하는 기능을 한다. 이 때, x, y, z축 각각의 위치에 대하여 시간에 대한 다항함수의 형태로 예측 좌표를 표현할 수 있다. 측정된 좌표에 대한 통상적인 회귀분석 방법을 통하여 3개의 축에 대한 위치를 1차 함수, 2차 함수 또는 그 이상의 고차 다항함수로 표현할 수 있다. 유도된 다항함수에 의하면, 현재 시점까지 측정된 3개 축의 좌표로부터 이후 시점의 좌표를 각각 예측할 수 있다. 즉, 비행체의 움직임 속도가 일정할 때는 1차 함수로 표현이 가능하고, 일정한 힘을 받아서 움직이는 경우에는 2차 함수로 위치변화를 표현할 수 있다. 또한 일정한 힘을 받는 상황에서 원운동을 할 경우에는 4차 함수로 표현하는 것이 가능하다. The movement
궤도 변환 판정부(170)는 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 기능을 한다. 측정된 비행체의 3차원 좌표가 다항함수로 예측된 3차원 좌표와 차이가 큰 경우에는 물체의 움직임 방향이 외부적인 요인에 의하여 변경된 것으로 판단할 수 있는데, 이러한 예측 궤적과 측정 궤적 사이의 거리차이를 측정함으로써, DIRCM의 기만 성능을 평가할 수 있다. 즉, DIRCM에 의하여 기만되기 이전의 비행체의 3차원 궤도를 측정하고, 이로부터 얻은 예측 함수에 의하여 예측된 비행체의 3차원 궤도와 DIRCM에 의하여 기만된 이후 측정된 비행체의 실제 3차원 궤적 사이의 차이를 비교함으로써, 기만성능을 평가하고 측정할 수 있다. 이 때, 궤적간의 차이는 통상적인 3차원 벡터 거리와 방향의 차이로 측정할 수 있으며, 예측 궤적의 함수와 측정된 궤적좌표의 차이를 누적하여 DIRCM 기만 여부를 판단할 수 있다. The trajectory
도 4 내지 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 장치를 통해 측정된 3개의 비행체에 대한 측정 결과의 예시를 나타낸다. 구체적으로, 도 4 내지 도 6은 비행체에 대한 3차원 궤적 측정 실험에서 측정된 3차원 각 좌표(x, y, z)를 시간에 대한 2차 함수로 표현한 실시 예를 나타내고, 본 예시에서 3개의 비행체에 대한 측정 결과로서 점은 실제로 측정된 좌표, 점선 곡선을 2차 함수로 표현된 궤적으로 가로축인 시간이 2초 이후부터는 예측 궤적을 나타낸다. 또한, 도 4는 좌우(x축)에 대한 그래프, 도 5는 높이(y축)에 대한 그래프, 그리고 도 6은 거리(z축)에 대한 그래프를 각각 나타낸다.FIGS. 4 to 6 illustrate examples of measurement results of three flight objects measured through a three-dimensional trajectory tracking apparatus using a stereo camera according to an embodiment of the present invention. 4 to 6 show an embodiment in which the three-dimensional coordinates (x, y, z) measured in the three-dimensional trajectory measurement experiment for the air vehicle are expressed by a quadratic function with respect to time. In this example, three As a result of the measurement on the flying object, the point represents the predicted trajectory of the measured coordinates and the dotted line curve from the trajectory represented by the quadratic function to the trajectory after 2 seconds. 4 is a graph for left and right (x-axis), Fig. 5 is a graph for height (y-axis), and Fig. 6 is a graph for distance (z-axis).
도 7은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법에 대한 흐름도이다. 위에서 설명한 것처럼, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 3차원 궤적 추적 방법(이하, 3차원 궤적 추적 방법)은 원거리로 떨어진 스테레오 카메라를 통해 촬영된 카메라 이미지의 캘리브레이션을 수행하고, 비행체의 3차원 궤적에 대해 예측하며, 비행체의 궤도 변화를 판정하는 것을 특징으로 한다. 이제, 도 7을 참조로 본 발명의 일 실시예에 따른 3차원 궤적 추적 방법에 대한 설명이 이루어지고, 아래에서는 위에서 언급된 부분과 중복되는 사항은 생략하여 그 설명이 이루어진다.7 is a flowchart illustrating a three-dimensional trajectory tracking method using a stereo camera according to an embodiment of the present invention. As described above, a three-dimensional trajectory tracking method using a stereo camera (hereinafter, a three-dimensional trajectory tracking method) according to an embodiment of the present invention performs calibration of a camera image photographed through a stereo camera that has been separated from a long distance, Dimensional trajectory, and determines a trajectory change of the flying object. Now, referring to FIG. 7, a three-dimensional trajectory tracking method according to an exemplary embodiment of the present invention will be described. In the following, description overlapping with those described above will be omitted.
S110 단계는 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈을 통해 레이저를 방출하는 단계이고, S120 단계는 레이저 감지부에 의해, 레이저가 맺히는 지점을 감지하는 단계이다. Step S110 is a step of emitting a laser through a laser module provided so as to face each of the two stereo cameras, and step S120 is a step of detecting a point where the laser is formed by the laser sensing unit.
S130 단계는 정렬 여부 판단부에 의해 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계이다. 앞서 설명한 것처럼, 본 발명은 저장부에 미리 저장된 기준 데이터 즉, 기준 좌표와 기준 패턴 중 적어도 하나를 근거로 카메라의 정렬 여부를 판단하는 것을 특징으로 한다. 여기서 2개의 스테레오 카메라들이 올바르게 정렬된 상태라면, 레이저가 맺힌 지점의 위치 좌표와 기준 좌표는 동일할 것이다. 마찬가지로, 2개의 스테레오 카메라들이 올바르게 정렬된 상태라면, 레이저가 맺힌 지점들을 근거로 생성된 패턴과 기준 패턴은 동일할 것이다. 반대로, 2개의 스테레오 카메라들이 올바르게 정렬되지 않았다면, 상기 지점의 위치 좌표와 기준 좌표는 상이할 것이고, 지점들을 연결한 패턴과 기준 좌표 역시 상이할 것이다.In step S130, it is determined whether or not the two stereo cameras are aligned by comparing the position coordinates of the laser spot by the alignment determination unit and the set reference coordinates. As described above, the present invention is characterized in that whether or not the camera is aligned is determined based on at least one of reference data stored in advance in a storage unit, that is, reference coordinates and a reference pattern. If the two stereo cameras are correctly aligned, the position and reference coordinates of the point where the laser is formed will be the same. Likewise, if the two stereo cameras are correctly aligned, the generated pattern and the reference pattern will be the same based on the locations of the laser. Conversely, if the two stereo cameras are not aligned correctly, the position coordinates of the points will be different from the reference coordinates, and the pattern connecting the points and the reference coordinates will also be different.
여기서, 2개의 스테레오 카메라들이 올바르게 정렬되지 않았을 때 별도의 처리 없이 그대로 비행체의 좌표 측정을 수행하면, 좌표 측정 정확도가 떨어질 수 밖에 없으므로, 본 발명의 일 실시예에 따른 3차원 궤적 추적 방법은 사용자로부터 2개의 스테레오 카메라들의 오정렬 상태를 알림으로써 정렬을 수행하도록 유도하거나, 아래에서 설명되는 바와 같이 교정값을 도출하여 캘리브레이션을 수행하는 것도 가능하다. 물론, 각 스테레오 카메라에 스테레오 카메라의 위치 및 각도 변경 수단이 구비된 경우, 스테레오 카메라의 위치 및 각도를 변경함으로써 정렬을 수행하는 것도 생각해볼 수 있다. 아래에서는, 2개의 카메라 이미지들이 오정렬 상태일 때, 캘리브레이션을 수행하는 방법을 중심으로 그 설명이 이루어진다.In this case, when two stereo cameras are not properly aligned, coordinate measurement of a flying object is performed without any additional processing. Therefore, the accuracy of coordinate measurement is inevitably lowered. Therefore, a three- dimensional trajectory tracking method according to an embodiment of the present invention includes: It is also possible to induce the alignment to be performed by notifying the misalignment state of the two stereo cameras, or to perform the calibration by deriving the calibration value as described below. Of course, in the case where each stereo camera is provided with means for changing the position and angle of the stereo camera, it is also conceivable to perform alignment by changing the position and angle of the stereo camera. Below is a description of how to perform calibration when two camera images are misaligned.
S150 단계는 교정값 산출부에 의해, 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 단계이다. 이에 대한 설명은 위에서 상세히 언급하였으므로, 중복되는 설명은 생략한다.Step S150 is a step of calculating the calibration distance and the calibration angle based on the difference between the position coordinates of the point where the laser is formed and the coordinate difference between the position coordinates and the reference coordinates when the set reference coordinates are different by the calibration value calculation unit. The description thereof has been given above in detail, so that redundant description is omitted.
S140 단계는 이미지 수집부에 의해, 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계이고, S160 단계는 좌표 측정부에 의해, 카메라 이미지들을 분석함으로써, 비행체의 3차원 좌표를 산출하는 단계이다. 앞서 언급한 것처럼, 2개의 스테레오 카메라들 간 정렬이 이루어지지 않은 경우 즉, 오정렬 상태인 경우 S160 단계는 아래에서 설명되는 비행체의 3차원 좌표의 측정 정확도를 높이기 위해 S150 단계를 통해 산출된 교정값 즉, 교정 각도 및 교정 거리를 고려함으로써 이루어질 수 있다.Step S140 is a step of collecting camera images photographed from two stereo cameras by the image collecting unit, and step S160 is a step of calculating three-dimensional coordinates of the flying object by analyzing camera images by the coordinate measuring unit . If the two stereo cameras are not aligned, that is, if the two stereo cameras are misaligned, step S160 is performed to increase the measurement accuracy of the three-dimensional coordinates of the vehicle, which will be described below, , The correction angle and the calibration distance.
S160 단계는 실제 궤적 도출부에 의해, t 시점의 실제 이동 궤적을 도출하는 단계이고, S170 단계는 이동 궤적 예측부에 의해, 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 단계이다.In step S160, the actual trajectory derivation unit derives the actual trajectory at time t. In step S170, the movement trajectory prediction unit predicts the trajectory of the flight by using the three-dimensional coordinates of the flight, It is a step of deriving a predicted movement trajectory after the present time of the air vehicle.
S180 단계는 궤도 변환 판정부에 의해, t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 단계이다. S180 단계의 판단 결과 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적이 동일하거나, 궤적간 차이가 임계 궤적 차이 미만이라면, 제어는 S190 단계로 전달되어 정상 상태인 것으로 판정할 수 있다. 반대로, S180 단계의 판단 결과 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적간 차이가 임계 궤적 차이 이상인 경우, 제어는 S195 단계로 전달되어 외부 요인이 존재하는 것으로 판단할 수 있다.Step S180 is a step of determining whether the trajectory is converted by comparing the actual trajectory of movement at the time t and the predicted movement trajectory of the time point t predicted at the previous time by the trajectory conversion judgment unit. If it is determined in step S180 that the actual movement trajectory at time t is the same as the expected movement trajectory at time t predicted at the previous time, or if the difference between trajectories is less than the critical trajectory difference, control is passed to step S190 to determine that the vehicle is in a normal state . On the contrary, if it is determined in step S180 that the difference between the actual trajectory at time t and the predicted movement trajectory at time t predicted at the previous time is greater than or equal to the threshold trajectory difference, control is passed to step S195 to determine that an external factor exists have.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 스테레오 카메라를 이용한 3차원 궤적 추적 장치
111 : 제 1 레이저 감지부
112 : 제 2 레이저 감지부
113 : 제 1 레이저 모듈
114 : 제 2 레이저 모듈
120 : 저장부
130 : 이미지 수집부
140 : 좌표 측정부
150 : 실제 궤적 도출부
160 : 이동 궤적 예측부
170 : 궤도 변환 판정부
180 : 정렬 여부 판단부
190 : 교정값 산출부100: 3D Trajectory Tracking Device Using Stereo Camera
111: first laser sensing unit 112: second laser sensing unit
113: first laser module 114: second laser module
120: storage unit 130: image collecting unit
140: coordinate measuring unit 150: actual trajectory deriving unit
160: Moving locus predicting unit 170: Orbit conversion determining unit
180: alignment determination unit 190: calibration value calculation unit
Claims (7)
상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 이미지 수집부; 및
상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 좌표 측정부를 포함하고,
상기 2개의 스테레오 카메라들의 서로 대향하는 위치에 설치된 레이저 모듈;
다른 스테레오 카메라의 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 레이저 감지부; 및
상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 정렬 여부 판단부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.An apparatus for estimating a three-dimensional trajectory of a flying body using a camera image photographed through two stereo cameras, which are parallel stereo cameras for photographing a flight body,
An image collecting unit for collecting camera images photographed from the two stereo cameras; And
And a coordinate measuring unit for calculating three-dimensional coordinates of the airplane by analyzing the camera images,
A laser module installed at positions opposite to each other of the two stereo cameras;
A laser sensing unit for sensing a point where a laser emitted from a laser module of another stereo camera is formed; And
Further comprising an alignment determination unit for determining whether the two stereo cameras are aligned through comparison between a position coordinate of a point at which the laser is formed and a set reference coordinate.
상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 위치 좌표와 기준 좌표 간 좌표 차이를 근거로 교정 거리 및 교정 각도를 산출하는 교정값 산출부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.The method according to claim 1,
Further comprising a calibration value calculating unit for calculating a calibration distance and a calibration angle on the basis of a difference between the coordinates of the position where the laser is formed and the coordinate of the coordinates between the position coordinates and the reference coordinates when the reference coordinates are different from each other, 3D Trajectory Tracking System Using.
상기 좌표 측정부는 상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표가 상이한 경우, 상기 교정 거리 및 교정 각도를 고려하여 상기 비행체의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 궤적 추적 장치.3. The method of claim 2,
Wherein the coordinate measuring unit calculates the three-dimensional coordinates of the flying object in consideration of the calibration distance and the calibration angle when the position coordinates of the point where the laser is formed and the set reference coordinates are different from each other.
상기 비행체의 3차원 좌표를 이용하여, 상기 비행체의 이동 궤적을 예측함으로써, 상기 비행체의 현재 시점 이후의 예상 이동 궤적을 도출하는 이동 궤적 예측부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.The method according to claim 1,
Further comprising a moving locus predicting unit for predicting a moving locus of the airplane using the three-dimensional coordinates of the airplane so as to derive an expected locating locus after the current time point of the airplane, Tracking device.
t 시점의 실제 이동 궤적을 도출하는 실제 궤적 도출부; 및
상기 t 시점의 실제 이동 궤적과 이전 시점에 예측된 t 시점의 예상 이동 궤적을 비교함으로써 궤도 변환 여부를 판정하는 궤도 변환 판정부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.5. The method of claim 4,
an actual trajectory deriving unit for deriving an actual trajectory of movement at time t; And
Further comprising a trajectory conversion determining unit for determining whether or not the trajectory is converted by comparing an actual trajectory of movement at the time t and an expected trajectory of the time point t predicted at a previous time point.
상기 기준 좌표는 2개의 스테레오 카메라 간 거리에 따라 상이하게 저장부에 저장된 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 장치.The method according to claim 1,
Wherein the reference coordinates are stored in the storage unit differently according to distances between the two stereo cameras.
상기 2개의 스테레오 카메라들로부터 촬영된 카메라 이미지들을 수집하는 단계; 및
상기 카메라 이미지들을 분석함으로써, 상기 비행체의 3차원 좌표를 산출하는 단계를 포함하고,
레이저 감지부에 의해, 상기 2개의 스테레오 카메라에 각각 대향하도록 설치된 레이저 모듈에서 방출된 레이저가 맺히는 지점을 감지하는 단계; 및
상기 레이저가 맺히는 지점의 위치 좌표와, 설정된 기준 좌표 간의 비교를 통해 상기 2개의 스테레오 카메라의 정렬 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 궤적 추적 방법.
A method for estimating a three-dimensional trajectory of a flying object using a camera image photographed through two stereo cameras, which are parallel stereo cameras,
Collecting photographed camera images from the two stereo cameras; And
Dimensional coordinates of the air vehicle by analyzing the camera images,
Sensing a point at which a laser emitted from a laser module installed opposite to the two stereo cameras converges by the laser sensing unit; And
Further comprising the step of determining whether the two stereo cameras are aligned through comparison between a position coordinate of a point where the laser is formed and a set reference coordinate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160145125A KR101895125B1 (en) | 2016-11-02 | 2016-11-02 | 3d tracking apparatus and method using stereo camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160145125A KR101895125B1 (en) | 2016-11-02 | 2016-11-02 | 3d tracking apparatus and method using stereo camera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180048048A true KR20180048048A (en) | 2018-05-10 |
KR101895125B1 KR101895125B1 (en) | 2018-09-04 |
Family
ID=62185223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160145125A KR101895125B1 (en) | 2016-11-02 | 2016-11-02 | 3d tracking apparatus and method using stereo camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101895125B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470409A (en) * | 2021-07-20 | 2021-10-01 | 常州市规划设计院 | Merging ramp alternate-passing vehicle guiding system and method |
US11176708B2 (en) * | 2019-11-21 | 2021-11-16 | Ifm Electronic Gmbh | Camera and method for checking an alignment of such a camera |
CN114822042A (en) * | 2022-06-28 | 2022-07-29 | 深圳市华耀商品检验有限公司 | Information security test management system and method for vehicle-mounted terminal detection |
KR20220170276A (en) * | 2021-06-22 | 2022-12-29 | 포항공과대학교 산학협력단 | Appratus and methods for optical detection and analysis of particle |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009266155A (en) * | 2008-04-30 | 2009-11-12 | Toshiba Corp | Apparatus and method for mobile object tracking |
JP2010161633A (en) * | 2009-01-08 | 2010-07-22 | Tokyo Electric Power Co Inc:The | Device and method for horizontal setting of a plurality of cameras and stereoscopic photographing device |
KR101021015B1 (en) | 2009-03-27 | 2011-03-09 | 호서대학교 산학협력단 | Three dimension user interface method |
KR101619672B1 (en) * | 2014-12-15 | 2016-05-10 | 현대자동차주식회사 | Method for Tracking Pedestrians based on Binarization and Apparatus thereof |
-
2016
- 2016-11-02 KR KR1020160145125A patent/KR101895125B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009266155A (en) * | 2008-04-30 | 2009-11-12 | Toshiba Corp | Apparatus and method for mobile object tracking |
JP2010161633A (en) * | 2009-01-08 | 2010-07-22 | Tokyo Electric Power Co Inc:The | Device and method for horizontal setting of a plurality of cameras and stereoscopic photographing device |
KR101021015B1 (en) | 2009-03-27 | 2011-03-09 | 호서대학교 산학협력단 | Three dimension user interface method |
KR101619672B1 (en) * | 2014-12-15 | 2016-05-10 | 현대자동차주식회사 | Method for Tracking Pedestrians based on Binarization and Apparatus thereof |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11176708B2 (en) * | 2019-11-21 | 2021-11-16 | Ifm Electronic Gmbh | Camera and method for checking an alignment of such a camera |
KR20220170276A (en) * | 2021-06-22 | 2022-12-29 | 포항공과대학교 산학협력단 | Appratus and methods for optical detection and analysis of particle |
CN113470409A (en) * | 2021-07-20 | 2021-10-01 | 常州市规划设计院 | Merging ramp alternate-passing vehicle guiding system and method |
CN114822042A (en) * | 2022-06-28 | 2022-07-29 | 深圳市华耀商品检验有限公司 | Information security test management system and method for vehicle-mounted terminal detection |
CN114822042B (en) * | 2022-06-28 | 2022-09-02 | 深圳市华耀商品检验有限公司 | Information security test management system and method for vehicle-mounted terminal detection |
Also Published As
Publication number | Publication date |
---|---|
KR101895125B1 (en) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101895125B1 (en) | 3d tracking apparatus and method using stereo camera | |
CN110573830B (en) | Calibration method of laser sensor | |
EP2733457B1 (en) | Position and orientation calibration method and apparatus | |
US8427472B2 (en) | Multidimensional evidence grids and system and methods for applying same | |
US10502557B2 (en) | Method for the three dimensional measurement of a moving objects during a known movement | |
JP3833786B2 (en) | 3D self-position recognition device for moving objects | |
CN107710094B (en) | Online calibration check during autonomous vehicle operation | |
JP5586967B2 (en) | Robot and robot system | |
CN105424006A (en) | Unmanned aerial vehicle hovering precision measurement method based on binocular vision | |
CN104677340A (en) | Point character based monocular vision pose measurement method | |
US20170287169A1 (en) | Extrinsic calibration method for cameras of an on-board system for formation of stereo images | |
WO2008091714A1 (en) | Method and apparatus for localizing and mapping the position of a set of points on a digital model | |
KR102314092B1 (en) | Calibration apparatus and the method for robot | |
KR20170027767A (en) | Device for detection of obstacles in a horizontal plane and detection method implementing such a device | |
EP3399327A1 (en) | Pose estimation using radio frequency identification (rfid) tags | |
CN103635777B (en) | For the structure measurement unit at the edge and corner of following the trail of, measure and mark adjacently situated surfaces | |
KR101815938B1 (en) | Method and apparatus for estimating 3D position and orientation by means of sensor fusion | |
CN111796667A (en) | Distortion correction for tracking objects in a magnetic field | |
CN107864375A (en) | Imaging device with alignment analysis | |
US20160232654A1 (en) | Information processing apparatus, control method thereof, and computer readable storage medium | |
US9341703B2 (en) | System and method for identifying a component | |
CN108459595A (en) | A kind of method in mobile electronic device and the mobile electronic device | |
JP2013242186A (en) | On-vehicle measurement system | |
US8717579B2 (en) | Distance measuring device using a method of spanning separately targeted endpoints | |
US10775881B1 (en) | High assurance head tracker monitoring and calibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |