KR20200126348A

KR20200126348A - Method and apparatus of real-time tracking a position using drones, traking a position system including the apparatus

Info

Publication number: KR20200126348A
Application number: KR1020200126879A
Authority: KR
Inventors: 이상복; 류정림; 김혜리
Original assignee: 주식회사 에프엠웍스
Priority date: 2019-04-29
Filing date: 2020-09-29
Publication date: 2020-11-06
Also published as: KR102278467B1

Abstract

Disclosed are a real-time position tracking method using a drone, a device thereof, and a position tracking system including the same. The real-time position tracking method using a drone comprises the steps of: receiving and outputting an image from a drone; receiving current position coordinates of the drone and attitude information of a camera from the drone when a target point is set in the image and an angle of the camera mounted on the drone is controlled so that the target point is located at the center of the image; and calculating three-dimensional coordinate information of the target point by triangulation using the current position coordinates of the drone, the attitude information of the camera, and an angle of view of the camera previously stored.

Description

Real-time location tracking method and device using a drone, and a location tracking system including the same {METHOD AND APPARATUS OF REAL-TIME TRACKING A POSITION USING DRONES, TRAKING A POSITION SYSTEM INCLUDING THE APPARATUS}

본 발명은 드론을 이용한 실시간 위치 추적 방법 및 장치, 이를 포함하는 위치 추적 시스템에 관한 것으로, 더욱 상세하게는 드론에서 촬영하는 영상에 나타나는 대상점의 위치 정보를 획득하는 실시간 위치 추적 방법 및 장치, 이를 포함하는 위치 추적 시스템에 관한 것이다.The present invention relates to a real-time location tracking method and apparatus using a drone, and a location tracking system including the same, and more particularly, a real-time location tracking method and apparatus for acquiring location information of a target point appearing in an image photographed by a drone, It relates to a location tracking system including.

산악 또는 해양환경 관제에 드론이 널리 활용되고 있다. 예를 들면, 드론은 국가공간정보 포탈에서 제공하는 지형정보에 기반한 고도비행으로 산악 환경을 안전하게 비행하면서 산악환경의 영상을 획득하여 제공할 수 있으며, 관리자는 드론으로부터 영상을 제공 받아 산불, 유류유출, 해양 인명피해 등을 발견할 수 있을 것이다.Drones are widely used for control of mountain or marine environments. For example, drones can acquire and provide images of the mountain environment while safely flying through the mountain environment through altitude flight based on topographic information provided by the national geospatial information portal, and the administrator can receive the image from the drone and provide it with forest fires and oil spills. , Marine casualties, etc. will be found.

한편 드론으로부터 제공되는 영상에서 산불발생, 유류유출 등을 발견하더라도 정확한 위치 좌표 정보는 알 수 없다. On the other hand, even if a forest fire or oil spill is found in an image provided by a drone, accurate location coordinate information is not known.

예를 들면, 야간에 산불이 발생한 경우, 드론으로부터 제공되는 영상에서 화재발생지점만 화면에 보일 뿐 나머지 산악 지형을 확인할 수 있는 부분은 어둡게 보일 것이다. 이때 화재진압을 위해서는 화재발생지점의 정확한 위치 좌표 정보가 필요한데, 이를 확인하기 위해 드론을 가까이 접근시킬 경우, 공기의 밀도가 달라 드론의 추락 위험이 있다.For example, in the event of a forest fire at night, only the fire point will be shown on the screen in the video provided by the drone, and the remaining mountainous terrain will appear dark. At this time, the exact location coordinate information of the fire occurrence point is required to extinguish the fire. If the drone is approached closely to confirm this, there is a risk of the drone falling due to the difference in air density.

또는, 해양 환경에서는 바다의 색상이 거의 동일하고, 유속이 있어 유류유출지점이나 조난자가 실시간으로 움직이게 되므로 드론으로부터 제공되는 영상만으로는 정확한 위치 파악이 어렵다.Alternatively, in a marine environment, the color of the sea is almost the same, and the oil spill point or the victim moves in real time due to the flow velocity, so it is difficult to accurately determine the location only with the image provided from the drone.

본 발명의 일측면은 드론의 현재 위치 좌표 및 영상을 획득하는 카메라의 자세 정보를 포함하는 데이터를 수신하고 삼각측량법을 이용하여 영상 내 대상점의 정확한 위치 좌표를 산출하는 드론을 이용한 실시간 위치 추적 방법 및 장치, 이를 포함하는 위치 추적 시스템을 제공한다.One aspect of the present invention is a real-time location tracking method using a drone that receives data including the current position coordinates of the drone and the attitude information of the camera that acquires the image, and calculates the exact position coordinates of the target point in the image using triangulation method And an apparatus, and a location tracking system including the same.

본 발명의 다른 측면은 영상 내에서 이동하는 대상점의 위치 좌표 산출을 통해 대상점의 이동 간격을 산출하고, 드론이 대상점의 이동 간격을 따라 이동하면서 대상점을 관제하도록 제어하는 드론을 이용한 실시간 위치 추적 방법 및 장치, 이를 포함하는 위치 추적 시스템을 제공한다.Another aspect of the present invention is a real-time using a drone that calculates the movement interval of the target point by calculating the position coordinates of the target point moving in the image, and controls the drone to control the target point while moving along the movement interval of the target point. A location tracking method and apparatus, and a location tracking system including the same are provided.

본 발명의 또 다른 측면은 영상을 구성하는 각 픽셀의 위치 좌표 산출을 통해 정사영상을 생성하는 드론을 이용한 실시간 위치 추적 방법 및 장치, 이를 포함하는 위치 추적 시스템을 제공한다.Another aspect of the present invention provides a real-time location tracking method and apparatus using a drone that generates an orthogonal image by calculating position coordinates of each pixel constituting an image, and a location tracking system including the same.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to the technical problem mentioned above, and other technical problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 드론을 이용한 실시간 위치 추적 방법은 지형을 나타내는 3차원 좌표 정보에 기반한 비행경로를 따라 비행하면서 상기 지형의 영상을 촬영하는 드론을 이용하여 상기 영상에 나타나는 대상점의 위치를 실시간으로 추적하는 위치 추적 장치에서의 실시간 위치 추적 방법에 있어서, 상기 드론으로부터 상기 영상을 수신하여 출력하는 단계, 상기 영상에서 대상점이 설정되어 상기 영상의 중심에 상기 대상점이 위치하도록 상기 드론에 탑재된 카메라가 갖는 각도가 변경되는 경우, 상기 드론으로부터 상기 드론의 현재 위치 좌표 및 상기 카메라가 갖는 각도를 포함하는 카메라의 자세 정보를 수신하는 단계 및 상기 드론의 현재 위치 좌표, 상기 카메라의 자세 정보 및 미리 저장된 상기 카메라의 화각을 이용한 삼각측량으로 상기 대상점의 3차원 좌표 정보를 산출하는 단계를 포함한다.The real-time location tracking method using a drone of the present invention to solve the above problem is to use a drone that photographs an image of the terrain while flying along a flight path based on 3D coordinate information representing the terrain. A real-time location tracking method in a location tracking device that tracks a location in real time, the method comprising: receiving and outputting the image from the drone, wherein a target point is set in the image and the target point is located at the center of the image. When the angle of the mounted camera is changed, receiving the camera's attitude information including the current position coordinates of the drone and the angle of the camera from the drone, and the current position coordinates of the drone, the attitude information of the camera And calculating 3D coordinate information of the target point by triangulation using a previously stored angle of view of the camera.

한편, 상기 대상점이 이동하는 경우, 상기 카메라의 각도가 변경될 때마다 상기 드론의 현재 위치 좌표, 상기 카메라의 자세 정보 및 미리 저장된 상기 카메라의 화각을 이용한 삼각측량으로 상기 대상점의 3차원 좌표 정보를 산출하는 단계, 상기 대상점의 이동에 의해 연속하여 산출되는 상기 대상점의 3차원 좌표 정보를 이용하여 상기 대상점의 이동 간격을 산출하는 단계 및 상기 드론이 상기 대상점의 이동 간격에 따라 이동하면서 상기 대상점을 관제할 수 있도록 상기 대상점의 이동 간격을 상기 드론으로 전송하는 단계를 더 포함할 수 있다. Meanwhile, when the target point moves, 3D coordinate information of the target point by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera previously stored whenever the angle of the camera changes. Calculating a movement interval of the target point using 3D coordinate information of the target point continuously calculated by the movement of the target point, and the drone moves according to the movement interval of the target point The method may further include transmitting a movement interval of the target point to the drone so that the target point can be controlled.

또한, 상기 대상점이 상기 영상을 구성하는 어느 하나의 픽셀로 설정되는 경우, 상기 대상점으로 설정된 픽셀이 나타내는 지형의 3차원 좌표 정보를 산출하는 단계 및 상기 대상점으로 설정된 픽셀이 나타내는 지형의 3차원 좌표 정보를 이용하여 상기 영상을 구성하는 복수의 픽셀이 각각 나타내는 지형의 3차원 좌표 정보를 산출하는 단계를 더 포함할 수 있다.In addition, when the target point is set to any one pixel constituting the image, calculating 3D coordinate information of the terrain represented by the pixel set as the target point, and 3D of the terrain represented by the pixel set as the target point The method may further include calculating 3D coordinate information of a terrain represented by each of the plurality of pixels constituting the image by using the coordinate information.

또한, 상기 영상에 복수의 픽셀이 각각 나타내는 지형의 3차원 좌표 정보를 포함시켜 정사영상을 구성하는 단계를 더 포함할 수 있다.In addition, the step of configuring an orthogonal image by including 3D coordinate information of the terrain represented by each of the plurality of pixels in the image may further include.

또한, 상기 대상점의 3차원 좌표 정보를 이용하여 상기 대상점을 기준으로 설정되는 관심 영역의 면적을 산출하는 단계를 더 포함할 수 있다.In addition, the method may further include calculating an area of an ROI set based on the target point by using 3D coordinate information of the target point.

또한, 상기 드론의 현재 위치 좌표, 상기 카메라의 자세 정보 및 미리 저장된 상기 카메라의 화각을 이용한 삼각측량으로 상기 대상점의 3차원 좌표 정보를 산출하는 단계는, 상기 대상점을 중심으로 하는 기선을 설정하는 단계, 상기 드론의 현재 위치 좌표 및 상기 지형을 나타내는 3차원 좌표 정보를 이용하여 상기 드론의 현재 위치 좌표로부터 상기 기선으로 내리는 수선의 길이를 산출하는 단계, 상기 카메라의 자세 정보에 포함되는 롤(roll), 피치(pitch) 및 요(yaw) 각도 및 상기 카메라의 화각을 이용하여 상기 수선과 상기 드론으로부터 상기 대상점을 연결하는 선이 이루는 각도를 산출하는 단계 및 상기 수선의 길이 및 상기 수선과 상기 드론으로부터 상기 대상점을 연결하는 선이 이루는 각도를 삼각함수에 적용하여 상기 수선과 상기 드론으로부터 상기 대상점을 연결하는 선의 길이를 산출하는 단계를 포함할 수 있다.In addition, the step of calculating the three-dimensional coordinate information of the target point by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera previously stored includes setting a base line centered on the target point The step of calculating the length of the waterline descending to the baseline from the current position coordinate of the drone using the current position coordinate of the drone and 3D coordinate information representing the terrain, the roll included in the attitude information of the camera ( roll), pitch and yaw angles, and calculating an angle formed by a line connecting the target point from the drone and the repair line using the angle of view of the camera, and the length of the repair line and the repair line And calculating a length of a line connecting the water line and the target point from the drone by applying an angle formed by a line connecting the target point from the drone to a trigonometric function.

한편 본 발명의 실시간 위치 추적 장치는, 지형을 나타내는 3차원 좌표 정보에 기반한 비행경로를 따라 비행하면서 상기 지형의 영상을 촬영하는 드론을 이용하여 상기 영상에 나타나는 대상점의 위치를 실시간으로 추적하는 위치 추적 장치에 있어서, 상기 드론으로부터 상기 영상을 수신하여 출력하는 영상 수신부, 상기 영상에서 대상점이 설정되어 상기 영상의 중심에 상기 대상점이 위치하도록 상기 드론에 탑재된 카메라가 갖는 각도가 변경되는 경우, 상기 드론으로부터 상기 드론의 현재 위치 좌표 및 상기 카메라가 갖는 각도를 포함하는 카메라의 자세 정보를 수신하는 데이터 수신부 및 상기 드론의 현재 위치 좌표, 상기 카메라의 자세 정보 및 미리 저장된 상기 카메라의 화각을 이용한 삼각측량으로 상기 대상점의 3차원 좌표 정보를 산출하는 좌표 정보 산출부를 포함한다.Meanwhile, the real-time location tracking device of the present invention is a location for tracking the location of a target point appearing in the image in real time using a drone that photographs an image of the terrain while flying along a flight path based on 3D coordinate information representing the terrain. In the tracking device, the image receiving unit for receiving and outputting the image from the drone, when a target point is set in the image and the angle of the camera mounted on the drone is changed so that the target point is located at the center of the image, the A data receiving unit that receives camera posture information including the current position coordinates of the drone and the angle of the camera from a drone, and triangulation using the current position coordinates of the drone, posture information of the camera, and a pre-stored angle of view of the camera And a coordinate information calculator that calculates 3D coordinate information of the target point.

한편, 상기 좌표 정보 산출부는, 상기 대상점이 이동하는 경우, 상기 카메라의 각도가 변경될 때마다 상기 드론의 현재 위치 좌표, 상기 카메라의 자세 정보 및 미리 저장된 상기 카메라의 화각을 이용한 삼각측량으로 상기 대상점의 3차원 좌표 정보를 산출할 수 있다.Meanwhile, when the target point is moved, the coordinate information calculation unit performs triangulation using the current position coordinates of the drone, the attitude information of the camera, and the angle of view of the camera stored in advance whenever the angle of the camera changes. It is possible to calculate the three-dimensional coordinate information of the point.

또한, 상기 대상점의 이동에 의해 연속하여 산출되는 상기 대상점의 3차원 좌표 정보를 이용하여 상기 대상점의 이동 간격을 산출하고, 상기 드론이 상기 대상점의 이동 간격에 따라 이동하면서 상기 대상점을 관제할 수 있도록 상기 대상점의 이동 간격을 상기 드론으로 전송하는 관제 제어부를 더 포함할 수 있다.In addition, the movement interval of the target point is calculated using 3D coordinate information of the target point continuously calculated by the movement of the target point, and the target point is moved according to the movement interval of the target point. It may further include a control control unit that transmits the movement interval of the target point to the drone so that it can control.

또한, 상기 좌표 정보 산출부는, 상기 대상점이 상기 영상을 구성하는 어느 하나의 픽셀로 설정되는 경우, 상기 대상점으로 설정된 픽셀이 나타내는 지형의 3차원 좌표 정보를 산출할 수 있다.In addition, when the target point is set as any one pixel constituting the image, the coordinate information calculator may calculate 3D coordinate information of the terrain represented by the pixel set as the target point.

또한, 상기 대상점으로 설정된 픽셀이 나타내는 지형의 3차원 좌표 정보를 이용하여 상기 영상을 구성하는 복수의 픽셀이 각각 나타내는 지형의 3차원 좌표 정보를 산출하고, 상기 영상에 복수의 픽셀이 각각 나타내는 지형의 3차원 좌표 정보를 포함시켜 정사영상을 구성하는 정사영상 생성부를 더 포함할 수 있다.In addition, the 3D coordinate information of the terrain represented by the plurality of pixels constituting the image is calculated using 3D coordinate information of the terrain represented by the pixel set as the target point, and the terrain represented by each of the plurality of pixels in the image It may further include an orthogonal image generator configured to configure the orthogonal image by including the 3D coordinate information.

또한, 상기 좌표 정보 산출부는, 상기 대상점을 중심으로 하는 기선을 설정하고, 상기 드론의 현재 위치 좌표 및 상기 지형을 나타내는 3차원 좌표 정보를 이용하여 상기 드론의 현재 위치 좌표로부터 상기 기선으로 내리는 수선의 길이를 산출하고, 상기 카메라의 자세 정보에 포함되는 롤(roll), 피치(pitch) 및 요(yaw) 각도 및 상기 카메라의 화각을 이용하여 상기 수선과 상기 드론으로부터 상기 대상점을 연결하는 선이 이루는 각도를 산출하며, 상기 수선의 길이 및 상기 수선과 상기 드론으로부터 상기 대상점을 연결하는 선이 이루는 각도를 삼각함수에 적용하여 상기 수선과 상기 드론으로부터 상기 대상점을 연결하는 선의 길이를 산출할 수 있다.In addition, the coordinate information calculation unit sets a baseline centered on the target point, and a repair line descending from the current position coordinate of the drone to the baseline using the current position coordinate of the drone and 3D coordinate information indicating the terrain A line connecting the target point from the drone to the repair line by calculating the length of the camera and using the roll, pitch, and yaw angles included in the camera's posture information and the angle of view of the camera The angle formed by this is calculated, and the length of the line connecting the repair line and the target point from the drone is calculated by applying a trigonometric function to the length of the repair line and the angle formed by the line connecting the target point from the drone to the repair line. can do.

한편, 본 발명의 위치 추적 시스템은 지형을 나타내는 3차원 좌표 정보에 기반한 비행경로를 따라 비행하면서 상기 지형의 영상을 촬영하는 드론 및 상기 드론으로부터 상기 영상을 수신하여 출력하고, 상기 영상에서 대상점이 설정되어 상기 영상의 중심에 상기 대상점이 위치하도록 상기 드론에 탑재된 카메라가 갖는 각도가 변경되는 경우, 상기 드론으로부터 상기 드론의 현재 위치 좌표 및 상기 카메라가 갖는 각도를 포함하는 카메라의 자세 정보를 수신하며, 상기 드론의 현재 위치 좌표, 상기 카메라의 자세 정보 및 미리 저장된 상기 카메라의 화각을 이용한 삼각측량으로 상기 대상점의 3차원 좌표 정보를 산출하는 실시간 위치 추적 장치를 포함한다.Meanwhile, the location tracking system of the present invention is a drone that photographs an image of the terrain while flying along a flight path based on 3D coordinate information representing the terrain, and receives and outputs the image from the drone, and sets a target point in the image. When the angle of the camera mounted on the drone is changed so that the target point is located at the center of the image, the camera receives posture information including the current position coordinate of the drone and the angle of the camera from the drone, and And a real-time location tracking device for calculating 3D coordinate information of the target point by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera previously stored.

본 발명에 일측면에 따르면 드론으로부터 수신하는 영상 내 대상점의 정확한 위치 좌표의 획득이 가능하므로, 드론을 이용한 산악 또는 해양환경 관제 시스템에 적용되는 경우, 위험 지점의 정확한 위치 정보의 획득을 통해 신속한 초기 대응을 기대할 수 있다.According to one aspect of the present invention, since it is possible to obtain accurate position coordinates of a target point in an image received from a drone, when applied to a mountain or marine environment control system using a drone, it is possible to quickly obtain accurate position information of a dangerous point. Early response can be expected.

본 발명의 다른 측면은 영상 내에서 이동하는 대상점의 위치 좌표 산출을 통해 대상점의 이동 간격을 산출하고, 드론이 대상점의 이동 간격을 따라 이동하면서 대상점을 관제하도록 제어하여 신속 및 정확한 구조 활동이 가능하다.Another aspect of the present invention is to calculate the movement interval of the target point by calculating the position coordinates of the target point moving in the image, and control the drone to control the target point while moving along the movement interval of the target point to provide a quick and accurate structure. Activity is possible.

본 발명의 또 다른 측면은 영상을 구성하는 각 픽셀의 위치 좌표 산출을 통해 정사영상을 생성함으로써, 정사영상 생성에 요구되는 영상의 개수 및 연산량을 최소화할 수 있다.Another aspect of the present invention is to generate an ortho image by calculating position coordinates of each pixel constituting an image, thereby minimizing the number of images and an amount of computation required for generating the ortho image.

도 1은 본 명의 일 실시예에 따른 위치 추적 시스템의 개념도이다.
도 2는 도 1에 도시된 본 발명의 일 실시예에 따른 위치 추적 시스템에서의 대상점 위치 추적을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 실시간 위치 추적 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 실시간 위치 추적 장치에서의 위치 추적을 설명하기 위한 도면이다.
도 5는 도 3에 도시된 좌표 정보 산출부에서의 대상점의 위치 좌표 산출 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치의 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치에서의 관제 제어를 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시예예 따른 실시간 위치 추적 장치의 블록도이다.
도 9는 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치에서의 정사영상 생성을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 실시간 위치 추적 방법을 보여주는 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 실시간 위치 추적 방법을 보여주는 흐름도이다.
도 12 및 도 13은 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 방법을 보여주는 흐름도이다.1 is a conceptual diagram of a location tracking system according to an embodiment of the present invention.
FIG. 2 is a diagram for describing a location of a target point in a location tracking system according to an embodiment of the present invention shown in FIG. 1.
3 is a block diagram of a real-time location tracking apparatus according to an embodiment of the present invention.
4 is a view for explaining location tracking in a real-time location tracking device according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a method of calculating position coordinates of a target point in the coordinate information calculating unit illustrated in FIG. 3.
6 is a block diagram of a real-time location tracking apparatus according to another embodiment of the present invention.
7 is a diagram for describing control control in a real-time location tracking device according to another embodiment of the present invention.
8 is a block diagram of a real-time location tracking apparatus according to another embodiment of the present invention.
9 is a diagram for explaining generation of an orthogonal image in a real-time location tracking device according to another embodiment of the present invention.
10 is a flowchart illustrating a real-time location tracking method according to an embodiment of the present invention.
11 is a flowchart illustrating a real-time location tracking method according to another embodiment of the present invention.
12 and 13 are flowcharts illustrating a real-time location tracking method according to another embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention to be described below refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable a person skilled in the art to practice the present invention. It is to be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in relation to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scopes equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions over several aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 위치 추적 시스템의 개념도이다.1 is a conceptual diagram of a location tracking system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 위치 추적 시스템(1000)은 드론(10) 및 실시간 위치 추적 장치(100)를 포함할 수 있다.Referring to FIG. 1, a location tracking system 1000 according to an embodiment of the present invention may include a drone 10 and a real-time location tracking device 100.

본 발명의 일 실시예에 따른 위치 추적 시스템(1000)은 드론(10)을 이용하여 특정 지형의 영상을 획득하고, 영상에 설정되는 대상점의 정확한 3차원 좌표 정보를 산출하여 제공할 수 있다.The location tracking system 1000 according to an embodiment of the present invention may acquire an image of a specific terrain using the drone 10, and may calculate and provide accurate 3D coordinate information of a target point set in the image.

드론(10)은 무인 회전익 구조체로, 자율비행 소프트웨어(FMS)에 의해 설정되는 비행경로를 따라 비행할 수 있다. 자율비행 소프트웨어에 따르면 드론(10)이 비행할 지형을 나타내는 3차원 좌표 정보에 기반하여 비행경로가 설정될 수 있다. 예를 들면, 지형을 나타내는 3차원 좌표 정보는 국가공간정보 포탈에서 제공하는 DEM(Digital Elevation Model) 또는 해양수산부에서 제공하는 해수면 DB(지오이드)일 수 있다. 드론(10)은 이러한 산악 또는 해양환경을 나타내는 3차원 좌표 정보에 기반하여 설정되는 고도 및 비행경로를 따라 비행하면서 산악 또는 해양환경의 관제를 실시할 수 있다. The drone 10 is an unmanned rotorcraft structure and can fly along a flight path set by an autonomous flight software (FMS). According to the autonomous flight software, a flight path may be set based on 3D coordinate information indicating a terrain in which the drone 10 will fly. For example, the 3D coordinate information representing the topography may be a digital elevation model (DEM) provided by the national spatial information portal or a sea level DB (geoid) provided by the Ministry of Oceans and Fisheries. The drone 10 may control the mountain or marine environment while flying along the altitude and flight path set based on 3D coordinate information representing the mountain or marine environment.

드론(10)은 카메라(11)가 탑재되어, 비행하는 지형의 영상을 획득할 수 있다. 여기서 카메라(11)는 짐벌에 의해 각도 조절이 가능하여, 짐벌의 회전 각도 내에서 회전함으로써 영상의 중심을 이동시킬 수 있다. 예를 들면, 카메라(11)는 항법 좌표계에 대해 카메라가 갖는 3개의 각도(롤(roll), 피치(pitch) 및 요(yaw))가 제어될 수 있으며, 이하의 설명에서 카메라(11)의 자세 정보는 카메라의 롤, 피치 및 요 각도를 의미한다.The drone 10 is equipped with a camera 11 to obtain an image of a flying terrain. Here, the camera 11 can adjust the angle by the gimbal, so that the center of the image can be moved by rotating within the rotation angle of the gimbal. For example, the camera 11 may control three angles (roll, pitch, and yaw) that the camera has with respect to the navigation coordinate system, and in the following description, the camera 11 The posture information refers to the camera's roll, pitch, and yaw angle.

드론(10)은 드론(10)의 위치 정보를 확인하거나 이를 얻기 위한 위치 정보 모듈을 포함할 수 있다. 예를 들면, 위치 정보 모듈은 GPS(Global Position System) 모듈일 수 있으며, 위성으로부터 수신한 위치 정보로부터 위도, 경도, 고도뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다. 따라서 드론(10)은 정확한 현재 위치 좌표를 획득할 수 있으며, 이를 이용하여 비행경로 등을 제어할 수 있다.The drone 10 may include a location information module for checking or obtaining location information of the drone 10. For example, the location information module may be a Global Position System (GPS) module, and it is possible to obtain not only latitude, longitude, altitude, but also three-dimensional speed information and accurate time from location information received from a satellite. Therefore, the drone 10 can obtain the exact coordinates of the current location, and can control a flight path using this.

드론(10)은 외부 장치와 통신을 가능하게 하는 통신 모듈이 탑재될 수 있다. 예를 들면, 통신 모듈은 블루투스, 3G, 4G, 5G, 적외선 및 무선 LAN 통신 중 어느 하나의 통신을 가능하게 하는 구성요소를 포함하여 구현될 수 있다. 이에 드론(10)은 실시간 위치 추적 장치(100)와 통신하여 카메라(11)를 통해 획득하는 영상에 설정되는 대상점의 위치 추적을 위한 각종 데이터를 송수신할 수 있다.The drone 10 may be equipped with a communication module that enables communication with an external device. For example, the communication module may be implemented by including a component that enables any one of Bluetooth, 3G, 4G, 5G, infrared and wireless LAN communication. Accordingly, the drone 10 may communicate with the real-time location tracking device 100 to transmit and receive various data for location tracking of a target point set in an image acquired through the camera 11.

실시간 위치 추적 장치(100)는 통신이 가능하고 정보의 입출력이 가능한 장치로, 예를 들면, PC, 스마트폰, 테블릿 등으로 구현될 수 있으며, 실시간 위치 추적을 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있다.The real-time location tracking device 100 is a device capable of communication and input/output of information, and may be implemented as, for example, a PC, a smartphone, a tablet, etc., and software (application) for real-time location tracking is installed. Can be implemented.

실시간 위치 추적 장치(100)는 드론(10)과 양방향 통신을 수행함으로써, 드론(10)으로부터 카메라(11)를 통해 획득하는 영상을 수신하여 출력할 수 있다. 그리고 영상에서의 대상점 설정 정보를 획득하여 드론(10)으로 전송할 수 있다. 이에 드론(10)은 카메라(11)의 각도를 조절하여 영상의 중심에 대상점이 위치하도록 할 수 있다. 실시간 위치 추적 장치(100)는 드론(10)으로부터 드론(10)의 현재 위치 좌표, 카메라(11)의 자세 정보 등을 수신하고, 이를 삼각측량법에 적용하여 대상점의 3차원 좌표 정보를 산출할 수 있다. 이와 관련하여 도 2를 예로 들어 설명한다.The real-time location tracking apparatus 100 may receive and output an image acquired through the camera 11 from the drone 10 by performing bidirectional communication with the drone 10. In addition, target point setting information in the image may be acquired and transmitted to the drone 10. Accordingly, the drone 10 may adjust the angle of the camera 11 so that the target point is located at the center of the image. The real-time location tracking device 100 receives the coordinates of the current position of the drone 10 and the attitude information of the camera 11 from the drone 10, and applies this to triangulation to calculate 3D coordinate information of the target point. I can. In this regard, FIG. 2 will be described as an example.

도 2는 도 1에 도시된 본 발명의 일 실시예에 따른 위치 추적 시스템에서의 대상점 위치 추적을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing a location of a target point in a location tracking system according to an embodiment of the present invention shown in FIG. 1.

도 2를 참조하면, 드론(10)은 해수면 DB에 기반하여 설정되는 비행경로를 따라 비행하면서 해수면 영상을 획득할 수 있다. Referring to FIG. 2, the drone 10 may acquire a sea level image while flying along a flight path set based on a sea level DB.

실시간 위치 추적 장치(100)는 드론(10)으로부터 영상을 수신하여 출력할 수 있으며, 사용자로부터 영상에 나타나는 대상점을 선택 받을 수 있다. The real-time location tracking apparatus 100 may receive and output an image from the drone 10, and may receive a target point displayed on the image from a user.

실시간 위치 추적 장치(100)는 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 수신하고, 미리 저장된 해수면 DB 및 카메라(11)의 화각 정보를 이용하여 삼각측량법에 의해 대상점의 3차원 위치 좌표 정보를 획득할 수 있다. 이와 관련하여 구체적인 설명은 후술하기로 한다.The real-time location tracking device 100 receives the current position coordinates of the drone 10 and the attitude information of the camera 11 from the drone 10, and uses the sea level DB and the angle of view information of the camera 11 stored in advance. Thus, it is possible to obtain 3D position coordinate information of the target point. In this regard, a detailed description will be described later.

이와 같이 본 발명의 일 실시예에 따른 위치 추적 시스템(1000)은 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 획득하여 대상점의 정확한 위치 좌표 획득이 가능하다. 따라서 본 발명의 일 실시예에 따른 위치 추적 시스템(1000)은 드론(10)을 이용하여 산악 또는 해양환경 관제 시, 산불 발생, 유류유출, 인명피해 등의 위치가 발견되는 경우, 신속한 대응이 가능하여 피해를 줄일 수 있을 것이다.As described above, the location tracking system 1000 according to an embodiment of the present invention acquires data including the current position coordinates of the drone 10 and posture information of the camera 11 from the drone 10 to obtain an accurate location of the target point. It is possible to obtain coordinates. Therefore, when the location tracking system 1000 according to an embodiment of the present invention uses the drone 10 to control a mountain or marine environment, when a location such as a forest fire, oil spill, or personal injury is found, a quick response is possible. You will be able to reduce the damage.

이하 도 3 이하를 참조하여 도 1에 도시된 실시간 위치 추적 장치(100)에 대하여 구체적으로 설명한다.Hereinafter, the real-time location tracking apparatus 100 shown in FIG. 1 will be described in detail with reference to FIG. 3.

도 3은 본 발명의 일 실시예에 따른 실시간 위치 추적 장치의 블록도이다.3 is a block diagram of a real-time location tracking apparatus according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 영상 수신부(110), 데이터 수신부(120) 및 좌표 정보 산출부(130)를 포함할 수 있다.Referring to FIG. 3, a real-time location tracking apparatus 101 according to an embodiment of the present invention may include an image receiving unit 110, a data receiving unit 120, and a coordinate information calculating unit 130.

본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 도 3에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수도 있다.The real-time location tracking apparatus 101 according to an embodiment of the present invention may be implemented by more components than those shown in FIG. 3, or by fewer components.

본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 카메라(11)를 통해 영상을 획득하는 드론(10)으로부터 영상 및 각종 데이터를 수신하고, 이를 이용하여 영상에 나타나는 대상점의 3차원 좌표 정보를 산출할 수 있다. 이와 관련하여 도 4를 참조하여 간략히 설명한다.The real-time location tracking device 101 according to an embodiment of the present invention receives an image and various data from the drone 10 that acquires an image through the camera 11, and uses the three-dimensional image of a target point displayed in the image. Coordinate information can be calculated. This will be briefly described with reference to FIG. 4.

도 4는 본 발명의 일 실시예에 따른 실시간 위치 추적 장치에서의 위치 추적을 설명하기 위한 도면이다.4 is a view for explaining location tracking in a real-time location tracking device according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 드론(10)으로부터 카메라(11)를 통해 촬영하는 지형의 영상을 수신하여 출력할 수 있다. Referring to FIG. 4, the real-time location tracking device 101 according to an embodiment of the present invention may receive and output an image of a terrain captured through a camera 11 from a drone 10.

본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 사용자로부터 영상에 나타나는 대상점(1)을 선택 받을 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 터치 입력이 가능한 터치스크린으로 구현되어 영상에서 어느 지점에 터치 입력이 발생하였는지를 감지할 수 있으며, 영상 내에서 터치 입력이 발생한 위치 정보를 획득할 수 있다.The real-time location tracking apparatus 101 according to an embodiment of the present invention may receive a selection of a target point 1 appearing on an image from a user. For example, the real-time location tracking device 101 according to an embodiment of the present invention is implemented as a touch screen capable of a touch input to detect where a touch input occurs in an image, and a touch input is performed within the image. It is possible to obtain the location information that occurred.

본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 영상에서 대상점의 위치 정보, 즉, 영상 내에서 터치 입력이 발생한 위치 정보를 드론(10)으로 전송할 수 있다. 드론(10)은 터치 입력이 발생한 위치 정보를 이용하여, 영상의 중심에 대상점이 위치할 수 있도록 카메라(11)의 각도를 제어할 수 있다. 이에 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 중심에 대상점이 위치하는 영상을 출력할 것이다.The real-time location tracking apparatus 101 according to an embodiment of the present invention may transmit location information of a target point in an image, that is, location information in which a touch input occurs in the image, to the drone 10. The drone 10 may control the angle of the camera 11 so that the target point is located at the center of the image by using the location information where the touch input has occurred. Accordingly, the real-time location tracking apparatus 101 according to an embodiment of the present invention will output an image in which the target point is located at the center.

본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신하고, 이를 삼각측량법에 적용하여 대상점의 3차원 위치 좌표를 산출할 수 있다.The real-time location tracking device 101 according to an embodiment of the present invention receives data including the coordinates of the current position of the drone 10 and the attitude information of the camera 11 from the drone 10, and applies this to the triangulation method. Thus, the three-dimensional position coordinates of the target point can be calculated.

본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 대상점의 3차원 위치 좌표 및 드론(10)으로부터 수신하는 각종 데이터를 영상과 함께 출력할 수 있다.The real-time location tracking apparatus 101 according to an embodiment of the present invention may output 3D location coordinates of a target point and various data received from the drone 10 together with an image.

이하 도 3에 도시된 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)의 각 구성요소에 대해 구체적으로 설명한다.Hereinafter, each component of the real-time location tracking apparatus 101 according to an embodiment of the present invention shown in FIG. 3 will be described in detail.

영상 수신부(110)는 드론(10)으로부터 카메라(11)를 통해 획득하는 영상을 실시간으로 수신하여 출력할 수 있다. The image receiving unit 110 may receive and output an image acquired through the camera 11 from the drone 10 in real time.

데이터 수신부(120)는 드론(10)으로부터 영상에 나타나는 대상점의 위치 추적을 위한 데이터를 수신할 수 있다. 여기에서 데이터에는 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보가 포함될 수 있다.The data receiving unit 120 may receive data for tracking the location of a target point appearing in the image from the drone 10. Here, the data may include coordinates of the current position of the drone 10 and posture information of the camera 11.

데이터 수신부(120)는 드론(10)에서 카메라(11)의 각도가 제어되는 경우, 드론(10)으로부터 데이터를 수신할 수 있다. 데이터 수신부(120)는 영상 내에서 사용자에 의해 터치 입력이 발생한 위치 정보를 획득하여 드론(10)으로 전송할 수 있다. 여기서 터치 입력이 발생한 위치는 대상점의 위치에 해당한다. 드론(10)은 영상의 중심에 대상점이 위치하도록 카메라(11)의 각도를 제어할 수 있을 것이며, 이때 데이터 수신부(120)로 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 전송할 수 있다.The data receiver 120 may receive data from the drone 10 when the angle of the camera 11 is controlled by the drone 10. The data receiving unit 120 may acquire location information in which a touch input has occurred by a user in the image and transmit it to the drone 10. Here, the location where the touch input occurs corresponds to the location of the target point. The drone 10 will be able to control the angle of the camera 11 so that the target point is located at the center of the image, and at this time, the data receiving unit 120 can transmit the current position coordinates of the drone 10 and the attitude information of the camera 11. Can be transmitted.

이처럼 데이터 수신부(120)는 영상의 중심에 사용자에 의해 설정되는 대상점이 위치하도록 드론(10)에 탑재된 카메라의 각도가 제어되는 경우, 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신할 수 있다.In this way, when the angle of the camera mounted on the drone 10 is controlled so that the target point set by the user is located at the center of the image, the data receiving unit 120 provides the current position coordinates and the camera of the drone 10 from the drone 10 Data including the posture information of (11) may be received.

좌표 정보 산출부(130)는 삼각측량법을 이용하여 영상에 설정되는 대상점의 3차원 좌표 정보를 산출할 수 있다.The coordinate information calculator 130 may calculate 3D coordinate information of a target point set in an image using triangulation.

좌표 정보 산출부(130) 드론(10)이 비행하는 지형을 나타내는 3차원 좌표 정보 및 드론(10)에 탑재된 카메라(11)의 화각을 미리 획득하여 저장할 수 있다. 좌표 정보 산출부(130)는 데이터 수신부(120)를 통해 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 획득할 수 있다. 좌표 정보 산출부(130)는 이러한 데이터들을 이용한 삼각측량법을 통해 대상점의 3차원 좌표 정보를 역추적할 수 있다. 삼각측량법은 삼각형 한 변의 길이와 그 양쪽의 각을 알면 남은 변의 길이를 계산해 내는 수학공식을 이용해 평면위치를 결정하는 측량법이다. 이와 관련하여 도 5를 참조하여 설명한다.The coordinate information calculation unit 130 may acquire and store in advance 3D coordinate information indicating the terrain on which the drone 10 flies and the angle of view of the camera 11 mounted on the drone 10. The coordinate information calculation unit 130 may obtain the coordinates of the current position of the drone 10 and posture information of the camera 11 through the data receiving unit 120. The coordinate information calculator 130 may backtrack the 3D coordinate information of the target point through triangulation using such data. Triangulation is a surveying method that determines the plane position using a mathematical formula that calculates the length of the remaining side by knowing the length of one side of a triangle and the angles of both sides. This will be described with reference to FIG. 5.

도 5는 도 3에 도시된 좌표 정보 산출부에서의 대상점의 위치 좌표 산출 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram illustrating a method of calculating position coordinates of a target point in the coordinate information calculating unit illustrated in FIG. 3.

예를 들면, 좌표 정보 산출부(130)는 대상점(P)을 지나며, 대상점(P)을 중심으로 하는 기선(

)을 설정할 수 있다. 즉

및

의 길이는 동일하다.For example, the coordinate information calculation unit 130 passes through the target point P, and the base line (

) Can be set. In other words

And

Are the same length.

좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표(D)로부터 기선(

)으로 내리는 수선(

)을 설정할 수 있다. The coordinate information calculation unit 130 is based on the current position coordinate D of the drone 10

()

) Can be set.

좌표 정보 산출부(130)는 수선(

)의 길이를 산출할 수 있다. 좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표(D) 및 드론(10)이 비행하는 지형을 나타내는 3차원 좌표 정보를 이용하여 수선(

)의 길이를 산출할 수 있다. 예컨대 좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표(D)의 고도값에서 드론(10)이 비행하는 지형을 나타내는 3차원 좌표 정보의 고도값을 빼는 방식으로 수선(

)의 길이를 산출할 수 있다.The coordinate information calculation unit 130 is repaired (

) Can be calculated. The coordinate information calculation unit 130 uses the coordinates D of the current position of the drone 10 and 3D coordinate information indicating the terrain on which the drone 10 is flying.

) Can be calculated. For example, the coordinate information calculation unit 130 is repaired by subtracting the altitude value of 3D coordinate information indicating the terrain on which the drone 10 is flying from the altitude value of the current position coordinate D of the drone 10

) Can be calculated.

좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표(D) 및 대상점(P)을 연결하는 선(

)을 설정할 수 있으며, 카메라(11)의 화각(

) 및 카메라(11)의 자세 정보에 포함되는 각도(α)를 이용하여 드론(10)의 현재 위치 좌표(D) 및 대상점(P)을 연결하는 선(

)과 수선(

)이 이루는 각도(β)를 산출할 수 있다. 예컨대 카메라(11)는 영상의 중심에 대상점(P)이 위치하도록 앵글을 조절하므로, 좌표 정보 산출부(130)는 화각(

)의 1/2에서 카메라(11)의 자세 정보에 포함되는 각도(α)를 뺀 값을 드론(10)의 현재 위치 좌표(D) 및 대상점(P)을 연결하는 선(

)과 수선(

)이 이루는 각도(β)로 산출할 수 있다.The coordinate information calculation unit 130 is a line connecting the current position coordinate D and the target point P of the drone 10 (

) Can be set, and the angle of view of the camera 11 (

) And a line connecting the current position coordinate (D) and the target point (P) of the drone 10 using the angle (α) included in the attitude information of the camera 11 (

) And repair (

The angle β formed by) can be calculated. For example, since the camera 11 adjusts the angle so that the target point P is located at the center of the image, the coordinate information calculation unit 130

) Minus the angle (α) included in the attitude information of the camera 11 from the line connecting the current position coordinate (D) and the target point (P) of the drone 10 (

) And repair (

) Can be calculated as the angle β.

이에 좌표 정보 산출부(130)는 수선(

)의 길이 및 수선(

)과 선(

)이 이루는 각도(β)를 산출하였으므로, 이를 삼각함수에 적용하는 경우, 선(

)의 길이를 산출할 수 있다.Accordingly, the coordinate information calculation unit 130 is repaired (

) Length and repair (

) And line (

) To form the angle (β), so when applying this to the trigonometric function, the line (

) Can be calculated.

)의 길이와, 드론(10)의 현재 위치 좌표(D) 및 지형을 나타내는 3차원 좌표 정보를 이용하여 대상점(P)의 3차원 좌표 정보를 획득할 수 있을 것이다.The coordinate information calculation unit 130 is a line connecting the current position coordinate D and the target point P of the drone 10 (

), the current location coordinates D of the drone 10, and 3D coordinate information representing the terrain may be used to obtain 3D coordinate information of the target point P.

좌표 정보 산출부(130)는 대상점의 3차원 좌표 정보를 영상과 함께 출력할 수 있으며, 대상점의 3차원 좌표 정보 산출에 사용되는 데이터 또한 함께 출력할 수도 있다.The coordinate information calculator 130 may output 3D coordinate information of the target point together with an image, and may also output data used to calculate 3D coordinate information of the target point.

좌표 정보 산출부(130)는 대상점을 기준으로 하여 미리 설정된 영역의 면적을 산출할 수 있다. 예를 들면, 좌표 정보 산출부(130)는 대상점을 중심으로 하는 미리 설정된 규격의 정사각형을 설정하고, 대상점의 3차원 좌표 정보를 이용하여 해당 정사각형의 면적을 산출할 수 있다. 예컨대 대상점이 산불 발생 지점인 경우, 그 피해면적 및 규모를 산정하여 빠르고 정확한 초기진압을 유도할 수 있을 것이다.The coordinate information calculator 130 may calculate an area of a preset area based on the target point. For example, the coordinate information calculator 130 may set a square of a preset standard centering on the target point, and calculate the area of the corresponding square by using 3D coordinate information of the target point. For example, if the target point is the point of a forest fire, it will be possible to induce fast and accurate initial suppression by calculating the damage area and scale.

이와 같이 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)는 드론(10)에서 획득할 수 있는 데이터를 이용하여 드론(10)에서 획득하는 영상의 정확한 위치 정보를 산출할 수 있다. As described above, the real-time location tracking apparatus 101 according to an embodiment of the present invention may calculate accurate location information of an image acquired by the drone 10 by using data that can be acquired by the drone 10.

따라서 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)가 드론(10)을 이용한 산악 또는 해양환경 관제 시스템에 적용되는 경우, 위험 지점의 정확한 위치 정보의 산출이 가능하여 신속한 초기 대응을 기대할 수 있다.Therefore, when the real-time location tracking device 101 according to an embodiment of the present invention is applied to a mountain or marine environment control system using the drone 10, it is possible to calculate accurate location information of a dangerous point, so that a quick initial response can be expected. I can.

도 6은 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치의 블록도이다.6 is a block diagram of a real-time location tracking apparatus according to another embodiment of the present invention.

도 6을 참조하면, 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 영상 수신부(110), 데이터 수신부(120), 좌표 정보 산출부(130) 및 관제 제어부(140)를 포함할 수 있다.6, a real-time location tracking apparatus 102 according to another embodiment of the present invention includes an image receiving unit 110, a data receiving unit 120, a coordinate information calculating unit 130, and a control control unit 140. I can.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 도 6에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수도 있다.The real-time location tracking apparatus 102 according to another embodiment of the present invention may be implemented by more components than the components shown in FIG. 6, and may be implemented by fewer components.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)와 같이 카메라(11)를 통해 영상을 획득하는 드론(10)으로부터 영상 및 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신하고, 데이터를 이용하여 영상에 나타나는 대상점의 3차원 좌표 정보를 산출할 수 있다.Real-time location tracking device 102 according to another embodiment of the present invention, like the real-time location tracking device 101 according to an embodiment of the present invention, from the drone 10 that acquires an image through the camera 11 Data including current position coordinates of the drone 10 and attitude information of the camera 11 may be received, and 3D coordinate information of a target point displayed in an image may be calculated using the data.

또한 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 대상점이 이동에 의해 연속하여 산출되는 대상점의 3차원 좌표 정보의 변화에 따라 드론(10)의 이동 간격을 설정하여 드론(10)의 관제를 제어할 수 있다. 이와 관련하여 도 7을 참조하여 간략히 설명한다.In addition, the real-time location tracking device 102 according to another embodiment of the present invention sets the movement interval of the drone 10 according to the change in 3D coordinate information of the target point continuously calculated by moving the target point. ) Can be controlled. This will be briefly described with reference to FIG. 7.

도 7은 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치에서의 관제 제어를 설명하기 위한 도면이다.7 is a diagram for describing control control in a real-time location tracking device according to another embodiment of the present invention.

도 7을 참조하면, 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 드론(10)으로부터 카메라(11)를 통해 촬영하는 지형의 영상을 수신하여 출력할 수 있다.Referring to FIG. 7, the real-time location tracking device 102 according to another embodiment of the present invention may receive and output an image of a terrain captured through a camera 11 from a drone 10.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 사용자로부터 영상에 나타나는 대상점(2)을 선택 받을 수 있다. 예를 들면, 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 터치 입력이 가능한 터치스크린으로 구현되어 영상에서 어느 지점에 터치 입력이 발생하였는지를 감지할 수 있으며, 영상 내에서 터치 입력이 발생한 위치 정보를 획득할 수 있다.The real-time location tracking apparatus 102 according to another embodiment of the present invention may receive a selection of a target point 2 appearing on an image from a user. For example, the real-time location tracking device 102 according to another embodiment of the present invention is implemented as a touch screen capable of a touch input to detect where a touch input occurs in an image, and a touch input is performed within the image. It is possible to obtain the location information that occurred.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 영상에서 대상점의 위치 정보, 즉, 영상 내에서 터치 입력이 발생한 위치 정보를 드론(10)으로 전송할 수 있다. 드론(10)은 터치 입력이 발생한 위치 정보를 이용하여, 영상의 중심에 대상점이 위치할 수 있도록 카메라(11)의 각도를 제어할 수 있다. 이에 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 중심에 대상점이 위치하는 영상을 출력할 것이다.The real-time location tracking device 102 according to another embodiment of the present invention may transmit location information of a target point in an image, that is, location information in which a touch input occurs in the image, to the drone 10. The drone 10 may control the angle of the camera 11 so that the target point is located at the center of the image by using the location information where the touch input has occurred. Accordingly, the real-time location tracking device 102 according to another embodiment of the present invention will output an image in which the target point is located at the center.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신하고, 이를 삼각측량법에 적용하여 대상점의 3차원 위치 좌표를 산출할 수 있다.The real-time location tracking device 102 according to another embodiment of the present invention receives data including the coordinates of the current position of the drone 10 and the attitude information of the camera 11 from the drone 10, and applies this to the triangulation method. Thus, the three-dimensional position coordinates of the target point can be calculated.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 대상점의 3차원 위치 좌표 및 드론(10)으로부터 수신하는 각종 데이터를 영상과 함께 출력할 수 있다.The real-time location tracking apparatus 102 according to another embodiment of the present invention may output 3D location coordinates of a target point and various data received from the drone 10 together with an image.

한편 도 7에 도시된 바와 같이 대상점(2)이 이동하여 영상 내에서 위치가 변할 때마다, 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 다시 수신하고 이를 삼각측량법에 적용하여 대상점(2)의 3차원 위치 좌표를 산출할 수 있다. 즉 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 영상의 중심에 대상점이 위치할 수 있도록 카메라(11)의 각도가 제어될 때마다 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신하여 대상점(2)의 위치를 추적할 수 있다.On the other hand, as shown in FIG. 7, whenever the target point 2 moves and the location within the image changes, the real-time location tracking device 102 according to another embodiment of the present invention is from the drone 10 to the drone 10 The three-dimensional position coordinates of the target point 2 may be calculated by receiving data including the current position coordinates of and the attitude information of the camera 11 again and applying the same to triangulation. That is, the real-time location tracking device 102 according to another embodiment of the present invention is the current position of the drone 10 from the drone 10 whenever the angle of the camera 11 is controlled so that the target point is located at the center of the image. The position of the target point 2 can be tracked by receiving data including coordinates and posture information of the camera 11.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 대상점(2)의 이동에 의해 연속하여 산출되는 대상점(2)의 3차원 좌표 정보를 이용하여 대상점(2)의 이동 간격을 산출하고 이를 드론(10)으로 전송할 수 있다. The real-time location tracking device 102 according to another embodiment of the present invention uses the three-dimensional coordinate information of the target point 2 that is continuously calculated by the movement of the target point 2 to move the distance of the target point 2 Can be calculated and transmitted to the drone 10.

드론(10)은 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)로부터 수신하는 대상점(2)의 이동 간격과 동일한 간격으로 이동함으로써 이동하는 대상점(2)을 계속 추적할 수 있을 것이다.The drone 10 can continuously track the moving target point 2 by moving at the same interval as the moving distance of the target point 2 received from the real-time location tracking device 102 according to another embodiment of the present invention. will be.

이하 도 6에 도시된 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)의 각 구성요소에 대해 구체적으로 설명한다.Hereinafter, each component of the real-time location tracking apparatus 102 according to another embodiment of the present invention shown in FIG. 6 will be described in detail.

본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)는 도 3에 도시된 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)와 비교하면 관제 제어부(140)를 더 포함한다는 점에서 차이가 있을 뿐 나머지 다른 구성은 동일하다. 따라서 이하에서는 관제 제어부(140)에 대해서만 설명하고 나머지 영상 수신부(110), 데이터 수신부(120) 및 좌표 정보 산출부(130)에 대한 설명은 상술한 것으로 대체한다.In that the real-time location tracking device 102 according to another embodiment of the present invention further includes a control control unit 140 compared to the real-time location tracking device 101 according to the embodiment of the present invention shown in FIG. There are differences, but the rest of the configuration is the same. Therefore, hereinafter, only the control control unit 140 will be described, and the description of the remaining image receiving unit 110, the data receiving unit 120, and the coordinate information calculating unit 130 will be replaced with the above.

관제 제어부(140)는 대상점의 이동에 의해 좌표 정보 산출부(130)에서 대상점의 3차원 좌표 정보가 연속하여 산출되는 경우, 대상점의 이동 간격을 산출하여 드론(10)으로 전송할 수 있다.When the coordinate information calculation unit 130 continuously calculates 3D coordinate information of the target point due to the movement of the target point, the control control unit 140 may calculate a movement interval of the target point and transmit it to the drone 10. .

예를 들면, 드론(10)이 해양 환경을 촬영하여 해수면 영상을 획득하고, 그 영상에 조난자가 대상점으로 설정되는 경우, 대상점은 계속하여 이동할 것이며 신속한 구조활동을 위해 위치 추적 및 관제가 필요하다.For example, if the drone 10 photographs a marine environment to acquire an image of sea level, and the victim is set as a target point in the image, the target point will continue to move and location tracking and control are required for rapid rescue activities. Do.

따라서 관제 제어부(140)는 연속하여 산출되는 대상점의 3차원 좌표 정보를 이용하여 대상점의 이동 간격을 산출할 수 있다. 여기서 좌표 정보 산출부(130)는 영상에서 사용자의 대상점 설정에 의해 드론(10)의 카메라 각도가 제어되는 경우, 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신할 것이며, 드론(10)으로부터 데이터를 수신할 때마다 대상점의 3차원 좌표 정보를 산출할 수 있다.Accordingly, the control control unit 140 may calculate the moving interval of the target point using 3D coordinate information of the target point that is continuously calculated. Here, when the camera angle of the drone 10 is controlled by the user's target point setting in the image, the coordinate information calculation unit 130 provides the coordinates of the current position of the drone 10 and the attitude of the camera 11 from the drone 10 Data including information will be received, and 3D coordinate information of the target point can be calculated whenever data is received from the drone 10.

관제 제어부(140)는 대상점의 이동 간격을 드론(10)으로 전송할 수 있다. 이와 같은 경우 드론(10)은 대상점의 이동 간격에 따라 설정되는 간격으로 이동하면서 대상점을 추적할 수 있다. 예를 들면, 드론(10)은 대상점의 이동 간격과 동일한 간격으로 비행할 수 있다.The control control unit 140 may transmit the movement interval of the target point to the drone 10. In this case, the drone 10 may track the target point while moving at an interval set according to the moving interval of the target point. For example, the drone 10 may fly at the same interval as the moving interval of the target point.

도 8은 본 발명의 또 다른 실시예예 따른 실시간 위치 추적 장치의 블록도이다.8 is a block diagram of a real-time location tracking apparatus according to another embodiment of the present invention.

도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 영상 수신부(110), 데이터 수신부(120), 좌표 정보 산출부(130), 관제 제어부(140) 및 정사영상 생성부(150)를 포함할 수 있다.8, a real-time location tracking device 103 according to another embodiment of the present invention includes an image receiving unit 110, a data receiving unit 120, a coordinate information calculating unit 130, a control control unit 140, and It may include an image generating unit 150.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 도 8에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수도 있다.The real-time location tracking apparatus 103 according to another embodiment of the present invention may be implemented by more components than the components shown in FIG. 8, and may be implemented by fewer components.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)와 같이 카메라(11)를 통해 영상을 획득하는 드론(10)으로부터 영상 및 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신하고, 데이터를 이용하여 영상에 나타나는 대상점의 3차원 좌표 정보를 산출할 수 있다.The real-time location tracking device 103 according to another embodiment of the present invention includes an image from a drone 10 that acquires an image through a camera 11 like the real-time location tracking device 102 according to another embodiment of the present invention. And data including current position coordinates of the drone 10 and attitude information of the camera 11 may be received, and 3D coordinate information of a target point displayed in the image may be calculated using the data.

또한 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 대상점이 이동에 의해 연속하여 산출되는 대상점의 3차원 좌표 정보의 변화에 따라 드론(10)의 이동 간격을 설정하여 드론(10)의 관제를 제어할 수 있다.In addition, the real-time location tracking device 103 according to another embodiment of the present invention sets the movement interval of the drone 10 according to the change in 3D coordinate information of the target point continuously calculated by moving the target point, 10) can be controlled.

또한 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 드론(10)으로부터 수신하는 영상을 구성하는 어느 하나의 픽셀을 대상점으로 설정하여 그 픽셀이 나타내는 지형의 3차원 좌표 정보를 산출하고, 영상에 3차원 좌표 정보를 포함시켜 정사영상을 구성할 수 있다. 이와 관련하여 도 9를 참조하여 간략히 설명한다.In addition, the real-time location tracking device 103 according to another embodiment of the present invention sets any one pixel constituting the image received from the drone 10 as a target point, and provides 3D coordinate information of the terrain represented by the pixel. It is calculated, and 3D coordinate information is included in the image to form an orthogonal image. In this regard, a brief description will be given with reference to FIG. 9.

도 9는 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치에서의 정사영상 생성을 설명하기 위한 도면이다.9 is a diagram for explaining generation of an orthogonal image in a real-time location tracking device according to another embodiment of the present invention.

도 9를 참조하면, 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 드론(10)으로부터 카메라(11)를 통해 촬영하는 지형의 영상 및 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신할 수 있다.Referring to FIG. 9, a real-time location tracking device 103 according to another embodiment of the present invention includes an image of a terrain captured from a drone 10 through a camera 11 and a current position coordinate of the drone 10 and a camera. Data including the posture information of (11) may be received.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 드론(10)으로부터 수신하는 영상을 구성하는 어느 하나의 픽셀을 대상점으로 설정하고, 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 삼각측량법에 적용하여 대상점의 3차원 위치 좌표를 산출할 수 있다.The real-time location tracking device 103 according to another embodiment of the present invention sets any one pixel constituting the image received from the drone 10 as a target point, and the current position coordinates of the drone 10 and the camera ( The three-dimensional position coordinates of the target point can be calculated by applying the data including the posture information of 11) to the triangulation method.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 대상점으로 설정된 픽셀이 나타내는 지형의 3차원 좌표 정보를 이용하여 영상을 구성하는 모든 픽셀이 각각 나타내는 지형의 3차원 좌표 정보를 산출할 수 있다.The real-time location tracking device 103 according to another embodiment of the present invention calculates 3D coordinate information of the terrain represented by each of the pixels constituting an image using 3D coordinate information of the terrain represented by a pixel set as a target point. can do.

한편 드론(10)은 정사영상 제작을 위해 적어도 4 개의 다른 각도로 동일한 지형을 촬영한 영상을 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)로 전송할 수 있다.Meanwhile, the drone 10 may transmit an image photographing the same terrain at at least four different angles to produce an orthogonal image to the real-time location tracking device 103 according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 드론(10)으로부터 수신하는 모든 영상에 대한 3차원 좌표 정보를 산출하고, 이를 조합하여 3차원 좌표 정보를 포함하는 정사영상을 생성할 수 있다.The real-time location tracking device 103 according to another embodiment of the present invention calculates 3D coordinate information for all images received from the drone 10 and combines it to generate an orthogonal image including 3D coordinate information. can do.

이하 도 8에 도시된 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)의 각 구성요소에 대해 구체적으로 설명한다.Hereinafter, each component of the real-time location tracking device 103 according to another embodiment of the present invention shown in FIG. 8 will be described in detail.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 도 7에 도시된 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(103)와 비교하면 정사영상 생성부(150)를 더 포함한다는 점에서 차이가 있을 뿐 나머지 다른 구성은 동일하다. 따라서 이하에서는 정사영상 생성부(150)에 대해서만 설명하고 나머지 영상 수신부(110), 데이터 수신부(120), 좌표 정보 산출부(130) 및 관제 제어부(140)에 대한 설명은 상술한 것으로 대체한다.The real-time location tracking device 103 according to another embodiment of the present invention further includes an orthogonal image generator 150 as compared to the real-time location tracking device 103 according to another embodiment of the present invention shown in FIG. 7. There is a difference in that, but the other configurations are the same. Therefore, hereinafter, only the orthogonal image generating unit 150 will be described, and the descriptions of the remaining image receiving unit 110, the data receiving unit 120, the coordinate information calculating unit 130, and the control control unit 140 will be replaced with those described above.

정사영상 생성부(150)는 사용자로부터 정사영상 생성 여부를 선택 받기 위한 인터페이스를 생성하여 출력할 수 있다. The ortho image generator 150 may generate and output an interface for receiving a selection of whether or not to generate an ortho image from a user.

정사영상 생성부(150)는 사용자로부터 정사영상 생성을 요청 받는 경우, 드론(10)으로부터 수신하는 영상을 구성하는 픽셀을 대상점으로 설정할 수 있다.When a request for generating an orthogonal image is received from a user, the orthoimage generator 150 may set a pixel constituting an image received from the drone 10 as a target point.

예를 들면, 정사영상 생성부(150)는 드론(10)으로부터 수신하는 영상의 중심에 위치하는 픽셀을 대상점으로 설정할 수 있다.For example, the orthogonal image generator 150 may set a pixel located at the center of an image received from the drone 10 as a target point.

정사영상 생성부(150)는 데이터 수신부(120)를 통해 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신하고, 좌표 정보 산출부(130)를 통해 대상점의 3차원 위치 좌표 정보를 획득할 수 있다.The orthogonal image generation unit 150 receives data including the current position coordinates of the drone 10 and the attitude information of the camera 11 from the drone 10 through the data receiving unit 120, and the coordinate information calculation unit 130 ) To obtain 3D positional coordinate information of the target point.

정사영상 생성부(150)는 대상점으로 설정된 픽셀이 나타내는 지형의 3차원 좌표 정보를 기준으로 하여 영상을 구성하는 각 픽셀이 나타내는 지형의 3차원 좌표 정보를 산출할 수 있다.The orthogonal image generator 150 may calculate 3D coordinate information of the terrain represented by each pixel constituting the image based on 3D coordinate information of the terrain represented by the pixel set as the target point.

드론(10)은 미리 저장된 정사영상 촬영을 위한 비행 알고리즘에 따라 다각도로 동일한 영역을 촬영하여 정사영상 생성부(150)로 전송할 수 있다. 정사영상 생성부(150)는 드론(10)으로부터 수신하는 적어도 하나의 영상에 대해 3차원 좌표 정보를 획득할 수 있다. The drone 10 may photograph the same area at multiple angles according to a flight algorithm for photographing a previously stored orthogonal image and transmit it to the orthogonal image generator 150. The orthogonal image generator 150 may obtain 3D coordinate information for at least one image received from the drone 10.

정사영상 생성부(150)는 특정 영역을 촬영한 다각도의 영상에 있어서, 각 영상의 3차원 좌표 정보에 맞추어 복수의 영상을 합성하여 하나의 영상을 생성할 수 있다. 그리고 정사영상 생성부(150)는 해당 영상에 3차원 좌표 정보를 포함시켜 특정 영역에 대한 정사영상을 생성할 수 있다.The orthogonal image generator 150 may generate one image by synthesizing a plurality of images according to 3D coordinate information of each image in a multi-angle image photographing a specific area. In addition, the orthogonal image generator 150 may generate an orthogonal image for a specific area by including 3D coordinate information in the corresponding image.

이와 같이 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)는 드론(10)으로부터 수신하는 데이터를 이용한 영상의 위치 좌표 획득 방법을 이용하여 정사영상을 생성함으로써, 정사영상 생성에 요구되는 영상의 개수 및 연산량을 최소화하여 신속한 정사영상 생성이 가능하다.As described above, the real-time location tracking device 103 according to another embodiment of the present invention generates an orthogonal image using a method of obtaining positional coordinates of an image using data received from the drone 10. It is possible to quickly generate orthogonal images by minimizing the number of images and the amount of computation.

이하에서는 도 10 이하를 참조하여 본 발명의 실시간 위치 추적 방법에 대하여 설명한다.Hereinafter, a real-time location tracking method of the present invention will be described with reference to FIG. 10.

도 10은 본 발명의 일 실시예에 따른 실시간 위치 추적 방법을 보여주는 흐름도이다.10 is a flowchart illustrating a real-time location tracking method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 실시간 위치 추적 방법은 도 3에 도시된 본 발명의 일 실시예에 따른 실시간 위치 추적 장치(101)와 실질적으로 동일한 구성 하에서 진행될 수 있다. 따라서 도 3의 장치(101)와 동일한 구성요소는 동일한 도면부호를 부여하고 반복되는 설명은 생략한다.The real-time location tracking method according to an embodiment of the present invention may be performed under substantially the same configuration as the real-time location tracking apparatus 101 according to the embodiment of the present invention shown in FIG. 3. Accordingly, the same components as those of the device 101 of FIG. 3 are given the same reference numerals, and repeated descriptions are omitted.

도 10을 참조하면, 영상 수신부(110)는 드론(10)으로부터 카메라(11)를 통해 획득하는 영상을 실시간으로 수신하여 출력할 수 있다(S100).Referring to FIG. 10, the image receiving unit 110 may receive and output an image acquired through the camera 11 from the drone 10 in real time (S100).

데이터 수신부(120)는 영상에서 대상점이 설정되는 경우(S200), 드론(10)으로부터 드론(10)이 현재 위치 좌표 및 카메라(11)의 자세 정보를 수신할 수 있다(S300).When a target point is set in the image (S200), the data receiver 120 may receive the current position coordinates and posture information of the camera 11 from the drone 10 (S300).

데이터 수신부(120)는 영상 내에서 사용자에 의해 터치 입력이 발생한 위치 정보를 획득하여 드론(10)으로 전송할 수 있다. 여기서 터치 입력이 발생한 위치는 대상점의 위치에 해당한다. 드론(10)은 영상의 중심에 대상점이 위치하도록 카메라(11)의 각도를 제어할 수 있을 것이며, 이때 데이터 수신부(120)로 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 전송할 수 있다.The data receiving unit 120 may acquire location information in which a touch input has occurred by a user in the image and transmit it to the drone 10. Here, the location where the touch input occurs corresponds to the location of the target point. The drone 10 will be able to control the angle of the camera 11 so that the target point is located at the center of the image, and at this time, the data receiving unit 120 can transmit the current position coordinates of the drone 10 and the attitude information of the camera 11. Can be transmitted.

데이터 수신부(120)는 영상의 중심에 사용자에 의해 설정되는 대상점이 위치하도록 드론(10)에 탑재된 카메라의 각도가 제어되는 경우, 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신할 수 있다.When the angle of the camera mounted on the drone 10 is controlled so that the target point set by the user is located at the center of the image, the data receiving unit 120 receives the coordinates of the current position of the drone 10 from the drone 10 and the camera ( Data including posture information of 11) may be received.

좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표, 카메라(11)의 자세 정보 및 카메라(11)의 화각을 이용하여 대상점의 3차원 좌표 정보를 산출할 수 있다(S400).The coordinate information calculation unit 130 may calculate 3D coordinate information of the target point using the current position coordinate of the drone 10, posture information of the camera 11, and the angle of view of the camera 11 (S400 ).

좌표 정보 산출부(130) 드론(10)이 비행하는 지형을 나타내는 3차원 좌표 정보 및 드론(10)에 탑재된 카메라(11)의 화각을 미리 획득하여 저장할 수 있다. 좌표 정보 산출부(130)는 데이터 수신부(120)를 통해 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 획득할 수 있다. 좌표 정보 산출부(130)는 이러한 데이터들을 이용한 삼각측량법을 통해 대상점의 3차원 좌표 정보를 역추적할 수 있다. The coordinate information calculation unit 130 may acquire and store in advance 3D coordinate information indicating the terrain on which the drone 10 flies and the angle of view of the camera 11 mounted on the drone 10. The coordinate information calculation unit 130 may obtain the coordinates of the current position of the drone 10 and posture information of the camera 11 through the data receiving unit 120. The coordinate information calculator 130 may backtrack the 3D coordinate information of the target point through triangulation using such data.

도 11은 본 발명의 다른 실시예에 따른 실시간 위치 추적 방법을 보여주는 흐름도이다.11 is a flowchart illustrating a real-time location tracking method according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 실시간 위치 추적 방법은 도 6에 도시된 본 발명의 다른 실시예에 따른 실시간 위치 추적 장치(102)와 실질적으로 동일한 구성 하에서 진행될 수 있다. 따라서 도 6의 장치(102)와 동일한 구성요소는 동일한 도면부호를 부여하고 반복되는 설명은 생략한다.The real-time location tracking method according to another embodiment of the present invention may be performed under substantially the same configuration as the real-time location tracking apparatus 102 according to another embodiment of the present invention shown in FIG. 6. Accordingly, the same components as those of the device 102 of FIG. 6 are given the same reference numerals, and repeated descriptions are omitted.

도 11을 참조하면, 영상 수신부(110)는 드론(10)으로부터 카메라(11)를 통해 획득하는 영상을 실시간으로 수신하여 출력할 수 있다(S101).Referring to FIG. 11, the image receiving unit 110 may receive and output an image acquired through the camera 11 from the drone 10 in real time (S101).

데이터 수신부(120)는 영상에서 대상점이 설정되는 경우(S201), 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 수신할 수 있다(S301).When a target point is set in the image (S201), the data receiver 120 may receive the coordinates of the current position of the drone 10 and posture information of the camera 11 from the drone 10 (S301).

좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표, 카메라(11)의 자세 정보 및 카메라(11)의 화각을 이용하여 대상점의 3차원 좌표 정보를 산출할 수 있다(S401).The coordinate information calculation unit 130 may calculate 3D coordinate information of the target point using the current position coordinate of the drone 10, posture information of the camera 11, and the angle of view of the camera 11 (S401 ).

관제 제어부(140)는 대상점의 이동에 의해 좌표 정보 산출부(130)에서 대상점의 3차원 좌표 정보가 연속하여 산출되는 경우(S501), 대상점의 이동 간격을 산출할 수 있다(S601).When the three-dimensional coordinate information of the target point is continuously calculated by the coordinate information calculating unit 130 by the movement of the target point (S501), the control control unit 140 may calculate a movement interval of the target point (S601). .

관제 제어부(140)는 연속하여 산출되는 대상점의 3차원 좌표 정보를 이용하여 대상점의 이동 간격을 산출할 수 있다. 여기서 좌표 정보 산출부(130)는 영상에서 사용자의 대상점 설정에 의해 드론(10)의 카메라 각도가 제어되는 경우, 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 포함하는 데이터를 수신할 것이며, 드론(10)으로부터 데이터를 수신할 때마다 대상점의 3차원 좌표 정보를 산출할 수 있다.The control control unit 140 may calculate a moving interval of the target point using 3D coordinate information of the target point that is continuously calculated. Here, when the camera angle of the drone 10 is controlled by the user's target point setting in the image, the coordinate information calculation unit 130 provides the coordinates of the current position of the drone 10 and the attitude of the camera 11 from the drone 10 Data including information will be received, and 3D coordinate information of the target point can be calculated whenever data is received from the drone 10.

관제 제어부(140)는 대상점의 이동 간격을 드론(10)으로 전송할 수 있다(S701).The control control unit 140 may transmit the movement interval of the target point to the drone 10 (S701).

이와 같은 경우 드론(10)은 대상점의 이동 간격에 따라 설정되는 간격으로 이동하면서 대상점을 추적할 수 있다.In this case, the drone 10 may track the target point while moving at an interval set according to the moving interval of the target point.

도 12 및 도 13은 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 방법을 보여주는 흐름도이다.12 and 13 are flowcharts illustrating a real-time location tracking method according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 실시간 위치 추적 방법은 도 8에 도시된 본 발명의 또 다른 실시예에 따른 실시간 위치 추적 장치(103)와 실질적으로 동일한 구성 하에서 진행될 수 있다. 따라서 도 8의 장치(103)와 동일한 구성요소는 동일한 도면부호를 부여하고 반복되는 설명은 생략한다.The real-time location tracking method according to another embodiment of the present invention may be performed under substantially the same configuration as the real-time location tracking apparatus 103 according to another embodiment of the present invention shown in FIG. 8. Accordingly, the same components as those of the device 103 of FIG. 8 are given the same reference numerals, and repeated descriptions are omitted.

도 12를 참조하면, 영상 수신부(110)는 드론(10)으로부터 카메라(11)를 통해 획득하는 영상을 실시간으로 수신하여 출력할 수 있다(S103).Referring to FIG. 12, the image receiving unit 110 may receive and output an image acquired through the camera 11 from the drone 10 in real time (S103).

정사영상 생성부(150)는 사용자로부터 정사영상 생성 여부를 선택 받을 수 있다(S203).The ortho image generation unit 150 may receive a selection from the user whether or not to generate an ortho image (S203).

데이터 수신부(120)는 사용자로부터 정사영상 생성을 요청 받지 않고(S203), 영상에서 대상점이 설정되는 경우(S303), 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 수신할 수 있다(S403).The data receiving unit 120 does not receive a request for generating an orthogonal image from the user (S203), and when a target point is set in the image (S303), the current position coordinates of the drone 10 and the attitude of the camera 11 from the drone 10 Information can be received (S403).

좌표 정보 산출부(130)는 드론(10)의 현재 위치 좌표, 카메라(11)의 자세 정보 및 카메라(11)의 화각을 이용하여 대상점의 3차원 좌표 정보를 산출할 수 있다(S503).The coordinate information calculation unit 130 may calculate 3D coordinate information of the target point using the current position coordinate of the drone 10, posture information of the camera 11, and the angle of view of the camera 11 (S503 ).

관제 제어부(140)는 대상점의 이동에 의해 좌표 정보 산출부(130)에서 대상점의 3차원 좌표 정보가 연속하여 산출되는 경우(S603), 대상점의 이동 간격을 산출할 수 있다(S703).When the three-dimensional coordinate information of the target point is continuously calculated by the coordinate information calculating unit 130 by the movement of the target point (S603), the control control unit 140 may calculate a movement interval of the target point (S703). .

관제 제어부(140)는 대상점의 이동 간격을 드론(10)으로 전송할 수 있다(S803).The control control unit 140 may transmit the movement interval of the target point to the drone 10 (S803).

한편 도 13을 참조하면, 정사영상 생성부(150)는 사용자로부터 정사영상 생성을 요청 받는 경우(S203), 드론(10)으로부터 수신하는 영상을 구성하는 픽셀을 대상점으로 설정할 수 있다(S213).Meanwhile, referring to FIG. 13, when a request for generating an orthogonal image is received from a user (S203), the orthogonal image generator 150 may set a pixel constituting an image received from the drone 10 as a target point (S213). .

정사영상 생성부(150)는 데이터 수신부(120)를 통해 드론(10)으로부터 드론(10)의 현재 위치 좌표 및 카메라(11)의 자세 정보를 수신할 수 있다(S223).The orthogonal image generator 150 may receive the coordinates of the current position of the drone 10 and posture information of the camera 11 from the drone 10 through the data receiver 120 (S223).

정사영상 생성부(150)는 드론(10)의 현재 위치 좌표, 카메라(11)의 자세 정보 및 카메라(11)의 화각을 이용하여 픽셀의 3차원 좌표 정보를 산출할 수 있다(S233).The orthogonal image generator 150 may calculate 3D coordinate information of a pixel by using the current position coordinate of the drone 10, posture information of the camera 11, and angle of view of the camera 11 (S233 ).

정사영상 생성부(150)는 영상에 픽셀의 3차원 좌표 정보를 포함시켜 정사영상을 생성할 수 있다(S243).The orthogonal image generation unit 150 may generate an orthogonal image by including 3D coordinate information of a pixel in the image (S243).

이와 같은, 본 발명의 실시간 위치 추적 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.As such, the real-time location tracking method of the present invention may be implemented as an application or implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded in the computer-readable recording medium may be specially designed and constructed for the present invention, and may be known and usable to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. media), and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention described in the following claims. I will be able to.

1000: 위치 추적 시스템
10: 드론
11: 카메라
100: 실시간 위치 추적 장치1000: location tracking system
10: drone
11: camera
100: real-time location tracking device

Claims

In a real-time location tracking method in a real-time location tracking device for tracking the location of a target point appearing in the image using a drone that photographs an image of the terrain while flying along a flight path based on 3D coordinate information representing the terrain,
Receiving and outputting the image from the drone;
Receiving a selection of the target point appearing in the image;
Acquiring location information of the selected target point and transmitting it to the drone;
When the angle of the camera mounted on the drone is changed so that the target point is located at the center of the image using the location information, the camera including the current position coordinate of the drone and the angle of the camera from the drone Receiving posture information; And
Computing the three-dimensional coordinate information of the target point by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera previously stored,
The step of calculating three-dimensional coordinate information of the target point by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera previously stored,
Setting a base line passing through the target point and centered on the target point;
Calculating a length of a waterline descending from the current position coordinates of the drone to the base line using the current position coordinates of the drone and 3D coordinate information representing the terrain;
Using the roll, pitch, and yaw angles included in the camera's posture information and the angle of view of the camera, the angle formed by the repair line and the line connecting the target point from the drone is calculated. step; And
A drone comprising the step of calculating a length of a line connecting the repair line and the target point from the drone by applying a length of the repair line and an angle formed by a line connecting the target point from the drone to the repair line to a trigonometric function. Real-time location tracking method used.

The method of claim 1,
When the target point moves, 3D coordinate information of the target point is calculated by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera stored in advance whenever the angle of the camera changes. Step to do;
Calculating a movement interval of the target point using 3D coordinate information of the target point continuously calculated by moving the target point; And
The real-time location tracking method using a drone further comprising the step of transmitting the movement interval of the target point to the drone so that the drone can control the target point while moving according to the movement interval of the target point.

The method of claim 1,
When the target point is set as any one pixel constituting the image, calculating 3D coordinate information of the terrain represented by the pixel set as the target point; And
The real-time location tracking method using a drone further comprising the step of calculating 3D coordinate information of the terrain represented by each of the plurality of pixels constituting the image by using 3D coordinate information of the terrain represented by the pixel set as the target point.

The method of claim 3,
The real-time location tracking method using a drone further comprising the step of constructing an orthogonal image by including 3D coordinate information of the terrain represented by each of the plurality of pixels in the image.

The method of claim 1,
Real-time location tracking method using a drone further comprising the step of calculating an area of an ROI set based on the target point by using 3D coordinate information of the target point.

In a real-time location tracking device for tracking the location of a target point appearing in the image using a drone that photographs an image of the terrain while flying along a flight path based on 3D coordinate information representing the terrain,
An image receiver configured to receive and output the image from the drone;
The target point located in the image is selected, the location information of the selected target point is acquired and transmitted to the drone, and the target point is mounted on the drone so that the target point is located at the center of the image using the location information. When the angle of the camera is changed, the data receiving unit for receiving the attitude information of the camera including the current position coordinates of the drone and the angle of the camera from the drone; And
A coordinate information calculator configured to calculate three-dimensional coordinate information of the target point by triangulation using the current position coordinates of the drone, the attitude information of the camera, and the angle of view of the camera previously stored,
The coordinate information calculation unit,
Set a base line that passes through the target point and centers on the target point, and uses the current position coordinate of the drone and three-dimensional coordinate information representing the terrain to determine the length of the waterline descending from the current position coordinate of the drone to the base line. The angle formed by the line connecting the target point from the drone and the repair line is calculated using the roll, pitch, and yaw angles included in the camera's attitude information and the angle of view of the camera. A drone that calculates the length of the repair line and the length of the line connecting the repair line and the target point from the drone by applying a trigonometric function to the length of the repair line and the angle formed by the line connecting the target point from the drone to the repair line. Real-time location tracking device.

The method of claim 6,
The coordinate information calculation unit,
When the target point moves, 3D coordinate information of the target point is calculated by triangulation using the current position coordinate of the drone, the attitude information of the camera, and the angle of view of the camera stored in advance whenever the angle of the camera changes. Real-time location tracking device using a drone.

The method of claim 7,
The movement interval of the target point is calculated by using the three-dimensional coordinate information of the target point continuously calculated by the movement of the target point, and the drone controls the target point while moving according to the movement interval of the target point. Real-time location tracking device using a drone further comprising a control control unit for transmitting the movement interval of the target point to the drone to be able to.

The method of claim 6,
The coordinate information calculation unit,
When the target point is set to any one pixel constituting the image, a real-time location tracking device using a drone to calculate 3D coordinate information of the terrain represented by the pixel set as the target point.

The method of claim 9,
3D coordinate information of the terrain represented by each of the plurality of pixels constituting the image is calculated using 3D coordinate information of the terrain represented by the pixel set as the target point, and 3 of the terrain represented by each of the plurality of pixels in the image A real-time location tracking device using a drone further comprising an orthogonal image generator configured to configure an orthoimage by including dimensional coordinate information.

A drone that photographs an image of the terrain while flying along a flight path based on 3D coordinate information representing the terrain; And
Receives and outputs the image from the drone, selects a target point located in the image, acquires location information of the selected target point, and transmits it to the drone, and uses the location information to the center of the image. When the angle of the camera mounted on the drone is changed so that the target point is located, the current position coordinates of the drone and posture information of the camera including the angle of the camera are received from the drone, and the current position of the drone A location tracking system comprising a real-time location tracking device for calculating three-dimensional coordinate information of the target point by triangulation using coordinates, posture information of the camera, and a pre-stored angle of view of the camera.