KR102610397B1 - Object tracking method using multi-camera based drone and object tracking system using the same - Google Patents
Object tracking method using multi-camera based drone and object tracking system using the same Download PDFInfo
- Publication number
- KR102610397B1 KR102610397B1 KR1020210074073A KR20210074073A KR102610397B1 KR 102610397 B1 KR102610397 B1 KR 102610397B1 KR 1020210074073 A KR1020210074073 A KR 1020210074073A KR 20210074073 A KR20210074073 A KR 20210074073A KR 102610397 B1 KR102610397 B1 KR 102610397B1
- Authority
- KR
- South Korea
- Prior art keywords
- drone
- information
- tracking
- drones
- server
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
멀티 카메라 기반 드론을 이용한 객체추적방법은 서버로부터 추적이 필요한 객체정보가 송신되는 단계와, 객체정보를 수신한 복수의 드론이 각각 미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 객체정보에 대응되는 객체를 식별하는 단계와, 복수의 드론 중 객체정보에 대응되는 객체를 최초로 식별한 드론이, 해당 객체에 식별번호를 부여하고 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하는 단계와, 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론이 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하는 단계와, 추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 추적드론으로 자동 변경되는 단계를 포함하는 것을 특징으로 한다.The object tracking method using a multi-camera-based drone includes a step in which object information that needs to be tracked is transmitted from the server, and multiple drones that have received the object information each patrol a preset surveillance area to detect the object based on the shooting information from the mounted camera. A step of identifying an object corresponding to the information, and the drone that first identifies the object corresponding to the object information among the plurality of drones assigns an identification number to the object and sends tracking information including the identification number, location, and speed to other drones. A step of transmitting information to the object information, at least one drone that has identified an object corresponding to the object information measures the distance to the object at its own location, and the closest drone is designated as a tracking drone and starts tracking; When the tracking drone leaves the preset surveillance area, a neighboring drone in the moving path of the object is automatically changed to a tracking drone.
Description
본 발명은 드론 시스템에 관한 것으로서, 더 상세하게는 멀티 카메라 기반 드론을 이용한 객체추적시스템에 관한 것이다.The present invention relates to a drone system, and more specifically, to an object tracking system using a multi-camera-based drone.
사람이 기체에 타지 않고 원격으로 조종 가능한 무인항공기(UAV, Unmanned Aerial Vehicle)는 드론(drone)으로 대표되며, 현재 군사용 뿐만 아니라 민간 시장에서 널리 활용되고 있다.Unmanned aerial vehicles (UAV), which can be controlled remotely without a human being on board, are represented by drones and are currently widely used in the civilian market as well as military applications.
드론은 사람의 접근이 어려운 특정 지역을 관리, 감시하기 위해 사용될 수 있다. Drones can be used to manage and monitor specific areas that are difficult for humans to access.
구체적으로 드론은 자유롭고 신속하게 이동하여, 탑재된 카메라나 센서를 통해 특정 지역에 대한 원격 감시를 진행 할 수 있다. 즉, 드론은 조난자 수색, 산불 감시, 교통 위반 단속, 우범 지역 및 국경 지역 감시 같은 공공 목적으로 활용될 수 있다. Specifically, drones can move freely and quickly and remotely monitor specific areas through mounted cameras or sensors. In other words, drones can be used for public purposes such as searching for people in distress, monitoring forest fires, cracking down on traffic violations, and monitoring high-crime areas and border areas.
드론은 공중으로 이동하므로 이동성이 뛰어나다. 즉, 심각한 교통 체증, 험난한 도로 사정에도 드론은 공중을 통해 신속하게 이동할 수 있다.Drones have excellent mobility because they move in the air. In other words, drones can move quickly through the air even in severe traffic jams and rough road conditions.
한편, 감시지역에 설치된 복수의 감시 카메라로 객체(사람)를 추적하는 종래의 감시 시스템은, 카메라의 위치가 고정되어 있어 추적효과가 감소하는 문제점이 있다.Meanwhile, the conventional surveillance system that tracks objects (people) with a plurality of surveillance cameras installed in the surveillance area has a problem in that the tracking effect is reduced because the positions of the cameras are fixed.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 다양한 각도 및 방향에서 객체를 추적할 수 있는 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템을 제공한다.The present invention was proposed to solve the above technical problems, and provides an object tracking method using a multi-camera-based drone that can track objects from various angles and directions and an object tracking system using the same.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 서버로부터 추적이 필요한 객체정보가 송신되는 단계와, 객체정보를 수신한 복수의 드론이 각각 미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 객체정보에 대응되는 객체를 식별하는 단계와, 복수의 드론 중 객체정보에 대응되는 객체를 최초로 식별한 드론이, 해당 객체에 식별번호를 부여하고 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하는 단계와, 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론이 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하는 단계와, 추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 추적드론으로 자동 변경되는 단계를 포함하는 멀티 카메라 기반 드론을 이용한 객체추적방법이 제공된다.According to an embodiment of the present invention to solve the above problem, object information that needs to be tracked is transmitted from a server, and a plurality of drones that have received the object information each travel around a preset surveillance area and take pictures of the mounted cameras. A step of identifying an object corresponding to the object information based on the information, and the drone that first identifies the object corresponding to the object information among the plurality of drones assigns an identification number to the object and includes the identification number, position, and speed. A step of transmitting tracking information to other drones, and at least one drone that has identified an object corresponding to the object information measures the distance to the object at its own location, and the closest drone is designated as the tracking drone to track it. An object tracking method using a multi-camera-based drone is provided, which includes a starting step and a step where a neighboring drone in the moving path of the object is automatically changed to a tracking drone when the tracking drone leaves the preset surveillance area.
또한, 본 발명의 다른 실시예에 따르면, 추적이 필요한 객체정보를 송신하는 서버와, 미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 객체를 추적함에 있어서 객체정보에 대응되는 객체를 식별하여 추적하는 복수의 드론을 포함하고, 복수의 드론 중 객체정보에 대응되는 객체를 최초로 식별한 드론은, 해당 객체에 식별번호를 부여하고 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하는 것을 특징으로 하는 멀티 카메라 기반 드론을 이용한 객체추적시스템이 제공된다.In addition, according to another embodiment of the present invention, a server transmits object information that needs to be tracked, and an object corresponding to the object information is tracked based on shooting information from a camera mounted while traveling around a preset surveillance area. It includes a plurality of drones that are identified and tracked, and the drone that first identifies an object corresponding to object information among the plurality of drones assigns an identification number to the object and transmits tracking information including the identification number, location, and speed to other drones. An object tracking system using a multi-camera-based drone is provided.
또한, 본 발명에서 복수의 드론 중 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론은, 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하는 것을 특징으로 한다.In addition, in the present invention, at least one drone that identifies an object corresponding to object information among a plurality of drones measures the distance to the object at its own location, and the closest drone is designated as the tracking drone and starts tracking. It is characterized by:
또한, 본 발명에서 복수의 드론 중 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론은, 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하되 추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 추적드론으로 자동변경 되는 것을 특징으로 한다.In addition, in the present invention, at least one drone that identifies an object corresponding to object information among a plurality of drones measures the distance to the object at its own location, and the closest drone is designated as the tracking drone and starts tracking. However, if the tracking drone leaves the preset surveillance area, neighboring drones in the moving path of the object are automatically changed to tracking drones.
또한, 본 발명에서 객체정보는, 색상정보, 크기정보, 고도별 식별영상정보 및 각도별 식별영상정보를 포함하는 것을 특징으로 한다.In addition, the object information in the present invention is characterized by including color information, size information, identification image information by altitude, and identification image information by angle.
본 발명의 실시예에 따른 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템은, 복수의 드론의 카메라를 이용하여 다양한 각도 및 방향에서 객체를 추적할 수 있어 객체를 더욱 정확하게 감지 및 추적할 수 있는 효과가 발생한다.The object tracking method using a multi-camera-based drone and the object tracking system using the same according to an embodiment of the present invention can track objects from various angles and directions using the cameras of a plurality of drones, thereby detecting and tracking objects more accurately. There are effects that can be achieved.
도 1은 본 발명의 실시예에 따른 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)의 구성도
도 2는 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)의 동작 순서도
도 3은 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)을 이용하여 객체가 추적되는 예시도Figure 1 is a configuration diagram of an object tracking system (1) using a multi-camera-based drone according to an embodiment of the present invention.
Figure 2 is an operation flow chart of the object tracking system (1) using a multi-camera-based drone.
Figure 3 is an example of an object being tracked using an object tracking system (1) using a multi-camera-based drone.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.Hereinafter, in order to explain the present invention in detail so that a person skilled in the art can easily implement the technical idea of the present invention, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)의 구성도이고, 도 2는 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)의 동작 순서도이고, 도 3은 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)을 이용하여 객체가 추적되는 예시도이다.Figure 1 is a configuration diagram of an object tracking system 1 using a multi-camera-based drone according to an embodiment of the present invention, Figure 2 is an operation flow chart of the object tracking system 1 using a multi-camera-based drone, and Figure 3 is This is an example of an object being tracked using an object tracking system (1) using a multi-camera-based drone.
본 실시예에 따른 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The object tracking system 1 using a multi-camera-based drone according to this embodiment includes only a brief configuration to clearly explain the technical idea to be proposed.
도 1 내지 도 3을 참조하면, 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)은 복수의 드론(100)과, 서버(200)를 포함하여 구성된다.Referring to FIGS. 1 to 3, an object tracking system 1 using a multi-camera-based drone is comprised of a plurality of drones 100 and a server 200.
상기와 같이 구성되는 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)의 주요동작을 살펴보면 다음과 같다.The main operations of the object tracking system (1) using a multi-camera-based drone configured as described above are as follows.
본 발명에서는 드론에 장착된 카메라를 이용하여 다중 미디어 정보를 확보하고 이를 활용한 추적 기술을 제안하였다. 즉, 제안된 시스템은 고정된 카메라와 달리 다양한 각도 혹은 방향에서 추적할 수 있고 식별된 객체(사람)를 드론을 이용하여 연속적으로 추적할 수 있다.In the present invention, we secured multi-media information using a camera mounted on a drone and proposed a tracking technology using this. In other words, the proposed system, unlike a fixed camera, can track from various angles or directions and can continuously track identified objects (people) using a drone.
서버(200)는 추적이 필요한 객체정보를 복수의 드론(100)으로 전송한다.The server 200 transmits object information requiring tracking to a plurality of drones 100.
서버(200)와 복수의 드론(100)은 무선통신으로 데이터를 교환하도록 구성되며, 유효 통신거리를 확장시키기 위해, 복수의 드론(100)은 이웃하는 드론과 데이터를 상호 중계하면서 서버(200)와 데이터를 교환하도록 구성될 수도 있다.The server 200 and the plurality of drones 100 are configured to exchange data through wireless communication. In order to extend the effective communication distance, the plurality of drones 100 relay data to each other with neighboring drones to communicate with the server 200. It may also be configured to exchange data with.
복수의 드론(100)은 각각 미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 객체를 추적하며, 서버(200)로부터 전송된 객체정보에 대응되는 객체를 식별하여 추적한다.The plurality of drones 100 each travel around a preset surveillance area and track objects based on shooting information from mounted cameras, and identify and track objects corresponding to object information transmitted from the server 200.
이때, 복수의 드론(100) 중 객체정보에 대응되는 객체를 최초로 식별한 드론은, 해당 객체에 식별번호를 부여하고 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하도록 동작한다.At this time, the drone that first identifies the object corresponding to the object information among the plurality of drones 100 assigns an identification number to the object and operates to transmit tracking information including the identification number, location, and speed to other drones.
또한, 복수의 드론(100) 중 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론은, 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하도록 동작한다.In addition, among the plurality of drones 100, at least one drone that has identified an object corresponding to object information measures the distance to the object at its own location, and the closest drone is designated as the tracking drone and starts tracking. It operates to do so.
또한, 복수의 드론(100) 중 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론은, 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하는데, 이때, 최초의 추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 두 번째 추적드론으로 자동변경 되어 연속적인 객체추적이 가능하도록 동작할 수 있다.In addition, among the plurality of drones 100, at least one drone that has identified an object corresponding to object information measures the distance to the object at its own location, and the closest drone is designated as the tracking drone and starts tracking. At this time, if the first tracking drone leaves the preset surveillance area, a neighboring drone in the moving path of the object can automatically change to the second tracking drone and operate to enable continuous object tracking.
도 2의 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)의 동작 순서도와, 도 3의 멀티 카메라 기반 드론을 이용한 객체추적시스템(1)을 이용하여 객체가 추적되는 예시도를 다시 참조하면,Referring again to the operation flowchart of the object tracking system (1) using a multi-camera-based drone in FIG. 2 and the example diagram of an object being tracked using the object tracking system (1) using a multi-camera-based drone in FIG. 3,
본 발명의 실시예에 따른 멀티 카메라 기반 드론을 이용한 객체추적방법은,The object tracking method using a multi-camera-based drone according to an embodiment of the present invention,
서버(200)로부터 추적이 필요한 객체(사람)의 특징(색상, 크기)을 입력받은 단계(S10)와,A step (S10) of receiving characteristics (color, size) of an object (person) that needs to be tracked from the server 200,
복수의 드론(100)이 서버(200)에서 제공받은 다중 미디어 정보를 기준으로 객체를 인식하는 단계(S20)와,A step (S20) in which a plurality of drones 100 recognize an object based on multi-media information provided by the server 200;
객체를 최초 식별한 드론이 해당 객체에 식별번호를 부여하고 위치/속도 확인하고 다른 드론에게 식별정보를 공유하는 단계(S30)와,A step (S30) in which the drone that first identifies the object assigns an identification number to the object, checks the location/speed, and shares the identification information with other drones;
공유된 식별정보를 바탕으로 다른 드론이 자신의 위치에서 다중 비전 객체 인식을 진행하는 단계(S40)와,A step (S40) in which another drone performs multi-vision object recognition at its own location based on the shared identification information,
각 드론의 위치에서 해당 객체와의 거리측정을 진행하는 단계(S50)와,A step of measuring the distance to the corresponding object at the location of each drone (S50),
가장 가까운 드론이 객체추적을 시작하는 단계(S60)와,A step in which the nearest drone starts tracking the object (S60),
해당 객체의 움직이는 경로에 다른 드론이 있을 경우, 추적 드론을 변경하는 단계(S70)를 통해서 처리된다.If there is another drone in the moving path of the object, it is processed through the step of changing the tracking drone (S70).
즉, 멀티 카메라 기반 드론을 이용한 객체추적방법은, 서버(200)로부터 추적이 필요한 객체정보가 송신되는 단계와, 객체정보를 수신한 복수의 드론(100)이 각각 미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 객체정보에 대응되는 객체를 식별하는 단계와, 복수의 드론(100) 중 객체정보에 대응되는 객체를 최초로 식별한 드론이, 해당 객체에 식별번호를 부여하고 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하는 단계와, 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론이 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하는 단계와, 추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 추적드론으로 자동 변경되는 단계를 통해 처리될 수 있다.In other words, the object tracking method using a multi-camera-based drone includes a step in which object information requiring tracking is transmitted from the server 200, and a plurality of drones 100 that have received the object information are mounted while each traveling around a preset surveillance area. A step of identifying an object corresponding to the object information based on the shooting information of the camera, and the drone that first identifies the object corresponding to the object information among the plurality of drones 100 assigns an identification number to the object and , transmitting tracking information including location and speed to other drones, and at least one drone that has identified an object corresponding to the object information measures the distance to the object at its own location, and the closest drone is It can be processed through a step of being designated as a tracking drone and starting tracking, and a step of automatically changing neighboring drones in the movement path of the object into tracking drones when the tracking drone leaves the preset surveillance area.
한편, 서버(200)로부터 제공되는 객체정보는 색상정보, 크기정보, 고도별 식별영상정보 및 각도별 식별영상정보를 포함한다. 따라서 복수의 드론(100)은 고도별 식별영상정보 및 각도별 식별영상정보를 모두 고려하여 자신의 위치에서 객체를 식별하는 동작을 수행하므로 객체식별 정확도가 향상된다.Meanwhile, object information provided from the server 200 includes color information, size information, identification image information by altitude, and identification image information by angle. Accordingly, the plurality of drones 100 perform an operation to identify objects at their own locations by considering both the identification image information for each altitude and the identification image information for each angle, thereby improving object identification accuracy.
또한, 복수의 드론(100)은 자신의 촬영영상을 서버(200)로 실시간 전송하는데, 서버(200)는 각 드론에서 전송되는 촬영영상과 각 드론의 위치정보를 모두 고려하여 촬영영상을 3차원 영상으로 변환한 후, 3차원 영상에서 객체식별을 독립적으로 진행할 수 있다. 이때, 서버(200)에서 객체를 최초 식별했을 경우, 서버(200)는 복수의 드론(100) 중 식별된 객체와 가장 가까운 위치에 있는 드론을 추적드론으로 지정하고 해당 객체를 추적하도록 지시할 수 있다.In addition, the plurality of drones 100 transmit their captured images in real time to the server 200, and the server 200 converts the captured images into 3D images by considering both the captured images transmitted from each drone and the location information of each drone. After converting to an image, object identification can be performed independently from the 3D image. At this time, when the server 200 first identifies the object, the server 200 may designate the drone located closest to the identified object among the plurality of drones 100 as the tracking drone and instruct it to track the object. there is.
또한, 각 드론은 객체를 식별할 때 객체들이 소정의 영상 유사도 값 이상을 가질 경우, 유사한 영역의 영상정보를 차분하여 추가인식영역을 선정하고 추가인식영역의 영상 차이점을 토대로 고유 식별자를 해당 영역에 부여할 수 있다. 즉, 유사한 영역의 영상정보를 차분하여 추가인식영역을 선정하고 추가인식영역의 영상 차이점을 토대로 고유 식별자를 해당 영역에 부여하여 관리할 수 있다.In addition, when identifying objects, each drone selects an additional recognition area by subtracting the image information of similar areas if the objects have a predetermined image similarity value or more, and assigns a unique identifier to the area based on the image differences in the additional recognition area. It can be granted. In other words, image information of similar areas can be differentiated to select an additional recognition area, and a unique identifier can be assigned to the area based on the image differences in the additional recognition area for management.
또한, 각 드론은 촬영영상을 자체적으로 영상처리하여 객체를 식별하도록 구성될 수도 있으나, 연산량을 감소시키기 위해 촬영영상을 서버(200)로 전달한 후 서버(200)에서 영상처리를 진행한 후 결과값만을 각 드론으로 피드백하여 드론의 연산량을 감소시킬 수도 있다.In addition, each drone may be configured to independently process captured images to identify objects. However, in order to reduce the amount of computation, the captured images are transmitted to the server 200 and the resulting images are processed by the server 200. It is also possible to reduce the amount of computation of a drone by feeding it back to each drone.
또한, 서버(200)에서 파노라마 촬영을 지시할 경우, 복수의 드론(100)은 지정된 객체를 소정의 이격거리를 두고 둘러싸면서 360도 원형 이미지를 촬영할 수 있다.Additionally, when the server 200 instructs panoramic shooting, the plurality of drones 100 can capture a 360-degree circular image while surrounding the designated object at a predetermined distance.
촬영된 360도 원형 이미지는 서버(200)로 전송되어 영상처리되는데, 서버(200)는 원형 이미지에서 평면 이미지를 생성하기 위한 부분 왜곡 해소 및 부분 이미지 처리를 위해 원형 이미지를 분할한다. 즉, 분할된 원형 이미지의 단위(원형 분할 단위 이미지)는 해상도, 원호, 픽셀, 이미지 왜곡 등을 고려하여 분할될 수 있다.The captured 360-degree circular image is transmitted to the server 200 for image processing. The server 200 divides the circular image to resolve partial distortion and process partial images to create a flat image from the circular image. That is, the unit of the divided circular image (circular division unit image) can be divided considering resolution, arc, pixel, image distortion, etc.
원형 분할 단위 이미지를 기반으로 평면 이미지를 생성하는 방법은 다음과 같다.The method for generating a flat image based on a circular segment unit image is as follows.
우선, 원형 분할 단위 이미지의 픽셀 구조를 파악할 수 있다. 픽셀 구조가 파악된 원형 분할 단위 이미지에 대한 기준 초점 픽셀을 추출할 수 있다. 기준 초점 픽셀은 확장 또는 축소가 필요하지 않은 픽셀일 수 있다. 픽셀 구조는 기준 초점 픽셀을 기준으로 축소해야 하는 픽셀과 확장해야 하는 픽셀로 구분될 수 있다.First, the pixel structure of the circular segment unit image can be identified. The reference focus pixel for the circular segment unit image with the pixel structure identified can be extracted. The reference focus pixel may be a pixel that does not require expansion or contraction. The pixel structure can be divided into pixels that need to be reduced and pixels that need to be expanded based on the reference focus pixel.
평면 분할 단위 이미지를 생성하기 위한 부분 왜곡 해소를 위해 픽셀 당 보정 처리를 수행할 수 있다. 예를 들어, 기준 초점 픽셀을 기준으로 확장된 영역에 대해서는 축소 면적을 결정하여 축소를 수행하고, 축소된 영역에 대해서는 확장 영역을 결정하고 보간을 통해 확장을 수행할 수 있다. 해상도, 원호, 픽셀, 이미지 왜곡 등을 고려한 추가적인 이미지 처리를 통해 평면 분할 단위 이미지를 추출할 수 있다. 이러한 방법을 통해 복수의 원형 분할 단위 이미지가 복수의 평면 분할 단위 이미지로 생성될 수 있다.Per-pixel correction processing can be performed to eliminate partial distortion to generate a flat segment unit image. For example, for an area expanded based on a reference focus pixel, a reduction area can be determined and reduction can be performed, and for a reduced area, an expansion area can be determined and expansion can be performed through interpolation. Plane segmentation unit images can be extracted through additional image processing considering resolution, arc, pixel, image distortion, etc. Through this method, a plurality of circular division unit images can be generated as a plurality of planar division unit images.
즉, 서버(200)는 파노라마 촬영영상이 전송될 경우, 상술한 바와 같이 복수의 평면 분할 단위 이미지를 생성한 후, 객체를 식별하므로 자동식별 확률이 더욱 높아진다.That is, when a panoramic captured image is transmitted, the server 200 generates a plurality of plane segment unit images as described above and then identifies the object, thereby further increasing the probability of automatic identification.
서버(200)는 각 드론에서 전송되는 이미지를 수신하여, 실시간으로 객체를 인식하는 이미지 프로세서를 진행한다. 서버(200)는 인식된 객체정보를 각 드론으로 피드백한다. 즉, 객체인식을 진행하는 과정이 서버(200)에서 진행되고, 서버(200)는 인식된 결과만을 객체정보로써 각 드론에 피드백함으로써 드론의 연산부하가 감소되는 효과가 발생한다. 이때, 각 드론은 이미지를 송신하는 동시에 처리를 원하는 영상처리명령까지 서버(200)에 전송하고, 그 결과값만을 피드백 받을 수 있다.The server 200 receives images transmitted from each drone and performs an image processor to recognize objects in real time. The server 200 feeds back the recognized object information to each drone. In other words, the process of object recognition is carried out in the server 200, and the server 200 feeds back only the recognized results as object information to each drone, resulting in a reduction in the computational load of the drone. At this time, each drone transmits an image and at the same time transmits an image processing command desired to be processed to the server 200, and only the result value can be received as feedback.
이와 같이, 서버(200)는 인식된 객체정보를 각 드론으로 피드백 하는데, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 시간별 위치정보를 포함한다. In this way, the server 200 feeds back recognized object information to each drone, and each object information includes an identification code pre-assigned for each object type and time-specific location information about the central area of each object.
참고적으로, 식별코드는 객체코드 및 부가코드를 포함하는데, 객체코드는 형상에 부여된 코드이고, 부가코드는 부가 데이터 정보를 코드화한 것으로 정의된다.For reference, the identification code includes an object code and an additional code. The object code is a code assigned to the shape, and the additional code is defined as coding additional data information.
또한, 서버(200)는 촬영영상 중에서 영상의 변화가 없는 부분을 피드백하고, 각 드론은 영상의 변화가 없는 부분은 자동 제거함으로써 자체 저장 용량을 감소시킬 수 있다.In addition, the server 200 feeds back the parts of the image that do not change among the captured images, and each drone automatically removes the parts that do not change in the image, thereby reducing its own storage capacity.
또한, 서버(200)는 영상을 복수의 영역으로 구분한 후, 객체의 움직임 속도를 고려하여 각 영역별 저장 영상 프레임을 가변시킬 수 있는 정보를 각 드론으로 피드백 할 수 있다.Additionally, the server 200 can divide the image into a plurality of areas and then feed back information that can change the stored image frame for each area to each drone by considering the movement speed of the object.
각 드론은 미리 설정된 촬영영역을 복수의 서브영역으로 분할한 후, 각 영역별 감지시간, 감지객체, 감지 이벤트를 독립적으로 미리 설정할 수 있다.Each drone divides the preset shooting area into multiple sub-areas and can independently pre-set the detection time, detection object, and detection event for each area.
본 발명의 실시예에 따른 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템은, 복수의 드론의 카메라를 이용하여 다양한 각도 및 방향에서 객체를 추적할 수 있어 객체를 더욱 정확하게 감지 및 추적할 수 있는 효과가 발생한다.The object tracking method using a multi-camera-based drone and the object tracking system using the same according to an embodiment of the present invention can track objects from various angles and directions using the cameras of a plurality of drones, thereby detecting and tracking objects more accurately. There are effects that can be achieved.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, a person skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
100 : 복수의 드론
200 : 서버100: Drones of Revenge
200: server
Claims (4)
상기 객체정보를 수신한 복수의 드론이 각각 미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 상기 객체정보에 대응되는 객체를 식별하는 단계;
상기 복수의 드론 중 상기 객체정보에 대응되는 객체를 최초로 식별한 드론이, 해당 객체에 식별번호를 부여하고 상기 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하는 단계;
상기 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론이 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하는 단계; 및
추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 추적드론으로 자동 변경되는 단계;를 포함하고,
상기 객체정보는, 색상정보, 크기정보, 고도별 식별영상정보 및 각도별 식별영상정보를 포함하고,
상기 복수의 드론은 자신의 촬영영상을 상기 서버로 실시간 전송하고, 상기 서버는 각 드론에서 전송되는 촬영영상과 각 드론의 위치정보를 모두 고려하여 촬영영상을 3차원 영상으로 변환한 후, 3차원 영상에서 객체식별을 독립적으로 진행하고, 상기 서버에서 객체를 최초 식별했을 경우, 상기 서버는 상기 복수의 드론 중 식별된 객체와 가장 가까운 위치에 있는 드론을 추적드론으로 지정하고 해당 객체를 추적하도록 지시하며,
각 드론은 객체를 식별할 때 객체들이 소정의 영상 유사도 값 이상을 가질 경우, 유사한 영역의 영상정보를 차분하여 추가인식영역을 선정하고 추가인식영역의 영상 차이점을 토대로 고유 식별자를 해당 영역에 부여하고,
상기 서버에서 파노라마 촬영을 지시할 경우, 상기 복수의 드론은 지정된 객체를 소정의 이격거리를 두고 둘러싸면서 360도 원형 이미지를 촬영하고, 상기 서버는 360도 원형 이미지를 수신하여 원형 이미지에서 평면 이미지를 생성하기 위한 부분 왜곡 해소 및 부분 이미지 처리를 위해 원형 이미지를 분할하고,
상기 서버는 인식된 객체정보를 각 드론으로 피드백 하는데, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 시간별 위치정보를 포함하고, 상기 식별코드는 객체코드 및 부가코드를 포함하되, 객체코드는 형상에 부여된 코드이고, 부가코드는 부가 데이터 정보를 코드화한 것을 특징으로 하는 멀티 카메라 기반 드론을 이용한 객체추적방법.
A step of transmitting object information requiring tracking from a server;
Identifying an object corresponding to the object information based on shooting information from a mounted camera while a plurality of drones receiving the object information each travel around a preset surveillance area;
A drone that first identifies an object corresponding to the object information among the plurality of drones assigns an identification number to the object and transmits tracking information including the identification number, location, and speed to another drone;
At least one drone that identifies an object corresponding to the object information measures the distance to the object at its own location, and designates the closest drone as a tracking drone to start tracking; and
When the tracking drone leaves the preset surveillance area, a neighboring drone in the movement path of the object is automatically changed to a tracking drone;
The object information includes color information, size information, identification image information by altitude, and identification image information by angle,
The plurality of drones transmit their captured images to the server in real time, and the server converts the captured images into 3D images by considering both the captured images transmitted from each drone and the location information of each drone, and then converts the captured images into 3D images. When object identification is performed independently in the video and the object is first identified by the server, the server designates the drone closest to the identified object among the plurality of drones as the tracking drone and instructs it to track the object. And
When identifying objects, each drone selects an additional recognition area by subtracting the image information of similar areas if the objects have a predetermined image similarity value or more, and assigns a unique identifier to the area based on the image differences in the additional recognition area. ,
When the server instructs panoramic shooting, the plurality of drones capture a 360-degree circular image while surrounding the designated object at a predetermined distance, and the server receives the 360-degree circular image and converts the circular image into a flat image. Segment the circular image to resolve partial distortion and process partial images to create
The server feeds back the recognized object information to each drone. Each object information includes an identification code pre-assigned for each object type and location information by time for the central area of each object, and the identification code is an object code and an additional An object tracking method using a multi-camera-based drone that includes a code, where the object code is a code assigned to the shape, and the additional code encodes additional data information.
미리 설정된 감시영역을 순회하면서 장착된 카메라의 촬영정보를 바탕으로 객체를 추적함에 있어서 상기 객체정보에 대응되는 객체를 식별하여 추적하는 복수의 드론;을 포함하고,
상기 복수의 드론 중 상기 객체정보에 대응되는 객체를 최초로 식별한 드론은, 해당 객체에 식별번호를 부여하고 상기 식별번호, 위치 및 속도를 포함하는 추적정보를 다른 드론에게 전달하고,
상기 복수의 드론 중 상기 객체정보에 대응되는 객체를 식별한 적어도 하나 이상의 드론은, 각각 자신의 위치에서 해당 객체와의 거리를 측정하고, 가장 가까운 드론이 추적드론으로 지정되어 추적을 시작하되 추적드론이 미리 설정된 감시영역을 벗어날 경우, 해당 객체의 이동경로에 있는 이웃하는 드론이 추적드론으로 자동변경 되며,
상기 객체정보는, 색상정보, 크기정보, 고도별 식별영상정보 및 각도별 식별영상정보를 포함하고,
상기 복수의 드론은 자신의 촬영영상을 상기 서버로 실시간 전송하고, 상기 서버는 각 드론에서 전송되는 촬영영상과 각 드론의 위치정보를 모두 고려하여 촬영영상을 3차원 영상으로 변환한 후, 3차원 영상에서 객체식별을 독립적으로 진행하고, 상기 서버에서 객체를 최초 식별했을 경우, 상기 서버는 상기 복수의 드론 중 식별된 객체와 가장 가까운 위치에 있는 드론을 추적드론으로 지정하고 해당 객체를 추적하도록 지시하고,
각 드론은 객체를 식별할 때 객체들이 소정의 영상 유사도 값 이상을 가질 경우, 유사한 영역의 영상정보를 차분하여 추가인식영역을 선정하고 추가인식영역의 영상 차이점을 토대로 고유 식별자를 해당 영역에 부여하고,
상기 서버에서 파노라마 촬영을 지시할 경우, 상기 복수의 드론은 지정된 객체를 소정의 이격거리를 두고 둘러싸면서 360도 원형 이미지를 촬영하고, 상기 서버는 360도 원형 이미지를 수신하여 원형 이미지에서 평면 이미지를 생성하기 위한 부분 왜곡 해소 및 부분 이미지 처리를 위해 원형 이미지를 분할하고,
상기 서버는 인식된 객체정보를 각 드론으로 피드백 하는데, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 시간별 위치정보를 포함하고, 상기 식별코드는 객체코드 및 부가코드를 포함하되, 객체코드는 형상에 부여된 코드이고, 부가코드는 부가 데이터 정보를 코드화한 것을 특징으로 하는 멀티 카메라 기반 드론을 이용한 객체추적시스템.A server that transmits object information requiring tracking; and
It includes a plurality of drones that identify and track objects corresponding to the object information when traveling around a preset surveillance area and tracking objects based on shooting information from mounted cameras,
The drone that first identifies an object corresponding to the object information among the plurality of drones assigns an identification number to the object and transmits tracking information including the identification number, location, and speed to other drones,
Among the plurality of drones, at least one drone that has identified an object corresponding to the object information measures the distance to the object at its own location, and the closest drone is designated as the tracking drone and starts tracking, but the tracking drone If it leaves this preset surveillance area, neighboring drones in the object's movement path are automatically changed to tracking drones.
The object information includes color information, size information, identification image information by altitude, and identification image information by angle,
The plurality of drones transmit their captured images to the server in real time, and the server converts the captured images into 3D images by considering both the captured images transmitted from each drone and the location information of each drone, and then converts the captured images into 3D images. When object identification is performed independently in the video and the object is first identified by the server, the server designates the drone closest to the identified object among the plurality of drones as the tracking drone and instructs it to track the object. do,
When identifying objects, each drone selects an additional recognition area by subtracting the image information of similar areas if the objects have a predetermined image similarity value or more, and assigns a unique identifier to the area based on the image differences in the additional recognition area. ,
When the server instructs panoramic shooting, the plurality of drones capture a 360-degree circular image while surrounding the designated object at a predetermined distance, and the server receives the 360-degree circular image and converts the circular image into a flat image. Segment the circular image to resolve partial distortion and process partial images to create
The server feeds back the recognized object information to each drone. Each object information includes an identification code pre-assigned for each object type and location information by time for the central area of each object, and the identification code is an object code and an additional An object tracking system using a multi-camera-based drone that includes a code, where the object code is a code assigned to the shape, and the additional code encodes additional data information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210074073A KR102610397B1 (en) | 2021-06-08 | 2021-06-08 | Object tracking method using multi-camera based drone and object tracking system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210074073A KR102610397B1 (en) | 2021-06-08 | 2021-06-08 | Object tracking method using multi-camera based drone and object tracking system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220165449A KR20220165449A (en) | 2022-12-15 |
| KR102610397B1 true KR102610397B1 (en) | 2023-12-05 |
Family
ID=84439364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210074073A KR102610397B1 (en) | 2021-06-08 | 2021-06-08 | Object tracking method using multi-camera based drone and object tracking system using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102610397B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117452970B (en) * | 2023-12-23 | 2024-09-17 | 山西航越科技有限公司 | Unmanned aerial vehicle inspection control method, device, equipment and medium based on artificial intelligence |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110311099A1 (en) | 2010-06-22 | 2011-12-22 | Parrot | Method of evaluating the horizontal speed of a drone, in particular a drone capable of performing hovering flight under autopilot |
| KR101690502B1 (en) | 2015-04-07 | 2016-12-28 | (주)코아텍 | System for tracking using drone |
| CN109556577A (en) | 2017-09-25 | 2019-04-02 | 波音公司 | Positioning system for aerial nondestructive inspection |
| WO2019239694A1 (en) | 2018-06-15 | 2019-12-19 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
| JP2020061082A (en) * | 2018-10-12 | 2020-04-16 | パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 | Tracking system, patrol system, and unmanned air vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130067847A (en) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | Airborne reconnaissance system and method using unmanned aerial vehicle |
| KR101695254B1 (en) * | 2015-02-10 | 2017-01-12 | 한화테크윈 주식회사 | Monitoring and tracking system |
| KR20170001674A (en) | 2016-12-15 | 2017-01-04 | 김준구 | Lighting function used drone to track |
-
2021
- 2021-06-08 KR KR1020210074073A patent/KR102610397B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110311099A1 (en) | 2010-06-22 | 2011-12-22 | Parrot | Method of evaluating the horizontal speed of a drone, in particular a drone capable of performing hovering flight under autopilot |
| KR101690502B1 (en) | 2015-04-07 | 2016-12-28 | (주)코아텍 | System for tracking using drone |
| CN109556577A (en) | 2017-09-25 | 2019-04-02 | 波音公司 | Positioning system for aerial nondestructive inspection |
| WO2019239694A1 (en) | 2018-06-15 | 2019-12-19 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
| JP2020061082A (en) * | 2018-10-12 | 2020-04-16 | パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 | Tracking system, patrol system, and unmanned air vehicle |
Non-Patent Citations (1)
| Title |
|---|
| Multi-UAVs Communication-Aware Cooperative Target Tracking(2018.05.25.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220165449A (en) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210217212A1 (en) | Method and system for automatically colorizing night-vision images | |
| CN106791710B (en) | Target detection method and device and electronic equipment | |
| EP1765014B1 (en) | Surveillance camera apparatus and surveillance camera system | |
| Wheeler et al. | Face recognition at a distance system for surveillance applications | |
| Collins et al. | An active camera system for acquiring multi-view video | |
| KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
| CN103686131A (en) | Monitoring apparatus and system using 3d information of images and monitoring method using the same | |
| WO2019104641A1 (en) | Unmanned aerial vehicle, control method therefor and recording medium | |
| US11978260B2 (en) | Systems and methods for rapid license plate reading | |
| CN112804454A (en) | Wide area warning system and warning method thereof | |
| WO2020110401A1 (en) | Unmanned aircraft, information processing method, and program | |
| KR102610397B1 (en) | Object tracking method using multi-camera based drone and object tracking system using the same | |
| Premachandra et al. | A hybrid camera system for high-resolutionization of target objects in omnidirectional Images | |
| KR20150019230A (en) | Method and apparatus for tracking object using multiple camera | |
| CN116342642A (en) | Target tracking method, device, electronic equipment and readable storage medium | |
| CN112131915A (en) | Face attendance system, camera and code stream equipment | |
| Tamaki et al. | An automatic compensation system for unclear area in 360-degree images using pan-tilt camera | |
| KR20210002288A (en) | Cctv surveillance system using cctv combined drones | |
| CN110770649A (en) | Multi-camera system for tracking one or more objects through a scene | |
| KR101653820B1 (en) | System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same | |
| KR20230121951A (en) | Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof | |
| KR20230158973A (en) | Fire suppression system in collaboration with drones | |
| CN111684784B (en) | Image processing method and device | |
| JP7369623B2 (en) | Information processing system and information processing method | |
| KR20180134114A (en) | Real Time Video Surveillance System and Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |