KR20180133745A - Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same - Google Patents

Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same Download PDF

Info

Publication number
KR20180133745A
KR20180133745A KR1020170070984A KR20170070984A KR20180133745A KR 20180133745 A KR20180133745 A KR 20180133745A KR 1020170070984 A KR1020170070984 A KR 1020170070984A KR 20170070984 A KR20170070984 A KR 20170070984A KR 20180133745 A KR20180133745 A KR 20180133745A
Authority
KR
South Korea
Prior art keywords
pan
flying object
image
tilt zoom
zoom camera
Prior art date
Application number
KR1020170070984A
Other languages
Korean (ko)
Other versions
KR101948569B1 (en
Inventor
박지훈
박용운
이상호
신영숙
조선영
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170070984A priority Critical patent/KR101948569B1/en
Publication of KR20180133745A publication Critical patent/KR20180133745A/en
Application granted granted Critical
Publication of KR101948569B1 publication Critical patent/KR101948569B1/en

Links

Images

Classifications

    • G01S17/023—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The present invention relates to a flying object identification system using a Lidar sensor and a pan/tilt zoom camera and a method for controlling the same. The present invention provides the flying object identification system which comprises: a plurality of Lidar sensors for detecting the position of a flying object; a pan/tilt zoom camera configured to receive information on the position and capture an image corresponding to the received position information; a display unit configured to display an identification result of the type of the flying object; and a control module configured to transmit, when the detected position information of the flying object is received from the at least one of the Lidar sensors, the position information of the flying object to the pan/tilt zoom camera so that the pan/tilt zoom camera captures the image corresponding to the position information of the flying object, identify, when the image captured by the pan/tilt zoom camera is received, the type of the flying object from the received image, and control the display unit to display a result of the identification. According to the present invention, since the Lidar sensor and the pan/tilt zoom camera play complementary roles, even with the somewhat poor performance of the Lidar sensor and pan/tilt zoom camera compared with expensive systems such as radar, a drone can be identified with a high degree of accuracy.

Description

라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법{FLYING OBJECT IDENTIFICATION SYSTEM USING LIDAR SENSORS AND PAN/TILT ZOOM CAMERAS AND METHOD FOR CONTROLLING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a flight identification system and a control method thereof, and more particularly to a flight identification system and a control method thereof using a rotary sensor and a pan / tilt zoom camera. 2. Description of the Related Art Flight Object Identification System,

본 발명은 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a vehicle identification system and a control method thereof using a Lidar sensor and a pan / tilt zoom camera.

라이다(Light Detection And Ranging, LiDAR)는 레이저를 발사하여 산란되거나 반사되는 레이저가 돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등으로부터 측정 대상물의 거리와 농도, 속도, 형상 등 물리적 성질을 측정하는 기법 및 그 장치.Light Detection And Ranging (LiDAR) is a system that measures the physical properties such as the distance, concentration, velocity, and shape of a measured object from the time, intensity, frequency, and polarization state of a scattered or reflected laser. And a device for measuring the same.

드론(drone)은 사람이 타지 않고 무선전파의 유도에 의해서 비행하는 비행체이다. 무선기술의 발달과 함께 드론의 활용 범위가 넓어졌으며, 종래 드론은 적 정찰용으로 활용되거나, 공격기로도 활용되고 있다. 이에 따라, 적 드론을 탐지할 수 있는 수단에 대한 수요가 증가하고 있는 추세이다.Drone (drone) is a flight that does not burn by people but is driven by induction of radio waves. With the development of wireless technology, the application range of drones has been widened. Conventional drones are used for anti-reconnaissance or attacking. As a result, there is a growing demand for means to detect enemy drones.

항공 탐지 수단으로 레이더가 활용될 수 있는데, 레이더는 그 비용이 비싸고 대체적으로 장비의 크기가 클 뿐 아니라, 고공에서 날아오는 드론이 아닌 도심지에서 낮게 날아 담장을 넘어오는 드론은 탐지하기 어렵다는 문제가 있다. 또한, 근거리 물체 탐지를 위해 라이다를 사용할 수 있는데, 라이다 만을 이용해 담장 위의 물체를 탐지할 경우 해당 물체가 드론인지에 대한 판별이 불가능하며 유사 비행체(조류, 공 등)와 구별할 수 없어 오탐지율이 높다.Radar can be used as a means of detecting airborne radars, which are expensive and generally not only large in size but also difficult to detect because drones that fly low from downtown rather than high-flying drones . It is also possible to use lidar to detect nearby objects. If you use lidar only to detect an object on the fence, you can not distinguish whether the object is a drone and can not distinguish it from similar objects (birds, balls, etc.) The rate of false positives is high.

한편, 드론을 이용한 적 드론 탐지 방법이 활용될 수 있는데, 드론은 이동하는 물체의 탐지 또는 추적에 적합하나, 비행시간이 짧다는 제약이 있고 고정된 주요 자산의 보호에는 효용이 떨어진다는 문제가 있다.On the other hand, the method of detecting enemy drone using a dron can be utilized. The dron is suitable for detection or tracking of a moving object, but there is a restriction that the flight time is short and it is not useful for protecting fixed property .

한편, 팬틸트줌 카메라(Pan Tilt Zoom Camera)의 경우엔 배경과 이동체가 명확하게 분리되고 추적 목표의 속도가 느린 경우에 활용될 수 있으나, 드론과 같이 속도가 빠르며 도심지 및 나무숲과 같은 복잡한 배경에서 침투가 가능한 비행체는 초기 식별된 위치가 없을 경우 목표를 추적하기 힘들다는 문제가 있다.On the other hand, the Pan Tilt Zoom Camera can be used when the background and the moving object are clearly separated and the tracking target is slow, but the speed is fast like the drones and the complex background such as the downtown and the forest There is a problem that it is difficult to track the target if there is no initial identified position.

본 발명은 높은 정확도로 인접한 드론을 식별할 수 있도록 하는 드론 식별 시스템 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a drones identification system and a control method thereof that enable identification of adjacent drones with high accuracy.

상술한 목적을 달성하기 위하여, 본 발명은 비행체의 위치를 감지하도록 이루어지는 복수의 라이다 센서들, 위치 정보를 수신하여, 수신된 위치 정보에 대응하는 영상을 촬영하도록 이루어지는 팬틸트줌 카메라, 비행체 종류 식별 결과를 표시하도록 이루어지는 표시부 및 상기 라이다 센서들 중 적어도 하나로부터, 감지된 비행체의 위치 정보를 수신하는 경우, 상기 팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하도록, 상기 비행체의 위치 정보를 상기 팬틸트줌 카메라로 전송하고, 상기 팬틸트줌 카메라를 통해 촬영된 영상을 수신하는 경우, 수신된 영상으로부터 상기 비행체의 종류를 식별하고, 상기 식별 결과가 표시되도록 상기 표시부를 제어하는 제어모듈을 포함하는 비행체 식별 시스템을 제공한다.In order to achieve the above-described object, the present invention provides a navigation system including a plurality of Lada sensors for detecting a position of a flying object, a pan / tilt zoom camera for receiving position information and photographing an image corresponding to the received position information, Zoom position information of the airplane is received from at least one of a display unit configured to display an identification result and at least one of the Lidar sensors, the pan tilt zoom camera photographs an image corresponding to the position information of the airplane, Tilt zoom camera, and when receiving an image photographed through the pan / tilt zoom camera, identifies the type of the airplane from the received image, and controls the display unit to display the identification result And a control module for controlling the vehicle.

일 실시 예에 있어서, 상기 제어모듈은, 기 저장된 영상을 이용하여, 비행체 정보를 생성하고, 상기 생성된 비행체 정보와 상기 촬영된 영상을 비교하여 비행체의 종류를 식별할 수 있다.In one embodiment, the control module generates flight information by using the pre-stored image, and compares the generated flight information with the photographed image to identify the type of the flight.

일 실시 예에 있어서, 상기 제어모듈은, 심층 신경망(Deep Neural Network, DNN)을 이용하여 상기 촬영된 영상으로부터 비행체의 종류를 식별할 수 있다.In one embodiment, the control module may identify a type of a flight from the photographed image using a Deep Neural Network (DNN).

일 실시 예에 있어서, 상기 심층 신경망은 컨볼루션 신경망 (Convolution Neural Network, CNN)일 수 있다.In one embodiment, the in-depth neural network may be a Convolution Neural Network (CNN).

일 실시 예에 있어서, 상기 라이다 센서들이 배치되는 펜스를 더 포함하고, 상기 라이다 센서들은 상기 펜스 상단에 소정 간격으로 배치될 수 있다.In one embodiment, the LIDAR sensors may further include a fence in which the Lidar sensors are disposed, and the Lidar sensors may be disposed at a predetermined interval on the fence top.

일 실시 예에 있어서, 상기 라이다 센서들 각각은 2차원 라이다 센서 및 3차원 라이다 센서 중 어느 하나일 수 있다.In one embodiment, each of the Lidar sensors may be a two dimensional Lidar sensor or a three dimensional Lidar sensor.

일 실시 예에 있어서, 상기 라이다 센서들 각각이 상기 2차원 라이다 센서인 경우, 상기 라이다 센서들 각각은 상기 펜스에 회전 가능하도록 배치될 수 있다.In one embodiment, when each of the Lidar sensors is the two dimensional Lidar sensor, each of the Lidar sensors may be rotatably disposed on the fence.

또한, 본 발명은 복수의 라이다 센서들, 팬틸트줌 카메라, 제어모듈 및 표시부를 포함하는 비행체 식별 시스템의 제어 방법을 제공한다. 상기 제어 방법은 복수의 라이다 센서들 중 적어도 하나가 비행체의 위치를 감지하는 단계, 팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하는 단계, 상기 제어모듈이 상기 촬영된 영상에서 상기 비행체의 종류를 식별하는 단계 및 상기 표시부가 상기 식별 결과를 표시하는 단계를 포함한다.In addition, the present invention provides a control method of a vehicle identification system including a plurality of Lada sensors, a pan / tilt zoom camera, a control module, and a display unit. Wherein at least one of the plurality of Lada sensors detects a position of a flying object, the method comprising the steps of: capturing an image corresponding to position information of the flying object on a pan / tilt zoom camera; Identifying a type of the air vehicle; and displaying the identification result on the display unit.

일 실시 예에 있어서, 상기 제어 방법은 사용자 요청에 응답하여, 상기 식별 결과에 대응하는 영상을 저장하는 단계 및 상기 저장된 영상을 이용하여, 상기 팬틸트줌 카메라로부터 새롭게 촬영된 영상에서 비행체의 종류를 식별하는 단계를 더 포함할 수 있다.In one embodiment, the control method includes the steps of: storing an image corresponding to the identification result in response to a user request; and storing the type of the air vehicle in the image newly photographed from the pan / tilt zoom camera using the stored image And a step of identifying the step.

본 발명에 따르면, 라이다 센서와 팬틸트줌 카메라가 상호 보완적인 역할을 하기 때문에, 레이더와 같은 고가의 시스템과 비교할 때, 다소 성능이 떨어지는 라이다 센서 및 팬틸트줌 카메라를 이용하더라도, 높은 정확도로 드론을 식별할 수 있게 된다.According to the present invention, since the Lidar sensor and the Pan / Tilt zoom camera complement each other, even when the Lada sensor and the Pan / Tilt zoom camera, which are somewhat inferior in performance compared with the expensive system such as the radar, It is possible to identify the Lodron.

또한, 본 발명에 따르면, 비행체 식별을 반복할수록, 비행체 식별 정확도를 향상시킬 수 있기 때문에, 높은 정확도로 비행체를 식별할 수 있게 된다.Further, according to the present invention, as the flying object identification is repeated, the flight object identification accuracy can be improved, so that the flying object can be identified with high accuracy.

도 1은 본 발명에 따른 비행체 식별 시스템을 나타내는 블록도이다.
도 2는 본 발명에 따른 비행체 식별 시스템의 제어 방법을 나타내는 순서도이다.
도 3은 본 발명에 따른 위협 드론 식별 시스템을 나타내는 개념도이다.
도 4a 및 4b는 펜스에 배치된 라이다 센서를 나타내는 개념도이다.
도 5는 팬틸트줌 카메라의 블록도이다.
도 6은 본 발명에 따른 비행체 식별 시스템에 포함된 제어 모듈의 블록도이다.
도 7은 본 발명에 따른 비행체 식별 시스템에 포함된 데이터 베이스의 블록도이다.1 is a block diagram illustrating an aircraft identification system according to the present invention.
2 is a flowchart showing a control method of the air vehicle identification system according to the present invention.
3 is a conceptual diagram illustrating a threat drones identification system in accordance with the present invention.
4A and 4B are conceptual diagrams showing a Lidar sensor disposed in a fence;
5 is a block diagram of a pan / tilt zoom camera.
6 is a block diagram of a control module included in the air vehicle identification system according to the present invention.
7 is a block diagram of a database included in the air vehicle identification system according to the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be obscured. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

이하에서는, 본 발명에 따른 비행체 식별 시스템 및 그 제어방법에 대하여 설명한다.Hereinafter, a flight object identification system and a control method thereof according to the present invention will be described.

도 1은 본 발명에 따른 비행체 식별 시스템을 나타내는 블록도이고, 도 2는 본 발명에 따른 비행체 식별 시스템의 제어 방법을 나타내는 순서도이다.FIG. 1 is a block diagram showing a flight object identification system according to the present invention, and FIG. 2 is a flowchart showing a control method of a flight object identification system according to the present invention.

도 1을 참조하면, 본 발명에 따른 시스템은 라이다 센서(110), 팬틸트줌 카메라(120), 제어 모듈(130) 및 비행체 식별 데이터베이스(140)를 포함하여 이루어질 수 있다. Referring to FIG. 1, a system according to the present invention may include a Lada sensor 110, a pan / tilt zoom camera 120, a control module 130, and a flight identification database 140.

한편, 도 2를 참조하면, 본 발명에 따른 비행체 식별 시스템의 제어방법은 복수의 라이다 센서(110)들 중 적어도 하나가 비행체의 위치를 감지하는 단계, 팬틸트줌 카메라(120)가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하는 단계, 상기 제어 모듈(130)이 상기 촬영된 영상에서 상기 비행체의 종류를 식별하는 단계 및 상기 표시부(150)가 상기 식별 결과를 표시하는 단계를 포함한다.2, the control method of the air vehicle identification system according to the present invention includes the steps of at least one of the plurality of Lada sensors 110 detecting the position of the air vehicle, and the pan / tilt zoom camera 120, Capturing an image corresponding to the position information of the airplane, identifying the type of the airplane in the captured image by the control module 130, and displaying the identification result by the display unit 150. [

이하, 본 발명에 따른 시스템에 포함된 구성요소들에 대하여 구체적으로 설명한다.Hereinafter, the components included in the system according to the present invention will be described in detail.

라이다 센서(110)는 레이저를 발사하여 산란되거나 반사되는 레이저가 돌아오는 시간과 강도, 주파수의 변화 및 편광 상태의 변화 중 적어도 하나를 이용하여, 대상물의 위치를 감지할 수 있다. 본 명세서에서 상기 대상물은 비행체이다. The LDA sensor 110 can detect the position of the object by using at least one of the time, intensity, frequency, and polarization state of the laser that is scattered or reflected by emitting the laser. In this specification, the object is a flying object.

라이다 센서(110)는 비행체의 위치를 감지하여 비행체의 위치 정보를 표시부(150)에 표시할 수 있으며, 상기 생성된 위치 정보를 제어 모듈(130)로 송신할 수 있다. The LIDAR sensor 110 may sense the position of the flying object, display the position information of the flying object on the display unit 150, and transmit the generated position information to the control module 130.

한편, 상기 라이다 센서(110)는 외부인의 칩임을 차단하는 펜스(200) 위에 배치될 수 있다. 이때, 복수의 라이다 센서(110)는 소정 간격을 두고 상기 펜스(200) 위에 배치될 수 있다. 예를 들어, 도 3을 참조하면, 복수의 라이다 센서(110)들은 펜스(200) 상단에 소정 간격을 두고 배치될 수 있다. 이를 통해, 펜스(200) 주위의 모든 영역을 라이다 센서(110)를 통해 감지할 수 있도록 할 수 있다.Meanwhile, the Ridasensor 110 may be disposed on the fence 200 that blocks the chip of the external person. At this time, a plurality of Lidar sensors 110 may be disposed on the fence 200 at predetermined intervals. For example, referring to FIG. 3, a plurality of Lidar sensors 110 may be disposed at predetermined intervals on an upper end of the fence 200. In this way, all areas around the fence 200 can be detected through the Lidar sensor 110. FIG.

한편, 라이다 센서(110)는 2차원 라이다 센서 및 3차원 라이다 센서 중 어느 하나일 수 있다. 라이다 센서(110)가 2차원 라이다 센서인 경우, 라이다 센서(110)는, 도 4a와 같이, 펜스(200)에 고정되도록 배치되거나, 도 4b와 같이, 펜스(200)에 회전가능 하도록 배치될 수 있다. 라이다 센서(110)가 펜스(200)에 회전가능 하도록 배치되는 경우, 라이다 센서(110)의 감지 범위가 넓어질 수 있다.Meanwhile, the Lidar sensor 110 may be any one of a two dimensional Lidar sensor and a three dimensional Lidar sensor. 4A, when the LIDAR sensor 110 is a two-dimensional LIDAR sensor, the LIDAR sensor 110 may be arranged to be fixed to the fence 200 or to be rotatable . When the lidar sensor 110 is arranged to be rotatable with respect to the fence 200, the detection range of the ladar sensor 110 can be widened.

라이다 센서(110)로부터 생성된 비행체의 위치 정보는 제어 모듈(130)을 거쳐 팬틸트줌 카메라(120)로 전송될 수 있다.The position information of the flying object generated from the RIDAR sensor 110 may be transmitted to the PTZ camera 120 through the control module 130.

팬틸트줌 카메라(Pan-Tilt-Zoom Camera)는 촬영 방향을 변경할 수 있는 카메라이다. 도 5를 참조하면, 팬틸트줌 카메라(120)는 위치 수신부(121), 영상 촬영부(122) 및 영상 송신부(123)를 포함하여 이루어질 수 있다.Pan-Tilt-Zoom Camera is a camera that can change the shooting direction. Referring to FIG. 5, the PTZ camera 120 may include a position receiver 121, an image capturing unit 122, and an image transmitter 123.

위치 수신부(121)는 비행체의 위치 정보를 수신한다. 영상 촬영부(122)는 위치 수신부를 통해 수신된 위치 정보에 대응하는 방향을 촬영하도록 한다. 이때, 영상 촬영부(122)는 상하 좌우로 움직이면서, 촬영 방향을 변경할 수 있다. 이를 통해, 영상 촬영부(122)는 지정된 위치에 대응하는 영상을 촬영할 수 있다.The position receiving unit 121 receives the position information of the flying object. The image photographing unit 122 photographs a direction corresponding to the position information received through the position receiving unit. At this time, the image capturing unit 122 can change the photographing direction while moving up, down, left, and right. Thus, the image capturing unit 122 can capture an image corresponding to the designated position.

영상 촬영부(122)에서 촬영된 영상은 영상 송신부(123)를 통해 제어 모듈(130)로 송신된다.The image photographed by the image photographing unit 122 is transmitted to the control module 130 through the image transmitting unit 123. [

한편, 도 3과 같이, 팬틸트줌 카메라(120)는 펜스(200) 위에 배치되거나, 상기 라이다 센서(110) 주변에 배치될 수 있다.3, the pan / tilt zoom camera 120 may be disposed on the fence 200 or may be disposed on the periphery of the Lidar sensor 110. FIG.

제어 모듈(130)은 복수의 라이다 센서(110)들 중 적어도 하나로부터 감지된 비행체의 위치 정보를 수신하는 경우, 팬틸트줌 카메라(120)가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하도록, 상기 비행체의 위치 정보를 팬틸트줌 카메라(120)로 전송한다. When the control module 130 receives the positional information of the airplane sensed by at least one of the plurality of the Latha sensors 110, the control module 130 causes the pan / tilt zoom camera 120 to photograph the image corresponding to the positional information of the airplane , And transmits the position information of the flying object to the pan / tilt zoom camera 120.

이하, 도 6을 참조하여 제어 모듈(130)에 대하여 구체적으로 설명한다.Hereinafter, the control module 130 will be described in detail with reference to FIG.

도 6을 참조하면, 제어 모듈(130)은 라이다 센서(110)로부터 위치 정보를 수신하고, 수신된 위치 정보를 팬틸트줌 카메라(120)로 전송하는 위치 정보 전송부(131)를 포함할 수 있다. 6, the control module 130 includes a position information transmission unit 131 for receiving position information from the Lidar sensor 110 and transmitting the received position information to the PTZ camera 120 .

한편, 제어 모듈(130)은 팬틸트줌 카메라(120)를 통해 촬영된 영상을 수신하고, 수신된 영상으로부터 상기 비행체의 종류를 식별한다.Meanwhile, the control module 130 receives the photographed image through the pan / tilt zoom camera 120, and identifies the type of the flying object from the received image.

이때, 제어 모듈(130)은 심층 신경망(Deep Neural Network, DNN)을 이용하여 상기 촬영된 영상으로부터 비행체의 종류를 식별할 수 있다. 촬영된 영상은 너비 × 높이 × 채널 수의 3차원 행렬로 표시되는데, DNN은 이 행렬의 각 수치를 입력으로 받아 신경망을 거친 결과 값을 이용해 물체 탐지 (Object Detection) 알고리즘을 수행한다. 심층 신경망이란 기존의 1~2단계의 은닉 층 (hidden layer)를 갖고 있는 얕은 신경망과 달리, 5개 이상의 은닉 층, 많게는 100개 이상의 은닉 층을 갖고 있는 신경망 구조를 뜻한다. 신경망의 결과 값을 이용하여 각 물체가 특정 위치에 존재할 확률을 계산하고, 본 발명의 경우 심층 신경망은 영상 내 드론의 위치를 인식하기 위해 활용된다.At this time, the control module 130 can identify the type of the flying object from the photographed image by using the Deep Neural Network (DNN). The captured image is represented by a three-dimensional matrix of width × height × number of channels. DNN takes each numerical value of this matrix as input and performs an object detection algorithm using the result obtained through the neural network. In contrast to shallow neural networks, which have one or two hidden layers, deep neural networks refer to neural network structures with five or more hidden layers, and more than 100 hidden layers. The probability that each object exists at a specific position is calculated using the result of the neural network. In the present invention, the depth neural network is utilized to recognize the position of the drones in the image.

여기서, 상기 심층 신경망은 컨볼루션 신경망 (Convolution Neural Network, CNN)일 수 있다. 컨볼루션 신경망은 영상을 효과적으로 처리하기 위해 고안된 심층 신경망의 한 종류이다. 컨볼루션 신경망은 각 위치에서 일정 크기의 특징을 추출하여 다음 계층의 입력을 생성하는 컨볼루션 계층 (Convolutional layer), 다운 샘플링을 위한 풀링 계층 (Pooling layer), 각 위치의 특징을 종합하여 결과를 생성하는 완전히 연결된 계층 (Fully-connected layer) 등을 포함한다.Here, the depth neural network may be a Convolution Neural Network (CNN). Convolutional neural networks are a type of in-depth neural network designed to efficiently process images. The convolution neural network is composed of a convolution layer for extracting features of a certain size at each position to generate the input of the next layer, a pooling layer for downsampling, And a fully-connected layer.

이를 위해, 제어 모듈(130)은 비행체 영상 입력부(132) 및 비행체 인식부(134)를 포함할 수 있다. 비행체 영상 입력부(132)는 팬틸트줌 카메라(120)로부터 촬영된 영상을 수신하고, 수신된 영상을 비행체 인식부(134)에 입력한다.For this, the control module 130 may include a flight object image input unit 132 and a flight object recognition unit 134. The aviator image input unit 132 receives the photographed image from the pan / tilt zoom camera 120, and inputs the received image to the aviator recognition unit 134.

비행체 인식부(134)는 상기 영상을 이용하여, 비행체의 종류를 식별한다. 구체적으로, 비행체 인식부1(134)는 상기 영상에서 인식되는 비행체가 드론인지, 유사 비행체(조류 등)인지 식별한다.The flying object recognizing unit 134 identifies the type of the flying object by using the image. Specifically, the flying object recognizing part 134 identifies whether the flying object recognized in the image is a dragon or a similar flying object (algae).

이후, 제어 모듈(130)은 상기 식별 결과를 표시할 수 있다. 이를 위해, 본 발명에 따른 시스템은 표시부(150)를 더 포함할 수 있다.Thereafter, the control module 130 may display the identification result. To this end, the system according to the present invention may further include a display unit 150.

한편, 본 발명에 따른 시스템은 상기 식별 결과 및 상기 식별 결과에 대응하는 영상을 이용하여, 새롭게 촬영된 영상에서 비행체의 종류를 식별할 수 있다. 구체적으로, 제어 모듈(130)은 팬틸트줌 카메라(120)를 통해 촬영된 영상으로부터 비행체의 종류를 식별한 결과를 표시하고, 사용자로부터 상기 식별 결과에 대한 피드백을 수신할 수 있다.Meanwhile, the system according to the present invention can identify the type of the air vehicle in the newly photographed image by using the image corresponding to the identification result and the identification result. Specifically, the control module 130 may display the result of identifying the type of the flying object from the image photographed through the pan / tilt zoom camera 120, and may receive the feedback on the identification result from the user.

이를 위해, 본 발명에 따른 시스템은 사용자 입력을 수신하기 위한 입력부를 더 포함할 수 있다. To this end, the system according to the invention may further comprise an input for receiving user input.

사용자는 상기 식별 결과에 대응하는 영상을 저장하는 사용자 요청을 인가할 수 있다. 이때, 사용자는 상기 식별 결과에 따라, 식별 결과에 대응하는 영상이 다르게 저장되도록 할 수 있다. 구체적으로, 사용자는 드론이 식별된 식별 결과와 유사 비행체(조류 등)가 식별된 식별 결과는 서로 다른 카테고리로 저장되도록 할 수 있다.The user may apply a user request to store the image corresponding to the identification result. At this time, the user may be able to store images corresponding to the identification result differently according to the identification result. Specifically, the user can cause the identification result in which the drone is identified and the identification result in which the similar vehicle (bird, etc.) is identified to be stored in different categories.

이를 위해, 비행체 식별 데이터베이스(140)는 드론이 식별된 식별 결과에 대응하는 영상을 저장하는 드론 영상 저장부(141), 유사 비행체가 식별된 식별 결과에 대응하는 영상을 저장하는 유사 비행체 영상 저장부(142)를 포함할 수 있다.To this end, the flying object identification database 140 includes a drones image storage 141 for storing images corresponding to the identified result of the drones, a similar-vehicle image storing unit 141 for storing images corresponding to the identified results of the similar- (Not shown).

제어 모듈(130)은 상기 식별 결과에 대응하는 영상에 대한 저장 요청을 수신하는 경우, 상기 식별 결과에 대응하는 영상을 드론 영상 저장부(141) 및 유사 비행체 영상 저장부(142) 중 어느 하나에 저장할 수 있다. When receiving the storage request for the image corresponding to the identification result, the control module 130 stores the image corresponding to the identification result in one of the dron image storage unit 141 and the similar-vehicle image storage unit 142 Can be stored.

이후, 제어 모듈(130)에 포함된 식별 모델 생성부(133)는 상기 비행체 식별 데이터베이스(140)에 저장된 영상을 이용하여, 비행체 데이터를 생성할 수 있다. 구체적으로, 식별 모델 생성부(133)는 드론 영상 저장부에 저장된 영상을 이용하여 드론에 대한 비행체 데이터를 생성하고, 유사 비행체 영상 저장부에 저장된 영상을 이용하여 유사 비행체에 대한 비행체 데이터를 생성한다.Then, the identification model generator 133 included in the control module 130 can generate flight data using the images stored in the flight identification database 140. Specifically, the identification model generator 133 generates flight data for the drone using the image stored in the drone image storage unit, and generates flight data for the similar vehicle using the image stored in the similar-vehicle image storage unit .

비행체 인식부(134)는 상기 비행체 데이터와 팬틸트줌 카메라(120)로부터 새롭게 촬영된 영상을 비교하여, 비행체의 종류를 식별할 수 있다. 상기 비행체 데이터는 비행체 식별을 거듭할수록 계속해서 갱신되기 때문에, 본 발명에 따르면, 비행체 식별을 거듭할수록, 비행체의 식별 정확도를 향상시킬 수 있게 된다.The airplane recognizing unit 134 can identify the type of the airplane by comparing the airplane data with the image newly photographed from the pan / tilt zoom camera 120. According to the present invention, the identification accuracy of the flying object can be improved as the flying object identification is repeated, because the flight data is continuously updated as the flying object is repeatedly identified.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

또한, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.In addition, the above detailed description should not be construed in all aspects as limiting and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims (9)

비행체의 위치를 감지하도록 이루어지는 복수의 라이다 센서들;
위치 정보를 수신하여, 수신된 위치 정보에 대응하는 영상을 촬영하도록 이루어지는 팬틸트줌 카메라;
비행체 종류 식별 결과를 표시하도록 이루어지는 표시부; 및
상기 라이다 센서들 중 적어도 하나로부터, 감지된 비행체의 위치 정보를 수신하는 경우, 상기 팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하도록, 상기 비행체의 위치 정보를 상기 팬틸트줌 카메라로 전송하고,
상기 팬틸트줌 카메라를 통해 촬영된 영상을 수신하는 경우, 수신된 영상으로부터 상기 비행체의 종류를 식별하고,
상기 식별 결과가 표시되도록 상기 표시부를 제어하는 제어모듈을 포함하는 비행체 식별 시스템.A plurality of line sensors for sensing a position of a flying object;
A pan / tilt zoom camera configured to receive position information and to photograph an image corresponding to the received position information;
A display unit configured to display a flight object type identification result; And
Wherein when the position information of the sensed airplane is received from at least one of the LR sensors, the position information of the airplane is transmitted to the pan / tilt zoom lens so that the pan / tilt zoom camera photographs an image corresponding to the position information of the airplane. Camera,
When receiving an image photographed through the pan / tilt zoom camera, identifies the type of the airplane from the received image,
And a control module for controlling the display unit so that the identification result is displayed. 제1항에 있어서,
상기 제어모듈은,
기 저장된 영상을 이용하여, 비행체 정보를 생성하고, 상기 생성된 비행체 정보와 상기 촬영된 영상을 비교하여 비행체의 종류를 식별하는 것을 특징으로 하는 비행체 식별 시스템.The method according to claim 1,
The control module includes:
Wherein the airplane information is generated using the pre-stored image, and the type of the airplane is identified by comparing the generated airplane information with the captured image. 제2항에 있어서,
상기 제어모듈은,
심층 신경망(Deep Neural Network, DNN)를 이용하여 상기 촬영된 영상으로부터 비행체의 종류를 식별하는 것을 특징으로 하는 비행체 식별 시스템.3. The method of claim 2,
The control module includes:
Wherein the type of the flying object is identified from the photographed image using a Deep Neural Network (DNN). 제3항에 있어서,
상기 심층 신경망은 컨볼루션 신경망(Convolution Neural Network, CNN)인 것을 특징으로 하는 비행체 식별 시스템.The method of claim 3,
Wherein the in-depth neural network is a Convolution Neural Network (CNN). 제1항에 있어서,
상기 라이다 센서들이 배치되는 펜스를 더 포함하고,
상기 라이다 센서들은 상기 펜스 상단에 소정 간격으로 배치되는 것을 특징으로 하는 비행체 식별 시스템.The method according to claim 1,
Further comprising a fence in which the Lidar sensors are disposed,
Wherein the Lidar sensors are disposed at a predetermined interval on an upper end of the fence. 제5항에 있어서,
상기 라이다 센서들 각각은 2차원 라이다 센서 및 3차원 라이다 센서 중 어느 하나인 것을 특징으로 하는 비행체 식별 시스템.6. The method of claim 5,
Wherein each of the Lidar sensors is one of a two dimensional Lidar sensor and a three dimensional Lidar sensor. 제6항에 있어서,
상기 라이다 센서들 각각이 상기 2차원 라이다 센서인 경우,
상기 라이다 센서들 각각은 상기 펜스에 회전 가능하도록 배치되는 것을 특징으로 하는 비행체 식별 시스템.The method according to claim 6,
If each of the Lidar sensors is the two dimensional Lidar sensor,
Wherein each of the Lidar sensors is rotatably disposed on the fence. 복수의 라이다 센서들, 팬틸트줌 카메라, 제어모듈 및 표시부를 포함하는 비행체 식별 시스템의 제어 방법에 있어서,
복수의 라이다 센서들 중 적어도 하나가 비행체의 위치를 감지하는 단계;
팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하는 단계;
상기 제어모듈이 상기 촬영된 영상에서 상기 비행체의 종류를 식별하는 단계; 및
상기 표시부가 상기 식별 결과를 표시하는 단계를 포함하는 비행체 식별 시스템의 제어 방법.A control method of a vehicle identification system including a plurality of Lada sensors, a pan / tilt zoom camera, a control module, and a display unit,
Wherein at least one of the plurality of Lidar sensors senses the position of the flying object;
Photographing an image corresponding to the position information of the flying object by a pan / tilt zoom camera;
The control module identifying the type of the air vehicle in the photographed image; And
And the display unit displays the identification result. 제8항에 있어서,
사용자 요청에 응답하여, 상기 식별 결과에 대응하는 영상을 저장하는 단계; 및
상기 저장된 영상을 이용하여, 상기 팬틸트줌 카메라로부터 새롭게 촬영된 영상에서 비행체의 종류를 식별하는 단계를 더 포함하는 것을 특징으로 하는 비행체 식별 시스템의 제어 방법.9. The method of claim 8,
Storing an image corresponding to the identification result in response to a user request; And
Further comprising the step of identifying a type of a flight in a newly photographed image from the pan / tilt zoom camera using the stored image.
KR1020170070984A 2017-06-07 2017-06-07 Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same KR101948569B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170070984A KR101948569B1 (en) 2017-06-07 2017-06-07 Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170070984A KR101948569B1 (en) 2017-06-07 2017-06-07 Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same

Publications (2)

Publication Number Publication Date
KR20180133745A true KR20180133745A (en) 2018-12-17
KR101948569B1 KR101948569B1 (en) 2019-02-15

Family

ID=65007586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170070984A KR101948569B1 (en) 2017-06-07 2017-06-07 Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same

Country Status (1)

Country Link
KR (1) KR101948569B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717496A (en) * 2019-08-29 2020-01-21 浙江工业大学 Complex scene tree detection method based on neural network
CN112270713A (en) * 2020-10-14 2021-01-26 北京航空航天大学杭州创新研究院 Calibration method and device, storage medium and electronic device
CN112817133A (en) * 2021-01-13 2021-05-18 北京航空航天大学 Unmanned aerial vehicle shooting system based on liquid zoom camera
KR102292117B1 (en) * 2021-02-23 2021-08-20 (주)필라넷 Drone control system and method for detecting and identifying of drone using the same
CN113302510A (en) * 2019-01-25 2021-08-24 维宁尔美国公司 Apparatus and method for detecting radar sensor blockage using machine learning
KR20220105357A (en) * 2021-01-20 2022-07-27 재단법인대구경북과학기술원 Method and apparatus for surveilling aircraft
WO2022156176A1 (en) * 2021-01-22 2022-07-28 上海西井信息科技有限公司 Multi-radar and camera joint calibration method, system and device, and storage medium
CN116299424A (en) * 2023-05-10 2023-06-23 武汉能钠智能装备技术股份有限公司四川省成都市分公司 Unmanned aerial vehicle identification system and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102267840B1 (en) 2019-12-30 2021-06-22 광주과학기술원 Drone Monitoring System

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002311120A (en) * 2001-04-11 2002-10-23 Toshiba Corp Flying target surveillance system
KR101160896B1 (en) * 2012-03-26 2012-06-28 (주)안세기술 Discriminating system of the aircraft type using laser scanner and conforming system of aircraft self position
KR101314566B1 (en) * 2012-08-30 2013-10-07 (주)안세기술 System and method for discrimination of an aircraft model and docking guide of an aircraft
JP6085153B2 (en) * 2012-11-26 2017-02-22 日立Ｇｅニュークリア・エナジー株式会社 Indoor survey system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302510A (en) * 2019-01-25 2021-08-24 维宁尔美国公司 Apparatus and method for detecting radar sensor blockage using machine learning
CN113302510B (en) * 2019-01-25 2023-11-17 安致尔软件有限责任公司 Apparatus and method for detecting radar sensor blocking using machine learning
CN110717496A (en) * 2019-08-29 2020-01-21 浙江工业大学 Complex scene tree detection method based on neural network
CN110717496B (en) * 2019-08-29 2021-06-08 浙江工业大学 Complex scene tree detection method based on neural network
CN112270713A (en) * 2020-10-14 2021-01-26 北京航空航天大学杭州创新研究院 Calibration method and device, storage medium and electronic device
CN112817133A (en) * 2021-01-13 2021-05-18 北京航空航天大学 Unmanned aerial vehicle shooting system based on liquid zoom camera
KR20220105357A (en) * 2021-01-20 2022-07-27 재단법인대구경북과학기술원 Method and apparatus for surveilling aircraft
WO2022156176A1 (en) * 2021-01-22 2022-07-28 上海西井信息科技有限公司 Multi-radar and camera joint calibration method, system and device, and storage medium
KR102292117B1 (en) * 2021-02-23 2021-08-20 (주)필라넷 Drone control system and method for detecting and identifying of drone using the same
CN116299424A (en) * 2023-05-10 2023-06-23 武汉能钠智能装备技术股份有限公司四川省成都市分公司 Unmanned aerial vehicle identification system and method
CN116299424B (en) * 2023-05-10 2023-07-18 武汉能钠智能装备技术股份有限公司四川省成都市分公司 Unmanned aerial vehicle identification system and method

Also Published As

Publication number Publication date
KR101948569B1 (en) 2019-02-15

Similar Documents

Publication Publication Date Title
KR101948569B1 (en) Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same
US11521498B2 (en) Unmanned vehicle recognition and threat management
US20190025858A1 (en) Flight control using computer vision
US9429945B2 (en) Surveying areas using a radar system and an unmanned aerial vehicle
Khan et al. On the detection of unauthorized drones—Techniques and future perspectives: A review
US20200162489A1 (en) Security event detection and threat assessment
WO2017170148A1 (en) Flight device, electronic device and program
WO2019067695A1 (en) Flight control using computer vision
US20190370983A1 (en) System and method for real-time location tracking of a drone
CN112068111A (en) Unmanned aerial vehicle target detection method based on multi-sensor information fusion
CN111679695B (en) Unmanned aerial vehicle cruising and tracking system and method based on deep learning technology
US20220027038A1 (en) Interactive virtual interface
Dogru et al. Drone detection using sparse lidar measurements
US20210221502A1 (en) Method and a system for real-time data processing, tracking, and monitoring of an asset using uav
KR20170100892A (en) Position Tracking Apparatus
CN110287957B (en) Low-slow small target positioning method and positioning device
JP6595284B2 (en) Autonomous mobile robot
US10733442B2 (en) Optical surveillance system
CN111931657A (en) Object recognition system, method and storage medium
González et al. Vision-based UAV detection for air-to-air neutralization
CN107885231A (en) A kind of unmanned plane capturing method and system based on visible images identification
Müller et al. Drone detection, recognition, and assistance system for counter-UAV with VIS, radar, and radio sensors
US11610398B1 (en) System and apparatus for augmented reality animal-watching
KR102305438B1 (en) System and method for UAV surveillance
CN111491154A (en) Detection and ranging based on one or more monoscopic frames

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant