WO2017030259A1 - 자동추적 기능을 갖는 무인항공기 및 그 제어방법 - Google Patents

자동추적 기능을 갖는 무인항공기 및 그 제어방법 Download PDF

Info

Publication number
WO2017030259A1
WO2017030259A1 PCT/KR2016/001970 KR2016001970W WO2017030259A1 WO 2017030259 A1 WO2017030259 A1 WO 2017030259A1 KR 2016001970 W KR2016001970 W KR 2016001970W WO 2017030259 A1 WO2017030259 A1 WO 2017030259A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
unmanned aerial
aerial vehicle
image
unit
Prior art date
Application number
PCT/KR2016/001970
Other languages
English (en)
French (fr)
Inventor
황진벽
박주홍
임장동
박효진
Original Assignee
아이디어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이디어 주식회사 filed Critical 아이디어 주식회사
Priority to US15/556,203 priority Critical patent/US10303172B2/en
Priority to CN201680014180.6A priority patent/CN107406142A/zh
Publication of WO2017030259A1 publication Critical patent/WO2017030259A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an unmanned aerial vehicle having an automatic tracking function and a control method thereof, and more particularly, an automatic tracking function capable of recognizing and automatically tracking an object to be tracked using external image information input to a camera mounted on an unmanned aerial vehicle.
  • An unmanned aerial vehicle having a and a control method thereof.
  • UAV unmanned aerial vehicles
  • the unmanned aerial vehicle since the unmanned aerial vehicle according to the prior art can be controlled wirelessly through a remote controller (RC) and a smart user terminal, it is inefficient in that a user must be present. In addition, due to the characteristics of the unmanned aerial vehicle, the user manually controls the ground. In case of accidents, accidents occur frequently due to immaturity of the user, thereby causing expensive equipment to be damaged or causing safety accidents.
  • RC remote controller
  • the unmanned aerial vehicle autonomously recognizes and automatically tracks the subject of camera shooting without the user's control on the ground, so it is a realistic and applicable drone that can prevent safety accidents and expensive drones from being damaged.
  • the technology is urgently needed.
  • the present invention has been made to solve the above problems, the present invention, by using the external image information input to the camera mounted on the unmanned aerial vehicle to recognize the tracking target and automatically tracked and enable the autonomous flight of the unmanned aerial vehicle Therefore, the present invention provides an unmanned aerial vehicle having an automatic tracking function and a control method thereof which can reduce manufacturing costs of the unmanned aerial vehicle without requiring an expensive tracking induction device.
  • An unmanned aerial vehicle having an automatic tracking function includes an unmanned aerial vehicle for automatically tracking a subject to be photographed, the image input unit configured to acquire an image of a surrounding image of the subject to be photographed; An object recognition unit extracting a region of interest using an image acquired through the image input unit, detecting a specific region located in the region of interest, measuring coordinates, and recognizing the specific region as a tracking object; An object tracking unit which calculates and tracks a position of the object to be tracked by the object recognition unit using a tracking learning detection (TLD) learning algorithm and generates a driving command for driving the unmanned aerial vehicle corresponding thereto; A motion recognition unit recognizing the motion of the object to be tracked and generating a driving command corresponding to a photo shooting mode, a video shooting mode, and a return mode; And a driving controller for driving the unmanned aerial vehicle according to a driving command of the object tracking unit and the operation recognition unit.
  • TLD tracking learning detection
  • An unmanned aerial vehicle having an automatic tracking function may acquire an image of a surrounding image of the tracking object while rotating the unmanned aerial vehicle in a direction in which the tracking object moves. If it is not found in the image, the tracking object may be recognized using a single panoramic image obtained while rotating the unmanned aerial vehicle in place.
  • the object recognition unit detects a specific region using a haar-like feature from the image acquired through the image input unit, and increases the judgment rate of the specific region detected using an AdaBoost learning algorithm.
  • the coordinates of the window corresponding to the detected specific region may be set and recognized as the tracking object.
  • the specific area may be an area corresponding to the upper body and the face.
  • the object tracking unit may include a tracker capable of increasing tracking performance of a tracking target object using an extended Kalman filter; A detector for generating a plurality of search windows for the entire input image and determining whether a tracking object exists in each search window using a stepwise classification algorithm; Learner that can improve the performance of the detector by using a quasi-supervised learning algorithm method in a continuous input image; And an integrator which integrates the results of the tracker and the detector to finally determine the position of the object to be tracked and then transfers the corresponding coordinates to the driving control unit.
  • the classification algorithm method applied to the detector may enable real-time processing using a classification algorithm method of a cascade structure including a dispersion filter, an ensemble classifier, and a nearest neighbor classifier.
  • Unmanned aerial vehicle having an automatic tracking function according to an embodiment of the present invention, by storing the scale value for the image data of the tracking target object recognized by the object recognition unit and comparing the amount of change to the size of the tracking target object And a distance measuring unit capable of maintaining a constant distance between the drone and the unmanned aerial vehicle.
  • An unmanned aerial vehicle having an automatic tracking function stores an image stored in an image file photographed in a photographing mode and a movie file photographed in a video photographing mode corresponding to an operation mode recognized by the operation recognition unit. It may further include a.
  • a control method of an unmanned aerial vehicle having an automatic tracking function includes a control method of an unmanned aerial vehicle for automatically tracking a subject to be photographed, the photographing step of photographing a surrounding of the subject to be photographed; A specific area detection step of detecting a face area and an upper body area from the image acquired in the photographing step; An object recognition step of measuring coordinates of a window corresponding to the face area and the upper body area detected as the specific area and recognizing the object as a tracking object; An object tracking step of controlling the unmanned aerial vehicle to track the tracking target object recognized in the object recognition step at a predetermined distance; A motion recognition step of recognizing the motion of the object to be tracked to determine a photographing mode, a moving picture photographing mode, and a return mode; And an unmanned aerial vehicle driving step of driving the unmanned aerial vehicle corresponding to the operation mode recognized in the operation recognition step.
  • the photographing step of photographing the surroundings of the subject to be photographed may include obtaining an image of the surrounding image of the object to be tracked while rotating the unmanned aerial vehicle in a direction in which the object to be tracked moves; And photographing while rotating the unmanned aerial vehicle in place when the object to be tracked is not found in the image.
  • a specific region corresponding to the face region and the upper body region is detected by using a haar-like feature from the image acquired in the photographing step, and using an AdaBoost learning algorithm.
  • the judgment rate of the detected specific region can be increased.
  • the object tracking step may be performed by using an extended Kalman filter to increase the tracking performance of the object to be tracked, generate a plurality of search windows for the entire input image, and determine whether the object to be traced exists in each of the search windows.
  • the cascading classification algorithm of the cascade structure including the ensemble classifier and the nearest neighbor classifier is determined using the quasi-supervised learning algorithm to improve the performance.
  • the object tracking step may include: storing a scale value of image data of an object to be tracked; Detecting and storing a change amount of a size of a tracking object using the scale value; Calculating moving coordinates of the unmanned aerial vehicle using the size change of the tracking object; And tracking while maintaining a constant distance from the tracking target object by using the moving coordinates of the unmanned aerial vehicle.
  • the present invention enables the autonomous flight of the unmanned aerial vehicle by enabling recognition and automatic tracking of a specific object by using external image information input to the camera for mounting the unmanned aerial vehicle, thereby inducing expensive tracking. There is no need for a separate device, thereby reducing the manufacturing cost of the unmanned aerial vehicle.
  • the present invention is capable of autonomous driving by the unmanned aerial vehicle, and thus does not require a user terminal that has been manually operated by ordinary users, thereby preventing safety accidents and device damage due to immature operation of the user. have.
  • the present invention uses a method of finding a tracking target using a single panoramic image made by successively joining a plurality of images photographed at the time of rotation, the operation speed and recognition rate may be improved.
  • the present invention provides an unmanned aerial vehicle that can automatically track a specific target without user control by using a method that can automatically measure the coordinates to be identified as a tracking object when the face and the upper body of the human body are recognized. It can work.
  • the present invention can be used to process the image input to the camera mounted on the unmanned aerial vehicle without additional configuration, to specify and automatically track the object as well as to transmit control commands to the user and the unmanned aerial vehicle It is effective to implement a convenient interface for the period.
  • FIG. 1 is a schematic diagram illustrating a camera mounted on an unmanned aerial vehicle according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of an unmanned aerial vehicle according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a control method of the unmanned aerial vehicle according to the embodiment of the present invention.
  • FIG. 4 is a flowchart for explaining a photographing step of the flowchart illustrated in FIG. 3.
  • 5 is a schematic diagram for explaining an image stitching technique.
  • FIG. 6 is a flowchart illustrating a specific region detection step and an object recognition step of the flowchart shown in FIG. 3.
  • FIG. 7 is a schematic diagram illustrating a Halle feature technique applied to an object recognition unit according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an object tracking step of the flowchart illustrated in FIG. 3.
  • FIG. 9 is a flowchart illustrating a stepwise classification algorithm applied to the detector shown in FIG. 8.
  • FIG. 10 is a flowchart for describing an operation of the distance measuring unit illustrated in FIG. 2.
  • FIG. 11 is a flowchart illustrating an operation recognition step illustrated in FIG. 3.
  • first and second are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • first component may be named a second component, and similarly, the second component may also be named a first component.
  • an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • FIG. 1 is a schematic diagram illustrating a camera mounted on an unmanned aerial vehicle according to an embodiment of the present invention.
  • An unmanned aerial vehicle having an automatic tracking function relates to an unmanned aerial vehicle that automatically tracks a subject to be photographed.
  • an unmanned aerial vehicle installed in front and a bottom of an unmanned aerial vehicle 1 is provided.
  • the on-board camera 10 may recognize a specific object and perform automatic tracking by using image information acquired by photographing a subject to be photographed.
  • the camera 10 is shown to be mounted on the front and the bottom of the unmanned aerial vehicle 1, but is not limited to this may be mounted on the rear and above the unmanned aerial vehicle 1 according to the tracking target and environment.
  • FIG. 2 is a block diagram showing the configuration of an unmanned aerial vehicle according to an embodiment of the present invention.
  • FIG. 2 in detail the configuration of an unmanned aerial vehicle according to an embodiment of the present invention.
  • the unmanned aerial vehicle 1 includes an image input unit 100, an object recognition unit 200, an object tracking unit 300, an operation recognition unit 400, and driving.
  • the controller 500, the distance measuring unit 600, and the image storage unit 700 may be included.
  • the image input unit 100 may refer to the unmanned aerial vehicle-mounted camera 10 shown in FIG. 1 as a means for acquiring an image of a surrounding image of a subject to be photographed.
  • various image acquisition means for acquiring a peripheral image of a subject to be photographed may be indicated.
  • an image of the surrounding image of the tracking object can be obtained, and the tracking object If it is not found in the image, the tracking object may be recognized using a single panoramic image acquired while rotating the unmanned aerial vehicle in place.
  • the object recognition unit 200 detects a region of interest by using the image acquired through the image input unit 100, detects a specific region located in the region of interest, and measures coordinates.
  • the specific area may be recognized as a tracking object.
  • the object recognition unit 200 detects a specific region from the image acquired through the image input unit using a haar-like feature, and detects the specific region detected using an AdaBoost learning algorithm.
  • the judgment rate of the area may be increased, and the coordinates of the window corresponding to the detected specific area may be set and recognized as the tracking object.
  • the specific area may be an area corresponding to the upper body and the face, and the hake feature and the a-boost learning algorithm are applied to the embodiment of the present invention.
  • One of the face detection algorithms One of the face detection algorithms.
  • the Halle feature is a technique mainly used for face searching, and there are many prototypes. These prototypes may be used for efficient face detection by using only those that express the face well by the Adaboost learning algorithm.
  • the object tracking unit 300 calculates and tracks a location of the tracking target object recognized by the object recognition unit 200 in a tracking learning detection (TLD) learning algorithm, and simultaneously corresponds to the unmanned aerial vehicle.
  • a drive command for driving can be generated.
  • the object tracking unit 300 using the extended Kalman filter, the tracker 310 to increase the tracking performance for the tracking target object, and generates a plurality of search windows for the entire input image and the respective search
  • a detector 320 for determining whether a tracking object exists in a window using a stepwise classification algorithm method, and a learner 330 that can improve the performance of the detector using a quasi-directed learning algorithm method in a continuous input image.
  • an integrator 340 for integrating the results of the tracker 310 and the detector 320 to finally determine the position of the object to be tracked and then transmitting the corresponding coordinates to the driving controller 500.
  • the stepwise classification algorithm method applied to the detector 320 is a real-time processing using a classification algorithm method of the cascade structure including the dispersion filter 321, the ensemble classifier 322, and the nearest neighbor classifier 323. You can do that.
  • the motion recognition unit 400 may recognize a motion of the object to be tracked to generate a driving command corresponding to a photo shooting mode, a video shooting mode, and a return mode.
  • the driving controller 500 may include: The unmanned aerial vehicle may be driven according to a driving command generated by the object tracking unit 300 and the operation recognition unit 400.
  • the driving command may include a moving direction, a moving distance, a rotation of the unmanned aerial vehicle, a rise and fall of altitude, landing, taking off, photographing using a camera and shooting a video.
  • the distance measuring unit 600 stores the scale value for the image data of the tracking object recognized by the object recognition unit 200 and compares the amount of change with respect to the size of the tracking target object to be unmanned with the tracking object. Maintain a certain distance between aircraft.
  • the image storage unit 700 may store an image file photographed in the photographing mode and a video file photographed in the video photographing mode corresponding to the operation mode recognized by the motion recognition unit 400.
  • FIG. 3 is a flowchart illustrating a control method of the unmanned aerial vehicle according to the embodiment of the present invention.
  • the control method of the unmanned aerial vehicle having the automatic tracking function according to an embodiment of the present invention, the photographing step (S10), the specific area detection step (S20), the object recognition step (S30), object tracking A step S40, an operation recognition step S50, and an unmanned aerial vehicle driving step S60 may be included.
  • the photographing step (S10) is a step of photographing the surroundings of the subject to be photographed, while rotating the unmanned aerial vehicle in a direction in which the tracking target object corresponding to the subject to be photographed is rotated. Acquiring the step, and taking a picture while rotating the unmanned aerial vehicle in place when the object to be tracked is not found in the image.
  • the specific region detecting step S20 may be a step of detecting a face region and an upper body region from the image acquired in the capturing step.
  • the specific region detecting step S20 detects a specific region corresponding to the face region and the upper torso region from the image acquired in the photographing step S10 by using a haar-like feature, and then boosts it.
  • the AdaBoost learning algorithm can be used to increase the judgment rate of the detected specific area.
  • the object recognition step (S30) may be a step of measuring the coordinates of the window corresponding to the face area and the upper torso area detected as the specific area to recognize as a tracking object.
  • the object tracking step S40 may be a step of controlling the unmanned aerial vehicle so as to track the tracked object recognized in the object recognition step S30 at a predetermined distance.
  • the operation recognition step (S50) may be a step of recognizing the motion of the object to be tracked to determine a photo shooting mode, a video shooting mode, and a return mode.
  • the unmanned aerial vehicle driving step S60 may be a step of driving the unmanned aerial vehicle corresponding to the operation mode recognized in the operation recognition step.
  • FIG. 4 is a flowchart for schematically illustrating a photographing step of the flowchart illustrated in FIG. 3, and FIG. 5 is a schematic diagram for describing an image stitching technique used in the image synthesis illustrated in FIG. 4.
  • the photographing step S10 illustrated in FIG. 3 will be described with reference to FIGS. 4 to 5 as follows.
  • the unmanned aerial vehicle may acquire an image of a surrounding image of a tracking object corresponding to a photographing subject, and cannot find the tracking object in the image.
  • the object to be tracked can be recognized while rotating the unmanned aerial vehicle in place.
  • tracking can be performed while rotating the unmanned aerial vehicle generally in a direction in which a tracking object corresponding to a photographing subject moves.
  • the object recognition unit 200 for recognizing the tracking object using the image input to the image input unit 100 does not detect a specific area corresponding to the tracking object
  • the gyro By using the sensor information (S11) while rotating the unmanned aerial vehicle in place (S12) can be taken to recognize the tracking object.
  • the computation speed and recognition rate can be increased.
  • FIG. 5 is a view for explaining the above-described image stitching technique, according to an embodiment of the present invention, first, by using a gyro sensor while the unmanned aerial vehicle rotates in place at intervals of a constant rotation angle and the camera 10 Photos may be taken continuously and stored in a memory (not shown) of the image input unit 100.
  • the images may be synthesized by using an image stitching technique, which is mainly used to generate a panorama image using all the continuously photographed images.
  • the above-described image stitching technique is described in detail. After calculating the fast feature point and the feature descriptor for the fast feature point for all the images obtained by successive photographing, the Hamming distance between the feature descriptors between the continuous images is calculated. Set the closest feature points as matching candidates, remove the boundary of the matching candidates using NCC (Normalized cross correlation) and gyroscope data between matching candidates, and use RANSAC (RANdom SAmple Consensus) as the relationship between matching candidates.
  • the homography matrix can be calculated (see paper [3]), and the images can be synthesized by applying the alpha blending algorithm used to generate the panorama image.
  • FIG. 6 is a flowchart illustrating a specific region detection step and an object recognition step of the flowchart shown in FIG. 3, and
  • FIG. 7 is a schematic diagram illustrating a Halle feature technique applied to an object recognition unit according to an embodiment of the present invention. Drawing.
  • the specific region detecting step S20 of FIG. 3 first extracts the ROI from the image acquired by the image input unit 100 (S21), and then performs a haar-like feature. In operation S23, a window corresponding to the face and the upper body area may be searched for in operation S24.
  • the haar-like feature is composed of two or more adjacent rectangular regions having simple features, and a value thereof may be defined as a brightness difference between the regions.
  • the object recognition step (S30) of FIG. 3 may be a process of setting the coordinates of the searched window and recognizing the object as a tracking object.
  • the learning of Adaboost for object recognition is shown.
  • the algorithm reference paper [4]
  • S22 the model made of a face and upper body model learner
  • the object recognition unit 200 of FIG. 2 may use a classifier to classify the object and the background.
  • the classifier may be trained using object samples and background samples, and may use the above-described ad-boost learning algorithm.
  • the Adaboost learning algorithm is a algorithm that constructs a strong classifier by combining weak classifiers and lowers the weights of the samples correctly judged by the weak classifier and increases the weights of the samples incorrectly determined. Repeating to configure the strong classifier. This process can be repeated until the performance of the classifier reaches the target, and after measuring the coordinates of the window corresponding to the recognized face and the upper body area, the window is designated as the tracking object. Can be.
  • FIG. 8 is a flowchart illustrating an object tracking step of the flowchart illustrated in FIG. 3
  • FIG. 9 is a flowchart illustrating a stepwise classification algorithm applied to the detector illustrated in FIG. 8.
  • the object tracking step (S40) in the embodiment of the present invention by using the extended Kalman filter to increase the tracking performance for the tracking target object (S41), a plurality of search windows for the entire input image
  • the stepwise classification algorithm of the cascade structure including the distributed filter, the ensemble classifier and the nearest neighbor classifier
  • the existence of the tracked object in each search window is determined (S42).
  • the performance may be improved by using the quasi-supervised learning algorithm on the continuously input images (S43).
  • the object tracking step S40 may use a TLD (Tld Learning Detection) learning algorithm scheme (reference paper [5], reference paper [6]).
  • TLD Tld Learning Detection
  • the tracking object When the tracking object is detected using the result of the object recognition unit 200 described above, the tracking object may be tracked using a TLD learning algorithm.
  • the TLD learning algorithm method may basically include a tracker 310, a detector 320, a learner 330, and an integrator 340.
  • the tracker 310 may use a median filter, but may use tracking using an extended Kalman filter to increase tracking performance.
  • the detector 320 may be configured as a step detector.
  • the detector 320 may create a search window over the entire input image and determine whether a subject exists for each search window.
  • the number of windows for searching all areas of the input image may be determined according to the size of the initial bounding box.
  • the detector 320 may use a classifier having a cascade structure to determine the presence or absence of the subject in real time in the search window.
  • a three-step stage classifier including a dispersion filter 321, an ensemble classifier 322, and a nearest neighbor classifier 323 may be used. It can be seen that the data is transmitted to 340.
  • the learner 330 may be for improving online the performance of the detector 320 in an input continuous image.
  • This may use a quasi-supervised learning algorithm that trains with existing labeled and unlabeled input data.
  • the P-N learner shown in the figure can estimate the classifier error independently by two types of patches and retrain the classifier using the misclassified example as learning material.
  • the positive learning patch may assume that the subject moves along the path by utilizing the temporal structure in the continuous video image.
  • the position of the object in the previous frame may be stored and the position may be tracked using the interframe tracker 310.
  • the reliability of the patch through the tracker 310 is high, it may be determined to be a valid path, and when the detector 320 recognizes the negative as a valid movement path, a positive learning patch may be generated, and a positive error may be detected. In this case, a negative learning patch can be generated.
  • the position of the subject is on the effective moving path, the surroundings can be made into a negative learning patch.
  • the integrator 340 may integrate the results of the tracker 310 and the detector 320 to finally output the position of the subject, and then transfer the coordinates to the driving controller 500.
  • FIG. 10 is a flowchart illustrating an operation of the distance measuring unit illustrated in FIG. 2, and illustrates a process for tracking a tracking object at a predetermined distance in the above-described object tracking step S40.
  • the image A of the specific area detected by the object recognition unit 200 is changed to the image B, the image B 'is generated by the perspective transformation, and then the perspective image of the image A is converted.
  • the ratio (coordinate) of the (A ') scale value and the image (B') scale value can be calculated.
  • the unmanned aerial vehicle can always be maintained at the reference point.
  • the error range was determined that the coordinates that are twice the width, length, and height of the unmanned aerial vehicle are the same position.
  • FIG. 11 is a flowchart illustrating an operation recognition step illustrated in FIG. 3.
  • the operation recognition unit 400 may determine each mode. .
  • the determination method of the operation recognition unit 400 may use the same method used in the object tracking step (S40), a detailed description thereof may be referred to the above-described Figs.
  • the drive control unit 500 controls the image storage unit 700 in the image input unit 100
  • the input image can be compressed and saved as JPEG.
  • the video recording mode when the video recording mode is recognized, the video is recorded for the time set by the time management means 410, and the driving controller 500 controls the video storage unit 700 to compress and store the video input from the video input unit 100. Can be.
  • the present invention enables the autonomous flight of the unmanned aerial vehicle by enabling the recognition and automatic tracking of a specific object using external image information input to the camera mounted on the unmanned aerial vehicle, thereby providing an expensive tracking induction apparatus. Since it is not required separately, there is an effect that can reduce the manufacturing cost of the unmanned aerial vehicle.
  • the present invention is capable of autonomous driving by the unmanned aerial vehicle, and thus does not require a user terminal that has been manually operated by ordinary users, thereby preventing safety accidents and device damage due to immature operation of the user. have.
  • the present invention uses a method of finding a tracking target using a single panoramic image made by successively joining a plurality of images photographed at the time of rotation, the operation speed and recognition rate may be improved.
  • the present invention provides an unmanned aerial vehicle that can automatically track a specific target without user control by using a method that can automatically measure the coordinates to be identified as a tracking object when the face and the upper body of the human body are recognized. It can work.
  • the present invention can be used to process the image input to the camera mounted on the unmanned aerial vehicle without additional configuration, to specify and automatically track the object as well as to transmit control commands to the user and the unmanned aerial vehicle It is effective to implement a convenient interface for the period.
  • the present invention can be used in the field of an unmanned aerial vehicle having an automatic tracking function and a control method thereof.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 자동추적 기능을 갖는 무인항공기 및 그 제어방법에 관한 것으로서, 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 영상입력부; 상기 영상입력부를 통해 취득한 이미지를 이용하여 관심영역을 추출하고, 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식하는 물체인식부; 상기 물체인식부에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성하는 물체추적부; 상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성하는 동작인식부; 및 상기 구동명령에 따라 무인항공기를 구동시키는 구동제어부;를 포함하여 추적 대상 물체를 인식하고 자동추적 함으로써 무인항공기의 자율비행을 가능하게 효과가 있다.

Description

자동추적 기능을 갖는 무인항공기 및 그 제어방법
본 발명은 자동추적 기능을 갖는 무인항공기 및 그 제어방법에 관한 것으로서, 더욱 상세하게는, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 추적 대상 물체의 인식 및 자동추적이 가능한 자동추적 기능을 갖는 무인항공기 및 그 제어방법에 관한 것이다.
최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다.
이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다.
하지만, 종래기술에 따른 무인항공기는 RC(Remote Controller) 및 스마트 사용자 단말기를 통해 무선으로 제어가 가능하기 때문에 반드시 사용자가 있어야 한다는 점에서 비효율적이고, 또한, 무인항공기의 특성상 지상에서 사용자가 수동으로 제어를 할 경우에 사용자 미숙으로 인해 사고가 빈번히 발생하고 있어 이로 인하여 고가의 기기가 파손되거나 안전사고를 유발하는 문제점이 있었다.
따라서, 지상에 있는 사용자의 제어 없이도 무인항공기 자율적으로 카메라 촬영대상을 인식한 다음 자동으로 추적할 수 있게 함으로써 안전사고 및 고가의 무인항공기가 파손되는 것을 방지할 수 있는 현실적이고도 적용이 가능한 무인항공기에 관한 기술이 절실한 실정이다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 추적 대상 물체를 인식하고 자동추적 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 자동추적 기능을 갖는 무인항공기 및 그 제어방법을 제공하는데 있다.
본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 촬영대상 피사체를 자동으로 추적하는 무인항공기에 있어서, 상기 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 영상입력부; 상기 영상입력부를 통해 취득한 이미지를 이용하여 관심영역을 추출하고, 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식하는 물체인식부; 상기 물체인식부에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성하는 물체추적부; 상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성하는 동작인식부; 및 상기 물체추적부 및 동작인식부의 구동명령에 따라 무인항공기를 구동시키는 구동제어부;를 포함할 수 있다.
본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며, 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 취득하는 단일의 파노라마 이미지를 이용하여 추적대상 물체를 인식할 수 있다.
상기 물체인식부는, 상기 영상입력부를 통해 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이며, 검출된 특정영역에 대응되는 윈도우의 좌표를 설정하여 추적대상물체로 인식시킬 수 있다.
이때, 상기 추적대상 물체가 사람인 경우에 상기 특정영역은 얼굴과 상반신에 해당하는 영역일 수 있다.
상기 물체추적부는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기와; 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기와; 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기; 및 상기 추적기와 검출기에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부에 전달하는 통합기;를 구비할 수 있다.
상기 검출기에 적용된 단계별 분류알고리즘 방식은, 분산필터, 앙상블 분류기, 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 분류알고리즘방식을 사용하여 실시간 처리가 가능하게 할 수 있다.
본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 상기 물체인식부에서 인식된 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하고 추적대상 물체의 크기에 대한 변화량을 비교함으로써 추적대상물체와 무인항공기 사이에 일정한 거리를 유지시킬 수 있는 거리측정부;를 더 구비할 수 있다.
본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 상기 동작인식부에서 인식한 동작모드에 대응하여 사진촬영모드에서 촬영된 이미지파일과 동영상촬영모드에서 촬영된 동영상파일이 저장되는 영상저장부;를 더 구비할 수 있다.
본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기의 제어방법은, 촬영대상 피사체를 자동으로 추적하는 무인항공기의 제어방법에 있어서, 상기 촬영대상 피사체의 주변을 촬영하는 촬영단계; 상기 촬영단계에서 취득된 이미지로부터 얼굴영역과 상반신영역을 검출하는 특정영역 검출단계; 상기 특정영역으로 검출되는 얼굴영역과 상반신영역에 대응되는 윈도우의 좌표를 측정하여 추적대상물체로 인식하는 물체인식단계; 상기 물체인식단계에서 인식된 추적대상물체를 일정한 거리를 두고 추적할 수 있도록 무인항공기를 제어하는 물체추적단계; 상기 추적대상물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드를 판단하는 동작인식단계; 및 상기 동작인식단계에서 인식한 동작모드와 대응되게 무인항공기를 구동시키는 무인항공기 구동단계;를 포함할 수 있다.
상기 촬영대상 피사체의 주변을 촬영하는 촬영단계는, 상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득하는 단계; 및 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 촬영하는 단계;를 포함할 수 있다.
상기 특정영역 검출단계는, 상기 촬영단계에서 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 얼굴영역과 상반신영역에 대응되는 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높일 수 있다.
상기 물체추적단계는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높이고, 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 분산필터와 앙상블 분류기 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 단계별 분류알고리즘 방식을 사용하여 결정하며, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 성능을 개선시킬 수 있다.
상기 물체추적단계는, 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하는 단계; 상기 스케일값을 이용하여 추적대상 물체의 크기에 대한 변화량을 감지하여 저장하는 단계; 상기 추적대상 물체의 크기 변화량을 이용하여 무인항공기의 이동좌표를 계산하는 단계; 및 상기 무인항공기의 이동좌표를 이용하여 추적대상 물체와의 거리를 일정하게 유지한 채 추적하는 단계;를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 특정물체의 인식 및 자동추적을 가능하게 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 별도로 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 효과가 있다.
또한, 본 발명은, 무인항공기 스스로 자율주행이 가능하게 함으로써 일반 사용자들이 수동으로 조작하던 사용자용 단말기를 필요로 하지 않아 사용자의 조작미숙으로 인한 안전사고 및 기기파손을 미연에 방지할 수 있는 효과가 있다.
또한, 본 발명은, 회전시 촬영되는 다수개의 이미지를 연속적으로 이어 붙여 만든 단일의 파노라마 이미지를 이용하여 추적대상을 찾는 방법을 사용하기 때문에 연산속도 및 인식률을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은, 인체의 얼굴 및 상반신을 인식한 경우 자동으로 좌표를 측정하여 추적대상물체로 특정할 수 있는 방법을 사용함으로써 사용자의 제어 없이도 자동으로 특정대상을 추적할 수 있는 무인항공기를 제공할 수 있는 효과가 있다.
또한, 본 발명은, 별도의 구성을 추가하지 않고도 단순히 무인항공기에 장착되는 카메라에 입력되는 이미지를 처리하여 물체를 특정하고 자동으로 추적할 수 있을 뿐만 아니라 제어명령을 전달할 수 있기 때문에 사용자와 무인항공기간에 편리한 인터페이스를 구현할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 무인항공기에 장착되는 카메라를 나타내기 위한 개략적인 도면이다.
도 2는 본 발명의 실시예에 따른 무인항공기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 무인항공기의 제어방법을 나타내는 흐름도이다.
도 4는 도 3에 도시된 흐름도의 촬영단계를 설명하기 위한 순서도이다.
도 5는 이미지스티칭 기술을 설명하기 위한 개략적인 도면이다.
도 6은 도 3에 도시된 흐름도의 특정영역 검출단계와 물체인식단계를 설명하기 위한 순서도이다.
도 7은 본 발명의 실시예에 따른 물체인식부에 적용된 할라이크 특징 기법을 설명하기 위한 개략적인 도면이다.
도 8은 도 3에 도시된 흐름도의 물체추적단계를 설명하기 위한 순서도이다.
도 9는 도 8에 도시된 검출기에 적용된 단계별 분류알고리즘 방식을 설명하기 위한 순서도이다.
도 10은 도 2에 도시된 거리측정부의 동작을 설명하기 위한 순서도이다.
도 11은 도 3에 도시된 동작인식단계를 설명하기 위한 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 무인항공기에 장착되는 카메라를 나타내기 위한 개략적인 도면이다.
본 발명의 실시에 따른 자동추적 기능을 갖는 무인항공기는, 촬영대상 피사체를 자동으로 추적하는 무인항공기에 관한 것으로, 도 1에 도시된 바와 같이, 무인항공기(1)의 전방 및 하방에 설치되는 무인항공기 탑재용 카메라(10)가 촬영대상 피사체를 촬영하여 획득하는 영상정보를 이용하여 특정물체를 인식하고 자동추적을 할 수 있다.
여기서, 도면에는 상기 카메라(10)가 무인항공기(1)의 전방 및 하방에 장착되는 것으로 표시되었으나 이에 한정하지 않고 추적대상 및 환경에 따라 무인항공기(1)의 후방 및 상방에 장착될 수 있다.
도 2는 본 발명의 실시예에 따른 무인항공기의 구성을 나타내는 블록도이다.
도 2를 참조하여 본 발명의 실시예에 따른 무인항공기의 구성을 상세하게 설명하면 다음과 같다.
본 발명의 실시예에 따른 무인항공기(1)는, 도 2에 도시된 바와 같이, 영상입력부(100), 물체인식부(200), 물체추적부(300), 동작인식부(400), 구동제어부(500), 거리측정부(600), 및 영상저장부(700)를 포함할 수 있다.
보다 상세하게는, 상기 영상입력부(100)는, 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 수단으로서 도 1에 도시된 무인항공기 탑재용 카메라(10)를 가리킬 수 있으며, 또한, 무인항공기(1)의 종류에 따라 촬영대상 피사체의 주변영상을 취득하는 다양한 영상획득 수단을 가리킬 수 있다.
한편, 본 발명의 실시예에서는, 상기 촬영대상 피사체에 해당되는 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며, 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 취득하는 단일의 파노라마 이미지를 이용하여 추적대상 물체를 인식할 수 있다.
또한, 상기 물체인식부(200)는, 상기 영상입력부(100)를 통해 취득한 이미지를 이용하여 관심영역(Region Of Interest)을 검출하고 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식할 수 있다.
이때, 상기 물체인식부(200)는, 상기 영상입력부를 통해 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이며, 검출된 특정영역에 대응되는 윈도우의 좌표를 설정하여 추적대상물체로 인식시킬 수 있다.
본 발명의 실시예에서와 같이, 상기 추적대상 물체가 사람인 경우에 상기 특정영역은 얼굴과 상반신에 해당하는 영역일 수 있으며, 상기 할라이크 특징과 아다부스트 학습 알고리즘은 본 발명의 실시예에 적용되는 얼굴 검출 알고리즘의 하나이다.
여기서, 상기 할라이크 특징은 얼굴 검색시 주로 사용하는 기법으로 많은 프로토타입이 존재하는데 이러한 프로토타입들은 아다부스트 학습 알고리즘에 의해서 얼굴을 잘 표현하는 것들만 사용하게 되어 효율적인 얼굴 검출이 가능할 수 있다.
또한, 상기 물체추적부(300)는, 상기 물체인식부(200)에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성할 수 있다.
이때, 상기 물체추적부(300)는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기(310)와, 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기(320)와, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기(330), 및 상기 추적기(310)와 검출기(320)에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부(500)에 전달하는 통합기(340)를 구비할 수 있다.
또한, 상기 검출기(320)에 적용된 단계별 분류알고리즘 방식은, 분산필터(321), 앙상블 분류기(322), 및 최근접 이웃분류기(323)를 포함하는 캐스케이드 구조의 분류알고리즘방식을 사용하여 실시간 처리가 가능하게 할 수 있다.
또한, 상기 동작인식부(400)는, 상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성할 수 있으며, 상기 구동제어부(500)는, 상기 물체추적부(300) 및 동작인식부(400)에서 생성되는 구동명령에 따라 무인항공기를 구동시킬 수 있다.
이때, 상기 구동명령은, 무인항공기의 이동방향, 이동거리, 회전, 고도의 상승 및 하강, 착륙, 이륙, 카메라를 이용한 사진촬영 및 동영상촬영을 포함할 수 있다.
또한, 상기 거리측정부(600)는, 상기 물체인식부(200)에서 인식된 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하고 추적대상 물체의 크기에 대한 변화량을 비교함으로써 추적대상물체와 무인항공기 사이에 일정한 거리를 유지시킬 수 있다.
또한, 상기 영상저장부(700)는, 상기 동작인식부(400)에서 인식한 동작모드에 대응하여 사진촬영모드에서 촬영된 이미지파일과 동영상촬영모드에서 촬영된 동영상파일이 저장될 수 있다.
도 3은 본 발명의 실시예에 따른 무인항공기의 제어방법을 나타내는 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 따른 자동추적 기능을 갖는 무인항공기의 제어방법은, 촬영단계(S10), 특정영역 검출단계(S20), 물체인식단계(S30), 물체추적단계(S40), 동작인식단계(S50), 및 무인항공기 구동단계(S60)를 포함할 수 있다.
먼저, 상기 촬영단계(S10)는, 촬영대상 피사체의 주변을 촬영하는 단계로서 상기 촬영대상 피사체에 해당하는 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득하는 단계, 및 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 촬영하는 단계를 포함할 수 있다.
다음으로, 상기 특정영역 검출단계(S20)는, 상기 촬영단계에서 취득된 이미지로부터 얼굴영역과 상반신영역을 검출하는 단계일 수 있다.
여기서, 상기 특정영역 검출단계(S20)는, 상기 촬영단계(S10)에서 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 얼굴영역과 상반신영역에 대응되는 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높일 수 있다.
다음으로, 상기 물체인식단계(S30)는, 상기 특정영역으로 검출되는 얼굴영역과 상반신영역에 대응되는 윈도우의 좌표를 측정하여 추적대상물체로 인식하는 단계일 수 있다.
다음으로, 상기 물체추적단계(S40)는, 상기 물체인식단계(S30)에서 인식된 추적대상물체를 일정한 거리를 두고 추적할 수 있도록 무인항공기를 제어하는 단계일 수 있다.
다음으로, 상기 동작인식단계(S50)는, 상기 추적대상물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드를 판단하는 단계일 수 있다.
다음으로, 상기 무인항공기 구동단계(S60)는, 상기 동작인식단계에서 인식한 동작모드와 대응되게 무인항공기를 구동시키는 단계일 수 있다.
도 4는 도 3에 도시된 흐름도의 촬영단계를 개략적으로 설명하기 위한 순서도이고, 도 5는 도 4에 도시된 이미지 합성에 사용된 이미지스티칭 기술을 설명하기 위한 개략적인 도면이다.
도 4 내지 도 5를 참조하여 도 3에 도시된 촬영단계(S10)를 설명하면 다음과 같다.
도 2에서 상술한 바와 같이, 본 발명의 실시예에 따른 무인항공기는, 촬영대상 피사체에 해당되는 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며, 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 추적대상 물체를 인식할 수 있다.
즉, 일반적으로 대부분의 카메라는 FOV(Field of View)의 한계로 인해 추적하는 과정에서 촬영대상 피사체를 놓치는 경우가 종종 발생될 수 있다.
이와 같은 상황을 피하기 위하여 일반적으로 촬영대상 피사체에 해당하는 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 추적을 할 수 있다.
한편, 도면에 도시된 바와 같이, 영상입력부(100)에 입력되는 이미지를 이용하여 추적대상물체를 인식하는 물체인식부(200)가 상기 추적대상물체에 해당하는 특정영역을 검출하지 못할 경우에는 자이로센서정보를 이용(S11)하여 무인항공기를 제자리에서 회전시키면서(S12) 촬영하여 추적대상물체를 인식할 수 있다.
이때, 회전하면서 촬영된 연속이미지를 이용하여 추적대상물체에 해당하는 특정영역을 검출하려면 촬영된 모든 이미지를 이용하여 각각의 이미지내에 추적대상물체에 해당하는 특정영역이 있는지를 판단하는 과정을 필요로 한다.
여기서, 이미지수가 증가하면 증가할수록 연산량이 증가하게 되기 때문에 이를 피하기 위하여 회전하면서 촬영한 모든 이미지를 이용하여 추적대상물체를 인식하기 보다는 회전하면서 촬영된 연속이미지를 이미지 스티칭기술( 참고논문 [1] )로 이어붙여 단일의 파노라마 이미지를 생성( 참고논문 [2] )할 수 있다.
즉, 여러장의 연속이미지를 이용하기 보다는 한 장의 파노라마 이미지에서 추적대상물체에 해당하는 특정영역을 검출하는 방법을 이용하면 연산속도와 그에 따른 인식률을 높일 수 있다.
도 5는 상술한 이미지 스티칭기술을 개략적으로 설명하기 위한 것으로서, 본 발명의 실시예에 따르면, 먼저, 무인항공기가 제자리에서 회전하는 동안 자이로센서를 이용하여 일정한 회전각도를 간격으로 하고 카메라(10)로 사진을 연속 촬영하고 영상입력부(100)의 메모리(미도시)에 저장할 수 있다.
이때, 연속 촬영된 모든 이미지를 이용하여 파노라마 이미지를 생성하기 위하여 주로 사용되는 이미지 스티칭 기술을 이용하여 이미지를 합성할 수 있다.(S13)
상술한 이미지 스티칭 기술을 부연 설명하면, 연속 촬영되어 획득되는 모든 이미지에 대해서 빠른 특징점과 상기 빠른 특징점에 대한 특징 기술자를 계산한 다음, 연속 이미지들 사이의 특징 기술자들 간의 해밍거리(Hamming distance)가 가장 가까운 특징점들끼리 매칭후보로 설정하고, 매칭후보 사이의 NCC(Normalized cross correlation)와 자이로스코프 데이터를 이용하여 매칭후보의 외곽경계선을 제거하며, 매칭후보 사이의 관계를 RANSAC(RANdom SAmple Consensus)을 이용하여 호모그래피 매트릭스(Homography Matrix)를 계산하고( 참고논문[3] ), 파노라마 이미지를 생성하는데 사용되는 알파 블랜딩 알고리즘을 적용하여 이미지들을 합성할 수 있다.
도 6은 도 3에 도시된 흐름도의 특정영역 검출단계와 물체인식단계를 설명하기 위한 순서도이고, 도 7은 본 발명의 실시예에 따른 물체인식부에 적용된 할라이크 특징 기법을 설명하기 위한 개략적인 도면이다.
도 6에 도시된 바와 같이, 도 3의 특정영역 검출단계(S20)는, 영상입력부(100)에서 취득한 이미지에서 먼저 관심영역(ROI)를 추출(S21)한 다음 할라이크 특징(Haar-like feature)을 이용(S23)하여 얼굴 및 상반신 영역에 해당되는 윈도우를 검색(S24)할 수 있다.
여기서, 상기 할라이크(Haar-like feature) 특징은 단순한 특징을 갖는 두 개 이상의 인접한 사각형 영역들로 구성되며 그 값은 영역들 간의 밝기차로 정의될 수 있다.
또한, 도 3의 물체인식단계(S30)는, 상기 검색된 윈도우의 좌표를 설정하여 추적대상물체로 인식시키는 과정일 수 있는데, 도 6에 도시된 바와 같이, 물체인식을 위하여 아다부스트(Adaboost) 학습알고리즘( 참고논문[4] )을 얼굴 및 상반신 모델학습기로 만든 모델에 적용(S22)하는 과정을 거칠 수 있다.
이때, 도 2의 물체인식부(200)에서는 객체와 배경을 분류하기 위하여 분류기(Classfier)를 사용할 수 있다. 상기 분류기는 객체 샘플들(Positive)과 배경 샘플들(Negative)을 사용하여 학습시킬 수 있으며, 상술한 아다부스트 학습알고리즘을 이용할 수 있다.
상기 아다부스트 학습알고리즘은 성능이 낮은 약분류기(Weak Classifier)들을 조합하여 강분류기(Strong Classifier)를 구성하는 알고리즘으로 약분류기에 의해 옳게 판정된 샘플들의 가중치는 낮추고 잘못 판정된 샘플들의 가중치는 높이는 과정을 반복하여 강분류기를 구성할 수 있다. 이러한 과정은 강분류기의 성능이 목표에 도달할 때 까지 반복될 수 있으며, 이러한 과정을 거쳐 인식된 얼굴과 상반신영역 2가지에 해당되는 윈도우의 좌표를 측정한 후 그 해당 윈도우를 추적대상물체로 지정할 수 있다.
도 8은 도 3에 도시된 흐름도의 물체추적단계를 설명하기 위한 순서도이고, 도 9는 도 8에 도시된 검출기에 적용된 단계별 분류알고리즘 방식을 설명하기 위한 순서도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에서 물체추적단계(S40)는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높이고(S41), 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 분산필터와 앙상블 분류기 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 단계별 분류알고리즘 방식을 사용하여 추적대상물체의 존재여부를 결정(S42)하며, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용(S43)하여 성능을 개선시킬 수 있다.
도면을 참조하여 본 발명의 실시예에 따른 물체추적단계(S40)를 더욱 상세하게 설명하면 다음과 같다.
본 발명의 실시예에서, 상기 물체추적단계(S40)는 TLD(Tld Learning Detection) 학습 알고리즘 방식( 참고논문[5], 참고논문[6] )을 사용할 수 있다.
앞서 상술한 물체인식부(200)의 결과를 이용하여 추적대상물체가 검출이 되면 TLD(Tld Learning Detection) 학습 알고리즘 방식을 이용하여 추적대상물체를 추적할 수 있다.
한편, 추적대상물체가 움직이거나 무인항공기가 움직이면, 추적대상물체에 대응되는 피사체의 사이즈(스케일) 변화와 회전각도변화, 및 위치변화가 생길 수 있으며, 또한, 상기 피사체를 바라보는 방향에 따라 피사체의 모양과 특징이 변화될 수 있다. 그렇기 때문에, TLD(Tld Learning Detection) 학습 알고리즘 방식을 사용하였으며, TLD학습 알고리즘 방식은 기본적으로 추적기(310), 검출기(320), 학습기(330), 및 통합기(340)를 포함할 수 있다.
이때, 본 발명의 실시예에서, 상기 추적기(310)는, 미디안 필터를 사용할 수 있으나 추적성능을 높이기 위하여 확장칼만필터를 이용한 추적을 사용할 수 있다.
또한, 상기 검출기(320)는, 단계별 검출기로 구성될 수 있다.
상기 검출기(320)는, 입력되는 이미지 전체에 걸쳐 검색윈도우를 만들고, 각 검색윈도우에 대한 피사체의 존재여부를 결정할 수 있다. 초기 경계상자의 크기에 따라 입력이미지의 모든 영역을 검색하기 위한 윈도우의 수가 결정될 수 있다.
한편, 본 발명의 실시예에서는, 상기 검출기(320)가 검색윈도우에서 실시간으로 피사체의 유무를 판단하기 위하여 캐스케이드 구조를 가진 분류기를 사용할 수 있다.
즉, 분산필터(321), 앙상블 분류기(322), 및 최근접 이웃 분류기(323)를 포함하는 3단계의 단계적 분류기를 사용할 수 있으며, 도면에 도시된 바와 같이, 피사체의 존재가 검색되면 통합기(340)로 데이터를 전송하는 것을 알 수 있다.
또한, 상기 학습기(330)는, 입력되는 연속 영상에서 검출기(320)의 성능을 온라인으로 개선하기 위한 것일 수 있다.
이것은, 기존에 레이블된 데이터와 레이블되지 않은 입력 데이터를 가지고 학습을 시키는 준지도학습 알고리즘방식을 사용할 수 있다.
도면에 도시된 P-N학습기는, 두가지 타입의 패치에 의해 독립적으로 분류기 오차를 추정하고, 잘못 분류된 예제를 학습자료로 사용하여 분류기를 다시 훈련시킬 수 있다.
긍정학습패치는 연속 비디오영상에서의 시간적 구조를 활용하여 피사체가 경로를 따라 이동한다고 가정할 수 있다. 이전 프레임에서 객체의 위치를 기억하고 프레임간 추적기(310)를 이용하여 위치를 추적할 수 있다.
추적기(310)를 통한 패치의 신뢰도가 높은 경우에 유효한 경로로 판단할 수 있으며, 유효한 이동경로에 검출기(320)가 부정으로 인식하는 경우에 긍정학습 패치를 생성할 수 있고, 긍정오류를 검출하는 경우에는 부정학습 패치를 생성할 수 있다. 또한, 피사체의 위치가 유효한 이동경로상에 있는 경우에는 주위를 부정학습 패치로 만들 수 있다.
상기 통합기(340)는, 추적기(310)와 검출기(320)의 결과를 통합하여 피사체의 위치를 최종 출력한 후 해당좌표를 구동제어부(500)로 전달할 수 있다.
도 10은 도 2에 도시된 거리측정부의 동작을 설명하기 위한 순서도로서, 앞서 상술한 물체추적단계(S40)에서 추적대상물체를 일정한 거리를 두고 추적하기 위한 과정을 설명할 수 있다.
상기 물체추적단계(S40)는, 도 2의 거리측정부(600)를 이용하여 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하는 단계와, 상기 스케일값을 이용하여 추적대상 물체의 크기에 대한 변화량을 감지하여 저장하는 단계와, 상기 추적대상 물체의 크기 변화량을 이용하여 무인항공기의 이동좌표를 계산하는 단계, 및 상기 무인항공기의 이동좌표를 이용하여 추적대상 물체와의 거리를 일정하게 유지한 채 추적하는 단계를 포함할 수 있다.
보다 상세하게는, 물체인식부(200)에서 검출한 특정영역의 이미지(A)가 이미지(B)로 변하였다면 원근변환으로 이미지(B')를 생성한 후 이미지(A)의 원근변환된 이미지(A')스케일값과 이미지(B')스케일값의 비율(좌표)을 계산할 수 있다.
여기서, 기준점이 최초 좌표 이미지(A')가 되기 때문에 무인항공기는 항상 기준점에서 유지하도록 할 수 있다.
도면에 도시된 바와 같이, 이미지(A') > 이미지(B')일 경우에는 오차범위내에서 무인항공기를 이미지(A')로 근접하게 이동시키고(S44), 이미지(A') < 이미지(B')일 경우에는 오차범위내에서 무인항공기를 이미지(B')로 근접하게 이동시킬 수 있으며(S45), 이미지(A') = 이미지(B')일 경우에는 오차범위내에서 무인항공기는 현재의 위치를 유지할 수 있다.( S46)
이때, 오차범위는 무인항공기의 가로와 세로 길이, 그리고 높이의 2배가 되는 좌표는 동일한 위치라고 판단하였다.
도 11은 도 3에 도시된 동작인식단계를 설명하기 위한 순서도이다.
도면에 도시된 바와 같이, 추적대상물체에 해당되는 피사체(사용자)가 사진촬영모드, 동영상촬영모드, 및 복귀모드등 정해진 동작을 수행하면 동작인식부(400)가 각각의 모드를 판단할 수 있다.
여기서, 상기 동작인식부(400)의 판별방식은 물체추적단계(S40)에서 동일하게 사용된 방식을 사용할 수 있으며, 이에 대한 상세설명은 앞서 상술한 도 8 및 도9를 참조할 수 있다.
한편, 본 발명의 실시예에서, 사진촬영모드로 인식되면 시간관리수단(410)에서 설정된 시간이 경과된 이후에 구동제어부(500)가 영상저장부(700)를 제어하여 영상입력부(100)에서 입력된 영상을 JPEG으로 압축하여 저장할 수 있다.
또한, 동영상촬영모드로 인식되면 시간관리수단(410)에 설정된 시간만큼 동영상을 촬영하고 구동제어부(500)가 영상저장부(700)를 제어하여 영상입력부(100)에서 입력된 동영상을 압축하여 저장할 수 있다.
게다가, 복귀모드로 인식되면 먼저, 동영상 촬영중인지 검사한 이후에 무인항공기를 피사체(사용자)가 있는 곳으로 복귀시킬 수 있다.
상기와 같이, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 특정물체의 인식 및 자동추적을 가능하게 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 별도로 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 효과가 있다.
또한, 본 발명은, 무인항공기 스스로 자율주행이 가능하게 함으로써 일반 사용자들이 수동으로 조작하던 사용자용 단말기를 필요로 하지 않아 사용자의 조작미숙으로 인한 안전사고 및 기기파손을 미연에 방지할 수 있는 효과가 있다.
또한, 본 발명은, 회전시 촬영되는 다수개의 이미지를 연속적으로 이어 붙여 만든 단일의 파노라마 이미지를 이용하여 추적대상을 찾는 방법을 사용하기 때문에 연산속도 및 인식률을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은, 인체의 얼굴 및 상반신을 인식한 경우 자동으로 좌표를 측정하여 추적대상물체로 특정할 수 있는 방법을 사용함으로써 사용자의 제어 없이도 자동으로 특정대상을 추적할 수 있는 무인항공기를 제공할 수 있는 효과가 있다.
또한, 본 발명은, 별도의 구성을 추가하지 않고도 단순히 무인항공기에 장착되는 카메라에 입력되는 이미지를 처리하여 물체를 특정하고 자동으로 추적할 수 있을 뿐만 아니라 제어명령을 전달할 수 있기 때문에 사용자와 무인항공기간에 편리한 인터페이스를 구현할 수 있는 효과가 있다.
지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.
본 발명은 자동추적 기능을 갖는 무인항공기 및 그 제어방법 분야에 이용될 수 있다.

Claims (13)

  1. 촬영대상 피사체를 자동으로 추적하는 무인항공기에 있어서,
    상기 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 영상입력부;
    상기 영상입력부를 통해 취득한 이미지를 이용하여 관심영역을 추출하고, 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식하는 물체인식부;
    상기 물체인식부에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성하는 물체추적부;
    상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성하는 동작인식부; 및
    상기 물체추적부 및 동작인식부의 각각의 구동명령에 따라 무인항공기를 구동시키는 구동제어부;를 포함하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  2. 제 1항에 있어서,
    상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며,
    상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 취득하는 단일의 파노라마 이미지를 이용하여 추적대상 물체를 인식하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  3. 제 1항에 있어서, 상기 물체인식부는,
    상기 영상입력부를 통해 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이며, 검출된 특정영역에 대응되는 윈도우의 좌표를 설정하여 추적대상물체로 인식시키는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  4. 제 3항에 있어서,
    상기 추적대상 물체가 사람인 경우에 상기 특정영역은 얼굴과 상반신에 해당하는 영역인 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  5. 제 1항에 있어서, 상기 물체추적부는,
    확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기와;
    입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기와;
    연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기; 및
    상기 추적기와 검출기에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부에 전달하는 통합기;를 구비하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  6. 제 5항에 있어서, 상기 검출기에 적용된 단계별 분류알고리즘 방식은,
    분산필터, 앙상블 분류기, 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 분류알고리즘방식을 사용하여 실시간 처리가 가능하게 한 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  7. 제 1항에 있어서,
    상기 물체인식부에서 인식된 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하고 추적대상 물체의 크기에 대한 변화량을 비교함으로써 추적대상물체와 무인항공기 사이에 일정한 거리를 유지시킬 수 있는 거리측정부;를 더 구비하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  8. 제 1항에 있어서,
    상기 동작인식부에서 인식한 동작모드에 대응하여 사진촬영모드에서 촬영된 이미지파일과 동영상촬영모드에서 촬영된 동영상파일이 저장되는 영상저장부;를 더 구비하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
  9. 촬영대상 피사체를 자동으로 추적하는 무인항공기의 제어방법에 있어서,
    상기 촬영대상 피사체의 주변을 촬영하는 촬영단계;
    상기 촬영단계에서 취득된 이미지로부터 얼굴영역과 상반신영역을 검출하는 특정영역 검출단계;
    상기 특정영역으로 검출되는 얼굴영역과 상반신영역에 대응되는 윈도우의 좌표를 측정하여 추적대상물체로 인식하는 물체인식단계;
    상기 물체인식단계에서 인식된 추적대상물체를 일정한 거리를 두고 추적할 수 있도록 무인항공기를 제어하는 물체추적단계;
    상기 추적대상물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드를 판단하는 동작인식단계; 및
    상기 동작인식단계에서 인식한 동작모드와 대응되게 무인항공기를 구동시키는 무인항공기 구동단계;를 포함하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기의 제어방법
  10. 제 9항에 있어서, 상기 촬영대상 피사체의 주변을 촬영하는 촬영단계는,
    상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득하는 단계; 및
    상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 촬영하는 단계;를 포함하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기의 제어방법
  11. 제 9항에 있어서, 상기 특정영역 검출단계는,
    상기 촬영단계에서 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 얼굴영역과 상반신영역에 대응되는 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기의 제어방법
  12. 제 9항에 있어서, 상기 물체추적단계는,
    확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높이고, 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 분산필터와 앙상블 분류기 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 단계별 분류알고리즘 방식을 사용하여 결정하며, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 성능을 개선시키는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기의 제어방법
  13. 제 12항에 있어서, 상기 물체추적단계는,
    추적대상 물체의 이미지데이터에 대한 스케일값을 저장하는 단계;
    상기 스케일값을 이용하여 추적대상 물체의 크기에 대한 변화량을 감지하여 저장하는 단계;
    상기 추적대상 물체의 크기 변화량을 이용하여 무인항공기의 이동좌표를 계산하는 단계; 및
    상기 무인항공기의 이동좌표를 이용하여 추적대상 물체와의 거리를 일정하게 유지한 채 추적하는 단계;를 포함하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기의 제어방법
PCT/KR2016/001970 2015-08-19 2016-02-27 자동추적 기능을 갖는 무인항공기 및 그 제어방법 WO2017030259A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/556,203 US10303172B2 (en) 2015-08-19 2016-02-27 Unmanned aerial vehicle having automatic tracking function and method of controlling the same
CN201680014180.6A CN107406142A (zh) 2015-08-19 2016-02-27 具有自动跟踪功能的无人机及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150116709A KR101645722B1 (ko) 2015-08-19 2015-08-19 자동추적 기능을 갖는 무인항공기 및 그 제어방법
KR10-2015-0116709 2015-08-19

Publications (1)

Publication Number Publication Date
WO2017030259A1 true WO2017030259A1 (ko) 2017-02-23

Family

ID=56711391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001970 WO2017030259A1 (ko) 2015-08-19 2016-02-27 자동추적 기능을 갖는 무인항공기 및 그 제어방법

Country Status (4)

Country Link
US (1) US10303172B2 (ko)
KR (1) KR101645722B1 (ko)
CN (1) CN107406142A (ko)
WO (1) WO2017030259A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426548A (zh) * 2017-09-07 2017-12-01 四川智慧鹰航空科技有限公司 一种超小型低功耗图像传输设备
CN108427960A (zh) * 2018-02-10 2018-08-21 南京航空航天大学 基于改进Online Boosting和卡尔曼滤波器改进的TLD跟踪方法
CN108965689A (zh) * 2017-05-27 2018-12-07 昊翔电能运动科技(昆山)有限公司 无人机拍摄方法及装置、无人机和地面控制装置
WO2023106558A1 (ko) * 2021-12-07 2023-06-15 한국전자기술연구원 영상정보 기반의 벼 도복 자동 판독 장치 및 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3054336A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et localisation amelioree de la cible.
JP2018037886A (ja) * 2016-08-31 2018-03-08 株式会社東芝 画像配信装置、画像配信システム、および画像配信方法
CN108886572B (zh) * 2016-11-29 2021-08-06 深圳市大疆创新科技有限公司 调整图像焦点的方法和系统
JP6794284B2 (ja) * 2017-01-31 2020-12-02 キヤノン株式会社 カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム
US10375289B2 (en) * 2017-03-31 2019-08-06 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
CN107024725B (zh) * 2017-05-31 2023-09-22 湖南傲英创视信息科技有限公司 一种大视场微光低空无人机探测装置
US11064184B2 (en) 2017-08-25 2021-07-13 Aurora Flight Sciences Corporation Aerial vehicle imaging and targeting system
US10495421B2 (en) 2017-08-25 2019-12-03 Aurora Flight Sciences Corporation Aerial vehicle interception system
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
WO2019102498A1 (en) * 2017-11-27 2019-05-31 Nagarajan Bharath System and method for tracking performance of physical activity of a user
KR102045667B1 (ko) * 2018-02-14 2019-12-03 동국대학교 산학협력단 드론의 제어 신호 생성 방법 및 제어 장치
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
EP3821313A4 (en) 2018-07-12 2022-07-27 Terraclear Inc. SYSTEM AND METHOD FOR IDENTIFICATION AND COLLECTION OF OBJECTS
CN110832495A (zh) * 2018-07-13 2020-02-21 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
KR102177655B1 (ko) 2018-11-14 2020-11-11 이병섭 Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템
CN109636834A (zh) * 2018-11-22 2019-04-16 北京工业大学 基于tld改进算法的视频车辆目标跟踪算法
CN109857128B (zh) * 2018-12-18 2022-07-15 丰翼科技(深圳)有限公司 无人机视觉定点降落方法、系统、设备及存储介质
US10891490B2 (en) 2019-01-18 2021-01-12 International Business Machines Corporation Passive approaching object recognition for enhancing security systems
CN110008919A (zh) * 2019-04-09 2019-07-12 南京工业大学 基于视觉的四旋翼无人机人脸识别系统
WO2020219692A1 (en) * 2019-04-25 2020-10-29 Nec Laboratories America, Inc. Tracking indoor objects with inertial sensor measurements
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN110852146B (zh) * 2019-09-23 2023-05-16 合肥赛为智能有限公司 一种无人机图像特征点检测方法
WO2021231219A1 (en) * 2020-05-11 2021-11-18 Canon U.S.A., Inc. An unmanned autonomous vehicle and method for controlling the same
CN111812096B (zh) * 2020-06-02 2023-07-07 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
US11792517B2 (en) * 2020-09-30 2023-10-17 Snap Inc. Pose tracking for rolling shutter camera
CN112966149B (zh) * 2020-10-20 2022-02-18 圣凯诺服饰有限公司 海量数据实时搜索系统
CN112414224A (zh) * 2020-12-10 2021-02-26 成都微精控科技有限公司 一种针对特定目标的空域安防方法及系统
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
CN113721449A (zh) * 2021-01-05 2021-11-30 北京理工大学 一种多旋翼机控制系统及方法
CN112866579B (zh) * 2021-02-08 2022-07-01 上海巡智科技有限公司 数据采集方法、装置及可读存储介质
TWI779850B (zh) 2021-06-24 2022-10-01 仁寶電腦工業股份有限公司 無人機遊戲之渲染方法
CN113837097B (zh) * 2021-09-26 2024-05-07 南京航空航天大学 一种面向视觉目标识别的无人机边缘计算验证系统和方法
CN114066936B (zh) * 2021-11-06 2023-09-12 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法
CN114389623B (zh) * 2022-03-23 2022-07-26 湖南华诺星空电子技术有限公司 一种穿越机识别驱离方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202737A (ja) * 2008-02-27 2009-09-10 Mitsubishi Heavy Ind Ltd 無人航空機及び無人航空機システム
KR20130067847A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 무인 항공기를 이용한 공중 정찰 시스템 및 방법
KR101313908B1 (ko) * 2013-05-10 2013-10-01 위아코퍼레이션 주식회사 레이저 레인지 게이트 방식을 이용한 영상 보안 시스템
JP2014119828A (ja) * 2012-12-13 2014-06-30 Secom Co Ltd 自律飛行ロボット
US20140211987A1 (en) * 2013-01-30 2014-07-31 International Business Machines Corporation Summarizing salient events in unmanned aerial videos

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003264929A1 (en) 2002-09-23 2004-04-08 Stefan Reich Measuring and stabilising system for machine-controllable vehicles
US7789341B2 (en) 2004-04-14 2010-09-07 Arlton Paul E Rotary wing aircraft having a non-rotating structural backbone and a rotor blade pitch controller
KR100842101B1 (ko) 2007-06-15 2008-06-30 주식회사 대한항공 영상정보를 이용한 무인항공기 자동회수 방법
US9026272B2 (en) 2007-12-14 2015-05-05 The Boeing Company Methods for autonomous tracking and surveillance
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
JP4896115B2 (ja) * 2008-11-21 2012-03-14 三菱電機株式会社 空中移動体からの自動追尾撮影装置
KR20100129143A (ko) 2010-04-12 2010-12-08 서이환 낙하산에 의한 무선조종항공기의 착륙장치
KR101157484B1 (ko) 2010-12-14 2012-06-20 주식회사 대한항공 무인항공기 자동회수 방법
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP2013119328A (ja) * 2011-12-08 2013-06-17 Canon Inc 自動追尾カメラシステム
FR2985581B1 (fr) * 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
KR20130009895A (ko) 2013-01-05 2013-01-23 이상윤 공간정보기술을 이용한 무인항공기 통합네트워크시스템
KR20130086192A (ko) 2013-06-18 2013-07-31 이상윤 스마트안경을 이용한 무인항공기 제어와 조종시스템
US20150134143A1 (en) * 2013-10-04 2015-05-14 Jim Willenborg Novel tracking system using unmanned aerial vehicles
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
JP6574938B2 (ja) * 2014-05-19 2019-09-18 ソニー株式会社 飛行装置および撮像装置
US9536320B1 (en) * 2014-12-23 2017-01-03 John H. Prince Multiple coordinated detectors for examination and ranging
CN104796611A (zh) * 2015-04-20 2015-07-22 零度智控（北京）智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
JP6100868B1 (ja) * 2015-11-09 2017-03-22 株式会社プロドローン 無人移動体の操縦方法および無人移動体監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202737A (ja) * 2008-02-27 2009-09-10 Mitsubishi Heavy Ind Ltd 無人航空機及び無人航空機システム
KR20130067847A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 무인 항공기를 이용한 공중 정찰 시스템 및 방법
JP2014119828A (ja) * 2012-12-13 2014-06-30 Secom Co Ltd 自律飛行ロボット
US20140211987A1 (en) * 2013-01-30 2014-07-31 International Business Machines Corporation Summarizing salient events in unmanned aerial videos
KR101313908B1 (ko) * 2013-05-10 2013-10-01 위아코퍼레이션 주식회사 레이저 레인지 게이트 방식을 이용한 영상 보안 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965689A (zh) * 2017-05-27 2018-12-07 昊翔电能运动科技(昆山)有限公司 无人机拍摄方法及装置、无人机和地面控制装置
CN107426548A (zh) * 2017-09-07 2017-12-01 四川智慧鹰航空科技有限公司 一种超小型低功耗图像传输设备
CN108427960A (zh) * 2018-02-10 2018-08-21 南京航空航天大学 基于改进Online Boosting和卡尔曼滤波器改进的TLD跟踪方法
CN108427960B (zh) * 2018-02-10 2020-04-21 南京航空航天大学 基于改进Online Boosting和卡尔曼滤波器改进的TLD跟踪方法
WO2023106558A1 (ko) * 2021-12-07 2023-06-15 한국전자기술연구원 영상정보 기반의 벼 도복 자동 판독 장치 및 방법

Also Published As

Publication number Publication date
US20180046188A1 (en) 2018-02-15
US10303172B2 (en) 2019-05-28
CN107406142A (zh) 2017-11-28
KR101645722B1 (ko) 2016-08-05

Similar Documents

Publication Publication Date Title
WO2017030259A1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2017049816A1 (zh) 一种控制无人机随脸转动的方法和装置
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
US9892322B1 (en) Cascade recognition for personal tracking via unmanned aerial vehicle (UAV)
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
US10019624B2 (en) Face recognition system and face recognition method
US20160232410A1 (en) Vehicle speed detection
KR20170022872A (ko) 자동추적 기능을 갖는 무인항공기
US20130076943A1 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
WO2017034220A1 (en) Method of automatically focusing on region of interest by an electronic device
WO2017018744A1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
WO2021091021A1 (ko) 화재 검출 시스템
KR101850534B1 (ko) 적외선 카메라와 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션
WO2016024680A1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2017111257A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2016072627A1 (ko) 전방위 카메라를 이용한 1대 다면 주차장 관리 시스템 및 관리방법
WO2021091053A1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
CN109218587A (zh) 一种基于双目摄像头的图像采集方法及系统
KR101656519B1 (ko) 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2017007077A1 (ko) 감시 방법
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
CN113438399B (zh) 用于无人机的目标导引系统、方法、无人机和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16837201

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15556203

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16.07.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16837201

Country of ref document: EP

Kind code of ref document: A1