WO2019198868A1 - 무인기와 무선단말기 간의 상호 인식 방법 - Google Patents

무인기와 무선단말기 간의 상호 인식 방법 Download PDF

Info

Publication number
WO2019198868A1
WO2019198868A1 PCT/KR2018/005519 KR2018005519W WO2019198868A1 WO 2019198868 A1 WO2019198868 A1 WO 2019198868A1 KR 2018005519 W KR2018005519 W KR 2018005519W WO 2019198868 A1 WO2019198868 A1 WO 2019198868A1
Authority
WO
WIPO (PCT)
Prior art keywords
wireless terminal
drone
image
server
user
Prior art date
Application number
PCT/KR2018/005519
Other languages
English (en)
French (fr)
Inventor
정승호
박재홍
Original Assignee
아르고스다인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아르고스다인 filed Critical 아르고스다인
Priority to US16/960,877 priority Critical patent/US11815913B2/en
Publication of WO2019198868A1 publication Critical patent/WO2019198868A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Definitions

  • the present invention relates to a mutual recognition method between an unmanned device and a wireless terminal.
  • the drone market which is currently unmanned in flight, is expanding, and related industries are expanding, including delivery of goods using drones, pickup services, and provision of emergency supplies.
  • the drone when the recipient (user) location information is input, the drone will fly toward the recipient through an autonomous flight to the destination.
  • current GPS technology produces an error of 10 to 50 meters, especially when there are obstacles (such as wooded forests) that obstruct the view of the drone, or when there are several unspecified people including recipients at the destination (eg In parks, there is a problem that it is difficult to identify the recipient of the drone.
  • connection between the drone, the server, and the recipient to authenticate means that the drone and the server recognize that there is a recipient nearby, and does not mean that the drone recognizes the recipient.
  • a detection and marking operation must be performed to recognize the recipient, and for this purpose, the drone is placed in an open space where the drone is easily visible or free of obstacles. You need to move it.
  • the prior user identification method relates to a technique for a drone to identify a user from a distance, and does not disclose how the drone and the user specify the user after mutual authentication.
  • a drone moving up to a vicinity of a service user requesting a drone service is mutually authenticated by communication with a wireless terminal (smart device) of the user, and after the authentication, the drone accurately recognizes the user so that the user can be identified.
  • An object of the present invention is to provide a mutual recognition method between an unmanned aerial vehicle and a wireless terminal.
  • the server when the image of the drone is located in a predetermined section of the image pickup surface of the image sensor in the wireless terminal, the server is based on the information on the external magnetic field of the wireless terminal from the wireless terminal, the first of the wireless terminal Provided is a mutual recognition method between an unmanned aerial vehicle and a wireless terminal, including receiving status information.
  • the server when the image of the drone is located in a predetermined section of the image pickup surface of the image sensor in the wireless terminal, the server is based on the information on the orientation of the wireless terminal from the wireless terminal.
  • a method for mutual recognition between an unmanned aerial vehicle and a wireless terminal comprising receiving second state information of a terminal.
  • the wireless terminal when the image of the drone is located in a predetermined section of the image pickup surface of the image sensor in the wireless terminal, the wireless terminal based on the information on the external magnetic field of the wireless terminal to the server or unmanned aerial vehicle
  • a method for mutual recognition between an unmanned aerial vehicle and a wireless terminal comprising transmitting first state information of a terminal.
  • the wireless terminal when the image of the drone is located in a predetermined section of the image pickup surface of the image sensor in the wireless terminal, the wireless terminal based on the information on the orientation of the wireless terminal to the server or unmanned terminal A method of mutual recognition between an unmanned aerial vehicle and a wireless terminal is provided.
  • the step of receiving a state information of the wireless terminal from a server or a wireless terminal with a drone and the drone has the wireless terminal on the imaging surface of the camera in the drone based on the status information
  • a method of mutual recognition between a drone and a wireless terminal which comprises controlling to fly a drone so as to locate an image of a target or to rotate or tilt the camera.
  • the drone is controlled to fly the drone or rotate the camera so that the image of the target having the wireless terminal is located on the imaging surface of the camera in the drone based on the status information of the wireless terminal from the server.
  • a method for mutual recognition between a drone and a wireless terminal comprising: receiving a signal for controlling to tilt and controlling the drone to fly a drone or rotate or tilt the camera based on the signal do.
  • the status information is provided with a mutual recognition method between the drone and the wireless terminal, characterized in that based on the information about the external magnetic field of the wireless terminal or the orientation of the wireless terminal.
  • the server transmits a signal to control the drone to control the drone or rotate or tilt the camera such that the image of the target having the wireless terminal is located on the imaging surface of the camera in the drone based on the first state information. It may further comprise the step.
  • the drone may further include photographing a target having the wireless terminal and transmitting the photographed image to the server or the wireless terminal.
  • the wireless terminal may include receiving an image of a target having the wireless terminal photographed by the drone from the drone or the server, and outputting the image to the output unit of the terminal by the wireless terminal.
  • the wireless terminal may include receiving a selection of an image portion for a specific target existing in the image, and transmitting the image portion to the server or an unmanned image by the wireless terminal.
  • the first state information may include azimuth information of the wireless terminal.
  • the azimuth information refers to the angle measured in the spherical coordinate system.
  • the azimuth information is calculated by projecting a vector from the observer at the origin to the object perpendicular to the reference plane, and forming an angle with the reference vector above the reference plane.
  • the reference vector may be true north, north north, magnetic north, or the like.
  • the method may further include controlling the drone to fly along a target identified based on the image.
  • According to the present invention can provide a mutual recognition method between the drone and the wireless terminal.
  • a drone that moves up to a vicinity of a service user requesting a drone service mutually authenticates through communication with a user's wireless terminal, and after the authentication, the drone recognizes the user accurately and allows the user to identify the user.
  • a mutual recognition method can be provided.
  • 1 is a communication connection relationship between a server and an unmanned aerial device and a wireless terminal according to the present invention.
  • FIG. 2 is a flow chart illustrating a method according to the invention from the server's perspective.
  • FIG. 3 is a flow chart illustrating a method according to the invention from the perspective of a wireless terminal.
  • 4 to 5 are flow charts illustrating the method according to the invention in terms of drones.
  • 6 to 8 are explanatory diagrams showing a mutual recognition method between an unmanned aerial vehicle and a wireless terminal according to an embodiment of the present invention.
  • FIG 9 is an exemplary view of a display screen for selecting an image portion for a specific target according to an embodiment of the present invention.
  • 10 is a view showing the operation between the server, drone, user wireless terminal in the application to which the present invention is applied.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first and second used below are merely identification symbols for distinguishing the same or corresponding components, and the same or corresponding components are limited by terms such as the first and second components. no.
  • the coupling does not only mean the case where the physical contact is directly between the components in the contact relationship between the components, other components are interposed between the components, the components in the other components Use it as a comprehensive concept until each contact.
  • the suffixes "module” and / or "unit” for a component may be part of a computer program for functioning the computer as a means of a specific function, or may be a part of a computer program for realizing a specific function in the computer. It can be part.
  • the module A can be interpreted as a computer program for operating the computer as the means A or a computer program for realizing the function A in the computer.
  • steps may be implemented as computer programs on a computer and executed.
  • “module” and / or “unit” may be gathered to form a "group".
  • an application refers to a set of computer programs designed to perform a specific task, also called an application program.
  • a user may add related functions by installing an application according to an embodiment of the present invention to his or her electronic device.
  • the electronic device of the user where the application is installed is composed of CPU, RAM, ROM, and storage devices such as computers, tablet PCs, and smartphones, and is an environment in which the entire system is controlled by graphic operating systems such as Windows, ios, Android, and Linux. It is preferable, and in particular, it has been specialized in a smart phone that can send and receive calls and texts to a registered contact, or can take a picture with a camera, and transmit the captured picture.
  • the terminal mentioned herein may be a smart phone, a personal computer, a tablet PC, etc. as a general user terminal.
  • FIG. 1 is a diagram illustrating a communication connection relationship between a server, an drone, and a wireless terminal according to the present invention.
  • the drone 10 the user wireless terminal 20, and the server 30 may exchange data.
  • the drone refers to an unmanned aerial vehicle in which a person does not ride, but the effect of the present invention is applicable to all flying vehicles requiring accurate position and recognition of the user.
  • Etc. a geomagnetic sensor, a three-axis acceleration sensor, and a GPS (GNSS), etc. may be integrated to collectively refer to a moving means having information such as position coordinates and azimuth angles.
  • GNSS GPS
  • the user according to the present invention can be any user who receives the service by the drone, such as a recipient of the delivery of goods by the drone, a pickup service user who requests the drone service to deliver the goods to another place, a user who requests the drone on demand shooting service, and the like. have.
  • the server may exchange data with an unmanned aerial vehicle and a user wireless terminal through wireless communication.
  • the server is not necessarily limited to wireless communication, and data may be exchanged via wired communication. In the present specification, description thereof will be omitted for a description of data transmission and reception.
  • the server receives information transmitted from the drone and / or the user wireless terminal when the drone approaches each other with a predetermined purpose for providing a drone utilization service such as delivery of goods to a user having the wireless terminal.
  • the information transmitted from the user wireless terminal may be flight related information, status information, user information, location information, and the like of the drone.
  • the server transmits to the drone a command necessary for the operation of the drone (eg, dispatch, authentication, guide, return, etc.) based on the state information including the user's location information.
  • the server continuously monitors the situation according to the drone's abnormalities, flight paths, and the user's status, and landing and based on the relative position information, altitude information, azimuth information, etc. of the user and the drone during the authentication of the drone and the user.
  • the drone's route adjustment data required for the guide can be calculated.
  • the server may calculate the landing point position of the drone based on the user's location information, azimuth information, and the like, and transmit the drone to the drone.
  • the drone continuously transmits all status information and flight related information of the aircraft, including position, speed, altitude, azimuth, and battery status, to the server. Also, the drone may transmit altitude, azimuth, and relative angle information to the server at the time of authentication with the user.
  • the user wireless terminal transmits data and commands such as position information, angle, azimuth information of the wireless terminal to the server.
  • the user wireless terminal may display the drone information and the situation transmitted from the server.
  • FIG. 2 is a flow chart illustrating a method according to the invention from the server's perspective.
  • the server when an image of an unmanned aerial vehicle is located in a predetermined section of an image pickup surface of an image sensor in a wireless terminal, the server first state information of the wireless terminal based on information on the external magnetic field of the wireless terminal from the wireless terminal.
  • Receiving S210
  • the server receives the second state information of the wireless terminal based on the information on the orientation of the wireless terminal from the wireless terminal (S220).
  • Step S230 is made.
  • the steps S210 and S220 need not be sequential, and may be performed simultaneously or simultaneously. In addition, only one of the steps S210 and S220 may be present.
  • the wireless terminal may be a general smart phone that can be held by the general user by hand.
  • an image sensor converts an optical image formed by a lens into an electrical signal.
  • the image sensor includes a charge coupled device (CCD), a metal oxide semi-conductor (MOS), and a complementary metal (CMOS). -oxide semiconductor, complementary metal oxide semiconductor) and the like.
  • CCD charge coupled device
  • MOS metal oxide semi-conductor
  • CMOS complementary metal
  • -oxide semiconductor, complementary metal oxide semiconductor complementary metal oxide semiconductor
  • the type of image sensor is not limited thereto.
  • the image may be a broad concept including not only a digital signal converted from an optical signal but also a result of output of the digital signal as visualized through a display device.
  • the imaging surface refers to the area of a device that serves to receive light from a light collecting part of a camera, such as a CCD or CMOS sensor of a film or a digital camera, and refers to a place where an image of a subject is formed in an image sensor.
  • a predetermined division means a specific part of an imaging surface, and can be generally about the center part of an imaging surface. However, the predetermined section is not necessarily limited to the center.
  • whether or not the image of the drone is located in a predetermined section of the imaging surface may be identical to whether the drone is located on the display screen in the user wireless terminal, but the present invention is not limited thereto.
  • the drone even in the case of a terminal (eg, a black box) that is not provided with a display screen, if it is possible to determine whether the drone is facing the terminal in front, it can be regarded as being included in the scope of the present invention.
  • it is essential to determine where the user terminal is located based on the drone, and as an embodiment of the present invention, the drone and the user terminal face each other when the image of the drone is formed on the imaging surface of the image sensor in the wireless terminal. It simply states that it can be determined.
  • the relative position or direction of the drone and the user terminal may be calculated at the time when the drone and the user terminal are determined to face the front.
  • the first state information may include external magnetic field information of the wireless terminal.
  • Information about external magnetic fields can be the Earth's magnetic field. More specifically, it includes information on any attribute of the magnetic field in general physics, including information about the magnetic field formed outside the wireless terminal (eg, magnitude and direction, etc.).
  • a sudden change in the magnetic field when the terminal measures an external magnetic field is also a concept included in the external magnetic field information.
  • the rapid increase and decrease of an external magnetic field is a concept of a change in magnetic field size, which is included in external magnetic field information.
  • the rapid change in the direction of the magnetic field is a concept included in the external magnetic field information.
  • the information about the external magnetic field includes the concept of the change of the external magnetic field and includes the change in the magnitude or direction of the magnetic field with respect to time.
  • the first state information includes azimuth information and may generally provide information about a two-dimensional plane.
  • the first state information may be effectively used when the camera mounted in the drone is already tilted downward.
  • the second state information may include orientation information of the wireless terminal.
  • Orientation information means the direction position information of the terminal, it may mean at least one of the orientation, tilt, and rotation.
  • Orientation information of the present invention may represent the directional information in the three-dimensional space, any value of the attribute indicating the direction of the object may be any.
  • Orientation information of the wireless terminal may be obtained through an optical gyro sensor, a MEMS gyro sensor, but is not limited thereto.
  • the second state information includes directional information, and generally may provide information about a 3D plane.
  • the server may be configured based on information about the external magnetic field of the wireless terminal from the wireless terminal. Status information can be received.
  • the server may control the smartphone to measure an external magnetic field, that is, azimuth information, as soon as a drone, such as a drone, is captured by a camera of a wireless terminal such as a smartphone.
  • an external magnetic field that is, azimuth information
  • the server may receive the second state information of the wireless terminal based on the information on the orientation of the wireless terminal from the wireless terminal when the image of the drone is located in a predetermined section of the imaging surface of the image sensor in the wireless terminal.
  • the server may control the smartphone to measure orientation, i.e., relative direction information of the wireless terminal body relative to the reference position of the drone, as soon as the drone, such as a drone, is captured by the camera of the wireless terminal such as a smartphone. Can be. Through this, the relative direction between the drone and the user wireless terminal at the moment when the wireless terminal gazes at the front of the drone can be measured.
  • orientation i.e., relative direction information of the wireless terminal body relative to the reference position of the drone
  • the server receiving the first or second state information may control the drone or the camera in the unmanned state based on the first or second state information. More specifically, the drone can be hovered in the first predetermined direction. For example, when the first drone reaches the delivery point, it can hover in a predetermined direction (eg, north direction). Then, when the first or second state information is received through the server or unmanned directly from the wireless terminal, the drone calculates in which direction the wireless terminal gazes at the drone using the first or second state information. can do. Thereafter, the camera may be rotated or the drone may be controlled to rotate the camera so that the camera in the drone may gaze at the wireless terminal based on the calculation result. Through this, the drone's camera can stare at the wireless terminal.
  • a predetermined direction eg, north direction
  • FIG. 3 is a flow chart illustrating a method according to the invention from the perspective of a wireless terminal. A description with reference to FIG. However, parts that overlap with the above description will be omitted.
  • the wireless terminal is a server or an unmanned aerial vehicle based on information on an external magnetic field of the wireless terminal.
  • Transmitting status information (S310); When the image of the drone is located in a predetermined section of the imaging surface of the image sensor in the wireless terminal, transmitting the second state information of the wireless terminal based on the information on the orientation of the wireless terminal to the server or the unmanned aerial vehicle ( S320); Receiving, by the wireless terminal, an image of a target having the wireless terminal photographed by the drone from the drone or the server (S330); Outputting, by the wireless terminal, the image to the output unit in the terminal (S340); Receiving, by the wireless terminal, an input of an image part of a specific target existing in the image (S350); And transmitting, by the wireless terminal, the image portion to the server or an unmanned aerial vehicle (S360).
  • Steps S310 and S320 need not be sequential and may be performed simultaneously or simultaneously. In addition, only one of the steps S310 and S320 may be present.
  • the wireless terminal when the image of the unmanned aerial vehicle is located in a predetermined section of the imaging surface of the image sensor in the wireless terminal, the wireless terminal is based on information on the external magnetic field of the wireless terminal as a server or an unmanned aerial vehicle.
  • the first state information of the wireless terminal may be transmitted.
  • the wireless terminal is a second state information of the wireless terminal based on the information on the orientation of the wireless terminal to the server or unmanned aerial vehicle Can be sent.
  • the wireless terminal may receive an image of a target having the wireless terminal photographed by the drone from the drone or the server, and output the image to an output unit in the terminal.
  • the drone may know the approximate location and direction of the user. Then, when the drone reaches the airspace of the user, the drone photographs a predetermined range including the user, and the user can receive his image photographed from the drone through the smart phone.
  • the captured image received from the drone may be output through a display screen in the wireless terminal possessed by the user.
  • other objects or obstacles may exist in the output image.
  • a crowded place such as a park
  • several unspecified people may be included in the image.
  • obstacles such as trees or buildings may be included in the image.
  • the UAV may have difficulty in identifying and recognizing who is a user through the image. Therefore, it is necessary for a user to select an image portion for a specific target (user) using a wireless terminal and inform the drone.
  • the user can select an image portion for a specific target from among images output on the display screen of the wireless terminal.
  • selection input may be made through user manipulation such as screen touch or marking.
  • the wireless terminal may transmit an image of a selected specific target to a server or an unmanned terminal, through which the unmanned terminal may recognize a user specified from the user wireless terminal.
  • the drone may directly perform drone control, camera rotation, or tilting from the state information of the wireless terminal.
  • the step of receiving an unmanned state information of the wireless terminal from the server or the wireless terminal (S410); Controlling the drone to fly or to rotate or tilt the camera so that the image of the target having the wireless terminal is located on the imaging surface of the camera in the drone based on the state information (S420). ); Photographing a target having the wireless terminal with the drone (S430); Transmitting the photographed image to the server or the wireless terminal by the drone (S440); And controlling the drone to fly along the target identified based on the image (S450).
  • the drone may receive control signals such as drone flight, camera rotation, or tilting calculated by the server from state information of the wireless terminal to perform control according to a command of the server.
  • a drone receives a signal for controlling the drone to control the flight of the drone or to rotate or tilt the camera so that the image of the target having the wireless terminal is located on the imaging surface of the camera in the drone based on the status information of the wireless terminal from the server.
  • Step S510 Controlling the drone to fly control the drone or rotate or tilt the camera based on the signal (S520); Photographing a target having the drone with the drone (S530); Transmitting, by the drone, the photographed image to the server or the wireless terminal (S540); And controlling the drone to fly along the target identified based on the image (S550).
  • the drone may directly receive the state information of the wireless terminal or may receive it through the server.
  • the drone directly controls the flight of the drone so that the image of the user having the wireless terminal is located on the imaging surface of the camera in the drone based on the received status information of the wireless terminal, or receives a control signal from the server according to the command of the server You can control the drone's flight.
  • the drone controls to rotate or tilt the drone's camera so that the image of the user having the wireless terminal is located on the imaging surface of the camera in the drone based on the received status information of the wireless terminal, or receives a control signal from the server According to the command can be controlled to rotate or tilt the camera of the drone.
  • the drone By controlling the flight of the drone or by rotating or tilting the camera of the drone, when the image of the user having the wireless terminal is positioned on the imaging surface in the drone, the drone is targeted to the user having the wireless terminal to include the user Images of a predetermined range can be photographed. Next, the drone may transmit the captured image to the server or the wireless terminal.
  • the drone may fly along a target identified based on the captured image. Through this, the user can guide the drone to a place where the drone can easily land in order to receive services such as delivery of goods from the drone.
  • the drone may move up to near the user based on state information of the user wireless terminal.
  • the drone has a certain direction in the process of moving to the user location, the drone may hover while maintaining a predetermined direction (for example, the flight direction immediately before arrival) after arriving close to the user.
  • a predetermined direction for example, the flight direction immediately before arrival
  • the drone immediately after arriving close to the user recognizes the approximate range of the user's position, and the drone does not know the relative position and direction between the drone and the user wireless terminal.
  • the drone needs to know in which direction the wireless terminal is staring at the drone.
  • a process of recognizing a relative direction between the drone and the user wireless terminal will be described below with reference to FIGS. 7 to 8.
  • the user may photograph the drone being hovered in the air by using the wireless terminal held by the user.
  • the user may perform a drone shooting operation.
  • the user may photograph the drone through an input such as clicking a shooting button.
  • a shooting error for example, hand shake
  • the drone image is preferably displayed at a specific position (for example, center) on the imaging surface or the shooting screen.
  • the photographing operation can be automatically performed in the application itself.
  • the first state information and the second state information of the user wireless terminal may be transmitted to the server or the drone.
  • the state information of the user wireless terminal may include the height of the user wireless terminal, the tilt angle, the photographing azimuth angle, and the like.
  • the server or the drone may calculate the relative orientation of the user's wireless terminal to the drone by comparing the state information of the user's wireless terminal and the position and azimuth information of the drone at the time of arrival based on the transmitted state information of the wireless terminal. .
  • the heading point of the drone by comparing the hovering azimuth (heading point angle) of the drone and the shooting angle and shooting direction information of the user's wireless terminal
  • the relative position of the user's relative position can be calculated.
  • the server or the drone can recognize which direction the user is in when the drone is the center point. In other words, the location and direction of the user who is to receive the corresponding UAV service is specified, so that the UAV and the user wireless terminal may mutually recognize each other.
  • the server or the drone may control the drone flight (eg, hovering direction) while the drone hoveres, or control the rotation or tilting of the camera in the drone.
  • the drone or the drone's camera and the user's wireless terminal can stare at each other in front of each other, which means that the drone can locate a predetermined range of images including the user in the image capturing surface of the drone.
  • an operation for one-to-one matching of the drone needs to be additionally performed.
  • the drone may capture a predetermined range including the user when the user wireless terminal and the drone face each other. Thereafter, the drone may transmit the captured image to the user wireless terminal.
  • the transmitted image may be output on the display screen of the user wireless terminal, and the user may select an image part for a specific target from the image output on the display screen of the wireless terminal.
  • the user wireless terminal may receive a captured image of a predetermined range including a user photographed by a drone. In addition, it can be displayed on the display screen on the wireless terminal. The user may select an image portion for a specific target among the images output on the display screen of the wireless terminal, and such selection input may be made through a user manipulation such as a screen touch or marking. Thereafter, the wireless terminal may transmit an image of the selected specific target to the server or the drone, whereby the drone and the user may be matched one-to-one.
  • the drone may fly along a target identified based on the captured image. Through this, the user can guide the drone to a place where the drone can easily land in order to receive services such as delivery of goods from the drone.
  • FIG. 10 is a diagram illustrating operations between a server, a user wireless terminal, and an unmanned aerial vehicle in an application to which the present invention is applied.
  • the drone may transmit a notification indicating that the drone has arrived near the user.
  • the server may notify the user terminal of the arrival of the drone and instruct the execution of the application.
  • the application execution command may be guided to the user based on various functions that can be performed in the user's wireless terminal, such as a text notification, a voice notification, or a general telephone form.
  • the network connection between the user terminal, the server, and the unmanned 3 person may be approved.
  • the server may request the user terminal to check the location of the drone and to shoot the drone.
  • the server may calculate counterpart angle information between the drone and the user wireless terminal by using terminal state information included in the captured image.
  • the server may transmit the rotation / tilting control signal of the camera in the drone or the direction of the drone hovering in close proximity to the user according to the calculated counter-angle information.
  • the drone may perform a rotation operation so as to face the user terminal in front of the control signal of the server.
  • the server may request the drone to photograph the predetermined range including the location of the user terminal and the user.
  • the server transmits the image to the user terminal and selects (targets) a specific target in the transmitted user captured image.
  • the user may select an image portion of a specific target (eg, the user himself) in the user's captured image received through manipulation of a screen, marking, etc., and retransmit it to the server.
  • the server may transmit the target-specific image to the drone, and then instruct the drone to track the specified target.
  • the operation process between the user terminal, the server, and the unmanned aerial vehicle is illustrated.
  • the entire unmanned aerial vehicle service process may be performed only by the network between the user wireless terminal and the unmanned aerial vehicle. This also can be seen that it is included within the scope of the invention.
  • CDROM compact disk read-only memory
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable read only memory
  • Such a medium may be implemented as any device that contains, stores, communicates, propagates, or moves executable instructions for use by or in connection with an instruction executable system, apparatus, or device.
  • a medium may be implemented as any device that contains, stores, communicates, propagates, or moves executable instructions for use by or in connection with an instruction executable system, apparatus, or device.
  • analog or digital logic using hardware such as one or more integrated circuits, or one or more processor execution instructions; Or in software of functions defined as an API (application programming interface) or DLL (Dynamic Link Library), local or remote procedure call or available in shared memory; Or as a combination of hardware and software.
  • API application programming interface
  • DLL Dynamic Link Library
  • the method may be represented by a signal or radio-signal medium.
  • the instructions for implementing the logic of any given program may take the form of an electrical, magnetic, optical, electromagnetic, infrared or other type of signal.
  • the system described above receives these signals at a communication interface, such as a fiber optic interface, an antenna, or other analog or digital signal interface, recovers instructions from the signals, stores them in machine readable memory, and / or uses a processor. You can also run them.
  • the present invention may be implemented in hardware or software.
  • the invention may also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
  • Embodiments of the present invention may include a carrier wave having electronically readable control signals that may be operated with a programmable computer system on which one of the methods described herein is executed.
  • Embodiments of the present invention may be implemented as a computer program product having a program code, the program code being operated to execute one of the methods when the computer program is run on a computer.
  • the program code may for example be stored on a machine readable carrier.
  • One embodiment of the invention may be a computer program having program code for executing one of the methods described herein when the computer program is run on a computer.
  • the invention may include a computer, or a programmable logic device, for performing one of the methods described above. Programmable logic devices (eg, field programmable gate arrays, complementary metal oxide semiconductor based logic circuits) may be used to perform some or all of the functions described above.
  • the mutual recognition method between the drone and the wireless terminal according to the embodiment of the present invention can be used in a series of procedures for landing in a drone such as a drone.

Abstract

무인기와 무선단말기 간의 상호 인식 방법이 개시된다. 본 발명의 일 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계를 포함하는 무인기와 무선단말기 간의 상호 인식 방법이 제공될 수 있다.

Description

[규칙 제26조에 의한 보정 20.06.2018]　무인기와 무선단말기 간의 상호 인식 방법
본 발명은 무인기와 무선단말기 간의 상호 인식 방법에 관한 것이다.
현재 무인비행체인 드론 시장이 활발하게 되면서 드론을 이용한 물품배송, 픽업 서비스, 구호응급물품 제공 등 관련 산업이 확장되고 있다.
여러 관련 기술들이 개발되고 있으나 현재 GPS 위치 오차나 주변 구조물 등의 장애에 의하여 드론 서비스를 요청한 서비스 사용자를 정확히 인증하고 인식하는데 기술적 문제가 존재한다.
좀 더 구체적으로, 수취인(사용자) 위치정보가 입력되면 드론은 해당 위치를 목적지로 하는 자율 비행을 통해 수취인을 향해 날아가게 된다. 다만, 현재 GPS 기술로는 10~50m의 오차가 발생하며, 특히 드론의 시야를 방해하는 장애물이 존재(예:나무가 우거진 숲)하거나 목적지에 수취인을 포함하는 불특정 여러 사람이 위치하는 경우(예:공원 등)에는 드론의 수취인 특정이 어려운 문제가 있다.
또한, 드론, 서버, 수취인이 연결되어 인증한다는 것은 근처에 수취인이 존재하는 것을 드론과 서버가 인지한다는 의미일 뿐, 드론이 수취인을 인식하고 있는 것을 의미하지는 않는다.
따라서, 수취인과 드론이 상호 확인하는 동작(authentication) 후에, 수취인을 인식(recognition)하기 위한 특정(detect & marking) 동작이 이루어져야하며, 이를 위해 드론이 잘 보이는 곳 또는 장애물이 없는 오픈 공간으로 드론을 이동시켜야할 필요가 있다.
국내의 사고 정보 제공 서비스와 관련된 특허를 검토하면 '무인배송로봇의 사용자 식별을 통한 배송 방법(제10-2017-0110341호, 공개일자 2017.10.11)'이 존재한다. 본 공개특허에는 무인배송로봇이 배송지 사용자 위치 근방의 위치까지 오면 위치인식이 부정확한 경우에도 로봇과 접촉하지 않고도 사용자를 식별하여 원활하고 효과적인 배송 서비스가 가능하도록 하겠다는 개념이 개시되어 있다.
선행 사용자 식별 방법은 드론이 원거리에서 사용자를 확인하는 기술에 관한 것으로, 드론과 사용자가 상호 인증 후에 드론이 사용자를 특정하는 방법에 대해서는 명확히 개시하지 않고 있다.
본 발명은 무인기(드론) 서비스를 요청한 서비스 사용자의 근처 상공까지 이동한 무인기가 사용자의 무선단말기(스마트기기)와의 통신으로 상호 인증하고, 인증 후에 무인기가 사용자를 정확히 인식하여 사용자를 특정할 수 있도록 하는 무인기와 무선단말기 간의 상호 인식 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 일 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션(orientations)에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무인기가 서버 또는 무선단말기로부터 상기 무선단말기의 상태정보를 수신하는 단계 및 상기 무인기가 상기 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟(target)의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅(tilting)하도록 제어하는 단계를 포함하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무인기가 서버로부터 무선단말기의 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 수신하는 단계 및 상기 무인기가 상기 신호를 바탕으로 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 상기 상태정보는 상기 무선단말기의 외부 자기장에 관한 정보 또는 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 것임을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 상기 서버가 상기 무인기로 제1 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 송신하는 단계를 더 포함할 수 있다.
또한, 상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계 및 상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계를 더 포함할 수 있다.
또한, 상기 무선단말기가, 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하는 단계, 상기 무선단말기가 상기 단말기 내 출력부에 상기 영상을 출력하는 단계, 상기 무선단말기가 상기 영상 내 존재하는 특정 타겟에 대한 영상 부분을 선택 입력받는 단계 및 상기 무선단말기가 상기 영상 부분을 상기 서버 또는 무인기로 송신하는 단계를 포함할 수 있다.
또한, 상기 제1 상태정보는 무선단말기의 방위각 정보를 포함할 수 있다. 방위각 정보는 구면좌표계에서 측정되는 각도를 뜻하며, 원점에 있는 관측자로부터 대상까지의 벡터를 기준 평면에 수직으로 투영하여, 그것이 기준 평면 위에 있는 기준 벡터와 이루는 각으로 계산된다. 기준벡터는 진북, 도북, 자북 등이 될 수 있다.
또한, 상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계를 더 포함할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 방법에 포함된 단계를 무선단말기에서 실행시키는 기록매체에 저장된 어플리케이션을 제공할 수 있다.
본 발명에 따르면 무인기와 무선단말기 간의 상호 인식 방법을 제공할 수 있다.
본 발명에 따르면 무인기 서비스를 요청한 서비스 사용자의 근처 상공까지 이동한 무인기가 사용자의 무선단말기와의 통신으로 상호 인증하고, 인증 후에 무인기가 사용자를 정확히 인식하여 사용자를 특정할 수 있도록 하는 무인기와 무선단말기 간의 상호 인식 방법을 제공할 수 있다.
도 1은 본 발명에 따른 서버와 무인기와 무선단말기 간의 통신 연결 관계도이다.
도 2는 서버의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 3은 무선단말기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 4 내지 5는 무인기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 6 내지 8은 본 발명의 실시예에 따른 무인기와 무선단말기 간의 상호 인식 방법을 나타내는 설명도이다.
도 9는 본 발명의 실시예에 따른 특정 타겟에 대한 영상부분을 선택하는 디스플레이 화면 예시도이다.
도 10은 본 발명이 적용된 애플리케이션에서 서버, 무인기, 사용자 무선단말기 간의 동작을 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[부호의 설명]
10 : 무인기
20 : 사용자 무선단말기
30 : 서버
이하, 본 발명에 따른 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 이하 사용되는 제1, 제2 등과 같은 용어는 동일 또는 상응하는 구성 요소들을 구별하기 위한 식별 기호에 불과하며, 동일 또는 상응하는 구성 요소들이 제1, 제2 등의 용어에 의하여 한정되는 것은 아니다.
또한, 결합이라 함은, 각 구성 요소 간의 접촉 관계에 있어, 각 구성 요소 간에 물리적으로 직접 접촉되는 경우만을 뜻하는 것이 아니라, 다른 구성이 각 구성 요소 사이에 개재되어, 그 다른 구성에 구성 요소가 각각 접촉되어 있는 경우까지 포괄하는 개념으로 사용하도록 한다.
또한, 컴퓨터 프로그램과 관련하여, 구성요소에 대한 접미사 "모듈" 및/또는 "부"는 컴퓨터를 특정 기능의 수단으로 기능시키기 위한 컴퓨터 프로그램의 일부이거나, 컴퓨터에서 특정 기능을 실현시키기 위한 컴퓨터 프로그램의 일부일 수 있다. 예를 들어, 모듈 A는 컴퓨터를 수단 A로 기능시키기 위한 컴퓨터 프로그램 또는 컴퓨터에 기능 A를 실현시키기 위한 컴퓨터 프로그램으로 해석될 수 있다. 방법으로서 "단계"는 컴퓨터에 컴퓨터 프로그램으로 구현되어 실행될 수 있다. 또한, "모듈" 및/또는 "부"가 모여 "군"을 이룰 수 있다.
한편, 애플리케이션(Application)이란 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램의 집합을 가리키는 것으로, 응용프로그램이라고도 한다. 사용자는 본 발명의 실시예에 따른 애플리케이션을 자신의 전자기기에 인스톨하는 것으로 관련 기능을 추가할 수 있다.
애플리케이션이 인스톨되는 사용자의 전자기기란 컴퓨터, 태블릿PC, 스마트폰과 같이 CPU, RAM, ROM, 저장장치 등으로 구성되고, Windows, ios, 안드로이드, 리눅스 등의 그래픽 운영체제로 전체 시스템이 제어되는 환경인 것이 바람직하며, 특히 등록된 연락처로 전화 및 문자를 주고받거나, 카메라를 구비하여 영상을 촬영할 수 있고, 촬영된 영상을 전송할 수 있는 스마트폰에 특화되었다.
또한, 본 명세서에 첨부된 도면의 순서도는 발명을 설명하기 위한 순서도에 불과하며, 컴퓨터 상에 버그 없이 완벽히 구현되기 위한 순서도일 필요는 없다.
또한, 본 명세서에서 언급된 단말기는 일반적인 사용자 단말기로서 스마트폰, 퍼스널 컴퓨터, 태블릿 PC 등이 될 수 있다.
도 1은 본 발명에 따른 서버와 무인기와 무선단말기 간의 통신 연결 관계를 도식화한 것이다.
도 1을 참조하여 설명하면, 무인기(10)와 사용자 무선단말기(20)와 서버(30)가 데이터를 주고받을 수 있다. 일반적으로 무인기는 사람이 탑승하지 않는 무인비행체를 일컬으나 본 발명의 실시효과는 사용자의 정확한 위치와 인식을 필요로 하는 모든 비행 이동체에 적용 가능하므로, 본 발명에 따른 무인기는 촬영수단(예: 카메라 등), 지자기 센서, 3축 가속도 센서, GPS(GNSS) 등의 센서가 내장되어 위치좌표, 방위각 등의 정보를 갖는 이동수단을 통칭할 수 있다.
본 발명에 따른 사용자는 무인기에 의한 물품배송의 수취인, 다른 곳으로 물품을 배달시키기 위하여 무인기 서비스를 요청한 픽업서비스 사용자, 드론 온 디맨드 촬영 서비스를 요청한 사용자 등 무인기에 의한 서비스를 받는 모든 사용자가 될 수 있다.
일반적으로 무선 통신을 통하여 서버는 무인기 및 사용자 무선단말기와 데이터를 주고 받을 수 있으나, 반드시 무선 통신에 한정되는 것은 아니며 유선 통신을 통해 데이터를 주고 받아도 무방하다. 본 명세서에서는 데이터를 주고 받는 것에 관한 기술에 대해서 그 설명을 생략한다.
서버는 무인기가 무선단말기를 가지고 있는 사용자에 물품 배송 등의 무인기 활용 서비스를 제공하기 위한 소정의 목적을 가지고 서로 접근하는 경우, 무인기 및/또는 사용자 무선단말기에서 송신되는 정보를 수신한다. 여기서 사용자 무선단말기에서 송신되는 정보란 무인기의 비행 관련 정보, 상태정보, 사용자 정보, 위치 정보 등이 될 수 있다.
좀 더 구체적으로, 서버는 사용자의 위치 정보를 포함하는 상태정보를 기반으로 무인기의 동작(예: 출동, 인증, 가이드, 귀환 등)에 필요한 명령을 무인기로 전송한다. 또한, 서버는 무인기의 이상유무, 비행경로 파악, 사용자의 상태 등에 따른 상황을 지속적으로 모니터링하며, 무인기와 사용자의 인증 시 사용자와 무인기의 상대적 위치 정보, 고도 정보, 방위각 정보 등을 기준으로 착륙 및 가이드에 필요한 무인기의 경로조정 데이터를 계산할 수 있다. 또한, 서버는 착륙 시 사용자의 위치 정보, 방위각 정보 등을 기준으로 무인기의 착륙지점 위치를 계산하여 무인기로 전송할 수 있다.
한편, 무인기는 위치, 속도, 고도, 방위각, 배터리 상태 등을 포함하는 기체의 모든 상태 정보 및 비행 관련 정보를 지속적으로 서버에 전송한다. 또한, 무인기는 사용자와의 인증 시점에서의 고도, 방위각, 사용자와의 상대각 정보 등을 서버에 전송할 수 있다.
한편, 사용자 무선단말기는 무선단말기의 위치정보, 각도, 방위각 정보 등의 데이터 및 명령을 서버로 전송한다. 또한, 사용자 무선단말기는 서버로부터 전송된 무인기 정보 및 상황을 디스플레이할 수 있다.
도 2는 서버의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도 2를 참조하면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계(S210); 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신하는 단계(S220); 및 상기 서버가 상기 무인기로 제1 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 송신하는 단계(S230)로 이루어진다. 상기 S210 단계와 S220 단계는 순차적일 필요는 없으며 선후가 바뀌거나 동시에 수행되어도 무방하다. 또한, 상기 S210 단계와 S220 단계 중 어느 하나의 단계만 존재하여도 무방하다.
여기서, 무선단말기는 일반 사용자가 손으로 파지할 수 있는 일반적인 스마트폰이 될 수 있다. 또한, 이미지센서란 렌즈에 의해 맺힌 광학적 이미지를 전기적 신호로 변환하는 것으로, 이미지센서는 CCD(charge coupled device, 전하 결합 소자), MOS(metal oxide semi-conductor, 금속 산화막 반도체), CMOS(complementary metal-oxide semiconductor, 상보성 금속 산화막 반도체) 등으로 구성될 수 있다. 다만, 이미지센서의 종류가 이에 제한되는 것은 아니다. 또한, 이미지는 광신호가 변환된 디지털 신호는 물론, 이러한 디지털 신호가 디스플레이 장치를 통해 가시화된 광으로 출력된 결과물까지 포함하는 광의의 개념일 수 있다.
또한, 촬상면이란 필름이나 디지털 카메라의 CCD, CMOS 센서와 같이 사진기의 집광부에서 빛을 받아들이는 역할을 하는 소자의 면적을 말하는 것으로, 이미지센서 내에 피사체의 이미지가 맺히는 장소를 뜻한다. 또한, 소정의 구획이란 촬상면의 특정 부분을 뜻하는 것으로서 일반적으로 촬상면의 중앙부 정도가 될 수 있다. 다만, 소정의 구획은 반드시 중앙에 한정되는 것은 아니다. 또한, 촬상면의 소정의 구획에 무인기의 상이 위치하는지 여부는 사용자 무선단말기 내 디스플레이 화면 상에 무인기가 위치하는지 여부와 일치할 수 있으나, 본 발명이 이에 국한되는 것은 아니다. 다시 말해, 디스플레이 화면이 구비되지 않은 단말기(예: 블랙박스 등)의 경우에도 무인기가 단말기를 정면으로 마주보고 있는지 여부를 판단할 수 있다면 본 발명의 권리범위 내에 포함된다고 볼 수 있다. 본 발명은 무인기를 기준으로 사용자 단말기가 어디에 위치하고 있는지를 파악하는 것이 핵심이며, 본 발명의 일 실시예로서 무선단말기 내 이미지센서의 촬상면에 무인기의 상이 맺히는 시점에서 무인기와 사용자 단말기가 정면으로 마주보고 있다고 판단할 수 있다고 명시할 뿐이다.
또한, 무인기와 사용자 단말기가 정면으로 마주보고 있다고 판단되는 시점에서 무인기와 사용자 단말기의 상대적인 위치 또는 방향이 계산될 수 있다.
다음으로, 제1 상태정보는 무선단말기의 외부 자기장 정보를 포함할 수 있다. 외부 자기장에 관한 정보란 지구 자기장이 될 수 있다. 더욱 상세하게, 무선단말기 외부에 형성된 자기장에 관한 정보(예: 크기 및 방향 등)를 포함하는 일반 물리학상의 자기장에 관한 어떠한 속성의 정보도 포함한다. 또한, 본 명세서상의 단말기가 외부의 자기장을 측정할 때 자기장이 급격히 변하는 것도 외부 자기장 정보에 포함되는 개념이다. 예를 들어 외부 자기장이 급격히 세졌다 약해지는 것은 자기장 크기의 변화에 관한 개념이며, 이는 외부 자기장 정보에 포함되는 것이다. 또한, 자기장의 방향이 급속하게 변하는 것도 외부 자기장 정보에 포함되는 개념이다. 다시 말해, 외부 자기장에 관한 정보는 외부 자기장의 변화 개념을 포함하는 것으로 시간에 대한 자기장의 크기 또는 방향 변화를 포함하는 것이다. 또한, 제1 상태정보는 방위각 정보를 포함하는 것으로, 일반적으로 2차원 평면에 관한 정보를 제공할 수 있다. 또한, 제1 상태정보를 활용하는 경우에는 무인기 내 장착된 카메라가 하방으로 이미 틸팅된 경우에 효과적으로 활용될 수 있다.
다음으로, 제2 상태정보는 무선단말기의 오리엔테이션 정보를 포함할 수 있다. 오리엔테이션 정보란 단말기의 방향 위치 정보를 의미하며, 방위, 기울기, 회전 중 적어도 하나를 의미할 수 있다. 본 발명의 오리엔테이션 정보는 3차원 공간상의 방향성 정보를 나타낼 수 있으며, 물체의 방향을 나타내는 어떠한 속성의 값도 무방하다. 무선단말기의 오리엔테이션 정보는 광학식 자이로센서, MEMS 자이로센서 등을 통해 획득될 수 있는데, 이에 한정된 것은 아니다. 또한, 제2 상태정보는 방향성 정보를 포함하는 것으로, 일반적으로 3차원 평면에 관한 정보를 제공할 수 있다.
상기 내용을 더욱 상세하게 설명하면, 서버는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때에 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신할 수 있다.
다른 말로, 서버는 스마트폰과 같은 무선단말기의 카메라에 드론과 같은 무인기가 포착되는 순간, 서버는 스마트폰에게 외부 자기장, 즉, 방위각 정보를 측정하라고 제어할 수 있다. 이를 통해, 무선단말기가 무인기를 정면으로 응시하는 순간의 무선단말기의 방위(예: 동서남북)를 측정할 수 있다.
한편, 서버는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때에 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신할 수 있다.
다른 말로, 서버는 스마트폰과 같은 무선단말기의 카메라에 드론과 같은 무인기가 포착되는 순간, 서버는 스마트폰에게 오리엔테이션, 즉, 무인기의 기준위치에 대한 무선단말기 본체의 상대적인 방향 정보를 측정하라고 제어할 수 있다. 이를 통해, 무선단말기가 무인기를 정면으로 응시하는 순간의 무인기와 사용자 무선단말기 간의 상대적인 방향을 측정할 수 있다.
다음으로, 제1 또는 제2 상태정보를 수신한 서버는 상기 제1 또는 제2 상태정보를 바탕으로 무인기 또는 무인기 내 카메라를 제어할 수 있다. 더욱 상세하게, 무인기를 최초 기설정된 방향으로 호버링(hovering)할 수 있다. 예를 들어, 최초 무인기가 배송지점에 도달했을 때, 기설정된 방향(예: 정북방향)을 향하여 호버링할 수 있다. 이후 제1 또는 제2 상태정보가 서버를 통하여 무인기에 수신되거나 무선단말기로부터 직접 무인기에 수신되면, 무인기는 상기 제1 또는 제2 상태정보를 활용하여 무선단말기가 어느 방향에서 무인기를 응시하고 있는지 연산할 수 있다. 이후 상기 연산 결과를 바탕으로 무인기 내 카메라가 무선단말기를 응시할 수 있도록 카메라를 회전시키거나 혹은 무인기가 회전하도록 제어할 수 있다. 이를 통하여 무인기의 카메라가 무선단말기를 정면으로 응시할 수 있다.
도 3은 무선단말기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도3을 참조하여 설명한다. 단, 앞선 설명과 중복되는 부분은 생략하도록 한다. 도 3을 참조하면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신하는 단계(S310); 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신하는 단계(S320); 상기 무선단말기가, 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하는 단계(S330); 상기 무선단말기가 상기 단말기 내 출력부에 상기 영상을 출력하는 단계(S340); 상기 무선단말기가 상기 영상 내 존재하는 특정 타겟에 대한 영상 부분을 선택 입력받는 단계(S350); 및 상기 무선단말기가 상기 영상 부분을 상기 서버 또는 무인기로 송신하는 단계(S360)로 이루어진다. 상기 S310 단계와 S320 단계는 순차적일 필요는 없으며 선후가 바뀌거나 동시에 수행되어도 무방하다. 또한, 상기 S310 단계와 S320 단계 중 어느 하나만 존재하여도 무방하다.
상기 내용을 더욱 상세하게 설명하면, 무선단말기는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신할 수 있다.
한편, 무선단말기는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신할 수 있다.
다음으로, 무선단말기는 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하고, 상기 단말기 내 출력부에 상기 영상을 출력할 수 있다.
다른 말로, 사용자가 소지하고 있는 스마트폰이 외부 자기장에 관한 정보 또는 오리엔테이션에 관한 정보를 무인기 또는 서버로 전송함에 따라, 무인기는 사용자의 대략적인 위치 및 방향을 알 수 있게 된다. 이후 무인기가 사용자의 상공에 도달하게 되면 무인기는 사용자를 포함하는 소정의 범위를 촬영하게 되며, 사용자는 스마트폰을 통해 무인기로부터 촬영된 자신의 영상을 수신할 수 있다.
무인기로부터 수신된 촬영 영상은 사용자가 소지하고 있는 무선단말기 내 디스플레이 화면을 통해 출력될 수 있다. 다만, 출력된 영상에는 사용자뿐만 아니라, 다른 객체 또는 장애물이 존재할 수 있다. 예를 들어, 공원 같이 사람이 붐비는 장소의 경우, 불특정 여러 사람이 영상에 포함될 수 있다. 또는, 숲과 같이 나무가 우거져있거나, 도심 시가지와 같이 높은 빌딩이 다수 존재하는 경우, 나무 또는 빌딩과 같은 장애물 요인이 영상에 포함될 수 있다. 이러한 경우, 무인기는 영상을 통해 누가 사용자인지 식별하고 인식하는데 어려움이 존재할 수 있다. 따라서, 사용자가 무선단말기를 이용하여 특정 타겟(사용자)에 대한 영상 부분을 선택하여 무인기에게 알려주는 과정이 필요하다. 이를 위해 사용자는 무선단말기 내 디스플레이 화면에 출력되는 영상 중에서 특정 타켓에 대한 영상부분을 선택할 수 있다. 이러한 선택 입력은 화면 터치, 마킹 등의 사용자 조작을 통해 이루어질 수 있다. 무선단말기는 선택된 특정 타겟에 대한 영상을 서버 또는 무인기로 송신할 수 있으며, 이를 통해 무인기는 사용자 무선단말기로부터 특정된 사용자를 인식할 수 있다.
도 4 내지 5는 무인기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도 4를 참조하여 설명한다. 단, 앞선 설명과 중복되는 부분은 생략하도록 한다. 도 4를 참조하면, 무인기는 무선단말기의 상태정보로부터 무인기 비행, 카메라 회전 또는 틸팅 등의 제어를 직접 수행할 수 있다. 구체적으로 무인기가 서버 또는 무선단말기로부터 상기 무선단말기의 상태정보를 수신하는 단계(S410); 상기 무인기가 상기 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟(target)의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅(tilting)하도록 제어하는 단계(S420); 상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계(S430); 상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계(S440); 및 상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계(S450)로 이루어진다.
도 5를 참조하면, 무인기가 무선단말기의 상태정보로부터 서버가 산출한 무인기 비행, 카메라 회전 또는 틸팅 등의 제어 신호를 수신하여 서버의 명령에 따른 제어를 수행할 수 있다. 구체적으로 무인기가 서버로부터 무선단말기의 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 수신하는 단계(S510); 상기 무인기가 상기 신호를 바탕으로 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 단계(S520); 상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계(S530); 상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계(S540); 및 상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계(S550)로 이루어진다.
다시 말해, 무인기는 무선단말기의 상태정보를 직접 수신하거나, 서버를 통해 수신할 수 있다.
또한, 무인기는 수신된 무선단말기의 상태정보를 바탕으로 무인기 내 카메라의 촬상면에 무선단말기를 가지고 있는 사용자의 상이 위치하도록 무인기의 비행을 직접 제어하거나, 서버로부터 제어 신호를 수신하여 서버의 명령에 따라 무인기의 비행을 제어할 수 있다.
또한, 무인기는 수신된 무선단말기의 상태정보를 바탕으로 무인기 내 카메라의 촬상면에 무선단말기를 가지고 있는 사용자의 상이 위치하도록 무인기의 카메라를 회전 또는 틸팅하도록 제어하거나, 서버로부터 제어 신호를 수신하여 서버의 명령에 따라 무인기의 카메라를 회전 또는 틸팅하도록 제어할 수 있다.
무인기의 비행을 제어하거나, 무인기의 카메라를 회전 또는 틸팅하도록 제어함으로써, 무인기내 촬상면에 무선단말기를 가지고 있는 사용자의 상이 위치하게 되면, 무인기는 무선단말기를 가지고 있는 사용자를 타겟으로 하여 사용자가 포함되는 소정의 범위의 영상을 촬영할 수 있다. 다음으로, 무인기는 촬영된 영상을 서버 또는 무선 단말기에 송신할 수 있다.
또한, 무인기는 촬영된 영상을 바탕으로 식별된 타겟을 따라 비행할 수 있다. 이를 통해 사용자는 무인기로부터 물품 배송 등의 서비스를 제공받기 위해 무인기의 착륙이 용이한 장소로 무인기를 유도할 수 있다.
도 6 내지 8은 본 발명의 실시예에 따른 무인기와 사용자 무선단말기 간의 상호 인식 방법을 나타내는 설명도이다. 도 6을 참조하여 설명하면, 무인기는 사용자 무선단말기의 상태정보를 바탕으로 사용자의 근접 상공까지 이동할 수 있다. 이 때, 무인기는 사용자 위치로 이동하는 과정에서 일정한 방향성을 갖게 되는데, 무인기는 사용자 근접 상공에 도착한 이후, 기설정된 방향(예: 도착 직전의 비행 방향)을 유지하며 호버링할 수 있다. 다만, 사용자 근접 상공 도착 직후의 무인기는 대략적인 사용자 위치 범위를 인지할 뿐, 무인기가 무인기와 사용자 무선단말기 간의 상대적인 위치 및 방향은 알지 못한다. 무인기와 사용자가 서로를 정확히 인식하기 위해 무인기는 무선단말기가 어느 방향에서 무인기를 응시하고 있는지를 인식할 필요가 있다.
도 7 내지 8을 참조하여 무인기가 무인기와 사용자 무선단말기 간의 상대적인 방향을 인식하는 과정을 후술한다. 사용자가 위치하는 상공에 무인기가 도착하면, 사용자는 자신이 파지하고 있는 무선단말기를 이용하여 상공에서 호버링 중인 무인기를 촬영할 수 있다. 바람직하게는 사용자가 장애물이 없는 오픈된 공간으로 이동한 후, 무인기 촬영 동작을 수행할 수 있다.
더욱 구체적으로, 사용자는 무선단말기 내 이미지센서의 촬상면 또는 무선단말기 화면의 소정의 구획(예: 정중앙)에 무인기의 상이 위치할 때, 촬영 버튼을 클릭하는 등의 입력을 통해 무인기를 촬영할 수 있다. 다만, 사용자가 촬영 버튼을 클릭하는 등의 동작을 수행하는 과정에서 촬영 오차(예: 손 떨림)가 발생될 수 있으므로, 바람직하게는 촬상면 또는 촬영화면 내 특정 위치(예: 정중앙)에 무인기 화상이 맺히는 순간, 애플리케이션 자체에서 촬영 동작이 자동적으로 수행될 수 있다. 이러한 촬영 동작을 통해 사용자 무선단말기의 제1 상태정보 및 제2 상태정보가 서버 또는 무인기로 전송될 수 있다. 여기서 사용자 무선단말기의 상태정보는 사용자 무선단말기의 거수 높이, 기울기 각도, 촬영방위각도 등을 포함할 수 있다.
서버 또는 무인기는 전송된 무선단말기의 상태정보를 바탕으로 전송된 사용자 무선단말기의 상태정보와 도착 시점에서의 무인기의 위치 및 방위각 정보 비교를 통해, 무인기 대비 사용자 무선단말기의 상대 방위를 산출할 수 있다.
더욱 구체적으로, 사용자 무선단말기의 촬상면(또는 디스플레이 화면)에 무인기의 상이 맺히는 시점에서, 무인기의 호버링 방위각(헤딩포인트각)과 사용자 무선단말기의 촬영각 및 촬영방위정보 등을 비교하여 무인기의 헤딩포인트각 대비 사용자의 상대방위각 위치를 연산할 수 있다. 이를 통해 서버 또는 무인기는 무인기를 중심점으로 하였을 때, 사용자가 어느 방향에 있는지를 인식할 수 있다. 다시 말해, 해당 무인기 서비스를 제공받고자 하는 사용자의 위치 및 방향이 특정됨으로써, 무인기와 사용자 무선단말기는 서로를 상호 인식할 수 있다.
이후, 서버 또는 무인기는 무인기가 호버링하는 동안 무인기 비행(예: 호버링 방향)을 제어하거나 무인기 내 카메라의 회전 또는 틸팅을 제어할 수 있다. 이러한 제어를 통해 무인기 또는 무인기 내 카메라와 사용자 무선단말기는 서로를 정면으로 응시할 수 있으며, 이는 무인기가 무인기 내 카메라 촬상면 안에 사용자를 포함하는 소정의 범위의 영상을 위치시킬 수 있다는 것을 의미한다. 다만, 정확한 무인기 서비스가 제공되기 위해서는 무인기와 사용자를 일대일 매칭하기 위한 동작이 추가적으로 수행될 필요가 있다.
이를 위해 무인기는 사용자 무선단말기와 무인기가 서로 마주하게 되는 시점에서 사용자를 포함하는 소정의 범위를 촬영할 수 있다. 이후, 무인기는 촬영된 영상을 사용자 무선단말기로 전송할 수 있다. 전송된 영상은 사용자 무선단말기 내 디스플레이 화면에 출력될 수 있으며, 사용자는 무선단말기 내 디스플레이 화면에 출력되는 영상 중에서 특정 타켓에 대한 영상부분을 선택할 수 있다.
도 9는 본 발명의 실시예에 따른 특정 타겟에 대한 영상부분을 선택하는 디스플레이 화면 예시도이다. 도 9를 참조하면, 사용자 무선단말기는 무인기가 촬영한 사용자를 포함하는 소정의 범위에 관한 촬영 영상을 수신할 수 있다. 또한, 무선단말기 상의 디스플레이 화면에 이를 표시할 수 있다. 사용자는 무선단말기 내 디스플레이 화면에 출력되는 영상 중에서 특정 타켓에 대한 영상부분을 선택할 수 있으며, 이러한 선택 입력은 화면 터치, 마킹 등의 사용자 조작을 통해 이루어질 수 있다. 이후, 무선단말기는 선택된 특정 타겟에 대한 영상을 서버 또는 무인기로 송신할 수 있고, 이를 통해 무인기와 사용자는 일대일로 매칭될 수 있다.
또한, 무인기는 촬영된 영상을 바탕으로 식별된 타겟을 따라 비행할 수 있다. 이를 통해 사용자는 무인기로부터 물품 배송 등의 서비스를 제공받기 위해 무인기의 착륙이 용이한 장소로 무인기를 유도할 수 있다.
도 10은 본 발명이 적용된 애플리케이션에서 서버, 사용자 무선단말기, 무인기 간의 동작을 나타내는 도면이다. 도 10을 참조하면, 사용자로부터 서비스 요청을 받고 물품 또는 서비스를 탑재한 무인기가 사용자 근처 상공에 도착하면, 무인기는 서버로 사용자 근접 상공에 도착했다는 알림을 전송할 수 있다. 다음으로, 서버는 사용자 단말기에 무인기의 도착을 알림과 동시에 애플리케이션 실행을 명령할 수 있다. 애플리케이션 실행 명령은 텍스트 알림, 음성 알림, 또는 일반적인 전화 형태 등 사용자 무선단말기에서 수행할 수 있는 다양한 기능들을 기반으로 하여 사용자에게 안내될 수 있다. 다음으로, 사용자가 알림을 수락하는 특정 동작(예: 터치 등)을 통해 애플리케이션을 실행하게 되면, 사용자 단말기, 서버 및 무인기 3자간의 네트워크 연결이 승인될 수 있다. 네트워크 연결 승인이 완료되면, 서버는 사용자 단말기에 무인기 위치 확인 및 무인기 촬영을 요청할 수 있다. 다음으로, 사용자 단말기가 무인기를 촬영하여 촬영된 영상을 서버로 전송하면, 서버는 촬영된 영상에 포함된 단말기 상태정보를 이용하여, 무인기와 사용자 무선단말기 간의 상대방위각 정보를 연산할 수 있다. 또한, 서버는 연산된 상대방위각 정보에 따라, 사용자 근접 상공에서 호버링 중인 무인기의 방향 또는 무인기 내 카메라의 회전/틸팅 제어신호를 무인기로 전송할 수 있다. 무인기는 서버의 제어신호에 따라, 사용자 단말기와 정면으로 마주볼 수 있도록 회전하는 동작을 수행할 수 있다. 다음으로, 서버는 무인기에 사용자 단말기의 위치 확인 및 사용자를 포함하는 소정의 범위를 촬영하도록 요청할 수 있다. 다음으로, 무인기가 사용자를 포함하는 소정의 범위를 촬영하여 촬영된 영상을 서버로 전송하면, 서버는 이를 사용자 단말기에 전송함과 동시에, 전송된 사용자 촬영 영상 내 특정 타켓을 선택(타게팅)할 것을 요청할 수 있다. 다음으로, 사용자는 화면 터치, 마킹 등의 조작을 통해 수신된 사용자 촬영 영상 내 특정 타켓(예: 사용자 본인)에 대한 영상부분을 선택하고, 이를 서버로 재전송할 수 있다. 다음으로, 서버는 타겟이 특정된 영상을 무인기에 전송하며, 이후 특정된 타겟을 추적하도록 무인기에 명령할 수 있다.
본 명세서에서는 본 발명의 일실시예로서, 사용자 단말기, 서버 및 무인기 3자간의 동작 과정을 도시하였으나, 바람직하게는 사용자 무선단말기와 무인기 양자간의 네트워크 만으로 무인기 서비스 전 과정이 진행될 수 있다. 이 또한 본 발명의 권리범위 내에 포함된다고 볼 수 있음은 물론이다.
상술된 방법 및 처리는, 예를 들어, 프로세서, 컨트롤러, 또는 다른 처리 디바이스에 의한 실행을 위한 명령들로서, 인코딩되거나, 컴팩트 디스크 판독 전용 메모리 (CDROM), 자기 또는 광학 디스크, 플래시 메모리, 랜덤 액세스 메모리 (RAM) 또는 판독 전용 메모리 (ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM) 또는 다른 머신-판독가능 매체와 같은 머신 판독가능 또는 컴퓨터 판독가능 매체에 저장될 수도 있다.
이러한 매체는, 명령 실행가능 시스템, 장치 또는 디바이스에 의해 또는 이와 연결하여 사용하기 위한 실행가능한 명령들을 포함, 저장, 통신, 전파 또는 이동시키는 임의의 디바이스로서 구현될 수도 있다. 대안으로 또는 추가적으로, 하나 이상의 집적 회로, 또는 하나 이상의 프로세서 실행 명령들과 같은 하드웨어를 이용하여 아날로그 또는 디지털 로직으로서; 또는 API (application programming interface) 또는 DLL (Dynamic Link Library), 로컬 또는 원격 절차 호출로서 정의된 또는 공유 메모리에서 이용가능한 기능들의 소프트웨어로; 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수도 있다.
다른 구현에서, 방법은 신호 또는 전파-신호 매체로 나타내어질 수도 있다. 예를 들어, 임의의 소정의 프로그램의 로직을 구현하는 명령들은 전기, 자기, 광학, 전자기, 적외선 또는 다른 타입의 신호의 형태를 취할 수도 있다. 상술된 시스템은 광섬유 인터페이스, 안테나, 또는 다른 아날로그 또는 디지털 신호 인터페이스와 같은 통신 인터페이스에서 이러한 신호를 수신하고, 그 신호로부터 명령들을 복원하고, 이들을 머신 판독 가능 메모리에 저장하고, 그리고/또는 프로세서를 이용하여 이들을 실행시킬 수도 있다.
또한, 상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 실시예들은 여기에 설명된 방법들 중 하나가 실행되는 프로그램가능 컴퓨터 시스템으로 운영될 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 캐리어 웨이브를 포함할 수 있다. 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램이 컴퓨터 상에서 구동될 때 방법들 중 하나를 실행하기 위하여 운영된다. 프로그램 코드는 예를 들면 기계 판독가능 캐리어 상에 저장될 수 있다. 본 발명의 일 실시예는 컴퓨터 프로그램이 컴퓨터 상에 구동될 때, 여기에 설명된 방법들 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램일 수 있다. 본 발명은 위에서 설명한 방법들 중 하나를 실행하기 위한 컴퓨터, 또는 프로그램가능 논리 장치를 포함할 수 있다. 위에서 설명한 방법들의 일부 또는 모든 기능을 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이, 상보성 금속 산화물 반도체 기반 논리 회로)가 사용될 수 있다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
본 발명의 실시예에 따른 무인기와 무선단말기 간의 상호 인식 방법는 드론 등 무인기에서 착륙하는 일련의 절차에 이용될 수 있다.

Claims (13)

  1. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  2. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션(orientations)에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  3. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  4. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  5. 무인기가 서버 또는 무선단말기로부터 상기 무선단말기의 상태정보를 수신하는 단계; 및
    상기 무인기가 상기 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟(target)의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅(tilting)하도록 제어하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  6. 무인기가 서버로부터 무선단말기의 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 수신하는 단계; 및 상기 무인기가 상기 신호를 바탕으로 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  7. 제5 항 또는 제6 항에 있어서,
    상기 상태정보는 상기 무선단말기의 외부 자기장에 관한 정보 또는 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 것임을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  8. 제1 항에 있어서,
    상기 서버가 상기 무인기로 제1 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 송신하는 단계를 더 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  9. 제5 항 또는 제6 항에 있어서,
    상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계; 및
    상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계를 더 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  10. 제3 항 또는 제4 항에 있어서,
    상기 무선단말기가, 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하는 단계;
    상기 무선단말기가 상기 단말기 내 출력부에 상기 영상을 출력하는 단계;
    상기 무선단말기가 상기 영상 내 존재하는 특정 타겟에 대한 영상 부분을 선택 입력받는 단계; 및
    상기 무선단말기가 상기 영상 부분을 상기 서버 또는 무인기로 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  11. 제1 항 또는 제3 항에 있어서,
    상기 제1 상태정보는 무선단말기의 방위각 정보를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  12. 제9 항에 있어서,
    상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  13. 제3 항, 제4 항 및 제10 항 중 어느 한 항의 방법에 포함된 단계를 무선단말기에서 실행시키는 기록매체에 저장된 어플리케이션.
PCT/KR2018/005519 2018-04-10 2018-05-15 무인기와 무선단말기 간의 상호 인식 방법 WO2019198868A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/960,877 US11815913B2 (en) 2018-04-10 2018-05-15 Mutual recognition method between unmanned aerial vehicle and wireless terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0041726 2018-04-10
KR1020180041726A KR101959366B1 (ko) 2018-04-10 2018-04-10 무인기와 무선단말기 간의 상호 인식 방법

Publications (1)

Publication Number Publication Date
WO2019198868A1 true WO2019198868A1 (ko) 2019-10-17

Family

ID=66036895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005519 WO2019198868A1 (ko) 2018-04-10 2018-05-15 무인기와 무선단말기 간의 상호 인식 방법

Country Status (3)

Country Link
US (1) US11815913B2 (ko)
KR (1) KR101959366B1 (ko)
WO (1) WO2019198868A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709385A (zh) * 2020-06-22 2020-09-25 电子科技大学 一种低小慢飞行器目标探测系统及其身份识别方法
US11616913B2 (en) 2020-06-22 2023-03-28 Sony Group Corporation System and method for image content recording of a moving user

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072116A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 制御システム、制御方法、および記憶媒体
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
KR20210114647A (ko) * 2020-03-11 2021-09-24 엘지전자 주식회사 무인비행체를 제어하기 위한 장치, 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496654B1 (ko) * 2007-06-27 2015-02-27 브룩스 오토메이션 인코퍼레이티드 리프트 능력 및 감소된 코깅 특성들을 가지는 전동기 고정자
US20160171330A1 (en) * 2014-12-15 2016-06-16 Reflex Robotics, Inc. Vision based real-time object tracking system for robotic gimbal control
KR20160119990A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160142017A (ko) * 2015-06-02 2016-12-12 엘지전자 주식회사 드론을 이용한 물품배송 시 인증 방법
KR20170070627A (ko) * 2015-12-14 2017-06-22 주식회사 하우앳 공중 추적 영상촬영을 위한 카메라 짐벌이 구비된 무선비행체 제어시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3034400B1 (en) * 2014-12-16 2017-06-07 Sabine Hassan Zureikat Drone for taking pictures or videos
DE102015013104A1 (de) * 2015-08-22 2017-02-23 Dania Lieselotte Reuter Verfahren zur Zielanflungsteuerung von unbemannten Flugobjekten, insbesondere Lieferdrohen
KR20170110341A (ko) 2016-03-23 2017-10-11 한국전자통신연구원 무인배송로봇의 사용자 식별을 통한 배송 방법
CN107438227B (zh) * 2016-05-25 2021-06-25 中兴通讯股份有限公司 一种无人机投递方法
US10082802B2 (en) * 2016-08-11 2018-09-25 International Business Machines Corporation Method and system for continued navigation of unmanned aerial vehicles beyond restricted airspace boundaries
US20190250601A1 (en) * 2018-02-13 2019-08-15 Skydio, Inc. Aircraft flight user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496654B1 (ko) * 2007-06-27 2015-02-27 브룩스 오토메이션 인코퍼레이티드 리프트 능력 및 감소된 코깅 특성들을 가지는 전동기 고정자
US20160171330A1 (en) * 2014-12-15 2016-06-16 Reflex Robotics, Inc. Vision based real-time object tracking system for robotic gimbal control
KR20160119990A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160142017A (ko) * 2015-06-02 2016-12-12 엘지전자 주식회사 드론을 이용한 물품배송 시 인증 방법
KR20170070627A (ko) * 2015-12-14 2017-06-22 주식회사 하우앳 공중 추적 영상촬영을 위한 카메라 짐벌이 구비된 무선비행체 제어시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709385A (zh) * 2020-06-22 2020-09-25 电子科技大学 一种低小慢飞行器目标探测系统及其身份识别方法
US11616913B2 (en) 2020-06-22 2023-03-28 Sony Group Corporation System and method for image content recording of a moving user

Also Published As

Publication number Publication date
US20210055746A1 (en) 2021-02-25
US11815913B2 (en) 2023-11-14
KR101959366B1 (ko) 2019-03-21

Similar Documents

Publication Publication Date Title
WO2019198868A1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
WO2015167080A1 (en) Unmanned aerial vehicle control apparatus and method
US10569874B2 (en) Flight control method and apparatus
CN107924636B (zh) 移动体识别系统及识别方法
WO2020105898A1 (ko) 빅데이터 기반 자율 비행 드론 시스템 및 그 자율 비행 방법
KR102019124B1 (ko) 헤드 마운트 디스플레이 및 그 제어 방법
WO2017119737A1 (ko) 통신 시스템에서 영상 정보를 공유하는 방법 및 장치
WO2015014018A1 (zh) 移动终端基于图像识别技术的室内定位与导航方法
CN110570687B (zh) Agv的控制方法、装置及存储介质
WO2020185029A1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
WO2021237618A1 (zh) 抓捕辅助方法、地面指挥平台、无人机、系统及存储介质
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20200020295A (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
KR20170090826A (ko) Ｖｐｎ망을 이용한 스마트 디바이스 기반 지능형 객체 인식 드론 시스템 및 지능형 객체 추적 방법
WO2020171315A1 (ko) 무인기 착륙 시스템
WO2012057392A1 (ko) 복수개의 카메라를 이용한 거리측정 시스템 및 그 방법
KR102132945B1 (ko) 무인기 착륙 유도 방법
WO2021043333A1 (zh) 一种拍摄控制方法、装置、飞行器及飞行系统
KR102334509B1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
WO2017213373A1 (ko) 전자 장치, 외부 서버 및 그 제어 방법
WO2018066902A1 (en) Consistent spherical photo and video orientation correction
US20230035962A1 (en) Space recognition system, space recognition method and information terminal
WO2019093692A1 (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18914365

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18914365

Country of ref document: EP

Kind code of ref document: A1