WO2020171315A1 - 무인기 착륙 시스템 - Google Patents

무인기 착륙 시스템 Download PDF

Info

Publication number
WO2020171315A1
WO2020171315A1 PCT/KR2019/008864 KR2019008864W WO2020171315A1 WO 2020171315 A1 WO2020171315 A1 WO 2020171315A1 KR 2019008864 W KR2019008864 W KR 2019008864W WO 2020171315 A1 WO2020171315 A1 WO 2020171315A1
Authority
WO
WIPO (PCT)
Prior art keywords
unmanned aerial
aerial vehicle
server
image data
information
Prior art date
Application number
PCT/KR2019/008864
Other languages
English (en)
French (fr)
Inventor
정승호
정승현
Original Assignee
(주)아르고스다인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아르고스다인 filed Critical (주)아르고스다인
Priority to US17/413,323 priority Critical patent/US20220009630A1/en
Publication of WO2020171315A1 publication Critical patent/WO2020171315A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms

Definitions

  • the present invention relates to an unmanned aerial vehicle, and more particularly, to an unmanned aerial vehicle landing system.
  • the drone when the recipient (user) location information is input, the drone flies toward the recipient through autonomous flight to the destination.
  • an error of 10 to 50 m occurs, and in particular, when there are obstacles that obstruct the view of the drone (e.g., a wooded forest) or when there are several unspecified people including the recipient at the destination (e.g. : Parks, etc.) have a difficult problem in specifying the landing point of the drone.
  • the server when the server receives an imaging request from the wireless terminal, sending a command to cause the image sensor provided in the unmanned aerial vehicle to capture the image data, the server receiving the image data from the unmanned aerial vehicle It may further include transmitting the image data to the wireless terminal.
  • the server may further include transmitting the user command to an unmanned aerial vehicle.
  • the server may further include transmitting a command for controlling the UAV to land at the absolute coordinates to the UAV.
  • the server may further include transmitting a command to control the unmanned aerial vehicle to move to the movement coordinate to the unmanned aerial vehicle.
  • the server uses the pixel coordinates, the altitude information of the unmanned aerial vehicle, and the angle of view of the image sensor as variables, and converts the pixel coordinates to the absolute coordinates. Can provide.
  • an unmanned aerial vehicle landing system wherein the server corrects the image data by using a radiation distortion constant, a tangential distortion constant, a focal length, and a lens center image coordinate of the lens provided in the image sensor as variables. .
  • the server further comprising the step of receiving the unmanned aerial vehicle status information including at least one of altitude information, location information, bearing information, acceleration information, angular velocity information, and image data captured from the unmanned aerial vehicle image sensor from the unmanned aerial vehicle.
  • the unmanned aerial vehicle status information including at least one of altitude information, location information, bearing information, acceleration information, angular velocity information, and image data captured from the unmanned aerial vehicle image sensor from the unmanned aerial vehicle.
  • the server extracting recognition points from the structure data captured a plurality of times by distance, the server specifying the structure by matching the recognition points in the image data, the server The method may further include converting the pixel coordinates into the absolute coordinates by referring to the size information of the specified structure in the structure database.
  • the server when the server receives a photographing request from the wireless terminal, requesting user authentication information to the wireless terminal, and when the server receives the user authentication information from the wireless terminal, based on the user authentication information It may further include determining whether the wireless terminal is suitable.
  • the unmanned aerial vehicle receiving pixel coordinates of the image data of the image sensor provided in the unmanned aerial vehicle from a wireless terminal, the unmanned aerial vehicle state information based on the pixel coordinates of the unmanned aerial vehicle. It is possible to provide an unmanned aerial vehicle landing system comprising a coordinate conversion step of converting into coordinates.
  • the step of determining whether or not the image data imaging surface is horizontal to the ground based on at least one of the orientation information, acceleration information, and angular velocity information of the unmanned aerial vehicle, and the unmanned aerial vehicle is It may further include the step of controlling the posture of the unmanned aerial vehicle to maintain.
  • the unmanned aerial vehicle when the unmanned aerial vehicle receives an imaging request from the wireless terminal, imaging the image data through the image sensor provided in the unmanned aerial vehicle, and the image data is wirelessly transmitted to the unmanned aerial vehicle. It may further include transmitting to the terminal.
  • a user terminal when a user terminal receives image data captured by an image sensor provided in an unmanned aerial vehicle, displaying the image data on a display provided in the user terminal, wherein the user terminal is in the state of the unmanned aerial vehicle.
  • a coordinate conversion step of converting the pixel coordinates to the absolute coordinates of the unmanned aerial vehicle based on information, and the user terminal transmitting the absolute coordinates to the unmanned aerial vehicle. have.
  • FIG. 1 is a schematic diagram of a communication connection relationship between an unmanned aerial vehicle 10, a wireless terminal 20, and a server 30 according to the present invention.
  • Fig. 2 is a flow chart showing a method according to the invention from the point of view of a server.
  • 3 is a diagram showing the relationship between the origin of the absolute coordinates and the selection point in real space of the UAV.
  • FIG. 4 is a diagram showing pixel coordinates and selection points on image data.
  • FIG. 5 is a diagram showing a user command processing process according to an aspect of the present invention.
  • FIG. 6 is a diagram illustrating a process of converting pixel coordinates into absolute coordinates using an imaged structure according to an aspect of the present invention.
  • FIG. 7 is a diagram illustrating an operation of a user terminal requesting image data by an unmanned aerial vehicle according to an embodiment of the present invention.
  • FIG. 8 is a view showing an operation of the drone photographing a landing point according to an exemplary step of the present invention.
  • FIG. 9 is a diagram illustrating a process in which an unmanned aerial vehicle directly transmits image data to a user terminal according to an exemplary step of the present invention.
  • FIG. 10 is a diagram illustrating an operation of a user selecting a movement command from a user terminal according to an exemplary step of the present invention.
  • FIG. 11 is a diagram illustrating an operation of a user selecting a landing command from a user terminal according to an exemplary step of the present invention.
  • FIG. 12 is a view showing an operation of landing in absolute coordinates of the unmanned aerial vehicle according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.
  • first and second used hereinafter are merely identification symbols for distinguishing the same or corresponding components, and the same or corresponding components are limited by terms such as first and second. no.
  • Couple does not mean only a case in which each component is in direct physical contact with each other in the contact relationship between each component, but a different component is interposed between each component, and the component is It should be used as a concept that encompasses each contact.
  • the suffixes "module” and/or “unit” for components are part of a computer program for functioning a computer as a means of a specific function, or of a computer program for realizing a specific function in a computer.
  • the module A can be interpreted as a computer program for making the computer function as means A or a computer program for realizing the function A in the computer.
  • the "step" can be implemented and executed as a computer program in a computer.
  • module and/or “unit” may be gathered to form “group”.
  • an application refers to a set of computer programs designed to perform a specific task, and is also referred to as an application program.
  • the user can add related functions by installing the application according to the embodiment of the present invention in his/her electronic device.
  • the electronic device of the user where the application is installed is composed of CPU, RAM, ROM, storage devices, such as computers, tablet PCs, and smartphones, and the entire system is controlled by graphic operating systems such as Windows, ios, Android, and Linux. It is preferable, and in particular, it is specialized in smartphones that can send and receive phone calls and texts to registered contacts, or can take images with a camera, and transmit captured images.
  • the terminal mentioned in the present specification is a general user terminal and may be a smart phone, a personal computer, a tablet PC, or the like.
  • FIG. 1 is a schematic diagram of a communication connection relationship between an unmanned aerial vehicle 10, a wireless terminal 20, and a server 30 according to the present invention.
  • the unmanned aerial vehicle 10 the user wireless terminal 20, and the landing system 30 may exchange data.
  • a unmanned aerial vehicle refers to a unmanned aerial vehicle without a person on board, but the implementation effect of the present invention can be applied to all flying vehicles that require accurate location and recognition of the user.
  • geomagnetic sensor 3-axis acceleration sensor, GPS (GNSS), etc. sensors are built-in to collectively refer to a means of movement that has information such as position coordinates and azimuth angle.
  • the user according to the present invention can be any user who receives the service by the unmanned aerial vehicle, such as the recipient of the delivery of goods by the unmanned aerial vehicle, the user of the pickup service requesting the unmanned aerial vehicle service to deliver the goods to another place, and the user requesting the drone on demand shooting service. have.
  • the server can exchange data with the UAV and the user's wireless terminal through wireless communication, but is not necessarily limited to wireless communication, and data may be exchanged through wired communication.
  • wireless communication but is not necessarily limited to wireless communication, and data may be exchanged through wired communication.
  • a description of a description of data exchange and reception is omitted.
  • the server receives information received from the unmanned aerial vehicle when the unmanned aerial vehicles approach each other for a predetermined purpose to provide a service using the unmanned aerial vehicle such as delivery of goods.
  • the information received from the UAV may be flight related information, status information, user information, location information, etc. of the UAV.
  • the server transmits the UAV information received from the UAV to the user terminal.
  • the server continuously monitors the situation according to the presence or absence of the UAV, the flight path, and the state of the user, and when the UAV and the user are authenticated, landing and landing based on the relative location information, altitude information, azimuth information, etc. You can calculate the route adjustment data of the drone required for the guide.
  • the server may calculate the landing point location based on the user's location information and azimuth information when the drone lands and transmit it to the unmanned aerial vehicle.
  • the UAV continuously transmits all status information and flight-related information of the aircraft, including location, speed, altitude, azimuth, and battery status, to the server.
  • the unmanned aerial vehicle may transmit altitude, azimuth, and posture of the unmanned aerial vehicle at the point of arrival at the recipient's coordinates to the server.
  • the server includes at least one of altitude information, location information, bearing information, acceleration information, angular velocity information, and image data captured from the unmanned aerial vehicle image sensor from the unmanned aerial vehicle.
  • the server may receive the state information of the unmanned aerial vehicle.
  • the user's wireless terminal transmits data and commands such as location information, angle, azimuth angle, and elevation information of the wireless terminal to the server.
  • the user's wireless terminal may display information and status of the UAV transmitted from the server.
  • Fig. 2 is a flow chart showing a method according to the invention from the point of view of a server.
  • a step in which the unmanned aerial vehicle arrives at a service provision point (S110) a step in which the server receives image data captured by the image sensor of the unmanned aerial vehicle (S120), and the server transmits the received image data to the user terminal.
  • Step S130 the server receiving the pixel coordinates of the image data from the user's wireless terminal (S140), the server calculating the absolute coordinates of the unmanned aerial vehicle based on the pixel coordinates and the state information of the unmanned aerial vehicle (S150).
  • the unmanned aerial vehicle landing system comprises: receiving, by a server, pixel coordinates of image data of an image sensor provided in the unmanned aerial vehicle from a wireless terminal, and the pixel coordinates of the server based on the state information of the unmanned aerial vehicle. It may include a coordinate conversion step of converting the unmanned aerial vehicle to absolute coordinates, and the server transmitting the absolute coordinates to the unmanned aerial vehicle.
  • the unmanned aerial vehicle moves to a service providing location to provide a service.
  • the server or UAV continuously monitors the UAV's altitude information, location information, defense information, and attitude information from the UAV sensor.
  • the server or the unmanned aerial vehicle may determine whether or not the unmanned aerial vehicle has arrived at the service provision point based on the received location information.
  • FIG. 8 is a view showing an operation of the drone photographing a landing point according to an exemplary step of the present invention.
  • an unmanned aerial vehicle equipped with an image sensor captures image data hovered above a service provision point.
  • the landing point is determined by using an image sensor equipped with the unmanned aerial vehicle. You can take an image. At this time, the image data is captured while the drone is hovered to maintain a constant altitude and the lens of the photographing means is maintained horizontally with the ground surface.
  • An image sensor converts an optical image formed by a lens into an electrical signal.
  • the image sensor is a charge coupled device (CCD), a metal oxide semi-conductor (MOS), and a complementary metal-oxide (CMOS). semiconductor, complementary metal oxide semiconductor), etc.
  • CCD charge coupled device
  • MOS metal oxide semi-conductor
  • CMOS complementary metal-oxide
  • semiconductor complementary metal oxide semiconductor
  • the type of image sensor is not limited thereto.
  • the image may be a concept in a broad sense including not only a digital signal converted from an optical signal, but also a result of the digital signal being output as light visualized through a display device.
  • Imaging refers to a whole process of converting an optical signal into image data using an image sensor. More specifically, image data refers to still image data, and refers to data stored by digitizing an image captured through an image sensor in pixel units. Image data may be compressed, uncompressed, or stored in a vector format, and the image data may be expressed as a quadratic matrix including only a position on a plane of a pixel, a cubic matrix including color information, and the like.
  • the image data is the image file format ani, bmp, cal, fax, gif, hdp, img, jpe, jpec, jpg, mac, pbm, pcd, pct, pcx, pgm, png, ppm, psd, ras, It can be saved in the form of tga, tif, tiff, wmf, etc.
  • the step of determining, by the server, whether the image data imaging surface is horizontally maintained on the ground, based on at least one of azimuth information, acceleration information, and angular velocity information of the UAV the server The unmanned aerial vehicle may be controlled to maintain the horizontal image data through the step of transmitting a control command to the unmanned aerial vehicle to maintain the horizontal image data imaging surface.
  • the unmanned aerial vehicle may be equipped with sensors such as a magnetometer, a 3-axis accelerometer, and a 3-axis gyroscope to control the attitude of the unmanned aerial vehicle.
  • the server or unmanned aerial vehicle can calculate the attitude (Roll, Pitch) of the unmanned aerial vehicle based on the acceleration measured by the accelerometer and the angular velocity measured by the gyroscope.
  • the imaging plane refers to the area of an element that receives light from the condensing part of a camera, such as a film, a CCD of a digital camera, or a CMOS sensor, and refers to a place where an image of a subject is formed in the image sensor.
  • the meaning that the image data pickup surface is horizontal to the ground surface means that the distance between the lens and the photographed surface in the actual image is the same, even if the image data is horizontal to the ground surface and thus any point of the image data is symmetrical up, down, left and right.
  • the imaging surface and the lens of the image sensor are horizontal to each other, so that the lens maintains the ground level and the imaging surface maintains the ground level has the same meaning.
  • the ground at this time means an imaginary plane that appears when the ground surface is assumed to be a plane.
  • the server or the unmanned aerial vehicle determines whether or not the image data has been captured with the lens of the image sensor maintained horizontally with the landing point using the attitude information and image data of the unmanned aerial vehicle.
  • the server or the unmanned aerial vehicle controls the unmanned aerial vehicle so that the image data is photographed while maintaining the horizontal level.
  • the image data to be captured is imaged horizontally with the ground surface, thereby simplifying the operation process of converting the pixel coordinates of the image data into absolute coordinates.
  • the user's wireless terminal may request the unmanned aerial vehicle to capture image data with a server or an unmanned aerial vehicle. Specifically, when the unmanned aerial vehicle arrives at the service provision point, the arrival of the unmanned aerial vehicle may be notified to the user's wireless terminal in the form of a message. The user may request to capture image data of the unmanned aerial vehicle landing point by a combination of operations such as clicking and dragging the user terminal.
  • FIG. 9 is a diagram illustrating a process in which an unmanned aerial vehicle directly transmits image data to a user terminal according to an exemplary step of the present invention.
  • the image pickup request may be transmitted directly from the user's wireless terminal or via a server to the UAV, and the UAV may capture image data through a series of image data capturing processes.
  • the captured image data may be transmitted directly from the unmanned aerial vehicle or via a server to the user's wireless terminal.
  • the server sends a command to cause the image sensor provided in the unmanned aerial vehicle to capture the image data when the server receives the image capture request from the wireless terminal as well as directly transmitting to the unmanned aerial vehicle, and the server transmits the image data from the unmanned aerial vehicle.
  • the user may request the image data by an unmanned aerial vehicle.
  • a user authentication process before accepting the image pickup request from the wireless terminal, a user authentication process may be performed.
  • the authentication process is a step of requesting user authentication information to the wireless terminal when the server receives a photographing request from the wireless terminal, and when the server receives user authentication information from the wireless terminal, the user authentication information It may consist of a step of determining whether it is suitable. Further, at this time, the wireless terminal, the server, and the unmanned communication are encrypted, so that the security of the communication can be improved.
  • the captured image data may be transmitted to a user terminal through a server.
  • the transmitted image data is rasterized and displayed on a display provided in the user terminal.
  • the image data displayed on the display is configured so that the user can select an arbitrary point, and at the same time may include a specific point that can select a command to be given by the user by an operation such as a click.
  • the selection point may be referred to as a specific point on the actual ground surface corresponding to the point selected by the user on the image data captured by the lens of the image sensor horizontally on the ground surface.
  • the coordinates of the selected point based on the origin on the surface perpendicular to the UAV in space are called absolute coordinates.
  • the wireless terminal when the user terminal displays the image data of the landing point on the display, and the user selects an arbitrary point of the image data, the wireless terminal refers to the pixel coordinate value of the selected point. I can.
  • the wireless terminal can query a user command through various methods (eg, text, voice message) before and after the user selects an arbitrary point.
  • the user can select a desired user command through an operation such as a click, and the selected user command and the pixel coordinates of the selected point can be transmitted to the unmanned aerial vehicle directly or through a server.
  • the user command may be a command that is transmitted from a user terminal and passed through a server or directly transmitted to an unmanned aerial vehicle to control operations such as movement and landing of the unmanned aerial vehicle.
  • the user command and the corresponding movement of the unmanned aerial vehicle will be described in detail later with reference to FIG. 5.
  • the server may convert the pixel coordinates into the absolute coordinates by using the pixel coordinates, altitude information of the drone, and the angle of view of the image sensor as variables in the coordinate conversion step.
  • FIG. 4 is a diagram showing pixel coordinates and selection points on image data.
  • pixel coordinates refer to coordinates for an image displayed on a display in units of pixels, which are basic elements constituting rasterized image data.
  • the center of the image is the origin, and the coordinate system has the right direction as the x-axis increasing direction and the upper direction as the y-axis increasing direction.
  • the origin of the pixel coordinate system is ( , ), the pixel coordinates of the selected point by the user in the image data ( , ), the distance to the end of the photo using the X coordinate line , Use the Y coordinate line to determine the distance to the end of the photo. It can be expressed as
  • 3 is a diagram showing the relationship between the origin of the absolute coordinates and the selection point in real space of the UAV.
  • the absolute coordinate is a two-dimensional terrestrial coordinate system based on the actual position of the UAV.
  • the world coordinate system has the actual length as the basic unit (eg m, inch, ft).
  • the center point of the camera lens of the photographing means is drawn vertically to the ground, the point where it meets the ground is the origin, and the right direction in the image data is the X-axis increasing direction and the upper direction is the Y-axis increasing direction.
  • the origin of the two-dimensional ground coordinate system with the location of the drone as the origin ( , ), the camera lens angle of view The maximum distance on the X axis that can be taken with the camera lens.
  • the drone's altitude can be expressed as H.
  • the image data is photographed so that the lens remains horizontal with the ground surface, and the pixel coordinates can be converted into absolute coordinates using the angle of view of the lens and the height of the drone as variables.
  • the specific conversion equation between pixel coordinates and absolute coordinates is as follows.
  • the length on the ground surface and the number of pixels on the image data maintain a constant ratio.
  • the angle of view is a unique value according to the type of lens, and is an angle formed by the lens center of the range that can be imaged by the lens. Using the angle of view, the maximum area that the lens can image through the image sensor can be obtained. In addition, the maximum area that can be imaged by the lens can be obtained by using the tangent value of the elevation and the angle of view to obtain the actual length.
  • both ends of the image data maintain a constant ratio with the maximum imageable area
  • the process of converting the pixel coordinate value to the absolute coordinate using the proportional relationship of each length can be summarized by the above equation.
  • the absolute coordinates of the unmanned aerial vehicle can be calculated using the height, angle of view, and pixel coordinates of the unmanned aerial vehicle as variables.
  • the calculation process may be performed by any device such as an unmanned aerial vehicle, a server, or a wireless terminal.
  • the altitude may be measured through a sensor such as an acceleration sensor, an altimeter, or a rangefinder provided in the UAV, or a combination thereof.
  • a sensor such as an acceleration sensor, an altimeter, or a rangefinder provided in the UAV, or a combination thereof.
  • an acceleration sensor is used to measure the altitude of an unmanned aerial vehicle.
  • the data measured by the acceleration sensor is a method of calculating the altitude by integrating the acceleration, integration errors are accumulated, and it is difficult to accurately measure the surface altitude.
  • a rangefinder can be used to measure the distance between the UAV and the ground using an ultrasonic, laser or LiDAR-based sensor.
  • a satellite altimeter that calculates the length of a GPS satellite signal and expresses the altitude value.
  • a more accurate altitude value by combining the measured values measured from a plurality of sensors. For example, it is possible to more accurately measure the altitude of the UAV by fusing altitude data measured from an acceleration sensor, a rangefinder, an altimeter, and an image sensor using an extended Kalman filter.
  • the process of converting pixel coordinates to absolute coordinates may be performed by analyzing information on various structures included in image data. More specifically, the step of extracting recognition points from the structure data captured by the server multiple times by distance, the step of specifying the structure by matching the recognition points from the image data by the server, and the size information of the structure specified in the structure database by the server It may include the step of calculating altitude information with reference to.
  • FIG. 6 is a diagram illustrating a process of converting pixel coordinates into absolute coordinates using an imaged structure according to an aspect of the present invention.
  • the step of photographing a structure database while maintaining the horizontal by placing a difference in distance (S310), analyzing a plurality of structure data to extract a recognition point (S320), an image sensor Comparing the image data captured by the image data and the recognition point to specify a structure (S330), and converting the pixel coordinates into absolute coordinates (S340) by referring to the structure size information from the structure database.
  • structure data is stored in a structure database provided on a server or an unmanned aerial vehicle.
  • the structure database is a database storing all structure information about each structure, and the structure information includes information on the material properties, geometric shape, size, length, image data, etc. of the structure.
  • Structure data is an image of a structure while maintaining a level with the ground surface at a different distance, and the server extracts recognition points based on the structure data.
  • the recognition point refers to a characteristic part that can be recognized when a specific structure is compared with other structures.
  • Each recognition point may be determined through a recognition point extraction algorithm.
  • the recognition point extraction algorithm may be a SIFT or SURF algorithm.
  • the SIFT and SURF algorithms consist of a step of finding a recognition point and a step of comparing and matching the recognition points.
  • the recognition point is a point that is assumed to be unchanged in size and direction, and a Gaussian filter and a difference of Gaussian (DoG) are used.
  • DoG difference of Gaussian
  • the method of extracting the recognition point is not limited to the described algorithm.
  • the server may combine the structure data to find a recognition point to recognize the structure, and refer to information on the structure size in the structure database.
  • the ratio between the pixel and the actual size can be calculated using the ratio of the referenced structure size information and the number of pixels of the recognized structure, and the pixel coordinates can be converted into absolute coordinates using this.
  • the structure data is also captured in a state maintained horizontally like the image data, and the distance between the recognition points maintains a constant ratio even if there is a difference in the distance.
  • the actual distance between the recognition points can be calculated by comparing the pixel distances between the recognition points and referring to the geometric shape and size information of the structure stored in the structure database.
  • pixel coordinates may be converted into absolute coordinates using a ratio between the actual distance between recognition points and the pixel distance.
  • information on the size and geometric shape of the vehicle shown in the image data may be stored in the structure database in advance.
  • the structure data is stored in the form of an image by photographing the vehicle in a state of maintaining the level at different elevations.
  • Each of the plurality of structure data is analyzed by a recognition point extraction algorithm, and a recognition point capable of recognizing a car is selected.
  • the actual length between the selected recognition point and the recognition point may also be stored in the structure database.
  • the server may compare and analyze the image data received from the unmanned aerial vehicle and the recognition points stored in the structure database to determine whether a specific passenger vehicle is included in the image data.
  • pixel coordinates can be converted into absolute coordinates by using the ratio between the pixel distance and the actual distance stored in the structure database, the structure size, and geometric shape information as variables.
  • the process of converting pixel coordinates to absolute coordinates using a structure can be performed not only through a server, but also by a wireless terminal or an unmanned aerial vehicle.
  • an error may occur due to distortion of the lens.
  • the distortion of the lens includes radial distortion due to the refractive index of the convex lens and tangential distortion that occurs when the camera lens and the image sensor are not leveled or the center of the lens itself is not aligned during the manufacturing process of the imaging means. .
  • the lens distortion model is as follows.
  • the distortion of the image data may be corrected by using a lens-based distortion model using a radiation distortion constant, a tangential distortion constant, a focal length, and a lens center image coordinate of a lens provided in the image sensor as variables.
  • Image data distortion can be corrected regardless of devices such as servers, user terminals, and unmanned aerial vehicles.
  • FIG. 5 is a diagram showing a user command processing process according to an aspect of the present invention.
  • the unmanned aerial vehicle landing system includes an unmanned aerial vehicle arriving step (S210), a user terminal receiving image data (S220), a user selecting a pixel coordinate and a user command, and a server through the user terminal. Transmitted to (S230), the server converts pixel coordinates to absolute coordinates (S240), the server determines a user command (S250), if the user command is a landing command, the unmanned aerial vehicle lands in absolute coordinates. Controlling the unmanned aerial vehicle (S260), when the user command is a movement command, the unmanned aerial vehicle moving to the moving coordinate (S290), and the unmanned aerial vehicle capturing image data (S280).
  • the server When the server receives a user command from the wireless terminal, the server transmits the user command to an unmanned aerial vehicle so that the command of the wireless terminal can be transmitted to the server.
  • the server may transmit a command for controlling the UAV to land at the absolute coordinates to the UAV, and when the user command is a movement command, the server calls the UAV. It is also possible to transmit a command to control movement to the moving coordinates to the unmanned aerial vehicle.
  • the server receives unmanned aerial vehicle information from the unmanned aerial vehicle.
  • the UAV's arrival can be notified to the user terminal through various methods (eg, message, voice notification, etc.).
  • the user can select a user command by manipulating the user terminal.
  • the user command means a series of commands that cause the user terminal to operate the UAV directly or via a server.
  • the user command may be a movement command, a landing command, and the like.
  • a button or the like may be displayed on the display so that the user can select a user command through manipulation such as click or drag.
  • FIG. 10 is a diagram illustrating an operation of a user selecting a movement command from a user terminal according to an exemplary step of the present invention.
  • FIG. 11 is a diagram illustrating an operation of a user selecting a landing command from a user terminal according to an exemplary step of the present invention.
  • the unmanned aerial vehicle may transmit the image data captured by the image sensor of the unmanned aerial vehicle together with the arrival notification.
  • FIGS. 10 and 11 when a desired landing point exists on the image data displayed on the display of the wireless terminal, the user can issue a landing command to land at the corresponding point.
  • the user when the user determines that there is no suitable landing point, the user may move to another point on the image data to find the landing point.
  • User commands and selection points are specified according to the user's operation. The user-selected point of choice and user commands are transmitted via the server or directly to the server or unmanned aerial vehicle.
  • the server receives the landing command and pixel coordinates.
  • the absolute coordinates of the selected point can be calculated through the coordinate transformation process described above.
  • the landing command is a command to land the UAV to a selected point on the selected surface through the coordinate conversion process.
  • FIG. 12 is a view showing an operation of landing in absolute coordinates of the unmanned aerial vehicle according to an embodiment of the present invention.
  • the UAV maintains the same altitude in the process of landing to a selected point on the ground and moves to a moving coordinate, and then lowers the altitude by adjusting a throttle to control the UAV to land.
  • the moving coordinates refer to the spatial coordinates of the point where it meets the repair line of the selected point at the same altitude as the unmanned aerial vehicle, based on the absolute coordinate with the ground surface as the origin.
  • the user can select a move command.
  • the server sends a command to control the unmanned aerial vehicle to move to the moving coordinates.
  • the UAV moves to the movement point at a certain altitude. After moving to the moving point, the UAV may notify the wireless terminal that the movement is complete.
  • the server controls the unmanned aerial vehicle to move to a moving point perpendicular to the selected point while maintaining the altitude.
  • the movement is completed to the moving point of the unmanned aerial vehicle, and the image data can be captured using the image sensor by maintaining the level.
  • the captured image data is transmitted to the user's wireless terminal via the server, and the user specifies the point of choice through manipulation, and repeats a series of user command selection processes to select the movement command or landing command of the aircraft. You can select a branch.
  • the landing command, movement command, image data, etc. can be directly transmitted to the user terminal or unmanned aerial vehicle without going through the server, and the process of converting the pixel coordinates of the image data into the absolute coordinates of the unmanned aerial vehicle is also a server, unmanned aerial vehicle, and wireless terminal. It can be done by any of the three devices.
  • a user terminal when a user terminal receives image data captured by an image sensor provided in an unmanned aerial vehicle, displaying the image data on a display provided in the user terminal, wherein the user terminal is in the state of the unmanned aerial vehicle.
  • Data may be processed through the user terminal through a coordinate conversion step of converting the pixel coordinates to the absolute coordinates of the unmanned aerial vehicle based on information, and a step of the user terminal transmitting the absolute coordinates to the unmanned aerial vehicle.
  • CDROM compact disk read only memory
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read-only memory
  • Such a medium may be implemented as any device that contains, stores, communicates, propagates or moves executable instructions for use by or in connection with an instruction executable system, apparatus, or device.
  • a medium may be implemented as any device that contains, stores, communicates, propagates or moves executable instructions for use by or in connection with an instruction executable system, apparatus, or device.
  • hardware such as one or more integrated circuits, or one or more processor-executable instructions; Or with software of functions defined as an application programming interface (API) or Dynamic Link Library (DLL), a local or remote procedure call, or available in shared memory;
  • API application programming interface
  • DLL Dynamic Link Library
  • the method may be represented as a signal or radio-signal medium.
  • instructions implementing the logic of any given program may take the form of electrical, magnetic, optical, electromagnetic, infrared, or other types of signals.
  • the systems described above receive these signals at a communication interface such as a fiber optic interface, antenna, or other analog or digital signal interface, recover instructions from the signal, store them in machine-readable memory, and/or use a processor. You can also run them.
  • the present invention can be implemented in hardware or software. Implementation of the present invention can also be implemented as a computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical data storage devices, etc., and also implemented in the form of a carrier wave (for example, transmission through the Internet). Include.
  • the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.
  • Embodiments of the present invention may include a carrier wave with electronically readable control signals that may be operated with a programmable computer system in which one of the methods described herein is executed.
  • Embodiments of the present invention may be implemented as a computer program product having a program code, the program code being operated to execute one of the methods when the computer program is run on a computer.
  • the program code can for example be stored on a machine-readable carrier.
  • One embodiment of the present invention may be a computer program having a program code for executing one of the methods described herein when the computer program is run on a computer.
  • the present invention may include a computer, or programmable logic device for executing one of the methods described above.
  • a programmable logic device eg, field programmable gate array, complementary metal oxide semiconductor based logic circuit
  • a programmable logic device may be used to perform some or all functions of the methods described above.
  • a UAV can safely and quickly land.
  • the user can check the landing point in the form of image data and select the landing site so that the drone can land more safely.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)

Abstract

무인기 착륙시스템이 개시된다. 본 발명의 일 측면에 따르면, 무인기 착륙시스템에 있어서, 서버가 무선단말기로부터 상기 무인기에 구비된 이미지센서의 이미지데이터의 픽셀좌표를 수신하는 단계; 상기 서버가 상기 무인기 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계; 및 상기 서버가 상기 무인기로 상기 절대좌표를 전송하는 단계를 포함하는 무인기 착륙시스템이 제공된다. [대표도] 도 2

Description

무인기 착륙 시스템
본 발명은 무인기에 관한 것으로, 보다 상세하게는 무인기 착륙 시스템에 관한 것이다.
현재 무인비행체인 드론 시장이 활발하게 되면서 드론의 물품배송, 픽업 서비스, 구호응급물품 제공 등 관련 산업이 확장되고 있다.여러 관련 기술들이 개발되고 있으나 현재 GPS 위치 오차나 주변 구조물 등의 장애에 의하여 드론을 서비스 제공지에 착륙시키는데 기술적 문제가 발생한다.
좀 더 구체적으로, 수취인(사용자) 위치정보가 입력되면 드론은 해당 위치를 목적지로 하는 자율 비행을 통해 수취인을 향해 날아가게 된다. 다만, 현재 GPS 기술로는 10~50m의 오차가 발생하며, 특히 드론의 시야를 방해하는 장애물이 존재(예: 나무가 우거진 숲)하거나 목적지에 수취인을 포함하는 불특정 여러 사람이 위치하는 경우(예:공원 등)에는 드론의 착륙지점 특정이 어려운 문제가 있다.
또한, 사용자를 포함한 군중 등을 피해 안전하게 착륙할 정도로 영상처리 및 비행제어기술이 발전하지 못했다. 이와 관련된 선행특허문헌으로 'Human interaction with unmanned aerial vehicles(미국등록특허 제9459620호, 등록일자 2016.10.4)'이 존재한다. 선행특허문헌에서는 사람이 제스처 등을 통해 무인기를 유도하는 것에 대해 개시하고 있다. 그러나 이러한 제스처는 영상처리 등을 통해 인식해야 하는 것이고 또한, 제스처를 통해 정확한 착륙지점을 드론에 알려주는 것은 불가능하다.
본 발명의 목적은 무인기 착륙 시스템을 제공하는 것이다. 더욱 구체적으로, 사용자가 착륙 지점을 이미지데이터 형식으로 확인하고, 착륙장소를 선택하여 무인기가 보다 안전하게 착륙할 수 있는 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 무인기 착륙시스템에 있어서, 서버가 무선단말기로부터 상기 무인기에 구비된 이미지센서의 이미지데이터의 픽셀좌표를 수신하는 단계, 상기 서버가 상기 무인기 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계; 및 상기 서버가 상기 무인기로 상기 절대좌표를 전송하는 단계를 포함하는 것을 특징으로 하는 무인기 착륙 시스템이 제공된다.
또한, 상기 픽셀좌표를 수신하는 단계 이전에, 상기 서버가 상기 무인기의 방위정보, 가속도 정보, 각속도 정보 중 적어도 하나에 기초하여, 상기 이미지 데이터 촬상면이 지면에 수평을 유지하고 있는지 여부를 판단하는 단계, 상기 서버가 상기 무인기로 상기 이미지데이터 촬상면이 수평을 유지하도록 하는 제어명령을 전송하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 무선단말기로부터 촬상 요청을 수신하는 경우, 상기 무인기에 구비된 상기 이미지센서가 상기 이미지데이터를 촬상하도록 하는 명령을 발송하는 단계, 상기 서버가 상기 무인기로부터 이미지데이터를 수신하여 상기 이미지 데이터를 상기 무선단말기로 발송하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 무선단말기로부터 사용자명령을 수신 받는 경우, 상기 서버가 상기 사용자명령을 무인기로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 사용자명령이 착륙명령인 경우, 상기 서버가 상기 무인기를 상기 절대좌표에 착륙하도록 제어하는 명령을 상기 무인기로 전송하는 단계를 더 포함할 수 있다.
또한, 사용자명령이 이동명령인 경우, 상기 서버가 상기 무인기를 상기 이동좌표로 이동하도록 제어하는 명령을 상기 무인기로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 좌표변환단계에 있어서, 상기 픽셀좌표, 상기 무인기의 고도정보, 상기 이미지센서의 화각을 변수로 사용하여, 상기 픽셀좌표를 상기 절대좌표로 변환하는 것을 특징으로 하는 무인기 착륙 시스템을 제공할 수 있다.
또한, 상기 서버가 상기 이미지센서에 구비된 렌즈의 방사 왜곡 상수, 접선 왜곡 상수, 초점거리, 렌즈 중심 영상좌표를 변수로 하여 상기 이미지데이터를 보정하는 것을 특징으로 하는 무인기 착륙 시스템을 제공할 수 있다.
또한, 상기 서버가 상기 무인기로부터 상기 무인기의 고도 정보, 위치정보, 방위정보, 가속도 정보, 각속도 정보 및 상기 무인기 이미지센서로부터 촬상된 이미지데이터 중 적어도 하나를 포함하는 무인기 상태정보를 수신하는 단계를 더 포함할 수 있다.
또한, 상기 좌표변환단계는, 상기 서버가 거리별로 복수 회 촬상된 구조물데이터에서 인식점들을 추출하는 단계, 상기 서버가 상기 이미지데이터에서 상기 인식점을 매칭하여 구조물을 특정하는 단계, 상기 서버가 상기 구조물 데이터베이스에서 상기 특정된 구조물의 크기 정보를 참조하여 상기 픽셀좌표를 상기 절대좌표로 변환하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 무선단말기로부터 촬영 요청을 수신하는 경우, 상기 무선단말기로 사용자인증정보를 요청하는 단계, 상기 서버가 상기 무선단말기로부터 상기 사용자인증정보를 수신하는 경우 상기 사용자인증정보에 기초하여 상기 무선단말기의 적합 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 무인기 착륙시스템에 있어서, 무인기가 무선단말기로부터 상기 무인기에 구비된 이미지센서의 이미지데이터의 픽셀좌표를 수신하는 단계, 상기 무인기가 상기 무인기 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계를 포함하는 것을 특징으로 하는 무인기 착륙 시스템을 제공할 수 있다.
또한, 상기 무인기가 상기 무인기의 방위정보, 가속도 정보, 각속도 정보 중 적어도 하나에 기초하여, 상기 이미지데이터 촬상면이 지면에 수평을 유지하고 있는지 여부를 판단하는 단계, 상기 무인기가 상기 이미지데이터 촬상면이 수평을 유지하도록 상기 무인기의 자세를 제어하는 단계를 더 포함할 수 있다.
또한, 상기 픽셀좌표를 수신하는 단계 이전에, 상기 무인기가 상기 무선단말기로부터 촬상요청을 수신하는 경우, 상기 무인기에 구비된 상기 이미지센서를 통하여 상기 이미지데이터를 촬상하는 단계, 상기 이미지데이터를 상기 무선단말기로 전송하는 단계를 더 포함할 수 있다.
본 발명의 일 측면에 따르면, 사용자단말기가 무인기에 구비된 이미지센서로 촬상된 이미지데이터를 수신 받는 경우, 상기 이미지데이터를 상기 사용자단말기에 구비된 디스플레이에 표시하는 단계, 상기 사용자단말기가 상기 무인기 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계, 상기 사용자 단말기가 상기 무인기로 상기 절대좌표를 전송하는 단계를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템을 제공할 수 있다.
상술한 본 발명에 따르면, 무인기 착륙 시스템을 제공할 수 있다.
도 1은 본 발명에 따른 무인기(10), 무선단말기(20) 및 서버(30)의 통신 연결 관계를 도식화한 것이다.
도 2는 서버의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 3은 무인기의 실제 공간상 절대좌표의 원점과 선택지점의 관계를 나타낸 도면이다.
도 4는 이미지데이터 상에서 픽셀좌표 및 선택지점을 나타낸 도면이다.
도 5는 본 발명의 일 측면에 따른 사용자명령 처리과정을 나타낸 도면이다.
도 6은 본 발명의 일 측면에 따른 촬상된 구조물을 사용하여 픽셀좌표를 절대좌표로 변환하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시 단계에 따라 사용자단말기가 무인기로 이미지데이터를 요청하는 동작을 나타낸 도면이다.
도 8은 본 발명의 일 실시 단계에 따라 무인기가 착륙지점을 촬상하는 동작을 나타낸 도면이다.
도 9는 본 발명의 일 실시 단계에 따라 무인기가 사용자단말기로 직접적으로 이미지데이터를 전송하는 과정을 나타낸 도면이다.
도 10은 본 발명의 일 실시 단계에 따라 사용자가 사용자단말기로부터 이동명령을 선택하는 동작을 나타낸 도면이다.
도 11은 본 발명의 일 실시 단계에 따라 사용자가 사용자단말기로부터 착륙명령을 선택하는 동작을 나타낸 도면이다.
도 12는 본 발명의 일 실시 단계에 따라 무인기가 절대좌표로 착륙하는 동작을 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[부호의 설명]
10 : 무인기
20 : 사용자 무선단말기
30 : 서버
이하, 본 발명에 따른 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 이하 사용되는 제1, 제2 등과 같은 용어는 동일 또는 상응하는 구성 요소들을 구별하기 위한 식별 기호에 불과하며, 동일 또는 상응하는 구성요소들이 제1, 제2 등의 용어에 의하여 한정되는 것은 아니다.
또한, 결합이라 함은, 각 구성 요소 간의 접촉 관계에 있어, 각 구성 요소 간에 물리적으로 직접 접촉되는 경우만을 뜻하는 것이 아니라, 다른 구성이 각 구성 요소 사이에 개재되어, 그 다른 구성에 구성 요소가 각각 접촉되어 있는 경우까지 포괄하는 개념으로 사용하도록 한다.
또한, 컴퓨터 프로그램과 관련하여, 구성요소에 대한 접미사 "모듈" 및/또는 "부"는 컴퓨터를 특정 기능의 수단으로 기능시키기 위한 컴퓨터 프로그램의 일부이거나, 컴퓨터에서 특정 기능을 실현시키기 위한 컴퓨터 프로그램의 일부 일 수 있다. 예를 들어, 모듈 A는 컴퓨터를 수단 A로 기능시키기 위한 컴퓨터 프로그램 또는 컴퓨터에 기능 A를 실현시키기 위한 컴퓨터 프로그램으로 해석될 수 있다. 방법으로서 "단계"는 컴퓨터에 컴퓨터 프로그램으로 구현되어 실행될 수 있다.
또한, "모듈" 및/또는 "부"가 모여 "군"을 이룰 수 있다.
한편, 애플리케이션(Application)이란 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램의 집합을 가리키는 것으로, 응용프로그램이라고도 한다. 사용자는 본 발명의 실시예에 따른 애플리케이션을 자신의 전자기기에 인스톨하는 것으로 관련 기능을 추가할 수 있다.
애플리케이션이 인스톨되는 사용자의 전자기기란 컴퓨터, 태블릿PC, 스마트폰과 같이 CPU, RAM, ROM, 저장장치 등으로 구성되고, Windows, ios, 안드로이드, 리눅스 등의 그래픽 운영체제로 전체 시스템이 제어되는 환경인 것이 바람직하며, 특히 등록된 연락처로 전화 및 문자를 주고받거나, 카메라를 구비하여 영상을 촬영할 수 있고, 촬영된 영상을 전송할 수 있는 스마트폰에 특화되었다.
또한, 본 명세서에 첨부된 도면의 순서도는 발명을 설명하기 위한 순서도에 불과하며, 컴퓨터 상에 버그 없이 완벽히 구현되기 위한 순서도일 필요는 없다.
또한, 본 명세서에서 언급된 단말기는 일반적인 사용자 단말기로서 스마트폰, 퍼스널 컴퓨터, 태블릿 PC 등이 될 수 있다.
도 1은 본 발명에 따른 무인기(10), 무선단말기(20) 및 서버(30)의 통신 연결 관계를 도식화한 것이다.
도 1을 참조하여 설명하면, 무인기 (10)와 사용자 무선단말기(20)와 착륙시스템(30)이 데이터를 주고받을 수 있다. 일반적으로 무인기는 사람이 탑승하지 않는 무인기를 일컬으나 본 발명의 실시효과는 사용자의 정확한 위치와 인식을 필요로 하는 모든 비행 이동체에 적용 가능하므로, 본 발명에 따른 무인기는 촬영수단(예: 카메라 등), 지자기 센서, 3축 가속도센서, GPS(GNSS) 등의 센서가 내장되어 위치좌표, 방위각 등의 정보를 갖는 이동수단을 통칭할 수 있다.
본 발명에 따른 사용자는 무인기에 의한 물품배송의 수취인, 다른 곳으로 물품을 배달시키기 위하여 무인기 서비스를 요청한 픽업서비스 사용자, 드론 온 디맨드 촬영 서비스를 요청한 사용자 등 무인기에 의한 서비스를 받는 모든 사용자가 될 수 있다.
일반적으로 무선 통신을 통하여 서버는 무인기 및 사용자 무선단말기와 데이터를 주고 받을 수 있으나, 반드시 무선 통신에 한정되는 것은 아니며 유선 통신을 통해 데이터를 주고 받아도 무방하다. 본 명세서에서는 데이터를 주고받는 것에 관한 기술에 대해서 그 설명을 생략한다.
서버는 무인기가 물품 배송 등의 무인기 활용 서비스를 제공하기 위한 소정의 목적을 가지고 서로 접근하는 경우, 무인기로부터 수신되는 정보를 수신한다. 여기서 무인기로부터 수신되는 정보란 무인기의 비행 관련 정보, 상태정보, 사용자 정보, 위치 정보 등이 될 수 있다.
좀 더 구체적으로, 서버는 무인기로부터 수신한 무인기 정보를 사용자 단말기로 전송한다. 또한, 서버는 무인기의 이상유무, 비행경로 파악, 사용자의상태 등에 따른 상황을 지속적으로 모니터링하며, 무인기와 사용자의 인증 시 사용자와 무인기의 상대적인 위치 정보, 고도 정보, 방위각 정보 등을 기준으로 착륙 및 가이드에 필요한 무인기의 경로조정 데이터를 계산할 수 있다. 또한, 서버는 무인기가 착륙 시 사용자의 위치 정보, 방위각 정보 등을 기준으로 착륙지점 위치를 계산하여 무인기로 전송할 수 있다.
한편, 무인기는 위치, 속도, 고도, 방위각, 베터리 상태 등을 포함하는 기체의 모든 상태 정보 및 비행 관련 정보를 지속적으로 서버로 전송한다. 또한, 무인기는 수취인 좌표에 도착한 시점에서의 고도, 방위각, 무인기 자세 등을 서버로 전송할 수 있다.
*43본 발명의 일 측면에 따르면, 상기 서버가 상기 무인기로부터 상기 무인기의 고도 정보, 위치정보, 방위정보, 가속도 정보, 각속도 정보 및 상기 무인기 이미지센서로부터 촬상된 이미지데이터 중 적어도 하나를 포함하는 무인기 상태정보를 수신하는 단계를 통하여 서버는 무인기 상태정보를 수신할 수 있다.
한편 사용자 무선단말기는 무선단말기의 위치정보, 각도, 방위각, 고각 정보 등의 데이터 및 명령을 서버로 전송한다. 또한, 사용자 무선단말기는 서버로부터 전송된 무인기 정보 및 상황을 디스플레이할 수 있다.
도 2는 서버의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도 2를 참조하면, 무인기가 서비스제공지점에 도착하는 단계(S110), 서버가 무인기의 이미지 센서가 촬상한 이미지 데이터를 수신받는 단계(S120), 서버가 수신 받은 이미지 데이터를 사용자 단말기로 전송하는 단계(S130), 서버가 사용자 무선단말기로부터 이미지데이터의 픽셀좌표를 수신하는 단계(S140), 서버가 픽셀좌표와 무인기 상태정보를 기반으로 무인기 절대좌표를 연산하는 단계(S150)를 포함한다.
본 발명의 일 측면에 따르면, 무인비행체 착륙시스템은 서버가 무선단말기로부터 무인기에 구비된 이미지센서의 이미지데이터의 픽셀좌표를 수신하는 단계, 상기 서버가 상기 무인비행체 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인비행체의 절대좌표로 변환하는 좌표변환단계, 및 상기 서버가 상기 무인비행체로 상기 절대좌표를 전송하는 단계를 포함할 수 있다.
더욱 구체적으로, 무인기는 서비스 제공을 위하여 서비스제공지로 이동한다. 서버 혹은 무인기는 무인기 센서로부터 무인기의 고도 정보, 위치정보, 방위정보, 자세정보를 지속적으로 모니터링한다. 또한, 서버 혹은 무인기는 수신받은 위치정보에 기반하여 무인기가 서비스제공지점에 도착하였는지 여부를 판단할 수 있다.
도 8은 본 발명의 일 실시 단계에 따라 무인기가 착륙지점을 촬상하는 동작을 나타낸 도면이다. 도 8을 참조하면, 이미지센서를 구비한 무인기는 서비스제공지점의 상공에서 호버링한 이미지데이터를 촬상한다.
좀 더 구체적으로, 서버 혹은 무인기는 무인기가 무선단말기를 가지고 있는 수취인에게 무인기 활용 서비스를 제공하기 위한 소정의 목적을 가지고 서비스제공지점에 도착하는 경우, 무인기가 구비된 이미지센서를 이용하여 착륙지점을 촬상하도록 할 수 있다. 이때, 이미지 데이터는 무인기가 일정한 고도를 유지하도록 호버링한 상태로 촬영수단의 렌즈가 지표면과 수평을 유지한 상태에서 촬상된다.
이미지센서란 렌즈에 의해 맺힌 광학적 이미지를 전기적 신호로 변환하는 것으로, 이미지센서는 CCD(charge coupled device, 전하 결합 소자), MOS(metal oxide semi-conductor, 금속 산화막 반도체), CMOS(complementary metal-oxide semiconductor, 상보적 금속 산화막 반도체) 등으로 구성될 수 있다. 다만, 이미지센서의 종류가 이에 제한되는 것은 아니다. 또한, 이미지는 광신호가 변환된 디지털 신호는 물론, 이러한 디지털 신호가 디스플레이 장치를 통해 가시화된 광으로 출력된 결과물까지 포함하는 광의의 개념일 수 있다.
촬상이란 이미지센서를 이용하여 광신호를 이미지데이터로 변환하는 일체의 과정을 의미한다. 좀 더 구체적으로, 이미지데이터란 정지 영상 데이터를 의미하며, 이미지센서를 통하여 촬상된 이미지를 픽셀단위로 디지털화하여 저장한 데이터를 말한다. 이미지 데이터는 압축되거나, 압축되지 않은 채로, 또는 벡터 포맷으로도 저장되고, 이미지데이터는 픽셀의 평면상 위치만을 포함한 2차 행렬, 색상 정보를 포함한 3차행렬 등으로 표현될 수 있다. 또한, 이미지데이터는 이미지 파일 포맷 형식인 ani, bmp, cal, fax, gif, hdp, img, jpe, jpec, jpg, mac, pbm, pcd, pct, pcx, pgm, png, ppm, psd, ras, tga, tif, tiff, wmf 등의 형식으로 저장될 수 있다.
본 발명의 일 측면에 따르면, 상기 서버가 상기 무인기의 방위정보, 가속도 정보, 각속도 정보 중 적어도 하나에 기초하여, 상기 이미지데이터 촬상면이 지면에 수평을 유지하고 있는지 여부를 판단하는 단계, 상기 서버가 상기 무인기로 상기 이미지데이터 촬상면이 수평을 유지하도록 제어명령을 전송하는 단계를 통하여 이미지데이터가 수평을 유지하도록 무인기를 제어할 수 있다.
또한, 무인기가 상기 무인기의 방위정보, 가속도 정보, 각속도 정보 중 적어도 하나에 기초하여 상기 이미지데이터 촬상면이 지면에 수평을 유지하고 있는지 여부를 판단하는 단계, 상기 무인기가 상기 이미지데이터 촬상면이 수평을 유지하도록 상기 무인기를 제어하는 단계를 통하여 무인기가 직접 그 자세를 제어할 수 있다.
무인기에는 무인기의 자세를 제어하기 위하여 자력계, 3축 가속도계, 3축 자이로스코프 등의 센서가 구비될 수 있다. 서버 또는 무인기는 가속도계로 측정된 가속도, 자이로스코프로 측정된 각속도를 바탕으로 무인기의 자세(Roll, Pitch)를 연산할 수 있다.
촬상면이란 필름이나 디지털 카메라의 CCD, CMOS 센서와 같이 사진기의 집광부에서 빛을 받아들이는 역할을 하는 소자의 면적을 말하는 것으로, 이미지센서 내에 피사체의 이미지가 맺히는 장소를 뜻한다. 이미지데이터 촬상면이 지표면에 수평하다는 의미는, 이미지데이터의 상이 지표면과 수평하여 이미지데이터의 어느 지점을 상하좌우로 대칭한다 하여도 실체상에서 렌즈와 촬상된 지면 사이의 거리가 동일한 것을 의미한다. 일반적인 촬영수단에서 이미지센서의 촬상면과 렌즈는 서로 수평하여 렌즈가 지면과 수평을 유지하는 것과 촬상면이 지면과 수평을 유지하는 것은 같은 의미를 가진다. 또한, 이때 지면이란 지표면을 평면이라 가정하였을 때 나타나는 가상의 평면을 의미한다.
서버 또는 무인기는 무인기의 자세정보 및 이미지데이터를 사용하여 이미지센서의 렌즈가 착륙지점과 수평을 유지한 상태로 이미지데이터가 촬상되었는지 여부를 판단한다. 서버 또는 무인기는 무인기를 제어하여 이미지데이터가 수평을 유지한 채로 촬영되도록 한다. 이미지센서의 렌즈가 착륙지점과 수평을 유지함으로써, 촬상되는 이미지데이터는 지표면과 수평하게 촬상되어 이미지데이터의 픽셀좌표를 절대좌표로 변환하는 연산과정을 단순화시킬 수 있다.
도 7은 본 발명의 일 실시 단계에 따라 사용자단말기가 무인기로 이미지데이터를 요청하는 동작을 나타낸 도면이다. 본 발명에 따른 일 실시예에 따르면, 사용자 무선단말기는 서버 혹은 무인기로 무인기가 이미지데이터를 촬상하도록 요청할 수 있다. 구체적으로, 무인기가 서비스제공지점에 도착한 경우 메시지 형태로 사용자 무선단말기로 무인기의 도착을 알릴 수 있다. 사용자는 사용자단말기를 클릭, 드래그 등의 동작의 조합으로 무인기 착륙지점의 이미지데이터 촬상을 요청할 수 있다.
도 9는 본 발명의 일 실시 단계에 따라 무인기가 사용자단말기로 직접적으로 이미지데이터를 전송하는 과정을 나타낸 도면이다.
촬상요청은 사용자 무선단말기로부터 직접적으로 혹은 서버를 경유하여 무인기로 전달될 수 있으며, 무인기는 일련의 이미지데이터 촬상과정을 통하여 이미지데이터를 촬상할 수 있다. 촬상된 이미지데이터는 무인기로부터 직접적으로 혹은 서버를 경유하여 사용자 무선단말기로 전송될 수 있다.
무인기로 직접적으로 전송할 뿐 아니라 서버가 상기 무선단말기로부터 촬상요청을 수신하는 경우, 상기 무인기에 구비된 상기 이미지센서가 상기 이미지데이터를 촬상하도록 하는 명령을 발송하는 단계, 상기 서버가 상기 무인기로부터 이미지데이터를 수신하여 상기 이미지데이터를 상기 무선단말기로 발송하는 단계를 통하여 사용자는 무인기로 이미지데이터를 요청할 수 있다.
이때, 무선단말기의 촬상요청을 받아들이기 전에 사용자 인증과정을 거칠 수 있다. 예를 들면, 인증과정은 서버가 무선단말기로부터 촬영 요청이 있는 경우, 무선단말기로 사용자인증정보를 요청하는 단계, 서버가 무선단말기로부터 사용자인증정보를 수신하는 경우 사용자인증정보에 기초하여 무선단말기의 적합여부를 판단하는 단계로 이루어질 수 있다. 또한, 이때 무선단말기, 서버, 무인기간 통신은 암호화되어 이루어져 통신의 보안성을 높일 수 있다.
촬상된 이미지데이터는 서버를 통하여 사용자단말기로 전송될 수 있다. 전송된 이미지데이터는 레스터화되어 사용자단말기에 구비된 디스플레이상에 표시된다. 디스플레이상에 표시되는 이미지 데이터는 사용자가 임의의 지점을 선택할 수 있도록 구성되며, 동시에 사용자가 내릴 명령을 클릭 등의 동작으로 선택할 수 있는 특정지점을 포함할 수 있다.
이때, 선택지점이란 지표면에 이미지센서의 렌즈가 수평하게 촬상된 이미지데이터 상에서 사용자가 선택한 지점과 대응하는 실제 지표면상의 특정 지점이라 할 수 있다. 이때 공간상 무인기에 수직한 지표면상 원점을 기준으로 한 선택지점의 좌표를 절대좌표라 한다.
좀 더 구체적으로 예를 들면, 사용자 단말기가 착륙지점의 이미지데이터를 디스플레이에 표시하고, 사용자가 이미지데이터의 임의의 지점을 터치하여 선택하는 경우, 무선단말기는 해당 선택지점의 픽셀좌표 값을 참조할 수 있다. 무선단말기는 사용자가 임의의 지점을 선택하기 전후로 다양한 방법(예: 텍스트, 음성 메시지)을 통해 사용자명령을 질의할 수 있다.
사용자는 원하는 사용자명령을 클릭 등의 조작을 통하여 선택할 수 있고, 선택된 사용자명령 및 선택지점의 픽셀좌표는 직접적으로 혹은 서버를 통하여 무인기로 전달될 수 있다. 사용자명령이란, 사용자단말기로부터 발신되어 서버를 경유하거나 혹은 직접적으로 무인기로 전달되어 무인기의 이동, 착륙 등의 동작을 제어하는 명령이 될 수 있다. 사용자명령 및 그에 따른 무인기의 이동은 이후 도 5를 참조하여 구체적으로 설명한다.
이때, 서버는 좌표변환 단계에서 상기 픽셀좌표, 상기 무인기의 고도정보, 상기 이미지센서의 화각을 변수로 사용하여, 상기 픽셀좌표를 상기 절대좌표로 변환할 수 있다.
도 4는 이미지데이터 상에서 픽셀좌표 및 선택지점을 나타낸 도면이다.
도 4를 참조하면, 픽셀좌표란 레스터화된 이미지데이터를 구성하는 기본 요소인 픽셀을 단위로 하여, 디스플레이상에 표시되는 영상에 대한 좌표를 의미한다. 또한, 영상의 중심을 원점으로 하고, 좌표계는 오른쪽 방향을 x축 증가방향, 위쪽 방향을 y축 증가방향으로 가진다. 이때 도 3을 참조하면, 픽셀좌표계의 원점을 (
Figure PCTKR2019008864-appb-I000001
,
Figure PCTKR2019008864-appb-I000002
), 이미지 데이터상 사용자가 선택지점의 픽셀좌표를 (
Figure PCTKR2019008864-appb-I000003
,
Figure PCTKR2019008864-appb-I000004
), X좌표선으로 사진 끝 부분까지의 거리를
Figure PCTKR2019008864-appb-I000005
, Y좌표선으로 사진 끝 부분까지의 거리를
Figure PCTKR2019008864-appb-I000006
로 나타낼 수 있다.
도 3은 무인기의 실제 공간상 절대좌표의 원점과 선택지점의 관계를 나타낸 도면이다.
도 3을 참조하면, 절대좌표란 무인기의 실제 위치를 원점으로 하는 2차원 지상 좌표계이다. 절대좌표계는 실체적인 길이를 기본 단위로 가진다(예: m, inch, ft). 또한, 촬영수단의 카메라 렌즈 중앙점을 지면에 수직으로 선을 그었을 때 지면과 만나는 점을 원점으로 하고, 이미지 데이터상 오른쪽 방향을 X축 증가방향, 위쪽 방향을 Y축 증가방향으로 가진다. 드론의 위치를 원점으로 하는 2차원 지상 좌표계의 원점을 (
Figure PCTKR2019008864-appb-I000007
,
Figure PCTKR2019008864-appb-I000008
), 카메라 렌즈 화각을
Figure PCTKR2019008864-appb-I000009
, 카메라 렌즈로 찍을 수 있는 X축 상의 최대 거리를
Figure PCTKR2019008864-appb-I000010
, 드론의 고도를 H로 표현할 수 있다.
이미지데이터는 렌즈가 지표면과 수평을 유지하게 촬영되어, 픽셀 좌표는 렌즈의 화각, 무인기의 고도를 변수로 하여 절대좌표로 변환될 수 있다. 구체적인 픽셀좌표와 절대좌표의 변환식은 다음과 같다.
Figure PCTKR2019008864-appb-I000011
(
Figure PCTKR2019008864-appb-I000012
: 절대좌표,
Figure PCTKR2019008864-appb-I000013
: 픽셀좌표,
Figure PCTKR2019008864-appb-I000014
: 무인기의 고도,
Figure PCTKR2019008864-appb-I000015
: 촬영 수단의 화각,
Figure PCTKR2019008864-appb-I000016
: 사진상 원점에서 X축으로 사진의 끝 부분까지의 거리(pixel 단위))
이미지데이터가 지표면과 수평을 유지한 채로 촬상된 경우, 픽셀좌표와 절대좌표 상에는 몇 가지 비례관계가 성립한다. 일단, 지표면상에서의 길이와 이미지데이터 상의 픽셀 수는 일정한 비율을 유지한다. 화각이란, 렌즈의 종류에 따른 고유한 값으로 렌즈로 촬상 가능한 범위가 렌즈 중심에 대하여 이루는 각도이다. 화각을 이용하여 이미지센서를 통하여 렌즈가 촬상 가능한 최대 영역을 구할 수 있다. 또한, 렌즈가 촬상 가능한 최대영역은 고도와 화각의 탄젠트 값을 사용하여 그 실제 길이를 구할 수 있다. 이때, 이미지데이터 상 양 끝부분은 촬상 가능한 최대영역과 일정한 비율을 유지하며, 각 길이의 비례관계를 이용하여 픽셀좌표 값을 절대좌표로 변환하는 과정은 위에 기재된 수식으로 정리될 수 있다. 하여, 무인기의 절대좌표는 무인기의 고도, 화각, 픽셀좌표를 변수로 하여 연산될 수 있다. 이때, 연산 과정은 무인기, 서버, 무선단말기 어떤 장치에 의하여도 이루어질 수 있다.
본 발명의 일 측면에 따르면, 고도는 무인기에 구비된 가속도센서, 고도계, 거리계 등의 센서 혹은 이들의 조합을 통하여 측정될 수 있다.
일반적으로 무인기의 고도측정에는 가속도센서가 사용된다. 단, 가속도센서로 측정되는 데이터는 가속도를 적분하여 고도를 계산하는 방식임으로 적분오차가 누적되며 표면고도를 정확하게 측정하기 어려운 문제점이 있다.
그 밖에 초음파, 레이저 또는 라이다(LiDAR) 기반 센서를 사용하여 무인기와 지면간 거리를 측정하는 거리계를 사용할 수 있다. 또한, GPS 위성신호의 길이를 계산하여 고도 값을 표현하는 위성 고도계를 사용할 수 있다.
또한, 복수개의 센서로부터 측정된 측정값을 조합하여 보다 정확한 고도 값을 연산할 수 있다. 예를 들면, 확장 칼만 필터를 이용하여 가속도센서, 거리계, 고도계, 이미지센서로부터 측정된 고도 데이터를 융합하여 무인기의 고도를 보다 정확하게 측정할 수 있다.
본 발명의 일 측면에 따르면 픽셀좌표를 절대좌표로 변환하는 과정은 이미지데이터에 포함된 다양한 구조물에 관한 정보를 분석하여 이루어질 수 있다. 좀 더 구체적으로, 서버가 거리별로 복수 회 촬상된 구조물데이터에서 인식점들을 추출하는 단계, 서버가 이미지데이터에서 인식점을 매칭하여 구조물을 특정하는 단계, 서버가 구조물 데이터베이스에서 특정된 구조물의 크기 정보를 참조하여 고도정보를 연산하는 단계를 포함할 수 있다.
도 6은 본 발명의 일 측면에 따른 촬상된 구조물을 사용하여 픽셀좌표를 절대좌표로 변환하는 과정을 나타낸 도면이다.
도 6을 참조하면 구조물 이용한 좌표변환 과정은 거리에 차등을 두어 수평을 유지한 채로 구조물데이터베이스를 촬상하는 단계(S310), 복수개의 구조물데이터를 분석하여 인식점을 추출하는 단계(S320), 이미지센서가 촬상한 이미지데이터와 인식점을 비교하여 구조물을 특정하는 단계(S330), 구조물 데이터베이스로부터 구조물 크기정보를 참조하여 픽셀좌표를 절대좌표로 변환하는 단계(S340)를 포함할 수 있다.
좀 더 구체적으로, 서버 또는 무인기에 구비된 구조물 데이터베이스에 구조물데이터가 저장된다. 구조물 데이터베이스란 각 구조물에 관한 일체의 구조물 정보를 저장하고 있는 데이터베이스로서, 구조물 정보에는 구조물의 재료특성, 기하형상, 크기, 길이, 이미지데이터 등에 관한 정보를 포함된다.
구조물데이터란 지표면과 수평을 유지한 상태로 구조물을 거리에 차등을 두어 촬상한 이미지로서, 서버는 구조물데이터에 기반하여 인식점을 추출한다. 이때, 인식점이란 특정 구조물을 다른 구조물과 비교하였을 때 특정 구조물은 인식할 수 있을 수 있는 특징적인 부분을 의미한다. 각각의 인식점은 인식점 추출 알고리즘을 통하여 정해질 수 있다.
예를 들면, 인식점 추출 알고리즘은 SIFT, SURF 알고리즘 등이 사용될 수 있다. SIFT, SURF 알고리즘은 인식점을 찾는 단계와 인식점을 비교하여 매칭하는 단계로 이루어져 있다. 이때 인식점은 크기와 방향에 불변할 것으로 추측되는 지점이며, 가우시안 필터(Gaussian Filter)와 DoG(Difference of Gaussian)을 이용한다. 단, 인식점을 추출하는 방법은 기재된 알고리즘으로 제한되지 않는다.
서버는 구조물데이터를 조합하여 인식점을 찾아 구조물을 인식하고, 구조물 크기에 관한 정보를 구조물 데이터베이스에서 참조할 수 있다. 이때, 참조된 구조물 크기에 관한 정보와 인식된 구조물의 픽셀 수의 비율을 이용하여 픽셀과 실제 크기 사이의 비율을 계산할 수 있고, 이를 이용하여 픽셀좌표를 절대좌표로 변환할 수 있다.
이때 구조물데이터 또한 이미지데이터와 마찬가지로 수평을 유지한 상태로 촬상 되어, 거리에 차등을 둔다 하여도 인식점 사이 거리는 각각 일정한 비율을 유지한다. 하여, 인식점 사이의 픽셀거리를 비교하고 구조물 데이터베이스에 저장된 구조물의 기하형상 및 크기정보를 참조하여 인식점 사이의 실제거리를 연산할 수 있다. 또한, 인식점 사이의 실제거리와 픽셀거리 사이의 비율을 이용하여 픽셀좌표를 절대좌표로 변환할 수 있다.
도 10의 이미지데이터에 나타나 있는 승용차를 예로 들어 설명하면, 구조물 데이터베이스에 이미지데이터에 나타난 차량의 크기, 기하학적 모양새 등에 관한 정보가 미리 저장될 수 있다. 구조물데이터베이스에는 해당 승용차를 고도를 달리하여 수평을 유지한 상태로 촬상하여 이미지 형태로 구조물데이터가 저장되어 있다. 복수개의 구조물데이터는 각각 인식점 추출 알고리즘으로 분석되어, 승용차를 인식할 수 있는 인식점이 선정된다. 선정된 인식점과 인식점 사이의 실제 길이 또한 구조물데이터베이스에 저장될 수 있다.
서버는 무인기로부터 수신한 이미지데이터와 구조물데이터베이스에 저장된 인식점을 비교 분석하여 특정 승용차가 이미지데이터 내부에 포함되었는지 판단할 수 있다. 또한, 구조물데이터베이스에 저장된 픽셀거리와 실제거리 사이의 비율, 구조물 크기 및 기하학적 형태정보를 변수로 하여 픽셀좌표를 절대좌표로 변환할 수 있다.
구조물을 이용하여 픽셀좌표를 절대좌표로 변환하는 과정은 서버를 통해서 뿐만 아니라 무선단말기, 혹은 무인기에서 자체적으로 이루어질 수 있다.
또한, 이때 이미지데이터를 사용하여 픽셀좌표를 절대좌표로 변환함에 있어 렌즈의 왜곡으로 인한 오차가 발생할 수 있다. 렌즈의 왜곡에는 볼록렌즈의 굴절률에 의한 방사왜곡(radial distortion)과 촬상수단 제조과정에서 카메라 렌즈와 이미지센서의 수평이 맞지 않거나 또는 렌즈 자체의 중심이 맞지 않아서 발생하는 접선왜곡(tangential distortion)이 있다.
렌즈계의 왜곡이 없다고 하는 경우 3차원 공간상의 한 점은 핀홀 투영(pinhole projection)에 의해 정상화된 이미지면(normalized image plane) 상의 한 점으로 투영되어 선형성을 가진다. 그러나 렌즈계의 비선형성에 의해 왜곡되며, 이러한 렌즈계 왜곡 모델 및 촬상수단 내부 파라미터를 반영하여 이미지데이터를 보정할 수 있다.
렌즈계 왜곡 모델은 다음과 같다.
Figure PCTKR2019008864-appb-I000017
(
Figure PCTKR2019008864-appb-I000018
: 방사왜곡상수,
Figure PCTKR2019008864-appb-I000019
: 접선왜곡상수, (
Figure PCTKR2019008864-appb-I000020
): 렌즈계 왜곡이 반영된 정규화된 좌표, (
Figure PCTKR2019008864-appb-I000021
): 렌즈계 비선형성에 의한 왜곡,
Figure PCTKR2019008864-appb-I000022
: 왜곡이 없을 때의 중심까지의 거리)
렌즈계 왜곡 모델을 사용하여 이미지센서에 구비된 렌즈의 방사 왜곡 상수, 접선 왜곡 상수, 초점 거리, 렌즈 중심 영상좌표를 변수로 하여 상기 이미지데이터의 왜곡을 보정하도록 할 수 있다. 이미지데이터 왜곡의 보정은 서버, 사용자단말기, 무인기 등 장치에 관계없이 이루어질 수 있다.
도 5는 본 발명의 일 측면에 따른 사용자명령 처리과정을 나타낸 도면이다.
도 5를 참조하여 설명하면, 무인기 착륙 시스템은 무인기가 도착하는 단계(S210), 사용자단말기가 이미지데이터를 수신하는 단계(S220), 사용자가 픽셀좌표 및 사용자명령을 선택하고, 사용자단말기를 통하여 서버로 전송하는 단계(S230), 서버가 픽셀좌표를 절대좌표로 변환하는 단계(S240), 서버가 사용자명령을 판단하는 단계(S250), 사용자명령이 착륙명령인 경우, 무인기가 절대좌표로 착륙하도록 무인기를 제어하는 단계(S260), 사용자명령이 이동명령인 경우, 무인기가 이동좌표로 이동하는 단계(S290), 무인기가 이미지데이터를 촬상하는 단계(S280)를 포함할 수 있다.
상기 서버가 상기 무선단말기로부터 사용자명령을 수신 받는 경우, 상기 서버가 상기 사용자명령을 무인기로 전송하는 단계를 통하여 무선단말기의 명령이 서버로 전송될 수 있도록 할 수 있다. 이때, 상기 사용자명령이 착륙명령인 경우, 상기 서버가 상기 무인기를 상기 절대좌표에 착륙하도록 제어하는 명령을 상기 무인기로 전송할 수 있고, 상기 사용자명령이 이동명령인 경우, 상기 서버가 상기 무인기를 상기 이동좌표로 이동하도록 제어하는 명령을 상기 무인기로 전송할 수도 있다.
서버는 무인기로부터 무인기 정보를 전송받는다. 무인기가 서비스제공지점에 도착한 경우 다양한 방법(예: 메시지, 음성알림 등)을 통해 사용자단말기로 무인기의 도착을 알릴 수 있다. 이때, 사용자는 사용자 단말기를 조작하여 사용자명령을 선택할 수 있다.
여기서 사용자명령이란 사용자단말기가 무인기로 직접적으로 혹은 서버를 경유하여 무인기를 조작하도록 하는 일련의 명령을 의미한다. 본 발명에서 사용자명령은 이동명령, 착륙명령 등이 될 수 있다.
사용자단말기가 무인기로부터 도착 알림을 수신한 경우 디스플레이에 사용자가 클릭 또는 드래그 등의 조작을 통하여 사용자명령을 선택할 수 있도록 버튼 등을 표시할 수 있다.
도 10은 본 발명의 일 실시 단계에 따라 사용자가 사용자단말기로부터 이동명령을 선택하는 동작을 나타낸 도면이다.
도 11은 본 발명의 일 실시 단계에 따라 사용자가 사용자단말기로부터 착륙명령을 선택하는 동작을 나타낸 도면이다.
이때, 무인기는 도착 알림과 함께 무인기의 이미지센서로 촬상한 이미지데이터를 송신할 수 있다. 도 10 및 도 11을 참조하면, 도 11과 같이 사용자는 무선단말기의 디스플레이에 표시된 이미지데이터 상에서 원하는 착륙지점이 있는 경우, 해당 지점으로 착륙하도록 착륙명령을 내릴 수 있다. 그러나 도 10과 같이 사용자가 마땅한 착륙지점이 없다 판단하는 경우 이미지데이터상 다른 지점으로 이동하여 착륙지점을 찾도록 할 수 있다. 사용자의 조작에 따라 사용자명령 및 선택지점이 특정된다. 사용자가 선택한 선택지점 및 사용자명령은 서버를 경유하여 혹은 직접적으로 서버 혹은 무인기로 전달된다.
사용자가 사용자단말기에서 착륙명령을 선택하는 경우, 서버는 착륙명령과 픽셀좌표를 수신한다. 위에서 기재한 좌표변환과정을 통하여 선택지점의 절대좌표를 연산할 수 있다. 이때 착륙명령은 좌표변환과정을 통하여 선택한 지표면상의 선택지점으로 무인기를 착륙시키는 명령이다.
도 12는 본 발명의 일 실시 단계에 따라 무인기가 절대좌표로 착륙하는 동작을 나타낸 도면이다.
도 12를 참조하면, 무인기는 지표면상 선택지점으로 착륙하는 과정에서 동일한 고도를 유지하며 이동좌표로 이동하고, 이후 쓰로틀(Throttle)을 조절하여 고도를 낮추어 무인기가 착륙하도록 제어할 수 있다. 이때, 이동좌표란 지표면을 원점으로 하는 절대좌표를 기준으로 하였을 때 무인기와 같은 고도에 있는 선택지점의 수선과 만나는 지점의 공간상 좌표를 의미한다.
또한, 사용자는 이동명령을 선택할 수 있다. 이동명령을 선택하는 경우, 서버가 무인기로 무인기가 이동좌표로 이동하도록 제어하는 명령을 보낸다. 이동명령을 수신한 경우, 무인기는 일정한 고도 상에서 이동지점으로 이동한다. 이동지점으로 이동한 이후 무인기는 무선단말기로 이동이 완료되었음을 알릴 수 있다.
또한, 무인기 이동명령이 있는 경우, 서버는 무인기가 고도를 유지하며 선택지점과 수직한 이동지점으로 이동하도록 제어한다. 무인기의 이동지점으로 이동이 완료되며, 수평을 유지하여 이미지센서를 이용하여 이미지데이터를 촬상할 수 있다.
촬상된 이미지데이터는 서버를 경유하여 사용자 무선단말기로 전송되고, 사용자는 조작을 통하여 선택지점을 특정하고, 기체의 이동명령 혹은 착륙명령을 선택하는 일련의 사용자명령 선택 과정을 반복하여 기체가 착륙할 지점을 선별할 수 있다.
이때, 착륙명령, 이동명령, 이미지데이터 등은 서버를 경유하지 않고 직접적으로 사용자단말기 혹은 무인기로 전송될 수 있으며, 이미지데이터의 픽셀좌표를 무인기의 절대좌표로 변환하는 과정 또한 서버, 무인기, 무선단말기 셋 중 어느 장치에 의하여도 이루어질 수 있다.
본 발명의 일 측면에 따르면, 사용자단말기가 무인기에 구비된 이미지센서로 촬상된 이미지데이터를 수신 받는 경우, 상기 이미지데이터를 상기 사용자단말기에 구비된 디스플레이에 표시하는 단계, 상기 사용자단말기가 상기 무인기 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계, 상기 사용자 단말기가 상기 무인기로 상기 절대좌표를 전송하는 단계를 통하여 데이터의 처리가 사용자단말기를 통하여 이루어질 수 있다.
상술된 방법 및 처리는, 예를 들어, 프로세서, 컨트롤러, 또는 다른 처리 디바이스에 의한 실행을 위한 명령들로서, 인코딩되거나, 컴팩트 디스크 판독 전용 메모리(CDROM), 자기 또는 광학 디스크, 플래시 메모리, 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM) 또는 다른 머신-판독가능 매체와 같은 머신 판독가능 또는 컴퓨터 판독가능 매체에 저장될 수도 있다.
이러한 매체는, 명령 실행가능 시스템, 장치 또는 디바이스에 의해 또는 이와 연결하여 사용하기 위한 실행가능한 명령들을 포함, 저장, 통신, 전파 또는 이동시키는 임의의 디바이스로서 구현될 수도 있다. 대안으로 또는 추가적으로, 하나 이상의 집적 회로, 또는 하나 이상의 프로세서 실행 명령들과 같은 하드웨어를 이용하여 아날로그 또는 디지털 로직으로서; 또는 API (application programming interface) 또는 DLL (Dynamic Link Library), 로컬 또는 원격 절차 호출로서 정의된 또는 공유 메모리에서 이용가능한 기능들의 소프트웨어로; 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수도 있다.
다른 구현에서, 방법은 신호 또는 전파-신호 매체로 나타내어질 수도 있다. 예를 들어, 임의의 소정의 프로그램의 로직을 구현하는 명령들은 전기, 자기, 광학, 전자기, 적외선 또는 다른 타입의 신호의 형태를 취할 수도 있다. 상술된 시스템은 광섬유 인터페이스, 안테나, 또는 다른 아날로그 또는 디지털 신호 인터페이스와 같은 통신 인터페이스에서 이러한 신호를 수신하고, 그 신호로부터 명령들을 복원하고, 이들을 머신 판독 가능 메모리에 저장하고, 그리고/또는 프로세서를 이용하여 이들을 실행시킬 수도 있다.
또한, 상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 실시예들은 여기에 설명된 방법들 중 하나가 실행되는 프로그램가능 컴퓨터 시스템으로 운영될 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 캐리어 웨이브를 포함할 수 있다. 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램이 컴퓨터 상에서 구동될 때 방법들 중 하나를 실행하기 위하여 운영된다. 프로그램 코드는 예를 들면 기계 판독가능 캐리어 상에 저장될 수 있다. 본 발명의 일실시예는 컴퓨터 프로그램이 컴퓨터 상에 구동될 때, 여기에 설명된 방법들 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램일 수 있다. 본 발명은 위에서 설명한 방법들 중 하나를 실행하기 위한 컴퓨터, 또는 프로그램가능 논리 장치를 포함할 수 있다. 위에서 설명한 방법들의 일부 또는 모든 기능을 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이, 상보성 금속 산화물 반도체 기반 논리 회로)가 사용될 수 있다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
본 발명을 통하여 무인기가 안전하고 신속하게 착륙할 수 있다.
구체적으로 사용자가 착륙 지점을 이미지데이터 형식으로 확인하고, 착륙장소를 선택하여 무인기가 보다 안전하게 착륙할 수 있다.

Claims (15)

  1. 무인기 착륙시스템에 있어서,
    서버가 무선단말기로부터 상기 무인기에 구비된 이미지센서의 이미지데이터의 픽셀좌표를 수신하는 단계;
    상기 서버가 상기 무인기의 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계; 및
    상기 서버가 상기 무인기로 상기 절대좌표를 전송하는 단계;
    를 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  2. 제1 항에 있어서,
    상기 픽셀좌표를 수신하는 단계 이전에, 상기 서버가 상기 무인기의 방위정보, 가속도 정보, 각속도 정보 중 적어도 하나에 기초하여, 상기 이미지데이터의 촬상면이 지면에 수평을 유지하고 있는지 여부를 판단하는 단계; 및
    상기 서버가 상기 무인기로 상기 이미지데이터의 촬상면이 수평을 유지하도록 하는 제어명령을 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  3. 제1 항에 있어서,
    상기 서버가 상기 무선단말기로부터 촬상 요청을 수신하는 경우, 상기 무인기에 구비된 상기 이미지센서가 상기 이미지데이터를 촬상하도록 하는 명령을 발송하는 단계; 및
    상기 서버가 상기 무인기로부터 이미지데이터를 수신하여 상기 이미지데이터를 상기 무선단말기로 발송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  4. 제1 항에 있어서,
    상기 서버가 상기 무선단말기로부터 사용자명령을 수신 받는 경우, 상기 서버가 상기 사용자명령을 무인기로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  5. 제4 항에 있어서,
    상기 사용자명령이 착륙명령인 경우, 상기 서버가 상기 무인기를 상기 절대좌표에 착륙하도록 제어하는 명령을 상기 무인기로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  6. 제4 항에 있어서,
    상기 사용자명령이 이동명령인 경우, 상기 서버가 상기 무인기를 이동좌표로 이동하도록 제어하는 명령을 상기 무인기로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  7. 제1 항에 있어서,
    상기 서버가 상기 좌표변환단계에 있어서, 상기 픽셀좌표, 상기 무인기의 고도정보, 상기 이미지센서의 화각을 변수로 사용하여, 상기 픽셀좌표를 상기 절대좌표로 변환하는 것을 특징으로 하는 무인기 착륙 시스템.
  8. 제1 항에 있어서,
    상기 서버가 상기 이미지센서에 구비된 렌즈의 방사 왜곡 상수, 접선 왜곡 상수, 초점거리, 렌즈 중심 영상좌표를 변수로 하여 상기 이미지데이터를 보정하는 것을 특징으로 하는 무인기 착륙 시스템.
  9. 제1 항에 있어서,
    상기 서버가 상기 무인기로부터 상기 무인기의 고도 정보, 위치정보, 방위정보, 가속도 정보, 각속도 정보 및 상기 무인기의 이미지센서로부터 촬상된 이미지데이터 중 적어도 하나를 포함하는 무인기 상태정보를 수신하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙시스템.
  10. 제1 항에 있어서,
    상기 좌표변환단계는,
    상기 서버가 거리별로 복수 회 촬상된 구조물데이터에서 인식점들을 추출하는 단계;
    상기 서버가 상기 이미지데이터에서 상기 인식점을 매칭하여 구조물을 특정하는 단계;
    상기 서버가 구조물 데이터베이스에서 상기 특정된 구조물의 크기 정보를 참조하여 상기 픽셀좌표를 상기 절대좌표로 변환하는 단계;
    를 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  11. 제3 항에 있어서,
    상기 서버가 상기 무선단말기로부터 촬영 요청을 수신하는 경우, 상기 무선단말기로 사용자인증정보를 요청하는 단계;
    상기 서버가 상기 무선단말기로부터 상기 사용자인증정보를 수신하는 경우 상기 사용자인증정보에 기초하여 상기 무선단말기의 적합 여부를 판단하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  12. 무인기 착륙시스템에 있어서,
    무인기가 무선단말기로부터 상기 무인기에 구비된 이미지센서의 이미지데이터의 픽셀좌표를 수신하는 단계; 및
    상기 무인기가 상기 무인기의 상태정보를 바탕으로 하여 상기 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계;
    를 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  13. 제12 항에 있어서,
    상기 무인기가 상기 무인기의 방위정보, 가속도 정보, 각속도 정보 중 적어도 하나에 기초하여, 상기 이미지데이터의 촬상면이 지면에 수평을 유지하고 있는지 여부를 판단하는 단계;
    상기 무인기가 상기 이미지데이터의 촬상면이 수평을 유지하도록 상기 무인기의 자세를 제어하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  14. 제12 항에 있어서,
    상기 픽셀좌표를 수신하는 단계 이전에, 상기 무인기가 상기 무선단말기로부터 촬상요청을 수신하는 경우, 상기 무인기에 구비된 상기 이미지센서를 통하여 상기 이미지데이터를 촬상하는 단계; 및
    상기 이미지데이터를 상기 무선단말기로 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
  15. 무인기 착륙 시스템에 있어서,
    사용자단말기가 무인기에 구비된 이미지센서로 촬상된 이미지데이터를 수신 받는 경우, 상기 이미지데이터를 상기 사용자단말기에 구비된 디스플레이에 표시하는 단계;
    상기 사용자단말기가 상기 무인기의 상태정보를 바탕으로 하여 픽셀좌표를 상기 무인기의 절대좌표로 변환하는 좌표변환단계; 및
    상기 사용자단말기가 상기 무인기로 상기 절대좌표를 전송하는 단계;
    를 포함하는 것을 특징으로 하는 무인기 착륙 시스템.
PCT/KR2019/008864 2019-02-19 2019-07-18 무인기 착륙 시스템 WO2020171315A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/413,323 US20220009630A1 (en) 2019-02-19 2019-07-18 Unmanned aerial vehicle landing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190018944A KR102235589B1 (ko) 2019-02-19 2019-02-19 무인기 착륙 시스템
KR10-2019-0018944 2019-02-19

Publications (1)

Publication Number Publication Date
WO2020171315A1 true WO2020171315A1 (ko) 2020-08-27

Family

ID=72144628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008864 WO2020171315A1 (ko) 2019-02-19 2019-07-18 무인기 착륙 시스템

Country Status (3)

Country Link
US (1) US20220009630A1 (ko)
KR (1) KR102235589B1 (ko)
WO (1) WO2020171315A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220045696A (ko) * 2020-10-06 2022-04-13 김동철 드론 및 드론 배송 방법
US20230252896A1 (en) * 2022-02-08 2023-08-10 Nullmax (Hong Kong) Limited Autonomous driving system with air support

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001133256A (ja) * 1999-11-05 2001-05-18 Asia Air Survey Co Ltd 空中写真の位置及び姿勢の計算方法
JP2006264573A (ja) * 2005-03-25 2006-10-05 Yamaha Motor Co Ltd 無人ヘリコプタ
KR20120081500A (ko) * 2011-01-11 2012-07-19 유세혁 복수개의 회전익을 가진 비행장치 및 그 제어방법
KR20130120176A (ko) * 2012-04-25 2013-11-04 한국항공우주산업 주식회사 무인 항공기의 위치 추적 방법
KR101574636B1 (ko) * 2015-07-23 2015-12-07 주식회사 지오스토리 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
KR20180027060A (ko) * 2016-09-06 2018-03-14 강인화 무인항공기 및 무인항공기의 비행방법
KR101860310B1 (ko) * 2017-07-11 2018-05-24 연세대학교 산학협력단 무인항공기가 촬영한 동영상을 이용하여 파노라마 이미지를 생성하는 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
KR20150019771A (ko) * 2013-08-16 2015-02-25 한국항공우주연구원 무인 항공기의 착륙 방법 및 시스템
US9817396B1 (en) * 2014-06-09 2017-11-14 X Development Llc Supervisory control of an unmanned aerial vehicle
US9459620B1 (en) 2014-09-29 2016-10-04 Amazon Technologies, Inc. Human interaction with unmanned aerial vehicles
KR20160058471A (ko) * 2014-11-17 2016-05-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20180025649A1 (en) * 2016-02-08 2018-01-25 Unmanned Innovation Inc. Unmanned aerial vehicle privacy controls
BR112019002084B1 (pt) * 2016-08-18 2023-01-31 Tevel Advanced Technologies Ltd Sistema e método para mapear e construir banco de dados e uso do sistema
US20190003840A1 (en) * 2016-08-30 2019-01-03 Faraday&Future Inc. Map registration point collection with mobile drone
US20210365725A1 (en) * 2017-02-01 2021-11-25 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
CN108628337A (zh) * 2017-03-21 2018-10-09 株式会社东芝 路径生成装置、路径控制系统以及路径生成方法
US11557057B2 (en) * 2017-05-04 2023-01-17 Skydio, Inc. Ground control point center determination
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
JP6743243B2 (ja) * 2018-06-05 2020-08-19 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 磁気干渉の存在下でのデータ収集およびアセット検査のためのシステムおよび方法
US11074447B1 (en) * 2018-07-13 2021-07-27 Hana Resources, Inc. Land analysis system using drone-captured data
EP3837492A1 (en) * 2018-08-21 2021-06-23 SZ DJI Technology Co., Ltd. Distance measuring method and device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001133256A (ja) * 1999-11-05 2001-05-18 Asia Air Survey Co Ltd 空中写真の位置及び姿勢の計算方法
JP2006264573A (ja) * 2005-03-25 2006-10-05 Yamaha Motor Co Ltd 無人ヘリコプタ
KR20120081500A (ko) * 2011-01-11 2012-07-19 유세혁 복수개의 회전익을 가진 비행장치 및 그 제어방법
KR20130120176A (ko) * 2012-04-25 2013-11-04 한국항공우주산업 주식회사 무인 항공기의 위치 추적 방법
KR101574636B1 (ko) * 2015-07-23 2015-12-07 주식회사 지오스토리 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
KR20180027060A (ko) * 2016-09-06 2018-03-14 강인화 무인항공기 및 무인항공기의 비행방법
KR101860310B1 (ko) * 2017-07-11 2018-05-24 연세대학교 산학협력단 무인항공기가 촬영한 동영상을 이용하여 파노라마 이미지를 생성하는 방법 및 장치

Also Published As

Publication number Publication date
KR102235589B1 (ko) 2021-04-02
KR20200100944A (ko) 2020-08-27
US20220009630A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
CN111683193B (zh) 图像处理装置
WO2017169491A1 (ja) 撮像装置及びフォーカス制御方法
WO2019198868A1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
WO2019221464A1 (en) Apparatus and method for recognizing an object in electronic device
JP6802599B1 (ja) 検査システム
WO2020171315A1 (ko) 무인기 착륙 시스템
WO2019230604A1 (ja) 検査システム
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2021158057A1 (en) Electronic device and method for displaying image at the electronic device
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
JP2018004420A (ja) 装置、移動体装置、位置ずれ検出方法及び測距方法
JP2023100642A (ja) 検査システム
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP5152281B2 (ja) 画像処理装置、方法及びプログラム
JP6681101B2 (ja) 検査システム
WO2019124728A1 (ko) 객체를 식별하기 위한 장치 및 방법
KR101807771B1 (ko) 편대비행 무인항공기를 이용한 영상취득장치
KR20190123095A (ko) 드론 기반의 전방위 열화상 이미지 처리 방법 및 이를 위한 열화상 이미지 처리 시스템
WO2021066275A1 (ko) 전자 장치 및 그 제어 방법
KR102132945B1 (ko) 무인기 착륙 유도 방법
WO2019093692A1 (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
KR20220068606A (ko) 부분 영상을 고려한 드론의 자동 착륙 알고리즘
KR102334509B1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
KR102367392B1 (ko) 무인기 착륙 유도 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915597

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915597

Country of ref document: EP

Kind code of ref document: A1