WO2019048721A1 - Procedimiento y dispositivo de navegación autónoma - Google Patents

Procedimiento y dispositivo de navegación autónoma Download PDF

Info

Publication number
WO2019048721A1
WO2019048721A1 PCT/ES2018/070563 ES2018070563W WO2019048721A1 WO 2019048721 A1 WO2019048721 A1 WO 2019048721A1 ES 2018070563 W ES2018070563 W ES 2018070563W WO 2019048721 A1 WO2019048721 A1 WO 2019048721A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
inspection
blade
lidar
reference points
Prior art date
Application number
PCT/ES2018/070563
Other languages
English (en)
French (fr)
Inventor
Pablo Francisco GHIGLINO NOVOA
Javier BARBADILLO AMOR
Francisco José COMÍN CABRERA
Oier PEÑAGARICANO MUÑOA
Original Assignee
Alerion Technologies, S.L.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alerion Technologies, S.L. filed Critical Alerion Technologies, S.L.
Priority to BR112020004609-4A priority Critical patent/BR112020004609B1/pt
Priority to US16/645,214 priority patent/US20200293045A1/en
Publication of WO2019048721A1 publication Critical patent/WO2019048721A1/es

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • the present invention relates to unmanned aerial vehicles (UAV, Unmanned Aircraft Vehicles) and remotely piloted aircraft systems (RPAS, Remotely Piloteó Aircraft Systems) commonly known as drones or unmanned aircraft, which use high performance computing, artificial vision , sensor fusion and autonomous navigation software.
  • UAV Unmanned Aircraft Vehicles
  • RPAS Remotely Piloteó Aircraft Systems
  • the present invention relates to a method and device (drone) of autonomous navigation, especially for extreme environments, which has application in the inspection of components (for example, components of a windmill or wind turbine), collection of objects, for cleaning tasks, etc.
  • components for example, components of a windmill or wind turbine
  • drones can be applied in many fields.
  • human technicians inspecting wind turbines and their components such as shovels for unmanned aerial vehicles (UAV) or remotely piloted aircraft systems (RPAS) can be substituted to avoid these highly specialized technicians a tedious and rather expensive work, as well as to prevent accidents while the technician scales for inspection tasks.
  • UAV unmanned aerial vehicles
  • RPAS remotely piloted aircraft systems
  • LiDAR Light Detection and Ranging, measurement and detection of distance by light
  • LiDAR is a lifting procedure that measures the distance to a target by illuminating that target with a pulsed laser light, and which measures the pulses reflected with a sensor.
  • LiDAR scanning sensors are widely used in industries such as surveying, 3D reconstruction and robotics. LiDAR measurements can be combined with inertial and temporal measurements for accurate 3D reconstruction of surfaces and objects. This is now being widely used in autonomous vehicles, lifting and reconstruction of objects.
  • the present invention solves the aforementioned problems and overcomes the work limitations of the state of the art set forth above by providing a stand-alone navigation procedure for a drone (UAV, RPAS) using a combination of measurements obtained by a LiDAR laser scanning device.
  • a LiDAR laser scanning device which can be either two-dimensional (2D) or three-dimensional (3D), image processing and fusion of inertial sensors.
  • An autonomous navigation device (drone) based on
  • LiDAR so that it flies exactly around a target, which is an individual object or a structure composed of multiple objects that are to be tracked (for example, a wind turbine), with the drone configured to:
  • This distance can be variable or fixed, but always a predetermined distance that is relative from the drone to the target.
  • the LiDAR and the camera are calibrated in such a way that for each image frame, the drone knows which pixels correspond to measurements of LiDAR. This allows to keep one or more objects of the target structure (for example, the wind turbine blades) always centered with respect to the drone.
  • the drone Realign the drone in case of wind disturbances, inaccurate tracking of the trajectory, or corrections. If the LiDAR measurements indicate that the structure is no longer centered with respect to the camera, the drone can realign itself by instantaneously.
  • a first aspect of the present invention relates to a method of autonomous navigation for tracking objects, comprising the following steps:
  • estimate the relative position of the drone and the detected object order the drone to reach an objective reference point that belongs to a set of reference points that determine a trajectory, defining the set of reference points based on the measured characteristics of the detected object and the estimated relative position;
  • a device implementing the autonomous navigation procedure described above.
  • the device comprises a LiDAR scanning device (2D or 3D), artificial vision sensor and processing means of an on-board computer (OBC) configured to perform the procedure described above.
  • OBC on-board computer
  • a computer program comprising computer program code means adapted to perform the steps of the described procedure, when said program is executed in processing means of a device for autonomous navigation (UAV, RPAS, usually called drone).
  • UAV autonomous navigation
  • RPAS a device for autonomous navigation
  • the wind sector is a main application context and a business opportunity with the greatest potential, but the present invention also has other applications, mainly focused on irregular or lattice structures (not a cube): CSP towers (Concentrated Solar Power, energy concentrated solar), observation towers, drop towers of amusement parks, lighthouses, radio-television towers, transmission towers, suspension bridges, ...
  • CSP towers Concentrated Solar Power, energy concentrated solar
  • observation towers Drop towers of amusement parks, lighthouses, radio-television towers, transmission towers, suspension bridges, ...
  • the present invention provides more accurate measurements related to the object to be traced by the drone since its flight can be adjusted at all times to obtain high resolution images.
  • the invention constitutes an autonomous platform for inspecting wind turbine blades, regardless of their size, geographical location and orientation. This is achieved due to the implementation and relative navigation technologies based on LiDAR and artificial vision applied to the navigation around wind turbines, and to the maintenance of the platform centered with respect to the windmill structure at all times.
  • the present invention also provides a method that is compliant and repeatable regardless of wind conditions and windmill geometry.
  • the LiDAR measurements ensure correct tracking and centering of the blades in the image that GNSS positioning and human piloting can not provide.
  • the results are repeatable and consistent with each flight, making it a reliable and manipulable procedure over time.
  • the present invention eliminates the need for human interaction, making the platform completely autonomous and performing an automatic procedure, independently of the geometry of the windmill structure.
  • the present invention considerably reduces inspection times since it allows the UAV to follow more accurately a optimal path. Without the tendency to inaccuracies of GNSS or human intervention.
  • Figure 1 shows an application context of a stand-alone navigation device for tracking a wind turbine, according to a preferred embodiment of the invention.
  • Figure 2 shows a simplified state machine of a LiDAR sensor in the autonomous navigation device for detecting the wind energy turbine.
  • Figure 3 shows the reference points of the trajectory and the altitude thresholds for the take-off and landing of the autonomous navigation device.
  • Figure 4 shows an ascending maneuver of the autonomous navigation device to save the windmill.
  • Figure 5 shows a control flow diagram of the autonomous navigation device.
  • Figure 6 shows a turning path of the autonomous navigation device.
  • Figure 7 shows an orbital rotation path of the autonomous navigation device.
  • Figure 8A shows a reactive trajectory adjustment of the autonomous navigation device when the blade is too close.
  • Figure 8B shows a reactive trajectory adjustment of the autonomous navigation device when the blade is too far away.
  • Figure 8C shows a reactive trajectory adjustment of the autonomous navigation device when the blade is not centered.
  • a preferred embodiment of the invention relates to a method of navigating a drone (1) to detect and track individual parts of a windmill (10) comprising, as shown in figure 1, the following objects that go to be tracked: the blades (1 1, 1 1 '), the mast (12) and the gondola (13). This procedure is mainly used to detect the orientation of the mill
  • the proposed method is also used to detect the end of the blades (11, 11 ') and to help make circular turns keeping a constant distance to the tip of the blades (11 1, 11').
  • the basic operation of this drone (1) is as follows:
  • the operator places the windmill blades (11, 11 ') so that a blade (1 1) of them points towards the sky as vertically as possible, creating an inverted Y shape.
  • the drone (1) is placed in front of the gondola (12) to start the inspection. -
  • the vertical blade (1 1) is inspected vertically with 90 degree turns and the other two blades (1 1 ') are inspected, first the leading edge, then the trailing edge, then the two shells, the drone (1 ) lands in the take-off position or the ground (20).
  • the drone (1) inspects the vertical blade (11) as follows:
  • the ascent in front of the mast (12) is started, while tracking the structure by distance measurements of LiDAR and continuously determining the width.
  • One and then two of the blades (11 ') is detected while ascending and the mast is tracked (12).
  • the position of the drone (1) is adjusted in such a way that it is centered with respect to the nacelle (13) and at a fixed distance.
  • a predetermined height is ascended and approaches the beginning of the third blade (11) at a fixed distance.
  • the trailing edge is traced through a line that is approximately 30 degrees below the horizontal line.
  • the drone (1) comprises at least one LiDAR sensor, which can measure the distance to a surface or several surfaces with each measurement.
  • the information provided by each LiDAR measurement from the LiDAR sensor can be used to determine the width, height and distance to several objects at the same time, and track these objects in time with successive measurements.
  • all the measurements from the LiDAR sensor whose distance is closer or further away than a threshold of interest are discarded, by means of a segmentation algorithm executed by processing means, an on-board computer, of the drone (1).
  • a filter removes isolated measurements in terms of relative distance to avoid data with noise.
  • the measurements are then grouped according to the relative distance using a threshold that is suitable for the wind turbine model.
  • connection of the blade (11, 1 1 ') with the nacelle (13) can not be considered as a single object since the nacelle (13) is several meters closer than the blade (1 1, 1 1') .
  • the threshold it is interesting to adapt the threshold to be able to segment those objects instead of obtaining a single object that can then be subjected to further processing.
  • the result of this segmentation is a series of LiDAR objects identified by the position of the samples.
  • the drone (1) applies a tracking algorithm for each detected series of segmented objects, in order to discard those objects that do not persist in time, such as noise measurements, flying objects or insects, or any other transient event. For each series of segmented objects, each object is checked against the objects currently tracked.
  • a set of attributes or characteristics is computed for this trace: if the object characteristics match any tracked object, the new position is updated and the object remains tracked; if the characteristics do not match any incoming object during several readings, then the trace is lost and the object is removed from the list. To avoid losing tracking due to LiDAR measurements with noise there is a threshold for consecutive measurements when the object is lost. This means that if an object is occluded during a couple of iterations, it will not be lost.
  • the output of the algorithm for each LiDAR scan is a series of tracked objects with identifier, characteristics and tracking status.
  • a LiDAR object is a group of LiDAR readings defined by distances and angles
  • the following characteristics are calculated: average distance, projected distance, width, height, left angle, right angle, upper angle and lower angle. These characteristics and identifier are sufficient to detect the parts of the windmill.
  • the wind turbine detection uses the tracked objects to match a search pattern based on the navigation around the wind turbines. This uses prior knowledge of the shape of the windmill and the navigation route. For example, it is known that when the drone (1) is facing the tower or the mast (12), no object can be close to the wind turbine above a certain distance from the ground (20).
  • the wind turbine detection algorithm whose state machine is shown in figure 2, to search the mast (12) starts after a height threshold to avoid vegetation and low objects and look for an object of a certain width in the central region .
  • a state machine can define navigation states and possible transitions and events. Since the LiDAR scanning device has a narrow field of view, the tracked objects do not appear as complete objects and this situation forces to adapt the navigation states to match them with partial objects in the desired positions.
  • Figure 2 presents a scheme of simplified states and transitions for configuring the drone (1) to perform detection of the windmill (10) by means of LiDAR.
  • the status of "tracking tower” is reached as soon as a centered object appears within the desired distance and width thresholds during some consecutive iterations.
  • the state machine is in this state while tracking the object or the two blades (11 '), the blades (11') not being in a vertical position but in a lower one, appear in scene.
  • the conditions for tracking are very permissive to avoid losing the object by vibration, temporary occlusions or noise readings.
  • the "detected two shovels” event triggers the transition to the status of "tracking tower and lower shovels". This event occurs when two objects appear on the left and right of the previously tracked object, that is, the tower or the mast (12). Eventually, these three objects converge on the gondola (13) in some iteration, which triggers the transition to "tracking gondola”. This state is very important because the height of the nacelle (13) is used to calculate the navigation prism. Finally, when it appears in scene a new object aligned with the gondola (13), but further away and narrower, the transition to the state of "tracking blade” is triggered. This state, which tracks the vertical blade (11), will produce a transition to "crawl point" when the end of the object is detected at the top.
  • the calibration result is a rotation matrix and a translation matrix that project the LiDAR measurements onto the image reference system. Calibration allows the LiDAR measurement to be displayed on a grayscale or 2D RGB image. This calibration provides a series of measurements with the distance, position x and y, in the image for each frame captured by the camera. This is very useful for improving artificial vision algorithms since it adds depth information to the image.
  • an artificial vision algorithm for detecting the nacelle (13) can add robustness and precision.
  • the artificial vision algorithm looks for three blades (11, 11 '), each blade can be considered a pair of parallel segments, which converge at a central point, separated by angles of 120 degrees.
  • the LiDAR results show which pixels in the image are close to the edges of the blade (11, 1 1 ').
  • the gondola (13) is detected when both LiDAR and artificial vision inform of its detection.
  • This navigation scheme assumes that the drone (1) is configured and assembled on flat terrain, within a range of 10-20 meters from the windmill mast (12) and facing approximately the same, so that it is guaranteed that the closest object detected by the LiDAR after take-off is the mast itself (12).
  • the starting location PH [0, 0, 0, 0] is defined as the current position of the drone (1) and a maneuver of automated conventional takeoff.
  • ZL maximum landing altitude threshold
  • the drone (1) If the drone (1) is horizontally farther than 10 m from the starting position PH and is not inspecting the blades (1 1 ') obliquely from below, the drone (1) will first ascend vertically to a defined altitude threshold (zs), then you will navigate horizontally to the location vertically above the starting position, and finally descend to it and land. This additional climb maneuver, as shown in Figure 4, is performed to ensure that the structure of the windmill is saved.
  • a defined altitude threshold zs
  • the altitude threshold (zs) corresponds to the sum of the height of the windmill gondola ( ⁇ ), the altitude offset from the ground (gAo) between the base (30) of the windmill mast wind and the starting location of the RPAS (PH), the radius of the gondola no / 2, not indicating the gondola diameter, the blade length (bi_) plus a safety margin of 20 meters, that is,
  • the altitude threshold (zs) of the second case described above acts in both directions, which means that if during normal operation the drone (1) reaches that altitude level, which indicates an undefined / anomalous climb behavior, it will be generated automatically that aborts causing the drone (1) to return to the starting position and land.
  • the human pilot is allowed to cancel the OBC orders of the drone (1) at any point, taking manual control of the drone (1) and causing it to land with the radio control.
  • Figure 5 shows a flow chart of the different control behaviors mentioned above for maneuvering the drone (1).
  • a scheme of the main navigation reference points is previously configured according to the position and the main dimensions of the windmill (10), as well as the shovel inspection distances desired in the narrower section of the blade (1 1, 1 1 '), that is to say the tip, and in the widest section of the blade (11, 11'), that is to say the longest cross-sectional rope line in the housings .
  • These reference points establish the initial and objective locations for each trajectory to be performed during a complete windmill inspection, with the first and last reference points corresponding to the post-takeoff and pre-landing reference points mentioned above.
  • a total of 24 reference points are defined for the scoop inspection phases, corresponding to the reference points in front of the tip and root ends of the blade for each of the four sides, ie front / attack edge, rear / outlet edge and lower / upper housings of each of the three blades (11, 11 '). Additionally, margin factors are applied of safety at gondola height ( ⁇ ) and shovel length (bi_) to obtain conservative estimates and ensure that the gondola altitude and shovel length are saved to avoid collisions.
  • the blade inspection reference points are defined radially around the axis of rotation of the nacelle (13).
  • the distance from said axis to the root inspection reference points is equal to the diameter (not) of the nacelle (13), while the distance from the axis to the tip inspection reference points is equal to the length of the inspection point.
  • shovel (bi_) Both radial distances are modified by the safety margin factors mentioned above.
  • An additional PN gondola control reference point is defined, at a preconfigured distance dn from the nacelle (13) and aligned with its axis as the entry / exit location to be visited before / after the shovel inspection phases .
  • the initial assumption is that the gondola axis is perfectly aligned with the takeoff course of the drone (1).
  • 11 ' obey several conditions of relative positioning that configure them as the corners of a trapezoidal prism, with diamonds as parallel lower / upper faces. These diamonds are unequal but their diagonals are aligned with each other, one of them being parallel to the plane containing the three-blade basal axes (11, 11 ') and the other diagonal being perpendicular to it. In the configuration in which the gondola (13) is braked, this implies that one of the diagonals is aligned with the string line of the blades, which links the front and rear edges of each cross section, while the other is perpendicular to it.
  • the initial assumption is that the top layer of all the prisms is a square with diagonals equal to twice the desired inspection distance at the tip, d-r, of the blades (11, 1 1 ').
  • its base face has a smaller diagonal with that same length and a larger diagonal with a length of twice the inspection distance desired at the root, dR, of the spade (11, 1 1 ') housings.
  • the coordinates of all these reference points are susceptible to changes in flight to take into account the actual dimensions / position of the windmill (10) or accumulated sensor errors. However, when one of those reference points is modified, the correction is propagated to the rest by satisfying a set of assumptions:
  • Cartesian corrections are made, both horizontal and altitude, of the PN gondola control reference point equally for all shovel inspection reference points, that is, the difference in Altitude or horizontal position is applied to all reference points as pure translation.
  • the course corrections at the gondola control reference point PN are propagated to all the shovel inspection reference points as rotation of the difference in course angle around the vertical axis through the mast position correction corrected ie , once the Cartesian corrections have been applied.
  • the modified reference point is the first to be visited on its corresponding lower / upper prism face, the difference in its Cartesian coordinates is applied as pure translation to the rest of the reference points belonging to the same prism face.
  • the correction is propagated so that the rhombus defined by the last two reference points visited and the course of both diamond diagonals are maintained.
  • the maneuver is divided into three stages, in which any variation of course is concentrated in a single point rotation, executed between two purely lateral translations with constant courses that cover the distance between the initial and final target reference points. This results in an initial straight path from the initial reference point (Ps) to a first intermediate reference point (P C1 ), a point turn between P C1 and a second intermediate reference point (Pc2) and a final straight path from Pc2 to the final reference point (PF), as described by equation 2 and illustrated by figure 6.
  • Orbital rotation the maneuver is executed as a continuous, uniformly variable course with which the drone (1) moves laterally, following an arc that crosses the initial and final objective reference points with its center of curvature at the intersection of the directions of the initial and final heading of the drone (1).
  • the resulting path is defined by the intersection ([XR, yp>]) of the lines defined by the horizontal coordinates and the heading angles of the initial reference point (Ps) and the final reference point (PF) and the distance from any of these reference points (Ps, PF) up to said intersection ([XR, yR]), following equation 3 as shown by figure 7.
  • the adjustment is independent of the take-off location in relation to the nacelle (13), since a single continuous turn will be sufficient to reach the correct location.
  • the adjustment maneuver may involve: o Do not make any turn if it takes off in front of the gondola
  • the desired distance from the blade (1 1, 1 1 ') can be calculated according to different criteria:
  • equation 4 o Constant image occupation, in which the portion of the image occupied by the blade (1 1, 1 1 ') is maintained according to the width of the blade detected by LiDAR and the characteristics of the camera with which the drone is equipped ( one). This is ideal for maximizing the amount of detail obtained in the narrower sections, ie the blade tip from the edges, while still obtaining a total view of the wider sections, ie the blade root from the housings.
  • the desired position is obtained according to object detections by LiDAR and windmill tracking, it is used to correct the trajectory followed by the drone (1) using one or more of three different types of settings:
  • the adjusted desired position is used to update the immediate objective of the drone (1), either the final objective of the maneuver or an intermediate objective of the trajectory, while the execution of the maneuver is continued.
  • This guarantees continuous reactive adjustment for the drone (1) to smoothly adjust to any change in trajectory desired as soon as detected by the LiDAR, as represented by continuous line trajectories in Figures 8A-8C.
  • the reactive adjustment Only if the magnitude of the error (s) of position of the drone (1) exceeds predefined thresholds, the reactive adjustment will stop the progress of the maneuver, creating an objective of ad-hoc adjustment, until the error (s) ) are returned within acceptable levels and the maneuver is resumed, as shown by the dashed line trajectories in Figures 8A-8C.
  • the blade (11) is not too far away, ie the distance error is greater than a configurable positive threshold (d F ), in order to guarantee that the image is focused and prevent excessive deviation of the desired trajectory, such as shown by Figure 8B.
  • d F a configurable positive threshold
  • the blade (11) is within the field of view of the camera, that is to say that the maximum angle of the blade detected by the LiDAR ( ⁇ ⁇ ) is smaller in absolute value than a configurable threshold ( ⁇ o), so that both edges are inside the captured image, as in figure 8C. This is achieved by making said threshold smaller than or equal to half the horizontal field of vision of the camera with which the drone (1) is equipped.
  • the adjustment can be extrapolated to adjust the final objective of the maneuver accordingly.
  • the extrapolation depends on the type of maneuver, its characteristics and its initial reference point. This type of adjustment is intended to minimize the magnitude of the reactive adjustments and the probability of overcoming maneuver stopping thresholds in the remaining part of the maneuver, thereby making the trajectory smoother and more efficient.
  • All the settings and path planning described are managed and calculated by the OBC of the drone (1). This is done according to the configuration data and cancellation remote control commands received from the user interface, ie tablet / laptop and radio control, and sensor data provided by the LiDAR camera / sensor and the autopilot. The resulting trajectory and adjustments are then sent as position / speed commands to the autopilot, which translates them into the appropriate control signals to drive the motors for the drone (1) to perform the desired movement in a stabilized manner.
  • Said orders transmitted from the OBC to the autopilot can be of two different types:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Energy (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Wind Motors (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

Un dron (1) y procedimiento de navegación autónoma para rastrear objetos, el que se usan sensores LiDAR y visión artificial del dron (1) y que comprende: detectar tanto mediante visión artificial calibrada como mediante sensores LiDAR al menos un objeto que va a rastrear el dron (1), medir mediante el sensor LiDAR un conjunto de características del objeto detectado, estimar la posición relativa del dron (1) y el objeto detectado; ordenar al dron (1) para que alcance un punto de referencia objetivo que pertenece a un conjunto de puntos de referencia que determinan una trayectoria, definiéndose el conjunto de puntos de referencia basándose en las características medidas del objeto detectado y la posición relativa estimada; una vez que se ha alcanzado el punto de referencia por el dron (1), ajustar la trayectoria redefiniendo un punto de referencia objetivo siguiente del conjunto de puntos de referencia para mantener el objeto detectado centrado en el sensor de visión artificial.

Description

PROCEDIMIENTO Y DISPOSITIVO DE NAVEGACION AUTONOMA
DESCRIPCIÓN Campo de la invención
La presente invención se refiere a vehículos aéreos no tripulados (UAV, Unmanned Aircraft Vehicles) y sistemas de aeronaves pilotadas a distancia (RPAS, Remotely Piloteó Aircraft Systems) conocidos habitualmente como drones o aeronaves no tripuladas, que usan computación de alto rendimiento, visión artificial, fusión de sensores y software de navegación autónoma.
Más particularmente, la presente invención se refiere a un procedimiento y dispositivo (dron) de navegación autónoma, especialmente para entornos extremos, que tiene aplicación en la inspección de componentes (por ejemplo, componentes de un molino de viento o turbina eólica), recogida de objetos, para tareas de limpieza, etc.
Antecedentes de la invención
Hoy en día, los drones pueden aplicarse en muchos campos. Por ejemplo, puede sustituirse a los técnicos humanos que inspeccionan turbinas eólicas y sus componentes como palas por vehículos aéreos no tripulados (UAV) o sistemas de aeronaves pilotadas a distancia (RPAS) para evitar a estos técnicos altamente especializados un trabajo tedioso y bastante costoso, así como para impedir que haya accidentes mientras el técnico escala para las tareas de inspección.
Se da a conocer un ejemplo de drones para este propósito concreto en el documento EP2527649A1 que hace referencia a un UAV para inspeccionar componentes de una turbina eólica. Se guía el UAV hasta el componente que es necesario inspeccionar, que tiene una determinada distancia predefinida entre el UAV y el componente escogido de manera que se pueden recopilar imágenes de alta resolución del componente mediante el UAV. Por tanto, se realiza la inspección con control remoto para detectar automáticamente daños en el componente basándose en las imágenes recopiladas por el UAV o los datos de imagen resultantes (por ejemplo, detectar patrones térmicos de gritas en palas de la turbina eólica). Se usan datos de GPS para el control remoto de este UAV.
Sin embargo, una detección eficaz de daños en los componentes de un molino de viento requiere obtener imágenes de alta resolución a poca distancia y, por lo tanto, requiere que el procedimiento de navegación haga que el UAV vuele en relación con la estructura, y no que use mediciones de posicionamiento absolutas tales como GNSS (GPS, GLONASS, Galileo, Beidou), referencias visuales, sistemas de captura de movimiento, u otros procedimientos.
Por otro lado, la tecnología de LiDAR (Light Detection and Ranging, medición y detección de distancia por luz) se conoce bien. LiDAR es un procedimiento de levantamiento que mide la distancia hasta un objetivo iluminando ese objetivo con una luz de láser pulsado, y que mide los pulsos reflejados con un sensor. Los sensores de exploración LiDAR se usan ampliamente en industrias tales como levantamiento topográfico, reconstrucción 3D y robótica. Pueden combinarse las mediciones de LiDAR con mediciones inerciales y temporales para una reconstrucción 3D exacta de superficies y objetos. Esto está usándose ahora ampliamente en vehículos autónomos, levantamiento y reconstrucción de objetos.
Por tanto, es altamente deseable proporcionar un procedimiento de navegación para un vehículo aéreo no tripulado que permita ajustes de trayectoria para detectar y rastrear objetos o componentes individuales de una estructura mientras navega a una distancia relativa del objeto/la estructura.
Sumario de la invención
La presente invención resuelve los problemas mencionados anteriormente y supera las limitaciones de trabajo del estado de la técnica expuestas anteriormente proporcionando un procedimiento de navegación autónoma para un dron (UAV, RPAS) que usa una combinación de mediciones obtenidas mediante un dispositivo de exploración por láser LiDAR, que puede ser o bien bidimensional (2D) o bien tridimensional (3D), procesamiento de imágenes y fusión de sensores inerciales.
Se da a conocer un dispositivo de navegación autónoma (dron) basado en
LiDAR para que vuele de manera exacta alrededor de un objetivo, que es un objeto individual o una estructura compuesta por múltiples objetos que van a rastrearse (por ejemplo, un aerogenerador), estando el dron configurado para:
- Volar a una distancia predeterminada del objetivo (por ejemplo, la estructura de molino de viento). Esta distancia puede ser variable o fija, pero siempre una distancia predeterminada que es relativa desde el dron hasta el objetivo.
Mantener el objetivo (por ejemplo, la estructura de molino de viento) centrado en la imagen grabada por la cámara del dron. El LiDAR y la cámara están calibrados de tal manera que para cada fotograma de imagen, el dron conoce qué píxeles corresponden a mediciones de LiDAR. Esto permite mantener uno o más objetos de la estructura objetivo (por ejemplo, las palas de turbina eólica) siempre centrados con respecto al dron.
Realinear el dron en caso de perturbaciones del viento, rastreo inexacto de la trayectoria, o correcciones. Si las mediciones de LiDAR indican que la estructura ya no está centrada con respecto a la cámara, el dron puede realinearse por sí mismo de manera instantánea.
Mantener la estructura centrada y a una distancia fija independientemente de la orientación de los objetos (por ejemplo, las palas del molino de viento).
Un primer aspecto de la presente invención se refiere a un procedimiento de navegación autónoma para rastrear objetos, que comprende las siguientes etapas:
calibrar un sensor de visión artificial y un sensor LiDAR proporcionado en un dron,
detectar tanto mediante visión artificial calibrada como mediante sensores LiDAR al menos un objeto que va a rastrear el dron, medir mediante el sensor LiDAR un conjunto de características del objeto detectado,
estimar la posición relativa del dron y el objeto detectado; ordenar al dron que alcance un punto de referencia objetivo que pertenece a un conjunto de puntos de referencia que determinan una trayectoria, definiéndose el conjunto de puntos de referencia basándose en las características medidas del objeto detectado y la posición relativa estimada;
una vez que se ha alcanzado el punto de referencia por el dron, ajustar la trayectoria redefiniendo un punto de referencia objetivo siguiente de entre el conjunto de puntos de referencia para mantener el objeto detectado centrado en el sensor de visión artificial.
En un segundo aspecto de la presente invención, se da a conocer un dispositivo (dron) que implementa el procedimiento de navegación autónoma descrito anteriormente. El dispositivo comprende un dispositivo de exploración LiDAR (2D o 3D), sensor de visión artificial y medios de procesamiento de un ordenador de a bordo (OBC, on-board computer) configurado para realizar el procedimiento descrito anteriormente.
En un último aspecto de la presente invención, se da a conocer un programa informático, que comprende medios de código de programa informático adaptados para realizar las etapas del procedimiento descrito, cuando se ejecuta dicho programa en medios de procesamiento de un dispositivo para navegación autónoma (UAV, RPAS, denominado habitualmente dron).
El sector eólico es un contexto de aplicación principal y una oportunidad de negocio del mayor potencial, pero la presente invención también tiene otras aplicaciones, centradas principalmente en estructuras irregulares o de enrejado (no un cubo): torres de CSP (Concentrated Solar Power, energía solar concentrada), torres de observación, torres de caída de parques de atracciones, faros, torres de radiotelevisión, torres de transmisión, puentes colgantes, ...
El dron y procedimiento de navegación autónoma según los aspectos de la invención descritos anteriormente tienen varias ventajas con respecto a la técnica anterior, que pueden resumirse de la siguiente manera:
La presente invención proporciona mediciones más exactas relacionadas con el objeto que va a rastrear el dron dado que puede ajustarse su vuelo en todo momento para obtener imágenes de alta resolución. En una aplicación particular, la invención constituye una plataforma autónoma para inspeccionar las palas de aerogeneradores, independientemente de su tamaño, ubicación geográfica y orientación. Esto se logra debido a la implementación y tecnologías de navegación relativa basadas en LiDAR y visión artificial aplicadas a la navegación alrededor de turbinas eólicas, y al mantenimiento de la plataforma centrada con respecto a la estructura de molino de viento en todo momento.
La presente invención también proporciona un procedimiento que es conforme y repetible independientemente de las condiciones del viento y la geometría del molino de viento. Las mediciones de LiDAR garantizan un rastreo y centrado correctos de las palas en la imagen que no pueden proporcionar el posicionamiento GNSS y el pilotaje humano. Los resultados son repetibles y conformes con cada vuelo, haciendo que sea un procedimiento fiable y manipulable a lo largo del tiempo.
La presente invención elimina la necesidad de interacción humana, haciendo que la plataforma sea completamente autónoma y realice un procedimiento automático, independientemente de la geometría de la estructura de molino de viento.
La presente invención reduces considerablemente los tiempos de inspección dado que permite que el UAV siga de manera más exacta un trayecto óptimo. Sin la tendencia a inexactitudes de GNSS o intervención humana.
Estas y otras ventajas resultarán evidentes a la vista de la descripción detallada de la invención.
Descripción de los dibujos
Con el propósito de ayudar a la comprensión de las características de la invención, según una realización práctica preferida de la misma y con el fin de complementar esta descripción, se adjuntan las siguientes figuras como parte integrante de la misma, que tienen un carácter ilustrativo y no limitativo:
La figura 1 muestra un contexto de aplicación de un dispositivo de navegación autónoma para rastrear un aerogenerador, según una realización preferida de la invención.
La figura 2 muestra una máquina de estados simplificados de un sensor LiDAR en el dispositivo de navegación autónoma para detectar la turbina de energía eólica.
La figura 3 muestra los puntos de referencia de la trayectoria y los umbrales de altitud para el despegue y aterrizaje del dispositivo de navegación autónoma.
La figura 4 muestra una maniobra de ascenso del dispositivo de navegación autónoma para salvar el molino de viento.
La figura 5 muestra un diagrama de flujo de control del dispositivo de navegación autónoma.
La figura 6 muestra una trayectoria de viraje del dispositivo de navegación autónoma.
La figura 7 muestra una trayectoria de giro orbital del dispositivo de navegación autónoma.
La figura 8A muestra un ajuste de trayectoria reactivo del dispositivo de navegación autónoma cuando la pala está demasiado cerca.
La figura 8B muestra un ajuste de trayectoria reactivo del dispositivo de navegación autónoma cuando la pala está demasiado lejos.
La figura 8C muestra un ajuste de trayectoria reactivo del dispositivo de navegación autónoma cuando la pala no está centrada.
Realización preferida de la invención
El contenido definido en esta descripción detallada se proporciona para ayudar a una comprensión exhaustiva de la invención. Por consiguiente, los expertos habituales en la técnica reconocerán que pueden realizarse cambios derivativos y modificaciones de las realizaciones descritas en el presente documento sin apartarse del alcance y el espíritu de la invención. Además, se omite la descripción de funciones y elementos bien conocidos para mayor claridad y concisión.
Por supuesto, las realizaciones de la invención pueden implementarse en una variedad de sistemas arquitectónicos de dispositivos de navegación autónoma o drones. Cualquier implementación o diseño arquitectónico particular presentado en el presente documento se proporciona solamente con fines de ilustración y comprensión y no se pretende que limite aspectos de la invención.
Una realización preferida de la invención se refiere a un procedimiento de navegación de un dron (1) para detectar y rastrear partes individuales de un molino (10) de viento que comprende, tal como se muestra en la figura 1 , los siguientes objetos que van a rastrearse: las palas (1 1 , 1 1'), el mástil (12) y la góndola (13). Este procedimiento se usa principalmente para detectar la orientación del molino
(10) de viento y ajustar la posición del dron (1) para que esté delante de la góndola (13) para iniciar la inspección. El procedimiento propuesto también se usa para detectar el extremo de las palas (11 , 1 1 ') y para ayudar a realizar giros circulares manteniendo una distancia constante hasta la punta de las palas (1 1 , 11 '). El funcionamiento básico de este dron (1) es el siguiente:
El operario sitúa las palas (11 , 11 ') de molino de viento de modo que una pala (1 1) de las mismas apunte hacia el cielo de manera tan vertical como sea posible, creando una forma de Y invertida.
Se sitúa el dron (1) delante de la góndola (12) para iniciar la inspección. - Se inspecciona verticalmente la pala (1 1) vertical con giros de 90 grados y se inspeccionan las otras dos palas (1 1'), en primer lugar el borde anterior, luego el borde posterior, después las dos carcasas, el dron (1) aterriza en la posición de despegue o el suelo (20). El dron (1) inspecciona la pala (11) vertical de la siguiente manera:
- Se despega y alcanza una altitud predeterminada, preferiblemente 10 metros, y se mide la distancia hasta el mástil (12) de molino de viento y la anchura de la estructura.
Se inicia el ascenso delante del mástil (12), mientras rastrea la estructura mediante mediciones de distancia de LiDAR y determina continuamente la anchura.
Se detecta una y después dos de las palas (11 ') mientras se asciende y se rastrea el mástil (12).
Se continúa ascendiendo y rastreando el mástil (12) y las palas (11 ') hasta que se unen en una estructura circular, es decir, la góndola (13) para determinar la posición y orientación del dron (1) con respecto a la góndola (13).
Se ajusta la posición del dron (1) de tal manera que esté centrado con respecto a la góndola (13) y a una distancia fija.
Se asciende una altura predeterminada y se aproxima al comienzo de la tercera pala (1 1) a una distancia fija.
Se asciende por la tercera pala (11), la más vertical, que puede estar bastante inclinada, mientras se mantiene esta pala (11) vertical centrada con respecto a la cámara del dron (1).
Se gira 90 grados en sentido antihorario en la punta de la pala (1 1) vertical para inspeccionar el otro lado.
Se desciende mientras se rastrea la pala (1 1) vertical, se ajusta la posición para mantener la cámara centrada en la pala (1 1) vertical.
Se gira 90 grados en sentido antihorario en un cuarto de círculo en la punta de la pala (11) vertical para inspeccionar el otro lado.
Se asciende mientras se rastrea la pala (1 1) vertical y se ajusta la posición para mantener la cámara centrada en la pala (11) vertical.
Se gira 90 grados en sentido antihorario en un cuarto de círculo en la punta de la pala (11) vertical para inspeccionar el otro lado.
Se desciende mientras se rastrea la pala (1 1) vertical y se ajusta la posición para mantener la cámara centrada en la pala (11) vertical.
Se gira 90 grados en sentido antihorario en un cuarto de círculo en la punta de la pala (11) vertical para inspeccionar el otro lado.
Se regresa para aterrizar sobre el suelo (20) mientras se mantiene la estructura del molino (10) de viento a una distancia de seguridad.
ron (1) inspecciona las otras dos palas (11 ') de la siguiente manera: Se rastrea el borde anterior a través de una línea que está aproximadamente 30 grados por debajo de la línea horizontal.
Se gira 180 grados para inspeccionar el borde posterior.
Se rastrea el borde posterior a través de una línea que está aproximadamente 30 grados por debajo de la línea horizontal.
Se gira 90 grados para inspeccionar la carcasa superior de la pala (11 '). Se desciende con un ángulo de 30 grados mientras se rastrea la pala (1 1·).
Se desciende hasta la carcasa inferior de la pala (11 ').
Se asciende con un ángulo de 30 grados.
Se continúa hasta el siguiente sitio y se repite el procedimiento anterior. Para rastrear objetos, el dron (1) comprende al menos un sensor LiDAR, que puede medir la distancia hasta una superficie o varias superficies con cada medición. La información proporcionada por cada medición de LiDAR procedente del sensor LiDAR puede usarse para determinar la anchura, altura y distancia hasta varios objetos al mismo tiempo, y rastrear estos objetos en el tiempo con mediciones sucesivas. En primer lugar, se descartan todas las mediciones procedentes del sensor LiDAR cuya distancia está más cerca o más lejos que un umbral de interés, mediante un algoritmo de segmentación ejecutado por medios de procesamiento, un ordenador de a bordo, del dron (1). Además, un filtro retira las mediciones aisladas en términos de distancia relativa para evitar datos con ruido. Entonces se agrupan las mediciones según la distancia relativa usando un umbral que sea adecuado para el modelo de turbina eólica. Por ejemplo, la unión de la pala (11 , 1 1') con la góndola (13) no puede considerarse un único objeto puesto que la góndola (13) está varios metros más cerca que la pala (1 1 , 1 1'). Para este caso específico, es interesante adaptar el umbral para poder segmentar esos objetos en lugar de obtener un único objeto que después puede someterse a procesamiento posterior. El resultado de esta segmentación es una serie de objetos LiDAR identificados por la posición de las muestras. Después, el dron (1) aplica un algoritmo de rastreo para cada serie detectada de objetos segmentados, con el fin de descartar aquellos objetos que no persisten en el tiempo, como mediciones con ruido, objetos volantes o insectos, o cualquier otro evento transitorio. Para cada serie de objetos segmentados, se comprueba cada objeto frente a los objetos rastreados actualmente. Para cada objeto LiDAR segmentado, se computa un conjunto de atributos o características para este rastreo: si las características de objeto coinciden con cualquier objeto rastreado, se actualiza la nueva posición y el objeto permanece rastreado; si las características no coinciden con ningún objeto entrante durante varias lecturas, entonces se pierde el rastro y se elimina el objeto de la lista. Para evitar perder el rastreo debido a mediciones de LiDAR con ruido existe un umbral para mediciones consecutivas cuando se pierde el objeto. Esto quiere decir que si se ocluye un objeto durante un par de iteraciones, este no se perderá. La salida del algoritmo para cada exploración de LiDAR es una serie de objetos rastreados con identificador, características y estado de rastreo. Considerando que un objeto de LiDAR es un grupo de lecturas de LiDAR definidas por distancias y ángulos, entonces se calculan las siguientes características: distancia media, distancia proyectada, anchura, altura, ángulo izquierdo, ángulo derecho, ángulo superior y ángulo inferior. Estas características e identificador son suficientes para detectar las partes del molino de viento. La detección de turbina eólica usa los objetos rastreados para hacer coincidir un patrón de búsqueda basándose en la navegación alrededor de las turbinas eólicas. Esto usa conocimiento previo de la forma del molino de viento y la ruta de navegación. Por ejemplo, se sabe que cuando el dron (1) está enfrentado a la torre o el mástil (12), ningún objeto puede estar cerca de la turbina eólica por encima de una determinada distancia con respecto al suelo (20). El algoritmo de detección de turbina eólica, cuya máquina de estados se muestra en la figura 2, para buscar el mástil (12) inicia después de un umbral de altura para evitar vegetación y objetos bajos y buscar un objeto de determinada anchura en la región central. Usando esta información una máquina de estados puede definir los estados de navegación y las posibles transiciones y eventos. Dado que el dispositivo de exploración de LiDAR tiene un campo de visión reducido, los objetos rastreados no aparecen como objetos completos y esta situación obliga a adaptar los estados de navegación para hacerlos coincidir con objetos parciales en las posiciones deseadas.
La figura 2 presenta un esquema de estados y transiciones simplificados para configurar el dron (1) para que realice la detección del molino (10) de viento mediante LiDAR. Se alcanza el estado de "torre de rastreo" tan pronto como aparezca un objeto centrado dentro de los umbrales de distancia y anchura deseados durante algunas iteraciones consecutivas. Aunque es un algoritmo simple, es muy robusto porque no se supone que ningún objeto esté en la zona alrededor del mástil (12). La máquina de estados está en este estado mientras se rastrea el objeto o las dos palas (11 '), no estando las palas (11 ') en una posición vertical sino en una más baja, aparecen en escena. Las condiciones para el rastreo son muy permisivas para evitar perder el objeto por vibración, oclusiones temporales o lecturas con ruido. El evento "detectadas dos palas" desencadena la transición al estado de "torre de rastreo y palas inferiores". Este evento se produce cuando aparecen dos objetos a izquierda y derecha del objeto rastreado previamente, es decir, la torre o el mástil (12). Eventualmente, esos tres objetos convergen en la góndola (13) en alguna iteración, lo que desencadena la transición a "góndola de rastreo". Este estado es muy importante porque se usa la altura de la góndola (13) para calcular el prisma de navegación. Finalmente, cuando aparece en escena un nuevo objeto alineado con la góndola (13), pero más alejado y más estrecho, se desencadena la transición al estado de "pala de rastreo". Este estado, que rastrea la pala (11) vertical, producirá una transición a "punta de rastreo" cuando se detecta en la parte superior el extremo del objeto.
Para añadir más robustez a la detección LiDAR, se aplica visión artificial combinada con navegación LiDAR. En las siguientes etapas de navegación, se repiten los mismos estados de la máquina de estados simplificados con variaciones menores. Además, se usa la información procedente de etapas previas, tal como la posición de la góndola (13). Dado que pueden calibrarse las lecturas de LiDAR para corresponder a píxeles en la cámara del dron (1), el resultado de calibración es una matriz de rotación y una matriz de traslación que proyectan las mediciones de LiDAR sobre el sistema de referencia de imagen. La calibración permite que se muestre la medición de LiDAR en una imagen en escala de grises o RGB 2D. Esta calibración proporciona una serie de mediciones con la distancia, posición x e y, en la imagen para cada fotograma captado por la cámara. Esto es muy útil para mejorar algoritmos de visión artificial dado que añade información de profundidad a la imagen. Por ejemplo, cuando se detecta la góndola (13) usando LiDAR, un algoritmo de visión artificial para detectar la góndola (13) puede añadir robustez y precisión. El algoritmo de visión artificial busca tres palas (11 , 11 '), cada pala puede considerarse un par de segmentos paralelos, que convergen en un punto central, separadas por ángulos de 120 grados. Los resultados de LiDAR muestran qué píxeles en la imagen están cerca de los bordes de la pala (11 , 1 1 '). En una realización preferida de la invención, se detecta la góndola (13) cuando tanto LiDAR como la visión artificial informan de su detección.
Aunque las capacidades de detección y rastreo de molinos de viento proporcionadas por LiDAR tal como se describió anteriormente hacen, en teoría, que la navegación sea indiferente en cuanto a las dimensiones y la posición del molino (10) de viento, se desea proporcionar una estimación inicial de la posición relativa del dron (1) y la base (30) del mástil del molino de viento, así como las dimensiones principales del molino (10) de viento. Esto es para que la navegación sea más segura y más robusta con respecto a errores de sensor de dron e incertidumbres ambientales. Todas las ubicaciones objetivo se definen como posiciones en las que se supone que el RPAS está estabilizado horizontalmente, es decir los ángulos de cabeceo y balanceo son nulos. Por tanto, los puntos de referencia correspondientes a esos objetivos P pueden definirse como una serie de cuatro elementos: las tres coordenadas cartesianas lineales (x≡ hacia delante, y≡ hacia la izquierda y z≡ hacia arriba) y el rumbo angular θ.
P= [x, y, z, e]
Este esquema de navegación supone que el dron (1) está configurado y armado sobre terreno plano, dentro de un alcance de 10-20 metros desde el mástil (12) de molino de viento y enfrentado aproximadamente al mismo, de modo que se garantiza que el objeto más cercano detectado por el LiDAR después del despegue es el propio mástil (12).
Tal como se muestra en la figura 3, tras la configuración e inicialización de la inspección, la ubicación de partida PH = [0, 0, 0, 0] se define como la posición actual del dron (1) y se ordena una maniobra de despegue convencional automatizada.
Una vez que se alcanza un umbral de altitud de despegue mínima ζτ, el ordenador de a bordo, OBC, del dron (1) toma el control e inicia las órdenes para su navegación hacia un punto de referencia inicial directamente por encima de la ubicación de partida a una altitud 3 m por encima de dicho punto de referencia inicial Ρτ = [0, 0, 0, ζτ + 3]. Una vez que se completa un vuelo de inspección nominal, el OBC ordena al dron (1) que navegue hacia un punto de referencia final PL = [0, 0, 0, ZL - 3], directamente por encima de la ubicación de partida y a una altitud 3 m inferior a un umbral de altitud de aterrizaje máxima (ZL). Una vez que se alcanza dicho umbral, se ordena una maniobra de aterrizaje convencional automatizada que tiene como objetivo la ubicación de partida y el OBC libera el control. El propósito de estos umbrales de altitud y los márgenes entre ellos y los puntos de referencia inicial/final, tal como se representan en la figura 3, es para garantizar transiciones de control seguras y robustas entre OBC y maniobras de despegue/aterrizaje automatizadas. En caso de niveles críticos de batería baja o comportamiento anómalo, el piloto humano puede abortar de manera instantánea la navegación en cualquier punto desencadenando un regreso automático a la maniobra de partida. Esta maniobra sigue uno de dos posibles comportamientos: a. Si el dron (1) está horizontalmente en un alcance de 10 m desde la posición de partida PH O está inspeccionando las carcasas de las palas (1 1') oblicuas desde abajo, el dron (1) navegará en horizontal directamente hasta la ubicación verticalmente por encima de la posición de partida, y luego descenderá hacia la misma y aterrizará.
b. Si el dron (1) está en horizontal más alejado que 10 m de la posición de partida PH y no está inspeccionando las carcasas de las palas (1 1') oblicuas desde abajo, el dron (1) ascenderá en primer lugar en vertical hasta un umbral de altitud definido (zs), luego navegará en horizontal hasta la ubicación verticalmente por encima de la posición de partida, y finalmente descenderá hacia la misma y aterrizará. Esta maniobra de ascenso adicional, tal como se muestra en la figura 4, se realiza para garantizar que se salva la estructura del molino de viento. Por tanto, el umbral de altitud (zs) corresponde a la suma de la altura de la góndola de molino de viento (ΠΗ), el desfase de altitud con respecto al suelo (gAo) entre la base (30) del mástil del molino de viento y la ubicación de partida del RPAS (PH), el radio de la góndola no/2, no que indica el diámetro de la góndola, la longitud de pala (bi_) más un margen de seguridad de 20 metros, es decir,
Figure imgf000014_0001
El umbral de altitud (zs) del segundo caso descrito anteriormente actúa en ambos sentidos, lo que significa que si durante el funcionamiento normal el dron (1) alcanza ese nivel de altitud, que indica un comportamiento de ascenso indefinido/anómalo, se generará automáticamente que se aborte haciendo que el dron (1) regrese a la posición de partida y aterrice. Además de este regreso automatizado a la maniobra de partida, se permite que el piloto humano anule las órdenes del OBC del dron (1) en cualquier punto, tomando el control manual del dron (1) y haciendo que aterrice con el radiomando.
La figura 5 muestra un diagrama de flujo de los diferentes comportamientos de control mencionados anteriormente para maniobrar el dron (1).
Tras la inicialización de la inspección dada a conocer anteriormente, se configura previamente un esquema de los puntos de referencia de navegación principales según la posición y las dimensiones principales del molino (10) de viento, así como las distancias de inspección de pala deseadas en la sección más estrecha de la pala (1 1 , 1 1'), es decir la punta, y en la sección más ancha de la pala (11 , 11 '), es decir la línea de cuerda de sección transversal más larga en las carcasas. Estos puntos de referencia establecen las ubicaciones inicial y objetivo para cada trayectoria que va a realizarse durante una inspección completa de molino de viento, correspondiendo los puntos de referencia primero y último a los puntos de referencia posteriores al despegue y anteriores al aterrizaje mencionados anteriormente. Se definen un total de 24 puntos de referencia para las fases de inspección de pala, correspondientes a los puntos de referencia delante de los extremos de punta y raíz de la pala para cada uno de los cuatro lados, es decir borde anterior/de ataque, borde posterior/de salida y carcasas inferior/superior de cada una de las tres palas (11 , 1 1'). Adicionalmente, se aplican factores de margen de seguridad a la altura de góndola (ΠΗ) y la longitud de pala (bi_) para obtener estimaciones conservadoras y garantizar que la altitud de la góndola y la longitud de la pala se salvan para evitar colisiones. Teniendo esto en cuenta, los puntos de referencia de inspección de pala se definen radialmente alrededor del eje de rotación de la góndola (13). La distancia desde dicho eje hasta los puntos de referencia de inspección de raíz es igual al diámetro (no) de la góndola (13), mientras que la distancia desde el eje hasta los puntos de referencia de inspección de punta es igual a la longitud de pala (bi_). Ambas distancias radiales se modifican mediante los factores de margen de seguridad mencionados anteriormente. Se define un punto de referencia de control de góndola adicional PN, a una distancia preconfigurada dn desde la góndola (13) y alineado con su eje como la ubicación de entrada/salida que ha de visitarse antes/después de las fases de inspección de pala. La suposición inicial es que el eje de la góndola está perfectamente alineado con el rumbo de despegue del dron (1). Los 8 puntos de referencia correspondientes a las fases de inspección de cada una de las tres de palas (1 1 ,
11 ') obedecen varias condiciones de posicionamiento relativo que los configuran como las esquinas de un prisma trapezoidal, con rombos como caras inferior/superior paralelas. Estos rombos son desiguales pero sus diagonales se alinean entre sí, siendo una de ellas paralela al plano que contiene los ejes básales de tres palas (11 , 1 1') y siendo la otra diagonal perpendicular al mismo. En la configuración en la que la góndola (13) está frenada, esto implica que una de las diagonales se alinea con la línea de cuerda de las palas, lo que vincula los bordes anterior y posterior de cada sección transversal, mientras que la otra es perpendicular a la misma. La suposición inicial es que la capa superior de todos los prismas es un cuadrado con diagonales iguales al doble de la distancia de inspección deseada en la punta, d-r, de las palas (11 , 1 1'). Por otro lado, su cara de base tiene una diagonal menor con esa misma longitud y una diagonal mayor con una longitud del doble de la distancia de inspección deseada en la raíz, dR, de las carcasas (11 , 1 1') de pala. Las coordenadas de todos estos puntos de referencia son susceptibles de modificaciones en vuelo para tener en cuenta las dimensiones/posición reales del molino (10) de viento o errores de sensor acumulados. Sin embargo, cuando se modifica uno de esos puntos de referencia, la corrección se propaga al resto satisfaciendo un conjunto de suposiciones:
Se realizan correcciones cartesianas, tanto horizontales como de altitud, del punto de referencia de control de góndola PN igualmente para todos los puntos de referencia de inspección de pala, es decir, la diferencia en altitud o posición horizontal se aplica a todos los puntos de referencia como traslación pura.
Se propagan las correcciones de rumbo en el punto de referencia de control de góndola PN a todos los puntos de referencia de inspección de pala como rotación de la diferencia en ángulo de rumbo alrededor del eje vertical que atraviesa la estimación de posición de mástil corregida es decir, una vez que se han aplicado las correcciones cartesianas.
Sólo se propagan las correcciones de la normal en puntos de referencia de inspección de pala dentro de su cara de prisma inferior/superior correspondiente, manteniendo desacopladas las modificaciones de ambos rombos. Esta propagación puede producirse de una de dos maneras:
i) Si el punto de referencia modificado es el primero que ha de visitarse en su cara de prisma inferior/superior correspondiente, la diferencia en sus coordenadas cartesianas se aplica como traslación pura al resto de puntos de referencia pertenecientes a la misma cara de prisma. ii) Si se ha visitado previamente otro punto de referencia en la misma cara de prisma superior/inferior, se propaga la corrección de modo que se mantenga el rombo definido por los últimos dos puntos de referencia visitados y el rumbo de ambas diagonales de rombo. Estos valores conocidos determinan la longitud del lado de rombo y los vectores unitarios y semiángulos internos de sus diagonales de esquina primera/segunda, de modo que pueden corregirse sus esquinas tercera y cuarta.
Se propagan las correcciones radiales en la cara de punta de cualquier prisma directamente como traslaciones puras iguales al resto de puntos de referencia pertenecientes a la misma cara de punta. Para la pala (1 1) vertical, esta traslación sólo afecta a la coordenada de altitud, mientras que para palas (1 1') oblicuas, también afecta a las coordenadas horizontales según el ángulo de rumbo de la góndola (13) y el ángulo de inclinación de pala correspondiente: aproximadamente ±120 grados con respecto al sentido hacia arriba o aproximadamente ±30 grados con respecto al plano horizontal.
transiciones entre estos puntos de referencia pueden realizarse aplicando los siguientes tipos de trayectorias:
Trayecto recto: el punto de referencia inicial (Ps) y el punto de referencia final (PF) se unen mediante una línea recta y tienen rumbos idénticos, de modo que se mantiene constante a lo largo de toda la maniobra. Las coordenadas cartesianas lineales varían de manera lineal con un parámetro de interpolación ts según los valores de coordenadas iniciales y finales, tal como se muestra en la ecuación 1 :
Figure imgf000017_0001
ecuación 1
- Viraje: la maniobra se divide en tres etapas, en las que cualquier variación de rumbo se concentra en un único giro puntual, ejecutado entre dos traslaciones puramente laterales con rumbos constantes que cubren la distancia entre los puntos de referencia objetivo inicial y final. Esto da como resultado una trayectoria recta inicial desde el punto de referencia inicial (Ps) hasta un primer punto de referencia intermedio ( PC1), un giro puntual entre PC1 y un segundo punto de referencia intermedio (Pc2) y una trayectoria recta final desde Pc2 hasta el punto de referencia final (PF), tal como se describe mediante la ecuación 2 y se ilustra mediante la figura 6.
Figure imgf000017_0002
ecuación 2
Giro orbital: se ejecuta la maniobra como un rumbo continuo, uniformemente variable con el que se traslada lateralmente el dron (1), siguiendo un arco que atraviesa los puntos de referencia objetivo inicial y final con su centro de curvatura en la intersección de las direcciones de rumbo inicial y final del dron (1). La trayectoria resultante se define por la intersección ([XR, yp>]) de las líneas definidas por las coordenadas horizontales y los ángulos de rumbo del punto de referencia inicial (Ps) y el punto de referencia final (PF) y la distancia desde cualquiera de estos puntos de referencia (Ps, PF) hasta dicha intersección ([XR, yR]) , siguiendo la ecuación 3 tal como se muestra mediante la figura 7.
Figure imgf000018_0001
ecuación 3
Las trayectorias generadas previamente determinadas por los puntos de referencia descritos anteriormente son válidas para una inspección satisfactoria únicamente en el caso de tener un perfecto conocimiento en todo momento de todas las dimensiones del molino (10) de viento, posiciones de las palas (11 , 1 1 ') y ubicación GPS del dron (1). Puesto que estas no son suposiciones alcanzables, es necesario realizar una gama de ajustes de trayectoria según las detecciones de objeto descritas y el rastreo de molino de viento mediante LiDAR, para corregir cualquier error o incertidumbre en los datos mencionados anteriormente. La naturaleza y el propósito de estos ajustes es:
Encontrar la alineación correcta con el eje de la góndola (13), es decir el rumbo normal al plano formado por las tres palas (1 1 , 1 1'), con el fin de barrer a lo largo de las carcasas y los bordes de pala de manera tan perpendicular como sea posible y poder ubicar de manera exacta cualquier daño detectado. Cuando se usan giros orbitales, el ajuste es independiente de la ubicación de despegue con relación a la góndola (13), puesto que bastará con un único giro continuo para alcanzar la ubicación correcta. Sin embargo, en el caso de virajes, tal como se describió anteriormente, la maniobra de ajuste puede implicar: o No realizar ningún giro si se despega por delante de la góndola
(13).
o Realizar un giro si se despega de manera lateral a la góndola
(13).
o Realizar dos giros si se despega desde detrás de la góndola (13). Encontrar la altura correcta de la góndola (13), es decir la altitud a la que convergen las dos palas (11 ') inferiores y el mástil (12) tal como se detectan mediante LiDAR, con el fin de evitar colisiones cuando se navega en las proximidades del saliente trasero de la góndola o sin alcanzar la raíz de las palas en la filmación de inspección. Esto puede implicar:
o Alargar el ascenso inicial, elevando gradualmente la ubicación objetivo en una cantidad fija, en aquellos casos en los que no se ha producido la detección de la góndola (13) mediante LiDAR cuando se alcanza la altitud estimada inicialmente.
o Acortar el ascenso inicial, poniendo fin de manera instantánea a la maniobra, en aquellos casos en los que ya se ha producido la detección mediante LiDAR antes de alcanzarse la altitud estimada inicialmente.
Encontrar la ubicación correcta de la punta de las palas (1 1 , 1 1 ') mediante LiDAR, es decir en el caso 3D se detecta la punta, en el caso 2D, la posición es aquella en la que ya no se detecta la pala inspeccionada, con el fin de garantizar que se capta la punta de las palas (1 1 , 11 ') en la filmación de inspección. Esto puede implicar:
o Alargar el barrido a lo largo de la pala (11 , 1 1'), aumentando gradualmente la distancia desde el inicio de la maniobra hasta la ubicación objetivo en una cantidad fija, en aquellos casos en los que no se ha producido la detección de punta mediante LiDAR cuando se alcanza el objetivo estimado inicialmente.
o Acortar el barrido a lo largo de la pala (11 , 1 1'), poniendo fin de manera instantánea a la maniobra, en aquellos casos en los que ya se ha producido la detección mediante LiDAR de la punta antes de alcanzarse el objetivo estimado inicialmente .
Mantener centradas las palas y a la distancia de inspección deseada (di) con el fin de obtener una cobertura total y filmación enfocada para una inspección de daños completa. La distancia deseada desde la pala (1 1 , 1 1') puede calcularse según diferentes criterios:
o Distancia constante, en la que la pala (1 1 , 11 ') se mantiene a la misma distancia independientemente de la altitud y el lado en inspección, como en la ecuación 4. Esto es ideal para cámaras con un campo de enfoque poco profundo y casos en los que la ocupación de imagen de la pala (1 1 , 1 1 ') no es crítica. En la ecuación 4: los símbolos 'b', 's' y 'e' indican el identificador de la pala, el lado y extremo inspeccionados, respectivamente. Los símbolos 'A', 'L', Έ' y 'U' indican los diferentes lados de una pala: borde anterior (de ataque), carcasa inferior, borde posterior de salida y carcasa superior respectivamente.
Figure imgf000019_0001
ecuación 4 o Ocupación de imagen constante, en la que la porción de la imagen ocupada por la pala (1 1 , 1 1 ') se mantiene según la anchura de la pala detectada mediante LiDAR y las características de la cámara con que está equipado el dron (1). Esto es ideal para maximizar la cantidad de detalle obtenido en las secciones más estrechas, es decir la punta de pala desde los bordes, mientras que todavía se obtiene una visión total de las secciones más anchas, es decir la raíz de pala desde las carcasas.
o Distancia interpolada, en la que la distancia se mantiene constante en los bordes de la pala (1 1 , 1 1 ') debido a su anchura aproximadamente constante pero se interpola de manera lineal con la razón de la distancia desde la ubicación actual hasta la raíz de la pala (1 1 , 1 1 ') que se inspecciona por la longitud total de la pala (1 1 , 1 1 '), calculándose rR (b, s, x, y, z) usando la ecuación 5. Las ecuaciones resultantes, mostradas en la ecuación 6, son una simplificación útil del criterio de ocupación de imagen constante mostrado anteriormente, que no garantiza una ocupación constante pero mantiene la mayor parte de sus beneficios sin necesidad de calcular explícitamente la ocupación de imagen de la pala (1 1 , 1 1 ').
Figure imgf000020_0001
ecuación 5
Figure imgf000020_0002
ecuación 6
Una vez que se obtiene la posición deseada según detecciones de objetos mediante LiDAR y rastreo de molinos de viento, se usa para corregir la trayectoria seguida por el dron (1 ) usado uno o más de tres tipos diferentes de ajustes:
Reactivo: Se usa la posición deseada ajustada para actualizar el objetivo inmediato del dron (1), ya sea el objetivo final de la maniobra o un objetivo intermedio de la trayectoria, mientras se continúa la ejecución de la maniobra. Esto garantiza el ajuste reactivo continuo para el dron (1 ) para ajustarse suavemente a cualquier cambio en la trayectoria deseada tan pronto como lo detecta el LiDAR, tal como se representa mediante trayectorias en línea continua en las figuras 8A-8C. Solamente si la magnitud del/de los error(es) de posición del dron (1) supera umbrales predefinidos, el ajuste reactivo detendrá el avance de la maniobra, creando un objetivo de ajuste ad-hoc, hasta que el/los error(es) se devuelven dentro de niveles aceptables y se reanuda la maniobra, tal como se muestra mediante las trayectorias en línea discontinua en las figuras 8A-8C. Estos umbrales garantizarán que:
o La pala (11) no está demasiado cerca, es decir el error entre la distancia de inspección deseada (di) y la distancia real Δd = d-di, a la pala (11) es menor que un umbral negativo configurable (de), para impedir el riesgo de colisión y garantizar que la imagen está enfocada, tal como se observa en la figura 8A.
o La pala (11) no está demasiado lejos, es decir el error de distancia es mayor que un umbral positivo configurable (dF), con el fin de garantizar que la imagen está enfocada e impedir una desviación excesiva de la trayectoria deseada, tal como se muestra mediante la figura 8B.
o La pala (11) está dentro del campo de visión de la cámara, es decir que el ángulo máximo de la pala detectado por el LiDAR (ΘΜ) es menor en valor absoluto que un umbral configurable (Θo), de modo que ambos bordes están dentro de la imagen captada, como en la figura 8C. Esto se logra haciendo que dicho umbral sea más pequeño que o igual a la mitad del campo de visión horizontal de la cámara con que está equipado el dron (1). Estas clases de ajustes reactivos son una gran prioridad de la estrategia de navegación, puesto que es necesaria una captura de filmación completa en la totalidad del conjunto de trayectorias de barrido de todas las palas para permitir una detección total de daños.
Predictivo: Si la posición deseada actual del dron (1) no es el objetivo final de la maniobra, sino un objetivo intermedio de la trayectoria, el ajuste puede extrapolarse para ajustar el objetivo final de la maniobra en consecuencia. La extrapolación depende del tipo de maniobra, sus características y su punto de referencia inicial. Este tipo de ajuste pretende minimizar la magnitud de los ajustes reactivos y la probabilidad de superar umbrales de detención de maniobra en la parte restante de la maniobra, haciendo por tanto que la trayectoria sea más suave y más eficaz.
Corrector: Cuando se alcanza el objetivo final de una maniobra de inspección, se realizan maniobras de ajuste específicas para mejorar la ubicación del punto de referencia correspondiente. Una vez que se completa la maniobra de ajuste, entonces se propaga de manera incremental a los puntos de referencia que aún han de visitarse. Este tipo de ajustes tienen un doble fin:
o Hacer que las ubicaciones inicial y objetivo de las maniobras restantes sean tan exactas como sea posible, con el fin de minimizar la frecuencia y magnitud de ajustes reactivos/predictivos.
o Garantizar que áreas de especial interés, es decir las raíces y puntas de las palas (1 1 , 1 1'), se captan por la filmación de la inspección con extensión y cuidado destacados.
Todos los ajustes y planificación de trayectoria descritos se gestionan y calculan por el OBC del dron (1). Esto se realiza según los datos de configuración y órdenes de control remoto de anulación recibidos desde la interfaz de usuario, es decir tableta/ordenador portátil y radiomando, y datos de sensor proporcionados por la cámara/sensor de LiDAR y el piloto automático. La trayectoria y ajustes resultantes se envían entonces como órdenes de posición/velocidad al piloto automático, que los traduce en las señales de control apropiadas para accionar los motores para el dron (1) para realizar el movimiento deseado de manera estabilizada. Dichas órdenes transmitidas desde el OBC al piloto automático pueden ser de dos tipos diferentes:
o Órdenes de posición objetivo intermedia transmitidas al piloto automático, que luego ordena que el dron (1) alcanza la posición deseada. Esto sólo es adecuado para pilotos automáticos que pueden realizar un control de posición interno. En este caso, el objetivo del piloto automático corresponde a la ubicación de trayectoria intermedia que debe alcanzar el dron (1) para avanzar hacia el objetivo final mientras rastrea de manera eficaz la trayectoria.
o Órdenes de velocidad linear y angular transmitidas al piloto automático, que controla a su vez la posición de vuelo del dron (1) para lograr las velocidades deseadas de modo estabilizado. En este caso, las posiciones objetivo intermedias del caso anterior no se transmiten directamente, sino que más bien se usan de manera interna por el OBC para calcular el error de posición del dron (1) y calcular las velocidades deseadas requeridas para corregirlo y alcanzar de manera suave esa ubicación deseada. Este tipo de órdenes centraliza los cálculos de velocidad y rastreo de trayectoria en el OBC, reduciendo la dependencia del tipo específico de piloto automático usado y mejorando el control sobre el comportamiento y rendimiento del dron (1).
Todos los flujos y conexiones de datos entre los diferentes componentes del sistema global mencionado anteriormente se representan en la figura 9.
Obsérvese que en este texto, el término "comprende" y sus derivaciones (tales como "que comprende", etc.) no deben entenderse en un sentido excluyente, es decir, no debe interpretarse que estos términos excluyen la posibilidad de que lo que se describe y define pueda incluir elementos, etapas, etc. adicionales.

Claims

REIVINDICACIONES 1 . Un procedimiento de navegación autónoma para rastrear objetos, comprendiendo el procedimiento:
calibrar un sensor de visión artificial y un sensor LiDAR proporcionado en un dron (1),
detectar tanto mediante visión artificial calibrada como mediante sensores
LiDAR al menos un objeto que va a rastrear el dron (1),
medir mediante el sensor LiDAR un conjunto de características del objeto detectado,
estando el procedimiento caracterizado porque comprende además:
estimar la posición relativa del dron (1) y el objeto detectado;
ordenar al dron (1) que alcance un punto de referencia objetivo que pertenece a un conjunto de puntos de referencia que determinan una trayectoria, definiéndose el conjunto de puntos de referencia basándose en las características medidas del objeto detectado y la posición relativa estimada;
una vez que se ha alcanzado el punto de referencia por el dron (1), ajustar la trayectoria redefiniendo un punto de referencia objetivo siguiente de entre el conjunto de puntos de referencia para mantener el objeto detectado centrado en el sensor de visión artificial.
2. El procedimiento según la reivindicación 1 , en el que el objeto detectado es una góndola (13) de un molino (10) de viento que comprende tres palas (11 , 11 ') y se determina la trayectoria mediante un punto de referencia de control de góndola, alineado con el eje de la góndola (13) y en la posición relativa estimada del dron (1) con respecto a la góndola (13), y ocho puntos de referencia de inspección de pala correspondientes a cada una de las tres palas (11 , 11 ') configurados como las esquinas de un prisma trapezoidal, con rombos como caras superior e inferior paralelas, siendo la cara superior de todos los prismas un cuadrado con diagonales iguales al doble de la distancia de inspección en la punta de las palas (11 , 1 1'), teniendo la cara de base una diagonal menor con la misma longitud y una diagonal mayor con una longitud del doble de la distancia de inspección en la raíz de las palas (11 , 11 '), y definiéndose los ocho puntos de referencia de inspección de pala radialmente alrededor del eje de rotación de la góndola (13) y manteniendo una distancia desde el eje de rotación hasta la raíz de las palas (11 , 11 ') igual al diámetro (no) de la góndola (13) medido por el sensor LiDAR y una distancia desde el eje de rotación hasta la punta de cada pala (11 , 11 ') igual a la longitud de pala (bi_) medida por el sensor LiDAR.
3. El procedimiento según la reivindicación 2, en el que ajustar la trayectoria comprende correcciones cartesianas, tanto horizontales como de altitud, del punto de referencia de control de góndola y realizadas igualmente para todos los puntos de referencia de inspección de pala como traslación.
4. El procedimiento según la reivindicación 3, en el que ajustar la trayectoria comprende, una vez que se han aplicado las correcciones cartesianas, correcciones de rumbo del punto de referencia de control de góndola y propagadas a todos los puntos de referencia de inspección de pala como rotación de la diferencia en el ángulo de rumbo alrededor del eje vertical de la góndola (13).
5. El procedimiento según cualquiera de las reivindicaciones 2-4, en el que ajustar la trayectoria comprende correcciones de la normal en puntos de referencia de inspección de pala que se propagan solamente dentro de sus caras de prisma inferior y superior correspondientes.
6. El procedimiento según cualquiera de las reivindicaciones 2-5, en el que redefinir el punto de referencia objetivo siguiente se basa en:
detectar mediante el sensor LiDAR la alineación con el eje de la góndola
(13),
detectar mediante el sensor LiDAR la altura de la góndola (13),
detectar mediante el sensor LiDAR la ubicación de la punta de cada pala
(11 , 11 '),
definir una distancia de inspección relativa basándose en la distancia de inspección en la punta de las palas (1 1 , 1 1 ') y la distancia de inspección en la raíz de las palas (11 , 1 1').
7. Dron (1) para rastrear objetos, que comprende al menos un sensor LiDAR y un sensor de visión artificial, caracterizado porque comprende además un ordenador de a bordo configurado para realizar el procedimiento según cualquiera de las reivindicaciones 1-6.
8. Producto de programa informático que comprende medios de código de programa que, cuando se cargan en un ordenador de a bordo de un dron (1), hacen que dichos medios de código de programa ejecuten el procedimiento según cualquiera de las reivindicaciones 1-6.
PCT/ES2018/070563 2017-09-06 2018-08-20 Procedimiento y dispositivo de navegación autónoma WO2019048721A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
BR112020004609-4A BR112020004609B1 (pt) 2017-09-06 2018-08-20 Drone e procedimento de navegação autônoma para rastreio de objetos
US16/645,214 US20200293045A1 (en) 2017-09-06 2018-08-20 Method and device of autonomous navigation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17382598.5 2017-09-06
EP17382598.5A EP3454159B1 (en) 2017-09-06 2017-09-06 Method and device of autonomous navigation

Publications (1)

Publication Number Publication Date
WO2019048721A1 true WO2019048721A1 (es) 2019-03-14

Family

ID=59901461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2018/070563 WO2019048721A1 (es) 2017-09-06 2018-08-20 Procedimiento y dispositivo de navegación autónoma

Country Status (9)

Country Link
US (1) US20200293045A1 (es)
EP (1) EP3454159B1 (es)
BR (1) BR112020004609B1 (es)
DK (1) DK3454159T3 (es)
ES (1) ES2778828T3 (es)
HR (1) HRP20200505T1 (es)
LT (1) LT3454159T (es)
PT (1) PT3454159T (es)
WO (1) WO2019048721A1 (es)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110282143A (zh) * 2019-06-14 2019-09-27 中国能源建设集团广东省电力设计研究院有限公司 一种海上风电场无人机巡检方法
CN110794874A (zh) * 2019-10-11 2020-02-14 东南大学 一种定位误差约束下的飞行器航迹快速规划方法
ES2796964A1 (es) * 2019-05-29 2020-11-30 Imfuture Integral Man Future Renewables S L Vehiculo aereo, procedimiento y sistema para la inspeccion de palas de aerogeneradores en movimiento
US20230305553A1 (en) * 2019-07-31 2023-09-28 Textron Innovations Inc. Navigation system with camera assist

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3850456B1 (en) * 2018-09-10 2024-05-08 Perceptual Robotics Limited Control and navigation systems, pose optimisation, mapping, and localisation techniques
GB2577134B (en) 2018-09-10 2021-01-13 Perceptual Robotics Ltd Control and navigation systems
CN111120220B (zh) * 2018-10-31 2021-05-28 北京金风科创风电设备有限公司 风力发电机组叶片视频监测的方法及系统
US11307581B2 (en) * 2019-02-28 2022-04-19 Rockwell Collins, Inc. Multispectrally enhanced synthetic vision database system and method
CN110667847B (zh) * 2019-10-17 2020-08-18 安徽省徽腾智能交通科技有限公司泗县分公司 无人机智能化飞行高度控制平台
CN111880562A (zh) * 2020-07-16 2020-11-03 河南理工大学 一种基于激光雷达的无人机仿地飞行装置
CN112483330B (zh) * 2020-11-13 2021-09-10 江苏科技大学 一种匹配在役风力机状态的无人巡检轨迹程控方法
CN112346482B (zh) * 2020-11-25 2023-03-03 中国工程物理研究院总体工程研究所 飞行航线管理方法
CN112748121B (zh) * 2020-12-31 2022-10-25 天津大学 基于水工结构表面裂缝的无人机检测方法及装置
CN112797916A (zh) * 2020-12-31 2021-05-14 新拓三维技术(深圳)有限公司 基于追踪式自动化扫描检测系统、方法及可读存储介质
CN113109852B (zh) * 2021-03-11 2024-03-12 国网江西省电力有限公司电力科学研究院 一种无人机进狭窄空间的路径规划方法及装置
KR20220128787A (ko) * 2021-03-15 2022-09-22 현대자동차주식회사 라이다 센서를 이용한 객체 추적 방법 및 장치와, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN113357082B (zh) * 2021-06-30 2024-01-02 华能国际电力股份有限公司广西清洁能源分公司 一种风电机组保护方法
CN114394236A (zh) * 2022-01-14 2022-04-26 北京华能新锐控制技术有限公司 风电叶片巡检用无人机
FR3132349A1 (fr) 2022-01-31 2023-08-04 Engie Procédé de navigation autonome d’un drone volant pour l’inspection d’une installation ou d’un ouvrage, le procédé étant basé sur la vision.
CN115294080B (zh) * 2022-08-15 2023-09-08 山东大学 一种公路裂缝自动开槽机器人及工作方法与应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2527649A1 (en) 2011-05-25 2012-11-28 Siemens Aktiengesellschaft Method to inspect components of a wind turbine
US20160017866A1 (en) * 2014-07-18 2016-01-21 General Electric Company Wind tower and wind farm inspections via unmanned aircraft systems
US20160292869A1 (en) * 2015-03-03 2016-10-06 PreNav, Inc. Scanning environments and tracking unmanned aerial vehicles
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2527649A1 (en) 2011-05-25 2012-11-28 Siemens Aktiengesellschaft Method to inspect components of a wind turbine
US20160017866A1 (en) * 2014-07-18 2016-01-21 General Electric Company Wind tower and wind farm inspections via unmanned aircraft systems
US20160292869A1 (en) * 2015-03-03 2016-10-06 PreNav, Inc. Scanning environments and tracking unmanned aerial vehicles
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2796964A1 (es) * 2019-05-29 2020-11-30 Imfuture Integral Man Future Renewables S L Vehiculo aereo, procedimiento y sistema para la inspeccion de palas de aerogeneradores en movimiento
CN110282143A (zh) * 2019-06-14 2019-09-27 中国能源建设集团广东省电力设计研究院有限公司 一种海上风电场无人机巡检方法
CN110282143B (zh) * 2019-06-14 2022-09-27 中国能源建设集团广东省电力设计研究院有限公司 一种海上风电场无人机巡检方法
US20230305553A1 (en) * 2019-07-31 2023-09-28 Textron Innovations Inc. Navigation system with camera assist
US11914362B2 (en) * 2019-07-31 2024-02-27 Textron Innovations, Inc. Navigation system with camera assist
CN110794874A (zh) * 2019-10-11 2020-02-14 东南大学 一种定位误差约束下的飞行器航迹快速规划方法

Also Published As

Publication number Publication date
US20200293045A1 (en) 2020-09-17
ES2778828T3 (es) 2020-08-12
DK3454159T3 (da) 2020-04-06
HRP20200505T1 (hr) 2020-10-02
BR112020004609B1 (pt) 2023-11-21
LT3454159T (lt) 2020-06-25
EP3454159B1 (en) 2020-01-01
PT3454159T (pt) 2020-03-11
EP3454159A1 (en) 2019-03-13
BR112020004609A2 (pt) 2020-10-13

Similar Documents

Publication Publication Date Title
ES2778828T3 (es) Procedimiento y dispositivo de navegación autónoma
ES2847234T3 (es) Disposición de control de aparato de inspección para un aparato de inspección de un aerogenerador
EP3903164B1 (en) Collision avoidance system, depth imaging system, vehicle, map generator, amd methods thereof
Schäfer et al. Multicopter unmanned aerial vehicle for automated inspection of wind turbines
CN108733079B (zh) 通过无人机对风机进行自动巡检飞行路径确定方法及系统
US20180273173A1 (en) Autonomous inspection of elongated structures using unmanned aerial vehicles
Kong et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system
WO2017065102A1 (ja) 飛行型検査装置および検査方法
KR20200031165A (ko) 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기
CN108915959B (zh) 通过无人机对风机叶尖区域绕行检测方法及系统
US20200117210A1 (en) Auto-Exploration Control of a Robotic Vehicle
US20200005655A1 (en) Method of determining a path along an object, system and method for automatically inspecting an object
CN107741229A (zh) 一种光电/雷达/惯性组合的舰载机着舰导引方法
CN109190186B (zh) 通过无人机进行风机模型自动重建方法及系统
JP2017116305A (ja) 水位測定システムおよび水位制御システム、並びに、これらを用いた水位測定方法および水位制御方法
CN102829768A (zh) 直升机航拍装置
CN106908040A (zh) 一种基于surf算法的双目全景视觉机器人自主定位方法
CN108869196B (zh) 通过无人机对风机后侧叶根区域检测方法及系统
US20230196612A1 (en) Method and system for object detection
JP7188832B1 (ja) 無人飛行体、および、風力発電設備の点検システム、並びに、風力発電設備の点検方法
CN110645960A (zh) 测距方法、地形跟随测距方法、避障测距方法及装置
CN115773209A (zh) 一种风机叶片净空检测装置及检测方法
WO2020088399A1 (zh) 信息处理装置、飞行控制方法以及飞行控制系统
JP7086554B2 (ja) 無人航空機の制御方法および無人航空機の制御用プログラム
JP7352908B2 (ja) 無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18793237

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020004609

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112020004609

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20200306

122 Ep: pct application non-entry in european phase

Ref document number: 18793237

Country of ref document: EP

Kind code of ref document: A1