WO2015059241A1 - Robot collaboratif d'inspection visuelle d'un aéronef - Google Patents

Robot collaboratif d'inspection visuelle d'un aéronef Download PDF

Info

Publication number
WO2015059241A1
WO2015059241A1 PCT/EP2014/072785 EP2014072785W WO2015059241A1 WO 2015059241 A1 WO2015059241 A1 WO 2015059241A1 EP 2014072785 W EP2014072785 W EP 2014072785W WO 2015059241 A1 WO2015059241 A1 WO 2015059241A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual inspection
robot
aircraft
anomaly
inspection
Prior art date
Application number
PCT/EP2014/072785
Other languages
English (en)
Inventor
Nicolas Colin
Frank GUIBERT
Original Assignee
Airbus Group Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Group Sas filed Critical Airbus Group Sas
Priority to US15/030,845 priority Critical patent/US9952593B2/en
Priority to EP14787189.1A priority patent/EP3060480A1/fr
Priority to CN201480068755.3A priority patent/CN105873825B/zh
Publication of WO2015059241A1 publication Critical patent/WO2015059241A1/fr

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/225—Supports, positioning or alignment in moving situation
    • G01N29/226—Handheld or portable devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/269—Various geometry objects
    • G01N2291/2694—Wings or other aircraft parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/44—End effector inspection

Definitions

  • the present invention belongs to the field of non-destructive testing of aircraft.
  • the invention relates to a collaborative robot for visually inspecting an aircraft on the ground as part of the verification or control operations and relates to an inspection method implementing such a robot.
  • the invention finds particular application in the field of control operations before the flight of an aircraft.
  • visual inspection does not implement any particular disassembly, at most the opening of doors or hatches which allows a relative speed of inspection.
  • the visual inspection is performed by a ground operator, who is for example a mechanic or a pilot of the aircraft.
  • the inspection by a ground operator is carried out following a check list, but the operator can freely inspect other elements or areas of the aircraft than those provided in the checklist, particularly if Indices lead to an interest in a particular area, which improves the detection of possible anomalies.
  • Patent application WO2012 / 047479 illustrates an example of an automated inspection device for an aircraft.
  • the inspection of the aircraft is supported by a set of fixed or mobile cameras on the ground by means of mobile robots or mobile in flight by means of flying robots that are assigned to different parts of the aircraft.
  • the display means communicate with a remote computer center which processes the received images to deduce the presence of anomaly and determines the maintenance operations to be performed.
  • the device of the invention for the visual inspection of the external surfaces of an aircraft comprises an inspection area intended to receive an aircraft and comprises at least one visual inspection robot including a flat mobile form carries a turret with display means and comprises processing means providing a guidance of the mobile platform and a processing of information received from visualization means.
  • the visual inspection device comprises a control center with a station for at least one control operator, and the processing means of the visual inspection robot are adapted to:
  • the visual inspection robot comprises means for determining at any time during an inspection the position of the visual inspection robot and the orientation of the display means in an axis system linked to the aircraft.
  • the robot is thus able to move autonomously with respect to the aircraft both for the management of its movements and for that of the areas of the aircraft to be inspected visually.
  • the robot processing means are adapted to determine the position of the robot and the orientation of the display means by an image processing of the aircraft to be inspected obtained by the display means.
  • Such a means makes it possible to readjust the position of the robot with respect to the aircraft even if the aircraft does not have an exact position with respect to the theoretical position which it should have and to correct the deviations of this position without measurement or means external to the device.
  • the visual inspection robot has absolute location means, such as a GPS receiver or laser rangefinders. pointing reference targets, and or means for integrating its movements, for example by odometry.
  • the robot is thus able to move independently of any registration on the position of the aircraft to get close to the aircraft and after registration to determine its precise position during its movements even without establishing its position continuously by direct observation of the aircraft.
  • the visual inspection device comprises all or some of the following features:
  • the processing means comprise data storage means comprising, at least temporarily, characteristics, in particular geometric and graphic, of an aircraft to be inspected.
  • the robot thus locally has the nominal characteristics of the aircraft he must inspect and vis-à-vis which he must visually identify any anomalies.
  • the processing means comprise data storage means comprising anomaly characteristics, for example in an anomaly library.
  • the robot in addition to logic engines to identify anomalies not necessarily listed, is thus able to compare any observed visual element with respect to known anomalies.
  • the processing means comprise image processing algorithms for detecting visible anomalies in the images produced by the viewing means in at least one of the wavelengths of the optical spectrum.
  • the display means comprise means of illumination in a light of the visible range and or in the field of the infrared and or in the field of the ultraviolet.
  • the display means and the processing means are configured to determine a three-dimensional shape of the exterior surfaces inspected of the aircraft. It is thus possible to identify which forms of the outer surface of the aircraft do not conform to the nominal shapes.
  • the visual inspection device comprises means of non-destructive control of the structure of the inspected aircraft.
  • the non-destructive inspection means are carried by the visual inspection robot or are worn, in whole or in part, by at least one control robot whose behavior is controlled by the visual inspection robot.
  • the visual anomaly is the index of a deeper structural anomaly and to measure non-visible damage.
  • the display means are orientable in location and in azimuth with respect to a repository of the platform of the visual inspection robot. It is thus possible to quickly scan all the outer surfaces of the aircraft visible by the robot during its movement.
  • the processing means are configured to determine the position of a fault detected on an aircraft with respect to elements of the internal structure of said aircraft, which are not visible from outside the aircraft. The consequences of the defect are thus better evaluated and the position of the defect is localized for the maintenance operators in relation to identifiable structural elements of structure.
  • the inspection robot is a robot rolling on a floor of the inspection area or moving by levitation in a volume whose footprint substantially corresponds to the inspection area.
  • a plurality of inspection robots configured to perform a visual inspection of the same aircraft is implemented. This results in a faster and, if necessary, more complete visual inspection if specialized robots to inspect certain areas are implemented.
  • the invention is also directed to a method of visually inspecting a aircraft in which images of an outer surface of the inspected aircraft are transmitted to processing means of a visual inspection robot, wherein the processing means analyzes the images to identify the presence of any visible anomalies , and wherein when a visible anomaly is detected, the detected anomaly data is transmitted to a control center and the visual inspection is interrupted, at least when the processing means identifies an abnormality belonging to a category of anomalies considered critical.
  • instructions are transmitted to the visual inspection robot by the control center for the continuation of the visual inspection, said instructions determining how the robot must continue. inspection.
  • the amplitude of a visible anomaly is calculated by the processing means from optical deformation measurement means and or by a colorimetric analysis in the visible range, and or infrared and / or ultraviolet of the light spectrum.
  • an area affected by the visible defect is subjected to non-destructive testing by the visual inspection robot or a non-destructive control robot controlled by the robot. visual inspection.
  • Figure 1 an example of a basic arrangement of the main components of a visual inspection device of an aircraft implementing a collaborative robot and a remote control center;
  • Figure 2 an example of a flowchart of the main steps of the visual inspection process implementing a collaborative robot and a remote control center.
  • a collaborative inspection robot of an aircraft 90 such as the robot 10 illustrated in FIG. 1 comprises a mobile platform 11 provided with a turret 12 carrying viewing means 13.
  • the illustrated mobile platform 11 is mounted on four wheels ensuring the stability of the platform and its displacement on the ground by the motorization of at least one of the wheels.
  • the turret 12 is secured in a lower portion of said turret of the platform 11, for example on an upper face of said platform, and the display means 13, in the illustrated example a digital camera, are integral with the turret 12 in an upper part of said turret.
  • All the mechanical links between the platform 11 and the turret 12, and between the turret 12 and the display means 13 are arranged so that a main direction of observation 131 of the display means 13 is steerable. site and in azimuth in all possible directions to aim points above the ground and advantageously also on the ground on which the robot 10 moves, if necessary taking into account the platform's displacement capabilities him providing the possibility of changing the azimuth of a line of faith 111 of said platform.
  • the turret 12 is made to modify the azimuth of the main direction of observation 131 with a limited angular amplitude, for example 180 °, the other directions being then reached by movements on the ground of the platform.
  • the orientation capabilities in site of the main direction of observation 131 is advantageously at least 90 ° between a target substantially horizontal and a substantially vertical aim upward.
  • the substantially horizontal aiming allows a downward aiming to allow the observation from above of areas that may be located under the viewing means 13, placed for example in an elevated position by means of the turret 12.
  • areas are for example parts of the ground under the aircraft likely to show signs of leakage of a fluid from the aircraft.
  • Such zones are, for example, treads of tires likely to bear signs of abnormal wear or of parts of structure that can be observed from above because of the raised position of the display means.
  • the turret 12 includes elevation means 121 of the display means for modifying the height above the ground of said display means.
  • Such elevation means 121 consist for example of an assembly of articulated arms, two or more arms, which unfold or fold by actuators, not shown, so that the height above the plate ⁇ form 11, and therefore above the ground, the upper end of the turret 12 carrying the display means 13 can be modified.
  • the display means 13 in an elementary form, consist of a camera providing images in the field of visible light and intended to be analyzed.
  • the images can be transmitted in analogue form to be processed if necessary after being converted into digital form or transmitted in digital form.
  • the display means 13 comprise illumination means 132, for example integral with the turret 12, oriented to illuminate areas to be inspected located in a field of view of said viewing means.
  • the illumination means 132 may be offset from the main viewing direction 131 of the display means 13 to create more or less grazing lights for viewing certain defects such as superficial depressions.
  • the illumination means 132 may also be arranged to produce illuminations in particular areas of the visible light spectrum, of red, green or blue color, for example, or non-visible, corresponding to particular spectral bands of the infrared or ultraviolet spectra, and are advantageously switchable between the different visible or non-visible spectral bands.
  • the spectra of the lights of the illumination means 132 are set according to the spectral sensitivities of the cameras used for the display means 13 and according to the expected behaviors of the zones inspected under the different lighting, in particular when contrast effects or fluorescence are potentially expected to visualize and / or diagnose an abnormality.
  • the display means 13 comprise particular equipment, not shown in the drawings, such as for example stereoscopic cameras and or other devices for giving a three-dimensional perception, for example by stereo-correlation techniques. , shearography, laser telemetry ...
  • the perception in three dimensions makes it possible to check the conformity and to detect the deformations of both curved surfaces and plane surfaces.
  • the mobile platform 11 is self-powered.
  • the propulsion can be carried out by thermal engines ensuring the driving of the wheels for the displacement of the mobile platform, for example by a hydrostatic transmission, and to produce a hydraulic and / or electrical power necessary for actuators useful for the movements of the turret 12 and viewing means 13.
  • Propulsion can also be achieved by electric motors powered by electrical generating means carried by the platform or by electric accumulators.
  • electric accumulators to power electric motors and electric actuators for Movements of the mobile platform 11 and the turret 12 is suitable for inspection of aircraft that is performed in an airport environment with easily infrastructure to allow recharging of the electric accumulators between two inspections or as much as necessary.
  • the collaborative robot further comprises calculation means 20 necessary for visual inspection.
  • the calculation means 20 comprise in particular acquisition means 21 for the observation data transmitted by the display means 13, processing means 22 for the said observed data, communication means 23 with a control center 50, deported by report to an area in which the collaborative robot is to perform inspections, and location means 24.
  • the various means 21, 22, 23, 24 of the calculation means 20 on board the robot 10 are advantageously means communicating with each other digitally via a communication bus of said robot.
  • the acquisition means 21 of the observation data mainly consist of digital data storage memories having sufficient capacity to keep the observation data for a period necessary for their processing in order to determine whether anomalies have been observed and if need of data preprocessing means for their exploitation.
  • the observation data are stored in memory by the robot 10 or in a remote storage center, not shown, for subsequent downloading by the robot, with reference to the aircraft on which said observation data has been established, so that the comparative processing of the observation data between two or more inspections can be performed.
  • the processing means 22 mainly comprise digital processing units, for example processors and or microcontrollers, random access memories (RAM), storage memories (ROMs, flash memories, SDRAMs, hard disks, etc.), interfaces digital or analog and communication buses between the different components of said processing means.
  • the processing means 22 comprise specialized circuits for the rapid processing of the signals transmitted by the display means, for example circuits for the processing of the signals corresponding to fixed or moving images.
  • the processing means 22 are configured to produce sequences of instructions ensuring:
  • the robot comprises the mechanical means and which appear to those skilled in the art necessary for the implementation described as an example below.
  • the collaborative robot of the invention is not a fully automated means of inspection for detecting anomalies on an aircraft 90 but a means of assistance available to an operator for performing a visual inspection.
  • the collaborative robot is particularly adapted to allow remote inspection by the operator and to provide inspection assistance for more accurate, detailed, repeatable and reliable diagnoses.
  • a collaborative robot is initialized to be able to perform the desired inspection.
  • the robot 10 receives a position 211 of the aircraft 90 to be inspected, at least one approximate position such as the number or the geographical position of a block on which the aircraft is placed, and receives the information 212 on the aircraft to be inspected, at least one type of aircraft and preferably also an identity of the aircraft.
  • the collaborative robot may be required to carry out inspections on aircraft that can be parked on different locations of a parking area, it will then be informed during the first step 210 of the location where the robot is located. 90 aircraft to inspect.
  • the collaborative robot 10 when it reaches the area in which the aircraft 90 which it is to inspect, examines the aircraft overall with its means. 13 from which examination it deduces, from a database of aircraft shapes, the type of aircraft in question.
  • the collaborative robot by processing the images acquired during this step, detects the registration of the aircraft and by consulting a database of registered aircraft verifies that the type of aircraft bearing said registration corresponds to the type identified by the analysis of the shape of the aircraft.
  • the information on the aircraft 90 obtained during the first step 210 and during the second step 220 are compared during a third step 230 to check the consistency of the data transmitted by the control center. to detect any inconsistency as soon as possible.
  • Any anomaly or inconsistency detected during the third step is immediately reported by the collaborative robot to an operator responsible for the inspection who will decide on the arrangements to be made: stop the inspection by the robot in order to correct information on the type and identify the aircraft, send the robot orders to obtain additional visual data before making a decision, give the collaborative robot instructions to continue the inspection by ignoring certain inconsistencies detected, if necessary by also requesting a intervention by an operator to carry out an on-site analysis and remove the doubt.
  • a fourth step 240 which fourth step can be carried out in the previous steps on the basis of the instructions received by the collaborative robot, said collaborative robot downloads the data necessary for the inspection to be performed, in the case at least where it does not have all the said data in its internal storage memories.
  • Said data comprise, for example, an inspection circuit to be carried out determined by a nominal trajectory, lists of operations to be performed under the aircraft type inspection, lists of inspection operations to be performed. for the particular aircraft, for example, based on previous observations on the same or other aircraft of the same type
  • said data at least for some of them, are acquired by the collaborative robot by learning, for example during inspections carried out in remote-controlled mode, and are completed during successive inspections to improve future detection of anomalies that have been detected.
  • the said data also include the characteristics of the aircraft, nominal geometrical characteristics, colors and patterns painted on the aircraft, positions and types of hatches, locks, probes ... to be verified during the visual inspection, anomalies known, for example detected during previous inspections ...
  • the collaborative robot will perform the visual inspection operations following the inspection circuit while moving on the ground near the aircraft 90.
  • the collaborative robot will continuously determine its position in a reference frame linked to the aircraft being inspected, for example an OX-OY landmark whose trace corresponds to a longitudinal X axis of the aircraft. the aircraft and a transverse Y axis of the aircraft.
  • the collaborative robot uses conventional techniques, for example the recognition of bitters constituted by characteristic forms or subassemblies of the aircraft, data which are advantageously coupled to geolocation information, for example by GPS. , by laser telemetry or other localization devices, and odometry techniques to integrate the movements of said robot, the various techniques being advantageously hybridized to make accurate estimates of the position and orientation of the robot in the OX-mark.
  • OY typically about one centimeter or less in position and one minute or less in orientation.
  • the collaborative robot 10 is called upon to operate on a substantially flat and horizontal surface of an aircraft parking area of an airport facility, where appropriate the location techniques used ensure the determination of a relative position. in height of the robot by report to the aircraft.
  • the robot 10 following the instructions stored in a program of the processing means, will move along a path allowing it to visualize all the points of the aircraft to be inspected.
  • the robot 10 generally follows a predetermined trajectory 91 on the ground.
  • the robot 253 detects any obstacles, for example by optical means and or by specific sensors, for example by ultrasonic emission sensors and where appropriate deviates from the predetermined trajectory. performing the necessary movements to circumvent the obstacle (s) and to ensure that visual inspection of all areas to be inspected is properly performed.
  • a detected obstacle is reported 254 to the operator responsible for the inspection as a potential anomaly that must be addressed before the aircraft 90 leaves the parking spot.
  • the robot To perform the visual inspection, the robot according to its position and its estimated orientation in the OX-OY mark positions and directs the display means so that images of the zones of the aircraft to be inspected are taken and transmitted. to the processing means 22.
  • the images are made continuously during the movements of the robot and its stops so as to visualize areas of the aircraft that can be observed from the ground given the possibilities of orientation and elevation over the soil of the visualization means 13.
  • the processing means 22 perform a processing of the received images 256 to identify any type of anomaly resulting in identifiable characteristics in the images. For example, such characteristics correspond to geometrical and or contrasts and or colorimetric singularities, singularities that can be observed in one or in different illumination spectra, the robot switches the illumination spectra during the positioning and orientation step 255.
  • the robot 10 selects a given spectrum of illumination means 132 according to the types of anomalies sought in an area being inspected or according to the facies of a detected anomaly, for example in white light. , to establish a diagnosis.
  • the spectrum of illumination is for example in the field of visible light, in white light or in a particular color of the visible spectrum, or in the infrared or ultraviolet range, for example to identify areas having particular fluorescences.
  • Such fluorescence properties may be the direct trace of an anomaly such as, for example, leakage of a liquid, such as fuel, hydraulic fluid or the like, leaving a visible trace on an outer surface of the aircraft and or on the ground. They may be for example the sign of an aircraft electrically charged by electrostatic charges, by the presence of corona discharges perceptible at static fuselage unloaders or wings.
  • markers can also be the result of markers revealed by particular conditions for example following exposure to abnormal heat or shock.
  • markers consist, for example, of paints whose spectral properties are modified by exposure to heat or by paints comprising microspheres filled with a fluid that becomes visible when illuminated by wavelength light. particular and whose fluid is dispersed during a mechanical impact on a structure covered with such paint.
  • the image processing is carried out, in addition to the detection by developers such as those mentioned above, to detect abnormal shapes or changes of shape between successive inspections, or dissymmetries of forms between nominally symmetrical areas of the aircraft, for example bulges or depressions, such changes of shapes being interpreted in general as anomalies of the structure.
  • the processing means 22 perform an analysis of the images transmitted by the display means 13 by analogy with virtual representations of the observed areas, in particular of elements located on these particular areas, kept in memory.
  • the virtual representations are, for example, three-dimensional views or digital representations that make it possible to place a virtual representation in the position, orientation and distance, under which the actual particular zone is observed by the visualization means 13 in order to carry out a treatment. digital comparison of the real element with its virtual representation.
  • anomalies of greater or lesser dimensions can be sought according to criteria established in advance, the display means 13 being advantageously provided with magnification means, for example of the optical zoom type, to perform the search for small size defect.
  • the particular zones are for example zones comprising a door or a inspection hatch, or engine hoods whose closure and the position of the locking devices must be verified.
  • the particular zones are, for example, zones comprising visible equipment such as an incidence probe, a total aerodynamic pressure tap, a static pressure tap, a frost detector, an antenna, a drain or any other type of can be damaged, for example twisted or torn off, or closed, for example by pit caches
  • the collaborative robot transmits to the command center 50 supervised by an officer of the inspection of the aircraft reports inspection.
  • the robot 10 does not detect any anomaly 258 in an inspected area, it transmits information of absence of detected anomaly, for example being translated in the control center by a "green light" and information of progress of the inspection can be displayed on a screen 51 of the control center 50 to be followed. If the robot detects an anomaly 259, it retransmits an alert to the command center 50, which alert is accompanied by images of the visual observation of the area that occurred at the detection of the anomaly with a diagnosis or a list of diagnostics possible according to their probabilities given the typology of the anomaly treated by the robot 10.
  • said collaborative robot In a case where the collaborative robot identifies an anomaly associated with a high probability that the anomaly is affecting the security, said collaborative robot interrupts the inspection and transmits to the control center 50 an abnormality detection report with the message. warning and a warning "red warning", an intervention on the aircraft being in this case necessary a priori.
  • the collaborative robot 10 In the case where the collaborative robot 10 identifies an anomaly for which said collaborative robot is not able to make a diagnosis, if not with a high uncertainty on the consequences of the anomaly, said collaborative robot transmits the alert message with an "orange" alarm (caution) and goes into a standby condition and in a remote mode 262 in which he waits for instructions from the operator responsible for the inspection.
  • the operator can, after examining the images and data transmitted by the collaborative robot, decide either:
  • Remote control 264 the robot to obtain additional data on the area that generated the alarm and can make a decision to continue 263 or stop 265 the visual inspection;
  • the data collected by the robot 10 and the diagnostic information provided by the operator via the control center 50 are processed to enrich fault databases and to ensure subsequent inspections. better detection of the type of anomaly encountered by the robot 10 performing the visual inspection or by a fleet of inspection robots.
  • a given aircraft may comprise an antenna missing on other aircraft of the same type or an antenna of a different model, a situation that may lead to the detection of a false anomaly.
  • the knowledge by the robot 10 of the exact identity of the aircraft 90 allows it to have information specific to this aircraft and for example the presence in a zone of a particularity of the aircraft in question, for example an antenna attached to this particular aircraft.
  • the operator responsible for the inspection notified by the robot 10 of a detected anomaly, will be able to see the appearance normal for example of the antenna and confirm this information to the robot that will enrich the database for the aircraft 90 for subsequent inspections and thus avoid new alerts for the detection of the same false anomaly.
  • the robot 10 searches during an inspection of possible anomalies on an aircraft 90, during the fifth step of the method, it inspects successively the different zones of the aircraft to detect visible traces attributable to an abnormal state of the aircraft. 'aircraft.
  • the robot 10 moves around the aircraft 90 by methodically scanning with the display means 13 the different parts of the aircraft, or even the ground under the aircraft.
  • the images obtained are, after treatment, compared with data representative of normal situations and abnormal situations to detect the presence of a possible anomaly.
  • the images obtained by the visualization means are as much as necessary processed in order to be compared to the data of the known database of the robot 10.
  • the images are also analyzed to identify any generic characteristics of potential defects such as deformations on the outer surface of the aircraft 90, missing parts resulting in practice by irregular openings or locations for which it does not exist. is not known to the robot the presence of opening, traces such as scratches or drips on the outer surface of the aircraft, lack of paint in some locations, traces with a facet of lightning impact ...
  • defects potentially associated with these features are not in practice sought at a particular location but may be at many points on the outer surface of the aircraft.
  • the processing applied to the images may be general or specific to the detection of a particular problem.
  • the images are processed by contrast enhancement algorithms, extraction of image areas according to its color or its spectral sensitivity, contour extraction, texture ...
  • the detection may for example relate to a shape or a color that does not conform to the shape or the nominal color, the shape or color observed may reflect a deformation or the presence of a foreign body.
  • An anomaly of form results in an observed form that does not correspond to the expected form.
  • the robot 10 characterizes the anomaly on the one hand by its type, that is to say the characteristics which led to consider the presence of an anomaly, for example: the shape, the color, range, sensitivity at certain wavelengths, presence or absence of an unexpected or expected element, contrast ... and secondly quantifies the anomaly.
  • the robot also locates the anomaly observed in the axis system of the aircraft, location that it realizes taking into account its precise position in the axis system Ox-Oy in which it operates on the ground, the direction in which are oriented the display means and the geometric characteristics of the observed aircraft.
  • the knowledge of the position of the anomaly on the outer surface of the aircraft is advantageously exploited by the processing means 22 to perform a diagnosis of the anomaly.
  • the processing means 22 to perform a diagnosis of the anomaly. For example, it is known that lightning attaches to the privileged locations of an aircraft and the presence of a trace having a lightning impact facies will not necessarily be interpreted in the same way as to its causes and effects. according to the location where the trace is.
  • the knowledge of the position of the anomaly on the surface of the aircraft also makes it possible to relate the anomaly to structural characteristics of the aircraft at the location of the aircraft. 'anomaly.
  • the structure may be a metal structure or a composite material structure with properties depending on the type of composite material, and in the latter case with a protection against lightning currents which may be different, for example a wire mesh. more or less dense bronze or a particular conductive paint.
  • the processing means make a prognosis so as to provide the operator in charge of the inspection detailed information on the anomaly and the consequent risks.
  • shock type anomaly on the outer surface of the aircraft during the inspection results, for example, in a message intended for the control center of the type "fuselage coating depression at the level of the beam No. 14 between the fuselage frames 11 and 12 - no traces of coating tear - low structural risk, repair to be programmed "accompanied by images of the area concerned.
  • the processing means perform a quantitative analysis of the defect: extent (surface, length, width, etc.) of the anomaly, by example of a surface affected by a shock, depth of a deformation, intensity of a cause that must have led to the observed anomaly such as a rise in temperature, intensity of a leak in the case of a presence of suspicious fluid ...
  • the robot 10 uses as much as possible its visual means associated with the processing means as already specified by stereoscopic vision techniques and or by any known optical method such shearography, holography, telemetry ....
  • the robot performs structural examinations by means of non-destructive testing instruments to quantify the anomalies.
  • the robot according to the diagnosis made is positioned, in step 2591, with respect to the anomaly to deploy the non-destructive testing instruments, not shown, to obtain additional information to improve diagnosis based on visual inspection.
  • Such non-destructive control means can implement probes, for example ultrasonic probes, eddy current probes, temperature measuring means such as thermal imaging cameras or any other type of probe capable of producing a local examination of the material in a particular area.
  • the probes are carried by one or more articulated arms so that the robot can apply / orient said probes on / to the locations to be examined, each probe being, during an examination using said probe, associated with an equipment of measurement embedded on the platform of said robot.
  • the probes are stored in a probe holder of the robot to be implemented via a single articulated arm.
  • the articulated arm controlled by the robot processing means or by a control center operator 50 having chosen to remotely control the examination, enter the appropriate probe for a given examination, by any type of gripping and connecting means to the measuring instrument to which the probe is to be connected, then apply / orient the probe on / to the zone to be controlled by ensuring the desired displacements for said probe, and when the control has been carried out and the processing means and / or the remote operator consider having obtained the data necessary for the inspection, the articulated arm replaces the probe in the probe holder.
  • the robot 10 continues the inspection.
  • said robot When the inspection of the aircraft or the part of the aircraft entrusted to the robot 10 is completed, said robot returns to a waiting station 30 during a sixth step 270, advantageously a waiting station providing protection for said robot to prevent damage by the various vehicles and aircraft traveling on the airport platform, and preferably a position where said robot is connected to a power source allowing him for example to recharge his accumulator batteries electric if provided.
  • the waiting station 30 is provided with communication means 31 at short distances with the robot, where appropriate wired connections, to allow rapid exchange of information and with little risk of interference between the control center 50, for example to transmit all the data collected during the inspection in view of a storage of said data and a possible deferred processing.
  • Such means may also be implemented in the first step 210 when the robot 10 loads the useful information for its next inspection.
  • the data transmitted by the robot 10 to the control center 50 during the visual inspection may be received by cockpit equipment so that a member of the technical crew has the opportunity to follow the progress of the inspection and to assess any anomalies detected.
  • control means of the robot are arranged in the cockpit to intervene on the progress of the inspection.
  • the robot resumes the inspection so that all the requirements nominally provided for an inspection are fulfilled before the inspection can be declared complete.
  • the robot 10 provides security to avoid collisions with persons or objects that may be fixed or animated. in its close environment.
  • the robot 10 uses its display means 13 to detect the objects with which a collision can occur.
  • the robot may also include means specifically dedicated to the detection of such objects.
  • said means control the movements of the platform ⁇ to avoid the collision, if necessary by emitting a sound signal and or light or other to alert a person who can to be involved in the potential collision.
  • the processing means provide guidance of the platform autonomously to avoid the risk of collision by using known localization techniques with respect to an environment whose characteristics they reconstruct, for example using a SLAM method. (Simultaneous Localization and Map Building).
  • a single robot 10 performs the visual inspection of the aircraft 90.
  • the robot 10 performs partial visual inspections in combination with partial inspections performed by other similar or specialized robots.
  • two or more identical robots are used to carry out the visual inspection of a right-hand side of the aircraft and of a left-hand side of the aircraft, and / or of a front part. and a back part.
  • the inspections carried out by two robots are for example synchronized in order, for example, to obtain comparative data between two zones of the aircraft such as a zone on the right side and a theoretically symmetrical zone on the left side so as to identify or confirm the presence of an anomaly.
  • robots with different possibilities, for example adapted to parts of the aircraft for which it is necessary to implement particular viewing means, for example because of their heights, such as a drift of an aircraft, or their shapes, such as air inlets or outlets of engine nozzles.
  • all or part of the non-destructive control means are carried by at least one control robot whose mobile platform is independent of the visual inspection robot.
  • control robot is controlled by the visual inspection robot which, when it has identified an area to be subjected to non-destructive testing, sends an intervention command to the control robot with all the data necessary for the control robot to perform the requested control, in particular the exact location on the aircraft of the area to be controlled and its extent and the type of control desired.
  • the control robot When the control robot has performed the requested control it transmits to the visual inspection robot the data obtained by the control, possibly processed to provide an interpretation of the control, and said control robot is placed in a waiting position.
  • control robot which is intended to intervene only occasionally and at the request of a visual inspection robot, can serve several visual inspection robots, priority rules managing potential conflicts if two robots of visual inspection solicit the control robot at the same time.
  • control robots for example a robot for performing ultrasonic checks and another robot for performing eddy current checks. It is in this form obtained more or less specialized control robots whose performance can be adapted to each type of control.
  • the example of visual inspection robot 10 described in the exemplary embodiment is a robot moving on the ground, however other types of robots, for example levitating robots, can be implemented if necessary in combination with one or more robots on the ground.
  • said robot comprises means, for example carried by an articulated arm, for opening and closing doors on the surface of the aircraft giving access from outside the aircraft 90 to outlets. or indicators so that the robot 10 is able to close a door left open by mistake, or to open a door to visually inspect a housing and close the housing door.
  • the inspection is carried out collaboratively between the robot 10 and the remote operator responsible for the inspection to which said robot returns all the results of the visual inspection, if necessary non-destructive test results of an area presenting a visually detected anomaly, from which he waits for instructions whenever an anomaly is detected and a decision requires the intervention of the operator to whom the images are presented and all the characteristics that could have been measured of the anomaly .
  • the operator responsible for the visual inspection remains totally in control of the decision to declare the absence of any anomaly affecting the operational use of the inspected aircraft with the possibility of intervening remotely on the robot to obtain all the information, in particular the images of dubious zones, to make a fast decision adapted to the case.
  • the control center from which the person responsible for the inspection operates may be distant from the place of the visual inspection, for example a visual inspection officer may be located in a maintenance center of the aircraft operator and supervise visual inspections at airports around the world, in particular by making use of possible digital links over landlines, terrestrial radio networks and satellite radio networks.

Abstract

Un dispositif d'inspection visuelle (100) des surfaces extérieures d'un aéronef (90) comporte une aire d'inspection destinée à recevoir un aéronef, au moins un robot (10) d'inspection visuelle, et un centre de contrôle (50). Une plate-forme mobile (11) du robot porte une tourelle (12) avec des moyens de visualisation (13). Le robot comporte des moyens de traitement (20) réalisant un guidage de la plate-forme mobile (11) et un traitement des informations reçues des moyens de visualisation (13). Les moyens de traitement (22) du robot sont adaptés pour : piloter le robot (10) de manière autonome lors de l'inspection visuelle des surfaces extérieures d'un aéronef (90) stationné sur l'aire d'inspection; pour interrompre une inspection visuelle en cours en cas de détection d'une anomalie sur la surface extérieure de l'aéronef; pour transmettre des informations d'inspection visuelle au centre de contrôle; et pour recevoir des instructions du centre de contrôle.

Description

Robot collaboratif d'inspection visuelle d'un aéronef
La présente invention appartient au domaine du contrôle non destructif des aéronefs.
Plus particulièrement l'invention concerne un robot collaboratif pour inspecter visuellement un aéronef au sol dans le cadre des opérations de vérifications ou de contrôles et concerne un procédé d'inspection mettant en œuvre un tel robot. L'invention trouve en particulier application dans le domaine des opérations de contrôle avant le vol d'un aéronef.
Dans le domaine des aéronefs, l'inspection visuelle, avant le vol ou lors d'opération d'entretien, est incluse dans les vérifications périodiques qui assurent la sécurité de fonctionnement de l'aéronef.
En effet l'inspection visuelle permet de détecter des anomalies pouvant survenir sur des parties visibles de l'aéronef qui sont souvent les parties les plus exposées à des influences extérieures et dans certains cas permet de révéler des dommages plus profonds de la structure.
En outre l'inspection visuelle ne met en œuvre aucun démontage particulier, tout au plus l'ouverture de portes ou trappes de visite ce qui permet une relative rapidité de l'inspection. Historiquement et encore largement aujourd'hui, l'inspection visuelle est réalisée par un opérateur au sol, qui est par exemple un mécanicien ou un pilote de l'aéronef.
L'inspection par un opérateur au sol est réalisée en suivant une liste de contrôle (check list), mais l'opérateur peut librement inspecter d'autres éléments ou zones de l'aéronef que ceux prévus dans la liste de contrôle en particulier si des indices le conduisent à s'intéresser à une zone particulière, ce qui permet d'améliorer la détection d'anomalies éventuelles.
A contrario un opérateur peut être plus ou moins attentif et être distrait par des observations qui ne sont pas nécessairement les plus significatives au risque de négliger certaines informations de détail qui devraient donner lieu à un examen approfondi et à une analyse. Pour éviter les aléas de l'intervention humaine il a été considéré de réaliser des inspections visuelles de manière automatique. Pour cela il a été imaginé des systèmes utilisant des caméras vidéo fixes par rapport au sol, par exemple dans un hangar, ou mobiles portées par des robots se déplaçant au sol ou en vol. La demande de brevet WO2012/047479 illustre un exemple de dispositif d'inspection automatisé d'un avion. L'inspection de l'avion est prise en charge par un ensemble de caméras fixes ou mobiles au sol au moyen de robot roulants ou mobiles en vol au moyen de robots volants qui sont affectés à différentes parties de l'avion. Les moyens de visualisation communiquent avec un centre informatique déporté qui traite les images reçues pour en déduire la présence d'anomalie et détermine les opérations de maintenance à réaliser.
Dans un tel système les traitements des images et leurs interprétations sont réalisés automatiquement ce qui permet d'effectuer les opérations de contrôle sans intervention humaine, la prise de décision étant confiée au système automatique. Si les aléas de l'opérateur humain sont ainsi évités, il est alors perdu le bénéfice de l'observation réalisée par un opérateur qui dispose de grandes capacités d'interprétation, en particulier en présence de situations nouvelles et non répertoriées dont l'interprétation peut être difficile. En outre un dispositif assurant de manière automatique des contrôles affectant des questions de sécurité pose des problèmes potentiels de certification en raison des démonstrations nécessaires d'une fiabilité élevée du système.
Pour éviter les difficulté des solution connues, le dispositif de l'invention pour l'inspection visuelle des surfaces extérieures d'un aéronef comporte une aire d'inspection destinée à recevoir un aéronef et comporte au moins un robot d'inspection visuelle dont une plate-forme mobile porte une tourelle avec des moyens de visualisation et comporte des moyens de traitement réalisant un guidage de la plate-forme mobile et un traitement des informations reçues des moyens de visualisation. En outre le dispositif d'inspection visuelle comporte un centre de contrôle avec un poste pour au moins un opérateur de contrôle, et les moyens de traitement du robot d'inspection visuelle sont adaptés pour :
piloter le robot d'inspection visuelle de manière autonome lors d'une inspection visuelle des surfaces extérieures d'un aéronef stationné sur l'aire d'inspection ;
interrompre une inspection visuelle en cours en cas de détection d'une anomalie sur la surface extérieure d'un aéronef en cours d'inspection ;
transmettre des informations d'inspection visuelle au centre de contrôle ;
recevoir des instructions du centre de contrôle pour les suites à donner à une inspection visuelle.
Il est ainsi obtenu un dispositif d'inspection visuelle d'un aéronef entièrement contrôlé par un opérateur distant assisté par un robot collaboratif réalisant les tâches d'inspection visuelle à proximité de l'aéronef.
Avantageusement, le robot d'inspection visuelle comporte des moyens pour déterminer à tout instant au cours d'une inspection la position du robot d'inspection visuelle et l'orientation des moyens de visualisation dans un système d'axes lié à l'aéronef.
Le robot est ainsi en mesure de se déplacer de manière autonome par rapport à l'avion tant pour la gestion de ses déplacements que pour celle des zones de l'aéronef devant être inspectés visuellement.
Dans une forme de réalisation, les moyens de traitement du robot sont adaptés pour déterminer la position du robot et l'orientation des moyens de visualisation par un traitement d'images de l'aéronef à inspecter obtenues par les moyens de visualisation.
Un tel moyen permet de recaler la position du robot par rapport à l'avion même si l'avion n'a pas une position exacte par rapport à la position théorique qu'il devrait avoir et de corriger les déviations de cette position sans mesure ou moyens extérieurs au dispositif.
Dans une forme de réalisation, le robot d'inspection visuelle comporte des moyens de localisation absolus, tels que récepteur GPS ou télémètres laser pointant des cibles de référence, et ou des moyens d'intégration de ses déplacements, par exemple par odométrie.
Le robot est ainsi en mesure de se déplacer indépendamment de tout recalage sur la position de l'aéronef pour se rendre à proximité de l'aéronef et après recalage de déterminer sa position précise lors de ses déplacements même sans établir sa position de manière continue par l'observation directe de l'aéronef.
En outre le dispositif d'inspection visuelle comporte toute ou partie des caractéristiques suivantes :
Les moyens de traitement comportent des moyens de stockage de données comportant, au moins temporairement, des caractéristiques, en particulier géométriques et graphiques, d'un aéronef à inspecter. Le robot dispose ainsi localement des caractéristiques nominales de l'aéronef qu'il doit inspecter et par rapport auxquelles il doit identifier visuellement d'éventuelles anomalies.
Les moyens de traitement comportent des moyens de stockage de données comportant des caractéristiques d'anomalies, par exemple dans une bibliothèque d'anomalies. Le robot, en plus de moteurs logiques pour identifier des anomalies non nécessairement répertoriées, est ainsi en mesure de comparer tout élément visuel observé par rapport à des anomalies connues.
Les moyens de traitement comportent des algorithmes de traitement d'images pour détecter sur les images réalisées par les moyens de visualisation des anomalies visibles dans au moins une des longueurs d'onde du spectre optique.
Les moyens de visualisation comportent des moyens d'éclairage dans une lumière du domaine visible et ou dans le domaine de l'infrarouge et ou dans le domaine de l'ultraviolet.
Il est ainsi non seulement éclairées des zones de l'aéronef pouvant être naturellement faiblement éclairées mais également mis en évidence des anomalies sensibles à certains spectres lumineux ou dont le contraste visuel est augmenté à certaines longueurs d'ondes du spectre lumineux.
Les moyens de visualisation et les moyens de traitement sont configurés pour déterminer une forme tridimensionnelle des surfaces extérieures inspectées de l'aéronef. Il est ainsi possible d'identifier quelles formes de la surface extérieure de l'aéronef ne sont pas conformes aux formes nominales.
Dans une forme de réalisation du dispositif, Le dispositif d'inspection visuelle comporte des moyens de contrôle non destructif de la structure de l'aéronef inspecté.
Les moyens de contrôle non destructif sont portés par le robot d'inspection visuelle ou sont portés, en tout ou partie, par au moins un robot de contrôle dont le comportement est commandé par le robot d'inspection visuelle.
II est ainsi possible de confirmer ou d'infirmer que l'anomalie visuelle est l'indice d'une anomalie plus profonde de structure et de mesurer les endommagements non visibles.
Les moyens de visualisation sont orientables en site et en azimut par rapport à un référentiel de la plate-forme du robot d'inspection visuelle. Il est ainsi possible de balayer rapidement toutes les surfaces extérieures de l'aéronef visibles par le robot lors de son déplacement.
Dans une forme de réalisation, les moyens de traitement sont configurés pour déterminer la position d'un défaut détecté sur un aéronef par rapport à des éléments de la structure interne dudit aéronef, non visibles depuis l'extérieur de l'aéronef. Les conséquences du défaut sont ainsi mieux évaluées et la position du défaut est localisés pour les opérateurs de maintenance par rapport à des éléments concrets de structure identifiables.
Par exemple le robot d'inspection est un robot se déplaçant par roulement sur un sol de l'aire d'inspection ou se déplaçant par sustentation dans un volume dont l'empreinte au sol correspond sensiblement à l'aire d'inspection.
Dans une forme de réalisation du dispositif, il est mis en œuvre une pluralité de robots d'inspection configurés pour réaliser conjointement une inspection visuelle d'un même aéronef. Il est ainsi réalisé une inspection visuelle plus rapide et le cas échéant plus complète si des robots spécialisés pour inspecter certaines zones sont mis en œuvre.
L'invention s'adresse également à un procédé d'inspection visuelle d'un aéronef dans lequel des images d'une surface extérieure de l'aéronef à inspecté sont transmises à des moyens de traitement d'un robot d'inspection visuelle, dans lequel les moyens de traitement analyse les images pour identifier la présence d'éventuelles anomalies visibles, et dans lequel lorsqu'une anomalie visible est détectée, les données relatives à l'anomalie détectée sont transmises à un centre de contrôle et l'inspection visuelle est interrompue, au moins lorsque les moyens de traitement identifient une anomalie appartenant à une catégorie d'anomalies considérées comme critiques.
Avantageusement, lorsque l'inspection est interrompue en raison de la détection d'une anomalie, des instructions sont transmises au robot d'inspection visuelle par le centre de contrôle pour la poursuite de l'inspection visuelle, lesdites instructions déterminant comment le robot doit poursuivre l'inspection.
Dans une forme de mise en œuvre, l'amplitude d'une anomalie visible est calculée par les moyens de traitement à partir de moyens optiques de mesure de déformations et ou par une analyse colorimétrique dans le domaine visible, et ou infrarouge, et ou ultraviolet du spectre lumineux.
Dans une forme de réalisation, lorsqu'une anomalie est détectée visuellement, une zone affectée par l'anomalie visible est soumise à un contrôle non destructif par le robot d'inspection visuelle ou par un robot de contrôle non destructif commandé par le robot d'inspection visuelle.
L'invention est décrite en rapport avec les figures qui représente de manière schématique un exemple non limitatif de réalisation de l'invention :
Figure 1 : un exemple d'agencement de principe des principaux composants d'un dispositif d'inspection visuelle d'un aéronef mettant en œuvre un robot collaboratif et un centre de contrôle distant ;
Figure 2 : un exemple d'organigramme des principales étapes du procédé d'inspection visuelle mettant en œuvre un robot collaboratif et un centre de contrôle distant.
Un robot collaboratif d'inspection d'un aéronef 90 tel que le robot 10 illustré sur la figure 1 comporte une plate-forme mobile 11 pourvue d'une tourelle 12 portant des moyens de visualisation 13.
La plate-forme mobile 11 illustrée est montée sur quatre roues assurant la stabilité de la plate-forme et son déplacement au sol par la motorisation d'au moins une des roues.
D'autres montages pour assurer la mobilité et la stabilité de la plate¬ forme, par exemple la mise en œuvre de plus ou moins de roues, par exemple trois roues ou six roues, ou par exemple des chenilles, solutions non illustrées, sont possibles. Le choix de ces moyens est avantageusement réalisé en fonction de la nature d'un sol sur lequel devra se déplacer le robot 10 lors des opérations d'inspection autour de l'aéronef 90.
La tourelle 12 est solidaire dans une partie inférieure de ladite tourelle de la plate-forme 11, par exemple sur une face supérieure de ladite plate-forme, et les moyens de visualisation 13, dans l'exemple illustré une caméra numérique, sont solidaires de la tourelle 12 dans une partie supérieure de ladite tourelle.
L'ensemble des liaisons mécaniques entre la plate-forme 11 et la tourelle 12, et entre la tourelle 12 et les moyens de visualisation 13 est agencé de sorte que qu'une direction principale d'observation 131 des moyens de visualisation 13 est orientable en site et en azimut dans toutes les directions possibles pour viser des points situés au-dessus du sol et avantageusement également sur le sol sur lequel se déplace le robot 10, le cas échéant en prenant en considération les capacités de déplacement de la plate-forme lui assurant la possibilité de modifier l'azimut d'une ligne de foi 111 de ladite plate-forme.
Par exemple la tourelle 12 est réalisée pour modifier l'azimut de la direction principale d'observation 131 avec une amplitude angulaire limitée, par exemple 180°, les autres directions étant alors atteintes par des mouvements au sol de la plate-forme.
Un tel agencement permet en particulier d'observer des zones étendues en azimut y compris sans mouvement de la plate-forme.
Les capacités d'orientation en site de la direction principale d'observation 131 est avantageusement d'au moins 90° entre une visée sensiblement horizontale et une visée sensiblement verticale vers le haut.
Le cas échéant, la visée sensiblement horizontale permet une visée plongeante pour permettre l'observation par le dessus de zones pouvant être situées sous les moyens de visualisation 13, placés par exemple dans une position surélevée au moyen de la tourelle 12. De telles zones sont par exemple des parties du sol sous l'aéronef susceptible de porter des traces de fuites d'un fluide de l'aéronef. De telles zones sont par exemple des bandes de roulement de pneumatiques susceptible de porter des traces d'usures anormales ou de parties de structure pouvant être observées de dessus du fait de la position surélevée des moyens de visualisation.
Dans une forme de réalisation, la tourelle 12 comporte des moyens d'élévation 121 des moyens de visualisation pour modifier la hauteur au-dessus du sol des dits moyens de visualisation.
De tels moyens d'élévation 121 consistent par exemple en un assemblage de bras articulés, deux ou plus bras, qui se déplient ou se replient par des actionneurs, non représentés, de sorte que la hauteur au-dessus de la plate¬ forme 11, et donc au-dessus du sol, de l'extrémité supérieure de la tourelle 12 portant les moyens de visualisation 13 peut être modifiée.
Les moyens de visualisation 13, dans une forme élémentaire, consistent en une caméra fournissant des images dans le domaine de la lumière visible et destinées à être analysée. Les images peuvent être transmises sous forme analogique pour être traitées le cas échéant après avoir été converties sous forme numérique ou être transmises sous forme numérique.
Avantageusement, les moyens de visualisation 13 comportent des moyens d'éclairement 132, par exemple solidaires de la tourelle 12, orientés pour illuminer des zones à inspecter situées dans un champ de vision des dits moyens de visualisation.
Les moyens d'éclairement 132 peuvent être déportés par rapport à la direction principale d'observation 131 des moyens de visualisation 13 afin de créer des éclairages plus ou moins rasant permettant de visualiser certains défauts tels que des enfoncements superficiels.
Les moyens d'éclairement 132 peuvent également être agencés pour produire des éclairements dans des domaines particuliers du spectre lumineux visible, de couleur rouge, vert ou bleu par exemple, ou non visible, correspondant à des bandes spectrales particulières des spectres infrarouges ou ultraviolets, et sont avantageusement commutables entre les différentes bandes spectrales visibles ou non visibles.
Les spectres des lumières des moyens d'éclairement 132 sont fixés en fonction des sensibilités spectrales des caméras mises en œuvre pour les moyens de visualisation 13 et en fonction des comportements attendus des zones inspectées sous les différents éclairages, en particulier lorsque des effets de contraste ou de fluorescence sont potentiellement attendus pour visualiser et ou diagnostiquer une anomalie.
Dans des formes de réalisation, les moyens de visualisation 13 comportent des équipements particuliers, non représentés sur les dessins, tels que par exemple des caméras stéréoscopiques et ou autres dispositifs pour donner une perception à trois dimensions, par exemple par des techniques de stéréo-corrélation, de shearographie, de télémétrie laser ... La perception en trois dimensions permet de vérifier la conformité et de détecter les déformations tant de surfaces courbes que de surface planes.
Dans une forme de réalisation préférée, la plate-forme mobile 11 est autonome en énergie.
La propulsion peut être réalisée par des moteurs thermiques assurant l'entraînement des roues pour le déplacement de la plate-forme mobile, par exemple par une transmission hydrostatique, et pour produire une énergie hydraulique et ou électrique nécessaire aux actionneurs utiles aux mouvements de la tourelle 12 et des moyens de visualisation 13.
La propulsion peut également être réalisée par des moteurs électriques alimentés par des moyens de génération électriques portés par la plate-forme ou par des accumulateurs électriques. L'utilisation d'accumulateurs électriques pour alimenter des moteurs électriques et des actionneurs électriques pour les mouvements de la plate-forme mobile 11 et de la tourelle 12 s'avère adaptée à l'inspection des aéronefs qui est réalisée dans un environnement aéroportuaire disposant aisément des infrastructures pour permettre des recharges des accumulateurs électriques entre deux inspections ou autant que nécessaire.
Le robot 10 collaboratif comporte en outre des moyens de calculs 20 nécessaire à l'inspection visuelle.
Les moyens de calculs 20 comportent notamment des moyens d'acquisition 21 des données d'observation transmises par les moyens de visualisation 13, des moyens de traitement 22 des dites données observées, des moyens de communication 23 avec un centre de contrôle 50, déporté par rapport à une zone dans laquelle le robot 10 collaboratif est appelé à réaliser des inspections, et des moyens de localisation 24.
Les différents moyens 21, 22, 23, 24 des moyens de calculs 20 embarqués sur le robot 10 sont avantageusement des moyens communicant entre eux de manière numérique par un bus de communication dudit robot.
Les moyens d'acquisition 21 des données d'observation consistent principalement en des mémoires de stockage de données numériques disposant des capacités suffisantes pour conserver les données d'observation pendant une durée nécessaire à leur traitement en vue de déterminer si des anomalies ont été observées et si besoin de moyens de prétraitement des données en vue de leur exploitation.
Dans la mesure où des données comparatives peuvent être nécessaires à l'inspection d'un aéronef donné, par exemple entre deux zones de l'aéronef, avantageusement l'ensemble des données d'observation acquises lors d'une inspection donnée sont conservées au moins pendant la durée de l'inspection.
Dans une forme de réalisation les données d'observation sont conservées en mémoire, par le robot 10 ou dans un centre de stockage déporté, non représenté, en vue d'un téléchargement ultérieur par le robot, en référence à l'aéronef sur lequel ont été établies lesdites données d'observation, de sorte que le traitement comparatif des données d'observation entre deux ou plus inspections peut être réalisé. Les moyens de traitement 22 comportent principalement des unités de traitement numérique, par exemple des processeurs et ou des microcontrôleurs, des mémoires vives (RAM), des mémoires de stockage (ROM, mémoires flash, SDRAM, disques durs...), des interfaces numériques ou analogiques et des bus de communication entre les différents composants des dits moyens de traitement.
Autant que de besoin les moyens de traitement 22 comportent des circuits spécialisés pour le traitement rapide des signaux transmis par les moyens de visualisation, par exemple des circuits pour le traitement des signaux correspondant à des images fixes ou animées.
Les moyens de traitement 22 sont configurés pour réaliser des séquences d'instructions assurant :
des mises en configuration du robot 10 en fonction d'opérations à réaliser, en particulier une initialisation en fonction de l'aéronef à inspecter visuellement ;
des communications avec des moyens distants ;
un pilotage des ressources mise en œuvre pour les déplacements de la plate-forme 11, en particulier la commande du ou des moteurs de propulsion de la plate-forme et la gestion des ressources en énergie de la plate¬ forme ;
un pilotage des actionneurs de la tourelle 12 et ou des moyens de visualisation 13 ;
le traitement des données d'observation ;
- l'élaboration de diagnostics en fonction des données d'observation traitées ;
une localisation précise du robot 10 et d'un point observé sur une surface extérieure de l'aéronef 90 en cours d'inspection, dans un repère lié à l'aéronef, sinon en continu au moins lors d'observations devant donner lieu à un constat d'anomalie.
De manière générale, le robot comporte les moyens mécaniques et électroniques qui apparaissent à l'homme du métier nécessaires à la mise en œuvre décrite comme exemple ci-après.
Comme il ressortira de l'exemple de mise en œuvre décrit de manière détaillée, le robot 10 collaboratif de l'invention n'est pas un moyen entièrement automatisé d'inspection pour la détection d'anomalies sur un aéronef 90 mais un moyen d'assistance à la disposition d'un opérateur pour la réalisation d'une inspection visuelle.
Le robot 10 collaboratif est en particulier adapté à permettre une inspection à distance par l'opérateur et à fournir une aide à l'inspection pour des diagnostics plus précis, plus détaillés, plus répétables et plus fiables.
Suivant le procédé 200 d'inspection visuelle, dans une première étape 210, lorsque qu'un aéronef 90 doit être inspecté, par exemple pour une visite pré-vol, un robot 10 collaboratif est initialisé pour être en état de réaliser l'inspection souhaitée.
Lors de cette première étape 210, le robot 10 reçoit une position 211 de l'aéronef 90 à inspecter, au moins une position approximative comme le numéro ou la position géographique d'un plot sur lequel est placé l'aéronef, et reçoit les informations 212 sur l'aéronef à inspecter, au minimum un type d'aéronef et de préférence également une identité de l'aéronef.
Il doit être noté en ce qui concerne la position de l'aéronef que ladite position peut être implicite, par exemple dans le cas où le robot collaboratif est affecté à un plot particulier et que dans ce cas l'aéronef sera toujours, pour le robot, sur le même emplacement.
Lorsque, au contraire, le robot 10 collaboratif pourra être amené à réaliser des inspections sur des aéronefs pouvant être stationnés sur différents emplacements d'une zones de parking, il sera alors informé lors de la première étape 210 de l'emplacement où est situé l'aéronef 90 à inspecter.
Dans un mode de mise en œuvre au cours d'un deuxième étape 220, le robot 10 collaboratif, lorsqu'il a atteint la zone dans laquelle se trouve l'aéronef 90 qu'il doit inspecter, examine globalement l'aéronef avec ses moyens de visualisation 13 duquel examen il déduit, à partir d'une base de données des formes des aéronefs, le type d'aéronef en question. De préférence, le robot 10 collaboratif, par un traitement des images acquises lors de cette étape, détecte l'immatriculation de l'aéronef et par la consultation d'une base de données des aéronefs immatriculés vérifie que le type d'aéronef portant ladite immatriculation correspond bien au type identifié par l'analyse de la forme de l'aéronef.
Dans un mode de mise en œuvre les informations sur l'aéronef 90 obtenues lors de la première étape 210 et lors de la deuxième étape 220 sont comparées au cours d'une troisième étape 230 pour vérifier la cohérence des données transmises par le centre de contrôle afin de détecter au plus tôt toute incohérence.
Toute anomalie ou incohérence détectée lors de la troisième étape est reportée 231 immédiatement par le robot 10 collaboratif à un opérateur responsable de l'inspection qui décidera des dispositions à prendre : interrompre l'inspection par le robot afin de corriger les informations sur le type et l'identification de l'aéronef, envoyer au robot des ordres pour obtenir des données visuelles complémentaires avant de prendre une décision, donner au robot collaboratif des instructions pour continuer l'inspection en ignorant certaines incohérences détectées, le cas échéant en demandant par ailleurs une intervention d'un opérateur pour réaliser une analyse sur place et lever le doute.
Dans une quatrième étape 240, laquelle quatrième étape peut être conduite lors des étapes précédentes sur la base des instructions reçues par le robot collaboratif, ledit robot 10 collaboratif télécharge les données qui lui sont nécessaires pour l'inspection à réaliser, dans le cas au moins où il ne dispose pas de toutes les dites données dans ses mémoires de stockage internes.
Les dites données comportent par exemple un circuit d'inspection à réaliser déterminé par une trajectoire nominale, des listes d'opérations devant être réalisées au titre de l'inspection du type d'aéronef, des listes d'opérations d'inspection devant être réalisées au titre de l'aéronef particulier, par exemple compte tenu d'observations précédentes sur le même aéronef ou sur d'autres aéronefs du même type Dans une forme de mise en œuvre les dites données, au moins pour certaines d'entre elles, sont acquises par le robot collaboratif par apprentissage, par exemple lors d'inspections réalisées en mode télécommandé, et sont complétées lors des inspections successives pour améliorer la détection future d'anomalies ayant été détectées.
Les dites données comportent également les caractéristiques de l'aéronef, caractéristiques géométriques nominales, couleurs et motifs peints sur l'avion, positions et types de trappes, de verrous, de sondes ... devant être vérifiés lors de l'inspection visuelle, anomalies connues, par exemple détectées lors de précédentes inspections...
Dans une cinquième étape 250, le robot 10 collaboratif va réaliser les opérations d'inspection visuelle suivant le circuit d'inspection en se déplaçant au sol à proximité de l'aéronef 90.
Lors de ses déplacements, le robot 10 collaboratif va déterminer 251 de manière continue sa position dans un repère lié à l'aéronef en cours d'inspection, par exemple un repère OX-OY au sol dont la trace correspond à un axe X longitudinal de l'aéronef et à un axe Y transversal de l'aéronef.
Pour déterminer sa position le robot 10 collaboratif utilise des techniques conventionnelles, par exemple de la reconnaissance d'amers constitués par des formes ou sous-ensembles caractéristiques de l'aéronef, données qui sont avantageusement couplées à des informations de géolocalisation, par exemple par GPS, par télémétrie laser ou autres dispositifs de localisation, et à des techniques d'odométrie pour intégrer les déplacements dudit robot, les différentes techniques étant avantageusement hybridées pour réaliser des estimations précises de la position et de l'orientation du robot dans le repère OX- OY, précision typiquement de l'ordre du centimètre ou moins en position et de la minute d'angle ou moins en orientation.
Bien que le robot 10 collaboratif soit appelé à fonctionner sur une surface sensiblement plane et horizontale d'une aire de stationnement d'aéronef d'une installation aéroportuaire, le cas échéant les techniques de localisation mise en œuvre assurent la détermination d'une position relative en hauteur du robot par rapport à l'aéronef.
Le cas échéant il est également déterminé l'inclinaison de la plate-forme par rapport à une verticale locale, en particulier si ledit robot 10 collaboratif n'est pas pourvu d'une fonction de stabilisation pour maintenir la plate-forme mobile 11 horizontale, ou un axe de la tourelle 12 vertical.
Le robot 10, suivant les instructions mémorisées dans un programme des moyens de traitement, va se déplacer suivant une trajectoire lui permettant de visualiser tous les points de l'aéronef devant être inspectés.
Le robot 10 suit 252 globalement une trajectoire 91 prédéterminée sur le sol.
Au cours de ses déplacements, le robot détecte 253 d'éventuels obstacles, par exemple par des moyens optiques et ou par des capteurs spécifiques, par exemple par des capteurs à émission d'ultrasons et le cas échéant s'écarte de la trajectoire prédéterminée en réalisant les déplacements nécessaires pour contourner le ou les obstacles et pour garantir que l'inspection visuelle de toutes les zones devant être inspectées est correctement réalisé.
En outre un obstacle détecté est signalé 254 à l'opérateur responsable de l'inspection comme étant une anomalie potentielle qui doit être traitée avant que l'aéronef 90 quitte le point de stationnement.
Pour réaliser l'inspection visuelle, le robot en fonction de sa position et de son orientation estimée dans le repère OX-OY positionne et oriente 255 les moyens de visualisation de sorte que des images des zones de l'aéronef à inspecter soient prises et transmises aux moyens de traitement 22.
Dans une forme de réalisation les images sont réalisées en continu lors des déplacements du robot et de ses arrêts de sorte à visualiser des zones de l'avion pouvant être observées du sol compte tenu des possibilités d'orientation et d'élévation au-dessus du sol des moyens de visualisation 13.
Les moyens de traitement 22 réalisent un traitement des images reçues 256 pour identifier tout type d'anomalie se traduisant par des caractéristiques identifiables sur les images. Par exemple de telles caractéristiques correspondent à des singularités géométriques et ou de contrastes et ou colorimétriques, singularités pouvant être observées dans un ou dans différents spectres d'éclairement, le robot commutant les spectres d'éclairement lors de l'étape de positionnement et d'orientation 255.
Dans un mode de fonctionnement le robot 10 sélectionne un spectre donné des moyens d'éclairement 132 en fonction de types d'anomalies recherchées dans une zone en cours d'inspection ou en fonction du faciès d'une anomalie détectée, par exemple en lumière blanche, pour établir un diagnostic.
Le spectre d'éclairement est par exemple du domaine de la lumière visible, en lumière blanche ou dans une couleur particulière du spectre visible, ou du domaine de l'infrarouge ou de l'ultraviolet, par exemple pour identifier des zones ayant des propriétés de fluorescences particulières.
De telles propriétés de fluorescence peuvent être la trace directe d'une anomalie telle que par exemple une fuite d'un liquide, tels que carburant, fluide hydraulique ou autre, laissant une trace visible sur une surface extérieure de l'aéronef et ou sur le sol. Elles peuvent être par exemple le signe d'un aéronef chargé électriquement par des charges électrostatiques, par la présence de décharges Corona perceptibles au niveau des déchargeurs statiques de fuselage ou d'ailes.
Elles peuvent également être le résultat de marqueurs révélés par des conditions particulières par exemple suite à une exposition à une chaleur anormale ou à un choc. De tels marqueurs consistent par exemple en des peintures dont les propriétés spectrales sont modifiées par une exposition à la chaleur ou par des peintures comportant des micro-sphères remplies d'un fluide devenant visible lorsqu'il est éclairé par une lumière de longueurs d'ondes particulières et dont le fluide est dispersé lors d'un impact mécanique sur une structure recouverte d'une telle peinture.
Dans le cas des parties de structure visibles, le traitement des images est réalisé, outre pour la détection par des révélateurs tels que ceux évoqués ci- dessus, pour détecter des formes anormales ou des modifications de formes entre des inspections successives, ou des dissymétries de formes entres des zones de l'avion nominalement symétriques, par exemple des renflements ou des enfoncements, de tels modifications de formes étant interprétées en général comme des anomalies de la structure. Dans le cas des zones particulières devant être inspectées pour en vérifier un statut et une intégrité, les moyens de traitement 22 réalisent une analyse des images transmises par les moyens de visualisation 13 par analogie avec des représentations virtuelles des zones observées, en particulier d'éléments situés sur ces zones particulières, conservées en mémoire. Les représentations virtuelles sont par exemple des vues ou des représentations numériques en trois dimensions qui permettent de placer une représentation virtuelle dans la position, orientation et distance, sous laquelle la zone particulière réelle est observée par les moyens de visualisation 13 afin de réaliser par un traitement numérique la comparaison de l'élément réel avec sa représentation virtuelle. Dans ce cas particulier des anomalies de dimensions plus ou moins grandes peuvent être recherchées en fonction de critères établis à l'avance, les moyens de visualisation 13 étant avantageusement pourvus de moyens de grossissement, par exemple du type zoom optique, pour réaliser la recherche de défaut de petites dimensions.
Les zones particulières sont par exemple des zones comportant une porte ou une trappe de visite, ou des capots de moteur dont la fermeture et la position des dispositifs de verrouillage doivent être vérifiées.
Les zones particulières sont par exemple des zones comportant un équipement visible tel qu'une sonde d'incidence, une prise de pression aérodynamique totale, une prise de pression statique, un détecteur de givre, une antenne, un drain ou tout autre type d'élément pouvant être endommagé, par exemple tordu ou arraché, ou obturé, par exemple par des caches pitots Lors de l'inspection, le robot collaboratif transmet au centre de commande 50 supervisé par un responsable de l'inspection de l'aéronef des comptes rendu d'inspection.
Si le robot 10 ne détecte aucune anomalie 258 dans une zone inspectée, il transmet une information d'absence d'anomalie détectée, par exemple se traduisant dans le centre de commande par un « voyant vert » et une information de progression de l'inspection pouvant être affichée sur un écran 51 du centre de commande 50 pour être suivie. Si le robot détecte une anomalie 259, il retransmet une alerte au centre de commande 50, laquelle alerte est accompagnée des images de l'observation visuelle de la zone ayant données lieu à la détection de l'anomalie avec un diagnostic ou une liste de diagnostics possibles en fonction de leurs probabilités compte tenu de la typologie de l'anomalie traitée par le robot 10.
Dans un cas où le robot 10 collaboratif identifie une anomalie associée à une probabilité élevée que l'anomalie affecte la sécurité, ledit robot collaboratif interrompt 261 l'inspection et transmet au centre de contrôle 50 un compte rendu de détection d'anomalie avec le message d'alerte et une alarme « voyant rouge » (warning), une intervention sur l'aéronef étant dans ce cas nécessaire a priori.
Dans le cas où le robot 10 collaboratif identifie une anomalie pour laquelle ledit robot collaboratif n'est pas en mesure de faire un diagnostic, sinon avec une incertitude élevée sur les conséquences de l'anomalie, ledit robot collaboratif transmet le message d'alerte avec une alarme « orange » (caution) et se met dans une condition d'attente et dans un mode télécommandé 262 dans lequel il attend des instructions de l'opérateur responsable de l'inspection.
L'opérateur peut, après examen des images et données transmises par le robot collaboratif, décider soit :
- d'envoyer au robot l'ordre de poursuivre l'inspection visuelle 263 en considérant qu'il est en présence d'une fausse alarme ou que l'anomalie détectée est mineure ;
- de télécommander 264 le robot pour obtenir des données complémentaires sur la zone ayant générée l'alarme et pouvoir prendre une décision de poursuivre 263 ou d'arrêter 265 l'inspection visuelle ;
- de faire compléter l'inspection réalisée par le robot 10 par une intervention sur l'aéronef 90 d'une équipe d'inspection.
Dans une forme particulière de mise en œuvre, les données recueillies par le robot 10 et les informations de diagnostic apportées par l'opérateur via le centre de contrôle 50 sont traitées pour enrichir des bases de données d'anomalies et assurer lors d'inspections ultérieures une meilleure détection du type d'anomalie rencontrée par le robot 10 réalisant l'inspection visuelle ou par une flotte de robots d'inspection.
Il doit être noté l'intérêt pour le robot 10 de prendre en compte toutes les spécificités de l'aéronef 90 qu'il inspecte. Il n'est en effet pas exceptionnel qu'un aéronef donné présente des particularités par rapport à d'autres aéronefs du même type.
Par exemple un aéronef donné peut comporter une antenne absente sur d'autres aéronefs du même type ou une antenne d'un modèle différent, situation pouvant donner lieu à la détection d'une fausse anomalie.
La connaissance par le robot 10 de l'identité exacte de l'aéronef 90 lui permet de disposer des informations propres à cet aéronef et par exemple de la présence dans une zone d'une particularité de l'aéronef en question, par exemple une antenne fixée sur cet avion particulier.
En outre si la base de données des caractéristiques de l'aéronef 90 ne comporte pas la présence d'une particularité observée, l'opérateur responsable de l'inspection, averti par le robot 10 d'une anomalie détectée, pourra constater l'aspect normal par exemple de l'antenne et confirmer cette information au robot qui enrichira la base de données relative à l'aéronef 90 pour les inspections suivantes et ainsi éviter de nouvelles alertes pour la détection de la même fausse anomalie.
Lorsque le robot 10 recherche au cours d'une inspection d'éventuelles anomalies sur un aéronef 90, lors de la cinquième étape du procédé, il inspecte successivement les différentes zones de l'aéronef pour détecter des traces visibles attribuables à un état anormal de l'aéronef.
Pour cela le robot 10 se déplace autour de l'aéronef 90 en balayant méthodiquement avec les moyens de visualisation 13 les différentes parties de l'aéronef, voire le sol sous l'aéronef. Les images obtenues sont, après traitement, comparées avec des données représentatives de situations normales et de situations anormales pour détecter la présence d'une éventuelle anomalie.
Pour les besoins de cette détection, les images obtenues par les moyens de visualisation sont autant que de besoin traitées pour pouvoir être comparées aux données de la base de données connue du robot 10.
Les images sont également analysées pour identifier d'éventuelles caractéristiques génériques de défauts potentiels comme par exemple des déformations à la surface extérieure de l'aéronef 90, des parties manquantes se traduisant en pratique par des ouvertures irrégulières ou à des emplacements pour lesquels il n'est pas connu du robot la présence d'ouverture, des traces telles que des rayures ou des coulures sur la surface extérieure de l'aéronef, des absences de peinture à certains emplacements, des traces présentant un faciès d'impact de foudre ...
Les défauts potentiellement associés à ces caractéristiques ne sont pas en pratique recherchés à un endroit particulier mais peuvent se trouver en de nombreux points de la surface extérieure de l'aéronef.
Le traitement appliqué aux images peut être général ou spécifique de la détection d'un problème particulier. Par exemple les images sont traitées par des algorithmes d'augmentation du contraste, d'extraction de zones de l'image en fonction de sa couleur ou de sa sensibilité spectrale, d'extraction de contour, de texture ...
La détection peut par exemple concerner une forme ou une couleur qui n'est pas conforme à la forme ou à la couleur nominale, la forme ou la couleur observée pouvant traduire une déformation ou la présence d'un corps étranger.
Une anomalie de forme se traduit par une forme observée qui ne correspond pas à la forme attendue.
Lorsqu'une anomalie est détectée, le robot 10 caractérise l'anomalie d'une part par son type, c'est-à-dire les caractéristiques qui ont conduit à considérer la présence d'une anomalie, par exemple : la forme, la couleur, l'étendue, la sensibilité à certaines longueurs d'onde, la présence ou l'absence d'un élément non attendu ou attendu, le contraste... et d'autre part quantifie l'anomalie.
Le robot localise également l'anomalie observée dans le système d'axe de l'aéronef, localisation qu'il réalise en prenant en compte sa position précise dans le système d'axes Ox-Oy dans lequel il évolue au sol, la direction dans laquelle sont orientés les moyens de visualisation et les caractéristiques géométriques de l'aéronef observé.
La connaissance de la position de l'anomalie sur la surface extérieure de l'aéronef est avantageusement exploitée par les moyens de traitement 22 pour réaliser un diagnostic de l'anomalie. Par exemple il est connu que la foudre s'attache sur des emplacements privilégiés d'un aéronef et la présence d'une trace ayant un faciès d'impact de foudre ne sera pas nécessairement interprétée de la même manière quant à ses causes et ses effets suivant l'emplacement où se trouve ladite trace.
Pour reprendre l'exemple d'un impact de foudre, la connaissance de la position de l'anomalie à la surface de l'aéronef permet également de rattacher l'anomalie à des caractéristiques de structure de l'aéronef à l'emplacement de l'anomalie. Par exemple la structure peut être une structure métallique ou une structure en matériau composite avec des propriétés dépendant du type de matériau composite, et dans ce dernier cas avec une protection vis à vis des courants de foudre qui peut être différente, par exemple un grillage de bronze plus ou moins dense ou une peinture conductrice particulière.
De la connaissance par le robot 10 des caractéristiques physiques et dimensionnelles de la surface de l'aéronef 90 où est identifiée une anomalie d'un type particulier, ainsi que des caractéristiques de la structure non visible sous la surface visible, par exemple la présence d'une lisse ou d'un cadre de structure, d'un support d'équipement ou d'un équipement, les moyens de traitement réalisent un pronostic de sorte à fournir à l'opérateur en charge de l'inspection des informations détaillées sur l'anomalie et les risques conséquents.
La détection d'une anomalie du type choc sur la surface extérieure de l'aéronef pendant l'inspection se traduit par exemple par un message à destination du centre de contrôle du type "enfoncement de revêtement de fuselage au niveau de la lisse N°14 entre les cadres fuselage 11 et 12 - pas de traces de déchirure de revêtement - risque structural faible, réparation à programmer" accompagné d'images de la zone concernée.
Dans une forme préférée les moyens de traitement réalisent une analyse quantitative du défaut : étendue (surface, longueur, largeur...) de l'anomalie, par exemple d'une surface affectée par un choc, profondeur d'une déformation, intensité d'une cause ayant dû conduire à l'anomalie observée telle qu'une élévation de température, intensité d'une fuite dans le cas d'une présence de fluide suspecte...
Pour réaliser cette analyse quantitative, le robot 10 utilise autant que possible ses moyens visuels associés aux moyens de traitement comme déjà précisé par des techniques de vision stéréoscopique et ou par toute méthode optique connue telle shearographie, holographie, télémétrie .... Dans un mode de mise en œuvre, le robot 10 réalise des examens de la structure au moyen d'instruments de contrôle non destructifs pour quantifier les anomalies.
Lorsque qu'une anomalie est détectée à l'étape 259 par l'inspection visuelle, le robot en fonction du diagnostic réalisé se positionne, sous étape 2591, par rapport à l'anomalie pour déployer les instruments de contrôle non destructif, non représentés, afin d'obtenir des informations complémentaires pour améliorer le diagnostic basé sur l'inspection visuelle.
De tels moyens de contrôle non destructifs peuvent mettre en œuvre des sondes, par exemple des sondes à ultra-sons, des sondes à courants de Foucault, des moyens de mesure des températures tels que des caméras thermiques ou tout autre type de sondes apte à réaliser un examen local de la matière dans une zone particulière.
Avantageusement les sondes sont portées par un ou des bras articulés de sorte que le robot puissent appliquer/orienter les dites sondes sur/vers les emplacements devant être examinés, chaque sonde étant, pendant un examen mettant en œuvre ladite sonde, associée à un équipement de mesure embarqué sur la plate-forme dudit robot.
Dans une forme de réalisation, dans laquelle le robot comporte une pluralité de sondes, les sondes sont magasinées dans un support de sondes du robot pour être mise en œuvre par l'intermédiaire d'un même bras articulé.
Pour réaliser l'examen non destructif, le bras articulé, piloté par les moyens de traitement du robot ou par un opérateur du centre de contrôle 50 ayant choisi de télécommander l'examen, vient saisir la sonde voulue pour un examen donné, par tout type de moyen de préhension et de raccordement à l'instrument de mesure auquel doit être raccordée la sonde, puis applique/oriente la sonde sur/vers la zone à contrôler en assurant les déplacements souhaités pour ladite sonde, et, lorsque le contrôle a été réalisé et que les moyens de traitement et ou l'opérateur à distance considèrent avoir obtenu les données nécessaires à l'inspection, le bras articulé replace la sonde dans le support de sondes.
Suivant les résultats de l'examen transmis au centre de contrôle 50, le cas échéant avec un diagnostic réalisé par les moyens de traitement 22, et sous réserve des instructions reçues dudit centre de contrôle, le robot 10 poursuit l'inspection.
Lorsque l'inspection de l'aéronef ou de la partie d'aéronef confiée au robot 10 est terminée, ledit robot retourne sur un poste d'attente 30 lors d'une sixième étape 270, avantageusement un poste d'attente assurant une protection dudit robot pour éviter son endommagement par les différents véhicules et aéronefs circulant sur la plate-forme aéroportuaire, et de préférence une position où ledit robot se raccorde à une source d'énergie lui permettant par exemple de procéder à la recharge de ses batteries d'accumulation électrique s'il en est pourvu.
Dans une forme de réalisation, le poste d'attente 30 est pourvu de moyen de communication 31 à courte distance avec le robot, le cas échéant de connections filaires, pour permettre des échanges d'informations rapides et avec peu de risques d'interférences entre le centre de contrôle 50, par exemple pour transmettre l'ensemble des données collectées lors de l'inspection en vu d'un stockage des dites données et d'un éventuel traitement différé.
De tels moyens peuvent également être mis en œuvre dans la première étape 210 lorsque le robot 10 charge les informations utiles pour sa prochaine inspection.
Dans une forme de réalisation et de mise en œuvre, les données transmises par le robot 10 au centre de contrôle 50 pendant l'inspection visuelle peuvent être reçues par un équipement du poste de pilotage de sorte qu'un membre de l'équipage technique a la possibilité de suivre le déroulement de l'inspection et d'apprécier les anomalies détectées.
Dans une variante de ce mode de réalisation, des moyens de commande du robot sont agencés dans le poste de pilotage pour intervenir sur le déroulement de l'inspection.
Avantageusement, malgré les possibilités d'intervention à distance sur le robot pendant l'inspection visuelle, le robot reprend l'inspection de sorte que toutes les exigences nominalement prévues pour une inspection soient remplies avant de pouvoir déclarer l'inspection terminée.
Dans ce cas, un "voyant" présentant le statut de l'inspection reste "rouge" tant que toutes les exigences n'ont pas été remplies, le cas échéant "orange" si seulement des exigences jugées accessoires par le responsable de l'inspection n'ont pas été réalisées.
Lors de ses déplacements, tant pendant l'inspection que pour se rendre à l'emplacement de l'inspection que pour quitter ledit emplacement, le robot 10 assure une sécurité pour éviter des collisions avec des personnes ou des objets fixes ou animés pouvant se trouver dans son environnement proche. Par exemple le robot 10 met en œuvre ses moyens de visualisation 13 pour détecter les objets avec lesquels peuvent se produire une collision. Le robot peut également comporter des moyens spécifiquement dédiés à la détection de tels objets.
Lorsque les moyens de traitement 22 identifient ou sont avertis d'un risque de collision, lesdits moyens commandent les mouvements de la plate¬ forme pour éviter la collision, le cas échéant en émettant un signal sonore et ou lumineux ou autre pour alerter une personne pouvant se trouver impliquée dans la collision potentielle.
Avantageusement les moyens de traitement assurent un guidage de la plateforme de manière autonome pour éviter le risque de collision en utilisant les techniques connues de localisation par rapport à un environnement dont ils reconstituent les caractéristiques, par exemple en utilisant une méthode SLAM (Simultaneous Localization and Map Building).
Suivant le mode de mise en œuvre tel qu'il vient d'être décrit un seul robot 10 réalise l'inspection visuelle de l'avion 90.
Dans un autre mode de mise en œuvre du procédé d'inspection visuelle, le robot 10 réalise des inspections visuelles partielles en combinaison avec des inspections partielles réalisées par d'autres robots similaires ou spécialisés.
Par exemple plusieurs robots peuvent être mis en œuvre, solution non illustrée, pour inspecter différentes parties de l'aéronef de sorte qu'une inspection complète peut être réalisée dans une durée réduite.
Dans ce cas il est par exemple mis en œuvre deux robots identiques, ou plus, pour réaliser l'inspection visuelle d'un côté droit de l'aéronef et d'un côté gauche de l'aéronef, et ou d'une partie avant et d'une partie arrière.
Dans ce cas les inspections réalisées par deux robots sont par exemple synchronisées afin, par exemple, d'obtenir des données comparatives entre deux zones de l'aéronef telle qu'une zone du côté droit et une zone théoriquement symétrique du côté gauche de sorte à identifier ou à confirmer la présence d'une anomalie.
Il peut également être mis en œuvre des robots avec des possibilités différentes, par exemple adaptées à des parties de l'avion pour lesquelles il est nécessaire de mettre en œuvre des moyens de visualisation particuliers, par exemple en raison de leurs hauteurs, tel qu'une dérive d'un avion, ou de leurs formes, tels que des entrées d'air ou des sorties de tuyères de moteurs. Dans une forme particulière de réalisation mettant en œuvre des moyens de contrôle non destructifs, tout ou partie des moyens de contrôle non destructifs sont portés par au moins un robot de contrôle dont la plate-forme mobile est indépendante du robot 10 d'inspection visuelle.
Dans ce cas, le robot de contrôle est commandé par le robot 10 d'inspection visuelle qui, lorsqu'il a identifié une zone devant faire l'objet d'un contrôle non destructif, envoie un ordre d'intervention au robot de contrôle avec l'ensemble des données nécessaires audit robot de contrôle pour réaliser le contrôle demandé, en particulier l'emplacement exact sur l'aéronef de la zone à contrôler et son étendue et le type de contrôle souhaitée. Lorsque le robot de contrôle a réalisé le contrôle demandé il transmet au robot d'inspection visuelle les données obtenues par le contrôle, éventuellement traitée pour fournir une interprétation du contrôle, et ledit robot de contrôle se place dans une position d'attente.
La mise en œuvre d'un robot de contrôle séparé nécessite la réalisation d'une plate-forme mobile spécifique pour ce robot de contrôle mais permet de simplifier le robot d'inspection visuelle, d'en diminuer le coût et d'en augmenter l'agilité.
En outre un même robot de contrôle, lequel n'est destiné à intervenir qu'occasionnellement et sur demande d'un robot d'inspection visuelle, peut servir plusieurs robots d'inspection visuelle, des règles de priorité gérant les conflits potentiels si deux robots d'inspection visuelle sollicitent le robot de contrôle en même temps.
Dans une forme de réalisation, différents types de robots de contrôle sont mis en œuvre, par exemple un robot pour réaliser des contrôles par ultrasons et un autre robot pour réaliser des contrôles par courant de Foucault. Il est dans cette forme obtenu des robots de contrôle plus ou moins spécialisés dont les performances peuvent être adaptées à chacun des types de contrôle.
L'exemple de robot 10 d'inspection visuelle décrit dans l'exemple de réalisation est un robot se déplaçant au sol, toutefois d'autres types de robots, par exemple des robots en sustentation, peuvent être mis en œuvre le cas échéant en combinaison avec un ou des robots au sol.
Dans une forme de réalisation du robot 10, ledit robot comporte des moyens, par exemple porté par un bras articulé, pour ouvrir et refermer des portes de la surface de l'avion donnant accès depuis l'extérieur de l'aéronef 90 à des prises ou à des indicateurs de sorte que le robot 10 est en mesure de refermer une porte laissé ouverte par erreur, ou d'ouvrir une porte pour effectuer un contrôle visuel d'un logement et refermer ladite porte du logement.
Il est ainsi possible de réaliser avec un robot 10 d'inspection visuelle, ou avec un nombre réduit de robots d'inspection, une inspection visuelle d'un aéronef, par exemple un avion, dans un environnement non spécifique, par exemple sur un emplacement de parking d'un aéroport.
L'inspection est réalisée de manière collaborative entre le robot 10 et l'opérateur distant responsable de l'inspection auquel ledit robot retourne l'ensemble des résultats de l'inspection visuelle, le cas échéant de résultats de contrôles non destructifs d'une zone présentant une anomalie détectée visuellement, et duquel il attend des instructions chaque fois qu'une anomalie est détectée et qu'une décision nécessite l'intervention de l'opérateur auquel sont présentées les images et toutes les caractéristiques ayant pu être mesurées de l'anomalie.
Suivant le dispositif et la méthode d'inspection visuelle, l'opérateur responsable de l'inspection visuelle reste totalement maître de la décision de déclarer l'absence d'anomalie affectant l'utilisation opérationnelle de l'aéronef inspecté avec la possibilité d'intervenir à distance sur le robot pour obtenir toutes les informations, en particulier les images de zones douteuses, pour prendre une décision rapide et adaptée au cas d'espèce.
Le centre de contrôle duquel opère le responsable de l'inspection peut être distant du lieu de l'inspection visuelle, par exemple un responsable d'inspection visuel peut être situé dans un centre de maintenance de l'exploitant de l'aéronef et superviser des inspections visuelles sur des aéroports dans le monde entier en utilisant en particulier les liaisons numériques possibles par lignes terrestres, par réseaux radio terrestre et par réseaux radio satellite.

Claims

REVENDICATIONS
Dispositif d'inspection visuelle (100) des surfaces extérieures d'un aéronef (90) comportant une aire d'inspection destinée à recevoir un aéronef caractérisé en ce que ledit dispositif d'inspection visuelle comporte au moins un robot (10) d'inspection visuelle dont une plate-forme mobile (11) porte une tourelle (12) avec des moyens de visualisation (13) et comporte des moyens de traitement (20) réalisant un guidage de la plate-forme mobile (11) et un traitement des informations reçues des moyens de visualisation (13), caractérisé en ce que ledit dispositif d'inspection visuelle (100) comporte un centre de contrôle (50) avec un poste pour au moins un opérateur de contrôle, et caractérisé en ce que les moyens de traitement (22) du robot d'inspection visuelle sont adaptés pour :
piloter le robot (10) d'inspection visuelle de manière autonome lors d'une inspection visuelle des surfaces extérieures d'un aéronef (90) stationné sur l'aire d'inspection ;
interrompre une inspection visuelle en cours en cas de détection d'une anomalie sur la surface extérieure d'un aéronef en cours d'inspection ;
transmettre des informations d'inspection visuelle au centre de contrôle ;
recevoir des instructions du centre de contrôle pour les suites à donner à une inspection visuelle.
Dispositif d'inspection visuelle suivant la revendication 1 dans lequel le robot d'inspection visuelle comporte des moyens pour déterminer à tout instant au cours d'une inspection une position dudit robot d'inspection visuelle et une orientation des moyens de visualisation dans un système d'axes lié à l'aéronef.
Dispositif d'inspection visuelle suivant la revendication 2 dans lequel les moyens de traitement du robot sont adaptés pour déterminer la position du robot et l'orientation des moyens de visualisation par un traitement d'images de l'aéronef à inspecter obtenues par les moyens de visualisation.
Dispositif d'inspection visuelle suivant la revendication 2 ou la revendication 3 dans lequel le robot d'inspection visuelle comporte des moyens de localisation absolus, tels que récepteur GPS, optométrie ou télémètres laser pointant des cibles de référence, et ou des moyens d'intégration de ses déplacements.
Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de traitement comportent des moyens de stockage de données comportant, au moins temporairement, des caractéristiques, en particulier géométriques et graphiques, d'un aéronef à inspecter. 6 - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de traitement comportent des moyens de stockage de données comportant des caractéristiques d'anomalies, par exemple dans une bibliothèque d'anomalies. 7 - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de traitement comportent des algorithmes de traitement d'images pour détecter sur des images transmises par les moyens de visualisation des anomalies visibles par les dits moyens de visualisation dans une longueur d'onde du spectre optique.
8 - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de visualisation comportent des moyens d'éclairage dans une lumière du domaine visible et ou dans le domaine de l'infrarouge et ou dans le domaine de l'ultraviolet.
9 - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de visualisation et les moyens de traitement sont configurés pour déterminer une forme tridimensionnelle des surfaces extérieures inspectées de l'aéronef. - Dispositif d'inspection visuelle suivant l'une des revendications précédentes comportant des moyens de contrôle non destructif de la structure de l'aéronef inspecté. - Dispositif d'inspection visuelle suivant la revendication 10 dans lequel tout ou partie des moyens de contrôle non destructif sont portés par le robot d'inspection visuelle. - Dispositif d'inspection visuelle suivant la revendication 10 ou la revendication 11 dans lequel tout ou partie des moyens de contrôle non destructif sont porté par au moins un robot de contrôle dont le comportement est commandé par le robot d'inspection visuelle. - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de visualisation sont orientables en site et en azimut par rapport à un référentiel de la plate-forme du robot d'inspection visuelle. - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel les moyens de traitement sont configurés pour déterminer une position d'un défaut détecté sur un aéronef par rapport à des éléments de la structure interne dudit aéronef, non visibles depuis l'extérieur de l'aéronef. - Dispositif d'inspection visuelle suivant l'une des revendications précédentes dans lequel le robot d'inspection est un robot se déplaçant par roulement sur un sol de l'aire d'inspection ou se déplaçant par sustentation dans un volume dont l'empreinte au sol correspond sensiblement à l'aire d'inspection. 16 - Dispositif d'inspection visuelle suivant l'une des revendications précédentes comportant une pluralité de robots d'inspection configurés pour réaliser conjointement une inspection visuelle d'un même aéronef. 17- Procédé d'inspection visuelle d'un aéronef dans lequel des images d'une surface extérieure de l'aéronef à inspecté sont transmises à des moyens de traitement d'un robot d'inspection visuelle, dans lequel les moyens de traitement analyse les images pour identifier la présence d'éventuelles anomalies visibles, caractérisé en ce que lorsqu'une anomalie visible est détectée, les données relatives à l'anomalie détectée sont transmises à un centre de contrôle et en ce que l'inspection visuelle est interrompue, au moins lorsque les moyens de traitement identifient une anomalie appartenant à une catégorie d'anomalies considérées comme critiques. 18 - Procédé d'inspection visuelle suivant la revendication 17 dans lequel lorsque l'inspection est interrompue en raison de la détection d'une anomalie, des instructions sont transmises aux robots d'inspection visuelle par le centre de contrôle pour la poursuite de l'inspection visuelle, lesdites instructions déterminant comment le robot doit poursuivre l'inspection.
19 - Procédé d'inspection visuelle suivant la revendication 17 ou la revendication
18 dans lequel une amplitude d'une anomalie visible est calculée par les moyens de traitement à partir de moyens optiques de mesure de déformations et ou par une analyse colorimétrique dans le domaine visible, et ou infrarouge, et ou ultraviolet du spectre lumineux.
20 - Procédé d'inspection visuelle suivant l'une des revendications 17 à 19 dans lequel lorsqu'une anomalie est détectée visuellement, une zone affectée par l'anomalie visible est soumise à un contrôle non destructif par le robot d'inspection visuelle ou par un robot de contrôle non destructif commandé par le robot d'inspection visuelle.
PCT/EP2014/072785 2013-10-24 2014-10-23 Robot collaboratif d'inspection visuelle d'un aéronef WO2015059241A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/030,845 US9952593B2 (en) 2013-10-24 2014-10-23 Collaborative robot for visually inspecting an aircraft
EP14787189.1A EP3060480A1 (fr) 2013-10-24 2014-10-23 Robot collaboratif d'inspection visuelle d'un aéronef
CN201480068755.3A CN105873825B (zh) 2013-10-24 2014-10-23 用于对飞行器进行可视化检查的协作式机器人

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1360395A FR3012425B1 (fr) 2013-10-24 2013-10-24 Robot collaboratif d'inspection visuelle d'un aeronef
FR1360395 2013-10-24

Publications (1)

Publication Number Publication Date
WO2015059241A1 true WO2015059241A1 (fr) 2015-04-30

Family

ID=50489156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/072785 WO2015059241A1 (fr) 2013-10-24 2014-10-23 Robot collaboratif d'inspection visuelle d'un aéronef

Country Status (5)

Country Link
US (1) US9952593B2 (fr)
EP (1) EP3060480A1 (fr)
CN (1) CN105873825B (fr)
FR (1) FR3012425B1 (fr)
WO (1) WO2015059241A1 (fr)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027955A (zh) * 2016-04-27 2016-10-12 中国科学院上海高等研究院 一种用于辅助飞机检查与远程故障诊断的图像采集系统
GB2538231A (en) * 2015-05-07 2016-11-16 Airbus Operations Ltd Method and apparatus for aircraft inspection
FR3037429A1 (fr) * 2015-06-15 2016-12-16 Matthieu Claybrough Systeme et procede d'inspection automatique de surface
WO2016207627A3 (fr) * 2015-06-22 2017-02-16 Q-Bot Limited Véhicule robotisé
EP3163293A1 (fr) * 2015-10-28 2017-05-03 Airbus Defence and Space GmbH Procédé de détection de résidus de surface sur des composants à l'aide du rayonnement uv
WO2017121936A1 (fr) * 2016-01-14 2017-07-20 Donecle Procédé et système de détermination de la position d'un engin mobile
ITUA20161534A1 (it) * 2016-03-10 2017-09-10 Wpweb Srl Procedimento per analizzare un velivolo, relativo sistema di analisi di un velivolo e sistema di sghiacciamento e/o antigelo
FR3063488A1 (fr) * 2017-03-06 2018-09-07 Nexeya France Dispositif d'eclairage de l'interieur d'un aeronef
US10112302B2 (en) 2014-09-03 2018-10-30 Dyson Technology Limited Mobile robot
US10144342B2 (en) 2014-09-03 2018-12-04 Dyson Technology Limited Mobile robot
WO2018229391A1 (fr) * 2017-06-15 2018-12-20 Donecle Plateforme de commande et de suivi des inspections de surfaces d'objets par des robots d'inspection et système d'inspection mettant en oeuvre une telle plateforme
CN111942615A (zh) * 2020-07-31 2020-11-17 中国民航大学 基于机器视觉的室外环境下飞机外表面雷击状况检查车
CN111965259A (zh) * 2020-08-19 2020-11-20 深圳职业技术学院 基于声波的故障检测及巡检系统
JP2022081591A (ja) * 2016-06-10 2022-05-31 ザ・ボーイング・カンパニー マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10377509B2 (en) * 2014-09-19 2019-08-13 Raytheon Company Dynamic testing of attitude determination and control systems, reaction wheel and torque rods using automotive robotic techniques
FR3035510B1 (fr) * 2015-04-21 2018-10-26 Airbus Group Sas Moyen acoustique de detection, de localisation et d'evaluation automatique d'impacts subis par une structure
US9964398B2 (en) 2015-05-06 2018-05-08 Faro Technologies, Inc. Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
DE102015120660A1 (de) * 2015-11-27 2017-06-01 Airbus Defence and Space GmbH Luftfahrzeuginspektionssystem
US10053236B1 (en) * 2016-03-28 2018-08-21 Amazon Technologies, Inc. Automated aerial vehicle inspections
US9823089B1 (en) 2016-06-21 2017-11-21 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration as part of departure from a materials handling facility
US10220964B1 (en) * 2016-06-21 2019-03-05 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration validation before flight
US10170011B2 (en) * 2016-07-26 2019-01-01 International Business Machines Corporation Guide drones for airplanes on the ground
US9987971B2 (en) 2016-07-29 2018-06-05 International Business Machines Corporation Drone-enhanced vehicle external lights
US10820574B2 (en) 2016-07-29 2020-11-03 International Business Machines Corporation Specialized contextual drones for virtual fences
CN106370602A (zh) * 2016-08-31 2017-02-01 纳路易爱姆斯株式会社 利用无人机的大型结构物超声波检查方法及系统
JP6698479B2 (ja) * 2016-09-06 2020-05-27 シャープ株式会社 自律走行装置
KR102559745B1 (ko) * 2016-10-13 2023-07-26 엘지전자 주식회사 공항 로봇 및 그를 포함하는 공항 로봇 시스템
US20180114302A1 (en) * 2016-10-23 2018-04-26 The Boeing Company Lightning strike inconsistency aircraft dispatch mobile disposition tool
WO2018104794A1 (fr) * 2016-12-07 2018-06-14 Abb Schweiz Ag Système et procédé de gestion et de représentation graphique de données obtenues par un véhicule d'inspection
US10954001B2 (en) 2017-02-23 2021-03-23 The Boeing Company Hanging clamped supports for aircraft
US10445873B2 (en) * 2017-02-23 2019-10-15 The Boeing Company Automated validation of condition of assembly
US10497110B2 (en) * 2017-02-23 2019-12-03 The Boeing Company Identifying a pathway for condition of assembly validation
US10682677B2 (en) * 2017-05-10 2020-06-16 General Electric Company System and method providing situational awareness for autonomous asset inspection robot monitor
KR101867553B1 (ko) * 2017-07-21 2018-06-14 노진석 드론 관리 장치 및 방법
CN107688345B (zh) * 2017-08-29 2019-04-19 平安科技（深圳）有限公司 屏幕状态自动检测机器人、方法及计算机可读存储介质
DE102017120923A1 (de) 2017-09-11 2019-03-14 Airbus Operations Gmbh Verbindungseinrichtung und Installationssystem
US10810501B1 (en) 2017-10-20 2020-10-20 Amazon Technologies, Inc. Automated pre-flight and in-flight testing of aerial vehicles by machine learning
US10989795B2 (en) 2017-11-21 2021-04-27 Faro Technologies, Inc. System for surface analysis and method thereof
US20190155237A1 (en) * 2017-11-21 2019-05-23 Deere & Company Remote control of multiple different machines
US11486697B1 (en) * 2017-12-29 2022-11-01 II John Tyson Optical structural health monitoring
US20200340802A1 (en) * 2017-12-29 2020-10-29 II John Tyson Optical structural health monitoring
US10346969B1 (en) 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
CN108363409A (zh) * 2018-02-01 2018-08-03 沈阳无距科技有限公司 无人机巡检控制方法、装置及系统
US11238675B2 (en) * 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
US10830889B2 (en) 2018-05-02 2020-11-10 Faro Technologies, Inc. System measuring 3D coordinates and method thereof
US10800550B2 (en) * 2018-06-21 2020-10-13 The Boeing Company Positioning enhancements to localization process for three-dimensional visualization
US10974396B2 (en) * 2018-06-22 2021-04-13 Southwest Research Institute Robotic system for surface treatment of vehicles
WO2020031718A1 (fr) * 2018-08-08 2020-02-13 ソニー株式会社 Dispositif de commande, procédé de commande et programme
CN109079795B (zh) * 2018-09-25 2023-10-20 广州供电局有限公司 具有视觉识别功能的巡检机器人
CN109358058B (zh) * 2018-10-10 2021-11-19 中石化（洛阳）科技有限公司 管道状态检测系统和方法
CN109856471A (zh) * 2018-12-09 2019-06-07 北京航天计量测试技术研究所 一种多参数接口匹配和验证系统
US11220356B2 (en) * 2019-01-02 2022-01-11 The Boeing Company Non-destructive inspection using unmanned aerial vehicle
US10611497B1 (en) 2019-02-18 2020-04-07 Amazon Technologies, Inc. Determining vehicle integrity using vibrometric signatures
US10861164B1 (en) 2019-03-28 2020-12-08 Amazon Technologies, Inc. Visually determining vibrometric behavior of aerial vehicles
CN110027729A (zh) * 2019-05-09 2019-07-19 西北工业大学 一种无人机动力装置系统快速检测方法
US11079303B1 (en) * 2019-06-11 2021-08-03 Amazon Technologies, Inc. Evaluating joints using vibrometric signatures
GB2584914A (en) * 2019-06-28 2020-12-23 Airbus Operations Ltd Autonomous mobile aircraft inspection system
JP7002501B2 (ja) * 2019-07-29 2022-01-20 Ｉｈｉ運搬機械株式会社 無人飛行機の状態確認装置および状態確認方法
CN110641732A (zh) * 2019-09-29 2020-01-03 蚌埠和能信息科技有限公司 一种两自由度微型飞行器测试平台
CN110654571B (zh) * 2019-11-01 2023-10-20 西安航通测控技术有限责任公司 一种飞机蒙皮表面缺陷无损检测机器人系统及方法
US11794222B1 (en) 2019-11-27 2023-10-24 Amazon Technologies, Inc. Passive brushes for cleaning surfaces in the presence of acoustic excitation
US11461929B2 (en) * 2019-11-28 2022-10-04 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for automated calibration
CN111050079B (zh) * 2019-12-27 2021-09-14 成都睿铂科技有限责任公司 一种基于无人机的航拍方法
CN111634442B (zh) * 2020-06-03 2022-07-29 西北工业大学 一种用于飞机装配质量检测的悬挂式机器人结构
CN111846275B (zh) * 2020-07-10 2021-11-23 杭州天为航空技术服务有限公司 一种航空器清洁管理系统
CN111830872B (zh) * 2020-07-17 2022-02-25 珠海格力智能装备有限公司 机器人的控制方法、装置、存储介质和处理器
CN113844675A (zh) * 2020-12-30 2021-12-28 上海飞机制造有限公司 一种检测系统和控制方法
US11752631B2 (en) 2021-02-09 2023-09-12 Ford Global Technologies, Llc Fleet inspection and maintenance mobile robot
CN112884733A (zh) * 2021-02-09 2021-06-01 北京首都机场节能技术服务有限公司 一种用于对飞行器的表面进行缺陷识别的方法和系统
US20220309644A1 (en) * 2021-03-24 2022-09-29 The Boeing Company Automated assessment of aircraft structure damage
CN113264200A (zh) * 2021-04-14 2021-08-17 泛博科技(中山)有限公司 一种航空智能自检多场景通用无人车系统
CN113740185A (zh) * 2021-08-16 2021-12-03 中国飞机强度研究所 一种飞机疲劳试验中飞机内舱结构损伤巡检架构
US20230405818A1 (en) * 2022-06-21 2023-12-21 Wilder Systems Inc. Robotic vehicle decontaminator
KR102613005B1 (ko) * 2023-06-07 2023-12-11 (주)위플로 비행체 점검용 로봇 및 이를 이용한 비행체의 점검 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030089183A1 (en) * 2001-11-13 2003-05-15 Jacobsen Robert A. Apparatus and method for non-destructive inspection of large structures
US20100235037A1 (en) * 2009-03-16 2010-09-16 The Boeing Company Autonomous Inspection and Maintenance
DE102009015648A1 (de) * 2009-03-31 2010-12-30 Lufthansa Technik Ag Anordnung zur Durchführung von Wartungsarbeiten an Flugzeugen
US20120081540A1 (en) * 2010-10-04 2012-04-05 The Boeing Company Automated visual inspection system
WO2012050803A2 (fr) * 2010-09-29 2012-04-19 Aerobotics, Inc. Nouveaux systèmes et procédés pour l'inspection non destructrice d'avions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8833169B2 (en) * 2011-12-09 2014-09-16 General Electric Company System and method for inspection of a part with dual multi-axis robotic devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030089183A1 (en) * 2001-11-13 2003-05-15 Jacobsen Robert A. Apparatus and method for non-destructive inspection of large structures
US20100235037A1 (en) * 2009-03-16 2010-09-16 The Boeing Company Autonomous Inspection and Maintenance
DE102009015648A1 (de) * 2009-03-31 2010-12-30 Lufthansa Technik Ag Anordnung zur Durchführung von Wartungsarbeiten an Flugzeugen
WO2012050803A2 (fr) * 2010-09-29 2012-04-19 Aerobotics, Inc. Nouveaux systèmes et procédés pour l'inspection non destructrice d'avions
US20120081540A1 (en) * 2010-10-04 2012-04-05 The Boeing Company Automated visual inspection system

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10112302B2 (en) 2014-09-03 2018-10-30 Dyson Technology Limited Mobile robot
AU2015310724B2 (en) * 2014-09-03 2019-01-03 Dyson Technology Limited A mobile robot
US10144342B2 (en) 2014-09-03 2018-12-04 Dyson Technology Limited Mobile robot
GB2538231A (en) * 2015-05-07 2016-11-16 Airbus Operations Ltd Method and apparatus for aircraft inspection
FR3037429A1 (fr) * 2015-06-15 2016-12-16 Matthieu Claybrough Systeme et procede d'inspection automatique de surface
WO2016203151A1 (fr) * 2015-06-15 2016-12-22 Donecle Système et procédé d'inspection automatique de surface
US10377485B2 (en) 2015-06-15 2019-08-13 Donecle System and method for automatically inspecting surfaces
IL255814A (en) * 2015-06-15 2018-01-31 Donecle System and method for automatic inspection of surfaces
CN107709158A (zh) * 2015-06-15 2018-02-16 多尼克公司 用于自动检查表面的系统和方法
WO2016207627A3 (fr) * 2015-06-22 2017-02-16 Q-Bot Limited Véhicule robotisé
US10875044B2 (en) 2015-06-22 2020-12-29 Q-Bot Limited Controller for a robotic device for applying an insulating layer
EP3163293A1 (fr) * 2015-10-28 2017-05-03 Airbus Defence and Space GmbH Procédé de détection de résidus de surface sur des composants à l'aide du rayonnement uv
WO2017121936A1 (fr) * 2016-01-14 2017-07-20 Donecle Procédé et système de détermination de la position d'un engin mobile
FR3046848A1 (fr) * 2016-01-14 2017-07-21 Donecle Procede et systeme de determination de la position d'un engin mobile
WO2017153912A1 (fr) * 2016-03-10 2017-09-14 Wpweb S.R.L. Procédé d'analyse d'aéronef, système correspondant d'analyse d'aéronef, et système de dégivrage et/ou anti-givrage
ITUA20161534A1 (it) * 2016-03-10 2017-09-10 Wpweb Srl Procedimento per analizzare un velivolo, relativo sistema di analisi di un velivolo e sistema di sghiacciamento e/o antigelo
CN106027955A (zh) * 2016-04-27 2016-10-12 中国科学院上海高等研究院 一种用于辅助飞机检查与远程故障诊断的图像采集系统
JP2022081591A (ja) * 2016-06-10 2022-05-31 ザ・ボーイング・カンパニー マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御
JP7381632B2 (ja) 2016-06-10 2023-11-15 ザ・ボーイング・カンパニー マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御
FR3063488A1 (fr) * 2017-03-06 2018-09-07 Nexeya France Dispositif d'eclairage de l'interieur d'un aeronef
WO2018229391A1 (fr) * 2017-06-15 2018-12-20 Donecle Plateforme de commande et de suivi des inspections de surfaces d'objets par des robots d'inspection et système d'inspection mettant en oeuvre une telle plateforme
FR3067634A1 (fr) * 2017-06-15 2018-12-21 Donecle Plateforme de commande et de suivi des inspections de surfaces d'objets predetermines par des robots d'inspection et systeme d'inspection mettant en oeuvre une telle plateforme
CN111942615A (zh) * 2020-07-31 2020-11-17 中国民航大学 基于机器视觉的室外环境下飞机外表面雷击状况检查车
CN111965259A (zh) * 2020-08-19 2020-11-20 深圳职业技术学院 基于声波的故障检测及巡检系统
CN111965259B (zh) * 2020-08-19 2021-05-07 深圳职业技术学院 基于声波的故障检测及巡检系统

Also Published As

Publication number Publication date
EP3060480A1 (fr) 2016-08-31
FR3012425B1 (fr) 2017-03-24
US20160264262A1 (en) 2016-09-15
CN105873825B (zh) 2018-11-09
FR3012425A1 (fr) 2015-05-01
US9952593B2 (en) 2018-04-24
CN105873825A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
WO2015059241A1 (fr) Robot collaboratif d'inspection visuelle d'un aéronef
US10934023B2 (en) Image recognition for vehicle safety and damage inspection
EP3308232B1 (fr) Système et procédé d'inspection automatique de surface
CN110418957B (zh) 对具有运行机构的设施进行状态监控的方法和装置
JP5873500B2 (ja) 自動目視検査システム
US11494888B2 (en) Work terminal, oil leakage detection apparatus, and oil leakage detection method
Liu et al. Framework for automated UAV-based inspection of external building façades
JP2022151763A (ja) 航空機構造体の損傷の自動評価
EP1936330B1 (fr) Procédé et système de traitement et de visualisation d'images de l'environnement d'un aéronef
EP2193477B1 (fr) Procede et systeme d'aide au roulage d'un aeronef
EP4229356A1 (fr) Boîtier de capteurs infrarouge et de vision hyperspectrale passive d'imagerie stéréoscopique mixte et de cartographie thermique
Wojciechowski et al. Detection of Critical Infrastructure Elements Damage with Drones
AU2021278260B2 (en) Method for the machine-based determination of the functional state of support rollers of a belt conveyor system, computer program and machine-readable data carrier
US11834065B2 (en) System, method, and computer program product for detecting road marking points from LiDAR data
EP3492393B1 (fr) Système et procédé de détection automatisée de bruit de fuite dans un aéronef
US20240054621A1 (en) Removing reflection artifacts from point clouds
CA3162616A1 (fr) Procede de controle d'une pluralite de stations de controle d'un aeronef et systeme de controle associe
US20240054731A1 (en) Photogrammetry system for generating street edges in two-dimensional maps
US20240054789A1 (en) Drone data collection optimization for evidence recording
FR3067634A1 (fr) Plateforme de commande et de suivi des inspections de surfaces d'objets predetermines par des robots d'inspection et systeme d'inspection mettant en oeuvre une telle plateforme
CN117647526A (zh) 一种风力发电机叶片表面缺陷检测方法及装置
CN116476888A (zh) 一种地铁隧道病害识别检测装置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14787189

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15030845

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014787189

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014787189

Country of ref document: EP