WO2021089539A1 - Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee - Google Patents

Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee Download PDF

Info

Publication number
WO2021089539A1
WO2021089539A1 PCT/EP2020/080807 EP2020080807W WO2021089539A1 WO 2021089539 A1 WO2021089539 A1 WO 2021089539A1 EP 2020080807 W EP2020080807 W EP 2020080807W WO 2021089539 A1 WO2021089539 A1 WO 2021089539A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
aircraft
landing
sensor
pilot
Prior art date
Application number
PCT/EP2020/080807
Other languages
English (en)
Inventor
Thierry Ganille
Jean-Emmanuel HAUGEARD
Pierre-Yves Dumas
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to US17/775,225 priority Critical patent/US20220373357A1/en
Priority to EP20797523.6A priority patent/EP4055343A1/fr
Publication of WO2021089539A1 publication Critical patent/WO2021089539A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G01C23/005—Flight directors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G01S13/934—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft on airport surfaces, e.g. while taxiing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to the field of landing assistance systems for aircraft based on on-board imaging cameras or sensors.
  • the invention more specifically addresses the problem of assisting the landing of aircraft in difficult weather conditions, in particular conditions of reduced or degraded visibility, in the event of fog for example.
  • a decision height (DH) is 60.96 meters (200 ft) and a decision altitude (DA) of the altitude of the runway is + 60.96 meters (+ 200 ft).
  • ILS Instrument Landing System
  • the ILS system is based on several radio frequency equipment installed on the ground, at the level of the landing strip, and a compatible instrument placed on board the aircraft.
  • the use of such a guidance system requires expensive equipment and specific pilot qualification.
  • it cannot be installed at all airports. This system is only present at the main airports because its cost makes it unacceptable to install it at the others.
  • new technologies based on satellite positioning systems will probably replace ILS systems in the future.
  • a so-called synthetic visualization solution SVS (Synthetic Vision System” in English) makes it possible to display a terrain and the landing runways from the position of the aircraft supplied by a GPS and from its attitude supplied by its inertial unit.
  • SVS synthetic Vision System
  • the uncertainty on the position of the aircraft as well as the precision of the positions of the runways which are stored in the databases prohibit the use of an SVS in critical phases where the aircraft is close to the ground such as the landing and take-off.
  • SVGS solutions Synthetic Vision with Guidance System” in English
  • adding certain controls to an SVS allow a limited reduction in landing minima (the DH decision height is reduced by 15.24 meters (50 ft) only on ILS SA CAT I approaches).
  • EVS augmented vision
  • EFVS Enhanced (Flight) Vision System
  • This solution uses electro-optical, infrared or radar sensors to film the airport environment during the landing of an aircraft.
  • the principle is to use sensors that are more efficient than the pilot's eye in degraded weather conditions, and to embed the information collected by the sensors in the pilot's field of vision, through a head-up display or on the visor of the pilot 'a helmet worn by the pilot.
  • This technique is essentially based on the use of sensors to detect the radiation from the lamps arranged along the runway and on the approach ramp.
  • Incandescent lamps produce visible light, but they also emit in the infrared range. Sensors in the infrared range make it possible to detect this radiation and the detection range is better than that of humans in the visible range, during degraded weather conditions. An improvement in visibility therefore makes it possible to a certain extent to improve the approach phases and limit abandoned approaches.
  • this technique is based on parasitic infrared radiation from the lamps present in the vicinity of the runway. For the sake of lamp durability, the current trend is to replace incandescent lamps with LED lamps. The latter have a less extensive spectrum in the infrared range. A side effect is therefore to cause technical obsolescence of EVS systems based on infrared sensors.
  • infrared sensors An alternative to infrared sensors is the obtaining of images by a radar sensor, in centimeter or millimeter band. Certain frequency bands chosen outside the peaks of water vapor absorption have very low sensitivity to severe weather conditions. Such sensors therefore make it possible to produce an image through fog, for example. However, even though these sensors have fine range resolution, they exhibit much coarser angular resolution than optical solutions. The resolution is directly related to the size of the antennas used, and it is often too coarse to obtain precise positioning of the airstrip at a sufficient distance to perform the realignment maneuvers.
  • Figure 1 illustrates a landing phase piloting symbology for a head-up display of an EVS system. The conformity of symbols depends primarily on the accuracy of the aircraft attitude data.
  • An object of the invention is to overcome the drawbacks of the known techniques by meeting the aforementioned needs by a solution for assisting the landing of aircraft, in particular an aid in visual identification for the pilot before reaching decision height. (DH) or decision altitude (DA).
  • DH decision height
  • DA decision altitude
  • a computer-implemented method for assisting aircraft landing in conditions of degraded visibility comprising at least the steps of:
  • the data reception step consists of receiving data from a sensor on board the aircraft and looking forward, said sensor being chosen from the group of FLIR piloting type sensors, multispectral camera ,
  • the step of determining data of interest consists in executing an artificial intelligence algorithm on the received sensor data, the algorithm implementing an artificial intelligence model trained for image processing, obtained during a learning phase through deep learning.
  • - deep learning is based on convolutional neural networks.
  • the step of calculating a target area consists in determining, from the characteristics of the sensor and the attitude of the aircraft corresponding to the sensor data, the heading and elevation coordinates of the target area.
  • the method comprises after the step of calculating a target area, a step of sending the coordinates of the target area to the head-up display device.
  • the coordinates of the target area correspond to two opposite corners of a rectangle surrounding the data of interest characteristic of said landing runway and / or said approach ramp, and in which the compliant symbol which is displayed is said surrounding rectangle.
  • the head-up display step consists in displaying the framing symbol on a fixed head-up screen in the cockpit and / or on a head-up screen worn by the pilot.
  • the invention also covers a computer program product comprising code instructions making it possible to perform the steps of the method for assisting in aircraft landing, in particular in conditions of degraded visibility, as claimed, when the program is run on a computer.
  • the invention further covers a device for assisting the landing of an aircraft, in particular in conditions of degraded visibility, the device comprising means for implementing the steps of the method for assisting in landing d aircraft in degraded visibility conditions according to any one of the claims.
  • the data allowing the calculation of the target area come from a first sensor, the device further comprising a second sensor capable of providing an image that can be displayed in the head-up device carried by the device. pilot, the compliant symbol calculated from the data of the first sensor being displayed on said image supplied by the second sensor.
  • Another object of the invention is a man-machine interface comprising means for displaying a compliant symbol obtained according to the claimed method.
  • Another object of the invention is a landing aid system, in particular of the SVS, SGVS, EVS, EFVS or CVS type carrying an aircraft landing aid device, in particular in conditions degraded visibility, as claimed.
  • the invention also addresses an aircraft comprising an aircraft landing aid device, in particular in conditions of degraded visibility, as claimed.
  • FIG.2 a method of assisting the landing of an aircraft making it possible to obtain a compliant symbol for a head-up display, according to one embodiment of the invention
  • FIG.3 a head-up display of an EVS system with the display of a compliant symbol obtained by the method of the invention
  • FIG.4 a display of a symbol according to the invention on an IR image
  • FIG.5 a general architecture of a display system for implementing the method of the invention.
  • FIG. 2 illustrates the steps of a method 200 for assisting the landing of an aircraft, making it possible to obtain a compliant symbol for a head-up display, according to one embodiment of the invention.
  • the method begins upon receipt 202 of sensor data, from a sensor on board an aircraft and looking forward.
  • the method of the invention applies to any type of sensor, whether it is a pilot FLIR providing an IR image, a multispectral camera, a LIDAR, or a millimeter radar.
  • the technical problem that the invention solves is that of aid in the detection of the landing strip of an aircraft by the pilot in a sensor image or in direct vision before descending below the decision height, especially in degraded visibility conditions.
  • the invention allows the display of a new compliant symbol generated from an automatic detection technique of the approach ramp or the landing runway in data from a sensor (sensor data).
  • the symbol displayed is perfectly consistent with the outside world and indicates to the pilot the zone where the runway and / or the approach ramp will appear before they are visible to the pilot with the naked eye in direct vision.
  • the method makes it possible to determine in the received sensor data, data of interest which are characteristic of the landing runway and / or of the ramp. 'approach.
  • the sensor can be an IR or multispectral sensor whose image is presented to the pilot or be a second sensor of the active type, in principle more efficient than an IR sensor, such as for example a millimeter radar, but whose data is not displayable to the pilot because they are difficult to interpret.
  • the determination of data of interest consists in implementing a conventional algorithm for detecting lines and patterns.
  • the Applicant's patent application FR3049744 describes an example of such a conventional detection algorithm.
  • the algorithm consists in calculating a bounding box of the elements of interest detected, in the form of a rectangle whose coordinates in pixels of two opposite corners correspond respectively to the smallest X coordinate and in Y is the smallest among the pixels belonging to the detected elements, and the largest X and Y coordinate among the pixels belonging to the detected elements.
  • the area of the rectangle can be increased by a few percent, for example 10%, while remaining centered on the initial rectangle.
  • the step of determining data of interest consists in executing an artificial intelligence algorithm on the received sensor data, the algorithm implementing an artificial intelligence model for processing 'images trained for landing runway and approach ramp detection.
  • the trained model is a model on board the aircraft for operational use, which was obtained during a learning phase, and in particular by deep learning by artificial neural network for runway and ramp detection.
  • the artificial neural network is a convolutional neural network (CNN for “Convolutional Neural Network”).
  • a classical model based on CNN can be set up for the detection and segmentation of track and ramp, for example by using a mask-RCNN (Regions with CNN features) - resNet 101 (101 layers) architecture ) [Mask R-CNN - Kaiming et al. 2017] From this model, a transfer learning (then finer learning) can be carried out to adapt to the track and ramp use case.
  • a mask-RCNN Regions with CNN features
  • resNet 101 101 layers
  • the goal of deep learning is to model with a high level of data abstraction.
  • the learning phase defines and generates a trained AI model that meets the operational need. This model is then used in the operational context during the inference phase.
  • the learning phase is therefore essential. Learning is considered efficient if it allows a predictive model to be defined that adapts well to learning data but is also able to predict well on data that was not seen during learning. If the model does not fit the training data, the model suffers from under-training. If the model adapts too well to the training data and is not able to generalize, the model suffers from overfitting.
  • the learning phase requires having collected a large database that is the most representative of the operational context and having labeled them with regard to ground truth (VT).
  • VT ground truth
  • ground truth in English, is a reference image which represents an expected result after a segmentation operation.
  • the ground truth of an image represents at least one track and an approach ramp as well as the visible ground.
  • the result of a segmentation of an image is compared with the reference image or ground truth in order to evaluate the performance of the classification algorithm.
  • the learning phase makes it possible to define the architecture of the neural network and the associated hyper-parameters (the number of layers, the types of layers, the learning step, etc. .), then to seek by successive iteration, the best parameters (the weightings of the layers and between the layers) which best model the different labels (track / ramp).
  • the neural network propagates (extract / abstract characteristics specific to the objects of interest) and estimates the presence and position of the objects. From this estimate and the ground truth, the learning algorithm calculates a prediction error and backpropagation in the network in order to update the model parameters.
  • a training database must contain a very large number of data representing a maximum of possible situations, including for the context of the invention, different approaches on different tracks with different light ramps of approaches for different weather conditions .
  • the database which is constituted contains a plurality of labeled or labeled datasets, where each set of labeled data corresponds to a pair (sensor data, ground truth VT).
  • a VT ground truth for the operational context of the present invention is a description of various elements of interest to be recognized in the sensor data, including at least one runway and one approach ramp.
  • the method makes it possible to calculate an area in which the approach light strip and / or the landing runway have been detected.
  • the target area is calculated as being a rectangle surrounding the identified elements of interest. From the characteristics of the sensor and the attitude of the aircraft corresponding to the sensor data, the method allows to calculate the coordinates in heading and in elevation of two opposite corners of a surrounding rectangle.
  • the coordinates are sent to a head-up display device (or head-down on a head-down EVS or CVS device), carried or not, and the area is displayed in a step following (208) as a symbol conforming to the outside world, in the form of a surrounding rectangle.
  • Figure 3 illustrates a head-up display of an EVS system with the display of a conforming symbol (302) obtained by the method of the invention.
  • the display of the symbol makes it possible to validate the trajectory towards the landing strip before the visual acquisition thereof by the pilot.
  • the display of the symbol thus helps the pilot in acquiring the mandatory visual references before the DH since he knows he must search inside the rectangle.
  • the head-up device can also display an SVS, an EVS or a CVS.
  • the sensor image displayed is the one that fed the search for I ⁇ A.
  • the method makes it possible to display a head-up IR image in which the pilot searches for his visual references aided by a framing symbol (402), for example a rectangle originating from the detection of the landing strip by the CNN model or by any other runway and ramp detection algorithm, on data from an active sensor, for example a millimeter radar.
  • a framing symbol for example a rectangle originating from the detection of the landing strip by the CNN model or by any other runway and ramp detection algorithm
  • an active sensor for example a millimeter radar.
  • the aircraft benefits from the lowering of the EFVS landing minima.
  • the onboard sensor is a simple visible camera and its image is not presented to the pilot. Only the compliant symbol resulting from the method of the invention is presented to the pilot then providing him with an aid in the visual detection of the runway, for example during visual flights (VFR for “View Flight Rules” in English) but with reduced visibility. .
  • VFR Visual Flight Rules
  • FIG. 5 illustrates a general architecture of a display system 500 making it possible to implement the method of the invention.
  • a validated AI model (architecture and the learned hyper-parameters) is integrated into a system on board an aircraft which comprises at least one sensor of the same type as that used for the learning.
  • the on-board system 500 also comprises a field database (BDT) 502, a database of elements of interest (BDEI) 504, a module for generating a synthetic view 506 in 3D towards the front of the aircraft (SVS) from the position and attitude of the aircraft received by sensors 508, and sensors 510, an analysis module 512 comprising at least one validated AI model, and a device for SVS display 514 for the aircraft crew.
  • the display device 514 may be a head-down display (HDD), a transparent head-up display (HUD), a transparent head-mounted display (HWD), the windshield of the 'aircraft.
  • HDD head-down display
  • HUD transparent head-up display
  • HWD transparent head-mounted display
  • the usual piloting symbology presenting the piloting parameters of the aircraft is superimposed on the synthetic 3D view.
  • the analysis module 512 can be configured to correct the airstrip position shown on the SVS 506.
  • the invention can be implemented from hardware and / or software elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

L'invention concerne un procédé et un dispositif d'aide à l'atterrissage d'aéronef en conditions de visibilité dégradée. Le procédé permet de recevoir des données capteur au cours d'une phase d'approche vers une piste d'atterrissage où la piste d'atterrissage et/ou une rampe d'approche ne sont pas visibles par le pilote depuis le cockpit; puis de déterminer dans les données capteurs reçues des données d'intérêt caractéristiques de la piste d'atterrissage et/ou de la rampe d'approche; puis de calculer à partir des données d'intérêt les coordonnées d'une zone cible; et d'afficher sur un écran d'affichage en tête haute un symbole conforme représentatif de la zone cible, le symbole conforme est affiché avant l'atteinte par l'aéronef de la hauteur de décision afin de fournir au pilote un repère visuel dans lequel chercher la piste d'atterrissage et/ou la rampe d'approche.

Description

DESCRIPTION
Titre de l’invention :PROCEDE ET DISPOSITIF D’AIDE A L’ATTERRISSAGE D’AERONEF EN CONDITIONS DE VISIBILITE DEGRADEE
[0001] L’invention concerne le domaine des systèmes d’aide à l’atterrissage pour aéronefs basés sur des caméras ou capteurs d’imagerie embarqués.
[0002] L’invention adresse plus précisément le problème de l’aide à l’atterrissage d’aéronefs par conditions météorologiques difficiles, en particulier des conditions de visibilité réduite ou dégradée, en cas de brouillard par exemple.
[0003] Les normes aériennes imposent des règles d’obtention de visibilité pendant la phase d’atterrissage. Ces règles se traduisent par des seuils de décision qui se réfèrent à l’altitude de l’avion lors de sa phase de descente. Réglementairement, un pilote d’aéronef opérant en vol aux instruments (IFR) doit, lors de la phase d’atterrissage, faire l’acquisition visuelle de certaines références composées d’éléments de la rampe d’approche ou de la piste d’atterrissage, et ce avant une altitude ou une hauteur déterminée pour chaque approche. On parle alors d’altitude de décision (DA) ou de hauteur de décision (DH) qui varient en fonction du niveau d’équipement de la piste (niveau ILS CAT I ou CAT II ou CAT III), du type d’approche (de précision, de non précision, ILS, LPV, MLS, GLS, ...) et de l’environnement topographique autour de la piste (plaine, montagne, obstacles, ...). Typiquement, sur un aéroport équipé d’un ILS CAT I en plaine, le cas le plus courant aujourd’hui, une hauteur de décision (DH) est de 60,96 mètres (200 ft) et une altitude de décision (DA) de l’altitude de la piste est de + 60,96 mètres (+ 200 ft).
[0004] Lors d’atterrissages dans des conditions de visibilité dégradées, par exemple à cause du brouillard, de la neige, de la pluie, à chacun des seuils, l’acquisition des repères visuels est plus difficile. Si le pilote n’a pas fait l’acquisition visuelle des références réglementaires avant d’atteindre la DA ou la DH, il a l’obligation d’interrompre l’atterrissage en effectuant une remise de gaz pour reprendre de l’altitude et soit retenter la même approche, soit partir vers un aéroport de déroutement. Une remise de gaz est une opération coûteuse pour une compagnie aérienne, et les manoeuvres d’atterrissage abandonnées représentent un réel problème pour la gestion du trafic aérien et pour la planification des vols. Il faut estimer avant le décollage la capacité à pouvoir atterrir à destination sur la base de prévisions météorologiques, plus ou moins fiables, et le cas échéant prévoir des solutions de repli.
[0005] Aussi le problème de l’atterrissage des aéronefs par conditions de visibilité réduite a fait l’objet du développement de plusieurs techniques.
[0006] L’une de ces techniques est le système d’atterrissage aux instruments ILS (« Instrument Landing System » en anglais). Le système ILS repose sur plusieurs équipements de radiofréquence installés au sol, au niveau de la piste d’atterrissage, et un instrument compatible placé à bord de l’aéronef. L’utilisation d’un tel système de guidage requiert des équipements onéreux et une qualification spécifique des pilotes. Il ne peut par ailleurs pas être installé sur tous les aéroports. Ce système est présent sur les aéroports principaux seulement car son coût rend rédhibitoire son installation sur les autres. En outre, de nouvelles technologies basées les systèmes de positionnement par satellite remplaceront probablement les systèmes ILS dans le futur.
[0007] Une solution de visualisation synthétique dite SVS (« Synthetic Vision System » en anglais) permet d’afficher un terrain et les pistes d’atterrissage à partir de la position de l’aéronef fournie par un GPS et de son attitude fournie par sa centrale inertielle. Cependant, l’incertitude sur la position de l’avion ainsi que la précision des positions des pistes qui sont stockées dans les bases de données interdisent l’utilisation d’un SVS dans des phases critiques où l’aéronef est proche du sol comme l’atterrissage et le décollage. Plus récemment, des solutions SVGS (« Synthetic Vision with Guidance System » en anglais), ajoutant certains contrôles à un SVS permettent une réduction limitée des minima d’atterrissage (la hauteur de décision DH est réduite de 15,24 mètres (50 ft) uniquement sur les approches ILS SA CAT I).
[0008] Une autre approche est la technique de vision augmentée dite EVS ou EFVS (« Enhanced (Flight) Vision System » en anglais) basée sur l’affichage sur un afficheur tête haute qui permet d’afficher sur l’écran primaire du pilote une image de l’environnement vers l’avant de l’aéronef qui est meilleure que la vision naturelle. Cette solution utilise des capteurs électro-optiques, infra-rouges ou radar pour filmer l’environnement aéroportuaire lors de l’atterrissage d’un aéronef. Le principe est d’utiliser des senseurs plus performants que l’œil du pilote par conditions météorologiques dégradées, et d’incruster les informations collectées par les senseurs dans le champ de vision du pilote, par le biais d’un affichage tête haute ou sur la visière d’un casque porté par le pilote. Cette technique repose essentiellement sur l’emploi de capteurs pour détecter le rayonnement des lampes disposées le long de la piste et sur la rampe d’approche. Les lampes à incandescence produisent de la lumière visible mais elles émettent aussi dans le domaine infrarouge. Des capteurs dans le domaine infrarouge permettent de détecter ces rayonnements et la portée de détection est meilleure que celle de l’être humain dans le domaine visible, lors de conditions météorologiques dégradées. Une amélioration de la visibilité permet donc dans une certaine mesure d’améliorer les phases d’approche et de limiter les approches abandonnées. Toutefois, cette technique repose sur le rayonnement infrarouge parasite des lampes présentes au voisinage de la piste. Pour des soucis de durabilité des lampes, la tendance actuelle est au remplacement des lampes à incandescence par les lampes à LED. Ces dernières ont un spectre moins étendu dans le domaine infrarouge. Un effet collatéral est donc de provoquer une obsolescence technique des systèmes EVS à base de capteurs infrarouge.
[0009] Une alternative aux senseurs infrarouges est l’obtention d’images par un senseur radar, en bande centimétrique ou millimétrique. Certaines bandes de fréquence choisies en dehors des pics d’absorption de la vapeur d’eau présentent une sensibilité très faible aux conditions météorologiques difficiles. De tels senseurs permettent donc de produire une image au travers de brouillard par exemple. Cependant, même si ces capteurs ont une résolution en distance fine, ils présentent une résolution angulaire bien plus grossière que les solutions optiques. La résolution est directement liée à la taille des antennes utilisées, et elle est souvent trop grossière pour obtenir un positionnement précis de la piste d’atterrissage à une distance suffisante pour effectuer les manœuvres de recalage.
[0010] L’émergence de l’usage de capteurs actifs, comme par exemple les LIDAR (« Light Détection and Ranging » en anglais) ou les radars millimétriques, qui sont capables de détecter la piste d’atterrissage de plus loin et par quasiment n’importe quelles conditions de visibilité, amène de bien meilleurs résultats que les capteurs passifs comme les caméras IR. Cependant, les données issues de tels capteurs ne permettent pas de fournir au pilote une image nette et facilement interprétable comme l’est une image IR.
[0011] Des solutions utilisant des systèmes de visualisation CVS (« Combined Vision Systems » en anglais) sont basées sur l’affichage simultané de tout ou partie d’une image synthétique et d’une image capteur, par exemple par superposition des différentes images et éventuellement recalage de l’image synthétique sur un élément remarquable de l’image capteur, ou encore par incrustation de l’image capteur dans un médaillon de l’image synthétique ou encore par détourage d'éléments remarquables ou éléments d’intérêts de l’image capteur et incrustation de ces éléments sur l’image synthétique.
[0012] Avec un système EVS/EFVS actuel affiché en tête haute, le pilote avant d’acquérir la visibilité de la rampe ou de la piste s’attend à les voir apparaître autour du vecteur vitesse et de la piste synthétique. La figure 1 illustre une symbologie de pilotage en phase d’atterrissage pour un affichage tête haute d’un système EVS. La conformité des symboles dépend essentiellement de la précision des données de l’attitude de l’aéronef. Si le roulis et le tangage sont en général connus avec une bonne précision, ce n’est pas toujours le cas du cap, en particulier pour les aéronefs équipés d’une AHRS (« Attitude and Heading Reference System » en anglais qui est un ensemble de capteurs sur 3 axes permettant de définir la position d’un avion dans l’espace grâce aux accélérations et aux champs magnétiques qu’ils subissent) où l’erreur de cap peut atteindre 2 à 3 degrés et non d’une 1RS (« Inertial Reference System » en anglais) beaucoup plus précise mais également beaucoup plus onéreuse. Ceci peut provoquer un affichage décalé de la symbologie conforme d’autant de degrés. Or, le pilote qui doit être concentré sur la recherche des repères visuels autour du vecteur vitesse peut alors détecter plus tardivement la piste, notamment par conditions météorologiques amenant une visibilité dégradée. Dans de nombreuses situations, le seuil de la hauteur de décision peut être atteint avant la détection visuelle de la piste, et il peut être décidé une remise de gaz qui aurait pu être évitée.
[0013] Aussi, il existe le besoin d’une aide à l’identification visuelle d’une piste d’atterrissage par le pilote. [0014] Un objet de l’invention est de pallier les inconvénients des techniques connues en répondant aux besoins précités par une solution d’aide à l’atterrissage des aéronefs, notamment une aide à l’identification visuelle pour le pilote avant d’atteindre la hauteur de décision. (DH) ou l’altitude de décision (DA).
[0015] Pour obtenir les résultats recherchés, il est proposé un procédé mis en oeuvre par ordinateur d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée, le procédé comprenant au moins des étapes de :
- recevoir au cours d’une phase d’approche vers une piste d’atterrissage des données issues d’un capteur, ladite piste d’atterrissage et/ou une rampe d’approche n’étant pas visible par le pilote depuis le cockpit ;
-déterminer dans les données capteurs reçues des données d’intérêt caractéristiques de ladite piste d’atterrissage et/ou de ladite rampe d’approche ;
-calculer à partir des données d’intérêt les coordonnées d’une zone cible; et
- afficher sur un écran d’affichage en tête haute un symbole conforme représentatif de la zone cible, ledit symbole conforme étant affiché avant l’atteinte par l’aéronef de la hauteur de décision afin de fournir au pilote un repère visuel dans lequel chercher ladite piste d’atterrissage et/ou rampe d’approche.
[0016] Selon des modes de réalisation alternatifs ou combinés :
- l’étape de réception de données consiste à recevoir des données d’un senseur embarqué à bord de l’aéronef et regardant vers l’avant, ledit senseur étant choisi dans le groupe des senseurs de type FLIR de pilotage, caméra multi-spectrale,
LIDAR ou radar millimétrique.
- l’étape de détermination de données d’intérêt consiste à exécuter un algorithme d’intelligence artificielle sur les données capteurs reçues, l’algorithme mettant en oeuvre un modèle d’intelligence artificiel entraîné pour le traitement d’images, obtenu lors d’une phase d’apprentissage par un apprentissage profond.
- l’apprentissage profond est basé sur des réseaux de neurones convolutifs.
- l’étape de calculer une zone cible consiste à déterminer, à partir des caractéristiques du capteur et de l’attitude de l’aéronef correspondant aux données capteurs, des coordonnées en cap et en site de la zone cible.
- le procédé comprend après l’étape de calculer une zone cible, une étape consistant à envoyer les coordonnées de la zone cible au dispositif d’affichage tête haute.
- les coordonnées de la zone cible correspondent à deux coins opposés d’un rectangle encadrant les données d’intérêt caractéristiques ladite piste d’atterrissage et/ou ladite rampe d’approche, et dans lequel le symbole conforme qui est affiché est ledit rectangle encadrant.
- l’étape d’affichage en tête haute consiste à afficher le symbole encadrant sur un écran en tête haute fixe du cockpit et/ou sur un écran en tête haute porté par le pilote.
[0017] L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, tel que revendiqué, lorsque le programme est exécuté sur un ordinateur.
[0018] L’invention couvre de plus un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, le dispositif comprenant des moyens pour mettre en oeuvre les étapes du procédé d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée selon l’une quelconque des revendications.
[0019] Dans un mode de réalisation, les données permettant le calcul de la zone cible sont issues d’un premier capteur, le dispositif comprenant de plus un second capteur apte à fournir une image pouvant être affichée dans le dispositif tête haute porté par le pilote, le symbole conforme calculé à partir des données du premier capteur étant affiché sur ladite image fournie par le second capteur.
[0020] Un autre objet de l’invention est une interface homme-machine comprenant des moyens pour afficher un symbole conforme obtenu selon le procédé revendiqué.
[0021] Un autre objet de l’invention est un système d’aide à l’atterrissage, notamment de type SVS, SGVS, EVS, EFVS ou CVS embarquant un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, tel que revendiqué.
[0022] L’invention adresse aussi un aéronef comprenant un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, tel que revendiqué.
[0023] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement : [0024] [Fig.1 ] une symbologie d’atterrissage connue pour un affichage tête haute d’un système EVS ;
[0025] [Fig.2] un procédé d’aide à l’atterrissage d’aéronef permettant l’obtention d’un symbole conforme pour un affichage tête haute, selon un mode de réalisation de l’invention ;
[0026] [Fig.3] un affichage tête haute d’un système EVS avec l’affichage d’un symbole conforme obtenu par le procédé de l’invention ;
[0027] [Fig.4] un affichage d’un symbole conforme selon l’invention sur une image IR ; et
[0028] [Fig.5] une architecture générale d’un système de visualisation permettant de mettre en oeuvre le procédé de l’invention.
[0029] La figure 2 illustre les étapes d’un procédé 200 d’aide à l’atterrissage d’aéronef, permettant l’obtention d’un symbole conforme pour un affichage tête haute, selon un mode de réalisation de l’invention.
[0030] Le procédé débute à réception 202 de données capteur, issues d’un senseur embarqué à bord d’un aéronef et regardant vers l’avant. Le procédé de l’invention s’applique pour tout type de senseur, que ce soit un FLIR de pilotage fournissant une image IR, une caméra multi-spectrale, un LIDAR, ou un radar millimétrique.
[0031] Le problème technique que l’invention résout est celui de l’aide à la détection de la piste d’atterrissage d’un aéronef par le pilote dans une image capteur ou en vision directe avant de descendre sous la hauteur de décision, notamment par conditions de visibilité dégradée. L’invention permet l’affichage d’un nouveau symbole conforme généré à partir d’une technique de détection automatique de la rampe d’approche ou de la piste d’atterrissage dans des données issues d’un capteur (données capteur). Avantageusement, le symbole affiché est parfaitement conforme au monde extérieur et vient indiquer au pilote la zone où la piste et/ou la rampe d’approche vont apparaître avant qu’elles ne soient visibles par le pilote à l’œil nu en vision directe. Ceci permet au pilote d’identifier l’endroit où chercher les références visuelles attendues, mais aussi lui indiquer quand les chercher, notamment si les conditions de visibilité sont réduites, puisque dès lors que le système commence à identifier la piste et/ou la rampe et afficher le symbole, le pilote s’attend à pouvoir l’identifier lui-même visuellement. [0032] Dans une étape suivante (204), après la réception des données capteur, le procédé permet de déterminer dans les données capteur reçues, des données d’intérêt qui sont caractéristiques de la piste d’atterrissage et/ou de la rampe d’approche. Le capteur peut être un capteur IR ou multispectral dont l’image est présentée au pilote ou être un second capteur de type actif, en principe plus efficace qu’un capteur IR, comme par exemple un radar millimétrique, mais dont les données ne sont pas affichables au pilote car elles sont difficilement interprétables.
[0033] Dans un mode de réalisation, la détermination de données d’intérêt consiste à mettre en oeuvre un algorithme conventionnel de détection de droites, de patterns.
La demande de brevet FR3049744 de la Demanderesse Décrit un exemple d’un tel algorithme conventionnel de détection. Dans un mode de réalisation, l‘algorithme consiste à calculer une boîte englobante des éléments d’intérêt détectés, sous la forme d’un rectangle dont les coordonnées en pixels de deux coins opposés correspondent respectivement à la coordonnée en X la plus petite et en Y la plus petite parmi les pixels appartenant aux éléments détectés, et à la coordonnée en X la plus grande et en Y la plus grande parmi les pixels appartenant aux éléments détectés. La surface du rectangle peut être augmentée de quelques pourcents, par exemple 10%, tout en restant centré sur le rectangle initial.
[0034] Dans un mode de réalisation préférentielle, l’étape de détermination de données d’intérêt consiste à exécuter un algorithme d’intelligence artificielle sur les données capteurs reçues, l’algorithme mettant en oeuvre un modèle d’intelligence artificiel de traitement d’images entraîné pour la détection de piste d’atterrissage et de rampe d’approche. Le modèle entraîné est un modèle embarqué dans l’aéronef pour utilisation opérationnelle, qui a été obtenu lors d’une phase d’apprentissage, et en particulier par un apprentissage profond par réseau de neurones artificiels pour la détection de piste et de rampe. Dans un mode de réalisation avantageux, le réseau de neurones artificiels est un réseau de neurones convolutifs (CNN pour « Convolutional Neural Network » en anglais).
[0035] Un modèle classique basé CNN (Convolutive Neural Network) peut être mis en place pour la détection et la segmentation de piste et rampe, par exemple en utilisant une architecture mask-RCNN (Régions with CNN features) - resNet 101 (101 couches) [Mask R-CNN - Kaiming et al. 2017] A partir de ce modèle, un apprentissage par transfert (puis apprentissage plus fin) peut être réalisé pour s’adapter au cas d’usage piste et rampe.
[0036] Après une phase d’apprentissage de modèles de réseaux de neurones convolutifs, il est important de valider le modèle appris par une phase de tests sur des données. Ces données n’ont pas été utilisées pendant la phase d’apprentissage afin de tester la robustesse du modèle vis à vis des variabilités auxquelles il sera confronté en environnement opérationnel avec différentes météo, différentes pistes, différentes rampes lumineuses. Plusieurs itérations d’apprentissage puis de tests peuvent être nécessaires pour obtenir un modèle du CNN valide et générique répondant au besoin opérationnel. Le modèle validé (i.e. son architecture et les hyper paramètres appris) peut être intégré dans un système embarqué à bord d’un aéronef qui comprend au moins un capteur de même type que celui utilisé pour l’apprentissage.
[0037] Dans le domaine de vision par ordinateur, l’objectif de l’apprentissage profond est de modéliser avec un haut niveau d’abstraction des données. De manière synthétique, il y a deux phases : une phase d’apprentissage et une phase d’inférence. La phase d’apprentissage permet de définir et générer un modèle d’IA entraîné qui répond au besoin opérationnel. Ce modèle est ensuite utilisé dans le contexte opérationnel lors de la phase d’inférence. La phase d’apprentissage est donc primordiale. Un apprentissage est considéré performant s’il permet de définir un modèle prédictif qui s’adapte bien aux données d’apprentissage mais qui est aussi capable de bien prédire sur des données qui n’ont pas été vues lors de l’apprentissage. Si le modèle ne s’adapte pas aux données d’apprentissage, le modèle souffre de sous-apprentissage. Si le modèle s’adapte trop bien aux données d’apprentissage et n’est pas capable de généraliser, le modèle souffre de sur apprentissage.
[0038] Afin d’obtenir le meilleur modèle, la phase d’apprentissage nécessite d’avoir collecté une large base de données la plus représentative du contexte opérationnel et de les avoir labélisées au regard d’une vérité-terrain (VT).
[0039] La vérité-terrain ou « ground truth » en anglais, est une image de référence qui représente un résultat attendu après une opération de segmentation. Dans le contexte de l’invention, la vérité terrain d'une image représente au moins une piste et une rampe d’approche ainsi que le sol visible. Le résultat d’une segmentation d’une image est comparé avec l’image de référence ou vérité-terrain afin d'évaluer la performance de l'algorithme de classification.
[0040] Ainsi à partir de nombreuses images labélisées, la phase d’apprentissage permet de définir l’architecture du réseau de neurones et les hyper-paramètres associés (le nombre de couches, les types de couches, le pas d’apprentissage...), puis de chercher par itération successive, les meilleurs paramètres (les pondérations des couches et entre les couches) qui modélisent le mieux les différents labels (piste/rampe). A chaque itération de l’apprentissage, le réseau de neurones propage (extraire/abstraire des caractéristiques propres aux objets d’intérêts) et estime la présence et la position des objets. A partir de cette estimation et de la vérité terrain, l’algorithme d’apprentissage calcule une erreur de prédiction et la rétropropage dans le réseau afin de mettre à jour les paramètres du modèle.
[0041] Une base de données d’apprentissage doit contenir un très grand nombre de données représentant un maximum de situations possibles, englobant pour le contexte de l’invention, différentes approches sur différentes pistes avec différentes rampes lumineuses d’approches pour différentes conditions météorologiques. Afin de mettre en oeuvre un procédé d’apprentissage par réseau profond et apprendre à reconnaître une piste d’atterrissage dans les données capteur reçues, la base de données qui est constituée, contient une pluralité de jeux de données labélisées ou étiquetées, où chaque jeu de données labélisées correspond à un couple (données capteur, vérité-terrain VT). Une vérité-terrain VT pour le contexte opérationnel de la présente invention est une description de différents éléments d’intérêt devant être reconnus dans les données capteurs, dont au moins une piste d’atterrissage et une rampe d’approche.
[0042] Revenant à la figure 2, après l’étape de détermination de données d’intérêt dans les données capteur reçues, le procédé permet de calculer une zone dans laquelle la rampe lumineuse d’approche et/ou la piste d’atterrissage ont été détectées.
[0043] Dans un mode de réalisation, la zone cible est calculée comme étant un rectangle encadrant les éléments d’intérêt identifiés. A partir des caractéristiques du capteur et de l’attitude de l’aéronef correspondant aux données capteurs, le procédé permet de calculer les coordonnées en cap et en site de deux coins opposés d’un rectangle encadrant.
[0044] Après le calcul de la zone cible, les coordonnées sont envoyées à un dispositif d’affichage en tête haute (ou tête basse sur un dispositif EVS ou CVS tête basse), porté ou non, et la zone est affichée dans une étape suivante (208) comme un symbole conforme au monde extérieur, sous la forme d’un rectangle encadrant. La figure 3 illustre un affichage tête haute d’un système EVS avec l’affichage d’un symbole conforme (302) obtenu par le procédé de l’invention.
[0045] L’affichage du symbole permet de valider la trajectoire vers la piste d’atterrissage avant l’acquisition visuelle de celle-ci par le pilote. L’affichage du symbole permet ainsi d’aider le pilote dans l’acquisition des références visuelles obligatoires avant la DH puisqu’il sait qu’il doit chercher à l’intérieur du rectangle.
[0046] Dans un mode de réalisation, le dispositif tête haute peut également afficher un SVS, un EVS ou un CVS. Dans ces deux derniers cas EVS ou CVS, l’image capteur affichée est celle ayant alimentée la recherche de IΊA.
[0047] Dans un autre mode de réalisation tel qu’illustré sur la figure 4, le procédé permet d’afficher une image IR en tête haute dans laquelle le pilote cherche ses références visuelles aidé par un symbole encadrant (402), par exemple un rectangle provenant de la détection de la piste d’atterrissage par le modèle CNN ou par tout autre algorithme de détection de piste et de rampe, sur des données d’un capteur actif, par exemple un radar millimétrique. Ce mode de réalisation est particulièrement intéressant car les capteurs actifs ont des capacités de détection accrues par rapport aux capteurs IR par conditions de visibilité dégradée mais les données fournis par ces capteurs sont difficilement interprétable par l’œil humain. Dans cette variante de réalisation, l’aéronef bénéficie de l’abaissement des minima d’atterrissage EFVS.
[0048] Dans un autre mode de réalisation, le capteur embarqué est une simple caméra visible et son image n’est pas présentée au pilote. Seul le symbole conforme issu du procédé de l’invention est présenté au pilote lui fournissant alors une aide à la détection visuelle de la piste par exemple lors de vols à vue (VFR pour « View Flight Rules » en anglais) mais avec une visibilité réduite. Ce mode de réalisation ne bénéficie pas d’une réduction des minimas d’atterrissage. [0049] La figure 5 illustre une architecture générale d’un système 500 de visualisation permettant de mettre en œuvre le procédé de l’invention.
[0050] Dans une implémentation préférentielle, un modèle d’IA validé (architecture et les hyper-paramètres appris) est intégré dans un système embarqué à bord d’un aéronef qui comprend au moins un capteur de même type que celui utilisé pour l’apprentissage. Le système embarqué 500 comprend aussi une base de données terrain (BDT) 502, une base de données d’éléments d’intérêts (BDEI) 504, un module de génération d’une vue synthétique 506 en 3D vers l’avant de l’aéronef (SVS) à partir de la position et de l’attitude de l’aéronef reçues par des senseurs 508, et des capteurs 510, un module d’analyse 512 comprenant au moins un modèle d’IA validé, et un dispositif d’affichage 514 du SVS pour l’équipage de l’aéronef. Le dispositif d’affichage 514 ou interface homme-machine, peut être un écran en tête basse (HDD), un écran transparent en tête haute (HUD), un écran transparent porté sur la tête (HWD), le pare-brise de l’aéronef. Avantageusement, la symbologie usuelle de pilotage présentant les paramètres de pilotage de l’aéronef (attitude, cap, vitesse, altitude, vitesse verticale, vecteur vitesse, ...) est superposée à la vue synthétique en 3D.Le module d’analyse 512 peut être configuré pour corriger la position de la piste d’atterrissage présentée sur le SVS 506.
[0051] Ainsi, la présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.
[0052] L’invention peut s’implémenter à partir d’éléments matériels et/ou logiciels.
Elle peut être disponible en tant que produit programme d’ordinateur sur un support lisible par ordinateur et comprend des instructions de code pour exécuter les étapes des procédés dans leurs différents modes de réalisation.

Claims

REVENDICATIONS
1. Procédé (200) d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée, le procédé comprenant au moins des étapes de :
- recevoir (202) au cours d’une phase d’approche vers une piste d’atterrissage des données issues d’un capteur, ladite piste d’atterrissage et/ou une rampe d’approche n’étant pas visibles par le pilote depuis le cockpit ;
- déterminer (204) dans les données capteurs reçues des données d’intérêt caractéristiques de ladite piste d’atterrissage et/ou de ladite rampe d’approche ;
- calculer (206) à partir des données d’intérêt les coordonnées d’une zone cible; et
- afficher (208) sur un écran d’affichage en tête haute un symbole conforme représentatif de la zone cible, ledit symbole conforme étant affiché avant l’atteinte par l’aéronef de la hauteur de décision afin de fournir au pilote un repère visuel dans lequel chercher ladite piste d’atterrissage et/ou rampe d’approche.
2. Le procédé selon la revendication 1 dans lequel l’étape (202) de réception de données capteurs consiste à recevoir des données d’un senseur embarqué à bord de l’aéronef et regardant vers l’avant, ledit senseur étant choisi dans le groupe des senseurs de type FLIR de pilotage, caméra multi-spectrale, LIDAR ou radar millimétrique.
3. Le procédé selon la revendication 1 ou 2 dans lequel l’étape (204) de détermination de données d’intérêt consiste à exécuter un algorithme d’intelligence artificielle sur les données capteurs reçues, l’algorithme mettant en oeuvre un modèle d’intelligence artificiel entraîné pour le traitement d’images, obtenu lors d’une phase d’apprentissage par un apprentissage profond.
4. Le procédé selon la revendication 3 dans lequel l’apprentissage profond est basé sur des réseaux de neurones convolutifs.
5. Le procédé selon l’une quelconque des revendications 1 à 4 dans lequel l’étape (206) de calculer une zone cible consiste à déterminer, à partir des caractéristiques du capteur et de l’attitude de l’aéronef correspondant aux données capteurs, des coordonnées en cap et en site de la zone cible.
6. Le procédé selon l’une quelconque des revendications 1 à 5 comprenant de plus après l’étape (206) de calculer une zone cible, une étape consistant à envoyer les coordonnées de la zone cible au dispositif d’affichage tête haute.
7. Le procédé selon la revendication 5 ou 6 dans lequel les coordonnées de la zone cible correspondent à deux coins opposés d’un rectangle encadrant les données d’intérêt caractéristiques de ladite piste d’atterrissage et/ou ladite rampe d’approche, et dans lequel le symbole conforme qui est affiché est ledit rectangle encadrant.
8. Le procédé selon l’une quelconque des revendications 1 à 7 dans lequel l’étape (208) d’affichage en tête haute consiste à afficher le symbole encadrant sur un écran en tête haute fixe du cockpit et/ou sur un écran en tête haute porté par le pilote.
9. Un dispositif d’aide à l’atterrissage d’aéronef (512), notamment en conditions de visibilité dégradée, comprenant des moyens pour mettre en oeuvre les étapes du procédé d’aide à l’atterrissage d’aéronef en conditions de visibilité dégradée, selon l’une quelconque des revendications 1 à 8.
10. Le dispositif selon la revendication 9 dans lequel les données permettant le calcul de la zone cible sont issues d’un premier capteur, le dispositif comprenant de plus un second capteur apte à fournir une image pouvant être affichée dans le dispositif tête haute porté par le pilote, le symbole conforme calculé à partir des données du premier capteur étant affiché sur ladite image fournie par le second capteur.
11. Une interface homme-machine comprenant des moyens pour afficher un symbole conforme obtenu selon le procédé de l’une quelconque des revendications 1 à 8.
12. Un système d’aide à l’atterrissage (500), notamment de type SVS, SGVS, EVS, EFVS ou CVS comprenant un dispositif (512) d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, selon l’une des revendications 9 ou 10.
13. Un aéronef comprenant un dispositif d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée selon l’une des revendications 9 ou 10.
14. Programme d'ordinateur comportant des instructions de code pour l’exécution des étapes du procédé d’aide à l’atterrissage d’aéronef, notamment en conditions de visibilité dégradée, selon l’une quelconque des revendications 1 à 8, lorsque ledit programme est exécuté par un processeur.
PCT/EP2020/080807 2019-11-07 2020-11-03 Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee WO2021089539A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/775,225 US20220373357A1 (en) 2019-11-07 2020-11-03 Method and device for assisting in landing an aircraft under poor visibility conditions
EP20797523.6A EP4055343A1 (fr) 2019-11-07 2020-11-03 Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1912486A FR3103050B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
FRFR1912486 2019-11-07

Publications (1)

Publication Number Publication Date
WO2021089539A1 true WO2021089539A1 (fr) 2021-05-14

Family

ID=70154467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/080807 WO2021089539A1 (fr) 2019-11-07 2020-11-03 Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee

Country Status (4)

Country Link
US (1) US20220373357A1 (fr)
EP (1) EP4055343A1 (fr)
FR (1) FR3103050B1 (fr)
WO (1) WO2021089539A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11866194B2 (en) * 2021-10-30 2024-01-09 Beta Air, Llc Systems and methods for a visual system for an electric aircraft
US20240101273A1 (en) * 2022-09-26 2024-03-28 Rockwell Collins, Inc. Pilot alerting of detected runway environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264498B1 (en) * 2008-04-01 2012-09-11 Rockwell Collins, Inc. System, apparatus, and method for presenting a monochrome image of terrain on a head-up display unit
WO2017040691A1 (fr) * 2015-08-31 2017-03-09 Cape Analytics, Inc. Systèmes et procédés pour analyser une imagerie de détection à distance
FR3049744A1 (fr) 2016-04-01 2017-10-06 Thales Sa Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef
FR3058233A1 (fr) * 2016-11-03 2018-05-04 Thales Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2947083B1 (fr) * 2009-06-23 2011-11-11 Thales Sa Dispositif et procede d'aide a l'atterrissage
US20130041529A1 (en) * 2011-08-11 2013-02-14 Honeywell International Inc. Aircraft vision system having redundancy for low altitude approaches
US9280904B2 (en) * 2013-03-15 2016-03-08 Airbus Operations (S.A.S.) Methods, systems and computer readable media for arming aircraft runway approach guidance modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264498B1 (en) * 2008-04-01 2012-09-11 Rockwell Collins, Inc. System, apparatus, and method for presenting a monochrome image of terrain on a head-up display unit
WO2017040691A1 (fr) * 2015-08-31 2017-03-09 Cape Analytics, Inc. Systèmes et procédés pour analyser une imagerie de détection à distance
FR3049744A1 (fr) 2016-04-01 2017-10-06 Thales Sa Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef
FR3058233A1 (fr) * 2016-11-03 2018-05-04 Thales Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING ET AL., MASK R-CNN, 2017

Also Published As

Publication number Publication date
US20220373357A1 (en) 2022-11-24
FR3103050A1 (fr) 2021-05-14
EP4055343A1 (fr) 2022-09-14
FR3103050B1 (fr) 2021-11-26

Similar Documents

Publication Publication Date Title
EP0678841B1 (fr) Dispositif d'aide à l'atterrissage
US20210158157A1 (en) Artificial neural network learning method and device for aircraft landing assistance
US9086484B2 (en) Context-based target recognition
EP3226062B1 (fr) Procede de representation synthetique d elements d'interet dans un systeme de visualisation pour aeronef
CN105158762A (zh) 识别和跟踪对流天气单体
EP1870789A1 (fr) Système de détection d'obstacles au voisinage d'un point de poser
FR3103048A1 (fr) Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
US20220128700A1 (en) Systems and methods for camera-lidar fused object detection with point pruning
FR3089038A1 (fr) Procede d’apprentissage d’un reseau de neurones embarque dans un aeronef pour l’aide a l’atterrissage dudit aeronef et serveur pour la mise en œuvre d’un tel procede
US20220126873A1 (en) Systems and methods for camera-lidar fused object detection with segment merging
FR3003989A1 (fr) Procede pour localiser et guider un vehicule par voie optique par rapport a un aeroport
FR2736149A1 (fr) Dispositif de reconnaissance et de poursuite d'objets
WO2021089539A1 (fr) Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
FR3054357A1 (fr) Procede et dispositif de determination de la position d'un aeronef lors d'une approche en vue d'un atterrissage
Nagarani et al. Unmanned Aerial vehicle’s runway landing system with efficient target detection by using morphological fusion for military surveillance system
FR3077393A1 (fr) Véhicules aériens à vision artificielle
EP3656681A1 (fr) Dispositif et procede d'aide a l'atterrissage d'un aeronef par conditions de visibilite reduite
EP4055349A1 (fr) Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
EP2150776A1 (fr) Dispositif de visualisation pour aéronef comprenant des moyens d'affichage d'une symbologie de navigation dédiée a l'évitement d'obstacles
FR2808588A1 (fr) Procede et dispositif de determination de la position d'un vehicule par rapport a une trajectoire ideale
FR3033903A1 (fr) Systeme d'aide a la navigation d'un aeronef avec ecran d'affichage tete haute et camera.
Bharti et al. Neural Network Based Landing Assist Using Remote Sensing Data
US20220309786A1 (en) Method for training a supervised artificial intelligence intended to identify a predetermined object in the environment of an aircraft
EP3578926B1 (fr) Procédé de sécurisation du fonctionnement d'un système de vision synthétique d'un aéronef, produit programme d'ordinateur et système associés
Liu et al. Runway detection during approach and landing based on image fusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20797523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020797523

Country of ref document: EP

Effective date: 20220607