WO2023111189A1 - Procédé de détection d'un objet dans l'environnement d'un aéronef, système et programme d'ordinateur associés - Google Patents

Procédé de détection d'un objet dans l'environnement d'un aéronef, système et programme d'ordinateur associés Download PDF

Info

Publication number
WO2023111189A1
WO2023111189A1 PCT/EP2022/086176 EP2022086176W WO2023111189A1 WO 2023111189 A1 WO2023111189 A1 WO 2023111189A1 EP 2022086176 W EP2022086176 W EP 2022086176W WO 2023111189 A1 WO2023111189 A1 WO 2023111189A1
Authority
WO
WIPO (PCT)
Prior art keywords
aircraft
image
region
database
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2022/086176
Other languages
English (en)
Inventor
Sylvain Lissajoux
Patrick Gouhier
Antoine Bonnet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of WO2023111189A1 publication Critical patent/WO2023111189A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/21—Arrangements for acquiring, generating, sharing or displaying traffic information located onboard the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/53—Navigation or guidance aids for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/55—Navigation or guidance aids for a single aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/70—Arrangements for monitoring traffic-related situations or conditions
    • G08G5/72—Arrangements for monitoring traffic-related situations or conditions for monitoring traffic
    • G08G5/723—Arrangements for monitoring traffic-related situations or conditions for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/80—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/57—Navigation or guidance aids for unmanned aircraft

Definitions

  • TITLE Method for detecting an object in the environment of an aircraft, associated system and computer program
  • the present invention relates to a method for detecting an object in the environment of an aircraft.
  • the invention also relates to an electronic system capable of being onboard an aircraft and configured to detect an object in the environment of the aircraft.
  • the invention also relates to a computer program comprising software instructions which, when executed by a computer, implement such a method.
  • the invention relates more particularly to a drone, while being applicable to any type of aircraft, such as an airplane or a helicopter.
  • unmanned aircraft such as drones into uncontrolled airspace raises many questions.
  • the ability to detect and avoid other aircraft is one of them.
  • the prevention of in-flight collision between two manned aircraft relies on the ability of pilots to visually identify a conflict situation and to adapt their trajectory by following established rules.
  • An unmanned aircraft must therefore carry on board a detection capability equivalent to that of a pilot, especially if it is autonomous.
  • autonomous we mean that there is no human intervention or decision (operator, remote pilot, pilot, etc.) in the short-term piloting loop of the aircraft. Indeed, in the case of a remotely piloted unmanned aircraft (i.e. not autonomous), the total reaction time of the system (including the time necessary for the decision-making by the operator and the latency of communications with the aircraft ) has a high probability of being too long to avoid a collision.
  • An aircraft can carry radars to detect other surrounding aircraft. However, their large mass (typically around thirty kilograms) is incompatible with a drone weighing less than a hundred kilograms.
  • the object of the invention is thus to propose a method for detecting an object in the environment of an aircraft requiring more limited material resources in terms of space in the aircraft while ensuring sufficiently reactive detection for the aircraft safety.
  • the subject of the invention is a method for detecting an object, in particular a flying object, in the environment of an aircraft, the aircraft comprising at least one image sensor and a database comprising , for a set of known objects, at least one characteristic associated with each known object; the detection method comprising at least the following steps: acquisition of at least one image from the at least one image sensor; identification of the horizon on said image and partition of the image into at least three regions: a first region above the horizon, a second region below the horizon and a third region around the horizon ; determination of at least one zone of interest for the detection of the flying object consisting of a sub-portion of said image, the determination being carried out by applying a method specific to each region; detection of the object by the implementation of an image processing algorithm on the area(s) of interest and determination of the at least one associated characteristic; when the detected object is not one of the objects known to the database, adding to the database at least one characteristic associated with the detected object; when the detected object is one of the objects known to the database,
  • the detection method comprises one or more of the following characteristics, taken in isolation or according to all the technically possible combinations: the determination is carried out by the application: of a contrast detection method in the first region; a relative motion detection method in the second region; and a sliding window method in the third region;
  • the invention also relates to an electronic system capable of being onboard an aircraft and configured to detect an object in the environment of said aircraft, the aircraft comprising at least one image sensor and a database comprising, for a set of known objects, at least one characteristic associated with each known object, the electronic system comprising: an acquisition module configured to acquire at least one image from the at least one image sensor; a processing module configured for:
  • the invention also relates to a computer program comprising software instructions which, when they are executed by a computer, implement a detection method as defined above.
  • FIG 1 is a schematic representation seen from above of an environment of an aircraft comprising an electronic system according to the invention
  • Figure 2 is a schematic representation of an image taken by an image sensor on board the aircraft of Figure 1;
  • Figure 3 is a schematic representation of the step of projecting the planned trajectory of the aircraft in order to determine areas of interest
  • Figure 4 is a schematic representation of the projected trajectory and areas of interest following the projection step of Figure 3.
  • Figure 5 is a flowchart of a method, according to the invention, for detecting an object 14 in the environment of the aircraft of Figure 1.
  • FIG. 10 An aircraft 10 flying over a terrain 12 is represented in FIG.
  • the aircraft 10 is advantageously a drone, as illustrated here.
  • the drone is, for example, a so-called “professional” drone capable of performing audiovisual services or can also be used in other sectors such as agriculture, security, surveillance, thermal inspection, photogrammetry, etc. Such a drone typically weighs a hundred kilograms and has a flight autonomy of several hours.
  • the aircraft is for example an airplane or a helicopter.
  • the aircraft 10 is a flying machine that can be piloted by a pilot via a control station, the control station being arranged inside the aircraft 10 or else at a distance from the aircraft 10, in particular in the case from a drone.
  • the aircraft 10 moves according to a state vector V defined from the position of the aircraft 10 and its speed in the terrestrial reference frame, defined here by the axes X, Y, Z.
  • At least one object 14 is located in the environment of the aircraft 10.
  • environment of the aircraft is meant located at a distance less than a threshold distance from the aircraft 10, for example equal to 5 km.
  • Each object 14 is in particular a flying object.
  • two objects 14 are located in the environment of the aircraft 10.
  • the objects 14 here are airplanes.
  • the aircraft 10 comprises at least one image sensor 16, a database 18 and an electronic system 20 for detecting an object 14 in the environment of the aircraft 10.
  • the aircraft 10 advantageously comprises a plurality of image sensors 16.
  • Each image sensor 16 is in particular a camera, the methods described below possibly being transposable to a radar or a lidar.
  • Each image sensor 16 is configured to capture and transmit at least one image of the environment of the aircraft 10.
  • the image has for example a 4K resolution, that is to say 3840 pixels x 2160 pixels.
  • each image can have a high resolution, in particular 4K, and thus have a very large overall pixel size.
  • the image sensors 16 are configured to capture images of the environment located in front of the aircraft 10, in the direction of its movement, with an angular aperture of 180° or 210°.
  • the database 18 comprises, for a set of known objects 14 , at least one characteristic associated with each known object 14 .
  • Each characteristic is chosen from the group consisting of: position of the object 14; distance between object 14 and aircraft 10; object speed 14; object orientation 14; and object class 14.
  • the position of the object 14 is for example defined in the image repository by defining the position in the captured image (for example in pixel coordinates).
  • the position of the object 14 in the image is for example calculated through a list of points defining its contour in the image marker. Then the average position of the object 14 is obtained by calculating the barycenter of the position of these said detected points.
  • the position of the object 14 is alternatively defined in the reference frame of the aircraft 10. This position is obtained in particular by converting the position in the image using the characteristics of the sensor 16 to convert a pixel into a degree of azimuth or elevation, as shown in Figure 2. Azimuth and elevation are represented in Figure 3 by the references Az and El.
  • the position of the object 14 is defined in the terrestrial reference frame.
  • the distance between the object 14 and the aircraft 10 is notably calculated based on the calculation of the perceived dimension of the object 14 when its class is known and the characteristics of the sensor 16 (for example the size of the chip, the number of pixels, the focal length of the lens, etc.).
  • the speed of the object 14 is for example its angular speed on the image. This speed is in particular calculated using a Kalman filter and using the time interval between each update of the image, the position of the object 14 and the last estimated angular speed in the image of the object 14.
  • the speed of the object 14 is defined in the terrestrial reference frame.
  • the speed of the object 14 is alternatively the speed of the object 14 in the frame of reference of the aircraft 10. This speed is calculated in particular according to the angular speed in the image and the relative distance between the object 14 and aircraft 10.
  • the orientation of the object 14 is in particular determined according to the class detected for the object 14 and/or from its Euler angles. The orientation defined if the object 14 arrives from the front, moves away from the aircraft 10, arrives from the side, etc.
  • Object class 4 is chosen in particular from the group made up of: a passenger plane,
  • the electronic system 20 comprises an acquisition module 22, a processing module 24 and a management module 26 of the database 18.
  • the electronic system 20 also advantageously comprises an avoidance module 28.
  • the acquisition module 22 is configured to acquire at least one image from the at least one image sensor 16.
  • the acquisition module 22 is configured to transmit the at least one image to the processing module 24.
  • the processing module 24 is configured to identify the horizon H on said image.
  • the horizon H is the line where the earth and the sky meet on an image taken from aircraft 10.
  • the horizon is in the form of a straight line or a curved line.
  • the processing module 24 is configured to convert the position of the horizon H in the reference frame of the aircraft 10 (azimuth, elevation) into image coordinates (in pixels) in order to obtain the position of the horizon H in the image reference frame.
  • the processing module 24 is configured to partition the image into three regions: a first region R1 above the horizon H, a second region R2 below the H horizon, and a third region R3 around the H horizon.
  • the horizon H separates the image into three regions of pixels corresponding to "the sky” for the first region R1, to "the earth” for the second region R2 and to the “surroundings of the horizon” for the third region R3.
  • the third region R3 is empty of pixels and either of the first or the second region R1, R2 is also empty pixels.
  • the image then only includes the pixels of the other region R1, R2.
  • the processing module 24 is configured to determine areas of interest for the detection of objects 14 not yet known to the database 18.
  • the processing module 24 does not seek to identify an object 14 on the whole of the image, which would require excessive resources in terms of time and computing power.
  • the identification algorithms will therefore be limited to the areas of interest, the rest of the image being processed on opportunity using the remaining calculation time.
  • a region of interest is made up of a sub-portion of the image.
  • Each area of interest is advantageously presented in a standardized format, for example in the form of a square of 300 pixels x 300 pixels.
  • the determination of the areas of interest is carried out separately for each region R1, R2 and R3.
  • the determination is performed by applying a contrast detection method.
  • the contrast detection method makes it possible to detect an object 14 in the sky which presents a color and a predominantly plain contrast. As visible in FIG. 2, the contrast detection method here makes it possible to detect an airplane in the sky on the basis of differences in contrast and/or color.
  • the determination is made by applying a relative motion detection method.
  • contrast differences are less important on the ground but the scrolling of the ground is easily modeled and allows the detection of a relative movement of an object 14 with respect to the ground.
  • a background motion subtraction algorithm is thus applied to the second region R2 to detect an object 14.
  • the determination is performed by applying a sliding window method.
  • the sliding window method splits the input image into a multitude of images in order to reduce the resolution of each image.
  • the cutting is carried out with an overlap of a few pixels (for example of about ten pixels) is applied.
  • the processing module 24 is further configured to determine at least one area of interest by means of a method of projecting the planned trajectory of the aircraft 10 onto the image.
  • the objective of the trajectory projection method is to identify an area of interest corresponding to the trajectory of the aircraft 10.
  • the planned trajectory is determined in particular by means of a flight plan of the aircraft 10.
  • the short-term trajectory that is to say the first pieces of the trajectory, corresponding to the environment monitored by the image sensor or sensors 16.
  • the trajectory is shown in solid lines in the figure 3 with the reference T.
  • the processing module 24 is configured to project each point P of the short-term trajectory T onto the image using the polar coordinates of the trajectory, the field of view and the resolution of the sensor 16 to obtain a diagram as shown in Figure 4.
  • the processing module 24 For each projected point P, the processing module 24 takes a margin in pixels (for example 150 pixels along X and 150 pixels along Z), and thus defines a global zone of interest around the projected trajectory.
  • the global area of interest is represented in dotted lines in figure 4 and with the reference G.
  • This global zone of interest is advantageously divided into elementary zones of interest in the standardized format.
  • the different elementary areas of interest are shown in solid lines in Figure 4 and with the reference E.
  • the cutting is carried out with an overlap of a few pixels (for example of about ten pixels) is applied.
  • the number of elementary zones of interest E resulting from the trajectory T is limited to a predetermined limit number for reasons of calculation optimization.
  • the predetermined limit number is for example equal to 2.
  • the elementary areas of interest associated with the projected points closest to the aircraft 10 are kept.
  • the short-term trajectory is estimated from guidance instructions (heading, speed, attitudes, etc.).
  • the short-term trajectory is estimated from the state vector of the aircraft (measurement of heading, speed, attitudes, etc.).
  • the projection of the trajectory T will consist of a single point and only a single area of interest is determined.
  • the processing module 24 is further configured to determine at least one area of interest based on other algorithms. For example, a motion detection method can be applied in the first region R1 and a contrast detection method can be applied in the second region R2.
  • no zone of interest is detected, for example in the case of an image comprising only a sky without an aircraft.
  • the processing module 24 is further configured, following the determination of the areas of interest, to filter the areas of interest according to any overlaps between areas of interest and/or the method of determination used.
  • This filtering makes it possible to limit the number of areas of interest, for example to limit them to 20% in number of pixels of the original image.
  • the filtering is notably carried out by considering certain methods as having priority over the others and/or by merging the redundant areas of interest.
  • the processing module 24 is configured to subdivide all of the areas of interest remaining after the filtering into elementary areas of interest of a standardized format.
  • the processing module 24 is further configured to detect an object 14 in the areas of interest by implementing an image processing algorithm on the areas of interest.
  • the processing module 24 possibly detects no object 14 if the aircraft 10 is alone or several objects 14 when the air traffic is loaded in the environment of the aircraft 10.
  • the image processing algorithm is for example a neural network is pre-trained to be able to detect objects 14.
  • the network In order for the detection to be fast enough, the network requires low resolution images as input, which is allowed by the elementary areas of interest. Thus, it is possible to carry out a detection of the objects 14 in "real time", that is to say in a duration advantageously less than 100 ms.
  • the processing module 24 is further configured to determine at least one characteristic associated with the object 14.
  • the characteristic is in particular its position, its speed, etc.
  • the management module 26 of the database 18 configured to update the database 18 according to the objects 14 detected.
  • the management module 26 is configured to determine whether each detected object 14 was already known, that is to say already detected previously and whose characteristics were previously indicated in the database 18.
  • the management module 26 is configured to add in the database 18 the at least one characteristic associated with the object 14 detected.
  • a new entry is added in the database 18 (we also say a new “track”) associated with the new object 14 detected.
  • the management module 26 is configured to update in the database 18 the at least one characteristic associated with the object 14 detected.
  • the update of the characteristics is carried out in particular by means of a tracking algorithm (or "follow-up” in French) and the acquired image.
  • the avoidance module 28 is configured to assess a risk of collision between each object 14 detected and the aircraft 10.
  • the collision time is calculated here in a plane comprising the aircraft 10 and the object 14. Those skilled in the art will understand that this calculation can also be performed in three dimensions.
  • the avoidance module 28 is configured to associate one or more levels of alerts according to the assessed risk of collusion.
  • the alert level is minimal. If the time before collision is 10 seconds, an important collision warning level is raised.
  • the avoidance module 28 is configured to implement at least one measure to protect the aircraft 10 according to the assessed risk of collision.
  • the aircraft protection measure is in particular the transmission of the alert to an operator of the aircraft 10, in particular the pilot, so that he can react and avoid the object 14 which represents a threat of collision.
  • This maneuver is carried out in particular in accordance with the rules of the air in force in the airspace, such as those defined by the EASA in the document “Easy Access Rules for Standardized European Rules of the Air”.
  • the aircraft protection measure is, as a variant or in addition, the determination of an avoidance setpoint for the object 14 by the aircraft 10 and the transmission of the avoidance setpoint to an avionics system of the aircraft. aircraft 10 or to an operator of the aircraft 10 for the implementation of the instruction.
  • the avionics system is for example the automatic pilot of the aircraft 10 or even the “Flight Management System” or (“Flight management system” in French).
  • the avoidance module 28 is further configured to validate the setpoint determined.
  • the validation is carried out by evaluating a risk of collision between each known object 14 of the database 18 and the aircraft 10 according to the avoidance instruction. This validation aims to take into account all the objects 14 and that the avoidance of one of these objects 14 does not create a risk of collision with another object 14.
  • the electronic system 20 comprises an information processing unit formed for example by a memory and a processor associated with the memory.
  • the acquisition module 22, the processing module 24, the management module 26, and as an optional complement the avoidance module 28 are each produced in the form of software, or a software brick, executable by the processor either CPU or GPU.
  • the memory of the electronic system 20 is then capable of storing acquisition software, processing software, database management software and avoidance software.
  • the processor is then capable of executing each of these software programs.
  • the acquisition module 22, the processing module 24, the management module 26, and as an optional addition the avoidance module 28, are each made in the form of a programmable logic component, such as an FPGA (Field Programmable Gate Array), or else in the form of a dedicated integrated circuit, such as an ASIC (Application Specific Integrated Circuit).
  • a programmable logic component such as an FPGA (Field Programmable Gate Array)
  • ASIC Application Specific Integrated Circuit
  • the electronic system 20 When the electronic system 20 is produced in the form of one or more software, that is to say in the form of a computer program, it is also capable of being recorded on a medium, not shown, readable by computer.
  • the computer-readable medium is, for example, a medium capable of storing electronic instructions and of being coupled to a bus of a computer system.
  • the readable medium is an optical disc, a magneto-optical disc, a ROM memory, a RAM memory, any type of non-volatile memory (for example EPROM, EEPROM, FLASH, NVRAM), a magnetic card or an optical card.
  • On the readable medium is then stored a computer program comprising software instructions.
  • FIG. 5 representing a flowchart of the method, according to the invention, for detecting an object 14 in the environment of the aircraft 10, the method being implemented by the electronic system 20.
  • aircraft 10 is a drone.
  • the first object 14 (on the left in FIG. 1) has already been detected by the aircraft 10 previously.
  • the database 18 therefore includes the characteristics associated with this first object 14 including in particular its position, its speed and its orientation.
  • the detection method comprises a step of acquiring at least one image from the image sensors 16 on board the aircraft 10.
  • the processing module 24 identifies the horizon H on the image then partitions the image into three regions: a first region R1 above the horizon H, a second region R2 below the H horizon and a third region R3 around the H horizon. Then the method comprises a step 120 of determining at least one zone of interest for the detection of an object 14 consisting of a sub-portion of said image.
  • the determination being carried out by the application: of a contrast detection method in the first region R1; a relative motion detection method in the second region R2; of a sliding window method in the third region R3.
  • a zone of interest ZI is determined around the object 14 detected by contrast with the sky and a plurality of zones of interest ZI are determined around the horizon H by the method of sliding window.
  • the step 120 of determining the areas of interest is also carried out by means of a method of projecting the planned trajectory T of the aircraft 10 onto the image, as shown in the figures. 3 and 4.
  • the method advantageously comprises a step of filtering 130 the areas of interest according to any overlaps between areas of interest and/or the method of determining used.
  • the method comprises a step 140 of detecting the object 14 is implemented by means of an image processing algorithm on the area or areas of interest and determining the at least one associated characteristic.
  • the method comprises a step 160 of adding to the database 18 of at least one characteristic associated with the object 14 detected.
  • the method comprises a step 150 of updating in the database 18 of the at least one characteristic associated with the object 14 detected. In particular, its position, its speed and its orientation are updated.
  • the method advantageously includes a step of scanning the images, outside the detected areas of interest, with the material and time resources still available following the previous steps.
  • the scanning step is carried out in a conventional manner on at least part of the images by seeking to possibly detect other objects 14.
  • a step 170 of evaluating a risk of collision between each object 14 and the aircraft 10 is advantageously implemented.
  • a risk of collision is detected with the second object 14. Then, the method comprises a step 180 of implementing at least one measure for protecting the aircraft 10 as a function of the assessed risk of collision.
  • the aircraft protection measure is the transmission 190 of the alert to an operator of the aircraft 10 and/or the determination 200 of an instruction to avoid the object 14 by the aircraft 10 and the transmission of the avoidance instruction to an avionics system of the aircraft 10 or to an operator of the aircraft 10 for the implementation of the instruction.
  • a new trajectory is calculated in order to avoid the second object 14. This new trajectory is in particular sent to the FMS.
  • the step 200 for determining an avoidance instruction comprises a sub-step 210 for validating the instruction determined by evaluating a risk of collision between each known object 14 of the database 18 and the aircraft 10 following the avoidance instruction.
  • the new trajectory T calculated does not present any risk of collision with the first object 14 and thus this trajectory is validated.
  • the electronic system according to the invention makes it possible to detect an object in the environment of the aircraft by requiring limited material resources in terms of space in the aircraft. Indeed, only an image sensor and limited calculation means are necessary in order to implement the detection method according to the invention.
  • the invention makes it possible to ensure sufficiently reactive detection for the safety of the aircraft 10 making it possible to avoid the objects 14 present in its environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de détection d'un objet (14) dans l'environnement d'un aéronef (10) comprenant les étapes suivantes : - acquisition d'une image issue d'un capteur d'images (16); - identification de l'horizon sur l'image et partition de l'image en: une région au- dessus de l'horizon, une région en-dessous de l'horizon et une région autour de l'horizon; - détermination d'au moins une zone d'intérêt par l'application d'une méthode propre à chaque région; - détection de l'objet par la mise en œuvre d'un algorithme de traitement d'images sur les zones d'intérêts et détermination d'au moins une caractéristique associée; - lorsque l'objet détecté n'est connu, ajout dans un base de données (18) de l'au moins une caractéristique; - lorsque l'objet détecté est connu, mise à jour dans la base de données de l'au moins une caractéristique.

Description

DESCRIPTION
TITRE : Procédé de détection d’un objet dans l’environnement d’un aéronef, système et programme d’ordinateur associés
La présente invention concerne un procédé de détection d’un objet dans l’environnement d’un aéronef.
L’invention concerne également un système électronique propre à être embarqué dans un aéronef et configuré pour détecter un objet dans l’environnement de l’aéronef.
L’invention concerne également un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé.
L’invention concerne plus particulièrement un drone, tout en étant applicable à tout type d’aéronef, tel qu’un avion ou un hélicoptère.
L’introduction d’aéronefs non-habités tels que des drones dans des espaces aériens non-contrôlés pose de nombreuses questions. La capacité à détecter et éviter les autres aéronefs est l’une d’entre-elles. En effet, dans les espaces aériens non-contrôlés, la prévention de collision en vol entre deux aéronefs habités repose sur la capacité des pilotes à identifier visuellement une situation de conflit et à adapter sa trajectoire en suivant des règles établies.
Un aéronef non habité doit donc embarquer à son bord une capacité de détection équivalente à celle d’un pilote, notamment s’il est autonome. Par autonome on entend qu’il n’y a pas d’intervention ou de décision humaine (opérateur, télé pilote, pilote, etc...) dans la boucle de pilotage à court terme de l’aéronef. En effet, dans le cas d’un aéronef non- habité télépiloté (i.e. non autonome), le délai de réaction total du système (incluant le temps nécessaire à la prise de décision par l’opérateur et la latence des communications avec l’aéronef) a une forte probabilité d’être trop long pour éviter une collision.
Un aéronef peut embarquer des radars permettant de détecter d’autres aéronefs environnants. Toutefois leur masse importante (typiquement une trentaine de kilogrammes) est incompatible avec un drone pesant moins d’une centaine de kilogrammes.
Pour des drones évoluant à basse hauteur (typiquement quelques dizaines de mètres), il est également courant de détecter les obstacles à proximité (typiquement jusqu’à quelques dizaines de mètres) par un traitement d’images captés par l’aéronef. Pour un drone évoluant dans la CAG (Circulation Aérienne Générale), le risque le plus redouté est la collision avec un aéronef habité. Dans ce cas précis, les aéronefs pouvant évoluer à des vitesses élevées, par exemple à 250 kts, il serait alors nécessaire de disposer de capteurs hyper résolus (typiquement d’une définition 4K) et de moyens de calcul très performants afin de traiter les images et d’identifier un intrus de quelques mètres à une distance suffisamment grande (typiquement, au moins un kilomètre de distance) pour anticiper une manœuvre de mise en sécurité.
Or de tels capteurs et moyens de calculs performants représentent un encombrement en taille et en poids, ainsi qu’un coût financier et en temps de calcul, trop importants pour être embarqués à bord d’un drone pesant typiquement une centaine de kilogrammes.
En particulier, la détection de petits objets (typiquement une vingtaine de pixels) dans des images monoculaires très résolues (typiquement de résolution 4K), en temps réel sur un calculateur embarqué dans un drone est problématique.
Le but de l’invention est ainsi de proposer un procédé de détection d’un objet dans l’environnement d’un aéronef nécessitant des ressources matérielles plus limitées en terme d’encombrement dans l’aéronef tout en assurant une détection suffisamment réactive pour la sécurité de l’aéronef.
A cet effet, l’invention a pour objet un procédé de détection d’un objet, notamment un objet volant, dans l’environnement d’un aéronef, l’aéronef comprenant au moins un capteur d’images et une base de données comprenant, pour un ensemble d’objets connus, au moins une caractéristique associée à chaque objet connu ; le procédé de détection comprenant au moins les étapes suivantes : acquisition d’au moins une image issue de l’au moins un capteur d’images ; identification de l’horizon sur ladite image et partition de l’image en au moins trois régions : une première région au-dessus de l’horizon, une deuxième région en-dessous de l’horizon et une troisième région autour de l’horizon ; détermination d’au moins une zone d’intérêt pour la détection de l’objet volant constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région ; détection de l’objet par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ; lorsque l’objet détecté n’est pas l’un des objets connus de la base de données, ajout dans la base de données de l’au moins une caractéristique associée à l’objet détecté ; lorsque l’objet détecté est l’un des objets connus de la base de données, mise à jour dans la base de données de l’au moins une caractéristique associée à l’objet détecté.
Suivant d’autres aspects avantageux de l’invention, le procédé de détection comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles : la détermination est réalisée par l’application : d’une méthode de détection de contraste dans la première région ; d’une méthode de détection de mouvement relatif dans la deuxième région ; et d’une méthode de fenêtre glissante dans la troisième région ;
- chaque caractéristique est choisie parmi le groupe constitué de : position de l’objet; distance entre l’objet et l’aéronef ; vitesse de l’objet; orientation de l’objet; et classe de l’objet ; l’aéronef se déplace le long d’une trajectoire planifiée, l’étape de détermination d’au moins une zone d’intérêt étant en outre réalisée au moyen d’une méthode de projection de la trajectoire planifiée de l’aéronef sur ladite image ; la trajectoire planifiée est déterminée au moyen d’un plan de vol de l’aéronef et/ou d’un vecteur vitesse instantanée de l’aéronef ; le procédé de détection comprend en outre, suite à l’étape de détermination d’au moins une zone d’intérêt, une étape de filtrage des zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée ; le procédé de détection comprend en outre, suite à l’étape de détection de l’objet, une étape d’évaluation d’un risque de collision entre l’objet et l’aéronef.= ; le procédé de détection comprend en outre une étape de mise en œuvre d’au moins une mesure de protection de l’aéronef en fonction du risque de collision évalué, la mesure de protection de l’aéronef étant : la transmission de l’alerte à un opérateur de l’aéronef ; et/ou la détermination d’une consigne d’évitement de l’objet par l’aéronef et transmission de la consigne d’évitement à un système avionique de l’aéronef ou à un opérateur de l’aéronef pour la mise en œuvre de la consigne ; l’étape de détermination d’une consigne d’évitement comprend une sous-étape de validation de la consigne déterminée par évaluation d’un risque de collision entre chaque objet connu de la base de données et l’aéronef suivant la consigne d’évitement.
L’invention a également pour objet un système électronique propre à être embarqué dans un aéronef et configuré pour détecter un objet dans l’environnement dudit aéronef, l’aéronef comprenant au moins un capteur d’images et une base de données comprenant, pour un ensemble d’objets connus, au moins une caractéristique associée à chaque objet connu, le système électronique comprenant: un module d’acquisition configuré pour acquérir au moins une image issue de l’au moins un capteur d’images ; un module de traitement configuré pour :
+ identifier l’horizon sur ladite image ;
+ partitionner l’image en trois régions : une première région au-dessus de l’horizon, une deuxième région en-dessous de l’horizon et une troisième région autour de l’horizon ;
+ déterminer au moins une zone d’intérêt pour la détection de l’objet volant constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région ; détecter l’objet par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ; un module de gestion de la base de données configuré pour :
+ lorsque l’objet détecté n’est pas l’un des objets connus de la base de données, ajouter dans la base de données de l’au moins une caractéristique associée à l’objet détecté ;
+ lorsque l’objet détecté est l’un des objets connus de la base de données, mettre à jour dans la base de données de l’au moins une caractéristique associée à l’objet détecté.
L’invention a également pour objet un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé de détection tel que défini ci-dessus. Ces caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
[Fig 1] la figure 1 est une représentation schématique vue de haut d’un environnement d’un aéronef comprenant un système électronique selon l’invention ;
[Fig 2] la figure 2 est une représentation schématique d’une image prise par un capteur d’images embarqué dans l’aéronef de la figure 1 ;
[Fig 3] la figure 3 est une représentation schématique de l’étape de projection de la trajectoire planifiée de l’aéronef afin de déterminer des zones d’intérêts ;
[Fig 4] la figure 4 est une représentation schématique de la trajectoire projetée et des zones d’intérêts suite à l’étape de projection de la figure 3, et
[Fig 5] la figure 5 est un organigramme d’un procédé, selon l’invention, de détection d’un objet 14 dans l’environnement de l’aéronef de la figure 1.
Un aéronef 10 survolant un terrain 12 est représenté sur la figure 1 .
L’aéronef 10 est avantageusement un drone, comme illustré ici.
Le drone est par exemple un drone dit « professionnel » propre à réaliser des prestations audiovisuelles ou peut être également utilisé dans d’autres secteurs tels que l’agriculture, la sécurité, la surveillance, l’inspection thermique, la photogrammétrie, etc. Un tel drone pèse typiquement une centaine de kilogrammes et présente une autonomie de vol de plusieurs heures.
En variante, l’aéronef est par exemple un avion ou un hélicoptère.
Autrement dit, l’aéronef 10 est un engin volant pilotable par un pilote via un poste de commande, le poste de commande étant disposé à l’intérieur de l’aéronef 10 ou bien à distance de l’aéronef 10, notamment dans le cas d’un drone.
L’aéronef 10 se déplace selon un vecteur état V définit à partir de la position de l’aéronef 10 et sa vitesse dans le référentiel terrestre, défini ici par les axes X, Y, Z.
Comme illustré sur la figure 1 , au moins un objet 14 est situé dans l’environnement de l’aéronef 10. Par environnement de l’aéronef, on entend situé à une distance inférieure à une distance seuil de l’aéronef 10, par exemple égale à 5 km.
Chaque objet 14 est notamment un objet volant.
Ici, deux objets 14 sont situés dans l’environnement de l’aéronef 10. Les objets 14 sont ici des avions.
En référence à la figure 1 , l’aéronef 10 comprend au moins un capteur d’images 16, une base de données 18 et un système électronique 20 de détection d’un objet14 dans l’environnement de l’aéronef 10. L’aéronef 10 comprend avantageusement une pluralité de capteurs d’images 16.
Chaque capteur d’images 16 est notamment une caméra, les procédés décrits par la suite étant éventuellement transposables à un radar ou un lidar.
Chaque capteur d’images 16 est configuré pour capturer et transmettre au moins une image de l’environnement de l’aéronef 10.
L’image présente par exemple une résolution 4K, c’est-à-dire 3840 pixels x 2160 pixels.
Dans le cas d’une pluralité de capteurs d’images 16, chaque image peut présenter une résolution importante, notamment 4K, et ainsi présenter une taille globale de pixels très importante. Avantageusement, les capteurs d’images 16 sont configurés pour capturer des images de l’environnement situé à l’avant de l’aéronef 10, dans la direction de son déplacement, avec une ouverture angulaire de 180° ou 210°.
La base de données 18 comprend, pour un ensemble d’objetsl 4 connus, au moins une caractéristique associée à chaque objet14 connu.
Par objet 14 connu, on entend que l’objetl 4 a déjà été détecté précédemment dans l’environnement de l’aéronef 10.
Chaque caractéristique est choisie parmi le groupe constitué de : position de l’objet 14; distance entre l’objet 14 et l’aéronef 10; vitesse de l’objet 14; orientation de l’objet 14; et classe de l’objet 14.
La position de l’objet 14 est par exemple définie dans le référentiel image par définition de la position dans l’image capturée (par exemple en coordonnées de pixels).
La position de l’objet 14 dans l’image est par exemple calculée à travers une liste de points définissant son contour dans le repère image. Puis la position moyenne de l’objet 14 est obtenue en calculant le barycentre de la position de ces dit points détectés.
La position de l’objet 14 est en variante définie dans le référentiel de l’aéronef 10. Cette position est notamment obtenue par conversion de la position dans l’image en utilisant les caractéristiques du capteur 16 pour convertir un pixel en degré d’azimut ou d’élévation, comme illustré sur la figure 2. L’azimut et l’élévation sont représentés sur la figure 3 par les références Az et El.
En variante encore, la position de l’objet 14 est définie dans le référentiel terrestre.
La distance entre l’objet 14 et l’aéronef 10 est notamment calculée en se basant sur le calcul de la dimension perçue de l’objet 14 lorsque sa classe est connue et des caractéristiques du capteur 16 (par exemple de la taille de la puce, du nombre de pixels, de la focale de l’objectif, etc).
La vitesse de l’objet 14 est par exemple sa vitesse angulaire sur l’image. Cette vitesse est notamment calculée en utilisant un filtre de Kalman et une utilisant l’intervalle de temps entre chaque mis à jour de l’image, la position de l’objet 14 et la dernière vitesse angulaire estimée dans l’image de l’objet 14.
En variante encore, la vitesse de l’objet 14 est définie dans le référentiel terrestre.
La vitesse de l’objet 14 est en variante la vitesse de l’objet 14 dans le référentiel de l’aéronef 10. Cette vitesse est calculée notamment en fonction de la vitesse angulaire dans l’image et de la distance relative entre l’objet 14 et l’aéronef 10.
L’orientation de l’objet 14 est notamment déterminée en fonction de la classe détectée pour l’objet 14 et/ou à partir de ses angles d’Euler. L’orientation définie si l’objet 14 arrive de face, s’éloigne de l’aéronef 10, arrive de côté, etc.
La classe de l’objetl 4 est notamment choisie parmi le groupe constitué de : un avion de tourisme,
- un planeur, un drone à voilure fixe,
- un drone multicoptère, une montgolfière
- un ballon sonde, un oiseau, une grue, un objet non identifié.
Le système électronique 20 comprend un module d’acquisition 22, un module de traitement 24 et un module de gestion 26 de la base de données 18.
Le système électronique 20 comprend en outre avantageusement un module d’évitement 28.
Le module d’acquisition 22 est configuré pour acquérir au moins une image issue de l’au moins un capteur d’images 16.
Le module d’acquisition 22 est configuré pour transmettre l’au moins une image au module de traitement 24.
Le module de traitement 24 est configuré pour identifier l’horizon H sur ladite image.
L’horizon H est la ligne où la terre et le ciel se rejoignent sur une image prise depuis l’aéronef 10.
L’homme du métier comprendra que l’horizon se présente sous une forme de ligne droite ou d’une ligne courbe. En particulier, sur la base du vecteur état de l’aéronef 10 (notamment son orientation et sa position), de la position et l’orientation du capteur d’images 16 dans le référentiel de l’aéronef 10, le module de traitement 24 est configuré pour convertir la position de l’horizon H dans le référentiel de l’aéronef 10 (azimut, élévation) en coordonnées images (en pixels) afin d’obtenir la position de l’horizon H dans le référentiel image.
A partir de cette identification de l’horizon H, le module de traitement 24 est configuré pour partitionner l’image en trois régions : une première région R1 au-dessus de l’horizon H, une deuxième région R2 en-dessous de l’horizon H, et une troisième région R3 autour de l’horizon H.
Les termes « au-dessus » et « en-dessous » sont définis par rapport à la direction verticale dans le référentiel terrestre.
Ainsi, comme représenté sur la figure 2, l’horizon H sépare l’image en trois régions de pixels correspondant « au ciel » pour la première région R1 , à « la terre » pour la deuxième région R2 et aux « alentours de l’horizon » pour la troisième région R3.
L’homme du métier comprendra que lorsque l’horizon H est situé hors de l’image, la troisième région R3 est vide de pixels et l’une ou l’autre de la première ou de la deuxième région R1 , R2 est également vide de pixels. L’image ne comprend alors que les pixels de l’autre région R1 , R2.
Le module de traitement 24 est configuré pour déterminer des zones d’intérêt pour la détection d’objets 14 non encore connus de la base de données 18.
Ainsi, le module de traitement 24 ne cherche pas à identifier un objet 14 sur l’ensemble de l’image, ce qui demanderait des ressources en temps et en puissance de calculs trop importantes. Les algorithmes d’identification se limiteront donc aux zones d’intérêt, le reste de l’image étant traité sur opportunité en utilisant le temps de calcul restant.
Une zone d’intérêt est constituée d’une sous-partie de l’image.
Chaque zone d’intérêt se présente avantageusement sous un format standardisé, par exemple sous la forme d’un carré de 300 pixels x 300 pixels.
La détermination des zones d’intérêt est réalisée séparément pour chaque régions R1 , R2 et R3.
Dans la première région R1 , la détermination est réalisée par l’application d’une méthode de détection de contraste.
La méthode de détection de contraste permet de détecter un objet 14 dans le ciel qui présente une couleur et un contraste majoritairement uni. Comme visible sur la figure 2, la méthode de détection de contraste permet ici de détecter un avion dans le ciel sur la base de différences de contraste et/ou de couleur.
Dans la deuxième région R2, la détermination est réalisée par l’application d’une méthode de détection de mouvement relatif.
En effet, les différences de contrastes sont moins importantes sur le sol mais le défilement du sol est aisément modélisable et permet la détection d’un mouvement relatif d’un objet 14 par rapport au sol. Un algorithme de soustraction du mouvement du fond est ainsi appliqué à la deuxième région R2 pour détecter un objet 14.
Dans la troisième région R3, la détermination est réalisée par l’application d’une méthode de fenêtre glissante.
De manière connue, la méthode de fenêtre glissante découpe l’image d’entrée en une multitude d’images afin de réduire la résolution de chaque image.
Avantageusement, le découpage est effectué avec un recouvrement de quelques pixels (par exemple d’une dizaine de pixels) est appliqué.
Dans un mode de réalisation avantageux, le module de traitement 24 est en outre configuré pour déterminer au moins une zone d’intérêt au moyen d’une méthode de projection de la trajectoire planifiée de l’aéronef 10 sur l’image.
L’objectif de la méthode de projection de la trajectoire est d’identifier une zone d’intérêt correspondante à la trajectoire de l’aéronef 10.
La trajectoire planifiée est notamment déterminée au moyen d’un plan de vol de l’aéronef 10.
En référence à la figure 3, la trajectoire court terme, c’est à dire les premiers morceaux de la trajectoire, correspondant à l’environnement surveillé par le ou les capteur d’images 16. La trajectoire est représentée en trait plein sur la figure 3 avec la référence T.
En utilisant le vecteur état de l’aéronef 10, le module de traitement 24 est configuré pour projeter chaque point P de la trajectoire T court terme sur l’image en utilisant les coordonnées polaires de la trajectoire, le champ de vision et la résolution du capteur 16 afin d’obtenir un schéma tel que représenté sur la figure 4.
Pour chaque point P projeté, le module de traitement 24 prend une marge en pixel (par exemple 150 pixels suivant X et 150 pixels suivant Z), et définit ainsi une zone d’intérêt globale autour de la trajectoire projetée. La zone d’intérêt globale est représentée en pointillées sur la figure 4 et avec la référence G.
Cette zone d’intérêt globale est avantageusement découpée en zone d’intérêt élémentaires sous le format standardisé. Les différentes zones d’intérêt élémentaires sont représentées en traits pleins sur la figure 4 et avec la référence E. Avantageusement, le découpage est effectué avec un recouvrement de quelques pixels (par exemple d’une dizaine de pixels) est appliqué.
Avantageusement, le nombre de zones d’intérêts élémentaires E issue de la trajectoire T est limité à un nombre prédéterminé limite pour des raisons d’optimisation de calcul. Le nombre prédéterminé limite est par exemple égal à 2. Dans ce cas, les zones d’intérêts élémentaires associées aux points projetés les plus proche de l’aéronef 10 sont conservées.
Dans un autre exemple de réalisation, la trajectoire court terme est estimée à partir des consignes de guidage (cap, vitesse, attitudes etc...).
Dans un autre exemple de réalisation, la trajectoire court terme est estimée à partir du vecteur état de l’aéronef (mesure de cap, vitesse, attitudes etc...). Dans ce cas-là, la projection de la trajectoire T consistera en un point unique et seule une seule zone d’intérêt est déterminée.
L’homme du métier comprendra que dans un mode de réalisation avantageux, le module de traitement 24 est en outre configuré pour déterminer au moins une zone d’intérêt sur la base d’autres algorithmes. Par exemple, une méthode de détection de mouvement peut être appliquée dans la première région R1 et une méthode de détection de contraste peut être appliquée dans la deuxième région R2.
L’homme du métier comprendra que dans certains cas, aucune zone d’intérêt n’est détectée, par exemple dans le cas d’une image comprenant uniquement un ciel sans avion.
Le module de traitement 24 est en outre configuré, suite à la détermination des zones d’intérêt, pour filtrer les zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée.
Ce filtrage permet de limiter le nombre de zones d’intérêt, par exemple pour les limiter à 20% en nombre de pixel de l’image originelle.
Le filtrage est notamment réalisé en considérant certaines méthodes comme prioritaires sur les autres et/ou en fusionnant les zones d’intérêts redondantes.
Si les zones d’intérêts ne sont pas encore au format standardisé, le module de traitement 24 est configuré pour subdiviser l’ensemble des zones d’intérêt restantes après le filtrage en zones d’intérêts élémentaires d’un format standardisé.
Le module de traitement 24 est en outre configuré pour détecter un objet 14 dans les zones d’intérêts par la mise en œuvre d’un algorithme de traitement d’images sur les zones d’intérêt.
En fonction de l’environnement de l’aéronef 10, le module de traitement 24 détecte éventuellement aucun objet 14 si l’aéronef 10 est seul ou plusieurs objets 14 lorsque le trafic aérien est chargé dans l’environnement de l’aéronef 10. De manière connue en soi, l’algorithme de traitement d’images est par exemple un réseau de neurones est pré-entrainé pour pouvoir détecter des objets 14.
Afin que la détection soit suffisamment rapide, le réseau nécessite des images de faibles résolutions en entrée, ce qui est permis par les zones d’intérêts élémentaires. Ainsi, il est possible de réaliser une détection des objets 14 en « temps réel », c’est-à-dire dans une durée avantageusement inférieure à 100 ms.
Le module de traitement 24 est en outre configuré pour déterminer au moins une caractéristique associée à l’objet 14.
Comme expliqué ci-dessus, la caractéristique est notamment sa position, sa vitesse, etc.
Le module de gestion 26 de la base de données 18 configuré pour mettre à jour la base de données 18 en fonction des objets 14 détectés.
En particulier, le module de gestion 26 est configuré pour déterminer si chaque objet 14 détecté était déjà connu, c’est-à-dire déjà détecté auparavant et dont les caractéristiques ont été indiquées précédemment dans la base de données 18.
Lorsque l’objet 14 détecté n’est pas l’un des objets 14 connus de la base de données 18, le module de gestion 26 est configuré pour ajouter dans la base de données 18 l’au moins une caractéristique associée à l’objet 14 détecté.
Ainsi, une nouvelle entrée est ajoutée dans la base de données 18 (on dit également une nouvelle « piste ») associée au nouvel objet 14 détecté.
Lorsque l’objet détecté 14 est l’un des objets 14 connus de la base de données 18, le module de gestion 26 est configuré pour mettre à jour dans la base de données 18 l’au moins une caractéristique associée à l’objet 14 détecté.
Ainsi, notamment la position, la vitesse, l’orientation, etc de l’objet 14 sont mis à jour dans la base de données 18.
Par « mettre à jour », on entend que l’ancienne valeur de la caractéristique est supprimée et remplacée par la nouvelle valeur de la caractéristique.
La mise à jour des caractéristiques est notamment réalisée au moyen d’un algorithme de tracking (ou « suivi » en français) et de l’image acquise.
Le module d’évitement 28 est configuré pour évaluer un risque de collision entre chaque objet 14 détecté et l’aéronef 10.
Ce risque de collision est par exemple implémenté en en calculant un temps avant collision : r2 — D2 t = - avec t, le temps avant collision, r, la distance entre l’aéronef 10 et l’objet 14 et D, une distance de sécurité prédéterminée.
Le temps de collision est ici calculé dans un plan comprenant l’aéronef 10 et l’objet 14. L’homme du métier comprendra que ce calcul peut être également effectué en trois dimensions.
Le module d’évitement 28 est configuré pour associer un ou plusieurs niveaux d’alertes en fonction du risque de collusion évalué.
Par exemple, si temps avant collision calculé est de plusieurs minutes, le niveau d’alerte est minimal. Si le temps avant collision est de 10 secondes, un niveau d’alerte important de collision est levé.
Le module d’évitement 28 est configuré pour mettre en œuvre au moins une mesure de protection de l’aéronef 10 en fonction du risque de collision évalué.
La mesure de protection de l’aéronef est notamment la transmission de l’alerte à un opérateur de l’aéronef 10, notamment le pilote, afin qu’il puisse réagir et éviter l’objet 14 qui représente une menace de collision.
Cette manœuvre est notamment réalisée conformément aux règles de l’air en vigueur dans l’espace aérien comme par exemple celles définies par l’EASA dans le document « Easy Access Rules for Standardised European Rules of the Air ».
La mesure de protection de l’aéronef est, en variante ou en complément, la détermination d’une consigne d’évitement de l’objet 14 par l’aéronef 10 et la transmission de la consigne d’évitement à un système avionique de l’aéronef 10 ou à un opérateur de l’aéronef 10 pour la mise en œuvre de la consigne.
Le système avionique est par exemple le pilote automatique de l’aéronef 10 ou encore le « Flight Management System » ou (« Système de gestion de vol » en français).
Le module d’évitement 28 est en outre configuré pour valider la consigne déterminée.
La validation est réalisée par l’évaluation d’un risque de collision entre chaque objets 14 connu de la base de données 18 et l’aéronef 10 suivant la consigne d’évitement. Cette validation vise à prendre en compte l’ensemble des objets 14 et que l’évitement de l’un de ces objets 14 ne crée pas un risque de collision avec un autre objet 14.
Dans l’exemple de la figure 1 , le système électronique 20 comprend une unité de traitement d’informations formée par exemple d’une mémoire et d’un processeur associé à la mémoire. Le module d’acquisition 22, le module de traitement 24, le module de gestion 26, et en complément facultatif le module d’évitement 28 sont réalisés chacun sous forme d’un logiciel, ou d’une brique logicielle, exécutables par le processeur de type CPU ou GPU. La mémoire du système électronique 20 est alors apte à stocker un logiciel d’acquisition, un logiciel de traitement, un logiciel de gestion de la base de données et un logiciel d’évitement. Le processeur est alors apte à exécuter chacun de ces logiciels.
En variante non représentée, le module d’acquisition 22, le module de traitement 24, le module de gestion 26, et en complément facultatif le module d’évitement 28, sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglais Field Programmable Gate Array), ou encore sous forme d’un circuit intégré dédié, tel qu’un ASIC (de l’anglais Application Specific Integrated Circuit).
Lorsque le système électronique 20 est réalisé sous forme d’un ou plusieurs logiciels, c’est-à-dire sous forme d’un programme d’ordinateur, il est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est par exemple, un médium apte à mémoriser les instructions électroniques et à être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est un disque optique, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non-volatile (par exemple EPROM, EEPROM, FLASH, NVRAM), une carte magnétique ou une carte optique. Sur le support lisible est alors mémorisé un programme d’ordinateur comportant des instructions logicielles.
Le fonctionnement du système électronique 20 selon l’invention va désormais être expliqué à l’aide de la figure 5 représentant un organigramme du procédé, selon l’invention, de détection d’un objet 14 dans l’environnement de l’aéronef 10, le procédé étant mis en œuvre par le système électronique 20.
Initialement, l’aéronef 10 survole le terrain 12, comme représenté sur la figure 1.
Ici, l’aéronef 10 est un drone.
En référence à la figure 1 , deux objets 14 sont ici présents dans l’environnement de l’aéronef 10.
Le premier objet 14 (à gauche sur la figure 1 ) a déjà été détecté par l’aéronef 10 précédemment. La base de données 18 comprend donc les caractéristiques associées à ce premier objet 14 dont notamment sa position, sa vitesse et son orientation.
Dans une première étape 100, le procédé de détection comprend un étape d’acquisition d’au moins une image issue des capteurs d’images 16 embarqués dans l’aéronef 10.
Puis, comme représenté sur la figure 2, lors d’une étape 110, le module de traitement 24 identifie l’horizon H sur l’image puis partitionne l’image en trois régions : une première région R1 au-dessus de l’horizon H, une deuxième région R2 en-dessous de l’horizon H et une troisième région R3 autour de l’horizon H. Puis le procédé comprend une étape 120 de détermination d’au moins une zone d’intérêt pour la détection d’un objet 14 constituée d’une sous-partie de ladite image.
La détermination étant réalisée par l’application : d’une méthode de détection de contraste dans la première région R1 ; d’une méthode de détection de mouvement relatif dans la deuxième région R2 ; d’une méthode de fenêtre glissante dans la troisième région R3.
Dans l’exemple de la figure 2, une zone d’intérêt ZI est déterminée autour de l’objet 14 détecté par contraste avec le ciel et une pluralité de zones d’intérêt ZI sont déterminées autour de l’horizon H par la méthode de fenêtre glissante.
Dans un mode de réalisation avantageux, l’étape de détermination 120 des zones d’intérêt est en outre réalisée au moyen d’une méthode de projection de la trajectoire T planifiée de l’aéronef 10 sur l’image, comme représenté sur les figure 3 et 4.
Suite à l’étape de détermination 120 d’au moins une zone d’intérêt, le procédé comprend avantageusement une étape de filtrage 130 des zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée.
Puis, le procédé comprend une étape 140 de détection de l’objet 14 est mis en œuvre au moyen d’un algorithme de traitement d’images sur la ou les zones d’intérêts et de détermination de l’au moins une caractéristique associée.
Lorsque l’objet 14 détecté n’est pas l’un des objets 14 connus de la base de données 180, comme par exemple le deuxième objet 14 dans la figure 1 , le procédé comprend une étape 160 d’ajout dans la base de données 18 de l’au moins une caractéristique associée à l’objet 14 détecté.
Lorsque l’objet 14 détecté est l’un des objets 14 connus de la base de données 18, comme par exemple le premier objet 14 de la figure 1 , le procédé comprend une étape 150 de mise à jour dans la base de données 18 de l’au moins une caractéristique associée à l’objet 14 détecté. En particulier, sa position, sa vitesse et son orientation sont mis à jour.
Le procédé comprend avantageusement une étape de balayage des images, hors des zones d’intérêt détectés, avec les ressources matérielles et temporelles encore disponibles suite aux étapes précédentes. L’étape de balayage est réalisée de manière conventionnel sur au moins une partie des images en cherchant à détecter éventuellement d’autres objets 14.
Puis, une étape d’évaluation 170 d’un risque de collision entre chaque objet 14 et l’aéronef 10 est avantageusement mise en œuvre.
Dans l’exemple de la figure 1 , un risque de collision est détecté avec le deuxième objet 14. Puis, le procédé comprend une étape 180 de mise en œuvre d’au moins une mesure de protection de l’aéronef 10 en fonction du risque de collision évalué.
La mesure de protection de l’aéronef est la transmission 190 de l’alerte à un opérateur de l’aéronef 10 et/ou la détermination 200 d’une consigne d’évitement de l’objet 14 par l’aéronef 10 et la transmission de la consigne d’évitement à un système avionique de l’aéronef 10 ou à un opérateur de l’aéronef 10 pour la mise en œuvre de la consigne.
Ici, dans l’exemple de la figure 1 , une nouvelle trajectoire est calculée afin d’éviter le deuxième objet 14. Cette nouvelle trajectoire est notamment envoyée au FMS.
Avantageusement, l’étape de détermination 200 d’une consigne d’évitement comprend une sous-étape de validation 210 de la consigne déterminée par évaluation d’un risque de collision entre chaque objet connu 14 de la base de données 18 et l’aéronef 10 suivant la consigne d’évitement.
Ici dans l’exemple de la figure 1 , la nouvelle trajectoire T calculée ne présente pas de risque de collision avec le premier objet 14 et ainsi cette trajectoire est validée.
On conçoit alors que la présente invention présente un certain nombre d’avantages.
En effet, le système électronique selon l’invention permet de détecter un objet dans l’environnement de l’aéronef en nécessitant des ressources matérielles limitées en terme d’encombrement dans l’aéronef. En effet, seul un capteur d’images et des moyens de calcul limités sont nécessaires afin de mettre en œuvre le procédé de détection selon l’invention.
Ceci est particulièrement avantageux lorsque l’aéronef est un drone avec des capacités d’embarquer du matériel encombrant limitées.
En outre, l’invention permet d’assurer une détection suffisamment réactive pour la sécurité de l’aéronef 10 permettant d’éviter les objets 14 présents dans son environnement.

Claims

REVENDICATIONS
1. Procédé de détection d’un objet (14), notamment un objet volant, dans l’environnement d’un aéronef (10), l’aéronef (10) comprenant au moins un capteur d’images (16) et une base de données (18) comprenant, pour un ensemble d’objets (14) connus, au moins une caractéristique associée à chaque objet (14) connu ; le procédé de détection comprenant au moins les étapes suivantes : acquisition d’au moins une image issue de l’au moins un capteur d’images (16) ; identification de l’horizon (H) sur ladite image et partition de l’image en au moins trois régions : une première région (R1 ) au-dessus de l’horizon (H), une deuxième région (R2) en-dessous de l’horizon (H) et une troisième région (R3) autour de l’horizon (H) ; détermination d’au moins une zone d’intérêt pour la détection de l’objet volant (14) constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région (R1 , R2, R3) ; détection de l’objet (14) par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ; lorsque l’objet (14) détecté n’est pas l’un des objets (14) connus de la base de données (18), ajout dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté ; lorsque l’objet (14) détecté est l’un des objets (14) connus de la base de données (18), mise à jour dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté.
2. Procédé de détection selon la revendication 1 , dans lequel la détermination est réalisée par l’application : d’une méthode de détection de contraste dans la première région (R1) ; d’une méthode de détection de mouvement relatif dans la deuxième région (R2) ; d’une méthode de fenêtre glissante dans la troisième région (R3).
3. Procédé de détection selon la revendication 1 ou 2, dans lequel chaque caractéristique est choisie parmi le groupe constitué de : position de l’objet (14); distance entre l’objet (14) et l’aéronef (10) ; vitesse de l’objet (14); orientation de l’objet (14); et classe de l’objet (14).
4. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel l’aéronef (10) se déplace le long d’une trajectoire (T) planifiée, l’étape de détermination d’au moins une zone d’intérêt étant en outre réalisée au moyen d’une méthode de projection de la trajectoire (T) planifiée de l’aéronef (10) sur ladite image, la trajectoire (T) planifiée étant avantageusement déterminée au moyen d’un plan de vol de l’aéronef (10) et/ou d’un vecteur vitesse (V) instantanée de l’aéronef (10).
5. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel le procédé de détection comprend en outre, suite à l’étape de détermination d’au moins une zone d’intérêt, une étape de filtrage des zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée.
6. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel le procédé de détection comprend en outre, suite à l’étape de détection de l’objet (14), une étape d’évaluation d’un risque de collision entre l’objet (14) et l’aéronef (10).
7. Procédé de détection selon la revendication 6, dans lequel le procédé de détection comprend en outre une étape de mise en œuvre d’au moins une mesure de protection de l’aéronef (10) en fonction du risque de collision évalué, la mesure de protection de l’aéronef étant : la transmission de l’alerte à un opérateur de l’aéronef (10) ; et/ou la détermination d’une consigne d’évitement de l’objet (14) par l’aéronef (10) et transmission de la consigne d’évitement à un système avionique de l’aéronef (10) ou à un opérateur de l’aéronef (10) pour la mise en œuvre de la consigne.
8. Procédé de détection selon la revendication 7, dans lequel l’étape de détermination d’une consigne d’évitement comprend une sous-étape de validation de la consigne déterminée par évaluation d’un risque de collision entre chaque objet connu de la base de données (18) et l’aéronef (10) suivant la consigne d’évitement. 18
9. Système électronique (20) propre à être embarqué dans un aéronef (10) et configuré pour détecter un objet (14) dans l’environnement dudit aéronef (10), l’aéronef (10) comprenant au moins un capteur d’images (16) et une base de données (18) comprenant, pour un ensemble d’objets (14) connus, au moins une caractéristique associée à chaque objet (14) connu, le système électronique (20) comprenant: un module d’acquisition (22) configuré pour acquérir au moins une image issue de l’au moins un capteur d’images (16) ;
- un module de traitement (24) configuré pour : o identifier l’horizon (H) sur ladite image ; o partitionner l’image en trois régions : une première région (R1 ) au-dessus de l’horizon (H), une deuxième région (R2) en-dessous de l’horizon (H) et une troisième région (R3) autour de l’horizon (H) ; o déterminer au moins une zone d’intérêt pour la détection de l’objet volant (14) constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région (R1 , R2, R3) ; détecter l’objet (14) par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ;
- un module de gestion (26) de la base de données (18) configuré pour : o lorsque l’objet (14) détecté n’est pas l’un des objets (14) connus de la base de données (18), ajouter dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté ; o lorsque l’objet (14) détecté est l’un des objets (14) connus de la base de données (18), mettre à jour dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté.
10. Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé de détection selon l’une quelconque des revendications 1 à 8.
PCT/EP2022/086176 2021-12-16 2022-12-15 Procédé de détection d'un objet dans l'environnement d'un aéronef, système et programme d'ordinateur associés Ceased WO2023111189A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2113686 2021-12-16
FR2113686A FR3131046B1 (fr) 2021-12-16 2021-12-16 Procédé de détection d’un objet dans l’environnement d’un aéronef, système et programme d’ordinateur associés

Publications (1)

Publication Number Publication Date
WO2023111189A1 true WO2023111189A1 (fr) 2023-06-22

Family

ID=80933277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/086176 Ceased WO2023111189A1 (fr) 2021-12-16 2022-12-15 Procédé de détection d'un objet dans l'environnement d'un aéronef, système et programme d'ordinateur associés

Country Status (2)

Country Link
FR (1) FR3131046B1 (fr)
WO (1) WO2023111189A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109891A1 (en) * 2015-10-15 2017-04-20 The Boeing Company Systems and methods for object detection
PL431687A1 (pl) * 2019-10-31 2021-05-04 Eurotech Spółka Z Ograniczoną Odpowiedzialnością Sposób klasyfikacji tła w lotniczym wizyjnym systemie antykolizyjnym

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109891A1 (en) * 2015-10-15 2017-04-20 The Boeing Company Systems and methods for object detection
PL431687A1 (pl) * 2019-10-31 2021-05-04 Eurotech Spółka Z Ograniczoną Odpowiedzialnością Sposób klasyfikacji tła w lotniczym wizyjnym systemie antykolizyjnym
PL239972B1 (pl) * 2019-10-31 2022-01-31 Eurotech Spolka Z Ograniczona Odpowiedzialnoscia Sposób klasyfikacji tła w lotniczym wizyjnym systemie antykolizyjnym

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EASY ACCESS RULES FOR STANDARDISED EUROPEAN RULES OF THE AIR
OPROMOLLA ROBERTO ET AL: "Experimental assessment of vision-based sensing for small UAS sense and avoid", 2019 IEEE/AIAA 38TH DIGITAL AVIONICS SYSTEMS CONFERENCE (DASC), IEEE, 8 September 2019 (2019-09-08), pages 1 - 9, XP033765417, DOI: 10.1109/DASC43569.2019.9081725 *

Also Published As

Publication number Publication date
FR3131046B1 (fr) 2024-02-09
FR3131046A1 (fr) 2023-06-23

Similar Documents

Publication Publication Date Title
CA2989154C (fr) Systeme et procede d'inspection automatique de surface
CN119672325B (zh) 一种光电吊舱的目标识别跟踪引导方法、探测设备、程序产品及存储介质
Patterson et al. Evaluation of an unmanned aircraft system for detecting surrogate caribou targets in Labrador
US20160027313A1 (en) Environmentally-aware landing zone classification
EP3873786B1 (fr) Procédé d'élaboration d'une consigne de pilotage d'un véhicule automobile
FR2736149A1 (fr) Dispositif de reconnaissance et de poursuite d'objets
FR3089038A1 (fr) Procede d’apprentissage d’un reseau de neurones embarque dans un aeronef pour l’aide a l’atterrissage dudit aeronef et serveur pour la mise en œuvre d’un tel procede
FR3026540A1 (fr) Systeme et procede de masquage d'image dynamique
CN119672324B (zh) 一种光电吊舱的目标跟踪检测方法、探测设备、程序产品、存储介质
EP4055343A1 (fr) Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
WO2024218118A1 (fr) Procédé et dispositif électronique d'aide au pilotage d'un aéronef via la surveillance d'au moins un critère opérationnel, programme d'ordinateur et aéronef associés
FR3093573A1 (fr) Procédé et système de mise à jour automatique d’au moins une base de données aéroportuaires
FR3113166A1 (fr) Procédé et système de décollage automatique d’un aéronef
WO2023052448A1 (fr) Procédé de détection d'obstacles
WO2021089536A1 (fr) Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
EP4288847B1 (fr) Procédé et dispositif de guidage automatique d'un aéronef autonome
EP4115327B1 (fr) Procédé d'aide à la détection d'éléments, dispositif et plateforme associés
FR3003356A1 (fr) Procede d'observation d'une zone au moyen d'un drone
WO2023111189A1 (fr) Procédé de détection d'un objet dans l'environnement d'un aéronef, système et programme d'ordinateur associés
FR3094081A1 (fr) Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé
FR3149687A1 (fr) Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé
CN119365902A (zh) 通过机器学习系统监测路况的方法和系统及训练机器学习系统的方法
FR3139919A1 (fr) Procédé de contrôle de la trajectoire d’un aéronef
FR3095401A1 (fr) Plateforme et procédé de supervision d’une infrastructure pour véhicules de transport, véhicule, système de transport et programme d’ordinateur associés
EP4086819A1 (fr) Procédé d'apprentissage d'une intelligence artificielle supervisée destinée à identifier un objet prédeterminé dans l'environnement d'un aéronef

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22835065

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22835065

Country of ref document: EP

Kind code of ref document: A1