WO2021165237A1 - Procédé et dispositif de détermination d'obstacles d'altitude - Google Patents

Procédé et dispositif de détermination d'obstacles d'altitude Download PDF

Info

Publication number
WO2021165237A1
WO2021165237A1 PCT/EP2021/053730 EP2021053730W WO2021165237A1 WO 2021165237 A1 WO2021165237 A1 WO 2021165237A1 EP 2021053730 W EP2021053730 W EP 2021053730W WO 2021165237 A1 WO2021165237 A1 WO 2021165237A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacles
altitude
height
images
obstacle
Prior art date
Application number
PCT/EP2021/053730
Other languages
English (en)
Inventor
Elodie SAINT-MARC
David Martinez
Arnaud JEREZ
Roman PASQUETTE
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to US17/800,641 priority Critical patent/US20230069829A1/en
Publication of WO2021165237A1 publication Critical patent/WO2021165237A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Definitions

  • TITLE Method and device for determining altitude obstacles
  • the present invention relates to a method and a device for determining altitude obstacles of a height greater than or equal to a predetermined height, said altitude obstacles being liable to hinder the navigation of aircraft at very low or low altitude.
  • the invention also relates to a method and an associated aircraft navigation device for low or very low altitude flight.
  • the invention relates to the field of aeronautics, and in particular the navigation of aircraft at very low or low altitude.
  • the airspace is divided into several altitude sectors, comprising in particular a low altitude sector with an altitude greater than 30 meters and less than 100 meters and very low altitude less than 30 meters.
  • altitude obstacles are present, for example electricity or telecommunications poles, wind turbines, electric cables ..., and they constitute potential dangers.
  • Such altitude obstacles are generally mapped in airport areas circumscribed to precise geographical perimeters, and defined according to specific rules.
  • the invention proposes, according to a first aspect, a method for determining altitude obstacles, of height greater than or equal to a predetermined minimum height, said altitude obstacles being liable to hinder the navigation of aircraft at very low or low altitude.
  • This process comprises steps of:
  • the method for determining altitude obstacles according to the invention makes it possible to automatically obtain a consolidated set of obstacles, thanks to the implementation of a first image processing and a second image processing. images, and the use of height estimates obtained by these treatments.
  • the method for determining altitude obstacles according to the invention may also have one or more of the characteristics below, taken independently or in any technically conceivable combination.
  • the first image processing further provides an indication of belonging of each obstacle of said first set of obstacles to a predetermined category among a plurality of obstacle categories which may constitute altitude obstacles.
  • the first image processing comprises segmentation by application of a neural network, previously trained to identify obstacles belonging to one of the categories of said plurality of obstacle categories.
  • the first image processing includes, for each obstacle identified, a calculation to obtain a first estimate of the height of said obstacle.
  • the calculation is a function of a viewing angle of a device for acquiring an aerial digital image comprising said identified obstacle or of a corresponding illumination angle of the sun and of an estimate of the length of the shadow of said obstacle identified in said aerial digital image.
  • the second image processing is a stereoscopic processing, comprising a processing by pairs of digital images of said set of aerial digital images, a pair of digital images comprising two digital images of one same portion of land acquired with a known spatial shooting shift, said stereoscopic processing consisting in obtaining a three-dimensional reconstruction of said portion of land.
  • the second processing further comprises detection and location of point and linear objects of height greater than or equal to said predetermined minimum height in said three-dimensional reconstruction of the portion of land.
  • the determination of a consolidated set of obstacles further comprises a step of verifying the estimated height of said obstacles as a function of at least one independent data source.
  • the independent data source is a digital elevation model.
  • the method further comprises storing a set of attributes for each obstacle of the consolidated set of obstacles with a height greater than or equal to said predetermined minimum height present in said geographical area, said set of attributes comprising attributes of location, height and type of obstacle.
  • the set of attributes is stored in a format chosen to form a database of altitude obstacles.
  • the invention relates to a device for determining altitude obstacles, of height greater than or equal to a predetermined minimum height, said altitude obstacles being liable to hinder the navigation of aircraft at very low or low altitude. low altitude.
  • This device comprises at least one processor (4) configured to implement modules suitable for:
  • the invention relates to an information recording medium, on which are stored software instructions for the execution of a method for determining altitude obstacles as briefly described above, when these instructions are executed by a programmable electronic device.
  • the invention relates to a computer program comprising software instructions which, when they are implemented by a programmable electronic device, implement a method for determining altitude obstacles as briefly described. above.
  • the invention relates to an aircraft navigation method suitable for flying at low altitude in order to follow a trajectory flying over a given geographical area, comprising a step of obtaining a consolidated set of altitude obstacles present. in said geographical area, said consolidated set of obstacles being determined by a method for determining altitude obstacles as briefly described above, and avoiding altitude obstacles of said set of obstacles.
  • Figure 1 schematically illustrates a device for determining altitude obstacles in one embodiment of the invention in a case of application of the invention
  • Figure 2 is a block diagram of the main steps of a method for determining altitude obstacles in one embodiment of the invention
  • Figure 3 schematically illustrates an obstacle height determination according to one embodiment
  • FIG 4 is a block diagram of the main steps of an aircraft navigation method according to one embodiment of the invention.
  • FIG. 1 schematically illustrates a device 2 for determining altitude obstacles according to one embodiment of the invention, which are liable to hinder the flight of aircraft flying at very low altitude or at low altitude, therefore at altitudes between 0 and 100 meters.
  • the term altitude obstacle hereinafter designates a fixed object having at least one highest point of height relative to the ground on which the obstacle rests greater than or equal to a predetermined minimum height.
  • the predetermined minimum height is set at 30m.
  • the height thus defined is a first indication of the height of a fixed object constituting an altitude obstacle.
  • Another indication of the height of an altitude obstacle is an elevation of the highest point of the obstacle above mean sea level (or altitude).
  • the elevation above mean sea level is a second indication of the height of a fixed object constituting an altitude obstacle.
  • One of the objects of the invention is to automatically determine the presence of altitude obstacles in a chosen geographical area, and to characterize the altitude obstacles determined by at least one spatial location, an indication of height and in addition, a identification of belonging to a category among a set of predetermined categories.
  • the chosen geographic area is any geographic area. Of course, there is no difficulty in implementing the invention in a plurality of geographical areas.
  • the spatial location of an obstacle is for example provided by coordinates in a geolocated frame of reference.
  • coordinates are latitude and longitude coordinates, expressed in decimal degrees.
  • At least two categories of altitude obstacles are distinguished, comprising point obstacles, for example pylons, poles, wind turbines, and linear obstacles, for example electric cables, cable cars, telephone lines.
  • a greater number of categories are used, so as to more precisely identify the altitude obstacles present in a given geographical area.
  • the device 2 for the automatic determination of altitude obstacles is a programmable electronic device, for example a computer or a computer system comprising a plurality of connected computers.
  • the device 2 comprises at least one electronic calculation unit, for example a calculation processor 4, and an electronic data storage unit 6, for example in the form of files or registers.
  • the calculation processor 4 is able to perform calculations and computer program code instructions or software instructions when the device 2 is powered on.
  • the device 2 comprises a digital image acquisition unit 10 adapted to receive digital aerial images acquired by a digital aerial image acquisition device 8, for example a satellite, or a drone, or an aircraft carrying an aircraft.
  • an on-board image acquisition device for example an optical sensor or a radar.
  • Aerial digital images are, for example, digital images in the visible domain.
  • the aerial images used are radar images or images in the infrared domain.
  • the altitude obstacle determination device 2 receives digital aerial images acquired by several acquisition sources.
  • the aerial digital images acquired by the image acquisition unit 10 are digital images of portions of land in the geographical area which entirely cover the considered geographical area.
  • the digital image acquisition unit 10 comprises a module 12 for receiving and storing digital images and a module 14 for standardizing digital images to put them in a chosen format.
  • a set of digital images in a homogeneous format in terms of image size, resolution and encoding format is thus obtained.
  • the device 2 for determining altitude obstacles further comprises a unit 20 for locating and identifying altitude obstacles in a geographical area, which comprises a module 22 for applying a first image processing. , a module 24 for applying a second image processing, a module 26 for merging the results of the first and second image processing operations, a module 28 for consolidating the results and a module 30 for storing the consolidated set obstacles in a format chosen so as to form an altitude obstacle database 32.
  • the modules 22, 24, 26, 28 and 30 are produced in the form of executable software instructions, which are recorded on a non-transient, computer-readable information medium.
  • the computer readable medium is, for example, a medium capable of storing electronic instructions and of being coupled to a bus of a computer system.
  • the readable medium is an optical disc, a magneto-optical disc, a ROM memory, a RAM memory, any type of non-volatile memory (for example EPROM, EEPROM, FLASH, NVRAM), a magnetic card or an optical card.
  • these modules 22, 24, 26, 28 and 30 are each made in the form of a programmable logic component, such as an FPGA (standing for Field Programmable Gâte Arra ⁇ ), a GPU ( graphics processor) or a GPGPU (standing for General-purpose Processing on graphics Processing), or in the form of a dedicated integrated circuit, such as an ASIC (standing for Application Specifies Integrated Circuit).
  • a programmable logic component such as an FPGA (standing for Field Programmable Gâte Arra ⁇ ), a GPU ( graphics processor) or a GPGPU (standing for General-purpose Processing on graphics Processing), or in the form of a dedicated integrated circuit, such as an ASIC (standing for Application Specifies Integrated Circuit).
  • the device 2 for determining altitude obstacles is also suitable for receiving data from an independent data source 35.
  • the independent data source 35 is a cartographic database comprising a digital terrain model with altitude information for points in the terrain of the geographical area considered.
  • the altitude obstacle determination device 2 generates an altitude obstacle database 32, for the given geographical area.
  • Such an obstacle database can then be used for the navigation of aircraft flying at very low or low altitude.
  • a navigation trajectory calculating device 34 is configured to use an altitude obstacle database 32 previously generated by an altitude obstacle determination method according to the invention.
  • a device 34 for calculating a navigation trajectory comprises for example a module 36 for receiving an altitude obstacle database for a chosen geographical area, and a module 38 for calculating the trajectory making it possible to avoid obstacles from altitude listed.
  • a device 34 for calculating the trajectory is located in a ground control center.
  • the trajectory calculating device 34 is on board an aircraft for a dynamic calculation or modification of the trajectory during flight.
  • the trajectory is then used by an aircraft piloting system 40, on board an aircraft, for example by an automatic piloting device 42.
  • FIG. 2 is a block diagram of the main steps of a method for determining altitude obstacles in one embodiment of the invention.
  • the method comprises a step 50 of obtaining aerial images, in the form of digital images, from a source for acquiring digital aerial images, for example the unit 10 for acquiring images, representative of portions. of land that is part of a given geographical area.
  • the digital images obtained form a set of images covering the geographical area.
  • the geographic area is of any size.
  • the acquired digital images are in the visible domain.
  • the digital images are in the infrared domain or are digital radar or lidar images.
  • the digital images received are, in a known manner, represented by matrices of pixels, each pixel having an associated digital value, in an interval of values.
  • the dimensions of the matrix indicate the resolution of the image.
  • This information relating to the acquisition is preferably stored in connection with each digital image.
  • the information relating to the acquisition comprises at least one piece of geolocation information associated with the image, making it possible to precisely geolocate the portion of land represented, a piece of spatial resolution information making it possible to indicate the actual size of the land area represented. by each pixel, as well as information on the shooting date.
  • the information relating to the acquisition further comprises, for each digital image, angle of view information.
  • the method further comprises a step 52 of standardizing the digital images of the set of images, consisting in putting them at the same resolution and in the same image format.
  • the image format is for example a known digital image encoding format such as JPEG, MPEG, GIF.
  • associated geolocation information is stored, which makes it possible to calculate spatial coordinates in a given frame of reference, for example GPS coordinates, for each point of the digital image.
  • the method implements, in parallel or successively, a first image processing 54 and a second image processing 56.
  • the first and second image processing are performed substantially in parallel.
  • the first processing of images 54 makes it possible to obtain a first set of obstacles present in the geographical area and an associated height estimate.
  • the first image processing 54 includes a segmentation step 58 making it possible to obtain a segmentation of objects likely to constitute altitude obstacles, each obstacle being classified in a previously identified category of obstacles.
  • the segmentation implemented is semantic segmentation.
  • Semantic segmentation consists in determining, for each pixel, the category of object (obstacle or other) to which it belongs, the aim being to group them into regions in order to create a partition of the image.
  • it is useful to identify the pixels belonging to the obstacle and those belonging to its projected shadow in order to deduce the height.
  • step 58 implements semantic segmentation by a neural network, previously trained to recognize the categories of obstacles identified, by supervised learning.
  • the semantic segmentation is carried out by a convolutional neural network of the U-net type, described initially in the article “U-Net: Convolutional Networks for Biomedical Image Segmentation” by O. Ronnenberger et al, published in “Computer Vision and Pattern Recognition ”in 2015.
  • Optimized versions of this convolutional neural network architecture can of course also be used.
  • the convolutional neural network architecture makes it possible both to optimize the quality of the segmentation results and the computational complexity.
  • a plurality of obstacle categories comprising the following obstacle categories: point obstacles, having subcategories pole, wind turbine, water tower; linear obstacles.
  • Supervised learning is done, in a known manner, on digital images comprising obstacles in each of the categories, segmented and identified.
  • step 58 the obstacles and the associated category are detected automatically, and form a first set of obstacles.
  • the first image processing 54 includes a step 60 of calculating a first height of each obstacle detected in step 58.
  • the height is associated with a point of the obstacle, considered the highest point of the obstacle.
  • each segment being defined by two end points, and the estimated height is associated with the highest end point (highest point) of all the segments constituting the linear obstacle.
  • this calculation is performed from a digital image in which the considered obstacle has been detected, using information relating to the acquisition of the digital image.
  • the calculation uses an estimated length X of the shadow of the obstacle, as well as the angle of view and view by the image acquisition device (an SAT satellite in the example) and / or the angle of illumination of the sun a. At least one of these two angles is sufficient to calculate a height from the ground.
  • the estimated height from the ground Y is given by the formula:
  • the first height estimate is directly calculated by the formula [Math 1]
  • the associated elevation is for example deduced from the estimate of the height relative to the ground, knowing for example a digital terrain model with associated altitude information .
  • the first height estimate is stored, in connection with the spatial location of the obstacle detected and with the category to which the obstacle belongs.
  • a width is also calculated based on the segmentation and resolution of a digital image in which the obstacle was detected.
  • the altitude obstacle is a linear obstacle, it is cut into a plurality of segments, and a first height estimate is associated with each segment.
  • the first obstacle height estimate is, for example, equal to the maximum value of the height estimates at end points of each segment.
  • the second image processing 56 makes it possible to obtain a second set of obstacles present in said geographical area and a second associated height estimate, greater than or equal to the predetermined minimum height.
  • the second image processing 56 comprises a step 62 of stereoscopic processing, consisting in constructing, from a pair of digital images comprising two images of the same portion of land acquired with a known spatial shooting shift, a three-dimensional reconstruction of said portion of land with a also calculated depth level.
  • the three-dimensional reconstruction is for example represented by a three-dimensional matrix, in which each point also has an associated height.
  • Step 62 is implemented for pluralities of pairs of digital images of the first set of digital images.
  • the stereoscopic processing step 62 is followed by a step 64 of detecting and locating point and linear objects of height greater than or equal to a predetermined minimum height (H seU ii), for example equal to 30 meters.
  • H seU ii a predetermined minimum height
  • step 64 points likely to belong to altitude obstacles are stored, along with the associated height, which constitutes a second height estimate.
  • step 66 of merging the stored data and by a step 68 of consolidation, making it possible to obtain a consolidated set of altitude obstacles, with a height greater than or equal to H seU ii.
  • the merger 66 consists in relating, for the same potential altitude obstacle detected, the first and second estimates of height, and verifying that these two estimates indicate a height greater than or equal to
  • the altitude obstacle detection is validated, and the identified obstacle is stored in the consolidated set of altitude obstacles.
  • the additional data includes a digital terrain model and / or LIDAR type data or Radar data to estimate the elevation of an obstacle above the ground.
  • the consolidation step makes it possible to check the consistency of the obstacles detected with the additional data (s). For example, if the highest point of an obstacle is less than the elevation of a corresponding point in the digital terrain model, the obstacle is removed. In another example, the category of the obstacle may not be consistent with the geographical location (e.g. a wind turbine in the city center), in which case the detected obstacle is removed.
  • the geographical location e.g. a wind turbine in the city center
  • a consolidated set of detected obstacles is obtained at the end of step 68.
  • the method comprises a step 70 of memorizing a set of attributes for each obstacle of the consolidated set of obstacles of height greater than or equal to H seU ii present in said geographical area.
  • the set of attributes comprises, for example, attributes of spatial location, height and type of obstacle, coded according to a given coding format, in order to form an obstacle database.
  • -P1JD identifier of the first point obstacle associated with the segment
  • -P2JD : identifier of the second point obstacle associated with the segment.
  • a database of altitude obstacles in the chosen geographical area is thus created and stored.
  • the altitude obstacle database thus formed comprising attributes for locating and identifying obstacles, is subsequently used in the navigation of aircraft at very low or low altitude.
  • FIG. 4 is a block diagram of the main steps of an aircraft navigation method in one embodiment of the invention.
  • the method comprises a step 72 of requesting determination of altitude obstacles specifying a given geographical area, and a step 74 of receiving obstacle attributes, for example in the form of a database, calculated by a method for determining altitude obstacles as described above.
  • step 76 consists of calculating the flight path of an aircraft avoiding these obstacles.
  • the obstacles thus identified are also exploited in step 78 by navigation devices, for example an automatic piloting device, and, optionally, displayed on a graphical user interface for use by a pilot. 'aircraft.
  • navigation devices for example an automatic piloting device, and, optionally, displayed on a graphical user interface for use by a pilot. 'aircraft.
  • the invention has been described above for a first image processing implementing segmentation by neural network and a second image processing implementing stereoscopic processing.
  • a first set of aerial images obtained from a first source of aerial images is used for the first image processing
  • a second set of aerial images obtained from a second source of aerial images, independent of the first source is used for the second image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

L'invention concerne un procédé et un dispositif de détermination d'obstacles d'altitude. Le procédé comporte, pour une zone géographique déterminée, l'obtention (50) d'images numériques aériennes de portions de terrain de ladite zone géographique à partir d'au moins une source d'images numériques aériennes, formant un ensemble d'images numériques aériennes couvrant ladite zone géographique. Le procédé comporte l'application (54) d'un premier traitement d'images aux images numériques dudit ensemble d'images pour obtenir un premier ensemble d'obstacles présents dans ladite zone géographique et une première estimation de hauteur associée, puis l'application (56) d'un deuxième traitement d'images aux images dudit ensemble d'images numériques pour obtenir un deuxième ensemble d'obstacles présents dans ladite zone géographique et une deuxième estimation de hauteur associée, supérieure ou égale à ladite hauteur minimale prédéterminée. En fonction des première et deuxième estimations de hauteur, un ensemble consolidé d'obstacles d'altitude, de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée, présents dans ladite zone géographique, est obtenu (66, 68) et des attributs desdits obstacles d'altitude sont mémorisés (70).

Description

TITRE : Procédé et dispositif de détermination d’obstacles d’altitude
La présente invention concerne un procédé et un dispositif de détermination d’obstacles d’altitude de hauteur supérieure ou égale à une hauteur prédéterminée, lesdits obstacles d’altitude étant susceptibles d’entraver la navigation d’aéronefs à très basse ou basse altitude.
L’invention concerne également un procédé et un dispositif de navigation d’aéronefs pour un vol à basse ou très basse altitude associés.
L’invention se situe dans le domaine de l’aéronautique, et en particulier de la navigation d’aéronefs à très basse ou basse altitude.
En effet, de manière connue, l’espace aérien est divisé en plusieurs secteurs d’altitude, comportant notamment un secteur basse altitude d’altitude supérieure à 30 mètres et inférieure à 100 mètres et de très basse altitude inférieure à 30 mètres.
Pour les aéronefs volant à très basse ou basse altitude, les obstacles d’altitude sont présents, par exemple des poteaux électriques ou de télécommunications, des éoliennes, des câbles électriques... , et ils constituent des dangers potentiels.
De tels obstacles d’altitude sont cartographiés en général dans des zones aéroportuaires circonscrites à des périmètres géographiques précis, et définis selon des règles spécifiques.
Cependant, différents types d’aéronefs, comme les aéronefs sans pilote à bord (e.g. drones) ou des aérostats, qui volent à basse et très basse altitude, sont utilisés de plus en plus et leur vol n’est pas limité à des zones aéroportuaires.
Les dispositions réglementaires différentes s’appliquent dans diverses zones géographiques, et le niveau d’exhaustivité des produits commerciaux disponibles à ce jour listant les obstacles d’altitude présents n’est pas satisfaisant.
Il existe un besoin de fournir une détermination d’obstacles d’altitude, avec localisation et identification, qui soit plus exhaustive et qui s’applique à n’importe quelle zone géographique.
A cet effet, l’invention propose, selon un premier aspect, un procédé de détermination d’obstacles d’altitude, de hauteur supérieure ou égale à une hauteur minimale prédéterminée, lesdits obstacles d’altitude étant susceptibles d’entraver la navigation d’aéronefs à très basse ou basse altitude. Ce procédé comporte des étapes de :
- pour une zone géographique déterminée, obtention d’images numériques aériennes de portions de terrain de ladite zone géographique à partir d’au moins une source d’images numériques aériennes, formant un ensemble d’images numériques aériennes couvrant ladite zone géographique,
- application d’un premier traitement d’images aux images numériques dudit ensemble d’images pour obtenir un premier ensemble d’obstacles présents dans ladite zone géographique et une première estimation de hauteur associée,
- application d’un deuxième traitement d’images aux images dudit ensemble d’images numériques pour obtenir un deuxième ensemble d’obstacles présents dans ladite zone géographique et une deuxième estimation de hauteur associée, supérieure ou égale à ladite hauteur minimale prédéterminée,
- en fonction des première et deuxième estimations de hauteur, détermination d’un ensemble consolidé d’obstacles d’altitude, de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée présents dans ladite zone géographique, et mémorisation d’attributs desdits obstacles d’altitude.
Avantageusement, le procédé de détermination d’obstacles d’altitude selon l’invention permet d’obtenir automatiquement un ensemble consolidé d’obstacles, grâce à la mise en œuvre d’un premier traitement d’images et d’un deuxième traitement d’images, et à l’utilisation des estimations de hauteur obtenues par ces traitements.
Le procédé de détermination d’obstacles d’altitude selon l’invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement envisageables.
Le premier traitement d’images fournit en outre, une indication d’appartenance de chaque obstacle dudit premier ensemble d’obstacles à une catégorie prédéterminée parmi une pluralité de catégories d’obstacles susceptibles de constituer des obstacles d’altitude.
Le premier traitement d’images comporte une segmentation par application d’un réseau de neurones, préalablement entraîné à identifier des obstacles appartenant à l’une des catégories de ladite pluralité de catégories d’obstacles.
Le premier traitement d’images comporte, pour chaque obstacle identifié, un calcul permettant d’obtenir une première estimation de hauteur dudit obstacle.
Le calcul est fonction d’un angle de prise de vue d’un dispositif d’acquisition d’une image numérique aérienne comportant ledit obstacle identifié ou d’un angle d’illumination du soleil correspondant et d’une estimation de longueur de l’ombre dudit obstacle identifié dans ladite image numérique aérienne.
Le deuxième traitement d’images est un traitement stéréoscopique, comprenant un traitement par paires d’images numériques dudit ensemble d’images numériques aériennes, une paire d’images numériques comportant deux images numériques d’une même portion de terrain acquises avec un décalage spatial de prise de vue connu, ledit traitement stéréoscopique consistant à obtenir une reconstitution en trois dimensions de ladite portion de terrain.
Le deuxième traitement comporte en outre une détection et une localisation d’objets ponctuels et linéaires de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée dans ladite reconstitution en trois dimensions de la portion de terrain.
La détermination d’un ensemble consolidé d’obstacles comporte en outre une étape de vérification de la hauteur estimée desdits obstacles en fonction d’au moins une source de données indépendante.
La source de données indépendante est un modèle numérique de terrain.
Le procédé comporte en outre une mémorisation d’un ensemble d’attributs pour chaque obstacle de l’ensemble consolidé d’obstacles de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée présents dans ladite zone géographique, ledit ensemble d’attributs comportant des attributs de localisation, de hauteur et de type d’obstacle.
L’ensemble d’attributs est mémorisé dans un format choisi de manière à former une base de données d’obstacles d’altitude.
Selon un autre aspect, l’invention concerne un dispositif de détermination d’obstacles d’altitude, de hauteur supérieure ou égale à une hauteur minimale prédéterminée, lesdits obstacles d’altitude étant susceptibles d’entraver la navigation d’aéronefs à très basse ou basse altitude. Ce dispositif comporte au moins un processeur (4) configuré pour mettre en œuvre des modules adaptés à :
- pour une zone géographique déterminée, obtenir des images numériques aériennes de portions de terrain de ladite zone géographique à partir d’au moins une source d’images numériques aériennes, formant un ensemble d’images numériques aériennes couvrant ladite zone géographique,
- appliquer un premier traitement d’images aux images numériques dudit ensemble d’images pour obtenir un premier ensemble d’obstacles présents dans ladite zone géographique et une première estimation de hauteur associée,
- appliquer un deuxième traitement d’images aux images dudit ensemble d’images numériques pour obtenir un deuxième ensemble d’obstacles présents dans ladite zone géographique et une deuxième estimation de hauteur associée, supérieure ou égale à ladite hauteur minimale prédéterminée,
- en fonction des première et deuxième estimations de hauteur, déterminer un ensemble consolidé d’obstacles d’altitude, de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée présents dans ladite zone géographique, et mémoriser des attributs desdits obstacles d’altitude.
Selon un autre aspect, l’invention concerne un support d’enregistrement d’informations, sur lequel sont mémorisées des instructions logicielles pour l’exécution d’un procédé de détermination d’obstacles d’altitude tel que brièvement décrit ci-dessus, lorsque ces instructions sont exécutées par un dispositif électronique programmable.
Selon un autre aspect, l’invention concerne un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en œuvre par un dispositif électronique programmable, mettent en œuvre un procédé de détermination d’obstacles d’altitude tel que brièvement décrit ci-dessus.
Selon un autre aspect, l’invention concerne un procédé de navigation d’aéronef adapté à voler à basse altitude pour suivre une trajectoire survolant une zone géographique donnée, comportant une étape d’obtention d’un ensemble consolidé d’obstacles d’altitude présents dans ladite zone géographique, ledit ensemble consolidé d’obstacle étant déterminé par un procédé de détermination d’obstacles d’altitude tel que brièvement décrit ci-dessus, et un évitement des obstacles d’altitude dudit ensemble d’obstacles.
D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :
[Fig 1] la figure 1 illustre schématiquement un dispositif de détermination d’obstacles d’altitude dans un mode de réalisation de l’invention dans un cas d’application de l’invention;
[Fig 2] la figure 2 est un bloc-diagramme des principales étapes d’un procédé de détermination d’obstacles d’altitude dans un mode de réalisation de l’invention ;
[Fig 3] la figure 3 illustre schématiquement une détermination de hauteur d’obstacle selon un mode de réalisation ;
[Fig 4] la figure 4 est un bloc-diagramme des principales étapes d’un procédé de navigation d’aéronef selon un mode de réalisation de l’invention.
La figure 1 illustre schématiquement un dispositif 2 de détermination d’obstacles d’altitude selon un mode de réalisation de l’invention, qui sont susceptibles d’entraver le vol d’aéronefs volant à très basse altitude ou à basse altitude, donc à des altitudes comprises entre 0 et 100 mètres. Le terme obstacle d’altitude désigne ci-après un objet fixe, ayant au moins un point culminant de hauteur par rapport au sol sur lequel repose l’obstacle supérieure ou égale à une hauteur minimale prédéterminée.
Par exemple, la hauteur minimale prédéterminée est fixée à 30m. La hauteur ainsi définie est une première indication de hauteur d’un objet fixe constituant un obstacle d’altitude.
Une autre indication de hauteur d’un obstacle d’altitude, qui peut être fournie en complément, est une élévation du point culminant de l’obstacle par rapport au niveau moyen de la mer (ou altitude). L’élévation par rapport au niveau moyen de la mer est une deuxième indication de hauteur d’un objet fixe constituant un obstacle d’altitude.
Un des objets de l’invention est de déterminer automatiquement la présence d’obstacles d’altitude dans une zone géographique choisie, et de caractériser les obstacles d’altitude déterminés par au moins une localisation spatiale, une indication de hauteur et en complément, une identification d’appartenance à une catégorie parmi un ensemble de catégories prédéterminé.
La zone géographique choisie est une zone géographique quelconque. Bien entendu, il n’y a pas de difficulté à mettre en œuvre l’invention sur une pluralité de zones géographiques.
La localisation spatiale d’un obstacle est par exemple fournie par des coordonnées dans un référentiel géolocalisé. Par exemple, les coordonnées sont des coordonnées de latitude et de longitude, exprimées en degrés décimaux.
Au moins deux catégories d’obstacles d’altitude sont distinguées, comportant des obstacles ponctuels, par exemple pylônes, poteaux, éoliennes, et des obstacles linéaires, par exemple des câbles électriques, téléphériques, lignes téléphoniques.
De préférence, un plus grand nombre de catégories est utilisé, de manière à identifier plus précisément les obstacles d’altitude présents dans une zone géographique donnée.
Le dispositif 2 de détermination automatique d’obstacles d’altitude est un dispositif électronique programmable, par exemple un ordinateur ou un système informatique comportant une pluralité d’ordinateurs connectés.
Le dispositif 2 comporte au moins une électronique unité de calcul, par exemple un processeur de calcul 4, et une unité électronique de stockage de données 6, par exemple sous forme de fichiers ou de registres. Le processeur de calcul 4 est apte à exécuter des calculs et des instructions de code de programme d’ordinateur ou instructions logicielles lorsque le dispositif 2 est mis sous tension. Le dispositif 2 comporte une unité 10 d’acquisition d’images numériques adaptée à recevoir des images numériques aériennes acquises par un dispositif d’acquisition d’images numériques aériennes 8, par exemple un satellite, ou un drone, ou un aéronef porteur d’un dispositif d’acquisition d’images embarqué, par exemple un capteur optique ou un radar.
Les images numériques aériennes sont par exemple des images numériques dans le domaine visible. En variante, les images aériennes utilisées sont des images radar ou des images dans le domaine infrarouge.
Selon une autre variante, le dispositif 2 de détermination d’obstacles d’altitude reçoit des images numériques aériennes acquises par plusieurs sources d’acquisition.
Pour une zone géographique donnée, les images numériques aériennes acquises par l’unité d’acquisition d’images 10 sont des images numériques de portions de terrain de la zone géographique qui recouvrent en totalité la zone géographique considérée.
L’unité 10 d’acquisition d’images numériques comporte un module 12 de réception et mémorisation d’images numériques et un module 14 de normalisation d’images numériques pour les mettre dans un format choisi. Un ensemble d’images numériques en format homogène en termes de taille d’images, résolution et format de codage est ainsi obtenu.
Le dispositif 2 de détermination d’obstacles d’altitude comporte en outre une unité 20 de localisation et d’identification d’obstacles d’altitude dans une zone géographique, qui comporte un module 22 d’application d’un premier traitement d’images, un module 24 d’application d’un deuxième traitement d’images, un module 26 de fusion des résultats des premier et deuxième traitements d’images, un module 28 de consolidation des résultats et un module 30 de mémorisation de l’ensemble consolidé d’obstacles dans un format choisi de manière à former une base de données d’obstacles d’altitude 32. Plusieurs modes de réalisation d’un procédé de détermination d’obstacles d’altitude seront décrits ci-après.
Dans un mode de réalisation, les modules 22, 24, 26, 28 et 30 sont réalisés sous forme d’instructions logicielles exécutables, qui sont enregistrées sur un support d’informations non transitoire, lisible par ordinateur. Le support lisible par ordinateur est par exemple, un médium apte à mémoriser des instructions électroniques et à être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est un disque optique, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non volatile (par exemple EPROM, EEPROM, FLASH, NVRAM), une carte magnétique ou une carte optique. Dans une variante de mise en œuvre, ces modules 22, 24, 26, 28 et 30 sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglais Field Programmable Gâte Arraÿ), un GPU (processeur graphique) ou un GPGPU (de l’anglais General-purpose Processing on graphies Processing), ou encore sous forme d’un circuit intégré dédié, tel qu’un ASIC (de l’anglais Application Spécifie Integrated Circuit).
Le dispositif 2 de détermination d’obstacles d’altitude est en outre adapté à recevoir des données d’une source de données indépendante 35. Par exemple, la source de données indépendante 35 est une base de données cartographiques comportant un modèle numérique de terrain avec des informations d’altitude des points du terrain de la zone géographique considérée.
Le dispositif 2 de détermination d’obstacles d’altitude génère une base de données d’obstacles d’altitude 32, pour la zone géographique donnée.
Une telle base de données d’obstacles est par la suite utilisable pour la navigation d’aéronef volant à très basse ou basse altitude.
Dans un mode de réalisation, un dispositif 34 de calcul de trajectoire de navigation est configuré pour utiliser une base de données d’obstacles d’altitude 32 préalablement générée par un procédé de détermination d’obstacles d’altitude selon l’invention. Un tel dispositif 34 de calcul de trajectoire de navigation comporte par exemple un module 36 de réception de base de données d’obstacles d’altitude pour une zone géographique choisie, et un module 38 de calcul de trajectoire permettant d’éviter les obstacles d’altitude répertoriés.
Dans un mode de réalisation, un dispositif 34 de calcul de trajectoire, par exemple en fonction d’une mission d’aéronef, est situé dans un centre de contrôle au sol. En variante, le dispositif 34 de calcul de trajectoire est embarqué à bord d’un aéronef pour un calcul ou une modification dynamique de trajectoire en cours de vol.
La trajectoire est ensuite utilisée par un système de pilotage d’aéronef 40, embarqué à bord d’un aéronef, par exemple par un dispositif de pilotage automatique 42.
La figure 2 est un bloc diagramme des principales étapes d’un procédé de détermination d’obstacles d’altitude dans un mode de réalisation de l’invention.
Le procédé comporte une étape 50 d’obtention d’images aériennes, sous forme d’images numériques, d’une source d’acquisition d’images numériques aériennes, par exemple l’unité 10 d’acquisition d’images, représentatives de portions de terrain faisant partie d’une zone géographique donnée. Les images numériques obtenues forment un ensemble d’images couvrant la zone géographique.
La zone géographique est de taille quelconque. Par exemple, les images numériques acquises sont dans le domaine visible. En variante, les images numériques sont dans le domaine infrarouge ou sont des images numériques radar ou lidar.
Les images numériques reçues sont, de manière connue, représentées par des matrices de pixels, chaque pixel ayant une valeur numérique associée, dans un intervalle de valeurs. Les dimensions de la matrice indiquent la résolution de l’image.
Outre l’acquisition des images numériques, des informations relatives à l’acquisition de ces images, par exemple enregistrées dans des métadonnées du format de fichier encapsulant les images numériques, sont également reçues.
Ces informations relatives à l’acquisition sont de préférence mémorisées, en lien avec chaque image numérique. Par exemple, les informations relatives à l’acquisition comportent au moins une information de géolocalisation associée à l’image, permettant de géolocaliser précisément la portion de terrain représentée, une information de résolution spatiale permettant d’indiquer la taille réelle de surface de terrain représentée par chaque pixel, ainsi qu’une information de date de prise de vue. Dans un mode de réalisation, les informations relatives à l’acquisition comportent en outre, pour chaque image numérique, des informations d’angle de prise de vue.
Le procédé comporte en outre une étape 52 de standardisation des images numériques de l’ensemble d’images, consistant à les mettre à une même résolution et dans un même format d’image. Le format d’images est par exemple un format de codage d’images numériques connu tel que JPEG, MPEG, GIF.
Pour chaque image numérique, des informations de géolocalisation associées sont mémorisées, ce qui permet de calculer des coordonnées spatiales dans un référentiel donné, par exemple des coordonnées GPS, pour chaque point de l’image numérique.
Le procédé met en œuvre, en parallèle ou successivement, un premier traitement d’images 54 et un deuxième traitement d’images 56.
Dans un mode de réalisation, les premier et deuxième traitement d’images sont exécutés sensiblement en parallèle.
Le premier traitement d’images 54 permet d’obtenir un premier ensemble d’obstacles présents dans la zone géographique et une estimation de hauteur associée.
Le premier traitement d’images 54 comporte une étape 58 de segmentation permettant d’obtenir une segmentation d’objets susceptibles de constituer des obstacles d’altitude, chaque obstacle étant classifié dans une catégorie d’obstacles préalablement identifiée.
De préférence, la segmentation mise en œuvre est une segmentation sémantique. La segmentation sémantique consiste à déterminer, pour chaque pixel, la catégorie d’objet (obstacle ou autre) à laquelle il appartient, le but étant de les regrouper en régions afin de créer une partition de l'image. De plus, il est utile d’identifier les pixels appartenant à l’obstacle et ceux appartenant à son ombre projetée pour en déduire la hauteur.
De préférence, l’étape 58 met en œuvre une segmentation sémantique par un réseau de neurones, préalablement entraîné à reconnaître les catégories d’obstacles identifiées, par apprentissage supervisé.
De préférence, la segmentation sémantique est réalisée par un réseau de neurones convolutionnel de type U-net, décrit initialement dans l’article « U-Net : Convolutional Networks for Biomédical Image Segmentation » de O. Ronnenberger et al, publié dans « Computer Vision and Pattern Récognition » en 2015. Des versions optimisées de cette architecture de réseau de neurones convolutionnel sont bien entendu également utilisables. Avantageusement, l’architecture de réseau de neurones convolutionnel permet à la fois d’optimiser la qualité des résultats de segmentation et la complexité calculatoire.
Par exemple, une pluralité de catégories d’obstacles est utilisée, comprenant les catégories d’obstacles suivantes : obstacles ponctuels, ayant des sous-catégories poteau, éolienne, château-d’eau ; obstacles linéaires.
L’apprentissage supervisé se fait, de manière connue, sur des images numériques comportant des obstacles dans chacune des catégories, segmentés et identifiés.
A l’étape 58, les obstacles et la catégorie associée sont détectés automatiquement, et forment un premier ensemble d’obstacles.
De plus, le premier traitement d’images 54 comporte une étape 60 de calcul d’une première hauteur de chaque obstacle détecté à l’étape 58.
Pour un obstacle dit ponctuel, la hauteur est associée à un point de l’obstacle, considéré point culminant de l’obstacle.
Pour un obstacle dit linéaire, plusieurs segments sont distingués, chaque segment étant défini par deux points d’extrémité, et la hauteur estimée est associée au point d’extrémité le plus haut (point culminant) de tous les segments constituant l’obstacle linéaire.
Dans un mode de réalisation, ce calcul est effectué à partir d’une image numérique dans laquelle l’obstacle considéré a été détecté, en utilisant des informations relatives à l’acquisition de l’image numérique.
Par exemple, comme illustré schématiquement à la figure 3, le calcul utilise une longueur estimée X de l’ombre de l’obstacle, ainsi que l’angle de prise et vue par le dispositif d’acquisition d’images (un satellite SAT dans l’exemple) et/ou l’angle d’illumination du soleil a. Au moins un de ces deux angles est suffisant pour calculer une hauteur par rapport au sol.
La hauteur par rapport au sol estimée Y est donnée par la formule :
[Mathl]
F = tan(«) X X
Où la longueur X est la longueur de l’ombre de l’objet projetée au sol, a l’angle d’incidence du soleil et Y la hauteur par rapport au sol estimée.
La première estimation de hauteur est directement calculée par la formule [Math 1] L’élévation associée est par exemple déduite de l’estimation de la hauteur par rapport au sol, connaissant par exemple un modèle numérique de terrain avec des informations d’altitude associées.
La première estimation de hauteur est mémorisée, en lien avec la localisation spatiale de l’obstacle détecté et avec la catégorie d’appartenance de l’obstacle.
Optionnellement, si l’obstacle d’altitude détecté est un obstacle ponctuel, une largeur est également calculée en fonction de la segmentation et de la résolution d’une image numérique dans laquelle l’obstacle a été détecté.
Si l’obstacle d’altitude est un obstacle linéaire, il est découpé en une pluralité de segments, et une première estimation de hauteur est associée à chaque segment. La première estimation de hauteur de l’obstacle est par exemple égale à la valeur maximale des estimations de hauteur à des points d’extrémité de chaque segment.
Le deuxième traitement d’images 56 permet d’obtenir un deuxième ensemble d’obstacles présents dans ladite zone géographique et une deuxième estimation de hauteur associée, supérieure ou égale à la hauteur minimale prédéterminée.
Le deuxième traitement d’images 56 comporte une étape 62 de traitement stéréoscopique, consistant à construire, à partir d’une paire d’images numériques comportant deux images d’une même portion de terrain acquises avec un décalage spatial de prise de vue connu, une reconstitution en trois dimensions de ladite portion de terrain avec un niveau de profondeur calculé également. La reconstitution en trois dimensions est par exemple représentée par une matrice à trois dimensions, dans laquelle chaque point a également une hauteur associée.
Tout algorithme de traitement stéréoscopique connu peut être utilisé à l’étape 62. L’étape 62 est mise en œuvre pour des pluralités de paires d’images numériques du premier ensemble d’images numériques.
L’étape 62 de traitement stéréoscopique est suivie d’une étape 64 de détection et de localisation d’objets ponctuels et linéaires de hauteur supérieure ou égale à une hauteur minimale prédéterminée (HseUii), par exemple égale à 30 mètres.
A l’issue de l’étape 64, des points susceptibles d’appartenir à des obstacles d’altitude sont mémorisés, ainsi que la hauteur associée, qui constitue une deuxième estimation de hauteur.
Ces étapes sont suivies d’une étape 66 de fusion des données mémorisées, et d’une étape 68 de consolidation, permettant d’obtenir un ensemble consolidé d’obstacles d’altitude, de hauteur supérieure ou égale à HseUii.
Dans un mode de réalisation, la fusion 66 consiste à mettre en relation, pour un même obstacle d’altitude potentiel détecté, les première et deuxième estimations de hauteur, et vérifier que ces deux estimations indiquent une hauteur supérieure ou égale à
Hseuil·
En cas de vérification positive, la détection d’obstacle d’altitude est validée, et l’obstacle identifié est mémorisé dans l’ensemble consolidé d’obstacles d’altitude.
En cas de vérification négative, si seulement l’une des première et deuxième estimations indique une hauteur supérieure à HseUii, alors lors de l’étape 68 de consolidation, des données complémentaires d’une source de données indépendante sont utilisées.
Par exemple, les données complémentaires comprennent un modèle numérique de terrain et/ou des données de type LIDAR ou des données Radar permettant estimer l’élévation d’un obstacle au-dessus du sol.
L’étape de consolidation permet de vérifier la cohérence des obstacles détectés avec la ou les données complémentaires. Par exemple, si le point culminant d’un obstacle est inférieur à l’élévation d’un point correspondant du modèle numérique de terrain, l’obstacle est écarté. Dans un autre exemple, la catégorie de l’obstacle peut ne pas être cohérente avec la localisation géographique (e.g. une éolienne en centre-ville), auquel cas l’obstacle détecté est écarté.
Un ensemble consolidé d’obstacles détectés est obtenu à l’issue de l’étape 68.
Le procédé comporte une étape 70 de mémorisation d’un ensemble d’attributs pour chaque obstacle de l’ensemble consolidé d’obstacles de hauteur supérieure ou égale à HseUii présents dans ladite zone géographique. L’ensemble d’attributs comprend par exemple des attributs de localisation spatiale, de hauteur et de type d’obstacle, codés selon un format de codage donné, afin de former une base de données d’obstacles.
Par exemple, pour les obstacles ponctuels sont mémorisés les attributs suivants :
-OBSJD : identifiant unique de l’obstacle sur P caractères, par exemple P=10 ;
-DECJ-ON : longitude de la position de l’obstacle en degrés décimaux ;
-DECJ-AT : latitude de la position de l’obstacle en degrés décimaux ;
-ELEV M : élévation du point culminant de l’obstacle en mètres
-HEIGHT M : hauteur du point culminant de l’obstacle (par rapport au sol) en mètres
-WIDTH M : largeur en mètres [optionnel]
-OBS_TYPE : type de l’obstacle
Par exemple, pour les obstacles linéaires sont mémorisés les attributs suivants :
-LINE ID : identifiant unique sur P caractères (même identifiant pour tous les segments de l’obstacle linéaire), par exemple P=10 ;
-SEGJD : identifiant du segment de l’obstacle linéaire sur Q caractères, par exemple Q=4 ;
-SEG_TYPE : type de segment de l’obstacle linéaire ;
-P1JD : identifiant du premier obstacle ponctuel associé au segment ;
-P2JD : : identifiant du deuxième obstacle ponctuel associé au segment.
Pour chaque obstacle ponctuel, les attributs d’obstacle ponctuel mentionnés ci- dessus sont renseignés.
Une base de données d’obstacles d’altitude dans la zone géographique choisie est ainsi constituée et mémorisée.
La base de données d’obstacles d’altitude ainsi constituée, comportant des attributs de localisation et d’identification d’obstacles, est utilisée par la suite dans la navigation d’aéronef à très basse ou à basse altitude.
La figure 4 est un bloc diagramme des principales étapes d’un procédé de navigation d’aéronef dans un mode de réalisation de l’invention.
Le procédé comporte une étape 72 de requête de détermination d’obstacles d’altitude spécifiant une zone géographique donnée, et une étape 74 de réception d’attributs d’obstacles, par exemple sous la forme d’une base de données, calculés par un procédé de détermination d’obstacles d’altitude tel que décrit ci-dessus.
Le procédé comporte ensuite une étape 76 d’utilisation de cette base de données pour la navigation. Par exemple l’étape 76 consiste en un calcul de trajectoire de de vol d’aéronef évitant ces obstacles. En variante ou en complément, les obstacles ainsi identifiés sont également exploités à l’étape 78 par des dispositifs de navigation, par exemple un dispositif de pilotage automatique, et, optionnellement, affichés sur une interface graphique d’utilisateur pour utilisation par un pilote d’aéronef. L’invention a été décrite ci-dessus pour un premier traitement d’images mettant en œuvre une segmentation par réseau de neurones et un deuxième traitement d’images mettant en œuvre un traitement stéréoscopique.
Selon une variante, un premier ensemble d’images aériennes obtenues d’une première source d’images aériennes est utilisé pour le premier traitement d’images, et un deuxième ensemble d’images aériennes obtenues d’une deuxième source d’images aériennes, indépendante de la première source, est utilisé pour le deuxième traitement d’images.

Claims

REVENDICATIONS
1. Procédé de détermination d’obstacles d’altitude, de hauteur supérieure ou égale à une hauteur minimale prédéterminée, lesdits obstacles d’altitude étant susceptibles d’entraver la navigation d’aéronefs à très basse ou basse altitude, caractérisé en ce qu’il comporte des étapes de : a. pour une zone géographique déterminée, obtention (50) d’images numériques aériennes de portions de terrain de ladite zone géographique à partir d’au moins une source d’images numériques aériennes, formant un ensemble d’images numériques aériennes couvrant ladite zone géographique, b. application d’un premier traitement d’images (54) aux images numériques dudit ensemble d’images pour obtenir un premier ensemble d’obstacles présents dans ladite zone géographique et une première estimation de hauteur associée, c. application d’un deuxième traitement d’images (56) aux images dudit ensemble d’images numériques pour obtenir un deuxième ensemble d’obstacles présents dans ladite zone géographique et une deuxième estimation de hauteur associée, supérieure ou égale à ladite hauteur minimale prédéterminée, d. en fonction des première et deuxième estimations de hauteur, détermination (66, 68) d’un ensemble consolidé d’obstacles d’altitude, de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée présents dans ladite zone géographique, et mémorisation (70) d’attributs desdits obstacles d’altitude.
2. Procédé selon la revendication 1 , dans lequel ledit premier traitement d’images fournit en outre, une indication d’appartenance de chaque obstacle dudit premier ensemble d’obstacles à une catégorie prédéterminée parmi une pluralité de catégories d’obstacles susceptibles de constituer des obstacles d’altitude.
3. Procédé selon la revendication 2, dans lequel ledit premier traitement d’images (54) comporte une segmentation (58) par application d’un réseau de neurones, préalablement entraîné à identifier des obstacles appartenant à l’une des catégories de ladite pluralité de catégories d’obstacles.
4. Procédé selon l’une des revendications 1 à 3, dans lequel le premier traitement d’images (54) comporte, pour chaque obstacle identifié, un calcul (60) permettant d’obtenir une première estimation de hauteur dudit obstacle.
5. Procédé selon la revendication 4, dans lequel ledit calcul est fonction d’un angle de prise de vue d’un dispositif d’acquisition d’une image numérique aérienne comportant ledit obstacle identifié ou d’un angle d’illumination du soleil correspondant et d’une estimation de longueur de l’ombre dudit obstacle identifié dans ladite image numérique aérienne.
6. Procédé selon l’une des revendications 1 à 5, dans lequel le deuxième traitement d’images (56) est un traitement stéréoscopique, comprenant un traitement (62) par paires d’images numériques dudit ensemble d’images numériques aériennes, une paire d’images numériques comportant deux images numériques d’une même portion de terrain acquises avec un décalage spatial de prise de vue connu, ledit traitement stéréoscopique consistant à obtenir une reconstitution en trois dimensions de ladite portion de terrain.
7. Procédé selon la revendication 6, dans lequel le deuxième traitement comporte en outre une détection et une localisation (64) d’objets ponctuels et linéaires de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée dans ladite reconstitution en trois dimensions de la portion de terrain.
8. Procédé selon l’une des revendications 1 à 7, dans lequel la détermination d’un ensemble consolidé d’obstacles comporte en outre une étape de vérification de la hauteur estimée desdits obstacles en fonction d’au moins une source de données indépendante.
9. Procédé selon la revendication 8, dans lequel ladite source de données indépendante est un modèle numérique de terrain.
10. Procédé selon l’une des revendications 1 à 9, comportant en outre une mémorisation d’un ensemble d’attributs pour chaque obstacle de l’ensemble consolidé d’obstacles de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée présents dans ladite zone géographique, ledit ensemble d’attributs comportant des attributs de localisation, de hauteur et de type d’obstacle.
11. Procédé selon la revendication 10, dans lequel ledit ensemble d’attributs est mémorisé dans un format choisi de manière à former une base de données (32) d’obstacles d’altitude.
12. Procédé de navigation d’aéronef adapté à voler à basse altitude pour suivre une trajectoire survolant une zone géographique donnée, comportant une étape d’obtention d’un ensemble consolidé d’obstacles d’altitude présents dans ladite zone géographique, ledit ensemble consolidé d’obstacle étant déterminé par un procédé de détermination d’obstacles d’altitude conforme aux revendications 1 à 11, et un évitement des obstacles d’altitude dudit ensemble d’obstacles.
13. Dispositif de détermination d’obstacles d’altitude, de hauteur supérieure ou égale à une hauteur minimale prédéterminée, lesdits obstacles d’altitude étant susceptibles d’entraver la navigation d’aéronefs à très basse ou basse altitude, caractérisé en ce qu’il comporte au moins un processeur (4) configuré pour mettre en œuvre des modules adaptés à : a. pour une zone géographique déterminée, obtenir (10) des images numériques aériennes de portions de terrain de ladite zone géographique à partir d’au moins une source d’images numériques aériennes, formant un ensemble d’images numériques aériennes couvrant ladite zone géographique, b. appliquer un premier traitement d’images (22) aux images numériques dudit ensemble d’images pour obtenir un premier ensemble d’obstacles présents dans ladite zone géographique et une première estimation de hauteur associée, c. appliquer un deuxième traitement d’images (24) aux images dudit ensemble d’images numériques pour obtenir un deuxième ensemble d’obstacles présents dans ladite zone géographique et une deuxième estimation de hauteur associée, supérieure ou égale à ladite hauteur minimale prédéterminée, d. en fonction des première et deuxième estimations de hauteur, déterminer (26, 28) un ensemble consolidé d’obstacles d’altitude, de hauteur supérieure ou égale à ladite hauteur minimale prédéterminée présents dans ladite zone géographique, et mémoriser (30) des attributs desdits obstacles d’altitude.
14. Programme d’ordinateur comportant des instructions logicielles qui lorsqu’elles sont mises en œuvre par un dispositif électronique programmable, mettent en œuvre un procédé de détermination d’obstacles d’altitude conforme aux revendications 1 à 11.
PCT/EP2021/053730 2020-02-18 2021-02-16 Procédé et dispositif de détermination d'obstacles d'altitude WO2021165237A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/800,641 US20230069829A1 (en) 2020-02-18 2021-02-16 Method and device for determining altitude obstacles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2001594 2020-02-18
FR2001594A FR3107359B1 (fr) 2020-02-18 2020-02-18 Procede et dispositif de determination d'obstacles d'altitude

Publications (1)

Publication Number Publication Date
WO2021165237A1 true WO2021165237A1 (fr) 2021-08-26

Family

ID=72178610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/053730 WO2021165237A1 (fr) 2020-02-18 2021-02-16 Procédé et dispositif de détermination d'obstacles d'altitude

Country Status (3)

Country Link
US (1) US20230069829A1 (fr)
FR (1) FR3107359B1 (fr)
WO (1) WO2021165237A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240124137A1 (en) * 2022-10-13 2024-04-18 Wing Aviation Llc Obstacle avoidance for aircraft from shadow analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273223A1 (en) * 2004-05-18 2005-12-08 Airbus France Method and device for ensuring the safety of a low-altitude flight of an aircraft
US20170084038A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US20180218214A1 (en) * 2015-08-06 2018-08-02 Accenture Global Services Limited Condition detection using image processing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149376A (ja) * 1992-11-05 1994-05-27 Mitsubishi Electric Corp 経路生成装置
US5943164A (en) * 1994-11-14 1999-08-24 Texas Instruments Incorporated Curved 3-D object description from single aerial images using shadows
IL155034A0 (en) * 2003-03-23 2004-06-20 M A M D Digital Data Proc Syst Automatic aerial digital photography and digital data processing systems
FR2853978B1 (fr) * 2003-04-16 2006-02-03 Eurocopter France Procede et dispositif de securisation du vol d'un aeronef en conditions de vol aux instruments hors infrastructures de vol aux instruments
US7440591B1 (en) * 2003-11-12 2008-10-21 Rockwell Collins, Inc. Validation of terrain and obstacle databases
US8600589B2 (en) * 2012-04-24 2013-12-03 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR
ITRM20130115A1 (it) * 2013-02-28 2014-08-29 Univ Roma La Sapienza Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche
US20160085238A1 (en) * 2013-08-30 2016-03-24 Insitu, Inc. Display of terrain along flight paths
WO2015075700A1 (fr) * 2013-11-25 2015-05-28 First Resource Management Group Inc. Appareil et procédé de gestion d'inventaire forestier
US9384398B2 (en) * 2014-06-11 2016-07-05 Here Global B.V. Method and apparatus for roof type classification and reconstruction based on two dimensional aerial images
US10032311B1 (en) * 2014-09-29 2018-07-24 Rockwell Collins, Inc. Synthetic image enhancing system, device, and method
US10008123B2 (en) * 2015-10-20 2018-06-26 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
CA2951533C (fr) * 2015-12-10 2023-08-08 Ocean Networks Canada Society Generation automatisee de modeles d'elevation numeriques
US9846975B2 (en) * 2016-02-18 2017-12-19 Skycatch, Inc. Generating filtered, three-dimensional digital ground models utilizing multi-stage filters
US10054445B2 (en) * 2016-05-16 2018-08-21 Northrop Grumman Systems Corporation Vision-aided aerial navigation
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
WO2018086140A1 (fr) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Détermination de trajectoire de vol
AU2018301706B2 (en) * 2017-07-14 2023-01-12 Memorial Sloan Kettering Cancer Center Weakly supervised image classifier
JP6962775B2 (ja) * 2017-10-24 2021-11-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 情報処理装置、空撮経路生成方法、プログラム、及び記録媒体
CN111344738B (zh) * 2017-11-15 2024-03-29 日本电气方案创新株式会社 在农场中收集育种数据、分析育种特征的设备、方法
KR102275572B1 (ko) * 2018-12-21 2021-07-09 한국전자통신연구원 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
WO2020261183A1 (fr) * 2019-06-25 2020-12-30 Owkin Inc. Systèmes et procédés de prétraitement d'image
DE102019134324A1 (de) * 2019-12-13 2021-06-17 Connaught Electronics Ltd. Ein Verfahren zum Messen der Topografie einer Umgebung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273223A1 (en) * 2004-05-18 2005-12-08 Airbus France Method and device for ensuring the safety of a low-altitude flight of an aircraft
US20180218214A1 (en) * 2015-08-06 2018-08-02 Accenture Global Services Limited Condition detection using image processing
US20170084038A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Systems and methods for non-obstacle area detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
O. RONNENBERGER ET AL.: "U-Net : Convolutional Networks for Biomedical Image Segmentation", COMPUTER VISION AND PATTERN RÉCOGNITION, 2015

Also Published As

Publication number Publication date
US20230069829A1 (en) 2023-03-09
FR3107359B1 (fr) 2022-02-25
FR3107359A1 (fr) 2021-08-20

Similar Documents

Publication Publication Date Title
CA3104652A1 (fr) Detection et remplacement d'obstructions transitoires a partir d'images numeriques a haute altitude
EP2724203A1 (fr) Génération de données de carte
FR3088308A1 (fr) Procede de mesure d'un niveau d'usure d'un pneu d'un vehicule.
EP2517152B1 (fr) Procede de classification d'objets dans un systeme de veille par imagerie
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
EP2924458B1 (fr) Procédé de détection et de visualisation des obstacles artificiels d'un aéronef à voilure tournante
WO2021165237A1 (fr) Procédé et dispositif de détermination d'obstacles d'altitude
EP3384462B1 (fr) Procede de caracterisation d'une scene par calcul d'orientation 3d
FR3079924A1 (fr) Suivi par geolocalisation
EP3832338A1 (fr) Procede de geolocalisation et de qualification de dispositifs d'infrastructure de signalisation
FR3003356A1 (fr) Procede d'observation d'une zone au moyen d'un drone
FR2987151A1 (fr) Systeme d'aide au sauvetage par helicoptere
EP3488383B1 (fr) Procede et dispositif d'aide a la navigation d'un vehicule
FR3103305A1 (fr) Procédé et dispositif de prédiction d’au moins une caractéristique dynamique d’un véhicule en un point d’un segment routier.
EP3757943B1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions
EP3640841B1 (fr) Dispositif électronique et procédé de surveillance d'une scène via un ensemble de capteur(s) électronique(s), programme d'ordinateur associé
WO2024194543A1 (fr) Procede d'analyse d'un flux video, programme d'ordinateur, dispositif de traitement et vehicule associes
WO2024184519A1 (fr) Procédé de reconstruction en trois dimensions d'un élément mobile
FR3138944A1 (fr) Dispositif et procédé d'estimation de la traversabilité d'un terrain par un système mobile
FR3143814A1 (fr) Procédé de caractérisation de l’environnement d’un porteur mobile, produisant une grille d’espace statique et/ou une grille d’espace libre
FR3141763A1 (fr) Système et procédé d’aide à la navigation d’un système mobile
FR3145730A1 (fr) Modélisation d’une situation de conduite pour guidage latéral d’un véhicule
EP3757942A1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image
CA3233479A1 (fr) Procede de detection d'obstacles
FR3111713A1 (fr) Procédé et dispositif de contrôle du déplacement d’un véhicule

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21704575

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21704575

Country of ref document: EP

Kind code of ref document: A1