WO2017068141A1 - Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé - Google Patents

Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé Download PDF

Info

Publication number
WO2017068141A1
WO2017068141A1 PCT/EP2016/075412 EP2016075412W WO2017068141A1 WO 2017068141 A1 WO2017068141 A1 WO 2017068141A1 EP 2016075412 W EP2016075412 W EP 2016075412W WO 2017068141 A1 WO2017068141 A1 WO 2017068141A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital image
resolution
sensor
spectral band
image data
Prior art date
Application number
PCT/EP2016/075412
Other languages
English (en)
Inventor
Etienne Payot
Jérôme ARTAUD
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to EP16787785.1A priority Critical patent/EP3365866A1/fr
Priority to CN201680061634.5A priority patent/CN108369727A/zh
Priority to CA3001668A priority patent/CA3001668A1/fr
Priority to US15/768,350 priority patent/US20180300856A1/en
Publication of WO2017068141A1 publication Critical patent/WO2017068141A1/fr
Priority to IL258758A priority patent/IL258758A/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0065—Navigation or guidance aids for a single aircraft for taking-off
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Definitions

  • the present invention relates to a system adapted to provide an operator with increased visibility, which can be used in particular for assisting aircraft control, as well as an associated method.
  • the invention is in the field of augmented vision systems (EVS), which are imaging systems intended to provide an operator with an image of the environment improved by compared to a human perception, this image can be presented through a display head up (or HUD for "head-up display” in English) or on a display screen (display called “head down”).
  • EVS augmented vision systems
  • EVS systems have applications in particular in the field of aircraft piloting assistance, especially in the approach and landing phase, but also taxiing and takeoff, in case of low visibility due to environmental conditions and / or degraded weather.
  • Runaway Visual Range is defined as the distance up to which an aircraft pilot, placed in the centreline of the runway, can see by his natural vision the marks or the lights which delimit the track or which mark the axis of this one.
  • the RVR is generally evaluated by an automatic calculation integrating the instrumental measurements relating to the transmission coefficient of the atmosphere and the background luminance and information on the intensity of the lighting.
  • the regulation imposes a minimum RVR value of 550 meters to initiate an approach, other requirements have to be met otherwise, and the regulation allows to descend to a decision height (DH) at least 200ft (200ft), the height at which the pilot must discern visual references to descend below the DH decision height.
  • DH decision height
  • 200ft 200ft
  • Such a visual range is difficult to obtain in certain degraded meteorological conditions which can make the lighting markings undetectable by the pilot at the decision height DH.
  • EVS systems have been designed, in particular to remedy this problem and improve the natural vision of flight crews and extend landing capabilities in conditions of degraded visibility.
  • the regulation allows, in the example cited above, to go down to 10Oft if the necessary visual references could be discerned by the pilot at 200ft with the help of an EVS and even if this is not the case. not discernible by the human eye.
  • EVS systems comprising image sensors in the infrared spectral band using the spectral bands of 3 to 5 ⁇ or 8 to 14 ⁇ and in the spectral band SWIR for "Short Wave Infra Red" of signals electromagnetic wave which extends from 1 ⁇ to 2.5 ⁇ .
  • the purpose of using sensors in the SWIR spectral band is to optimize the detection capabilities of incandescent lamps commonly used to mark tracks.
  • LED light emitting diode
  • the patent application WO 2009/128065 A1 describes an EVS system comprising a plurality of sensors able to operate in various spectral bands, comprising the NIR spectral band for "Near Infra-Red" of electromagnetic signals of wavelength extending from 0.7 ⁇ at 1 .0 ⁇ , and the spectral band of visible light which extends from 0.4 ⁇ to 0.7 ⁇ .
  • This system mergers the image data acquired by the different sensors.
  • the spectral bands to be fused are selected according to the previously identified meteorological conditions and the nature of the light markings to be detected.
  • the angular resolution is defined as being the elementary field of view of a pixel of an image sensor detector. It is generally considered that the angular resolution of the human eye is about 0.8 arc minutes, or 0.0135 ° (or 0.00029 radians). Likewise in what follows, a high spatial resolution will designate a fine angular resolution, thus a small resolution angle / field of view.
  • the object of the invention is to overcome the disadvantages of the prior art mentioned above.
  • the invention proposes, according to a first aspect, a system adapted to provide an operator with increased visibility, intended for the purpose of piloting an aircraft, comprising at least one sensor capable of acquiring image data. in a given spectral band and a central processing unit able to process the acquired image data and to transmit the processed image data for displaying a digital image on a display unit.
  • This system comprises:
  • At least one high-resolution sensor capable of acquiring image data forming a digital image in a spectral band including at least all or part of the spectral band corresponding to the electromagnetic signals visible to the human eye, of first spatial resolution, and angular resolution of capture strictly finer than the angular resolution of the human eye, and
  • a non-linear processing module adapted to achieve a spatial resolution change while preserving bright spots of said acquired digital image to obtain a digital image to display second spatial resolution less than the first spatial resolution.
  • the system of the invention is an EVS system using at least one sensor (orientable or fixed) of very fine angular resolution and significantly better than that of the eye in the visible spectral band, which allows:
  • the proposed system is less expensive in hardware and requires less computational resources than a system based on sensors adapted to operate in several different spectral bands.
  • the system according to the invention may have one or more of the following characteristics, taken independently or in all their technically acceptable combinations.
  • Each digital image is defined by a matrix of pixels, each pixel having an associated value, said value being even higher when a pixel is glossy, and the nonlinear processing module is able to apply a nonlinear filtering has a block of pixels of the digital image acquired to determine a corresponding pixel value in the digital image to be displayed, said non-linear filtering taking into account, for a block of pixels of the acquired digital image, at least the maximum value said block of pixels.
  • Non-linear filtering involves associating with a pixel of the digital image to display a value calculated from values above a predetermined threshold of the corresponding block of pixels of the acquired digital image.
  • the nonlinear filtering involves associating with a pixel of the digital image to display a value calculated from a given number of the highest values of the block of pixels.
  • the system includes a plurality of high resolution juxtaposed sensors.
  • the system comprises a high-definition sensor, adapted to be positioned in a position for acquiring image data along a line of sight, and displacement members of said sensor, making it possible to move the angle of sight of this sensor.
  • the high-resolution sensor capable of acquiring digital image data is a first sensor in a first spectral band corresponding to the signals visible to the human eye, the system further comprising a second sensor capable of acquiring second digital image data. in a second spectral band different from the first spectral band.
  • the second spectral band belongs to the field of infrared electromagnetic waves of wavelength between 3 and 14 micrometers.
  • the system further comprises an image processing module adapted to effect a merger between said digital image to be displayed and the second digital image data acquired by the second sensor.
  • the angular capture resolution is strictly finer than the angular resolution of the human eye, by a factor greater than or equal to 3.
  • the invention proposes a method adapted to provide an operator with increased visibility, intended for use in aircraft piloting, implemented by a system comprising at least one sensor capable of acquiring data from aircraft. image in a given spectral band and a central processing unit adapted to process the acquired image data and to transmit the processed image data for displaying a digital image on a display unit.
  • the method comprises the following steps:
  • the process according to the invention may have one or more of the following characteristics, taken independently or in all their technically acceptable combinations.
  • Each digital image is defined by a matrix of pixels, each pixel having an associated value, said value being even higher when a pixel is shiny, and the nonlinear processing comprises the application of a nonlinear filtering a block of pixels of the acquired digital image for determining a corresponding pixel value in the digital image to be displayed, said non-linear filtering taking into account at least the maximum value of said block of pixels.
  • Non-linear filtering involves associating with a pixel of the digital image to display a value calculated from values above a predetermined threshold of the corresponding block of pixels of the acquired digital image.
  • the value associated with the pixel of the digital image to be displayed is calculated from a given number of the highest values of the block of pixels.
  • the method includes another step of acquiring second digital image data in a second spectral band different from the first spectral band.
  • the method includes a step of merging the second resolution digital image obtained by nonlinear processing with the second digital image data.
  • FIG. 1 schematically represents an aircraft approaching a track marked by light markings
  • FIG. 2 diagrammatically illustrates an augmented vision system according to a first embodiment
  • FIG. 3 schematically illustrates two images of different spatial resolutions
  • FIG. 4 schematically illustrates an augmented vision system according to a second embodiment.
  • the invention finds applications more generally in any context in which an increased vision compared to the human vision of an operator is useful, for example for controlling other types of devices.
  • Figure 1 schematically illustrates an application context of the invention, which is the landing of an aircraft.
  • an aircraft 2 is on landing approach on a landing field 4, comprising a landing runway 6.
  • the landing strip is marked by various markers 8, 10, 12, 16, 18.
  • the markers 8 are markers of the center of the track
  • the markers 10, 12 are light markers of the edge of the track, arranged Regularly along its entire length
  • the markers 16 are runway threshold markers
  • the markers 18 are approach ramp markers.
  • the markers 8, 10, 12, 16, 18 emit at least in the spectral band visible to the eye by the operator and some can be made by LED lamps and others by incandescent lamps .
  • the aircraft 2 is equipped with a system 14 adapted to provide the pilot with increased vision.
  • system 14 is shown schematically in Figure 1, and that it is in practice made of several elements that are positioned at different locations or grouped together, as explained in more detail below.
  • a system 14 comprises an image sensor 20 in the spectral band of the electromagnetic radiation or signals visible to the human eye, of wavelength between 0.4 ⁇ to 0.7 ⁇ but can in a variant go up to 1 ⁇ .
  • the image sensor 20 operates in a spectral band comprising only a part of the spectral band of the electromagnetic signals visible to the human eye.
  • the sensor 20 is a high resolution sensor, making it possible to obtain a level of angular resolution of shooting that is finer than the human eye.
  • the digital image acquired by the sensor 20 has an associated spatial resolution, the spatial resolution being defined as the number of image data or pixels per unit length. Each pixel has an associated radiometry value, also called intensity value.
  • the senor 20 is such that the ratio K between the angular resolution of the human eye and the angular image acquisition resolution is greater than or equal to 3.
  • the digital image acquired by such a sensor is said on -resolved because it has angular resolution finer than the angular resolution achievable by the human eye.
  • the sensor 20 makes it possible to capture, along a line of sight, a field of view of maximum angle ⁇ preferably of the order of 35 ° to 40 °.
  • the senor 20 is a CMOS sensor ("Complementarity Metal-Oxide Semiconductor”), composed of photodiodes, whose manufacturing cost is moderate.
  • CMOS sensor Complementarity Metal-Oxide Semiconductor
  • the senor 20 is a CCD (Charge Coupled Device) or uses any other sensor technology.
  • CCD Charge Coupled Device
  • the sensor 20 in order to acquire image data corresponding to the angle of view field ⁇ , the sensor 20 is replaced by a plurality of angle-of-view sensors smaller than ⁇ , juxtaposed and adapted capturing image data corresponding to adjacent fields of view or having an overlapping portion.
  • the high resolution sensor 20 has a field of view of angle smaller than the desired angle, thus a narrower field of view, but this sensor 20 is made movable by displacement members, allowing it to be rotated so as to cover a wide field of view of the order of ⁇ .
  • displacement members are formed by an articulated or fixed connection associated with a motor.
  • the sensor 20 is steerable.
  • the senor 20 is placed for example at the front of the fuselage of the aircraft.
  • the capture of an overbooked image makes it possible to improve the visibility of the light markings with a quantifiable performance, even in conditions of reduced visibility.
  • a fog-reducing weather condition is schematically illustrated by a cloud 21 in FIG.
  • a cloud 21 for example, a fog-reducing weather condition is schematically illustrated by a cloud 21 in FIG.
  • an over-resolved digital image 10 of first spatial resolution R 0 is obtained, the image consisting of K * L pixels, for example 5120 * 4096.
  • the digital image is defined by a matrix of pixel values.
  • non-linear processing module 22 The data of the over-resolved digital image 10 , of first spatial resolution R 0 , are transmitted to a non-linear processing module 22, for example via a data bus connected to the output of the sensor 20.
  • non-linear processing 22 is implemented by a not shown programmable device, for example an on-board computer, comprising one or more processors able to execute calculations and computer program code instructions when they are powered up.
  • the programmable device implementing the non-linear processing module 22, as well as any other calculation module is implemented by an integrated circuit of the FPGA type or by a dedicated integrated circuit of ASIC type.
  • the processing carried out by the nonlinear processing module 22 makes it possible to go from the first image 10 of the first spatial resolution R 0 to a digital image of second spatial resolution R 1; less than the first spatial resolution R 0 , while preserving contrast points of the image, in particular bright spots (or points of positive contrast) of the image.
  • Points of contrast are called points or pixels whose associated value is clearly greater or substantially less than the average value of the pixels of the neighborhood, for example greater than 3 times the standard deviation of the pixels of this neighborhood.
  • the points whose associated value is much higher than the surrounding values are bright points, the contrast is positive.
  • the points whose associated value is significantly lower than the surrounding values are dark points, the contrast is negative.
  • the processing performed by the nonlinear processing module 22 makes it possible to maintain positive contrast points in the digital image of second spatial resolution less than the first resolution.
  • FIG. 3 illustrates two such images 10 and 1 with a resolution factor equal to 3 between the first resolution R 0 and the second resolution.
  • a block B of 3 ⁇ 3 pixels of the digital image 10 corresponds to a pixel P of the image .
  • the correspondence is a spatial correspondence in the respective matrices, as shown in Figure 3.
  • a block of MxN pixels of the image 10 corresponds to a pixel of the image.
  • the gain provided by the over-resolution of the image 10 acquired by the sensor 20 is preserved.
  • the maximum intensity emitted by the luminous markings, captured by the over-resolved image acquisition, is preserved in the second resolution digital image.
  • the non-linear processing module is adapted to retain the detected light spots, in other words to preserve the brightest points of the block, because in fact the more a point is shiny, the higher the associated value in the image digital is high.
  • the applied nonlinear processing preserves the bright spots but does not preserve the dark spots, as only the brightest points are of interest for the intended piloting application.
  • the nonlinear processing module 22 applies other nonlinear treatments of filtering type that retain the maximum values or that process the pixels according to their rank. Filtering on overlapping windows can also be considered.
  • the values of the block pixels greater than a threshold S are retained.
  • the threshold S can be set or dynamically calculated, for example, being the average increased by 2 or 3 times the standard deviation of pixel values of the block. All the values retained, which are the values of the brightest pixels of the block according to the chosen criterion, are then used to obtain the final value of the pixel of the second resolution digital image. For example, an average of the values retained, therefore greater than threshold S, of the block considered, is calculated and assigned as the final value of the corresponding pixel in the second resolution digital image
  • the values of the pixels of a block considered are ordered in descending order of the values and the 2 (or 3) most important values are retained.
  • the values retained which are the values of the brightest pixels of the block according to the chosen criterion, are then used to obtain the final value of the pixel of the second resolution digital image. For example, an average of the values retained. of the block considered, is calculated and assigned as the final value of the corresponding pixel in the second resolution digital image.
  • the digital image of second spatial resolution Ri less than the resolution R 0 is transmitted to an image processing module 24, able to apply conventional processing, for example correction of radiometry, geometric alignment in view of the display of the image on a display unit 26, for example a screen.
  • processing modules 22 and 24 are applied by the same onboard computer.
  • the display is performed by incrustation on a display screen 26, located at the sight of a flight operator, called head-up display.
  • the second resolution is preferably chosen according to the display resolution of the display screen 26, for example a "head-up” display.
  • a “head-down” display screen for example located on the dashboard, is used.
  • such a head-up display makes it possible to present to the operator an augmented vision of the reality that he can perceive naturally, and thus to help him for the piloting operations.
  • a visualization method adapted to provide an operator with an augmented vision comprises a first step of acquiring a first digital image of first spatial resolution by a high resolution sensor able to acquire image data in a spectral band corresponding to the signals visible by the human eye, with a level of angular resolution of capture strictly greater than the level of angular resolution of the human eye.
  • This first step is followed by a non-linear processing step making it possible to obtain a second image of second spatial resolution R 2 , less than the first spatial resolution and of second angular resolution adapted to the resolution of the display device.
  • the factor between the angular resolution of capture and the angular resolution of the human eye is greater than or equal to 3, that is to say that the angular resolution of capture is at least 3 times finer than the resolution angular of the human eye.
  • the performance of the proposed system is computable, regardless of weather conditions.
  • a meteorological condition is characterized by an absorption coefficient ⁇ in a given spectral band.
  • X 0 is a reference distance to which the intensity l 0 of a beacon is associated.
  • the system of the invention is an EVS system using at least one sensor (orientable or fixed) of very fine angular resolution in a spectral band different from that of the eye, which allows to have significantly improved lighting range detection range performance compared to an EVS system having a resolution of the class of that of the eye in this same spectral band.
  • FIG. 4 A second embodiment of a system 30 adapted to provide increased vision according to the invention is illustrated in FIG. 4.
  • the system 30 comprises, in addition to the first sensor 20 capable of acquiring images of very high spatial resolution in the visible spectral band, and the processing unit 22 described above, constituting a first imaging channel, a second sensor 32 capable of acquire the images 2 in a different spectral band than the visible spectral range, preferably in the infrared spectral range.
  • the spatial resolution of the images 1 2 acquired by the sensor 32 is substantially equal to the second spatial resolution R 2 of the images obtained at the output of the nonlinear processing module 22.
  • the acquisition by this second sensor 32 forms a second imaging path.
  • the system 30 also comprises a processing module 34 adapted to perform the fusion of the images and 1 2 , corresponding to the same field of view, by applying in particular, with techniques known in the field of image processing, a radiometry control on each of the channels, a geometric alignment for rendering the images and 2 superimposable and a pixel-to-pixel addition.
  • the processing module 34 is also adapted to perform any image correction for display.
  • the processing module 34 is implemented by a not shown programmable device, for example an on-board computer, comprising one or more processors capable of executing calculations and instructions of computer program code when they are put under control. voltage.
  • the processing module 34 implements a step of merging between the second resolution digital image obtained by non-linear processing performed during the non-linear processing step by the module 22, and the second digital image data. 2 acquired by the sensor 32.
  • the resulting merged image is then transmitted to a display unit 26, analogous to the display unit 26 described above with reference to FIG. 2, for example a display for overlay and display.
  • the proposed system makes it possible to acquire an image of first spatial resolution which is over-resolved, which makes it possible to capture positive contrast points, that is to say points which are shiny with respect to their neighborhood, and of preserve these positive contrast points in the digital image of second spatial resolution, lower than the first resolution.
  • a second resolution digital image space for display and operation is obtained, but this image includes gloss information that could not have been captured with an image acquisition at said second spatial resolution.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un système adapté à fournir à un opérateur une visibilité augmentée, utilisable notamment pour l'aide au pilotage d'aéronef, comportant au moins un capteur apte à capturer des données d'image dans une bande spectrale donnée et une unité centrale de calcul apte à traiter les données d'image captées et à les transmettre à une unité d'affichage. Ce système comporte : - au moins un capteur (20) haute résolution apte à acquérir des données d'image formant une image numérique (l0) dans une bande spectrale incluant au moins tout ou partie de la bande visible par l'œil humain, de première résolution spatiale, et de résolution angulaire de capture strictement plus fine que la résolution angulaire de l'œil humain, et - un module (22) de traitement non-linéaire adapté à réaliser un changement de résolution spatiale tout en préservant des points brillants de ladite image numérique acquise (l0) pour obtenir une image numérique (h) à afficher de deuxième résolution spatiale inférieure à la première résolution spatiale.

Description

Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé
La présente invention concerne un système adapté à fournir à un opérateur une visibilité augmentée, utilisable notamment pour l'aide au pilotage d'aéronef, ainsi qu'un procédé associé.
L'invention se situe dans le domaine des systèmes de vision augmentée ou EVS (de l'anglais « Enhanced Vision Systems »), qui sont des systèmes d'imagerie ayant pour but de fournir à un opérateur une image de l'environnement améliorée par rapport à une perception humaine, cette image pouvant être présentée grâce à un affichage « tête haute » (ou HUD pour « head-up display » en anglais) ou sur un écran de visualisation (affichage dit « tête basse »).
Ces systèmes EVS trouvent des applications en particulier dans le domaine de l'aide au pilotage d'aéronef, notamment en phase d'approche et d'atterrissage, mais aussi de roulage et de décollage, en cas de faible visibilité due à des conditions environnementales et/ou météorologiques dégradées.
En effet, dans le domaine aéronautique, il est usuel de marquer les pistes de décollage/atterrissage des aéroports grâce à des marquages, notamment des balisages lumineux, comme par exemple la rampe d'approche, les balises lumineuses de bord et de centre de piste.
Afin de garantir la sécurité dans le domaine des transports aériens, il existe des réglementations imposant une portée visuelle de piste donnée pour engager une approche d'atterrissage par exemple. La portée visuelle de piste, en anglais « Runaway Visual Range » (RVR) est définie comme étant la distance jusqu'à laquelle un pilote d'aéronef, placé dans l'axe de la piste, peut voir par sa vision naturelle les marques ou les feux qui délimitent la piste ou qui balisent l'axe de celle-ci. La RVR est généralement évaluée par un calcul automatique intégrant les mesures instrumentales relatives au coefficient de transmission de l'atmosphère et la luminance de fond et des informations sur l'intensité du balisage lumineux. Par exemple, pour une approche dite CAT 1 pour Catégorie 1 , la réglementation impose une valeur minimale de RVR de 550 mètres pour engager une approche, d'autres exigences étant à satisfaire par ailleurs, et la réglementation permet de descendre à une hauteur de décision (dite DH) valant au moins 200ft (200 pieds), hauteur à laquelle le pilote doit discerner des références visuelles pour descendre en deçà de la hauteur de décision DH. Une telle portée visuelle est difficile à obtenir dans certaines conditions météorologiques dégradées qui peuvent rendre le balisage lumineux non discernable par le pilote à la hauteur de décision DH. Des systèmes EVS ont été conçus, notamment pour remédier à ce problème et améliorer la vision naturelle des équipages de pilotage et étendre les capacités d'atterrissage en conditions de visibilité dégradée. La réglementation permet notamment, dans l'exemple cité ci-dessus, de descendre jusqu'à 10Oft si les références visuelles nécessaires ont pu être discernées par le pilote à 200ft à l'aide d'un EVS et même si celle-ci ne sont pas discernables par l'œil humain.
On connaît à l'heure actuelle des systèmes EVS comportant des capteurs d'image dans la bande spectrale infrarouge utilisant les bandes spectrales de 3 à 5μηι ou de 8 à 14 μηι et dans la bande spectrale SWIR pour « Short Wave Infra Red » de signaux électromagnétiques de longueur d'onde qui s'étend de 1 μηι à 2.5μηι. L'utilisation des capteurs dans la bande spectrale SWIR a pour objectif d'optimiser les capacités de détection de lampes à incandescence couramment utilisées pour marquer les pistes.
Cependant, les balisages lumineux récents utilisent de nouvelles techniques d'éclairage à diode électroluminescente (LED), qui ne présentent pas d'émission au-delà d'une longueur d'onde de 1 μηι.
La demande de brevet WO 2009/128065 A1 décrit un système EVS comprenant une pluralité de capteurs aptes à fonctionner dans diverses bandes spectrales, comprenant la bande spectrale NIR pour « Near Infra-Red » de signaux électromagnétiques de longueur d'onde s'étendant de 0,7μηι à 1 .0μηι, et la bande spectrale de la lumière visible qui s'étend de 0,4μηι à 0.7μηι. Ce système réalise une fusion des données d'images acquises par les différents capteurs. Les bandes spectrales à fusionner sont sélectionnées en fonction des conditions météorologiques préalablement identifiées et de la nature des balisages lumineux à détecter.
Cependant, outre sa complexité calculatoire et son coût de fabrication élevé, un tel système présente des performances limitées à la performance de la meilleure des bandes spectrales présentes dans l'équipement. De plus, il n'est pas possible de prédire la performance du système, c'est-à-dire le gain en visibilité par rapport à l'œil humain, car ce gain varie en fonction des conditions météorologiques et atmosphériques, de la luminance de fond et de l'intensité des balisages lumineux. Par conséquent, il n'est pas aisé, avec un tel système, de prédire si pour une valeur de RVR donnée, le système permettra d'atteindre les performances requises pour engager et conduire à terme l'atterrissage.
On définit dans ce qui suit la résolution angulaire comme étant le champ de vue élémentaire d'un pixel d'un détecteur de capteur d'image. On considère généralement que la résolution angulaire de l'œil humain est d'environ 0,8 minutes d'arc, soit 0,0135° (ou 0,00029 radians). De même dans ce qui suit, une haute résolution spatiale désignera une résolution angulaire fine, donc un angle de résolution/champ de vue élémentaire petit. L'invention a pour but de remédier aux inconvénients de l'état de la technique précités.
A cet effet, l'invention propose, selon un premier aspect, un système adapté à fournir à un opérateur une visibilité augmentée, destiné à l'aide au pilotage d'aéronef, comportant au moins un capteur apte à acquérir des données d'image dans une bande spectrale donnée et une unité centrale de calcul apte à traiter les données d'image acquises et à transmettre les données d'image traitées pour affichage d'une image numérique sur une unité d'affichage.
Ce système comporte :
- au moins un capteur haute résolution apte à acquérir des données d'image formant une image numérique dans une bande spectrale incluant au moins tout ou partie de la bande spectrale correspondant aux signaux électromagnétiques visibles par l'œil humain, de première résolution spatiale, et de résolution angulaire de capture strictement plus fine que la résolution angulaire de l'œil humain, et
- un module de traitement non-linéaire adapté à réaliser un changement de résolution spatiale tout en préservant des points brillants de ladite image numérique acquise pour obtenir une image numérique à afficher de deuxième résolution spatiale inférieure à la première résolution spatiale.
Avantageusement, le système de l'invention est un système EVS utilisant au moins un capteur (orientable ou fixe) de résolution angulaire très fine et significativement meilleure que celle de l'œil dans la bande spectrale visible, ce qui permet :
• d'avoir des performances de portée de détection des balisages lumineux significativement améliorées par rapport à l'œil,
• d'être adapté à des balisages lumineux de type LED,
• de pouvoir quantifier sa performance par rapport à la portée visuelle de l'œil humain, indépendamment de la variation éventuelle des conditions météorologiques et atmosphériques.
De plus, le système proposé est moins coûteux en matériel et nécessite moins de ressources calculatoires qu'un système à base de capteurs adaptés à fonctionner dans plusieurs bandes spectrales différentes.
Le système selon l'invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes leurs combinaisons techniquement acceptables.
Chaque image numérique est définie par une matrice de pixels, chaque pixel ayant une valeur associée, ladite valeur étant d'autant plus élevée qu'un pixel est brillant, et le module de traitement non-linéaire est apte à appliquer un filtrage non-linéaire à un bloc de pixels de l'image numérique acquise pour déterminer une valeur de pixel correspondant dans l'image numérique à afficher, ledit filtrage non-linéaire prenant en compte, pour un bloc de pixels de l'image numérique acquise, au moins la valeur maximale dudit bloc de pixels.
Le filtrage non-linéaire consiste à associer à un pixel de l'image numérique à afficher une valeur calculée à partir des valeurs supérieures à un seuil prédéterminé du bloc de pixels correspondant de l'image numérique acquise.
Selon une variante, le filtrage non linéaire consiste associer à un pixel de l'image numérique à afficher une valeur calculée à partir d'un nombre donné des valeurs les plus élevées du bloc de pixels.
Le système comporte une pluralité de capteurs haute résolution juxtaposés.
Le système comporte un capteur haute définition, adapté à être positionné dans une position d'acquisition de données d'image selon un axe de visée, et des organes de déplacement dudit capteur, permettant de déplacer l'angle de visée de ce capteur.
Le capteur haute résolution apte à acquérir des données d'image numérique est un premier capteur dans une première bande spectrale correspondant aux signaux visibles par l'œil humain, le système comportant en outre un deuxième capteur apte à acquérir des deuxièmes données d'image numérique dans une deuxième bande spectrale différente de la première bande spectrale.
La deuxième bande spectrale appartient au domaine des ondes électromagnétiques infrarouges, de longueur d'onde comprise entre 3 et 14 micromètres.
Le système comporte en outre un module de traitement d'images adapté à effectuer une fusion entre ladite image numérique à afficher et les deuxièmes données d'image numérique acquises par le deuxième capteur.
La résolution angulaire de capture est strictement plus fine que la résolution angulaire de l'œil humain, d'un facteur supérieur ou égal à 3.
Selon un deuxième aspect, l'invention propose un procédé adapté à fournir à un opérateur une visibilité augmentée, destiné à l'aide au pilotage d'aéronef, mis en œuvre par un système comportant au moins un capteur apte à acquérir des données d'image dans une bande spectrale donnée et une unité centrale de calcul apte à traiter les données d'image acquises et à transmettre les données d'image traitées pour affichage d'une image numérique sur une unité d'affichage. Le procédé comporte des étapes suivantes :
- acquisition des données d'image formant une image numérique dans une bande spectrale incluant au moins tout ou partie de la bande spectrale correspondant aux signaux électromagnétiques visibles par l'œil humain, de première résolution spatiale, et de résolution angulaire de capture strictement plus fine que la résolution angulaire de l'œil humain, et
- application d'un traitement non-linéaire adapté à réaliser un changement de résolution spatiale tout en préservant des points brillants de ladite image numérique acquise pour obtenir une image numérique à afficher de deuxième résolution spatiale inférieure à la première résolution spatiale.
Les avantages du procédé étant analogues aux avantages du système brièvement décrit ci-dessus, ils ne sont pas rappelés ici.
Le procédé selon l'invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes leurs combinaisons techniquement acceptables.
Chaque image numérique est définie par une matrice de pixels, chaque pixel ayant une valeur associée, ladite valeur étant d'autant plus élevée qu'un pixel est brillant, et le traitement non-linéaire comprend l'application d'un filtrage non-linéaire à un bloc de pixels de l'image numérique acquise pour déterminer une valeur de pixel correspondant dans l'image numérique à afficher, ledit filtrage non-linéaire prenant en compte au moins la valeur maximale dudit bloc de pixels.
Le filtrage non-linéaire consiste à associer à un pixel de l'image numérique à afficher une valeur calculée à partir des valeurs supérieures à un seuil prédéterminé du bloc de pixels correspondant de l'image numérique acquise.
Selon une variante, la valeur associée au pixel de l'image numérique à afficher est calculée à partir d'un nombre donné des valeurs les plus élevées du bloc de pixels.
Le procédé comporte une autre étape d'acquisition de deuxièmes données d'image numérique dans une deuxième bande spectrale différente de la première bande spectrale.
Le procédé comporte une étape de fusion entre l'image numérique de deuxième résolution obtenue par traitement non-linéaire et les deuxièmes données d'image numérique.
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :
-la figure 1 représente schématiquement un aéronef à l'approche d'une piste marquée par des balisages lumineux ;
-la figure 2 illustre schématiquement un système de vision augmentée selon un premier mode de réalisation ; -la figure 3 illustre schématiquement deux images de résolutions spatiales différentes ;
- la figure 4 illustre schématiquement un système de vision augmentée selon un deuxième mode de réalisation.
L'invention sera décrite dans son application à l'aide au pilotage d'aéronef, étant entendu qu'elle n'est pas limitée à cette application.
En effet, l'invention trouve des applications de manière plus générale dans tout contexte dans lequel une vision augmentée par rapport à la vision humaine d'un opérateur est utile, par exemple pour le pilotage d'autres types d'appareils.
La figure 1 illustre schématiquement un contexte d'application de l'invention, qui est l'atterrissage d'un aéronef.
Dans l'exemple de la figure 1 , un aéronef 2 est en approche d'atterrissage sur un champ d'atterrissage 4, comportant une piste d'atterrissage 6.
La piste d'atterrissage est marquée par des marqueurs divers 8, 10, 12, 16, 18. Par exemple, les marqueurs 8 sont des marqueurs de centre de piste, les marqueurs 10, 12 sont des balises lumineuses de bord de piste, disposés régulièrement sur toute sa longueur, les marqueurs 16 sont des marqueurs de seuil de piste et les marqueurs 18 sont des balises de rampe d'approche.
Les marqueurs 8, 10, 12, 16, 18 émettent au moins dans la bande spectrale visible à l'œil par l'opérateur et certains peuvent être réalisés par des lampes à diodes électroluminescentes (LED) et d'autres par des lampes à incandescence.
Avantageusement, l'aéronef 2 est équipé d'un système 14 adapté à fournir à l'opérateur de pilotage une vision augmentée.
Il est à noter que le système 14 est représenté schématiquement sur la figure 1 , et qu'il est en pratique constitué de plusieurs éléments qui sont positionnés à différents endroits ou regroupés, comme expliqué plus en détail ci-après.
Selon un premier mode de réalisation illustré schématiquement à la figure 2, un système 14 selon l'invention comporte un capteur d'images 20 dans la bande spectrale des rayonnements ou signaux électromagnétiques visibles par l'œil humain, de longueur d'onde comprise entre 0,4μηι à 0.7μηι mais pouvant dans une variante aller jusqu'à 1 μηι.
En variante, le capteur d'images 20 fonctionne dans une bande spectrale comportant seulement une partie de la bande spectrale des signaux électromagnétiques visibles par l'œil humain.
Le capteur 20 est un capteur de haute résolution, permettant d'obtenir un niveau de résolution angulaire de prise de vue plus fine que l'œil humain. L'image numérique acquise par le capteur 20 a une résolution spatiale associée, la résolution spatiale étant définie comme étant le nombre de données d'image ou pixels par unité de longueur. Chaque pixel a une valeur de radiométrie associée, appelée également valeur d'intensité.
De préférence, le capteur 20 est tel que le rapport K entre la résolution angulaire de l'œil humain et la résolution angulaire d'acquisition d'images est supérieur ou égal à 3. L'image numérique acquise par un tel capteur est dite sur-résolue car elle présente une résolution angulaire plus fine que la résolution angulaire atteignable par l'œil humain.
Le capteur 20 permet de saisir, selon un axe de visée, un champ de vision d'angle maximal Θ de préférence de l'ordre de 35° à 40°.
De préférence, le capteur 20 est un capteur CMOS (« Complementarity Metal- Oxide-Semiconductor »), composé de photodiodes, dont le coût de fabrication est modéré.
En variante, le capteur 20 est un capteur CCD (pour « Charge Coupled Device » ou dispositif à transfert de charge) ou utilise toute autre technologie de capteur.
Dans un mode de réalisation alternatif, afin d'acquérir des données d'image correspondant au champ de vision d'angle Θ, le capteur 20 est remplacé par une pluralité de capteurs de champ de vision d'angle inférieur à Θ, juxtaposés et adaptés à capturer des données d'image correspondant à des champs de vision adjacents ou présentant une portion de recouvrement.
Dans un autre mode de réalisation alternatif, le capteur 20 haute résolution présente un champ de vision d'angle plus faible que l'angle souhaité, donc un champ de vision plus restreint, mais ce capteur 20 est rendu mobile par des organes de déplacement, permettant de le faire tourner de façon à pouvoir couvrir un champ de vision large de l'ordre de Θ. Par exemple, de tels organes de déplacement sont formés par une liaison articulée ou fixe associée à un moteur. Dans ce mode de réalisation, le capteur 20 est orientable.
En pratique, dans le cas d'utilisation pour l'aide au pilotage d'aéronef 2, le capteur 20 est placé par exemple à l'avant du fuselage de l'aéronef.
Avantageusement, comme expliqué en détail ci-après, la capture d'une image surrésolue permet d'améliorer la visibilité des balisages lumineux avec une performance quantifiable, y compris dans des conditions de visibilité réduite.
Par exemple, une condition météorologique de type brouillard réduisant la visibilité est schématiquement illustrée par un nuage 21 sur la figure 2. En sortie du capteur 20, une image numérique sur-résolue l0 de première résolution spatiale R0 est obtenue, l'image étant constituée de K*L pixels, par exemple 5120*4096. L'image numérique est définie par une matrice de valeurs de pixels.
Les données de l'image numérique sur-résolue l0, de première résolution spatiale R0, sont transmises à un module de traitement non-linéaire 22, par exemple via un bus de données connecté à la sortie du capteur 20. Le module de traitement non-linéaire 22 est implémenté par un dispositif programmable non représenté, par exemple un ordinateur de bord, comportant un ou plusieurs processeurs aptes à exécuter des calculs et des instructions de code de programme d'ordinateur lorsqu'ils sont mis sous tension.
En variante, le dispositif programmable mettant en œuvre le module de traitement non-linéaire 22, ainsi que tout autre module de calcul, est mis en œuvre par un circuit intégré de type FPGA ou par un circuit intégré dédié de type ASIC.
Le traitement effectué par le module de traitement non-linéaire 22 permet de passer de la première image l0 de première résolution spatiale R0 à une image numérique de deuxième résolution spatiale R1 ; inférieure à la première résolution spatiale R0, tout en préservant des points de contraste de l'image, en particulier des points brillants (ou points de contraste positif) de l'image.
On appelle points de contraste des points ou pixels dont la valeur associée est nettement supérieure ou nettement inférieure à la valeur moyenne des pixels du voisinage, par exemple supérieure de 3 fois l'écart-type des pixels de ce voisinage.
Les points dont la valeur associée est nettement supérieure aux valeurs environnantes sont des points brillants, le contraste est dit positif.
Les points dont la valeur associée est nettement inférieure aux valeurs environnantes sont des points sombres, le contraste est dit négatif.
Il est à noter qu'avec un capteur de résolution classique, non sur-résolu, il est possible de rater des points de fort contraste (positif ou négatif) du fait de la résolution du capteur.
Le traitement effectué par le module de traitement non-linéaire 22 permet de conserver des points de contraste positif dans l'image numérique de deuxième résolution spatiale inférieure à la première résolution.
La figure 3 illustre deux telles images l0 et \ avec un facteur de résolution égal à 3 entre la première résolution R0 et la deuxième résolution Ainsi, un bloc B de 3x3 pixels de l'image numérique l0 correspond à un pixel P de l'image . La correspondance est une correspondance spatiale dans les matrices respectives, comme illustré à la figure 3.
De manière plus générale, un bloc de MxN pixels de l'image l0, correspond à un pixel de l'image . Dans le mode de réalisation préféré, le traitement non-linéaire appliqué par le module 22 pour passer d'un bloc B, contenant des pixels (Bij), { = 3x 1 + k, j = 3x jl + k, k€ {0,1,2}} de l'image l0 au pixel P i j de l'image consiste à associer au pixel Pn^ la valeur maximale des pixels du bloc MxN de l'image l0 :
PWi = max(fl(J )
Ainsi, avantageusement, le gain apporté par la sur-résolution de l'image l0 acquise par le capteur 20 est préservé. L'intensité maximale émise par les balisages lumineux, captée par l'acquisition d'image sur-résolue, est conservée dans l'image numérique de deuxième résolution
Avantageusement, le module de traitement non-linéaire est adapté à conserver les points lumineux détectés, en d'autres termes à préserver les points les plus brillants du bloc, car en effet plus un point est brillant, plus la valeur associée dans l'image numérique est élevée.
Le traitement non-linéaire appliqué préserve les points brillants mais ne préserve pas les points sombres, car seuls les points les plus brillants sont d'intérêt pour l'application d'aide au pilotage visée.
En variante, le module de traitement non-linéaire 22 applique d'autres traitements non-linéaires de type filtrage conservant les valeurs maximales ou traitant les pixels en fonction de leur rang. Un filtrage sur des fenêtres recouvrantes peut également être envisagé.
Par exemple, pour un bloc donné, on conserve les valeurs des pixels du bloc supérieures à un seuil S. Le seuil S peut être fixé ou calculé dynamiquement, comme étant par exemple la moyenne augmentée de 2 ou 3 fois l'écart-type des valeurs des pixels du bloc. Toutes les valeurs retenues, qui sont les valeurs des pixels les plus brillants du bloc selon le critère choisi, sont ensuite utilisées obtenir la valeur finale du pixel de l'image numérique de deuxième résolution Par exemple, une moyenne des valeurs retenues, donc supérieures au seuil S, du bloc considéré, est calculée et attribuée comme valeur finale du pixel correspondant dans l'image numérique de deuxième résolution
Dans un autre exemple, on ordonne les valeurs des pixels d'un bloc considéré dans l'ordre décroissant des valeurs et on conserve les 2 (ou 3) valeurs les plus importantes. Les valeurs retenues, qui sont les valeurs des pixels les plus brillants du bloc selon le critère choisi, sont ensuite utilisées obtenir la valeur finale du pixel de l'image numérique de deuxième résolution Par exemple, une moyenne des valeurs retenues du bloc considéré, est calculée et attribuée comme valeur finale du pixel correspondant dans l'image numérique de deuxième résolution.
En sortie du module de traitement non-linéaire 22, l'image numérique de deuxième résolution spatiale Ri inférieure à la résolution R0 est transmise à un module 24 de traitement d'image, apte à appliquer des traitements classiques, par exemple de correction de radiométrie, d'alignement géométrique en vue de l'affiche de l'image sur une unité d'affichage 26, par exemple un écran.
Dans un mode de réalisation, les modules de traitement 22 et 24 sont appliqués par un même ordinateur de bord.
Dans un mode de réalisation, l'affichage est effectué par incrustation sur un écran d'affichage 26, situé à hauteur du regard d'un opérateur de pilotage, appelé affichage tête haute.
La deuxième résolution est de préférence choisie en fonction de la résolution d'affichage de l'écran d'affichage 26, par exemple un affichage « tête-haute ». En variante, un écran de visualisation « tête-basse », par exemple situé sur le tableau de bord, est utilisé.
Avantageusement, un tel affichage tête haute permet de présenter à l'opérateur une vision augmentée de la réalité qu'il peut percevoir naturellement, et donc de l'aider pour les opérations de pilotage.
Ainsi, un procédé de visualisation adapté à fournir à un opérateur une vision augmentée selon l'invention comporte une première étape d'acquisition d'une première image numérique de première résolution spatiale par un capteur haute résolution apte à acquérir des données d'image dans une bande spectrale correspondant aux signaux visibles par l'œil humain, avec un niveau de résolution angulaire de capture strictement supérieur au niveau de résolution angulaire de l'œil humain.
Cette première étape est suivie d'une étape de traitement non-linéaire permettant d'obtenir une deuxième image de deuxième résolution spatiale R2, inférieure à la première résolution spatiale et de deuxième résolution angulaire adaptée à la résolution du dispositif d'affichage.
De préférence, le facteur entre la résolution angulaire de capture et la résolution angulaire de l'œil humain est supérieur ou égal à 3, c'est-à-dire que la résolution angulaire de capture est au moins 3 fois plus fine que la résolution angulaire de l'œil humain.
Avantageusement, la performance du système proposé est calculable, indépendamment des conditions météorologiques. En effet, une condition météorologique est caractérisée par un coefficient d'absorption σ dans une bande spectrale donnée.
Selon la loi de Beer-Lambert-Bouguer, l'intensité évolue en fonction de la distance X et du coefficient d'absorption σ de la fa on suivante : l(X) = l0 · βχρ(-σ(Χ -
Figure imgf000013_0001
Où X0 est une distance de référence à laquelle on associe l'intensité l0 d'une balise lumineuse.
En prenant en compte une variation de la résolution angulaire, où a est la résolution angulaire du pixel pour un équipement EVS utilisant le procédé de l'invention et ocref est la résolution angulaire du pixel pour un équipement EVS de référence utilisant une résolution angulaire équivalente à la résolution d'affichage, on obtient :
Figure imgf000013_0002
l(X) = l0 · εχρ(-σ(Χ -
Dans des conditions météorologiques conduisant à un coefficient d'extinction de 0,01 m"1 , on obtient par exemple:
• un même rapport signal à bruit pour des balisages lumineux à 500 m avec un capteur de référence de résolution angulaire ocref et à 1000m avec un capteur de résolution angulaire affinée d'un facteur 25 (a=ocref/25), c'est-à- dire qu'un niveau de résolution supérieur d'un facteur 25 conduit à un gain en portée d'un facteur 2,
• un même rapport signal à bruit pour des balisages lumineux à 800 m avec un capteur de référence de résolution angulaire ocref et à 1000m avec un capteur de résolution angulaire affinée d'un facteur compris entre 3 et 4 (a=aref/3,5), c'est-à-dire qu'un niveau de résolution supérieur d'un facteur 3,5 conduit à un gain en portée de 25%.
Par conséquent, il est démontré qu'une résolution angulaire d'un niveau supérieur permet de diminuer de manière quantifiable la portée de détection qu'apporte un équipement EVS.
Dans une variante de ce premier mode de réalisation, le système de l'invention est un système EVS utilisant au moins un capteur (orientable ou fixe) de résolution angulaire très fine dans une bande spectrale différente de celle de l'œil, ce qui permet d'avoir des performances de portée de détection des balisages lumineux significativement améliorées par rapport à un système EVS ayant une résolution de la classe de celle de l'œil dans cette même bande spectrale.
Un deuxième mode de réalisation d'un système 30 adapté à fournir une vision augmentée selon l'invention est illustré à la figure 4.
Le système 30 comporte, outre le premier capteur 20 apte à acquérir des images de très haute résolution spatiale dans la bande spectrale visible, et l'unité de traitement 22 décrite précédemment, constituant une première voie d'imagerie, un deuxième capteur 32 apte à acquérir des images l2 dans une autre bande spectrale que la bande spectrale visible, de préférence dans la bande spectrale infrarouge.
De préférence, la résolution spatiale des images l2 acquises par le capteur 32 est sensiblement égale à la deuxième résolution spatiale R2 des images obtenues en sortie du module de traitement non-linéaire 22.
L'acquisition par ce deuxième capteur 32 forme une deuxième voie d'imagerie.
Le système 30 comprend également un module de traitement 34 adapté à réaliser la fusion des images et l2, correspondant à un même champ de vision, en appliquant notamment, avec des techniques connues dans le domaine du traitement d'image, un contrôle de radiométrie sur chacune des voies, un alignement géométrique permettant de rendre les images et l2 superposables et une addition pixel à pixel.
Le module de traitement 34 est également adapté à réaliser toute correction d'image en vue de l'affichage.
En pratique, le module de traitement 34 est implémenté par un dispositif programmable non représenté, par exemple un ordinateur de bord, comportant un ou plusieurs processeurs aptes à exécuter des calculs et des instructions de code de programme d'ordinateur lorsqu'ils sont mis sous tension.
Le module de traitement 34 met en œuvre une étape de fusion entre l'image numérique de deuxième résolution obtenue par traitement non-linéaire effectué lors de l'étape de traitement non linéaire par le module 22, et les deuxièmes données d'image numérique l2 acquises par le capteur 32.
L'image fusionnée résultante est ensuite transmise à une unité d'affichage 26, analogue à l'unité d'affichage 26 décrite ci-dessus en référence à la figure 2, par exemple un écran, pour incrustation et affichage.
Avantageusement, le système proposé permet une acquisition d'image de première résolution spatiale qui est sur-résolue, ce qui permet de capter des points de contraste positif, c'est-à-dire de point brillants par rapport à leur voisinage, et de préserver ces points de contraste positif dans l'image numérique de deuxième résolution spatiale, inférieure à la première résolution. Au final, une image numérique de deuxième résolution spatiale pour affichage et exploitation est obtenue, mais cette image comporte des informations de brillance qui n'auraient pas pu être captées avec une acquisition d'image à ladite deuxième résolution spatiale.

Claims

REVENDICATIONS
1 . - Système adapté à fournir à un opérateur une visibilité augmentée, destiné à l'aide au pilotage d'aéronef, comportant au moins un capteur apte à acquérir des données d'image dans une bande spectrale donnée et une unité centrale de calcul apte à traiter les données d'image acquises et à transmettre les données d'image traitées pour affichage d'une image numérique sur une unité d'affichage,
caractérisé en ce qu'il comporte :
- au moins un capteur (20) haute résolution apte à acquérir des données d'image formant une image numérique (l0) dans une bande spectrale incluant au moins tout ou partie de la bande spectrale correspondant aux signaux électromagnétiques visibles par l'œil humain, de première résolution spatiale, et de niveau de résolution angulaire de capture strictement plus fine que la résolution angulaire de l'œil humain, et
- un module (22) de traitement non-linéaire adapté à réaliser un changement de résolution spatiale tout en préservant des points brillants de ladite image numérique acquise (l0) pour obtenir une image numérique (h) à afficher de deuxième résolution spatiale inférieure à la première résolution spatiale.
2. - Système selon la revendication 1 , dans lequel chaque image numérique est définie par une matrice de pixels, chaque pixel ayant une valeur associée, ladite valeur étant d'autant plus élevée qu'un pixel est brillant, caractérisé en ce que le module (22) de traitement non-linéaire est apte à appliquer un filtrage non-linéaire à un bloc de pixels de l'image numérique acquise pour déterminer une valeur de pixel correspondant dans l'image numérique à afficher, ledit filtrage non-linéaire préservant les points brillants et prenant en compte, pour un bloc de pixels de l'image numérique acquise, au moins la valeur maximale dudit bloc de pixels.
3. - Système selon la revendication 2, caractérisé en ce que ledit filtrage non- linéaire préservant les points brillants consiste à associer à un pixel de l'image numérique à afficher une valeur calculée à partir des valeurs supérieures à un seuil prédéterminé du bloc de pixels correspondant de l'image numérique acquise.
4. - Système selon la revendication 2, caractérisé en ce que ledit filtrage non- linéaire préservant les points brillants consiste à associer à un pixel de l'image numérique à afficher une valeur calculée à partir d'un nombre donné de valeurs les plus élevées du bloc de pixels correspondant de l'image numérique acquise.
5. - Système selon l'une des revendications 1 à 4, caractérisé en ce qu'il comporte une pluralité de capteurs haute résolution juxtaposés.
6. - Système selon l'une des revendications 1 à 4, caractérisé en ce qu'il comporte un capteur haute définition, adapté à être positionné dans une position d'acquisition de données d'image selon un axe de visée, et des organes de déplacement dudit capteur, permettant de déplacer l'angle de visée de ce capteur.
7. - Système selon l'une quelconque des revendications 1 à 6, dans lequel ledit capteur (20) haute résolution apte à acquérir des données d'image numérique est un premier capteur dans une première bande spectrale correspondant aux signaux visibles par l'œil humain, caractérisé en ce qu'il comporte en outre un deuxième capteur (32) apte à acquérir des deuxièmes données d'image numérique dans une deuxième bande spectrale différente de la première bande spectrale.
8. - Système selon la revendication 7, caractérisé en ce que ladite deuxième bande spectrale appartient au domaine des ondes électromagnétiques infrarouges, de longueur d'onde comprise entre 3 et 14 micromètres.
9. - Système selon l'une quelconque des revendications 7 ou 8, caractérisé en ce qu'il comporte en outre un module (34) de traitement d'images adapté à effectuer une fusion entre ladite image numérique à afficher et les deuxièmes données d'image numérique acquises par le deuxième capteur.
10. - Système selon l'une quelconque des revendications 1 à 9, caractérisé en ce que la résolution angulaire de capture est strictement plus fine que la résolution angulaire de l'œil humain, d'un facteur supérieur ou égal à 3.
1 1 . - Procédé adapté à fournir à un opérateur une visibilité augmentée, destiné à l'aide au pilotage d'aéronef, mis en œuvre par un système comportant au moins un capteur apte à acquérir des données d'image dans une bande spectrale donnée et une unité centrale de calcul apte à traiter les données d'image acquises et à transmettre les données d'image traitées pour affichage d'une image numérique sur une unité d'affichage,
caractérisé en ce qu'il comporte des étapes de : - acquisition des données d'image formant une image numérique dans une bande spectrale incluant au moins tout ou partie de la bande spectrale correspondant aux signaux électromagnétiques visibles par l'œil humain, de première résolution spatiale, et de résolution angulaire de capture strictement plus fine que la résolution angulaire de l'œil humain, et
- application d'un traitement non-linéaire adapté à réaliser un changement de résolution spatiale tout en préservant des points brillants de ladite image numérique acquise pour obtenir une image numérique à afficher de deuxième résolution spatiale inférieure à la première résolution spatiale.
12. - Procédé selon la revendication 1 1 , dans lequel chaque image numérique est définie par une matrice de pixels, chaque pixel ayant une valeur associée, ladite valeur étant d'autant plus élevée qu'un pixel est brillant, caractérisé en ce que le traitement non- linéaire comprend l'application d'un filtrage non-linéaire à un bloc de pixels de l'image numérique acquise pour déterminer une valeur de pixel correspondant dans l'image numérique à afficher, ledit filtrage non-linéaire prenant en compte au moins la valeur maximale dudit bloc de pixels.
13. - Procédé selon la revendication 12, caractérisé en ce que ledit filtrage non- linéaire consiste à associer à un pixel de l'image numérique à afficher une valeur calculée à partir des valeurs supérieures à un seuil prédéterminé du bloc de pixels correspondant de de l'image numérique acquise.
14. - Procédé selon la revendication 12, caractérisé en ce que ledit filtrage non- linéaire consiste à associer à un pixel de l'image numérique à afficher une valeur calculée à partir d'un nombre donné de valeurs les plus élevées du bloc de pixels correspondant de l'image numérique acquise.
15. - Procédé selon l'une quelconque des revendications 1 1 à 14, caractérisé en ce qu'il comporte une autre étape d'acquisition de deuxièmes données d'image numérique dans une deuxième bande spectrale différente de la première bande spectrale.
16. - Procédé selon la revendication 15, caractérisé en ce qu'il comporte une étape de fusion entre l'image numérique de deuxième résolution obtenue par traitement non- linéaire et les deuxièmes données d'image numérique.
PCT/EP2016/075412 2015-10-22 2016-10-21 Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé WO2017068141A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP16787785.1A EP3365866A1 (fr) 2015-10-22 2016-10-21 Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé
CN201680061634.5A CN108369727A (zh) 2015-10-22 2016-10-21 适于向操作员提供增强的能见度的系统和相关方法
CA3001668A CA3001668A1 (fr) 2015-10-22 2016-10-21 Systeme adapte a fournir a un operateur une visibilite augmentee et procede associe
US15/768,350 US20180300856A1 (en) 2015-10-22 2016-10-21 System adapted for providing an operator with augmented visibility and associated method
IL258758A IL258758A (en) 2015-10-22 2018-04-17 A system adapted to provide an operator with extended visibility and a related method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1502237A FR3042882B1 (fr) 2015-10-22 2015-10-22 Systeme adapte a fournir a un operateur une visibilite augmentee et procede associe
FR1502237 2015-10-22

Publications (1)

Publication Number Publication Date
WO2017068141A1 true WO2017068141A1 (fr) 2017-04-27

Family

ID=55646639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/075412 WO2017068141A1 (fr) 2015-10-22 2016-10-21 Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé

Country Status (7)

Country Link
US (1) US20180300856A1 (fr)
EP (1) EP3365866A1 (fr)
CN (1) CN108369727A (fr)
CA (1) CA3001668A1 (fr)
FR (1) FR3042882B1 (fr)
IL (1) IL258758A (fr)
WO (1) WO2017068141A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210199578A1 (en) * 2018-05-29 2021-07-01 Universita' Degli Studi Di Trento Device and method for visibility measurements

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10777013B1 (en) * 2018-12-21 2020-09-15 Rockwell Collins, Inc. System and method for enhancing approach light display
CN111746816B (zh) * 2020-05-18 2022-03-08 陈穗 一种飞机降落辅助装置及降落方法
CN116129249B (zh) * 2023-04-04 2023-07-07 上海燧原科技有限公司 一种图像处理方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US6119055A (en) * 1998-01-23 2000-09-12 Mcdonnell Douglas Corporation Real time imaging system and method for use in aiding a landing operation of an aircraft in obscured weather conditions
US20050232512A1 (en) * 2004-04-20 2005-10-20 Max-Viz, Inc. Neural net based processor for synthetic vision fusion
US20100056274A1 (en) * 2008-08-28 2010-03-04 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20110227944A1 (en) * 2010-03-16 2011-09-22 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
WO2014037953A2 (fr) * 2012-09-10 2014-03-13 Elbit Systems Ltd. Système numérique pour la capture et l'affichage d'une vidéo chirurgicale

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719567A (en) * 1995-05-30 1998-02-17 Victor J. Norris, Jr. System for enhancing navigation and surveillance in low visibility conditions
US20060126959A1 (en) * 2004-12-13 2006-06-15 Digitalglobe, Inc. Method and apparatus for enhancing a digital image
US7355179B1 (en) * 2005-07-30 2008-04-08 Rockwell Collins, Inc. Scene imaging system integrity monitor and method thereof
WO2008086297A2 (fr) * 2007-01-08 2008-07-17 Max-Viz, Inc. Évaluation de la visibilité au niveau de la piste des dispositifs de vision infrarouge aéroportés
US10168179B2 (en) * 2007-01-26 2019-01-01 Honeywell International Inc. Vehicle display system and method with enhanced vision system and synthetic vision system image display
WO2009010969A2 (fr) * 2007-07-18 2009-01-22 Elbit Systems Ltd. Aide à l'atterrissage pour aéronef
WO2009128065A1 (fr) * 2008-04-16 2009-10-22 Elbit Systems Ltd. Système de vision optimisé multispectral et procédé d’atterrissage d’aéronef dans des conditions météorologiques non favorables
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US9494447B2 (en) * 2010-07-28 2016-11-15 Honeywell International Inc. Methods and systems for attitude differentiation in enhanced vision images
US9000350B1 (en) * 2012-09-11 2015-04-07 Rockwell Collins, Inc. Time-domain overlap imagery detecting system and method of using same
US9390559B2 (en) * 2013-03-12 2016-07-12 Honeywell International Inc. Aircraft flight deck displays and systems and methods for enhanced display of obstacles in a combined vision display
CN104766337B (zh) * 2015-04-27 2017-10-20 西北工业大学 一种基于跑道边界增强的飞机着陆视觉增强方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US6119055A (en) * 1998-01-23 2000-09-12 Mcdonnell Douglas Corporation Real time imaging system and method for use in aiding a landing operation of an aircraft in obscured weather conditions
US20050232512A1 (en) * 2004-04-20 2005-10-20 Max-Viz, Inc. Neural net based processor for synthetic vision fusion
US20100056274A1 (en) * 2008-08-28 2010-03-04 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20110227944A1 (en) * 2010-03-16 2011-09-22 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
WO2014037953A2 (fr) * 2012-09-10 2014-03-13 Elbit Systems Ltd. Système numérique pour la capture et l'affichage d'une vidéo chirurgicale

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210199578A1 (en) * 2018-05-29 2021-07-01 Universita' Degli Studi Di Trento Device and method for visibility measurements

Also Published As

Publication number Publication date
US20180300856A1 (en) 2018-10-18
CA3001668A1 (fr) 2017-04-27
IL258758A (en) 2018-06-28
FR3042882A1 (fr) 2017-04-28
FR3042882B1 (fr) 2018-09-21
CN108369727A (zh) 2018-08-03
EP3365866A1 (fr) 2018-08-29

Similar Documents

Publication Publication Date Title
EP3072812B1 (fr) Procede et dispositif pour signaler au sol un aeronef en vol, et aeronef muni de ce dispositif
WO2017068141A1 (fr) Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé
EP2272027B1 (fr) Système de vision optimisé multispectral et procédé d atterrissage d aéronef dans des conditions météorologiques non favorables
CA2418243C (fr) Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
CA2989154A1 (fr) Systeme et procede d'inspection automatique de surface
CN102314601B (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
WO2016113983A1 (fr) Dispositif de traitement d'image, procédé de traitement d'image, programme et système
JP2005537545A (ja) 画像融合システムおよび方法
FR3062720A1 (fr) Systeme et procede d'aide a l'atterrissage d'un aeronef, et aeronef correspondant
EP3689755B1 (fr) Systeme d'eclairage directionnel equipant un aeronef et procede d'eclairage associe
FR3089038A1 (fr) Procede d’apprentissage d’un reseau de neurones embarque dans un aeronef pour l’aide a l’atterrissage dudit aeronef et serveur pour la mise en œuvre d’un tel procede
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
CN114729804A (zh) 用于导航的多光谱成像系统和方法
EP1936330B1 (fr) Procédé et système de traitement et de visualisation d'images de l'environnement d'un aéronef
EP2193477B1 (fr) Procede et systeme d'aide au roulage d'un aeronef
FR3088908A1 (fr) Dispositif et procede d’aide a l’atterrissage d’un aeronef par conditions de visibilite reduite
US20190141262A1 (en) Systems and methods for detecting light sources
EP1570433B1 (fr) Dispositif de traitement d'images a reconnaissance et selection de sources de lumiere
EP2508870A1 (fr) Dispositif d'inspection de bande en défilement
CN117037007B (zh) 一种航拍式的道路照明均匀度检查方法及装置
Kataev et al. UAV Image Analysis for Road Surface Violation Detection
EP4086819A1 (fr) Procédé d'apprentissage d'une intelligence artificielle supervisée destinée à identifier un objet prédeterminé dans l'environnement d'un aéronef
EP3602395B1 (fr) Procédé fondé sur un article de voie routière comprenant des informations d'étalonnage
FR3058690B1 (fr) Systeme d'eclairage assiste pour vehicule et procede de formation d'une image hybride
EP4386719A1 (fr) Procédé et système d assistance d'un pilote d'un aéronef lors d'un roulement au sol de l aéronef sur une voie de circulation d'un aérodrome

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16787785

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3001668

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15768350

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 258758

Country of ref document: IL

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016787785

Country of ref document: EP