WO2018073371A1 - Aéronef sans pilote à bord télécommandable équipé de dispositifs d'imagerie - Google Patents

Aéronef sans pilote à bord télécommandable équipé de dispositifs d'imagerie Download PDF

Info

Publication number
WO2018073371A1
WO2018073371A1 PCT/EP2017/076763 EP2017076763W WO2018073371A1 WO 2018073371 A1 WO2018073371 A1 WO 2018073371A1 EP 2017076763 W EP2017076763 W EP 2017076763W WO 2018073371 A1 WO2018073371 A1 WO 2018073371A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
aircraft
imaging
sensor
Prior art date
Application number
PCT/EP2017/076763
Other languages
English (en)
Inventor
Jean-Marc Delvit
Christian Buil
Original Assignee
Centre National D'etudes Spatiales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National D'etudes Spatiales filed Critical Centre National D'etudes Spatiales
Publication of WO2018073371A1 publication Critical patent/WO2018073371A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/711—Time delay and integration [TDI] registers; TDI shift registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Definitions

  • the present invention relates to an unmanned aircraft on board and remotely controllable to fly over an area, comprising an imaging unit capable of acquiring at least one image of a zone overflown.
  • the invention lies in the technical field of unmanned aircraft on board and remotely controllable (in English "unmanned aerial vehicle”), also called drones, and more particularly in the field of image acquisition by such aircraft.
  • an inertial unit on board the drone comprising a set of sensors, including three accelerometers for measuring the acceleration of the drone in three directions to define a three-dimensional spatial reference.
  • a high precision inertial unit is bulky and has a significant weight, which is unfavorable, particularly in terms of energy consumption of the drone.
  • the invention proposes an unmanned aircraft on board and remotely controllable to fly over an area, comprising an imaging unit capable of acquiring at least one image of a zone overflown.
  • the imaging assembly includes a first sensor array imaging device adapted to acquire a first image of the overflown area of first spatial resolution, and a second imaging device comprising at least one sensor array, the at least one array of sensors. sensors being positioned substantially perpendicular to the direction of movement of the aircraft, capable of acquiring a second image of the scanned overflight zone, of second spatial resolution greater than the first resolution, said first and second imaging devices being fixed to the aircraft, and coupled in a predetermined coupling relation.
  • an imaging assembly composed of two imaging devices makes it possible to obtain a registration of the acquired images, and to calculate the attitude in flight of the carrier drone.
  • the proposed solution makes it possible to lighten the aircraft, while improving the resolution of the images acquired, since it is no longer necessary to ship a precise inertial unit, and even, for certain applications, it is not necessary to no need to ship an inertial unit at all.
  • the unmanned aircraft on board and remotely controllable according to the invention may also have one or more of the characteristics below, in any technically acceptable combination.
  • the first imaging device and the second imaging device are mounted on a platen which provides a rigid connection between the first device and the second device.
  • the second imaging device includes a plurality of sensor array assemblies, each array of sensor arrays being adapted for image acquisition in a predetermined spectral band.
  • the second imaging device includes a plurality of sets of hyperspectral imaging sensor arrays.
  • the second imaging device includes time shift and integration type sensor arrays.
  • the invention relates to a method of processing images acquired by an imaging assembly carried by an aircraft as briefly described above overflight of an area, the aircraft having an attitude defined by parameters of roll, pitch and yaw.
  • the method comprises a step of geometry of a first image of an overflown spatial area acquired by the first sensor matrix imaging device, used as a reference image, and a second image of the same spatial area. overflown, acquired by the second imaging device, used as a secondary image, to obtain a transformed reference image and a transformed secondary image.
  • the image processing method according to the invention may also have one or more of the features below, in any technically acceptable combination.
  • This method comprises a second step of applying a dense correlation calculation between the transformed reference image and the transformed secondary image obtained in the first step to obtain a disparity sheet, and a calculation of parameters depending on the vibrations of the the aircraft, comprising roll, pitch and yaw parameters from the disparity web.
  • This method comprises a third step of statistical computation from the disparity sheet making it possible to obtain sighting directions of the sensors of the sensor strips of the second imaging device.
  • the method comprises a step of geometric correction of the transformed secondary image using the parameters dependent on the vibrations of the aircraft and the calculated viewing directions.
  • FIG. 1 shows schematically a drone equipped with two imaging devices according to one embodiment of the invention
  • FIG. 2 is a block diagram of an acquired image processing method.
  • FIG. 1 schematically represents an onboard and remotely controllable unmanned aircraft 10, which will be called a drone thereafter, equipped with two imaging devices 12, 14.
  • the first imaging device 12 is a sensor matrix image acquisition device, adapted to instantly acquire a first digital matrix image of the overflown area of first spatial resolution.
  • a digital image is composed of one or more two-dimensional matrixes of samples called pixels, each sample having an associated radiometric value.
  • the spatial resolution of a digital image is defined by the number of pixels per line and column of the image.
  • the first imaging device 12 is for example a matrix sensor comprising a matrix of CCD or CMOS sensors, having a given field opening and making it possible to acquire a first image of MxN pixels.
  • the second imaging device 14 is an image acquisition device comprising one or more elementary sensor strips, each strip being able to be two-dimensional or one-dimensional.
  • the elementary sensors are time shift and integration type sensors (TDI sensor) and a bar comprises P elementary sensors.
  • the second imaging device 14 comprises at least one set of sensor strips, each set of sensor strips being adapted to image acquisition in a predetermined spectral band, the imaging device 14 thus being adapted to perform a multi-spectral acquisition.
  • the second device comprises several sets of N sensor strips.
  • the second imaging device 14 comprises a plurality of hyperspectral imaging sensor strips.
  • Hyperspectral imagery is a technology that allows the representation of a scene in a large number of spectral bands (usually more than one hundred), narrow ( ⁇ 10 nm) and contiguous.
  • the second imaging device 14 is attached to the drone 10 so that the bar or strips pass substantially to the right of the area overflown, perpendicular to the direction D of movement of the drone.
  • the second imaging device is relatively straight relative to the observed area.
  • each elementary sensor scrolls in view of the observed landscape, each line L, of the acquired digital image 1 2 corresponding to the acquisition made at a given instant.
  • the digital image l 2 is obtained by a plurality of acquisitions at successive instants.
  • This second digital image l 2 has a second spatial resolution, greater than the first spatial resolution of the digital image acquired by the first imaging device.
  • each column of the digital image 1 2 is physically associated with an elementary sensor, each pixel of an image line corresponding to a signal acquisition of this elementary sensor.
  • This mode of acquisition by rectilinear displacement of one or more sensor strips is known as sweep acquisition, or "push-broom" in English.
  • the images obtained by the second imaging device 14 have a better resolution than the matrix images obtained by the first imaging device 12, but have artifacts that require additional processing before operation. For example, geometrical artifacts due to vibrations of the carrier aircraft are observed.
  • the first imaging device and the second imaging device are coupled by a predetermined coupling relationship.
  • coupling relation is meant the spatial positioning of the first imaging device with respect to the second imaging device, the two imaging devices being respectively fixed to the carrier drone.
  • the coupling relation defines the positioning between the first line of sight of the first imaging device 12 and the second line of sight D 2 of the second imaging device 14.
  • the first and second imaging devices are mounted on a plate which confers a rigid connection between the first imaging device 12 and the second imaging device 14.
  • the different arrays and sensor arrays are linked by a rigid connection.
  • a data processing unit 16 comprising a calculation processor, is embedded onboard the drone, making it possible to perform calculations.
  • first and second imaging device each have storage units adapted to store the acquired images, for storing the first images and the second image I 2 for further processing.
  • all the calculations are carried out post-treatment by a ground treatment device.
  • the imaging devices are also equipped with communication modules, making it possible to transmit the digital images acquired to a ground treatment device.
  • Any mode of wireless radio communication is suitable for such a transmission can be used.
  • the drone In flight, the drone is characterized by an attitude, defined in a manner known per se by roll, pitch and yaw parameters.
  • each image acquired by one of the two imaging devices of the imaging unit corresponds to a given attitude of the drone.
  • Figure 2 schematically illustrates the main steps of a process for processing the acquired images.
  • said step of "geometry setting" is selected the first image captured by the matrix sensor as a reference image and the second image I 2 acquired by push-broom scanning is considered secondary image , while this second image has a much better resolution and has more information, usable by any subsequent application, than the first image.
  • the purpose of setting geometry, or superimposition is to make the first and second images superimposable or almost superimposable.
  • Geometric models known a priori from the reference image and the secondary image are then used, in order to inject into these two images all the knowledge delivered by the system (existing attitudes, model of optical distortions, for example characteristics camera optics such as distortion and focal length, and model of the coupling relationship between the first imaging device and the second imaging device).
  • a transformed reference image ⁇ and a transformed secondary image ⁇ 2 are obtained.
  • the transformed images ⁇ , ⁇ 2 are obtained by transformation or resampling using the geometric models, and resetting to the best of knowledge.
  • drone vibrations can induce pitch and pitch attitude bias and / or yaw bias and / or magnification.
  • a second step 30 called "dense correlation"
  • the transformed secondary image 2 and the transformed reference image ⁇ are correlated, in order to obtain a disparity sheet.
  • the disparity sheet is composed of line and column offsets allowing the transformed images ⁇ and 2 to be superimposed.
  • the roll and pitch attitude biases of the carrier UAV result in average column and line offsets of the disparity sheet.
  • Yaw bias results in a slope on the average line offsets line.
  • the lines of the resulting disparity web comprise information on the mapping of the focal plane of the second push-broom acquisition imaging device 14, while the columns of the disparity web correspond to information relating to the attitude biases. of this imaging device 14 not restored by the inertial unit if it is present (for example vibrations).
  • a third step 40 it is estimated the mapping of the focal plane and the attitude residues of the second imaging device 14.
  • an average line and an average column are calculated on the disparity sheet resulting from the dense correlation step.
  • the method thus comprises averaging the rows and columns of the disparity of web obtained by the correlation of the reference image transformed ⁇ and secondary transformed image the two.
  • averaging For a sensor, it is estimated the sighting directions of the sensor by the average line and the attitudes of the same sensor by the average column.
  • the averaging operations are performed N times.
  • the offsets of the aiming directions of the sensors of each strip of the second imaging device can then be modeled as polynomials, for example by implementing a least-squares adjustment.
  • a bidimensional adjustment, according to the least squares method, of the disparity layer obtained by the correlation of the transformed reference image ⁇ and the secondary image is implemented. transformed the 2 to model in the form of polynomials or other functions the offsets of the sighting directions of the pushbroom mission sensor and the attitude of the same sensor.
  • N sensor strips N two-dimensional adjustments are implemented.
  • the solution according to the first embodiment based on the averaging of rows and columns has the advantage of simplicity.
  • an aerotriangulation is implemented between the matrix sensor (considered as the reference) and the pushbroom sensor B bars, aerotriangulation being implemented as many times as the number of sensor strips considered.
  • This aerotriangulation carried out using acquired images, allows from a set of homologous points of determining at least the relative biases between the marker of the second imaging device and the mark of the first imaging device. If a geolocation device, for example a GPS device, is embarked on the aircraft, it is possible to determine a positioning of the first and second images acquired in a terrestrial frame of reference.
  • vibrations of amplitudes smaller than the second spatial resolution pixel associated with the second imaging device can be compensated.
  • a geometric correction of the transformed secondary image is applied using the vibration-dependent parameters of the aircraft and the calculated viewing directions, to obtain an improved and exploitable secondary image by applications.
  • the applied geometric correction is similar to the treatment applied in step 20, using the parameter values characterizing the vibrations and the sighting directions obtained after steps 30 and 40.
  • the parameters calculated allow a refined and precise correction.
  • the imaging devices comprise infrared sensors or sensors in the visible domain of the time shift and integration (TDI) type.
  • TDI time shift and integration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

L'invention concerne un aéronef (10) sans pilote à bord et télécommandable pour survoler une zone, comportant un ensemble imageur apte à acquérir au moins une image d'une zone survolée. L'ensemble imageur comporte un premier dispositif d'imagerie (12) à matrice de capteurs adapté à acquérir une première image de la zone survolée de première résolution spatiale, et un deuxième dispositif d'imagerie (14) comprenant au moins une barrette de capteurs, la ou les barrettes de capteurs étant positionnées sensiblement perpendiculairement à la direction de déplacement de l'aéronef, apte à acquérir une deuxième image de la zone survolée par balayage, de deuxième résolution spatiale supérieure à la première résolution, lesdits premier (12) et deuxième (14) dispositifs d'imagerie étant fixés à l'aéronef, et couplés selon une relation de couplage prédéterminée.

Description

Aéronef sans pilote à bord télécommandable équipé de dispositifs
d'imagerie
La présente invention concerne un aéronef sans pilote à bord et télécommandable pour survoler une zone, comportant un ensemble imageur apte à acquérir au moins une image d'une zone survolée.
L'invention se situe dans le domaine technique des aéronefs sans pilote à bord et télécommandables (en anglais « unmanned aerial vehicle »), appelées également drones, et plus particulièrement dans le domaine de l'acquisition d'images par de tels aéronefs.
Récemment, divers types de drones ont été développés, et ces engins sont en général équipés d'un dispositif imageur permettant d'acquérir des images des surfaces survolées.
Un des problèmes rencontrés pour la capture d'images est l'instabilité en vol de tels drones, du fait de leur taille réduite par rapport à des aéronefs de transport. En effet, les drones sont particulièrement sensibles aux divers courants et mouvements d'air en vol, et par conséquent leur position n'est pas stabilisée, ce qui nuit à la capture d'images exploitables.
De plus, pour certaines applications, il est utile de recaler les images capturées par rapport à un référentiel de géolocalisation, par exemple pour construire une carte d'un terrain survolé donné.
Pour connaître plus précisément l'attitude d'un drone en vol, et être en mesure de positionner les images captées dans un référentiel de géolocalisation, une solution connue consiste à utiliser une centrale inertielle embarquée à bord du drone, comportant un ensemble de capteurs, dont trois accéléromètres pour mesurer l'accélération du drone selon trois directions permettant de définir un repère spatial tridimensionnel. Cependant, une telle centrale inertielle de grande précision est encombrante et a un poids non négligeable, ce qui est défavorable, notamment en termes de consommation énergétique du drone.
Il est donc utile de trouver des alternatives permettant l'acquisition d'images par un dispositif d'imagerie embarqué sur un drone, qui soient exploitables pour diverses applications.
A cet effet l'invention propose un aéronef sans pilote à bord et télécommandable pour survoler une zone, comportant un ensemble imageur apte à acquérir au moins une image d'une zone survolée. L'ensemble imageur comporte un premier dispositif d'imagerie à matrice de capteurs adapté à acquérir une première image de la zone survolée de première résolution spatiale, et un deuxième dispositif d'imagerie comprenant au moins une barrette de capteurs, la ou les barrettes de capteurs étant positionnées sensiblement perpendiculairement à la direction de déplacement de l'aéronef, apte à acquérir une deuxième image de la zone survolée par balayage, de deuxième résolution spatiale supérieure à la première résolution, lesdits premier et deuxième dispositifs d'imagerie étant fixés à l'aéronef, et couplés selon une relation de couplage prédéterminée.
Avantageusement, l'utilisation d'un ensemble imageur composé de deux dispositifs d'imagerie permet d'obtenir un recalage des images acquises, et de calculer l'attitude en vol du drone porteur.
De plus, la solution proposée permet d'alléger l'aéronef, tout en améliorant la résolution des images acquises, puisqu'il n'est plus nécessaire d'embarquer une centrale inertielle précise, et même, pour certaines applications, il n'est pas nécessaire d'embarquer de centrale inertielle du tout.
L'aéronef sans pilote à bord et télécommandable selon l'invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, selon toute combinaison techniquement acceptable.
Le premier dispositif d'imagerie et le deuxième dispositif d'imagerie sont montés sur une platine qui confère une liaison rigide entre le premier dispositif et le deuxième dispositif.
Le deuxième dispositif d'imagerie comprend une pluralité d'ensembles de barrettes de capteurs, chaque ensemble de barrettes de capteurs étant adapté à une acquisition d'image dans une bande spectrale prédéterminée.
Le deuxième dispositif d'imagerie comprend une pluralité d'ensembles de barrettes de capteurs d'imagerie hyperspectrale.
Le deuxième dispositif d'imagerie comprend des barrettes de capteurs de type à décalage temporel et intégration.
Selon un autre aspect, l'invention concerne un procédé de traitement d'images acquises par un ensemble imageur porté par un aéronef tel que brièvement décrit ci- dessus en survol d'une zone, l'aéronef ayant une attitude définie par des paramètres de roulis, de tangage et de lacet.
Le procédé comporte une étape de mise en géométrie d'une première image d'une zone spatiale survolée acquise par le premier dispositif d'imagerie à matrice de capteurs, utilisée comme image de référence, et d'une deuxième image de la même zone spatiale survolée, acquise par le deuxième dispositif d'imagerie, utilisée comme image secondaire, pour obtenir une image de référence transformée et une image secondaire transformée. Le procédé de traitement d'image selon l'invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, selon toute combinaison techniquement acceptable.
Ce procédé comporte une deuxième étape d'application d'un calcul de corrélation dense entre l'image de référence transformée et l'image secondaire transformée obtenues à la première étape pour obtenir une nappe de disparité, et un calcul de paramètres dépendant des vibrations de l'aéronef, comprenant des paramètres de roulis, tangage et lacet à partir de la nappe de disparité.
Ce procédé comporte une troisième étape de calcul statistique à partir de la nappe de disparité permettant d'obtenir des directions de visée des capteurs des barrettes de capteurs du deuxième dispositif d'imagerie.
Enfin le procédé comporte une étape de correction géométrique de l'image secondaire transformée utilisant les paramètres dépendant des vibrations de l'aéronef et les directions de visée calculés.
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :
- la figure 1 représente schématiquement un drone équipé de deux dispositifs d'imagerie selon un mode de réalisation de l'invention ;
- la figure 2 est un synoptique d'un procédé de traitement d'images acquises.
La figure 1 représente schématiquement un aéronef 10 sans pilote à bord et télécommandable, qui sera appelé drone par la suite, équipé de deux dispositifs d'imagerie 12, 14.
Le premier dispositif d'imagerie 12 est un dispositif d'acquisition d'image à matrice de capteurs, adapté à acquérir instantanément une première image numérique matricielle de la zone survolée, de première résolution spatiale.
Une image numérique est composée d'une ou plusieurs matrices bidimensionnelles d'échantillons appelés pixels, chaque échantillon ayant une valeur de radiométrie associée.
La résolution spatiale d'une image numérique est définie par le nombre de pixels par ligne et par colonne de l'image. Le premier dispositif d'imagerie 12 est par exemple un capteur matriciel comprenant une matrice de capteurs CCD ou CMOS, ayant une ouverture de champ donnée et permettant d'acquérir une première image de MxN pixels.
Le deuxième dispositif d'imagerie 14 est un dispositif d'acquisition d'images comprenant une ou plusieurs barrettes de capteurs élémentaires, chaque barrette pouvant être bi-dimensionnelle ou mono-dimensionnelle. Par exemple, les capteurs élémentaires sont des capteurs de type à décalage temporel et intégration (capteur TDI) et une barrette comporte P capteurs élémentaires.
Selon un mode de réalisation, le deuxième dispositif d'imagerie 14 comprend une au moins un ensemble de barrettes de capteurs, chaque ensemble de barrettes de capteurs étant adapté à une acquisition d'image dans une bande spectrale prédéterminée, le dispositif d'imagerie 14 étant ainsi adapté à réaliser une acquisition multi-spectrale. Par exemple, le deuxième dispositif comprend plusieurs ensembles de N barrettes de capteurs.
Selon une variante de réalisation, le deuxième dispositif d'imagerie 14 comprend une pluralité de barrettes de capteurs d'imagerie hyperspectrale. L'imagerie hyperspectrale est une technologie permettant la représentation d'une scène suivant un grand nombre de bandes spectrales (généralement plus d'une centaine), étroites (< 10nm) et contiguës.
Le deuxième dispositif d'imagerie 14 est attaché au drone 10 de manière à ce que la ou les barrettes défilent sensiblement au droit de la zone survolée, perpendiculairement à la direction D de déplacement du drone. Le deuxième dispositif d'imagerie est en déplacement relatif rectiligne par rapport à la zone observée.
Ainsi, chaque capteur élémentaire défile au regard du paysage observé, chaque ligne L, de l'image numérique l2 acquise correspondant à l'acquisition effectuée à un instant donné.
L'image numérique l2 est obtenue par une pluralité d'acquisitions à des instants successifs. Cette deuxième image numérique l2 a une deuxième résolution spatiale, supérieure à la première résolution spatiale de l'image numérique acquise par le premier dispositif d'imagerie.
Dans ce mode d'acquisition, chaque colonne de l'image numérique l2 est associée physiquement à un capteur élémentaire, chaque pixel d'une ligne d'image correspondant à une acquisition de signal de ce capteur élémentaire.
Ce mode d'acquisition par déplacement rectiligne d'une ou plusieurs barrettes de capteurs est connu sous le nom d'acquisition par balayage de fauchée, ou « push- broom » en anglais. Les images obtenues par le deuxième dispositif d'imagerie 14 ont une meilleure résolution que les images matricielles obtenues par le premier dispositif d'imagerie 12, mais présentent des artefacts qui nécessitent un traitement supplémentaire avant exploitation. Par exemple, des artefacts géométriques dus aux vibrations de l'aéronef porteur sont observés.
Le premier dispositif d'imagerie et le deuxième dispositif d'imagerie sont couplés par une relation de couplage prédéterminée.
On entend par relation de couplage le positionnement spatial du premier dispositif d'imagerie par rapport au deuxième dispositif d'imagerie, les deux dispositifs d'imagerie étant fixés respectivement au drone porteur.
En particulier, la relation de couplage définit le positionnement entre le premier axe de visée du premier dispositif d'imagerie 12 et le deuxième axe de visée D2 du deuxième dispositif d'imagerie 14.
De préférence, les premier et deuxième dispositifs d'imagerie sont montés sur une platine qui confère une liaison rigide entre le premier dispositif d'imagerie 12 et le deuxième dispositif d'imagerie 14. En particulier, les différentes matrices et barrettes de capteurs sont liées par une liaison rigide.
Ainsi, il est possible d'effectuer un recalage numérique des images numériques et l2 acquises respectivement par le premier et le deuxième dispositif d'imagerie.
Par exemple, optionnellement, une unité de traitement de données 16, comprenant un processeur de calcul, est embarquée à bord du drone, permettant d'effectuer des calculs.
En outre, le premier et le deuxième dispositif d'imagerie disposent chacun d'unités de mémorisation aptes à mémoriser les images acquises, permettant de mémoriser les premières images et les deuxièmes images l2 pour un traitement ultérieur.
Selon une variante, tous les calculs sont effectués en post-traitement par un dispositif de traitement au sol.
Selon un mode de réalisation, les dispositifs d'imagerie sont également équipés de modules de communication, permettant de transmettre les images numériques acquises à un dispositif de traitement au sol.
Tout mode de communication radio sans fil est adapté à une telle transmission peut être utilisé.
En vol, le drone est caractérisé par une attitude, définie de manière connue en soi par des paramètres de roulis, de tangage et de lacet.
Ainsi, à chaque image acquise par un des deux dispositifs d'imagerie de l'ensemble imageur correspond à une attitude donnée du drone. La figure 2 illustre schématiquement les principales étapes d'un procédé de traitement des images acquises.
Lors d'une première étape 20, dite étape de « mise en géométrie », on choisit la première image acquise par le capteur matriciel comme image de référence et la deuxième image l2, acquise par balayage push-broom, est considérée comme image secondaire, alors que cette deuxième image a une bien meilleure résolution et comporte plus d'informations, exploitables par toute application ultérieure, que la première image .
La mise en géométrie, ou mise en superposition, a pour objet de rendre les première et deuxième images superposables ou quasi-superposables.
On utilise alors les modèles géométriques connus a priori de l'image de référence et de l'image secondaire, afin d'injecter dans ces deux images toute la connaissance délivrée par le système (attitudes existantes, modèle de distorsions optiques, par exemple des caractéristiques optiques de la caméra comme la distorsion et la focale, et modèle de la relation de couplage entre le premier dispositif d'imagerie et le deuxième dispositif d'imagerie).
On obtient alors, à partir respectivement de l'image de référence et de l'image secondaire l2, une image de référence transformée ΙΊ et une image secondaire transformée Γ2. Les images transformées ΙΊ , Γ2 sont obtenues par transformation ou rééchantillonnage en utilisant les modèles géométriques, et recalage au mieux de la connaissance.
Les deux images ΙΊ et l'2 sont alors quasi-superposables.
Les seules différences proviennent d'un biais résiduel entre les deux dispositifs d'imagerie, de la méconnaissance du plan focal et des erreurs d'attitudes résiduelles (vibration du drone porteur par exemple).
II est à noter qu'une connaissance a priori des distorsions optiques de prise de vue et des directions de visée des capteurs n'est pas suffisante pour compenser des erreurs résiduelles dues aux vibrations du drone.
Ces vibrations du drone peuvent induire des biais d'attitude en roulis et en tangage et/ou un biais en lacet et/ou un grandissement.
Lors d'une seconde étape 30 dite de « corrélation dense », l'image secondaire transformée l'2 et l'image de référence transformée ΙΊ sont corrélées, afin d'obtenir une nappe de disparité. La nappe de disparité est composée des décalages en lignes et en colonnes permettant de superposer les images transformées ΙΊ et l'2.
Les biais d'attitude en roulis et tangage du drone porteur se traduisent par des décalages moyens en colonne et ligne de la nappe de disparité. Le biais en lacet se traduit par une pente sur la ligne moyenne des décalages en ligne.
Le grandissement se traduit par une pente sur la ligne moyenne des décalages en colonnes.
Les lignes de la nappe de disparité résultante comportent des informations sur la cartographie du plan focal du deuxième dispositif d'imagerie 14 d'acquisition push-broom, tandis que les colonnes de la nappe de disparité correspondent à des informations relatives aux biais d'attitudes de ce dispositif d'imagerie 14 non restitué par la centrale inertielle si elle est présente (par exemple les vibrations).
Lors d'une troisième étape 40 dite de « Statistiques », on estime la cartographie du plan focal et les résidus d'attitude du deuxième dispositif d'imagerie 14.
Selon un premier mode de réalisation de l'étape 40, on calcule une ligne moyenne et une colonne moyenne sur la nappe de disparité résultant de l'étape 30 de corrélation dense. Dans ce premier mode de réalisation, le procédé comprend ainsi le moyennage des lignes et des colonnes de la nappe de disparité obtenue par la corrélation de l'image de référence transformée ΙΊ et de l'image secondaire transformée l'2. Pour un capteur, on estime les directions de visée du capteur par la ligne moyenne et les attitudes de ce même capteur par la colonne moyenne. Pour N capteurs, les opérations de moyennage sont effectuées N fois.
Les décalages des directions de visée des capteurs de chaque barrette du deuxième dispositif d'imagerie peuvent alors être modélisés sous forme de polynômes, par exemple en mettant en œuvre un ajustement selon la méthode des moindres carrés.
Selon un second mode de réalisation de l'étape 40, on met en œuvre un ajustement bidimensionnel, selon la méthode des moindres carrés, de la nappe de disparité obtenue par la corrélation de l'image de référence transformée ΙΊ et de l'image secondaire transformée l'2 pour modéliser sous forme de polynômes ou d'autres fonctions les décalages des directions de visée du capteur pushbroom mission et de l'attitude de ce même capteur. De même que dans le premier mode de réalisation, pour N barrettes de capteurs, N ajustements bidimensionnels sont mis en œuvre.
La solution conforme au premier mode de réalisation basée sur le moyennage des lignes et colonnes présente l'avantage de la simplicité.
Selon un troisième mode de réalisation de l'étape 40, on met en œuvre une aérotriangulation entre le capteur matriciel (considéré comme la référence) et le capteur pushbroom à B barrettes, l'aérotriangulation étant mise en œuvre autant de fois que le nombre de barrettes de capteurs considérées. Cette aérotriangulation, réalisée en utilisant des images acquises, permet à partir d'un ensemble de points homologues de déterminer à minima les biais relatifs entre le repère du deuxième dispositif d'imagerie et le repère du premier dispositif d'imagerie. Si un dispositif de géolocalisation, par exemple un dispositif GPS, est embarqué sur l'aéronef, on peut déterminer un positionnement des première et deuxième images acquises dans un référentiel terrestre.
Grâce à ce procédé, on peut compenser des vibrations d'amplitudes inférieures au pixel de deuxième résolution spatiale associée au deuxième dispositif d'imagerie.
De préférence, on applique une correction géométrique de l'image secondaire transformée en utilisant les paramètres dépendant des vibrations de l'aéronef et les directions de visée calculés, pour obtenir une image secondaire améliorée et exploitable par des applications. Dans un mode de réalisation, la correction géométrique appliquée est analogue au traitement appliqué à l'étape 20, en utilisant les valeurs de paramètres caractérisant les vibrations et les directions de visée obtenus à l'issue des étapes 30 et 40. Avantageusement, les paramètres calculés permettent une correction affinée et précise.
Grâce à l'invention, et notamment grâce à l'utilisation du deuxième dispositif d'imagerie en plus du premier dispositif d'imagerie, il est possible de réaliser des prises de vues de nuit lorsque les dispositifs d'imagerie comprennent des capteurs infrarouges ou des capteurs dans le domaine visible du type à décalage temporel et intégration (TDI).

Claims

REVENDICATIONS
1 . - Aéronef sans pilote à bord et télécommandable pour survoler une zone, comportant un ensemble imageur apte à acquérir au moins une image d'une zone survolée, caractérisé en ce que l'ensemble imageur comporte :
un premier dispositif d'imagerie (12) à matrice de capteurs adapté à acquérir une première image de la zone survolée de première résolution spatiale, et
un deuxième dispositif d'imagerie (14) comprenant au moins une barrette de capteurs, la ou les barrettes de capteurs étant positionnées sensiblement perpendiculairement à la direction de déplacement de l'aéronef, apte à acquérir une deuxième image de la zone survolée par balayage, de deuxième résolution spatiale supérieure à la première résolution,
lesdits premier (12) et deuxième (14) dispositifs d'imagerie étant fixés à l'aéronef, et couplés selon une relation de couplage prédéterminée.
2. - Aéronef selon la revendication 1 , dans lequel le premier dispositif d'imagerie (12) et le deuxième dispositif d'imagerie (14) sont montés sur une platine qui confère une liaison rigide entre le premier dispositif et le deuxième dispositif.
3.- Aéronef selon l'une des revendications 1 ou 2, dans lequel le deuxième dispositif d'imagerie (14) comprend une pluralité d'ensembles de barrettes de capteurs, chaque ensemble de barrettes de capteurs étant adapté à une acquisition d'image dans une bande spectrale prédéterminée.
4.- Aéronef selon l'une des revendications 1 à 3, dans lequel le deuxième dispositif d'imagerie (14) comprend une pluralité d'ensembles de barrettes de capteurs d'imagerie hyperspectrale.
5. - Aéronef selon l'une des revendications 1 à 4, dans lequel le deuxième dispositif d'imagerie (14) comprend des barrettes de capteurs de type à décalage temporel et intégration.
6. - Procédé de traitement d'images acquises par un ensemble imageur porté par un aéronef conforme à l'une des revendications 1 à 5 en survol d'une zone, l'aéronef ayant une attitude définie par des paramètres de roulis, de tangage et de lacet, comportant une étape de mise en géométrie (20) d'une première image d'une zone spatiale survolée acquise par le premier dispositif d'imagerie à matrice de capteurs, utilisée comme image de référence, et d'une deuxième image de la même zone spatiale survolée, acquise par le deuxième dispositif d'imagerie, utilisée comme image secondaire, pour obtenir une image de référence transformée et une image secondaire transformée.
7. - Procédé de traitement d'images selon la revendication 6, comportant une deuxième étape (30) d'application d'un calcul de corrélation dense entre l'image de référence transformée et l'image secondaire transformée obtenues à la première étape (20) pour obtenir une nappe de disparité, et un calcul de paramètres dépendant des vibrations de l'aéronef, comprenant des paramètres de roulis, tangage et lacet à partir de la nappe de disparité.
8. - Procédé de traitement d'images selon la revendication 7, comportant une troisième étape (40) de calcul statistique à partir de la nappe de disparité permettant d'obtenir des directions de visée des capteurs des barrettes de capteurs du deuxième dispositif d'imagerie.
9. - Procédé de traitement d'images selon la revendication 8, comportant une étape de correction géométrique de l'image secondaire transformée utilisant les paramètres dépendant des vibrations de l'aéronef et les directions de visée calculés.
PCT/EP2017/076763 2016-10-19 2017-10-19 Aéronef sans pilote à bord télécommandable équipé de dispositifs d'imagerie WO2018073371A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1660127 2016-10-19
FR1660127A FR3057730B1 (fr) 2016-10-19 2016-10-19 Aeronef sans pilote a bord telecommandable equipe de dispositifs d'imagerie

Publications (1)

Publication Number Publication Date
WO2018073371A1 true WO2018073371A1 (fr) 2018-04-26

Family

ID=58347467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/076763 WO2018073371A1 (fr) 2016-10-19 2017-10-19 Aéronef sans pilote à bord télécommandable équipé de dispositifs d'imagerie

Country Status (2)

Country Link
FR (1) FR3057730B1 (fr)
WO (1) WO2018073371A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109916378A (zh) * 2019-03-20 2019-06-21 台州市地理信息测绘中心 一种现状地理空间信息数据测绘方法及数据采集系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122114A1 (en) * 2001-03-02 2002-09-05 Carroll Ernest A. Method of and apparatus for registering a single dimensional image with a two dimensional reference image
WO2014140129A1 (fr) * 2013-03-12 2014-09-18 Centre National D'etudes Spatiales Procédé de mesure de la direction d'une ligne de visée d'un dispositif d'imagerie
FR3006296A1 (fr) * 2013-05-31 2014-12-05 Airinov Drone comprenant un dispositif imageur multispectral pour la generation de cartes representant un etat vegetal d'une culture
WO2016161284A1 (fr) * 2015-04-03 2016-10-06 Thorlabs, Inc. Imagerie tdi multi-canal simultanée sur un imageur multi-entrée

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122114A1 (en) * 2001-03-02 2002-09-05 Carroll Ernest A. Method of and apparatus for registering a single dimensional image with a two dimensional reference image
WO2014140129A1 (fr) * 2013-03-12 2014-09-18 Centre National D'etudes Spatiales Procédé de mesure de la direction d'une ligne de visée d'un dispositif d'imagerie
FR3006296A1 (fr) * 2013-05-31 2014-12-05 Airinov Drone comprenant un dispositif imageur multispectral pour la generation de cartes representant un etat vegetal d'une culture
WO2016161284A1 (fr) * 2015-04-03 2016-10-06 Thorlabs, Inc. Imagerie tdi multi-canal simultanée sur un imageur multi-entrée

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TCHERNYKH V ET AL: "Airborne test results for smart pushbroom imaging system with optoelectronic image correction", OPTOMECHATRONIC MICRO/NANO DEVICES AND COMPONENTS III : 8 - 10 OCTOBER 2007, LAUSANNE, SWITZERLAND; [PROCEEDINGS OF SPIE , ISSN 0277-786X], SPIE, BELLINGHAM, WASH, vol. 5234, no. 1, 1 January 2004 (2004-01-01), pages 550 - 559, XP002520674, ISBN: 978-1-62841-730-2, DOI: 10.1117/12.510712 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109916378A (zh) * 2019-03-20 2019-06-21 台州市地理信息测绘中心 一种现状地理空间信息数据测绘方法及数据采集系统

Also Published As

Publication number Publication date
FR3057730B1 (fr) 2019-03-15
FR3057730A1 (fr) 2018-04-20

Similar Documents

Publication Publication Date Title
AU2016201867B2 (en) Method and system to avoid plant shadows for vegetation and soil imaging
EP1843295B1 (fr) Procédé de restitution de mouvements de la ligne de visée d&#39;un instrument optique
US11330180B2 (en) Controlling a line of sight angle of an imaging platform
US10249024B2 (en) Systems and methods for enhancing object visibility for overhead imaging
US20080001066A1 (en) Multi-spectral sensor system and methods
WO2006064051A1 (fr) Procede de traitement d&#39;images mettant en oeuvre le georeferencement automatique d&#39;images issues d&#39;un couple d&#39;images pris dans le meme plan focal
FR3006296A1 (fr) Drone comprenant un dispositif imageur multispectral pour la generation de cartes representant un etat vegetal d&#39;une culture
US7248794B2 (en) Remote platform multiple capture image formation method and apparatus
FR3055077A1 (fr) Procede de capture d&#39;une video, programme d&#39;ordinateur, et systeme electronique de capture d&#39;une video associes
EP2460143B1 (fr) Procédé d&#39;estimation de décalages d&#39;images lignes obtenues par un capteur à défilement spatial ou aéroporté
WO2018073371A1 (fr) Aéronef sans pilote à bord télécommandable équipé de dispositifs d&#39;imagerie
Neigh et al. Quantifying Libya-4 surface reflectance heterogeneity with WorldView-1, 2 and EO-1 Hyperion
TW201502572A (zh) 掃描器的偵測器陣列、線掃描器以及掃描表面的方法
EP3241039B1 (fr) Dispositif d&#39;imagerie multi-senseurs
Erives et al. Automatic subpixel registration for a tunable hyperspectral imaging system
WO2014140129A1 (fr) Procédé de mesure de la direction d&#39;une ligne de visée d&#39;un dispositif d&#39;imagerie
Dohr et al. Image motion compensation–the vexcel approach
FR2981149A1 (fr) Aeronef comprenant un senseur optique diurne et nocturne, et procede de mesure d&#39;attitude associe
Nakazawa et al. Super-resolution imaging using remote sensing platform
EP3620852A1 (fr) Procédé de capture d&#39;images aériennes d&#39;une zone géographique, procédé de cartographie tridimensionnelle d&#39;une zone géographique et aéronef pour la réalisation de tels procédés
KR101208621B1 (ko) Ａｉｒｂｏｒｎｅ ＭＳＳ 영상 자료 처리 시스템 및 방법
US10416534B2 (en) Method for acquisition of images by a space or airborne optical instrument with wide field of view
US10109070B1 (en) Methods and systems for motion compensation and stereoscopic images generation
Fricker et al. Progress in the development of a high performance airborne digital sensor
Berveglieri et al. Tie point generation in hyperspectral cubes for orientation with polynomial models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17794257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17794257

Country of ref document: EP

Kind code of ref document: A1