WO2009030698A1 - Procédé d'augmentation de résolution d'images multi-spectrales - Google Patents

Procédé d'augmentation de résolution d'images multi-spectrales Download PDF

Info

Publication number
WO2009030698A1
WO2009030698A1 PCT/EP2008/061598 EP2008061598W WO2009030698A1 WO 2009030698 A1 WO2009030698 A1 WO 2009030698A1 EP 2008061598 W EP2008061598 W EP 2008061598W WO 2009030698 A1 WO2009030698 A1 WO 2009030698A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectral
detectors
panchromatic
images
sxs1
Prior art date
Application number
PCT/EP2008/061598
Other languages
English (en)
Inventor
Francis Douillet
Philippe Blanc
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to EP08803569A priority Critical patent/EP2185903A1/fr
Publication of WO2009030698A1 publication Critical patent/WO2009030698A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges

Definitions

  • the present invention relates to an image acquisition method for improving the resolution of images acquired from a "push-broom" type optical imager mounted on a carrier such as an observation satellite of the Earth or an airborne platform.
  • Push-broom spatial optical imaging consists in exploiting the scrolling of the scenes observed in the satellite's field of view. Indeed, observation satellites positioned in low orbits "see” the Earth with a ground speed of the order of 5 to 10 kilometers per second. These satellites have detector arrays or possibly arrays of detectors that will acquire pixels for a certain integration time, typically of the order of a few hundred or thousands of microseconds.
  • "push-broom" spatial optical imagers such as those used on SPOT, PLEIADES or IKONOS, for example, are provided with detectors sensitive to different spectral bands, generally a panchromatic path integrating the entire visible spectrum and several paths. multi-spectral decomposition more finely the spectrum of light than the panchromatic path.
  • the multi-spectral channels are sampled at a greater pitch than the panchromatic channel, typically two to four times larger.
  • the most common solution is to co-register the different multi-spectral in order to minimize the geometrical superimposition error between the different multi-spectral images.
  • no improvement in the intrinsic resolution of the multi-spectral detectors is obtained in this way.
  • French patent FR 2737375 proposes the use of methods known as "SUPERMODE” or "HIPERMODE” whose principle is to shift panchromatic sensor strips, typically one half of detector width, and then to interleave the images. raw data acquired from these detectors to produce a final image, produced from these two raw images, having a higher resolution of a root factor of two.
  • this method only concerns panchromatic images and not images acquired by multi-spectral detectors of different spectral sensitivities.
  • the increase in the resolution of the images acquired is obtained at the cost of an increase in the volume of data to be transmitted to the ground, by a factor of two for the "SUPERMODE", and by a factor of four for the "HIPERMODE".
  • An object of the invention is in particular to overcome the disadvantages and shortcomings of current devices and methods.
  • the invention proposes to interlace spatially and temporally. the sampling of images acquired by multi-spectral detectors of different spectral sensitivities, acquisition process called "Super-XS”.
  • the subject of the invention is an image acquisition method making it possible to obtain an image enhanced in resolution by means of a "push-broom" optical imager, observing a scene and moving in a direction of displacement, and comprising a set of linear detector arrays consisting of at least two arrays of detector detectors not even, said sensor strips being shifted by an elementary step fraction, characterized in that the set of detector strips comprises at least a first detector array responsive to a first spectral band and a second detector array responsive to a second spectral band, the first and second spectral bands being different, said set of detectors thus making it possible to obtain at least two raw images of the same scene in said first and second spectral bands, said raw images having a sampling step raw, and spatially and / or temporally shifted by a fraction of gross sampling steps due to the shift of an elementary step fraction of the second sensor array relative to the first, and that merges said raw images so as to obtain the improved image in resolution, presenting a no improved sampling lower than the gross sampling rate.
  • the said merged raw images are applied post-processing similar to super-resolution in order to obtain the improved image in resolution.
  • the set of detector arrays consists of at least one set of multi-spectral detectors comprising at least two multi-spectral detector arrays allowing the acquisition of multi-spectral raw images.
  • the set of detector arrays consists of at least one set of multi-spectral detectors comprising four multi-spectral detector arrays allowing the acquisition of multi-spectral raw images.
  • said multi-spectral detectors are of square shape and have a pitch of multi-spectral detectors.
  • the method makes it possible to obtain improved pseudo-panchromatic images from the raw images acquired by the multi-spectral detectors.
  • the set of detector strips consisting of two distinct sets of multi-spectral detectors, and the optical imager being located at an observation altitude of the zone observed and having an observation base corresponding to the distance between two observation positions of the same scene observed by said optical imager, then the distance separating the two sets of multi-spectral detectors is sufficiently large, corresponding to a factor B / H of the order of 0.05, where B is the observation base of the optical imager, and H the observation altitude of the optical imager, so that we can obtain a pair of pseudo-panchromatic stereoscopic images, consisting of two pseudo-panchromatic enhanced images from the processing of the multi-spectral raw images, acquired by the multi-spectral detectors of the two sets of multi-spectral detectors, and interlaced.
  • the optical imager further comprises at least one strip of linear panchromatic detectors, separated from the set of detector strips, and allowing the acquisition of panchromatic images.
  • the set of multi-spectral detectors may serve as a redundancy of the panchromatic detector array.
  • said panchromatic detectors are square in shape and have a pitch of the panchromatic detectors.
  • the pitch of the panchromatic detectors is four times smaller than no multi-spectral detectors.
  • the pitch of the panchromatic detectors is twice smaller than no multi-spectral detectors.
  • the method makes it possible to generate improved multi-spectral images having a resolution close to that of the panchromatic images by injecting high resolution information originating from the panchromatic images into the multi-spectral raw images.
  • the optical imager being situated at an observation altitude of the observed zone and having an observation base corresponding to the distance between two observation positions of the same scene observed by said optical imager, then the distance separating the multi-spectral detector arrays of the detector array is sufficiently large, corresponding to a factor B / H of the order of 0.05, where B is the observation base of the optical imager, and H the observation altitude of the optical imager, of so that we can obtain a couple of panchromatic stereoscopic images, composed of a panchromatic image acquired by the panchromatic detectors and an improved pseudo-panchromatic image resulting from the processing of interlaced multi-spectral raw images.
  • a correlation parallax measurement algorithm is applied to the pair of stereoscopic images, so as to determine a digital elevation model corresponding to the area observed.
  • said detectors are of the CCD or CMOS type, with or without TDI (for Time Delay Integration in English).
  • the set of detectors makes any angle between 0 ° and 90 °, for example 45 °, with the direction of displacement.
  • FIG. 1 the diagram of a conventional focal plane, comprising four multi-spectral detector arrays and a panchromatic detectors array in a state-of-the-art optical imager for which there is a ratio four between the resolution of the panchromatic channel and that of the multi-spectral channels;
  • FIG. 2 the schematic illustration of the arrangement of the multi-spectral channels in an exemplary optical imager making it possible to exploit the image acquisition method according to the invention
  • FIG. 3 a simplified sampling chronogram schematically representing the temporal sampling of the different multi-spectral channels in an exemplary optical imager making it possible to use the image acquisition method according to the invention
  • FIG. 4 is a diagram of the sampling grid obtained after spatial and temporal interleaving of the different multi-spectral channels in an example of an optical imager making it possible to use the image acquisition method according to the invention.
  • Figure 1 shows a diagram showing different sensor arrays as can be found in optical imagers of the state of the art.
  • the optical imager shown here therefore comprises a panchromatic detector array PAN and a number of multi-spectral detector arrays XS1, XS2, XS3 and XS4.
  • the sampling pitch of the multi-spectral channels XS1 to XS4, ⁇ xs is four times greater than the sampling step of the panchromatic channel PAN, ⁇ PAN .
  • the sampling time of the multi-spectral channels XS1 to XS4 is also four times greater than the sampling time of the PAN panchromatic channel.
  • the multi-spectral images produced have a resolution directly related to the width of the multi-spectral detectors XS1 to XS4, four times worse than the resolution of the panchromatic images directly related to the width of the panchromatic detectors. PAN.
  • the acquisition of images on the PAN panchromatic path is done in a step of meters whereas the acquisition of images on the multi-spectral channels XS1 to XS4 is done in a step of 4 meters.
  • FIG. 2 thus presents an example of arrangement of the sensor strips of an optical imager allowing the implementation of the method
  • the size of the multi-spectral detectors SXS1, SXS2, SXS3 and SXS4 is identical to that of the multi-spectral channels XS1 to XS4 of FIG.
  • the sampling time is also identical to the sampling time of the multi channels.
  • the multi-spectral channels SXS1 and SXS2 on the one hand and SXS3 and SXS4 on the other hand are contiguous in the direction of the DIR scroll and offset by ⁇ xs / 2 in the direction of the BARs.
  • These two groups of multi-spectral paths SXS1 -SXS2 and SXS3-SXS4 are co-registers in the direction of the bars BAR and are spaced apart by a distance ⁇ in the direction of the movement DIR.
  • ⁇ sxs corresponds to the fraction of the pixel of the remainder of the integer division of the distance ⁇ by the size of the detectors of the multi-spectral channels ⁇ xs .
  • ⁇ sxs where the operator
  • FIG. 3 gives the sampling grid corresponding to the different photo-centers of the multi-spectral detectors and represented in FIG. 4.
  • each multi-spectral channel SXS1 to SXS4 corresponds exactly to that of the panchromatic channel PAN
  • the application of a super-resolution algorithm to these four images would make it possible to generate a panchromatic image whose pitch effective would be 2p meters.
  • the spectral sensitivities of the SXS1 to SXS4 channels are not identical to those of the panchromatic PAN channel.
  • the application of super-resolution processing in this case is therefore not strictly applicable.
  • the application by relying on the local resemblance of the different multi-spectral images (in fact, few elements of the landscape present pure colors), its application remains "on average” possible and makes it possible to create a product of 'images much better resolved than the raw resolution of multi-spectral images of 4p meters, whose average resolution is of the order of 2p meters
  • each of the multi-spectral paths SXS1 to SXS4 is included or identical to the spectral sensitivity of the panchromatic channel PAN, it is possible to create a pseudopanchromatic channel from a combination, for example linear, multi-spectral images.
  • the increase in the resolution of the multi-spectral images by this method can be advantageously used to improve the quality of the panchromatic and multi-spectral image products. fused spectra by decreasing the resolution gap between panchromatic and multi-spectral raw images.
  • the multi-spectral detectors SXS1 to SXS4 are sufficiently distant from the panchromatic detectors PAN, that is to say if the distance D is sufficient, corresponding to a factor of B / H of the order of 0.05, where B is the observation base of the satellite, that is to say the distance between the two positions of the satellite observing the same zone, and H is the altitude of the satellite, we can obtain a pair of panchromatic stereoscopic images following resolutions closer to a factor of two compared to the raw images, composed of the panchromatic image and the pseudo-panchromatic image resulting from the processing of interlaced multi-spectral images. This pair of images can then be used as input to a correlation parallax measurement algorithm in order to determine a digital elevation model corresponding to the imaged zone.
  • the optical imager comprises a panchromatic detector array PAN and a set of multi-spectral detector arrays SXS1 to SXS4, this method can also possibly make it possible to ensure the slightly degraded redundancy in resolution of the channel.
  • panchromatic even in some cases to remove the latter from the focal plane for the sake of reducing the cost of the imaging system, if the SXS resolution is close to the resolution needs of the panchromatic path.
  • the main advantage of the invention is that the resolution of images obtained from multi-spectral detectors can be improved.
  • the present patent proposes to spatially and temporally interleave the sampling of the multi-spectral channels and then to apply to interlaced images thus produced an algorithm similar to a portion of the super-resolution.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

La présente invention concerne un procédé de traitement d'images permettant d'améliorer la résolution d'images acquises à partir d'un imageur optique de type 'push-broom', tel qu'un satellite d'observation de la Terre ou une plate-forme aéroportée. Pour obtenir des images présentant une résolution meilleure que celles des détecteurs multi-spectraux (SXS1 à SXS4) dont on dispose, l'invention propose d'entrelacer spatialement et temporellement l'échantillonnage des voies multi-spectrales et d'appliquer ensuite un algorithme s'apparentant pour une partie à de la super-résolution.

Description

Procédé d'augmentation de résolution d'images multi-spectrales.
La présente invention concerne un procédé d'acquisition d'images permettant d'améliorer la résolution d'images acquises à partir d'un imageur optique de type « push-broom » monté sur un porteur tel qu'un satellite d'observation de la Terre ou une plate-forme aéroportée.
L'imagerie optique spatiale « push-broom » consiste à exploiter le défilement des scènes observées dans le champ de vue du satellite. En effet, les satellites d'observation positionnés sur des orbites basses « voient » la Terre avec une vitesse de défilement du sol de l'ordre de 5 à 10 kilomètres par seconde. Ces satellites disposent de barrettes de détecteurs ou éventuellement de matrices de détecteurs qui vont acquérir des pixels pendant une certaine durée d'intégration, typiquement de l'ordre de quelques centaines ou milliers de microsecondes.
Classiquement, les imageurs optiques spatiaux « push-broom », tels que ceux utilisés sur SPOT, PLEIADES ou IKONOS par exemple, sont pourvus de détecteurs sensibles à des bandes spectrales différentes, généralement une voie panchromatique intégrant l'ensemble du spectre visible et plusieurs voies multi-spectrales décomposant plus finement le spectre de la lumière que la voie panchromatique.
L'idée générale poursuivie lors de la conception de ces instruments est d'améliorer la résolution des différentes voies, multi- spectrales et panchromatique, sans augmenter de manière significative le volume de données à transmettre ou encore la complexité du plan focal et des sous-systèmes de détection. C'est dans cette démarche que s'inscrit le présent brevet.
Généralement, pour des raisons de qualité d'image radiométrique relative au rapport signal sur bruit, les voies multi-spectrales sont échantillonnées suivant un pas plus important que la voie panchromatique, typiquement de deux à quatre fois plus important. La solution la plus courante consiste à co-enregistrer les différentes voies multi-spectrales de façon à minimiser l'erreur de superposabilité géométrique entre les différentes images multi-spectrales. Cependant, aucune amélioration de la résolution intrinsèque des détecteurs multi-spectraux n'est obtenue de cette façon.
Par ailleurs, le brevet français FR 2737375 propose l'utilisation de procédés dits « SUPERMODE » ou « HIPERMODE » dont le principe est de décaler des barrettes de détecteurs panchromatiques, typiquement d'une moitié de largeur de détecteur, puis d'entrelacer les images brutes acquises à partir de ces détecteurs afin de réaliser une image finale, produit de ces deux images brutes, présentant une résolution supérieure d'un facteur racine de deux.
Cependant, cette méthode ne concerne que des images panchromatiques et non des images acquises par des détecteurs multi- spectraux de sensibilités spectrales différentes. De plus, selon ces procédés, l'augmentation de la résolution des images acquises est obtenue au prix d'une augmentation du volume de données à transmettre au sol, d'un facteur deux pour le « SUPERMODE », et d'un facteur quatre pour l'« HIPERMODE ».
Un but de l'invention est notamment de pallier les inconvénients et lacunes des dispositifs et procédés actuels. Ainsi, pour obtenir des images multi-spectrales présentant une résolution supérieure à celles des détecteurs multi-spectraux dont on dispose, sans augmenter le nombre de détecteurs ni le volume de données à transmettre au sol, l'invention propose d'entrelacer spatialement et temporellement l'échantillonnage des images acquises par des détecteurs multi-spectraux de sensibilités spectrales différentes, procédé d'acquisition intitulé « Super-XS ».
A cet effet, l'invention a pour objet un procédé d'acquisition d'image permettant d'obtenir une image améliorée en résolution au moyen d'un imageur optique « push-broom », observant une scène et se déplaçant dans une direction de déplacement, et comportant un ensemble de barrettes de détecteurs linéaires constitué d'au moins deux barrettes de détecteurs de même pas, lesdites barrettes de détecteurs étant décalées d'une fraction de pas élémentaire, caractérisé en ce que l'ensemble de barrettes de détecteurs comprend au moins une première barrette de détecteurs sensible à une première bande spectrale et une deuxième barrette de détecteurs sensible à une deuxième bande spectrale, les première et deuxième bandes spectrales étant différentes, ledit ensemble de détecteurs permettant par conséquent d'obtenir au moins deux images brutes de la même scène dans lesdites première et deuxième bandes spectrales, lesdites images brutes présentant un pas d'échantillonnage brut, et étant décalées spatialement et/ou temporellement d'une fraction de pas d'échantillonnage brut en raison du décalage d'une fraction de pas élémentaire de la deuxième barrette de détecteurs par rapport à la première, et en ce que l'on fusionne lesdites images brutes de manière à obtenir l'image améliorée en résolution, présentant un pas d'échantillonnage amélioré inférieur au pas d'échantillonnage brut.
Avantageusement, on applique auxdites images brutes fusionnées un post-traitement s'apparentant pour une partie à de la super-résolution de manière à obtenir l'image améliorée en résolution.
Avantageusement, l'ensemble de barrettes de détecteurs est constitué d'au moins un ensemble de détecteurs multi-spectraux comportant au moins deux barrettes de détecteurs multi-spectraux permettant l'acquisition d'images brutes multi-spectrales.
Avantageusement, l'ensemble de barrettes de détecteurs est constitué d'au moins un ensemble de détecteurs multi-spectraux comportant quatre barrettes de détecteurs multi-spectraux permettant l'acquisition d'images brutes multi-spectrales.
Avantageusement, lesdits détecteurs multi-spectraux sont de forme carrée et présentent un pas des détecteurs multi-spectraux.
Avantageusement, le procédé permet d'obtenir des images améliorées pseudo-panchromatiques à partir des images brutes acquises par les détecteurs multi-spectraux.
Avantageusement, l'ensemble de barrettes de détecteurs étant constitué de deux ensembles distincts de détecteurs multi-spectraux, et l'imageur optique étant situé à une altitude d'observation de la zone observée et présentant une base d'observation correspondant à la distance entre deux positions d'observation de la même scène observée par ledit imageur optique, alors la distance séparant les deux ensembles de détecteurs multi-spectraux est suffisamment grande, correspondant à un facteur B/H de l'ordre de 0,05, où B est la base d'observation de l'imageur optique, et H l'altitude d'observation de l'imageur optique, de sorte que l'on peut obtenir un couple d'images stéréoscopiques pseudo-panchromatiques, composé de deux images améliorées pseudo-panchromatiques issues du traitement des images brutes multi-spectrales, acquises par les détecteurs multi-spectraux des deux ensembles de détecteurs multi-spectraux, et entrelacées.
Avantageusement, l'imageur optique comporte en outre au moins une barrette de détecteurs panchromatiques linéaire, séparée de l'ensemble de barrettes de détecteurs, et permettant l'acquisition d'images panchromatiques.
Avantageusement, l'ensemble de détecteurs multi-spectraux, permettant d'obtenir des images améliorées pseudo-panchromatiques, peut servir de redondance de la barrette de détecteurs panchromatiques.
Avantageusement, lesdits détecteurs panchromatiques sont de forme carrée et présentent un pas des détecteurs panchromatiques.
Avantageusement, le pas des détecteurs panchromatiques est quatre fois plus petit que pas des détecteurs multi-spectraux.
Avantageusement, le pas des détecteurs panchromatiques est deux fois plus petit que pas des détecteurs multi-spectraux.
Avantageusement, le procédé permet de générer des images améliorées multi-spectrales présentant une résolution proche de celle des images panchromatiques en injectant des informations haute résolution issues des images panchromatiques dans les images brutes multi- spectrales.
Avantageusement, l'imageur optique étant situé à une altitude d'observation de la zone observée et présentant une base d'observation correspondant à la distance entre deux positions d'observation de la même scène observée par ledit imageur optique, alors la distance séparant les barrettes de détecteurs multi-spectraux de la barrette de détecteurs panchromatiques est suffisamment grande, correspondant à un facteur B/H de l'ordre de 0,05, où B est la base d'observation de l'imageur optique, et H l'altitude d'observation de l'imageur optique, de sorte que l'on peut obtenir un couple d'images stéréoscopiques panchromatiques, composé d'une image panchromatique acquise par les détecteurs panchromatiques et d'une image améliorée pseudo-panchromatique issue du traitement des images brutes multi-spectrales entrelacées.
Avantageusement, on applique au couple d'images stéréoscopiques un algorithme de mesure de parallaxes par corrélation, de manière à déterminer un modèle numérique d'élévation correspondant à la zone observée.
Avantageusement, lesdits détecteurs sont de type CCD ou CMOS, avec ou sans TDI (pour Time Delay Intégration en anglais).
Avantageusement, l'ensemble de détecteurs fait un angle quelconque compris entre 0° et 90°, par exemple 45°, avec la direction de déplacement.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit faite en regard des dessins annexés qui représentent :
• la figure 1 : le schéma d'un plan focal classique, comprenant quatre barrettes de détecteurs multi-spectraux et une barrette de détecteurs panchromatiques dans un imageur optique de l'état de l'art pour lequel il y a un rapport quatre entre la résolution de la voie panchromatique et celle des voies multi- spectrales ;
• la figure 2 : l'illustration schématique de l'agencement des voies multi-spectrales dans un exemple d'imageur optique permettant d'exploiter le procédé d'acquisition d'images selon l'invention ;
• la figure 3 : un chronogramme d'échantillonnage simplifié représentant schématiquement l'échantillonnage temporelle des différentes voies multi-spectrales dans un exemple d'imageur optique permettant d'exploiter le procédé d'acquisition d'images selon l'invention ; la figure 4 : le schéma de la grille d'échantillonnage obtenue après entrelacement spatial et temporelle des différentes voies multi-spectrales dans un exemple d'imageur optique permettant d'exploiter le procédé d'acquisition d'images selon l'invention.
La figure 1 présente un schéma représentant différentes barrettes de détecteurs telles qu'on peut en trouver dans des imageurs optiques de l'état de l'art. L'imageur optique ici représenté comporte donc une barrette de détecteurs panchromatiques PAN et un certain nombre de barrettes de détecteurs multi-spectraux XS1 , XS2, XS3 et XS4. Comme cela a été expliqué précédemment, pour des raisons de rapport signal sur bruit, le pas d'échantillonnage des voies multi-spectrales XS1 à XS4, δxs est quatre fois plus grand que le pas d'échantillonnage de la voie panchromatique PAN, δPAN .
Par conséquent, du point de vue de l'échantillonnage temporel, le temps d'échantillonnage des voies multi-spectrales XS1 à XS4 est aussi quatre fois plus grand que le temps d'échantillonnage de la voie panchromatique PAN. En résumé et en guise d'exemple, les images multi-spectrales réalisées présentent une résolution directement liée à la largeur des détecteurs multi-spectraux XS1 à XS4, quatre fois moins bonne que la résolution des images panchromatiques directement liée à la largeur des détecteurs panchromatiques PAN. Ainsi, l'acquisition d'images sur la voie panchromatique PAN se fait suivant un pas de p mètres tandis que l'acquisition d'images sur les voies multi-spectrales XS1 à XS4 se fait suivant un pas de 4p mètres.
Les figures 2, 3 et 4, décrites ci-après, ne constituent qu'un exemple de configuration parmi d'autres permettant l'application du procédé d'acquisition d'images selon l'invention, appelé procédé Super-XS. Le principe décrit dans le présent brevet s'applique de la même façon à des imageurs optiques agencés de façon différente en termes de nombre de barrettes, de disposition de ces barrettes, de rapport entre la taille des détecteurs multi-spectraux et celle des détecteurs panchromatiques...etc. La figure 2 présente donc un exemple de disposition des barrettes de détecteurs d'un imageur optique permettant la mise en œuvre du procédé
Super-XS. La taille des détecteurs multi-spectraux SXS1 , SXS2, SXS3 et SXS4 est identique à celle des voies multi-spectrales XS1 à XS4 de la figure 1.
Dans cette configuration, la taille des détecteurs multi-spectraux
SXS1 à SXS4 est égale à celle des détecteurs multi-spectraux XS1 à XS4 de la figure 1 , et vaut δxs=4 δPAN- De ce fait, le temps d'échantillonnage est également identique au temps d'échantillonnage des voies multi-spectrales
XS1 à XS4 dans l'imageur optique de la figure 1.
De plus, les voies multi-spectrales SXS1 et SXS2 d'une part et SXS3 et SXS4 d'autre part sont accolées dans le sens du défilement DIR et décalés de δxs/2 dans le sens des barrettes BAR. Ces deux groupes de voies multi-spectrales SXS1 -SXS2 et SXS3-SXS4 sont co-en registres dans le sens des barrettes BAR et sont espacés d'une distance Δ dans le sens du défilement DIR. εsxs correspond à la fraction de pixel du reste de la division entière de la distance Δ par la taille des détecteurs des voies multi-spectrales δxs. On a εsxs = où l'opérateur |_ J correspond à la partie entière.
S XS s XS
Enfin, sur le chronogramme d'échantillonnage de la figure 3, on vérifie que les voies multi-spectrales de chaque groupe SXS1 -SXS2 et SXS3-SXS4 sont temporellement co-enregistrées deux à deux et que les deux groupes sont décalés temporellement du temps TSχs(1/2-εSχs) où TSχs correspond au temps d'échantillonnage des voies multi-spectrales. On constate également que ce temps d'échantillonnage TSχs vaut quatre fois celui de la voie panchromatique TPAN-
Par conséquent, en projection au sol, aux effets de microvibrations et d'irrégularité des positions des détecteurs, et aux erreurs de parallaxe près, cet agencement spatial des détecteurs, décrit en figure 2, couplé au chronogramme d'échantillonnage des différentes voies multi- spectrales de la figure 3 permet d'obtenir la grille d'échantillonnage correspondant aux différents photo-centres des détecteurs multi-spectraux et représentée en figure 4.
Le pas de la grille d'échantillonnage des images multi-spectrales ainsi entrelacées est donc amélioré. Si la résolution de la voie panchromatique RPAN est égale à p mètres, et si la résolution des images multi-spectrales brutes Rxs est égale à 4p mètres, l'agencement des photocentres des détecteurs SXS1 à SXS4 entrelacées comme présenté par la figure 4, permet théoriquement d'atteindre un échantillonnage carré de pas Rsxs = 2P rn êtres.
Plus précisément, si la sensibilité spectrale de chaque voie multi- spectrale SXS1 à SXS4 correspondait exactement à celle de la voie panchromatique PAN, l'application d'un algorithme de super-résolution à ces quatre images permettrait de générer une image panchromatique dont le pas effectif serait de 2p mètres.
Dans le cas de l'application du procédé Super-XS, objet de la présente invention, les sensibilités spectrales des voies SXS1 à SXS4 ne sont pas identiques à celles de la voie panchromatique PAN. L'application d'un traitement de super-résolution dans ce cas n'est donc pas stricto sensu applicable. Cependant, en pratique, en s'appuyant sur la ressemblance locale des différentes images multi-spectrales (en effet, peu d'éléments du paysage présentent des couleurs pures), son application reste « en moyenne » possible et permet de créer un produit d'images nettement mieux résolu que la résolution brute des images multi-spectrale de 4p mètres, dont la résolution moyenne est de l'ordre de 2p mètres
De plus, si la sensibilité spectrale de chacune des voies multi- spectrales SXS1 à SXS4 est incluse ou identique à la sensibilité spectrale de la voie panchromatique PAN, il est possible de créer une voie pseudopanchromatique à partir d'une combinaison, par exemple linéaire, des images multi-spectrales.
Dans le cas d'un système comportant une voie panchromatique et plusieurs voies multi-spectrales, l'augmentation de résolution des images multi-spectrales par ce procédé peut être avantageusement utilisée pour améliorer la qualité des produits d'images panchromatiques et multi- spectrales fusionnées en diminuant l'écart de résolution entre les images brutes panchromatiques et multi-spectrales.
Par ailleurs, si les détecteurs multi-spectraux SXS1 à SXS4 sont suffisamment éloignés des détecteurs panchromatiques PAN, c'est-à-dire si la distance D est suffisante, correspondant à un facteur de B/H de l'ordre de 0.05, où B est la base d'observation du satellite, c'est-à-dire la distance entre les deux positions du satellite observant la même zone, et H est l'altitude du satellite, on peut obtenir un couple d'images stéréoscopiques panchromatiques suivant des résolutions plus proches d'un facteur deux par rapport aux images brutes, composé de l'image panchromatique et de l'image pseudo-panchromatique issue du traitement des images multi- spectrales entrelacées. Ce couple d'images peut alors être utilisé en entrée d'un algorithme de mesure de parallaxes par corrélation afin de déterminer un modèle numérique d'élévation correspondant à la zone imagée.
De la même façon, il est possible de monter sur un imageur optique deux ensembles distincts de détecteurs multi-spectraux, le premier correspondant aux détecteurs SXS1 à SXS4 de la figure 2, le second, identique, venant se substituer à la barrette panchromatique PAN. On peut alors obtenir, par application du procédé « Super-XS », des couples d'images stéréoscopiques pseudo-panchromatiques selon le même principe que celui décrit dans le paragraphe précédent : les deux ensembles de détecteurs multi-spectraux doivent être suffisamment éloignés, de sorte que le facteur B/H soit de l'ordre de 0.05, et les couples d'images améliorées obtenus permettent alors de déterminer un modèle numérique d'élévation correspondant à la zone imagée.
Enfin, pour revenir au cas où l'imageur optique comprend une barrette de détecteurs panchromatiques PAN et un ensemble de barrettes de détecteurs multi-spectraux SXS1 à SXS4, ce procédé peut éventuellement aussi permettre d'assurer la redondance légèrement dégradée en résolution de la voie panchromatique, voire dans certains cas de supprimer cette dernière du plan focal dans un souci de diminution du coût du système imageur, si la résolution SXS est proche des besoins en résolution de la voie panchromatique. En résumé, l'invention a pour principal avantage de permettre l'amélioration de la résolution d'images obtenues à partir de détecteurs multi- spectraux. Pour ce faire, le présent brevet propose d'entrelacer spatialement et temporellement l'échantillonnage des voies multi-spectrales puis d'appliquer aux images entrelacées ainsi produites un algorithme s'apparentant pour une partie à de la super-résolution.

Claims

REVENDICATIONS
1 . Procédé d'acquisition d'image permettant d'obtenir une image améliorée en résolution au moyen d'un imageur optique « push- broom », observant une scène et se déplaçant dans une direction de déplacement (DIR), et comportant un ensemble de barrettes de détecteurs linéaires (SXS1 à SXS4) constitué d'au moins deux barrettes de détecteurs (SXS1 à SXS4) de même pas, lesdites barrettes de détecteurs (SXS1 à SXS4) étant décalées d'une fraction de pas élémentaire, caractérisé en ce que l'ensemble de barrettes de détecteurs (SXS1 à SXS4) comprend au moins une première barrette de détecteurs (SXS1 ) sensible à une première bande spectrale et une deuxième barrette de détecteurs (SXS2) sensible à une deuxième bande spectrale, les première et deuxième bandes spectrales étant différentes, ledit ensemble de détecteurs (SXS1 à SXS4) permettant par conséquent d'obtenir au moins deux images brutes de la même scène dans lesdites première et deuxième bandes spectrales, lesdites images brutes présentant un pas d'échantillonnage brut (Rxs), et étant décalées spatialement et/ou temporellement d'une fraction de pas d'échantillonnage brut (Rxs) en raison du décalage d'une fraction de pas élémentaire de la deuxième barrette de détecteurs (SXS2 à SXS4) par rapport à la première (SXS1 ), et en ce que l'on fusionne lesdites images brutes de manière à obtenir l'image améliorée en résolution, présentant un pas d'échantillonnage amélioré (Rsxs) inférieur au pas d'échantillonnage brut (Rxs).
2. Procédé selon la revendication 1 , caractérisé en ce que l'on l'applique auxdites images brutes fusionnées un post-traitement s'apparentant pour une partie à de la super-résolution de manière à obtenir l'image améliorée en résolution.
3. Procédé selon l'une quelconque des revendications 1 à 2, caractérisé en ce que l'ensemble de barrettes de détecteurs est constitué d'au moins un ensemble de détecteurs multi-spectraux comportant au moins deux barrettes de détecteurs multi-spectraux (SXS1 à SXS4) permettant l'acquisition d'images brutes multi-spectrales.
4. Procédé selon la revendication 1 , caractérisé en ce que l'ensemble de barrettes de détecteurs est constitué d'au moins un ensemble de détecteurs multi-spectraux comportant quatre barrettes de détecteurs multi-spectraux (SXS1 à SXS4) permettant l'acquisition d'images brutes multi-spectrales.
5. Procédé selon l'une quelconque des revendications 3 à 4, caractérisé en ce que lesdits détecteurs multi-spectraux (SXS1 à SXS4) sont de forme carrée et présentent un pas des détecteurs multi-spectraux (δsxs)-
6. Procédé selon l'une quelconque des revendications 3 à 5, caractérisé en ce qu'il permet d'obtenir des images améliorées pseudopanchromatiques à partir des images brutes acquises par les détecteurs multi-spectraux (SXS1 à SXS4).
7. Procédé selon l'une quelconque des revendications 3 à 6, l'ensemble de barrettes de détecteurs étant constitué de deux ensembles distincts de détecteurs multi-spectraux, et l'imageur optique étant situé à une altitude d'observation de la zone observée et présentant une base d'observation correspondant à la distance entre deux positions d'observation de la même scène observée par ledit imageur optique, caractérisé en ce que la distance séparant les deux ensembles de détecteurs multi-spectraux est suffisamment grande, correspondant à un facteur B/H de l'ordre de 0,05, où B est la base d'observation de l'imageur optique, et H l'altitude d'observation de l'imageur optique, de sorte que l'on peut obtenir un couple d'images stéréoscopiques pseudo-panchromatiques, composé de deux images améliorées pseudo-panchromatiques issues du traitement des images brutes multi-spectrales, acquises par les détecteurs multi- spectraux des deux ensembles de détecteurs multi-spectraux, et entrelacées conformément au procédé selon la revendication 6.
8. Procédé selon l'une quelconque des revendications 3 à 6, caractérisé en ce que l'imageur optique comporte en outre au moins une barrette de détecteurs panchromatiques (PAN) linéaire, séparée de l'ensemble de barrettes de détecteurs (SXS1 à SXS4), et permettant l'acquisition d'images panchromatiques.
9. Procédé selon la revendication 8, caractérisé en ce que l'ensemble de détecteurs multi-spectraux (SXS1 à SXS4), permettant d'obtenir des images améliorées pseudo-panchromatiques conformément au procédé selon la revendication 6, peut servir de redondance de la barrette de détecteurs panchromatiques (PAN).
10. Procédé selon l'une quelconque des revendications 8 à 9, caractérisé en ce que lesdits détecteurs panchromatiques (PAN) sont de forme carrée et présentent un pas des détecteurs panchromatiques (ÔPAN)-
11. Procédé selon l'une quelconque des revendications 8 à 10, caractérisé en ce que le pas des détecteurs panchromatiques (5PAN) est quatre fois plus petit que pas des détecteurs multi-spectraux (δxs).
12. Procédé selon l'une quelconque des revendications 8 à 10, caractérisé en ce que le pas des détecteurs panchromatiques (5PAN) est deux fois plus petit que pas des détecteurs multi-spectraux (δxs).
13. Procédé selon l'une quelconque des revendications 8 à 12, caractérisé en ce qu'il permet de générer des images améliorées multi-spectrales présentant une résolution proche de celle des images panchromatiques en injectant des informations haute résolution issues des images panchromatiques dans les images brutes multi-spectrales.
14. Procédé selon l'une quelconque des revendications 8 à 13, l'imageur optique étant situé à une altitude d'observation de la zone observée et présentant une base d'observation correspondant à la distance entre deux positions d'observation de la même scène observée par ledit imageur optique, caractérisé en ce que la distance (D) séparant les barrettes de détecteurs multi-spectraux (SXS1 à SXS4) de la barrette de détecteurs panchromatiques (PAN) est suffisamment grande, correspondant à un facteur B/H de l'ordre de 0,05, où B est la base d'observation de l'imageur optique, et H l'altitude d'observation de l'imageur optique, de sorte que l'on peut obtenir un couple d'images stéréoscopiques panchromatiques, composé d'une image panchromatique acquise par les détecteurs panchromatiques (PAN) et d'une image améliorée pseudo-panchromatique issue du traitement des images brutes multi-spectrales, entrelacées conformément au procédé selon la revendication 6.
15. Procédé selon l'une quelconque des revendications 7 et 14, caractérisé en ce qu'on applique au couple d'images stéréoscopiques un algorithme de mesure de parallaxes par corrélation, de manière à déterminer un modèle numérique d'élévation correspondant à la zone observée.
16. Procédé selon l'une quelconque des revendications 1 à 15, caractérisé en ce que lesdits détecteurs (PAN, SXS1 à SXS4) sont de type CCD ou CMOS, avec ou sans TDI (pour Time Delay Intégration en anglais).
17. Procédé selon l'une quelconque des revendications 1 à 16, caractérisé en ce que l'ensemble de détecteurs (PAN, SXS1 à SXS4) fait un angle quelconque compris entre 0° et 90°, par exemple 45°, avec la direction de déplacement (DIR).
PCT/EP2008/061598 2007-09-07 2008-09-03 Procédé d'augmentation de résolution d'images multi-spectrales WO2009030698A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP08803569A EP2185903A1 (fr) 2007-09-07 2008-09-03 Procédé d'augmentation de résolution d'images multi-spectrales

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0706279A FR2920869B1 (fr) 2007-09-07 2007-09-07 Procede d'augmentation de resolution d'images multi-spectrales
FR0706279 2007-09-07

Publications (1)

Publication Number Publication Date
WO2009030698A1 true WO2009030698A1 (fr) 2009-03-12

Family

ID=39295952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/061598 WO2009030698A1 (fr) 2007-09-07 2008-09-03 Procédé d'augmentation de résolution d'images multi-spectrales

Country Status (3)

Country Link
EP (1) EP2185903A1 (fr)
FR (1) FR2920869B1 (fr)
WO (1) WO2009030698A1 (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041822B2 (en) 2011-02-11 2015-05-26 Canadian Space Agency Method and system of increasing spatial resolution of multi-dimensional optical imagery using sensor's intrinsic keystone
US9128064B2 (en) 2012-05-29 2015-09-08 Kla-Tencor Corporation Super resolution inspection system
US9395247B2 (en) 2013-02-15 2016-07-19 Oulun Yliopisto Measurement of raman radiation
DE102019211805B3 (de) * 2019-08-06 2020-09-17 Deutsches Zentrum für Luft- und Raumfahrt e.V. Optisches System und TDI-Sensor
EP2778635B1 (fr) * 2011-04-25 2023-11-29 Planet Labs PBC Systèmes et procédés pour imagerie aérienne et vidéo

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0524043A1 (fr) * 1991-06-27 1993-01-20 Centre National D'etudes Spatiales Procédé d'enregistrement et de traitement d'une image et instrument de prise de vues pour la mise en oeuvre de ce procédé
US20040096118A1 (en) * 2002-11-20 2004-05-20 Dmetrix, Inc. Multi-spectral miniature microscope array

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0524043A1 (fr) * 1991-06-27 1993-01-20 Centre National D'etudes Spatiales Procédé d'enregistrement et de traitement d'une image et instrument de prise de vues pour la mise en oeuvre de ce procédé
US20040096118A1 (en) * 2002-11-20 2004-05-20 Dmetrix, Inc. Multi-spectral miniature microscope array

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RIENSTRA J ET AL: "Multispectral focal plane assembly for satellite remote sensing", AEROSPACE CONFERENCE, 1998 IEEE SNOWMASS AT ASPEN, CO, USA 21-28 MARCH 1998, NEW YORK, NY, USA,IEEE, US, vol. 5, 21 March 1998 (1998-03-21), pages 233 - 241, XP010287061, ISBN: 0-7803-4311-5 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041822B2 (en) 2011-02-11 2015-05-26 Canadian Space Agency Method and system of increasing spatial resolution of multi-dimensional optical imagery using sensor's intrinsic keystone
EP2778635B1 (fr) * 2011-04-25 2023-11-29 Planet Labs PBC Systèmes et procédés pour imagerie aérienne et vidéo
US9128064B2 (en) 2012-05-29 2015-09-08 Kla-Tencor Corporation Super resolution inspection system
US9395247B2 (en) 2013-02-15 2016-07-19 Oulun Yliopisto Measurement of raman radiation
DE102019211805B3 (de) * 2019-08-06 2020-09-17 Deutsches Zentrum für Luft- und Raumfahrt e.V. Optisches System und TDI-Sensor

Also Published As

Publication number Publication date
EP2185903A1 (fr) 2010-05-19
FR2920869B1 (fr) 2009-11-27
FR2920869A1 (fr) 2009-03-13

Similar Documents

Publication Publication Date Title
EP0738074B1 (fr) Procédé de détection à cycles d'intégration et de lecture répartis pour caméra à balayage, et barrette de détection correspondante
EP2778635B1 (fr) Systèmes et procédés pour imagerie aérienne et vidéo
EP2567537B1 (fr) Procede d'imagerie polychrome
EP2735901B1 (fr) Appareil d'imagerie à plusieurs ensembles de détection disposés dans un plan focal
WO2009030698A1 (fr) Procédé d'augmentation de résolution d'images multi-spectrales
CA2903957C (fr) Unite d'imagerie
EP2954671B1 (fr) Capteur d'image à défilement et sommation avec détection d'erreurs de défilement
CN109863602A (zh) 具有增强的广角性能的图像传感器
WO2012153533A1 (fr) Matrice de filtres colorés et capteur d'images
CA2290673C (fr) Perfectionnement a l'acquisition d'image par balayage pousse-balai
EP3384459B1 (fr) Procede de traitement de signaux issus d'une matrice de prise d'images en couleur, et capteur correspondant
EP0782695A1 (fr) Procede d'acquisition d'une image par balayage pousse-balai
EP3777129B1 (fr) Capteur d'images aeroporte realisant des prises de vue matricielle par decalage temporel et sommation multi-spectrales
EP3217649B1 (fr) Capteur d'images par decalage temporel et integration etendue
WO2023110922A1 (fr) Camera multispectrale a acquisition " snapshot " (instantanee)
EP3839814B1 (fr) Instrument d'observation optique embarque a resolution spatiale et spectrale variables
EP3402178B1 (fr) Capteur de mouvement et capteur d'images
FR2928008A1 (fr) Dispositif d'imagerie a deflecteurs.
WO2024133158A1 (fr) Méthode de prise de vues défilantes hyperspectrales et panchromatiques combinees au moyen d'un imageur spatial
FR2737326A1 (fr) Procede pour le traitement ou la transmission d'une image acquise sous la forme d'une matrice de pixels
WO2023046551A1 (fr) Procede pour l'acquisition d'images multispectrales et d'imagettes panchromatiques
EP2012526A1 (fr) Procédé et dispositif d'observation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08803569

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2008803569

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2008803569

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE