WO2011151371A1 - Procede d'etalonnage autonome des directions de visee des capteurs d'une barrette de detection utilisant des prises de vues orthogonales - Google Patents

Procede d'etalonnage autonome des directions de visee des capteurs d'une barrette de detection utilisant des prises de vues orthogonales Download PDF

Info

Publication number
WO2011151371A1
WO2011151371A1 PCT/EP2011/059030 EP2011059030W WO2011151371A1 WO 2011151371 A1 WO2011151371 A1 WO 2011151371A1 EP 2011059030 W EP2011059030 W EP 2011059030W WO 2011151371 A1 WO2011151371 A1 WO 2011151371A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference image
image
directions
sensors
secondary image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2011/059030
Other languages
English (en)
Inventor
Jean-Marc Delvit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National dEtudes Spatiales CNES
Original Assignee
Centre National dEtudes Spatiales CNES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes Spatiales CNES filed Critical Centre National dEtudes Spatiales CNES
Publication of WO2011151371A1 publication Critical patent/WO2011151371A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021—Earth observation satellites
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the field of the invention is that of observation satellites, and more particularly that of the calibration of embedded shooting systems within such satellites.
  • the invention relates to the calibration in flight of the sighting directions of the different sensors of a sensor array of a camera system. It will be noted at this stage that reference is also made to mapping the focal plane to designate the estimation of the aiming directions of the different sensors.
  • a flight recipe of an observation satellite starts from the control of the good functioning of the satellite and lasts a few months. This recipe is implemented to verify the adequacy of the system to the specifications and to allow the diffusion and the marketing of images with the best possible geometry.
  • Geometric calibration is the first objective of the geometric flight recipe. It aims to provide ground treatments some geometric parameters involved in modeling and geometric treatments. These parameters were previously measured on the ground but some of them were able to evolve at the end of the launch; others could only be measured with insufficient precision.
  • These parameters include the aiming directions of the sensors of a detection strip of the camera system. Thus, it is sought during a geometrical calibration in flight, to re-estimate the directions of sight of the different sensors, in order to establish a map of the focal plane.
  • a known method for doing so is based on the correlation between an image acquired by the bar to be mapped and an absolute reference image, of better resolution, called geometric supersite, such as an aerial photograph.
  • geometric calibration is now performed using mainly geometrically perfectly known sites (planimetrically and altimetrically). These sites are of different shapes (images and geometric models, support points, 3D models ...), and different precisions. These sites are composed of two main families, one for calibrating the alignment biases and measuring the localization performance (database of points of support), the other allowing to make the fine geometry at through dynamic and static analyzes allowing a fine analysis of the attitude residues and a cartography of the different focal planes.
  • the aim of the invention is to meet these needs, and proposes for this purpose according to a first aspect, a method for determining the aiming directions of the sensors of a detection strip of an on-board camera system within an observation satellite, implementing a correlation of a reference image of a scene with a secondary image of the scene obtained by the detector array, characterized in that the reference image and the secondary image consist of orthogonal shots of the scene obtained by the array of detectors.
  • it furthermore comprises the averaging of a row and a column of the matrix obtained by the correlation of the reference image and the secondary image in order to estimate the offset of the aiming direction of a sensor in parallel and perpendicular to the satellite track;
  • the offsets of the aiming directions of the sensors of the array are modeled as polynomials
  • it furthermore comprises the implementation of a two-dimensional least-squares adjustment of the matrix obtained by correlating the reference image and the secondary image in order to model in the form of polynomials the offsets of the sighting directions of the sensor of the array parallel and perpendicular to the trace of the satellite; the estimation of the offsets of the sighting directions of the sensors being modulated by dynamic residual effects, polynomial modeling is subtracted from the estimate to estimate the attitude residues of each of the shots of the reference image and of the secondary image;
  • the invention relates to a computer program product comprising a set of instructions that when executed by a computer processing unit cause said unit to execute the steps of the method according to the first aspect of the invention. .
  • the invention relates to a shooting system intended to be embedded in an observation satellite, comprising a detection strip formed of a plurality of detectors and a computer program according to the second aspect of the invention. which when implemented allows a calibration of the camera system.
  • FIG. 1 illustrates the orthogonal shots of a reference image and a secondary image of the same scene in accordance with the invention
  • Figure 2 is a diagram illustrating the various steps of the method according to the first aspect of the invention.
  • FIGS. 3a and 3b represent an estimation of the shifts of the sighting directions respectively parallel and perpendicular to the trace of the satellite obtained by a polynomial modeling during a simulation of static effects without residual dynamic effects;
  • FIGS. 4a and 4b represent an estimation of the shifts of the sighting directions parallel and perpendicular to the trace of the satellite obtained by polynomial modeling during a simulation of static effects with very high frequency residual dynamic effects
  • FIGS. 5a-5d represent an estimate of the dynamic residual effects parallel and perpendicular to the satellite track during a simulation of static effects with very high frequency residual dynamic effects.
  • the invention proposes a method for determining the viewing directions of the sensors of a detection strip of an on-board camera system within an observation satellite which enables to overcome supersites by being based on two orthogonal acquisitions (not necessarily single-pass) of the same scene.
  • the main advantage of this type of acquisition is to "decorrelate" the static effects of shooting dynamic effects.
  • FIG. 1 shows the orthogonal images of a reference image R and a secondary image S of the same scene in accordance with the invention.
  • the reference CCD illustrates the position of the detection strip of the observation satellite's observation system.
  • This bar typically of the CCD type ("Charge-Coupled Device” designating a charge transfer device), comprises a plurality of photosensitive sensors arranged in line, for example of the order of 4000 to 6000 sensors per line.
  • the reference t illustrates the movement of the satellite over time.
  • FIG. 1 also shows an overall view of the two mergings made by the satellite for obtaining orthogonal images R, S of the same scene.
  • Figure 2 is a diagram illustrating the different steps of the method according to the first aspect of the invention.
  • a first step called "setting geometry” is chosen in the pair of orthogonal images a reference product and a secondary product. We then use the geometric models of the reference image and the secondary image, in order to inject into the images all the knowledge delivered by the system (attitudes, cartography of the existing focal plane ). The two images are then almost superimposable. The only differences come from lack of awareness of the focal plane and residual attitude errors (not restored by the SCAO Orbit and Attitude Control System).
  • This step of "setting geometry” thus consists in projecting the first image of the couple in the second. More specifically, a "collocation” transformation is implemented to map all the row and column positions of the first image to the row and column positions of the second image. The direct location model of the first image (using all the information contained in the auxiliary data of the product) is used to obtain information on the position of this image on the ground. This ground information is then used and the inverse localization model of the second image.
  • the secondary image and the reference image are correlated.
  • the lines of the resulting disparity web comprise information on the mapping of the focal plane and vib2 information relating to the attitude residues of the secondary shot, while the columns of the disparity web correspond to information relating to the mapping of the focal plane and vib1 information relating to the attitude residues of the reference shot.
  • the two correlated images both correspond to images taken by the satellite. In such a way, it is not necessary to resort to aerial photography of a supersite as was the case in the prior art.
  • a statistical filtering of the disparity layer resulting from the correlation of the two orthogonal ones can be implemented in order to eliminate the aberrant points.
  • an average line and an average column are calculated on the disparity layer resulting from the "dense correlation" step (and preferably after statistical filtering as presented above).
  • the mapping of the focal plane is a signal that can be modeled, by a polynomial (for example of degree less than or equal to 5) or by another function, and the residues of attitudes correspond to high frequency effects.
  • the method thus comprises the averaging of a row and a column of the matrix obtained by the correlation of the reference image and of the secondary image to estimate the offset of the direction of sight of a sensor parallel and perpendicular to the trace of the satellite.
  • the offsets of the aiming directions of the sensors of the array can then be modeled as polynomials, for example by implementing a least-squares adjustment.
  • the estimation of the mapping of the focal plane is modulated by the dynamic residual effects.
  • We can then correctly estimate the mapping of the focal plane by assuming a polynomial modeling for mapping the focal plane and a high frequency signal for the attitude residues. It is also possible to finely restore the attitude of each shot from the modulated signal simply by subtracting the polynomial modeling of the map of the focal plane.
  • a geometric simulation chain simulates on the one hand the effects of focal planes (simulation of qx and qy polynomial models, with possible inter-array zones), on the other hand the residual dynamic effects (simulations of sinusoid combinations). parameterized by their periods, their amplitudes as well as their phasing).
  • the method according to the first aspect of the invention has in particular been tested on different cases of simulations:
  • Two test images are used for the simulations, an image acquired by the satellite
  • shooting is used to denote shooting acquired in standard mode (composed of an image 0 and an attitude 0). Its orthogonal in the "orthogonal" shooting mode is designated by shot 90 (composed of an image 90 and an attitude 90).
  • the simulated static effects are polynomials of degree less than or equal to 5 for the directions of view in x (parallel to the trace) and in y (perpendicular to the trace), of even degree for the one and of odd degree for the other.
  • the mean line resulting from the disparity sheet gives information on the cartography of the focal plane and the attitude residues of the image 90.
  • the average column resulting from the disparity layer gives information on the cartography of the plane.
  • FIGS. 3a and 3b represent the estimation of the shifts of the sighting directions respectively parallel and perpendicular to the trace of the satellite obtained by the polynomial modeling resulting from the line and average column in this first simulation case (via an average of the two modelizations) .
  • the performances of the conventional methods are of the order of 0.1 pixels; it is found that with the method of the invention the residual error is about 5 times smaller. According to a second case of simulation, one considers static effects with residual dynamic effects very high frequencies.
  • the mapping of the focal plane is modulated by the dynamic residual effects.
  • the polynomial modeling hypothesis for the mapping of the focal plane and of the high frequency signal for the attitude residuals makes it possible to correctly estimate the mapping of the focal plane.
  • FIGS. 4a and 4b show the estimation of the shifts of the sighting directions parallel and perpendicular to the trace of the satellite obtained by the polynomial modeling resulting from the line and average column in this second modeling case.
  • FIGS. 5a-5d also show the estimation of dynamic residual effects parallel and perpendicular to the satellite trace in this second modeling case. More precisely, FIGS. 5a and 5b show the dynamic residual effects restored on the shooting 90 respectively in roll and pitch from the mean line. Figures 5c and 5d represent the residual dynamic effects returned to the shooting 0 respectively roll and pitch from the middle column. In these figures 5a-5d, there is shown in full line simulated dynamic effect and dashed line dynamic effect estimated according to a possible embodiment of the method according to the first aspect of the invention.
  • the estimation errors of the mapping of the focal plane remain less than 2 hundredths of RMS pixels.
  • a third simulation case static effects with residual average and high frequency dynamic effects are considered.
  • high and medium frequency disturbances are present.
  • This case is representative of a local consistency specification over a hundred lines horizon and a typical local consistency over a thousand line horizon.
  • the estimation errors of the mapping of the focal plane remain less than 3 hundredths of an RMS pixel and 9 hundredths of a pixel at the most.
  • the main advantage of the method according to the first aspect of the invention is that it allows the realization of an autonomous calibration that does not require aerial images of supersites.
  • the process thus makes it possible to override the constraints of creation, operation and maintenance of supersites.
  • This method also makes it possible to dispense with a specific location (related to supersites). It is then possible to map the focal planes on sites at different latitudes, which makes it possible to follow a possible thermoelastic evolution of the mapping of the focal plane, and to use in routine follow-up of the low orbits.
  • This method also makes it possible to achieve mapping accuracies finer than those obtained using supersites. It has been demonstrated by simulation that by using a single shooting torque, it is possible to achieve, whatever the resolution (Pelican or Quickbird), accuracies well below one tenth of a pixel. The simulated images are small (2000x2000), and large images should logically improve the statistic.
  • the invention is not limited to the method according to its first aspect, but also extends according to a second aspect to a computer program product comprising a set of instructions which when executed by a unit of processing means cause said unit to execute the steps of the method according to the first aspect of the invention.
  • the invention also extends to a shooting system intended to be embedded in an observation satellite, which system comprises a detection strip formed of a plurality of detectors and a computer program product according to the second aspect of the invention which when implemented allows a calibration of the camera system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Navigation (AREA)

Abstract

Selon un premier aspect, l'invention concerne un procédé de détermination des directions de visée des capteurs d'une barrette de détection (CCD) d'un système de prise de vues embarqué au sein d'un satellite d'observation, mettant en œuvre une corrélation d'une image de référence d'une scène avec une image secondaire de la scène obtenue par la barrette de détecteurs, caractérisé en ce que l'image de référence (R) et l'image secondaire (S) consistent en des prises de vues orthogonales de la scène obtenues par la barrette de détecteurs.

Description

PROCEDE D'ETALONNAGE AUTONOME DES DIRECTIONS DE VISEE DES CAPTEURS D'UNE BARRETTE DE DETECTION UTILISANT DES PRISES DE VUES
ORTHOGONALES DOMAINE DE L'INVENTION
Le domaine de l'invention est celui des satellites d'observation, et plus particulièrement celui de l'étalonnage des systèmes de prise de vues embarqués au sein de tels satellites.
Encore plus précisément, l'invention concerne l'étalonnage en vol des directions de visée des différents capteurs d'une barrette de détection d'un système de prise de vues. On relèvera à ce stade qu'on parle également de cartographie du plan focal pour désigner l'estimation des directions de visée des différents capteurs.
ARRIERE PLAN DE L'INVENTION
Une recette en vol d'un satellite d'observation démarre dès le contrôle du bon fonctionnement du satellite et dure quelques mois. Cette recette est mise en œuvre afin de vérifier l'adéquation du système aux spécifications et permettre la diffusion et la commercialisation d'images avec la meilleure géométrie possible.
L'estimation des performances géométriques est également suivie tout au long de la vie du satellite, afin de pouvoir identifier d'éventuelles évolutions ou anomalies.
L'étalonnage géométrique est le premier objectif de la recette en vol géométrique. Il vise à fournir aux traitements sol certains des paramètres géométriques intervenant dans les modélisations et les traitements géométriques. Ces paramètres ont été préalablement mesurés au sol mais certains d'entre eux ont pu évoluer à l'issue du lancement ; d'autres n'ont pu être mesurés qu'avec une précision insuffisante.
Ces paramètres comprennent les directions de visée des capteurs d'une barrette de détection du système de prise de vues. On cherche ainsi lors d'un étalonnage géométrique en vol, à ré-estimer les directions de visée des différents capteurs, et ce afin d'établir une cartographie du plan focal.
Une méthode connue pour se faire est basée sur la corrélation entre une image acquise par la barrette à cartographier et une image de référence absolue, de meilleure résolution, appelée 'supersite' géométrique, telle qu'une photographie aérienne.
On trouvera une description de cette méthode aux pages 141 -145 de l'ouvrage « Imagerie Spatiale, Des principes d'acquisition au traitement des images optiques pour l'observation de la Terre» publié aux éditions Cépaduès (ISBN : 978.2.85428.844.5).
Ainsi, l'étalonnage géométrique est aujourd'hui réalisé en utilisant principalement des sites géométriquement parfaitement connus (planimétriquement et altimétriquement). Ces sites sont de différentes formes (images et modèles géométriques, points d'appui, modèles 3D...), et de différentes précisions. Ces sites sont composés de deux familles principales, l'une permettant d'étalonner les biais d'alignements et de mesurer la performances de localisation (base de donnée de points d'appui), l'autre permettant de faire de la géométrie fine au travers d'analyses dynamiques et statiques permettant une analyse fine des résidus d'attitude et une cartographie des différents plans focaux.
L'utilisation de supersites n'est toutefois pas satisfaisante en ce qu'elle s'accompagne de contraintes liées à la création, à l'exploitation et à l'entretien des supersites. En outre, le cartographie du plan focal ne peut être établie que sur des localisations spécifiques.
On cherche d'une manière générale une technique pour étalonner géométriquement un système d'observation de la terre qui passerait outre ces contraintes. On cherche également d'une manière générale à atteindre des cartographies plus fines que celles obtenues via les supersites.
EXPOSÉ DE L'INVENTION
L'invention a pour objectif de répondre à ces besoins, et propose à cet effet selon un premier aspect, un procédé de détermination des directions de visée des capteurs d'une barrette de détection d'un système de prise de vues embarqué au sein d'un satellite d'observation, mettant en œuvre une corrélation d'une image de référence d'une scène avec une image secondaire de la scène obtenue par la barrette de détecteurs, caractérisé en ce que l'image de référence et l'image secondaire consistent en des prises de vues orthogonales de la scène obtenues par la barrette de détecteurs.
Certains aspects préférés, mais non limitatifs, de ce procédé sont les suivants :
- il comprend en outre le moyennage d'une ligne et d'une colonne de la matrice obtenue par la corrélation de l'image de référence et de l'image secondaire pour estimer le décalage de la direction de visée d'un capteur parallèlement et perpendiculairement à la trace du satellite ;
- les décalages des directions de visée des capteurs de la barrette sont modélisés sous forme de polynômes ;
- la modélisation sous forme de polynômes met en œuvre un ajustement selon la méthode des moindres carrés ;
- il comprend en outre la mise en œuvre d'un ajustement bidimensionnel, selon la méthode des moindres carrés, de la matrice obtenue par la corrélation de l'image de référence et de l'image secondaire pour modéliser sous forme de polynômes les décalages des directions de visée des capteur de la barrette parallèlement et perpendiculairement à la trace du satellite ; - l'estimation des décalages des directions de visée des capteurs étant modulée par des effets résiduels dynamiques, on vient retrancher la modélisation polynomiale à ladite estimation pour estimer les résidus d'attitudes de chacune des prises de vue de l'image de référence et de l'image secondaire ;
- il comprend préalablement à la corrélation de l'image de référence et de l'image secondaire, une étape de colocalisation desdites images visant à projeter l'image secondaire dans l'image de référence pour les rendre quasi-superposables.
Selon un second aspect, l'invention concerne un produit programme d'ordinateur comprenant un ensemble d'instructions qui lorsqu'elles sont exécutées par une unité de traitement informatique entraînent ladite unité à exécuter les étapes du procédé selon le premier aspect de l'invention.
Selon un troisième aspect, l'invention concerne un système de prise de vues destiné à être embarqué dans un satellite d'observation, comprenant une barrette de détection formée d'une pluralité de détecteurs et un programme informatique selon le second aspect de l'invention qui lorsqu'il est mis en œuvre permet de réaliser un étalonnage du système de prise de vues.
BREVE DESCRIPTION DES DESSINS
D'autres aspects, buts et avantages de la présente invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
la figure 1 illustre les prises de vues orthogonales d'une image de référence et d'une image secondaire d'une même scène conformément à l'invention ;
la figure 2 est un schéma illustrant les différentes étapes du procédé selon le premier aspect de l'invention ;
les figures 3a et 3b représentent une estimation des décalages des directions de visée respectivement parallèlement et perpendiculairement à la trace du satellite obtenue par une modélisation polynomiale lors d'une simulation d'effets statiques sans effets dynamiques résiduels ;
les figures 4a et 4b représentent une estimation des décalages des directions de visée parallèlement et perpendiculairement à la trace du satellite obtenue par modélisation polynomiale lors d'une simulation d'effets statiques avec effets dynamiques résiduels très hautes fréquences ; les figures 5a-5d représentent une estimation des effets résiduels dynamiques parallèlement et perpendiculairement à la trace du satellite lors d'une simulation d'effets statiques avec effets dynamiques résiduels très hautes fréquences.
DESCRIPTION DETAILLEE DE L'INVENTION
D'une manière générale, l'invention propose selon un premier aspect un procédé de détermination des directions de visée des capteurs d'une barrette de détection d'un système de prise de vues embarqué au sein d'un satellite d'observation qui permet de s'affranchir de supersites en étant basé sur deux acquisitions orthogonales (pas nécessairement monopasse) d'une même scène. L'avantage principal de ce type d'acquisitions est de « décorréler » les effets statiques de la prise de vue des effets dynamiques.
On a représenté sur la figure 1 les prises de vues orthogonales d'une image de référence R et d'une image secondaire S d'une même scène conformément à l'invention.
Sur cette figure 1 , la référence CCD illustre la position de la barrette de détection du système de prise de vue du satellite d'observation. Cette barrette, typiquement du type CCD (« Charge-Coupled Device » désignant un dispositif à transfert de charge), comprend une pluralité de capteurs photosensibles disposés en ligne, par exemple de l'ordre de 4000 à 6000 capteurs par ligne. La référence t illustre quant à elle le déplacement du satellite au cours du temps. On a par ailleurs représenté en bas sur la figure 1 une vue d'ensemble des deux fauchées réalisées par le satellite pour l'obtention des images orthogonales R, S de la même scène.
Considérons deux produits issus de prises de vue « orthogonales ». Ces deux produits sont orthogonaux : si les lignes du produitl sont acquis le long du CCD et les colonnes du produitl sont acquis par le temps alors les lignes du produit2 sont acquis par le temps et les colonnes du produit2 sont acquis le long du CCD. L'utilisation de ce couple d'images permet de remonter aux caractéristiques statiques et dynamiques de chacune des prises de vue.
La figure 2 est un schéma illustrant les différentes étapes du procédé selon le premier aspect de l'invention.
Selon une première étape dite de « mise en géométrie », on choisit dans le couple d'images orthogonales un produit de référence et un produit secondaire. On utilise alors les modèles géométrique de l'image de référence et de l'image secondaire, afin d'injecter dans les images toutes la connaissance délivrée par le système (attitudes, cartographie du plan focal existant...). Les deux images sont alors quasi-superposables. Les seules différences proviennent de la méconnaissance du plan focal et des erreurs d'attitudes résiduelles (non restituées par le Système de Commande d'Attitude et d'Orbite SCAO). Cette étape de « mise en géométrie » consiste ainsi à projeter la première image du couple dans la seconde. Plus précisément, on met en œuvre une transformation dite de « colocalisation » pour mettre en correspondance toutes les positions lignes, colonnes de la première image avec les positions lignes et colonnes de la deuxième image. On utilise pour ce faire le modèle de localisation directe de la première image (en utilisant toutes les informations contenues dans les données auxiliaires du produit) afin d'obtenir une information sur la position de cette image au sol. On utilise ensuite cette information sol et le modèle de localisation inverse de la seconde image.
Selon une seconde étape dite de « corrélation dense », l'image secondaire et l'image de référence sont corrélées. Les lignes de la nappe de disparité résultante comportent des informations sur la cartographie du plan focal et des informations vib2 relatives aux résidus d'attitude de la prise de vue secondaire, tandis que les colonnes de la nappe de disparité correspondent à des informations relatives à la cartographie du plan focal et des informations vib1 relatives aux résidus d'attitude de la prise de vue de référence.
Ainsi, dans le cadre de l'invention, les deux images corrélées correspondent toutes deux à des prises de vues réalisées par le satellite. De telle manière, il n'est pas nécessaire de recourir à une prise de vue aérienne d'un supersite comme c'était le cas dans la technique antérieure.
Un filtrage statistique de la nappe de disparité résultant de la corrélation des deux orthogonales peut être mise en œuvre afin d'en éliminer les points aberrants. A titre d'exemple non limitatif, on peut calculer, pour chaque ligne (respectivement colonne) de la nappe de disparité, la moyenne et l'écart-type des disparités (décalages), et ne considérer que les points dont la disparité est comprise entre la moyenne moins trois fois l'écart-type et la moyenne plus trois fois l'écart-type.
Selon une troisième étape dite de « Statistiques », on vient estimer la cartographie du plan focal et éventuellement les résidus d'attitude de chaque prise de vue.
Selon un premier mode de réalisation, on calcule une ligne moyenne et une colonne moyenne sur la nappe de disparité résultant de l'étape de « corrélation dense » (et de préférence après filtrage statistique comme présenté ci-dessus). On fait ensuite les hypothèses selon lesquelles la cartographie du plan focal est un signal modélisable, par un polynôme (par exemple de degré inférieur ou égal à 5) ou par une autre fonction, et les résidus d'attitudes correspondent à des effets hautes fréquences.
Dans ce premier mode de réalisation, le procédé comprend ainsi le moyennage d'une ligne et d'une colonne de la matrice obtenue par la corrélation de l'image de référence et de l'image secondaire pour estimer le décalage de la direction de visée d'un capteur parallèlement et perpendiculairement à la trace du satellite.
Les décalages des directions de visée des capteurs de la barrette peuvent alors être modélisés sous forme de polynômes, par exemple en mettant en œuvre un ajustement selon la méthode des moindres carrés.
Selon un second mode de réalisation, on met en œuvre un ajustement bidimensionnel, selon la méthode des moindres carrés, de la matrice obtenue par la corrélation de l'image de référence et de l'image secondaire pour modéliser sous forme de polynômes ou d'autres fonctions les décalages des directions de visée des capteur de la barrette parallèlement et perpendiculairement à la trace du satellite. On retiendra que la solution conforme au premier mode de réalisation basée sur le moyennage des lignes et colonnes présente l'avantage de la simplicité.
Lorsque les résidus d'attitude sont nuls, la cartographie du plan focal est directe, sans avoir à formuler d'hypothèses fréquentielles.
En revanche, en présence de résidus d'attitude, l'estimation de la cartographie du plan focal est modulée par les effets résiduels dynamiques. On peut alors correctement estimer la cartographie du plan focal en prenant pour hypothèses une modélisation polynomiale pour la cartographie du plan focal et un signal hautes fréquences pour les résidus d'attitude. Il s'avère en outre possible de restituer finement l'attitude de chacune des prises de vue à partir du signal modulé en lui soustrayant simplement la modélisation polynomiale de la cartographie du plan focal.
La discussion ci-après détaille différentes simulations réalisées par la Demanderesse.
Une chaîne de simulation géométrique permet de simuler d'une part les effets de plans focaux (simulation de modèles polynomiaux en qx et en qy, avec zones inter-barrettes éventuelles), d'autre part les effets dynamiques résiduels (simulations de combinaisons de sinusoïdes paramétrées par leurs périodes, leurs amplitudes ainsi que leurs phasages).
Le procédé selon le premier aspect de l'invention a notamment été testé sur différents cas de simulations :
- Effets statiques sans effets dynamiques résiduels ;
- Effets statiques avec effets dynamiques résiduels très hautes fréquences ;
- Effets statiques avec effets dynamiques résiduels moyennes et hautes fréquences ; Deux images tests sont utilisées pour les simulations, une image acquise par le satellite
QUICKBIRD et une image issue du capteur aéroporté PELICAN. Tous les résultats sont similaires avec l'une ou l'autre des images. Dans ce qui suit, on désigne par prise de vue 0 la prise de vue acquise en mode standard (composé d'une image 0 et d'une attitude 0). Son orthogonal dans le mode de prises de vue « orthogonale » est désignée par prise de vue 90 (composé d'une image 90 et d'une attitude 90).
Dans le cadre ce ces simulations, les effets statiques simulés sont des polynômes de degré inférieur ou égal à 5 pour les directions de visées en x (parallèlement à la trace) et en y (perpendiculairement à la trace), de degré pair pour l'un et de degré impair pour l'autre.
Selon un premier cas de simulation, on considère des effets statiques sans effets dynamiques résiduels.
La ligne moyenne issue de la nappe de disparité donne des informations sur la cartographie du plan focal et les résidus d'attitudes de l'image 90. La colonne moyenne issue de la nappe de disparité donne quant à elle des informations sur la cartographie du plan focal et les résidus d'attitudes de l'image 0. Ces résidus d'attitudes dans ce cas doivent être nuls.
Dans tous les cas la ligne ou colonne moyenne est modélisé par un polynôme degré 5 (par moindres carrés). Il est intéressant de noter que les erreurs de corrélation dues au paysage n'apparaîtront pas simultanément sur la ligne et la colonne moyenne.
Les figures 3a et 3b représentent l'estimation des décalages des directions de visée respectivement parallèlement et perpendiculairement à la trace du satellite obtenue par la modélisation polynomiale issue de la ligne et colonne moyenne dans ce premier cas de simulation (via une moyenne des deux modélisations).
On relèvera ici que lorsque l'on calcule des décalages, on obtient deux grilles de décalages : une grille de décalages le long des lignes et une grille de décalage le long des colonnes. Ainsi, lorsque l'on parle de ligne moyenne (respectivement de colonne moyenne), il s'agit de la ligne moyenne (resp. colonne moyenne) des décalages le long des lignes (pour les informations en x) et de la ligne moyenne (resp. colonne moyenne) des décalages le long des colonnes (pour les informations en y).
Sur ces figures 3a et 3b, on a représenté :
en trait plein, l'effet statique simulé modélisant les décalages des directions de visée ; en trait « bruité », la mesure réalisée dans le cadre de l'invention (par exemple via le calcul d'une ligne ou colonne moyenne sur la nappe de disparité résultant de la corrélation des images orthogonales) ;
en trait pointillé, l'estimation des décalages obtenue par modélisation polynomiale.
Les performances des méthodes classiques sont de l'ordre de 0, 1 pixels ; on constate qu'avec la méthode de l'invention l'erreur résiduelle est environ 5 fois plus petite. Selon un second cas de simulation, on considère des effets statiques avec effets dynamiques résiduels très hautes fréquences.
Dans ce second cas, seule des perturbations hautes fréquences sont présentes. Une hypothèse arbitraire supplémentaire est faite : les amplitudes des résidus d'attitude de la prise de vue 90 sont plus importants (environ 2 fois plus) que ceux de la prise de vue 0, les fréquences caractéristiques sont également différentes. Les simulations sont représentatives d'une spécification de cohérence locale sur un horizon d'une centaine de lignes.
L'estimation de la cartographie du plan focal est modulée par les effets résiduels dynamiques. L'hypothèse de modélisation polynomiale pour la cartographie du plan focal et de signal hautes fréquences pour les résidus d'attitudes permettent de correctement estimer la cartographie du plan focal. En outre, il est possible de restituer finement l'attitude de chacune de ces prises de vue à partir du signal modulé estimé en enlevant simplement la cartographie du plan focal (telle qu'estimée par la modélisation polynomiale).
On a représenté sur les figures 4a et 4b l'estimation des décalages des directions de visée parallèlement et perpendiculairement à la trace du satellite obtenue par la modélisation polynomiale issue de la ligne et colonne moyenne dans ce second cas de modélisation.
On a par ailleurs représenté sur les figures 5a-5d l'estimation des effets résiduels dynamiques parallèlement et perpendiculairement à la trace du satellite dans ce second cas de modélisation. Plus précisément, les figures 5a et 5b représentent les effets résiduels dynamiques restitués sur la prise de vue 90 respectivement en roulis et tangage à partir de la ligne moyenne. Les figures 5c et 5d représentent quant à elles les effets résiduels dynamiques restitués sur la prise de vue 0 respectivement en roulis et tangage à partir de la colonne moyenne. Sur ces figures 5a-5d, on a représenté en trait plein l'effet dynamique simulé et en trait pointillé l'effet dynamique estimé conformément à un mode de réalisation possible du procédé selon le premier aspect de l'invention.
On constate également ici des performances globalement 5 fois meilleures que celles atteintes avec les méthodes classiques.
En particulier, malgré des perturbations dynamiques résiduelles les erreurs d'estimation de la cartographie du plan focal reste inférieures à 2 centièmes de pixels RMS.
II est en outre possible de restituer les attitudes résiduelles. On constate en particulier que les fréquences sont correctement restituées tandis que les amplitudes apparaissent légèrement sous estimées.
Selon un troisième cas de simulation, on considère des effets statiques avec effets dynamiques résiduels moyennes et hautes fréquences. Dans ce troisième cas, des perturbations hautes et moyennes fréquences sont présentes. Ce cas est représentatif d'une spécification de cohérence locale sur un horizon d'une centaine de lignes et d'une cohérence locale typique sur un horizon de mille lignes.
Les performances sont toujours globalement 5 fois meilleures que celles atteintes avec les méthodes classiques.
En particulier, malgré des perturbations dynamiques résiduelles moyennes fréquences, les erreurs d'estimation de la cartographie du plan focal reste inférieures à 3 centièmes de pixel RMS et à 9 centièmes de pixel au maximum.
D'une manière générale, on relèvera qu'une fois la cartographie du plan focal estimée, il est possible de restituer plus finement l'attitude. On peut notamment mettre en œuvre le procédé selon l'invention de manière itérative pour améliorer d'une part l'estimation de la cartographie du plan focal et d'autre part l'estimation des perturbations dynamiques du satellite.
On aura compris que l'intérêt principal du procédé selon le premier aspect de l'invention est qu'il autorise la réalisation d'un étalonnage autonome ne nécessitant pas d'images aériennes de supersites. Le procédé permet ainsi de passer outre les contraintes de création, exploitation et entretien des supersites.
Ce procédé permet en outre de se passer d'une localisation spécifique (liée aux supersites). Il est alors possible de cartographier les plans focaux sur des sites à différentes latitudes, ce qui permet de suivre une éventuelle évolution thermo élastique de la cartographie du plan focal, et d'utiliser en suivi de routine des orbites peu chargée.
Ce procédé permet également d'atteindre des précisions de cartographie plus fines que celles obtenues à l'aide des supersites. Il a pu être démontré par simulation qu'en utilisant un unique couple de prise de vue, il est possible d'atteindre, et ce quel que soit la résolution (Pélican ou Quickbird), des précisions bien inférieures au dixième de pixel. Les images simulées sont petites (2000x2000), et de grandes images devraient logiquement améliorer la statistique.
On notera qu'il est également possible d'utiliser un grand nombre de ces couples orthogonaux, ce qui permettra en recette en vol d'affiner les cartographie (précision accrue en n , avec n le nombre de couples utilisé).
Enfin, on notera qu'il s'avère également possible de restituer les résidus d'attitude.
On comprendra que l'invention n'est pas limitée au procédé selon son premier aspect, mais s'étend également selon un second aspect à un produit programme d'ordinateur comprenant un ensemble d'instructions qui lorsqu'elles sont exécutées par une unité de traitement informatique entraînent ladite unité à exécuter les étapes du procédé selon le premier aspect de l'invention. L'invention s'étend par ailleurs à un système de prise de vues destiné à être embarqué dans un satellite d'observation, lequel système comprend une barrette de détection formée d'une pluralité de détecteurs et un produit programme d'ordinateur selon le second aspect de l'invention qui lorsqu'il est mis en œuvre permet de réaliser un étalonnage du système de prise de vues.

Claims

REVENDICATIONS
1. Procédé de détermination des directions de visée des capteurs d'une barrette de détection d'un système de prise de vues embarqué au sein d'un satellite d'observation, mettant en œuvre une corrélation d'une image de référence d'une scène avec une image secondaire de la scène obtenue par la barrette de détecteurs, caractérisé en ce que l'image de référence et l'image secondaire consistent en des prises de vues orthogonales de la scène obtenues par la barrette de détecteurs.
2. Procédé selon la revendication 1 , comprenant en outre le moyennage d'une ligne et d'une colonne de la matrice obtenue par la corrélation de l'image de référence et de l'image secondaire pour estimer le décalage de la direction de visée d'un capteur parallèlement et perpendiculairement à la trace du satellite.
3. Procédé selon la revendication 2, dans lequel les décalages des directions de visée des capteurs de la barrette sont modélisés sous forme de polynômes.
4. Procédé selon la revendication 3, dans lequel la modélisation sous forme de polynômes met en œuvre un ajustement selon la méthode des moindres carrés.
5. Procédé selon la revendication 1 , comprenant en outre la mise en œuvre d'un ajustement bidimensionnel, selon la méthode des moindres carrés, de la matrice obtenue par la corrélation de l'image de référence et de l'image secondaire pour modéliser sous forme de polynômes les décalages des directions de visée des capteur de la barrette parallèlement et perpendiculairement à la trace du satellite.
6. Procédé selon l'une des revendications 3 à 5, dans lequel l'estimation des décalages des directions de visée des capteurs est modulée par des effets résiduels dynamiques et dans lequel on vient retrancher la modélisation polynomiale à ladite estimation pour estimer les résidus d'attitudes de chacune des prises de vue de l'image de référence et de l'image secondaire.
7. Procédé selon l'une des revendications précédentes, comprenant préalablement à la corrélation de l'image de référence et de l'image secondaire, une étape de colocalisation desdites images visant à projeter l'image secondaire dans l'image de référence pour les rendre quasi-superposables.
8. Produit programme d'ordinateur comprenant un ensemble d'instructions qui lorsqu'elles sont exécutées par une unité de traitement informatique entraînent ladite unité à exécuter les étapes du procédé selon l'une quelconque des revendications précédentes.
9. Système de prise de vues destiné à être embarqué dans un satellite d'observation, comprenant une barrette de détection formée d'une pluralité de détecteurs et un programme informatique selon la revendication 8 qui lorsqu'il est mis en œuvre permet de réaliser un étalonnage du système de prise de vues.
PCT/EP2011/059030 2010-06-01 2011-06-01 Procede d'etalonnage autonome des directions de visee des capteurs d'une barrette de detection utilisant des prises de vues orthogonales Ceased WO2011151371A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1054259 2010-06-01
FR1054259A FR2960737B1 (fr) 2010-06-01 2010-06-01 Procede d'etalonnage autonome des directions de visee des capteurs d'une barrette de detection utilisant des prises de vues orthogonales

Publications (1)

Publication Number Publication Date
WO2011151371A1 true WO2011151371A1 (fr) 2011-12-08

Family

ID=43385576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/059030 Ceased WO2011151371A1 (fr) 2010-06-01 2011-06-01 Procede d'etalonnage autonome des directions de visee des capteurs d'une barrette de detection utilisant des prises de vues orthogonales

Country Status (2)

Country Link
FR (1) FR2960737B1 (fr)
WO (1) WO2011151371A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030044085A1 (en) * 2001-05-01 2003-03-06 Dial Oliver Eugene Apparatuses and methods for mapping image coordinates to ground coordinates
JP2006277007A (ja) * 2005-03-28 2006-10-12 Mitsubishi Electric Corp 観測衛星、衛星通信地上局及び観測衛星システム
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030044085A1 (en) * 2001-05-01 2003-03-06 Dial Oliver Eugene Apparatuses and methods for mapping image coordinates to ground coordinates
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
JP2006277007A (ja) * 2005-03-28 2006-10-12 Mitsubishi Electric Corp 観測衛星、衛星通信地上局及び観測衛星システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Imagerie Spatiale, Des principes d'acquisition au traitement des images optiques pour l'observation de la Terre", CÉPADUÈS
ETIENNE ARNAL: "Amélioration du prétraitement radiométrique et géométrique des images aéroportées PELICAN.", 1 September 2007 (2007-09-01), XP002616019, Retrieved from the Internet <URL:http://www.etiennearnal.fr/data/ARNAL%20Etienne%20CNES%20Report.pdf> [retrieved on 20110110] *

Also Published As

Publication number Publication date
FR2960737B1 (fr) 2012-07-20
FR2960737A1 (fr) 2011-12-02

Similar Documents

Publication Publication Date Title
Eltner et al. Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images
James et al. 3‐D uncertainty‐based topographic change detection with structure‐from‐motion photogrammetry: precision maps for ground control and directly georeferenced surveys
EP2513664B1 (fr) Procede de calibrage d&#39;un instrument de mesure d&#39;un systeme optronique
EP1843295B1 (fr) Procédé de restitution de mouvements de la ligne de visée d&#39;un instrument optique
US20090237297A1 (en) Geodesy Via GPS and INSAR Integration
WO2019020945A1 (fr) Procede de calibration d&#39;un magnetometre
Pan et al. Precise georeferencing using the rigorous sensor model and rational function model for ZiYuan-3 strip scenes with minimum control
EP2901236B1 (fr) Localisation de cible assistée par vidéo
CN102317972A (zh) 3d点云数据对于2d电光图像数据的对准
WO2016156352A1 (fr) Procede de determination d&#39;une direction d&#39;un objet a partir d&#39;une image de l&#39;objet
US20180041746A1 (en) Testing 3d imaging systems
CN104864853B (zh) 一种高分辨率三线阵卫星沿轨方向姿态颤振的探测方法
Karel et al. Modelling and compensating internal light scattering in time of flight range cameras
CA2891159A1 (fr) Procede de traitement d&#39;informations locales
CN102478759A (zh) 一种空间相机波前畸变与光轴抖动的集成测量方法
FR2969802A1 (fr) Procede de determination d&#39;erreur de localisation dans une image georeferencee et dispositif associe
Li et al. Common-feature-track-matching approach for multi-epoch UAV photogrammetry co-registration
FR2985307A1 (fr) Procede d&#39;etalonnage des biais d&#39;alignement d&#39;un systeme d&#39;observation de la terre exploitant des prises de vue symetriques
EP4139632B1 (fr) Procédé de calage géométrique d&#39;images optiques
Sidiropoulos et al. A systematic solution to multi-instrument coregistration of high-resolution planetary images to an orthorectified baseline
Jovanovic et al. Multi-angle geometric processing for globally geo-located and co-registered MISR image data
WO2011151371A1 (fr) Procede d&#39;etalonnage autonome des directions de visee des capteurs d&#39;une barrette de detection utilisant des prises de vues orthogonales
Wozniak et al. Moving point source detection and localization in wide-field images
EP3018625B1 (fr) Procédé de calibration d&#39;un système de visée
Aytekın et al. 2D orientation accuracy of Göktürk-1 panchromatic imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11722458

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11722458

Country of ref document: EP

Kind code of ref document: A1