WO2008000711A2 - Stabilisation hybride d'images pour caméra vidéo - Google Patents

Stabilisation hybride d'images pour caméra vidéo Download PDF

Info

Publication number
WO2008000711A2
WO2008000711A2 PCT/EP2007/056294 EP2007056294W WO2008000711A2 WO 2008000711 A2 WO2008000711 A2 WO 2008000711A2 EP 2007056294 W EP2007056294 W EP 2007056294W WO 2008000711 A2 WO2008000711 A2 WO 2008000711A2
Authority
WO
WIPO (PCT)
Prior art keywords
offsets
image
images
image processing
gyrometric
Prior art date
Application number
PCT/EP2007/056294
Other languages
English (en)
Other versions
WO2008000711A3 (fr
Inventor
Stéphane BOURGAIN
Bruno Bustin
Jérôme Fournier
Etienne Payot
Christophe Rannou
Jacques Rioland
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Priority to EP07765590A priority Critical patent/EP2033162A2/fr
Priority to US12/306,862 priority patent/US8111294B2/en
Publication of WO2008000711A2 publication Critical patent/WO2008000711A2/fr
Publication of WO2008000711A3 publication Critical patent/WO2008000711A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Definitions

  • the invention relates to the stabilization of a sequence of images acquired by an observation device of an imaging system such as a video camera, subjected to involuntary movements or vibrations.
  • the observation device typically operates at wavelengths of the visible or infrared range.
  • a first solution relates to video cameras on a terrestrial, naval or airborne platform that are generally mounted on a steerable mount, for example of theodolite type or in a mirror with two axes orientable mirror.
  • Servos ensure the stabilization of the line of sight by exploiting the information of a gyroscope or gyrometers integral with the camera.
  • Another solution relates to portable light cameras of the camcorder or binocular type (intensified or infrared) which are manually oriented and stabilized by the observer but remain subject to the residual erratic movements of the latter.
  • Solutions for stabilizing the line of sight of the camera are implemented by combining two gyrometric sensors integral with the camera housing to an opto-mechanical component deviating variable-angle prism type or eccentric lens by actuators included in the lens from the camera. In these two cases, we speak of stabilization "a priori”.
  • Other solutions use image processing to recalibrate the successive images of a video sequence. In this case, we speak of "posteriori" electronic stabilization.
  • the object of the invention is to be able to use a low-cost image stabilization process operating whatever the content of the image (contrasted or not, structured or not, ).
  • the principle of the image stabilization method according to the invention is based on a combination of prior stabilization and post-stabilization.
  • This first stabilization is obtained by determining the attitude of the camera.
  • the subject of the invention is a method of stabilizing the images of a scene, acquired by means of an observation device of an imaging system, comprising a step of digital processing of a stream of successive images. It is mainly characterized in that it comprises a step of acquisition of gyrometric measurements by means of at least one gyrometric sensor integral with the observation device, of using these gyrometric measurements to determine so-called approximate shifts experienced between images successive, and in that the image processing step comprises a substep of using the approximate offsets and the stream of acquired images to determine said shifts fine between successive images.
  • the advantage of the hybrid motion estimation is thus to allow the stabilization of the image sequence (of the image flow) whatever the scene.
  • the image processing step comprises a sub-step of evaluating the fine offsets to choose between the approximate offsets and the fine offsets, those to be applied to the image stream to stabilize it.
  • the image processing step comprises a substep of temporal filtering offsets.
  • the offset calculations are obtained for example by correlation.
  • the subject of the invention is also a device for stabilizing the images of a scene comprising an observation device for an imaging system and a digital image processing element, characterized in that it also comprises at least one gyrometric sensor integral with the observation device and the image processing element.
  • the image processing element comprises a microprocessor capable of implementing shift calculations between successive images.
  • this logical network programmable device being able to acquire gyrometric measurements of the sensors and an image stream of the observation device and preferably another programmable logic array disposed at the output of the microprocessor and connected to the observation device and able to apply the offsets provided by the microprocessor to the flow of images from the first programmable logic network.
  • these programmable logic networks are grouped into a single programmable logic array.
  • FIG. 1 schematically represents a stabilization device according to FIG.
  • the invention in FIG. 2 schematically represents the various steps of the hybrid estimation of the method according to the invention.
  • FIG. 3 schematically represents the different steps of the second level of registration of the hybrid estimation. From one figure to another, the same elements are identified by the same references.
  • FIG. 1 An example of a stabilization device according to the invention is shown in FIG. 1. It comprises a video camera 1 and two gyrometric sensors 2 integral with the camera.
  • the image of the camera comprising pixels distributed in lines (x axis) and columns (y axis); there is preferably one sensor for the pixel lines and another for the columns.
  • These sensors are typically MEMS (acronym for the English expression "Micro Electro Mechanical System”) made on silicon. They are connected to an FPGA 3 (acronym for the English expression Field Programmable Gâte Array).
  • an FPGA is a gate array network programmable logic by the user, used for a particular function.
  • the FPGA delivers a stream of images and a stream of gyrometric measurements; these flows are synchronized so that the offset measured by the gyrometers is related to the corresponding image.
  • This processing of synchronized gyro-images and image flow consists mainly of a so-called hybrid motion estimation, the purpose of which is to provide an estimate of the parasitic movements between successive images. More specifically, the microprocessor 4 calculates the offsets to compensate for geometrically recalibrating the images relative to each other.
  • the purpose of stabilization is to correct the involuntary movements of the camera in 3D space. Perfect correction is achieved by combining rotation and translations following the three axes (x, y, z). In the context of the correction of vibrational movements of small amplitudes and high frequencies, a correction in translation along the axes of the image (axes x and y) is sufficient.
  • the microprocessor 4 supplies to another FPGA 5 the calculated offsets.
  • This FPGA whose function is the geometric transformation of the acquired image stream, then produces a stream of stabilized images.
  • a single FPGA is used to perform the functions of the two FPGAs.
  • the flow of measurements from the gyrometric sensors has a frequency higher than the flow of the video camera.
  • This gyrometric flow is filtered temporally in order to reduce the noise of the low-cost sensors, synchronized with respect to the acquisition of the images (ie an offset along the x-axis and an offset along the y-axis are associated with each image) and the angular values given by the gyrometers are converted into number of pixels according to the field of the camera.
  • An approximate offset is obtained, that is to say with a precision of the order of 4 to 6 pixels for a field of about 4 °, or 2 to 3 pixels for a field of about 8 °; it is intended to be exploited by the second level of registration (registration by image processing).
  • the second level of registration the fine registration (of a precision less than one pixel for example), is carried out by image processing, for example by correlation of successive images two to one. two.
  • This second level uses the first level of registration to initialize its estimate, this initialization thus making it possible to save processing time and make the measure reliable by imposing the consistency of the two estimates.
  • This second level of registration is detailed below.
  • This estimate of offsets can be seen as a hierarchical process producing a first approximate estimate by gyro measurements which is then refined by image processing possibly several times, according to increasingly finer resolutions.
  • This principle allows in particular to preserve a low calculation complexity for the process whereas a simple correlation would prove very expensive.
  • the third step consists in merging the two previous offset levels so as to combine the accuracy of the image processing estimation with the reliability of the gyro estimation.
  • the aim here is to provide the best estimation of the movements according to the context: fast or slow movements, of high or low amplitude, content of the contrasted or unstressed image, structured or not, etc.
  • the fine registration process includes a self-evaluation method detailed below and aimed at estimating the reliability of the processing, for example by controlling the level or the local curvature of a peak of correlation. Depending on the result of this self-evaluation, one or the other level of registration is preferred:
  • the reliability is for example defined according to a minimum threshold on the correlation result and a minimum threshold on the correlation gradient.
  • the advantage of the hybrid motion estimation is thus to allow the stabilization of the image sequence (of the image flow) whatever the scene.
  • the last step is the temporal filtering of the different offsets measured over time, the purpose of which is to separate the different components of the offset to eliminate the offsets that are caused by involuntary movements and keep only those resulting from voluntary movements of the line of sight as a movement of panoramic movement for example.
  • the first correspond to displacements of small amplitudes and high temporal frequencies whereas the second correspond to displacements of large amplitudes and low temporal frequencies.
  • the step of the second level of registration fine registration
  • This figure illustrates an exemplary embodiment of the fine estimation of the image processing offsets based on the principle multi-resolution correlation:
  • the current image ⁇ t and the previous image I M are first zoomed out, that is to say undergo a resolution reduction step of a factor N.
  • This step includes for each image I t and I M two stages: a low-pass filtering of the image, a subsampling by which only one pixel is conserved
  • I 0 the image zoomed out, (note I Dt the image l t zoomed and drank the image read out) i, j row and column indices of pixels in the image.
  • the zoomed images lo t and I DM are then correlated to provide a so-called sub-resolved offset estimate.
  • any function is used to quantify the similarity between a reference image bt and a secondary image l D n.
  • a distance function ie dissimilarity function
  • Minkowski metric type ie dissimilarity function
  • 7 C 7 D, ⁇ Dt-I) ⁇ ⁇ 7 Dt (UJ) - 7 Dt-I (U j) noting: p the order of the distance, lot and I Dt- i the two images to be compared, i and j the row and column indices of the pixels in the image, N the number of lines of the image and M the number of columns.
  • the web or webs of correlation distance noted Nd is constructed by moving the lo reference image correlation carrier t
  • H x and H y the correlation horizons in x and y.
  • the indices u, v corresponding to the minimum on the distance layer give the estimated offset between the reference image lo t and the secondary image I Dt- 1 -
  • the correlation horizons Hx and Hy determine the maximum amplitude of the displacements estimable by image processing.
  • the hierarchical process is as follows:
  • the gyrometers make it possible to obtain an approximate offset with a precision of the order of 4 to 6 pixels in a small camera field, obtained at the end of a very low computation complexity and much less important than that of an exhaustive correlation.
  • the low-resolution correlation that is to say performed on the zoomed images (see Fig. 3), initialized by the estimation of the gyrometers and using horizons of the order of the accuracy of the gyrometers, allows to obtain a precision of the order of 2 pixels.
  • the high-resolution correlation carried out on the images l t and
  • a- zooming the successive images k times to obtain k reduced resolution image streams, k being an integer greater than or equal to 1, b- calculating offsets from the kth reduced resolution image flow and approximate offsets, where k is strictly greater than 1, iterate the following process: compute offsets from the (k-1) th reduced resolution image flow and offsets previous ones, k k-1 d- calculate the fine offsets from the previous offsets and the original image flow. "Unzoom" means to reduce the resolution.
  • the hierarchical process thus works by successive refinements of the motion estimation, allowing gain in time of computation (the low-resolution correlation being of reduced complexity compared to the high-resolution correlation) and gain in reliability.
  • a final step of self-assessment of the correlation quality makes it possible to determine the overall reliability of this process, reliability used during the merger to make the decision on whether or not to use this motion estimation by image processing.
  • the reliability of motion estimation by image processing is estimated through the qualification of the correlation web. This is to validate that the peak correlation (maximum correlation or minimum distance Lp) is sufficiently marked.
  • information of: height of the peak is used simultaneously, for example by analyzing that the difference, in absolute value, between the height of the peak of correlation and the average on the correlation layer is greater than a threshold, curvature on the peak, for example by analyzing for each of the directions x and y, that the difference in absolute value between the height of the correlation peak and the average of its two immediate neighbors is greater than a threshold.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un procédé de stabilisation des images d'une scène, acquises au moyen d'un dispositif d'observation d'un système d'imagerie, comportant une étape de traitement numérique d'un flux d'images successives. Il comporte une étape d'acquisition de mesures gyrométriques au moyen d'au moins un capteur gyrométrique solidaire du dispositif d'observation, d'utilisation de ces mesures gyrométriques pour déterminer des décalages dits approximatifs subis entre images successives, et l'étape de traitement d'image comprend une sous-étape d'utilisation des décalages approximatifs et du flux d'images acquises pour déterminer des décalages dits fins subis entre images successives.

Description

STABILISATION HYBRIDE D'IMAGES POUR CAMÉRA VIDEO
L'invention concerne la stabilisation d'une séquence d'images acquises par un dispositif d'observation d'un système d'imagerie tel qu'une caméra vidéo, soumis à des mouvements ou des vibrations involontaires. Le dispositif d'observation fonctionne typiquement à des longueurs d'onde du domaine du visible ou de l'infrarouge.
Une première solution concerne les caméras vidéo embarquées sur une plate-forme terrestre, navale ou aérienne qui sont en général montées sur une monture orientable, par exemple du type théodolite ou encore dans un viseur à miroir à deux axes orientables. Des asservissements assurent la stabilisation de la ligne de visée en exploitant les informations d'un gyroscope ou de gyromètres solidaires de la caméra.
Une autre solution a trait aux caméras légères portables du type caméscope ou jumelle (intensifiée ou infrarouge) qui sont orientées et stabilisées manuellement par l'observateur mais restent soumises aux mouvements erratiques résiduels de ce dernier. Des solutions pour stabiliser la ligne de visée de la caméra sont mises en oeuvre en associant deux capteurs gyrométriques solidaires du boîtier de la caméra à un composant opto-mécanique déviateur du type prisme à angle variable ou lentille excentrée par des actionneurs inclus dans l'objectif de la caméra. On parle dans ces deux cas de stabilisation « a priori ». D'autres solutions font appel au traitement d'image pour recaler entre elles les images successives d'une séquence vidéo. On parle dans ce cas de stabilisation électronique « a posteriori ». Un exemple de stabilisation a posteriori est décrit dans le brevet FR 2 828 315 : on extrait des images acquises des images basse fréquence qui sont utilisées pour déterminer par une méthode de flot optique les translations et rotations à appliquer aux images pour les stabiliser. Les méthodes de stabilisation électronique « a posteriori » ne sont pas utilisables dans le cas d'images présentant une structure de fond uniforme ou une texture répétitive (ciel, forêt ou surface maritime par exemple).
Le but de l'invention est de pouvoir utiliser un procédé de stabilisation d'image bas-coût fonctionnant quel que soit le contenu de l'image (contrasté ou non, structuré ou non, ...). Le principe du procédé de stabilisation d'image selon l'invention est basé sur une combinaison de stabilisation a priori et de stabilisation a posteriori.
Il s'agit plus précisément d'utiliser les informations issues d'au moins un capteur gyrométrique solidaire de la caméra pour calculer des décalages approximatifs entre les images successives (stabilisation a priori) puis de calculer des décalages fins entre ces images par un traitement d'images (stabilisation a posteriori) qui utilise ces décalages approximatifs comme initialisation. La première stabilisation approximative est obtenue indépendamment du fond et du contraste des objets dans les images.
Cette première stabilisation est obtenue en déterminant l'attitude de la caméra.
Plus précisément, l'invention a pour objet un procédé de stabilisation des images d'une scène, acquises au moyen d'un dispositif d'observation d'un système d'imagerie, comportant une étape de traitement numérique d'un flux d'images successives. Il est principalement caractérisé en ce qu'il comporte une étape d'acquisition de mesures gyrométriques au moyen d'au moins un capteur gyrométrique solidaire du dispositif d'observation, d'utilisation de ces mesures gyrométriques pour déterminer des décalages dits approximatifs subis entre images successives, et en ce que l'étape de traitement d'image comprend une sous-étape d'utilisation des décalages approximatifs et du flux d'images acquises pour déterminer des décalages dits fins subis entre images successives. L'avantage de l'estimation de mouvement hybride est ainsi de permettre la stabilisation de la séquence d'images (du flux d'images) quelle que soit la scène.
De préférence, l'étape de traitement d'images comprend une sous-étape d'évaluation des décalages fins en vue de choisir entre les décalages approximatifs et les décalages fins, ceux qui sont à appliquer au flux d'images pour le stabiliser.
Selon une caractéristique de l'invention, l'étape de traitement d'images comprend une sous-étape de filtrage temporel des décalages.
Avantageusement, l'étape de détermination des décalages fins comprend les étapes consistant à : a- dézoomer les images successives k fois pour obtenir k flux d'images à résolution réduite, k étant un entier supérieur ou égal à 1 , b- calculer des décalages à partir du kième flux d'images à résolution réduite et des décalages approximatifs, c- tant que k est strictement supérieur à 1 , itérer le processus suivant : calculer des décalages à partir du (k-1) ième flux d'images à résolution réduite et des décalages précédents, k=k-1 , d- calculer les décalages fins à partir des décalages précédents et du flux d'images d'origine.
Les calculs de décalage sont obtenus par exemple par corrélation.
L'invention a aussi pour objet un dispositif de stabilisation des images d'une scène comportant un dispositif d'observation d'un système d'imagerie et un élément de traitement numérique d'images successives, caractérisé en ce qu'il comprend en outre au moins un capteur gyrométrique solidaire du dispositif d'observation et à l'élément de traitement d'images.
Selon une caractéristique de l'invention, l'élément de traitement d'images comprend un microprocesseur apte à mettre en œuvre des calculs de décalage entre images successives.
Selon une autre caractéristique de l'invention, il comprend un premier réseau logique programmable disposé entre le dispositif d'observation et le ou les capteurs gyrométriques d'une part et l'élément de traitement d'images d'autre part, ce réseau logique programmable étant apte à acquérir des mesures gyrométriques des capteurs et un flux d'images du dispositif d'observation et de préférence un autre réseau logique programmable disposé en sortie du microprocesseur et relié au dispositif d'observation et apte à appliquer les décalages fournis par le microprocesseur au flux d'images issues du premier réseau logique programmable.
Selon une variante de l'invention, ces réseaux logiques programmables sont regroupés en un seul réseau logique programmable.
Ces réseaux logiques programmables sont de préférence des FPGA. D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d'exemple non limitatif et en référence aux dessins annexés dans lesquels : m la figure 1 représente schématiquement un dispositif de stabilisation selon l'invention, a la figure 2 représente schématiquement les différentes étapes de l'estimation hybride du procédé selon l'invention, • la figure 3 représente schématiquement les différentes étapes du deuxième niveau de recalage de l'estimation hybride. D'une figure à l'autre, les mêmes éléments sont repérés par les mêmes références.
Un exemple de dispositif de stabilisation selon l'invention est représenté figure 1. II comprend une caméra vidéo 1 et deux capteurs gyrométriques 2 solidaires de la caméra. L'image de la caméra comportant des pixels répartis en lignes (axe x) et colonnes (axe y) ; il y a de préférence un capteur pour les lignes de pixels et un autre pour les colonnes. Ces capteurs sont typiquement des MEMS (acronyme de l'expression anglo-saxonne « Micro Electro Mechanical System ») réalisés sur silicium. Ils sont reliés à un FPGA 3 (acronyme de l'expression anglo-saxonne Field Programmable Gâte Array). On rappelle qu'un FPGA est un réseau prédiffusé de portes logiques programmable par l'utilisateur, utilisé pour une fonction particulière. Le FPGA délivre un flux d'images et un flux de mesures gyrométriques ; ces flux sont synchronisés de manière à ce que le décalage mesuré par les gyromètres soit rapporté à l'image correspondante.
Ces flux d'informations sont traités par un microprocesseur 4. Ce traitement des flux d'images et de mesures gyrométriques synchronisés consiste principalement en une estimation de mouvement dite hybride dont le but est de fournir une estimation des mouvements parasites entre images successives. Plus précisément, le microprocesseur 4 calcule les décalages à compenser pour recaler géométriquement les images les unes par rapport aux autres. La stabilisation a pour objet de corriger les mouvements involontaires de la caméra dans l'espace 3D. Une correction parfaite est réalisée par combinaison d'une rotation et de translations suivant les trois axes (x,y,z). Dans le cadre de la correction de mouvements de vibration de faibles amplitudes et de hautes fréquences, une correction en translation suivant les axes de l'image (axes x et y) est suffisante.
En sortie, le microprocesseur 4 fournit à un autre FPGA 5 les décalages calculés. Ce FPGA qui a pour fonction la transformation géométrique du flux d'images acquises, produit alors un flux d'images stabilisées. Selon une variante, on utilise un seul FPGA pour réaliser les fonctions des deux FPGA.
Les différentes étapes de l'estimation hybride réalisées par le microprocesseur 4 et illustrées figure 2 sont les suivantes.
- Estimation approximative des décalages par les capteurs gyrométriques. Le flux de mesures issu des capteurs gyrométriques possède une fréquence supérieure au flux de la caméra vidéo. Ce flux gyrométrique est filtré temporellement afin de réduire le bruit des capteurs bas-coûts, synchronisé par rapport à l'acquisition des images (i.e. un décalage suivant l'axe x et un décalage suivant l'axe y sont associés à chaque image) et les valeurs angulaires données par les gyromètres sont converties en nombre de pixels en fonction du champ de la caméra. On obtient un décalage dit approximatif c'est-à-dire avec une précision de l'ordre de 4 à 6 pixels pour un champ d'environ 4°, ou de 2 à 3 pixels pour un champ d'environ 8 ° ; il est destiné à être exploité par le deuxième niveau de recalage (recalage par traitement d'images).
- Estimation fine des décalages par traitement d'images : le deuxième niveau de recalage, le recalage fin (d'une précision inférieure à un pixel par exemple), est réalisé par traitement d'images par exemple par corrélation d'images successives deux à deux. Ce deuxième niveau utilise le premier niveau de recalage pour initialiser son estimation, cette initialisation permettant ainsi de gagner en temps de traitement et de fiabiliser la mesure en imposant la cohérence des deux estimations. Ce deuxième niveau de recalage est détaillé plus loin.
Cette estimation de décalages peut être vue comme un processus hiérarchique produisant une première estimation approximative par mesures gyrométriques qui est ensuite affinée par traitement d'images éventuellement plusieurs fois, selon des résolutions de plus en plus fines. Ce principe permet notamment de préserver une faible complexité de calcul pour le processus alors qu'une corrélation simple s'avérerait très coûteuse.
- Fusion des estimations de décalages : la troisième étape consiste en la fusion des deux niveaux précédents de décalage de sorte à combiner la précision de l'estimation par traitement d'image et la fiabilité de l'estimation gyrométrique. Le but est ici de fournir la meilleure estimation des mouvements en fonction du contexte : mouvements rapides ou lents, de forte ou faible amplitude, contenu de l'image contrasté ou non, structuré ou non, etc. Pour cela, le traitement de recalage fin intègre un procédé d'auto- évaluation détaillé plus loin et visant à estimer la fiabilité du traitement, par exemple par contrôle du niveau ou de la courbure locale d'un pic de corrélation. Suivant le résultat de cette auto-évaluation, l'un ou l'autre des niveaux de recalage est privilégié :
- si l'estimation par traitement d'images n'est pas suffisamment fiable pour cause d'image peu contrastée, de scène présentant une structure inadaptée comme des formes mono-directionnelles, de scène non structurée, de mouvements trop rapides et/ou de trop grandes amplitudes, alors le niveau de recalage approximatif est privilégié,
- si l'estimation par traitement d'images est fiable alors le niveau de recalage fin est privilégié.
La fiabilité est par exemple définie en fonction d'un seuil minimum sur le résultat de corrélation et d'un seuil minimum sur le gradient de corrélation. L'avantage de l'estimation de mouvement hybride est ainsi de permettre la stabilisation de la séquence d'images (du flux d'images) quelle que soit la scène.
- Filtrage des décalages : la dernière étape est le filtrage temporel des différents décalages mesurés dans le temps, dont le but est de séparer les différentes composantes du décalage pour éliminer les décalages qui sont provoqués par des mouvements involontaires et ne conserver que ceux qui résultent de déplacements volontaires de la ligne de visée comme un mouvement de déplacement panoramique par exemple. Les premiers correspondent aux déplacements de faibles amplitudes et de hautes fréquences temporelles alors que les seconds correspondent aux déplacements de grandes amplitudes et de basses fréquences temporelles. On va à présent décrire plus en détail l'étape du deuxième niveau de recalage (recalage fin) en relation avec la figure 3. Cette figure illustre un exemple de réalisation de l'estimation fine des décalages par traitement d'images basé sur le principe de la corrélation multi-résolution : L'image courante \t et l'image précédente IM sont tout d'abord dézoomées, c'est-à-dire subissent une étape de diminution de résolution d'un facteur N. Cette étape comprend pour chaque image It et IM deux étapes : un filtrage passe-bas de l'image, un sous-échantillonnage par lequel on ne conserve qu'un pixel sur
N pixels suivant les deux axes.
Nombre d'implémentations sont possibles pour réaliser un tel dézoom. Dans notre implémentation, on réalise un dézoom d'un facteur 2 par simple moyenne sur des blocs 2x2 soit :
- ~ (1W) + J(2i + !'2» + 1W A *2 J + !) + 1W + 1>2J + *>)
en notant :
I l'image pleine résolution (It ou lu)
I0 l'image dézoomée, (on notera I Dt l'image lt dézoomée et bu l'image lu dézoomée) i,j les indices de ligne et de colonne des pixels dans l'image. Les images dézoomées lot et IDM sont ensuite corrélées pour fournir une estimation de décalage dite sous-résolue.
On peut appliquer plusieurs méthodes pour réaliser la corrélation. On va à présent en décrire une.
La corrélation est très consommatrice de puissance de calcul.
C'est pourquoi en premier lieu, la corrélation n'est réalisée que sur une
« fenêtre » de taille réduite et centrée respectivement dans les images lDt et
Ion ; ces fenêtres correspondent généralement à une zone d'intérêt dans les images.
En second lieu, on désigne par corrélation toute fonction permettant de quantifier la similarité entre une image de référence bt et une image secondaire lDn. Pour notre implémentation, on a choisi d'utiliser une fonction de distance (i.e. fonction de dissimilarité) de type métrique de Minkowski, mais on peut en choisir une autre : 7C7D, » ^Dt-I ) = Σ Σ 7Dt (U J) - 7Dt-I (U j)
Figure imgf000010_0001
en notant : p l'ordre de la distance, lot et I Dt-i les deux images à comparer, i et j les indices de ligne et de colonne des pixels dans l'image, N le nombre de lignes de l'image et M le nombre de colonnes.
Dans Pimplémentation réalisée, on se limite à une métrique d'ordre 1 (p=1).
Le principe d'estimation de décalage entre deux images est le suivant.
La nappe de corrélation ou nappe de distance noté Nd est construite en déplaçant le support de corrélation de l'image de référence lot
(le support est une fenêtre dans la fenêtre de l'image de référence), sur un horizon de corrélation donné, relativement à l'image secondaire et en calculant, pour chaque position, la distance de Minkowski :
Ηd{u,v) {i,j) - SOιA {i + u,j + v)\
Figure imgf000010_0002
pour : - "v ≤ « ≤ ", βt - ** ≤ v ≤ jHr' en notant :
SDt et Son les supports centrés dans les fenêtres de référence et secondaire de tailles N x M, i et j les indices de ligne et de colonne dans le support, u et v les indices de ligne et de colonne dans la nappe de corrélation,
Hx et Hy les horizons de corrélation en x et en y.
Les indices u,v correspondant au minimum sur la nappe de distance donnent le décalage estimé entre l'image de référence lot et l'image secondaire I Dt- 1 -
Les horizons de corrélation Hx et Hy déterminent l'amplitude maximum des déplacements estimables par traitement d'image. Plus ces horizons sont faibles, plus le temps de calcul est réduit et plus l'estimation de mouvement est fiable car la probabilité de trouver un minimum local de la nappe de corrélation diminue (synonyme de mauvaise estimation), à la condition que les horizons choisis soient supérieurs aux déplacements réels. Avoir une idée a priori (estimation approximative) du décalage inter-image permet de pré-positionner le support de corrélation secondaire et donc de réduire la taille des horizons de recherche.
Le processus hiérarchique est le suivant :
Les gyromètres permettent d'obtenir un décalage approximatif avec une précision de l'ordre de 4 à 6 pixels en petit champ caméra, obtenue au terme d'une très faible complexité de calcul et beaucoup moins importante que celle d'une corrélation exhaustive.
Ensuite, la corrélation basse-résolution c'est-à-dire réalisée sur les images dézoomées (cf. Fig. 3), initialisée par l'estimation des gyromètres et utilisant des horizons de l'ordre de la précision des gyromètres, permet d'obtenir une précision de l'ordre de 2 pixels. Enfin, la corrélation haute-résolution réalisée sur les images lt et
It- 1 à la place de bt βt I DM , et en utilisant comme initialisation les décalages obtenus par l'estimation basse-résolution d'une précision de l'ordre de 2 pixels, permet d'obtenir une estimation de décalages fins c'est-à-dire d'une précision pixellaire. Ce processus peut être généralisé de la façon suivante. Ayant obtenu les décalages approximatifs, on réalise les étapes suivantes : a- dézoomer les images successives k fois pour obtenir k flux d'images à résolution réduite, k étant un entier supérieur ou égal à 1 , b- calculer des décalages à partir du kième flux d'images à résolution réduite et des décalages approximatifs, c- tant que k est strictement supérieur à 1 , itérer le processus suivant : calculer des décalages à partir du (k-1)ième flux d'images à résolution réduite et des décalages précédents, k=k-1 d- calculer les décalages fins à partir des décalages précédents et du flux d'images d'origine. « Dézoomer » signifie réduire la résolution. L'exemple de la figure 3 correspond à k=1. Le processus hiérarchique fonctionne donc par affinages successifs de l'estimation de mouvement, permettant gain en temps de calcul (la corrélation basse-résolution étant de complexité réduite par rapport à la corrélation haute-résolution) et gain en fiabilité.
Une dernière étape d'auto-évaluation de la qualité de corrélation permet de déterminer la fiabilité globale de ce processus, fiabilité utilisée lors de la fusion pour prendre la décision de l'utilisation ou non de cette estimation de mouvements par traitement d'images.
La fiabilité de l'estimation de mouvement par traitement d'images est estimée au travers de la qualification de la nappe corrélation. Il s'agit de valider que le pic de corrélation (maximum de corrélation ou minimum de distance Lp) est suffisamment marqué. Pour ce faire, on utilise simultanément des informations de : hauteur du pic, par exemple en analysant que la différence, en valeur absolue, entre la hauteur du pic de corrélation et la moyenne sur la nappe de corrélation est supérieure à un seuil, courbure sur le pic, par exemple en analysant pour chacune des directions x et y, que la différence en valeur absolue entre la hauteur du pic de corrélation et la moyenne de ses deux voisins immédiats est supérieure à un seuil.
Si un des deux critères précédents n'est pas satisfait, la corrélation est invalidée.

Claims

REVENDICATIONS
1. Procédé de stabilisation des images d'une scène, acquises au moyen d'un dispositif d'observation d'un système d'imagerie, comportant une étape de traitement numérique d'un flux d'images successives, caractérisé en ce qu'il comporte une étape d'acquisition de mesures gyrométriques au moyen d'au moins un capteur gyrométrique solidaire du dispositif d'observation, d'utilisation de ces mesures gyrométriques pour déterminer des décalages dits approximatifs subis entre images successives, et en ce que l'étape de traitement d'image comprend : i. une sous-étape d'utilisation des décalages approximatifs et du flux d'images acquises pour déterminer des décalages dits fins subis entre images successives et, ii. une sous-étape d'évaluation des décalages fins en vue de choisir entre les décalages approximatifs et les décalages fins, ceux qui sont à appliquer au flux d'images pour le stabiliser.
2. Procédé selon la revendication précédente, caractérisé en ce que l'étape de traitement d'images comprend une sous-étape de filtrage temporel des décalages.
3. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'étape de détermination des décalages fins comprend les étapes consistant à : a- dézoomer les images successives k fois pour obtenir k flux d'images à résolution réduite, k étant un entier supérieur ou égal à 1 , b- calculer des décalages à partir du kième flux d'images à résolution réduite et des décalages approximatifs, c- tant que k est strictement supérieur à 1 , itérer le processus suivant : i. calculer des décalages à partir du (k-1) ième flux d'images à résolution réduite et des décalages précédents, ii. k=k-1 , d- calculer les décalages fins à partir des décalages précédents et du flux d'images d'origine.
4. Procédé selon la revendication précédente, caractérisé en ce que k=1.
5. Procédé selon l'une des revendications précédentes, caractérisé en ce que les calculs de décalage sont obtenus par corrélation.
6. Dispositif de stabilisation des images d'une scène comportant un dispositif (1) d'observation d'un système d'imagerie, un élément (4) de traitement numérique d'images successives, caractérisé en ce qu'il comprend au moins un capteur gyrométrique (2) solidaire du dispositif d'observation et relié à l'élément (4) de traitement d'images, et en ce que l'élément (4) de traitement d'images comprend des moyens de mise en œuvre du procédé selon l'une des revendications 1 à 5.
7. Dispositif selon la revendication précédente, caractérisé en ce qu'il comprend un premier réseau logique programmable (3) disposé entre le dispositif d'observation (1) et le ou les capteurs gyrométriques (2) d'une part et l'élément (4) de traitement d'images d'autre part, ce réseau logique programmable (3) étant apte à acquérir des mesures gyrométriques des capteurs et un flux d'images du dispositif d'observation.
8. Dispositif selon la revendication précédente, caractérisé en ce qu'il comprend un autre réseau logique programmable (5) disposé en sortie de l'élément (4) de traitement d'images et relié au dispositif d'observation (1) et apte à appliquer les décalages fournis par l'élément de traitement d'images au flux d'images issues du premier réseau logique programmable.
9. Dispositif selon la revendication 6, caractérisé en ce qu'il comprend un réseau logique programmable relié au dispositif d'observation (1) et à l'élément (4) de traitement d'images et apte à acquérir des mesures gyrométriques des capteurs et un flux d'images du dispositif d'observation et à appliquer les décalages fournis par l'élément de traitement d'images audit flux d'images.
10. Dispositif selon l'une des revendications 7 à 9, caractérisé en ce que le réseau logique programmable est un FPGA.
PCT/EP2007/056294 2006-06-29 2007-06-25 Stabilisation hybride d'images pour caméra vidéo WO2008000711A2 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07765590A EP2033162A2 (fr) 2006-06-29 2007-06-25 Stabilisation hybride d'images pour caméra vidéo
US12/306,862 US8111294B2 (en) 2006-06-29 2007-06-25 Hybrid image stabilization method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0605885A FR2903200B1 (fr) 2006-06-29 2006-06-29 Stabilisation hybride d'images pour camera video
FR0605885 2006-06-29

Publications (2)

Publication Number Publication Date
WO2008000711A2 true WO2008000711A2 (fr) 2008-01-03
WO2008000711A3 WO2008000711A3 (fr) 2008-07-03

Family

ID=37667204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/056294 WO2008000711A2 (fr) 2006-06-29 2007-06-25 Stabilisation hybride d'images pour caméra vidéo

Country Status (4)

Country Link
US (1) US8111294B2 (fr)
EP (1) EP2033162A2 (fr)
FR (1) FR2903200B1 (fr)
WO (1) WO2008000711A2 (fr)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2446713A (en) * 2007-02-12 2008-08-20 Honeywell Int Inc Image feature motion estimation based in part on inertial measurement data
EP2214403A1 (fr) * 2007-12-03 2010-08-04 Panasonic Corporation Dispositif de traitement d'image, dispositif de photographie, dispositif de reproduction, circuit intégré, et procédé de traitement d'image
WO2011123163A1 (fr) * 2010-03-31 2011-10-06 Motorola Solutions, Inc. Système et procédé de stabilisation vidéo durant un mouvement
FR2958486A1 (fr) * 2010-03-30 2011-10-07 Sagem Defense Securite Stabilisation d'images captees
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8238612B2 (en) 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
KR101253870B1 (ko) * 2008-06-02 2013-04-16 해리스 코포레이션 적응적 상관

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007002230A1 (de) * 2007-01-10 2008-07-17 Benecke-Kaliko Ag Thermoplastische Folie
US8312551B2 (en) 2007-02-15 2012-11-13 Harris Corporation Low level sequence as an anti-tamper Mechanism
US7921145B2 (en) * 2007-05-22 2011-04-05 Harris Corporation Extending a repetition period of a random sequence
US8611530B2 (en) 2007-05-22 2013-12-17 Harris Corporation Encryption via induced unweighted errors
US7995757B2 (en) * 2007-05-31 2011-08-09 Harris Corporation Closed galois field combination
US7970809B2 (en) * 2007-06-07 2011-06-28 Harris Corporation Mixed radix conversion with a priori defined statistical artifacts
US7962540B2 (en) * 2007-06-07 2011-06-14 Harris Corporation Mixed radix number generator with chosen statistical artifacts
US7974413B2 (en) 2007-06-07 2011-07-05 Harris Corporation Spread spectrum communications system and method utilizing chaotic sequence
US8005221B2 (en) * 2007-08-01 2011-08-23 Harris Corporation Chaotic spread spectrum communications system receiver
US7995749B2 (en) * 2007-10-30 2011-08-09 Harris Corporation Cryptographic system configured for extending a repetition period of a random sequence
US8180055B2 (en) 2008-02-05 2012-05-15 Harris Corporation Cryptographic system incorporating a digitally generated chaotic numerical sequence
US8363830B2 (en) * 2008-02-07 2013-01-29 Harris Corporation Cryptographic system configured to perform a mixed radix conversion with a priori defined statistical artifacts
FR2928462B1 (fr) * 2008-03-04 2010-06-11 Thales Sa Dispositif optique mixte d'imagerie multi-focale et de calibration ir
US8040937B2 (en) 2008-03-26 2011-10-18 Harris Corporation Selective noise cancellation of a spread spectrum signal
US8139764B2 (en) 2008-05-06 2012-03-20 Harris Corporation Closed galois field cryptographic system
US8320557B2 (en) * 2008-05-08 2012-11-27 Harris Corporation Cryptographic system including a mixed radix number generator with chosen statistical artifacts
US8145692B2 (en) 2008-05-29 2012-03-27 Harris Corporation Digital generation of an accelerated or decelerated chaotic numerical sequence
US8068571B2 (en) 2008-06-12 2011-11-29 Harris Corporation Featureless coherent chaotic amplitude modulation
US8325702B2 (en) 2008-08-29 2012-12-04 Harris Corporation Multi-tier ad-hoc network in which at least two types of non-interfering waveforms are communicated during a timeslot
US8165065B2 (en) 2008-10-09 2012-04-24 Harris Corporation Ad-hoc network acquisition using chaotic sequence spread waveform
US8406276B2 (en) 2008-12-29 2013-03-26 Harris Corporation Communications system employing orthogonal chaotic spreading codes
US8351484B2 (en) 2008-12-29 2013-01-08 Harris Corporation Communications system employing chaotic spreading codes with static offsets
US8457077B2 (en) 2009-03-03 2013-06-04 Harris Corporation Communications system employing orthogonal chaotic spreading codes
US8428102B2 (en) 2009-06-08 2013-04-23 Harris Corporation Continuous time chaos dithering
US8509284B2 (en) 2009-06-08 2013-08-13 Harris Corporation Symbol duration dithering for secured chaotic communications
US8428103B2 (en) 2009-06-10 2013-04-23 Harris Corporation Discrete time chaos dithering
US8363700B2 (en) 2009-07-01 2013-01-29 Harris Corporation Rake receiver for spread spectrum chaotic communications systems
US8385385B2 (en) * 2009-07-01 2013-02-26 Harris Corporation Permission-based secure multiple access communication systems
US8379689B2 (en) 2009-07-01 2013-02-19 Harris Corporation Anti-jam communications having selectively variable peak-to-average power ratio including a chaotic constant amplitude zero autocorrelation waveform
US8340295B2 (en) 2009-07-01 2012-12-25 Harris Corporation High-speed cryptographic system using chaotic sequences
US8406352B2 (en) * 2009-07-01 2013-03-26 Harris Corporation Symbol estimation for chaotic spread spectrum signal
US8369376B2 (en) 2009-07-01 2013-02-05 Harris Corporation Bit error rate reduction in chaotic communications
US8428104B2 (en) 2009-07-01 2013-04-23 Harris Corporation Permission-based multiple access communications systems
US8369377B2 (en) * 2009-07-22 2013-02-05 Harris Corporation Adaptive link communications using adaptive chaotic spread waveform
US8848909B2 (en) 2009-07-22 2014-09-30 Harris Corporation Permission-based TDMA chaotic communication systems
US8345725B2 (en) 2010-03-11 2013-01-01 Harris Corporation Hidden Markov Model detection for spread spectrum waveforms
GB2481027A (en) * 2010-06-08 2011-12-14 Dreampact Ltd Image stabilising apparatus and method
US8531504B2 (en) * 2010-06-11 2013-09-10 Intel Corporation System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
IL233684B (en) 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
EP3109771A1 (fr) * 2015-06-22 2016-12-28 Deutsche Telekom AG Procédé, système distribué et dispositif permettant de quantifier efficacement une similarité de grands ensembles de données
US10084962B2 (en) 2015-11-16 2018-09-25 Google Llc Spherical video stabilization based on accelerometer data
US10506163B2 (en) * 2016-06-10 2019-12-10 Invensense, Inc. Systems and methods for synchronizing sensor data
US10587816B1 (en) 2019-01-04 2020-03-10 Gopro, Inc. High dynamic range processing based on angular rate measurements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0948197A2 (fr) * 1998-04-03 1999-10-06 Zeiss Optronik GmbH Dispositif et procédé pour la stabilisation d'image numérique
WO2001004055A2 (fr) * 1999-07-14 2001-01-18 Sarnoff Corporation Procede et appareil d'estimation par correlation d'une structure scenique et du mouvement de l'observateur a partir des images d'une scene
GB2407226A (en) * 2003-10-18 2005-04-20 Hewlett Packard Development Co Preserving intentional movement information while correcting for unintentional movement of an imaging device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3734829B2 (ja) * 1993-06-04 2006-01-11 サーノフ・コーポレーション 電子画像安定化システム及び方法
FR2751797B1 (fr) * 1996-07-23 1999-02-05 Thomson Csf Dispositif de mesure d'alignement d'une chaine d'amplification laser
FR2759208B1 (fr) * 1997-01-31 1999-05-07 Thomson Csf Dispositif de controle du pointage et de la focalisation des chaines laser sur une cible
FR2828315B1 (fr) * 2001-07-31 2005-08-05 Sagem Stabilisation des images d'une scene, correction des offsets de niveaux de gris, detection d'objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US7756407B2 (en) * 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
JP4689687B2 (ja) * 2008-01-29 2011-05-25 株式会社モルフォ 撮像方法および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0948197A2 (fr) * 1998-04-03 1999-10-06 Zeiss Optronik GmbH Dispositif et procédé pour la stabilisation d'image numérique
WO2001004055A2 (fr) * 1999-07-14 2001-01-18 Sarnoff Corporation Procede et appareil d'estimation par correlation d'une structure scenique et du mouvement de l'observateur a partir des images d'une scene
GB2407226A (en) * 2003-10-18 2005-04-20 Hewlett Packard Development Co Preserving intentional movement information while correcting for unintentional movement of an imaging device

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIAS J ET AL: "Vision and inertial sensor cooperation using gravity as a vertical reference" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE, NEW YORK, NY, US, vol. 25, no. 12, décembre 2003 (2003-12), pages 1597-1608, XP011103927 ISSN: 0162-8828 *
NUNO-MAGANDA M A ET AL: "Three video applications using an FPGA based pyramid implementation: tracking, mosaics and stabilization" FIELD-PROGRAMMABLE TECHNOLOGY (FPT), 2003. PROCEEDINGS. 2003 IEEE INTERNATIONAL CONFERENCE ON 15-17 DEC. 2003, PISCATAWAY, NJ, USA,IEEE, 15 décembre 2003 (2003-12-15), pages 336-339, XP010688359 ISBN: 0-7803-8320-6 *
VIEVILLE T ET AL: "Autonomous navigation of a mobile robot using inertial and visual cues" INTELLIGENT ROBOTS AND SYSTEMS '93, IROS '93. PROCEEDINGS OF THE 1993 IEIEE/RSJ INTERNATIONAL CONFERENCE ON YOKOHAMA, JAPAN 26-30 JULY 1993, NEW YORK, NY, USA,IEEE, US, vol. 1, 26 juillet 1993 (1993-07-26), pages 360-367, XP010219090 ISBN: 0-7803-0823-9 *
VIEVILLE T ET AL: "Computation of ego-motion and structure from visual and inertial sensors using the vertical cue" COMPUTER VISION, 1993. PROCEEDINGS., FOURTH INTERNATIONAL CONFERENCE ON BERLIN, GERMANY 11-14 MAY 1993, LOS ALAMITOS, CA, USA,IEEE COMPUTER SOCI, 11 mai 1993 (1993-05-11), pages 591-598, XP010128566 ISBN: 0-8186-3870-2 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2446713A (en) * 2007-02-12 2008-08-20 Honeywell Int Inc Image feature motion estimation based in part on inertial measurement data
EP2214403A1 (fr) * 2007-12-03 2010-08-04 Panasonic Corporation Dispositif de traitement d'image, dispositif de photographie, dispositif de reproduction, circuit intégré, et procédé de traitement d'image
EP2214403A4 (fr) * 2007-12-03 2011-02-09 Panasonic Corp Dispositif de traitement d'image, dispositif de photographie, dispositif de reproduction, circuit intégré, et procédé de traitement d'image
US8350916B2 (en) 2007-12-03 2013-01-08 Panasonic Corporation Image processing device, photographing device, reproducing device, integrated circuit, and image processing method
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8238612B2 (en) 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
KR101253870B1 (ko) * 2008-06-02 2013-04-16 해리스 코포레이션 적응적 상관
FR2958486A1 (fr) * 2010-03-30 2011-10-07 Sagem Defense Securite Stabilisation d'images captees
EP2375724A1 (fr) 2010-03-30 2011-10-12 Sagem Defense Securite Stabilisation d'images captées
US8400517B2 (en) 2010-03-30 2013-03-19 Sagem Defense Securite Stabilization of captured images
WO2011123163A1 (fr) * 2010-03-31 2011-10-06 Motorola Solutions, Inc. Système et procédé de stabilisation vidéo durant un mouvement

Also Published As

Publication number Publication date
WO2008000711A3 (fr) 2008-07-03
EP2033162A2 (fr) 2009-03-11
FR2903200A1 (fr) 2008-01-04
US20090309984A1 (en) 2009-12-17
FR2903200B1 (fr) 2008-12-19
US8111294B2 (en) 2012-02-07

Similar Documents

Publication Publication Date Title
EP2033162A2 (fr) Stabilisation hybride d'images pour caméra vidéo
EP1843295B1 (fr) Procédé de restitution de mouvements de la ligne de visée d'un instrument optique
EP1298592B1 (fr) Stabilisation des images d'une scène, correction des offsets de niveaux de gris, détection d'objets mobiles et harmonisation de deux appareils de prise de vues fondés sur la stabilisation des images
FR2961601A1 (fr) Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
WO2016116511A1 (fr) Senseur stellaire diurne et nocturne à polarisateur actif
FR2991785A1 (fr) Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite
EP2428934A1 (fr) Procédé d'estimation du mouvement d'un porteur par rapport à un environnement et dispositif de calcul pour système de navigation
WO2014173939A1 (fr) Recalage d'images sar par information mutuelle
EP2405399B1 (fr) Méthode de calibration de l'orientation d'une caméra vidéo embarquée
WO2011061123A1 (fr) Procede d'estimation du mouvement d'un instrument d'observation à defilement survolant un corps celeste
EP3227860A1 (fr) Procédé d'estimation du mouvement d'un porteur par rapport à un environnement et dispositif de calcul pour système de navigation
EP3839600B1 (fr) Procede d'estimation precis avec une disponibilite totale de la ligne de visee d'un telescope embarque a bord d'un satellite d'observation de la terre
EP0608945B1 (fr) Viseur d'étoile à matrice de DTC, procédé de détection, et application au recalage d'un engin spatial
EP3072110B1 (fr) Procédé d'estimation du mouvement d'un objet
FR2981149A1 (fr) Aeronef comprenant un senseur optique diurne et nocturne, et procede de mesure d'attitude associe
EP3655725A1 (fr) Procédé d'estimation du mouvement d'un objet évoluant dans un environnement et un champ magnétique
WO2024033583A1 (fr) Procédé et dispositif de traitement d'une séquence d'images pour la détermination de vignettes poursuivies dans ladite séquence d'images
FR2997258A1 (fr) Systeme de detection et de mesure comprenant un senseur optique, et procedes de detection et de mesure associe
EP3899867A1 (fr) Dispositif et procédé d'estimation de mouvement d'un capteur d'images entre deux images, programme d'ordinateur associé
FR3114660A1 (fr) Asservissement adaptatif d’un viseur optronique
FR2828314A1 (fr) Procede de stabilisation electronique des images d'une scene d'un appareil de prise de vues d'un systeme d'imagerie et procede d'harmonisation electronique de deux appareils de prise de vues de deux systemes d'imagerie
FR2737071A1 (fr) Procede et dispositif de selection de prises de vues effectuees par une camera video mobile
FR2968778A1 (fr) Instrument de prise de vue a pointage autonome et satellite d'observation comportant un tel instrument

Legal Events

Date Code Title Description
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007765590

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12306862

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU