WO2025008599A1 - Procede et dispositif de suivi de satellites dans une sequence d'images - Google Patents

Procede et dispositif de suivi de satellites dans une sequence d'images Download PDF

Info

Publication number
WO2025008599A1
WO2025008599A1 PCT/FR2024/050918 FR2024050918W WO2025008599A1 WO 2025008599 A1 WO2025008599 A1 WO 2025008599A1 FR 2024050918 W FR2024050918 W FR 2024050918W WO 2025008599 A1 WO2025008599 A1 WO 2025008599A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurements
trajectories
satellite
sequence
trj
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2024/050918
Other languages
English (en)
Inventor
Gaëtan EYHERAMONO
Valentin LEMIESZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ArianeGroup SAS
Original Assignee
ArianeGroup SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ArianeGroup SAS filed Critical ArianeGroup SAS
Priority to AU2024291267A priority Critical patent/AU2024291267A1/en
Priority to EP24745480.4A priority patent/EP4740187A1/fr
Publication of WO2025008599A1 publication Critical patent/WO2025008599A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to the fields of image analysis and object tracking.
  • the present invention relates to a method and device for tracking satellites in an image sequence, as well as an associated monitoring system, computer program and information medium.
  • the present invention finds a particularly advantageous, although in no way limiting, application for the implementation of space monitoring systems.
  • the invention falls within the particular context of outer space surveillance systems. Such systems aim to locate satellites in orbit and provide their respective trajectories. To this end, these systems use optical sensors to capture images of satellites orbiting the Earth. However, these images include satellites, stars, and noise (e.g. hot pixels).
  • the present invention aims to remedy all or part of the drawbacks of the prior art, in particular those set out above.
  • a method for tracking satellites in a sequence of images comprising: a step of obtaining a set of measurements associated with spatial objects observed in the images of the sequence, each measurement comprising a position of an object in an image and a temporal index of the image; a step of detecting satellite trajectories in the sequence of images, by a detector comprising at least one neural network and using all or part of the set of measurements obtained; and a step of classifying the detected satellite trajectories, by a classifier comprising at least one other neural network.
  • the present invention makes it possible to extract the respective trajectories of the satellites observed in the image sequence.
  • the present invention makes it possible to associate the measurements belonging to the same satellite to describe its trajectory in the image sequence. It is important to note that the present invention makes it possible not only to track satellites in geostationary orbit, but also satellites in medium or low Earth orbit.
  • the present invention allows for classifying the detected trajectories.
  • the class assigned to each satellite trajectory may indicate the type of orbit of the satellite.
  • the list of assignable classes may include: fixed geostationary trajectory; drifting geostationary trajectory; scrolling type trajectory (i.e. satellite in medium or low Earth orbit moving at high speed); and trailing type trajectory (i.e. satellite in low Earth orbit moving at very high speed).
  • the present invention makes it possible to improve the reliability of tracking observed satellites within an image sequence. It also has reduced implementation complexity (i.e. reduced execution times, less configuration).
  • the present invention does not require a priori knowledge of the orbits to track satellites in an image sequence.
  • the use of one or more neural networks to implement the detector makes it possible to obtain reliable detection of the trajectories, in terms of correctly detected trajectories.
  • the neural network(s) are trained automatically from training data (i.e. reference image sequences) to optimize the reliability of detection of the satellite trajectories. This makes it possible in particular to obtain significantly improved performance compared to analytical solutions.
  • the use of one or more neural networks Multiple neural networks can significantly reduce the computing resources required, particularly in terms of execution time.
  • the classifier comprising one or more neural networks, which makes it possible to improve the reliability of classification of the trajectories (i.e. correctly identified trajectories). This also makes it possible to reduce the necessary computing resources (i.e. execution time).
  • the joint use of one or more neural networks to detect the satellite trajectories, and of one or more other neural networks to classify these trajectories makes it possible to obtain reliable tracking of the satellites observed in the image sequence.
  • the present invention makes it possible to track satellites in an image sequence reliably and with minimal implementation complexity.
  • the detector comprises at least one convolutional neural network, and determines frames each encompassing (surrounding) a satellite trajectory in the images of the sequence.
  • the classifier comprises at least one classification (i.e. segmentation) neural network, in particular at least one PointNet type neural network. And, for each frame encompassing a satellite trajectory, the classifier determines (i.e. associates) the measurements located in the frame belonging to this trajectory, and assigns a class to this trajectory.
  • convolutional neural network we refer here to a neural network comprising one or more convolution layers.
  • PointNet neural network we refer to a neural network dedicated to processing point clouds, and in particular to classification and segmentation applications. PointNet networks and their implementation are for example described in the following document: Qi et al., “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, 2017.
  • This implementation method proposes to use one or more convolutional neural networks to detect satellite trajectories, and to use one or more PointNet type neural networks to classify (segment) these trajectories.
  • the convolutional neural network(s) enable the detector to exploit the spatiotemporal characteristics of the image sequence to detect the satellite trajectories. More specifically, it exploits the spatiotemporal characteristics of the image sequence to determine bounding boxes (i.e., "bounding boxes") for the satellite trajectories.
  • bounding boxes i.e., "bounding boxes"
  • PointNet neural networks to implement the classifier is particularly advantageous.
  • the PointNet network is optimized to classify and segment point clouds.
  • the PointNet network processes separately each of the frames encompassing the satellite trajectories. For each frame encompassing a trajectory, it takes as input all the measurements located inside the bounding box in the image sequence.
  • these PointNet type networks make it possible to reliably separate the measurements belonging to the trajectory from those not belonging to the trajectory, and to assign a class to this trajectory.
  • this mode of implementation makes it possible to reliably extract the respective trajectories of the different satellites observed in the sequence of images and to classify them.
  • the detector comprises at least one Transformer-type neural network, and associates the measurements belonging to the same satellite trajectory in the images of the sequence.
  • the classifier comprises at least one classification network and assigns a class to each of the satellite trajectories.
  • Transformer type networks are optimized to process sequential data and make it possible to exploit the temporal characteristics of the input data.
  • the use of a Transformer type network allows the detector to exploit the temporal characteristics of the set of measurements to extract the respective trajectories of the satellites observed in the image sequence.
  • This mode of implementation is particularly advantageous in that it makes it possible to improve the reliability of the tracking of the satellites observed in a sequence of images.
  • the use of a Transformer type network makes it possible to reduce the computing resources (i.e. the execution time) necessary for the implementation of the proposed solution.
  • the detector determines latent vectors representative of said measurements using said at least one Transformer-type neural network; and the detector associates measurements with the same satellite trajectory as a function of distances between the latent vectors.
  • This implementation mode proposes to use the Transformer network type network to represent in a latent space the measurements associated with the spatial objects observed in the image sequence. For each of the measurements provided as input, the Transformer neural network determines a latent vector.
  • the Transformer-type neural network makes it possible to learn, on the basis of training data, a latent space in which the measurements belonging to the same trajectory are close. This network thus makes it possible to represent the measurements in a latent space so as to minimize the distance between the latent vectors of measurements belonging to the same trajectory. trajectory, and to maximize the distances between the latent vectors of measurements belonging to different trajectories.
  • This mode of implementation therefore makes it possible, by using the distances between the latent vectors, to reliably associate (i.e. to group) the measurements belonging to the same trajectory.
  • the detector comprises a plurality of neural networks respectively dedicated to the detection of satellite trajectories of different speeds; and/or the classifier comprises a plurality of neural networks respectively dedicated to the classification of satellite trajectories of different speeds.
  • This implementation mode makes it possible to adapt the detection and/or classification of trajectories according to different types of trajectories (e.g. fixed or drifting geostationary orbits, medium and low Earth orbits). This advantageously makes it possible to improve the reliability of the proposed solution.
  • trajectories e.g. fixed or drifting geostationary orbits, medium and low Earth orbits. This advantageously makes it possible to improve the reliability of the proposed solution.
  • the method comprises a step of filtering the set of measurements to eliminate the measurements associated with (i.e. originating from) the stars, and in which the detector only uses the filtered set of measurements to carry out the step of detecting satellite trajectories in the sequence of images.
  • This implementation mode makes it possible to eliminate the stars present in the image sequence.
  • the stars are in large number compared to the satellites in an image sequence, which can interfere with the detection of satellite trajectories.
  • this implementation mode contributes to improving the reliability of the proposed solution for tracking satellites in an image sequence.
  • the proposed solution for eliminating the measurements corresponding to stars does not require a priori knowledge of their positions.
  • the step of filtering the set of measurements to eliminate the measurements associated with stars comprises: a determination of star displacement information from measurements whose brightness is greater than a threshold in the images of the sequence; and a step of eliminating (i.e. deleting) the measurements considered to be associated with stars from the determined displacement information.
  • This mode of implementation is advantageous in that it allows stars to be reliably eliminated in the images of the sequence.
  • the inventors have observed that the majority of the brightest measurements in an image sequence are stars. Also, it is proposed here to exploit the brightest measurements to determine the star displacement information (eg speed of movement of the stars per image, or rotation angle of the stars per image). Then, these displacement information is used to determine which measurements correspond to stars, and eliminate these.
  • star displacement information eg speed of movement of the stars per image, or rotation angle of the stars per image.
  • the method comprises: one or more steps of merging (i.e. combining) the satellite trajectories to group together the measurements associated with several detected satellite trajectories and belonging to the same satellite; and/or a step of filtering the satellite trajectories so that a said satellite trajectory comprises only one measurement per image of the sequence.
  • This implementation mode proposes to carry out different post-processing steps on the satellite trajectories detected by the proposed solution. It thus contributes to improving the reliability of the proposed satellite tracking solution.
  • a device for tracking satellites in a sequence of images comprising: an obtaining module configured to obtain a set of measurements associated with spatial objects observed in the images of the sequence, each measurement comprising a position of an object in an image and a temporal index of the image; a detector configured to detect satellite trajectories in the sequence of images, the detector comprising at least one neural network and using all or part of the set of measurements obtained; and a classifier configured to classify the detected satellite trajectories, the classifier comprising at least one other neural network.
  • the satellite tracking device may be configured to carry out any of the modes of implementation of a method according to the invention.
  • the device may comprise a module configured to implement this step.
  • module can correspond to both a software component and a hardware component or a set of hardware and software components.
  • a software component corresponds to one or more computer programs or subprograms, or more generally to any element of a program capable of implementing a function or a set of functions as described for the modules concerned.
  • a hardware component corresponds to any element of a hardware assembly capable of implementing a function or a set of functions for the module concerned.
  • a surveillance system comprising: a satellite tracking device according to the invention; and a device for acquiring a sequence of images.
  • a computer program comprising instructions for implementing the steps of a method according to the invention, when the computer program is executed by at least one processor or one computer.
  • the computer program may be formed of one or more subparts stored in the same memory or in separate memories.
  • the program may use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • a computer-readable information medium comprising a computer program according to the invention.
  • the information carrier may be any entity or device capable of storing the program.
  • the carrier may comprise a storage means, such as a non-volatile memory or ROM, for example a CD-ROM or a microelectronic circuit ROM, or a magnetic recording means, for example a floppy disk or a hard disk.
  • the storage medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by a telecommunications network or by a computer network or by other means.
  • the program according to the invention may in particular be downloaded onto a computer network.
  • the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the proposed satellite tracking device, monitoring system, computer program and information medium have the advantages described above in connection with the proposed satellite tracking method.
  • Figure 1 represents an exemplary architecture of a monitoring system according to an embodiment of the invention
  • Figure 2 represents an example of architecture of a satellite tracking device in a sequence of images according to an embodiment of the invention
  • Figure 3 represents steps of a method for tracking satellites in a sequence of images according to one embodiment of the invention
  • Figure 4 shows steps of a method according to one embodiment of the invention for eliminating stars in a sequence of images
  • Figure 5 represents an example of architecture of a satellite tracking device in a sequence of images according to an embodiment of the invention
  • Figure 6 shows examples of images processed by a satellite tracking device according to one embodiment of the invention.
  • Figure 7 shows an example of architecture of a satellite tracking device in an image sequence according to an embodiment of the invention.
  • Figure 8 represents steps of a method according to an embodiment of the invention for performing post-processing operations on satellite trajectories.
  • the present invention applies, in particular, to space surveillance systems.
  • the following description of the invention will refer to this particular context of application, which is given only as an illustrative example and should not limit the invention.
  • Figure 1 represents an exemplary architecture of a monitoring system according to an embodiment of the invention. This figure is described below to introduce the present invention and to exemplify an application context.
  • the monitoring system SYS comprises at least one acquisition device SENS and a satellite tracking device APP.
  • the system SYS may also comprise a restitution and/or storage device OUT.
  • SYS system comprising a single SENS acquisition device.
  • the SYS system comprises a plurality of SENS acquisition devices, located at different locations on Earth and/or of different types.
  • the SENS device is configured to acquire (ie capture) a sequence of images IMG_SEQ.
  • This SENS device comprises one or more optical sensors, such as a camera, or an infrared sensor. As illustrated in FIG. 1, the SENS device is configured to provide the sequence of images IMG_SEQ to the APP device.
  • the image sequence IMG_SEQ comprises a plurality of consecutive images covering a portion of the sky. Each image of the sequence IMG_SEQ is associated with an acquisition time. Typically, within the images of the sequence IMG_SEQ, there are both satellites orbiting the Earth, stars (in large numbers compared to the satellites), and measurements from noise (eg hot pixels).
  • the satellites observed in the image sequence IMG_SEQ may include fixed geostationary satellites, drifting geostationary satellites, and moving satellites.
  • the observed satellites may have geostationary orbits GEO (acronym for “Geosynchronous Earth Orbit” in English), medium Earth orbits MEO (acronym for “Medium Earth Orbit” in English), or low Earth orbits LEO (acronym for “Low Earth Orbit” in English).
  • the APP device is configured to track the satellites observed in the image sequence IMG_SEQ. In other words, it is configured to determine the respective TRJ trajectories of the different satellites present in the image sequence IMG_SEQ.
  • a "satellite trajectory” is defined by a set of measurements associated with the satellite, each of these measurements comprising a position of the satellite (eg x and y coordinates of the satellite in the image), and a time index (eg index of the image in the sequence, or instant of acquisition of the image).
  • the APP device is configured to provide the TRJ satellite trajectories to the OUT device.
  • the OUT device may be a rendering device comprising a screen for displaying the TRJ satellite trajectories.
  • the OUT device could be a storage device used to record the TRJ satellite trajectories.
  • the APP device comprises, according to the embodiment illustrated by FIG. 1: at least one processing unit or processor PROC; and at least one memory MEM.
  • the APP device has, according to one embodiment, the hardware architecture of a computer.
  • the memory MEM constitutes an information medium in accordance with the invention, that is to say readable by the processor PROC and on which a computer program PROG in accordance with the invention is recorded.
  • the program PROG comprises instructions for carrying out steps of a satellite tracking method in accordance with the invention, when the program PROG is executed by the processor PROC.
  • the program PROG defines in particular the functional modules of the APP device represented in FIG. 2, which rely on or control the hardware elements of the latter.
  • the APP device has a communication module COM configured to communicate with the acquisition device SENS and/or the OUT device. No limitation is attached to the nature of the communication interfaces between these devices, which may be wired or wireless, and may implement any protocol known to those skilled in the art.
  • Figure 2 and Figure 3 respectively represent an example of architecture of a satellite tracking device and steps of a satellite tracking method according to an embodiment of the invention. These figures present the operation of the APP device introduced with reference to Figure 1.
  • the proposed method comprises all or part of the steps S100 to S600 described below, these being implemented by the device APP.
  • the proposed method may comprise a plurality of iterations of each of its steps.
  • the steps of the method may be reiterated at a given frequency, for example every night, or every week.
  • step S100 the obtaining module OBT of the APP device obtains the image sequence IMG_SEQ. From this, it obtains a set of measurements Si N associated with the spatial objects observed in the images of the sequence IMG_SEQ.
  • the APP device receives the image sequence IMG_SEQ from the acquisition device SENS, via its communication module COM.
  • the monitoring device APP could also read the image sequence IMG_SEQ on a memory shared with the acquisition device SENS.
  • the APP device processes the image sequence IMG_SEQ to obtain the set of measurements Si N associated with the different spatial objects observed in the sequence IMG_SEQ.
  • the APP device can use any known technique for detecting points in images. For example, it can use a high-pass filter, or a neural network.
  • the filtered set of measurements S F LT does not include the measurements considered as corresponding to stars.
  • step S200 we describe in more detail the implementation of step S200 with reference to FIG. 4.
  • step S300 the DET detector of the APP device detects, from the filtered measurement set SFLT, the satellite trajectories TRJ in the image sequence IMG_SEQ.
  • the DET detector comprises (i.e. implements) at least one artificial neural network.
  • step S400 the CLA classifier of the APP device classifies the detected satellite trajectories TRJ.
  • the CLA classifier comprises (i.e. implements) at least one artificial neural network.
  • the APP device obtains satellite trajectories TRJ.
  • the APP device assigns a class C m to this trajectory T m .
  • the classes assigned to the trajectories by the APP device indicate the types of trajectories (i.e. orbits) of the satellites.
  • the list of assignable classes may include: fixed geostationary trajectory; drifting geostationary trajectory; scrolling type trajectory (i.e. satellite in medium or low Earth orbit moving at high speed); and trailing type trajectory (i.e. satellite in low Earth orbit moving at very high speed); and noise.
  • steps S300 and S400 are described in more detail with reference to FIGS. 5 and 7. More specifically, FIG. 5 illustrates a first embodiment of steps S300 and S400, while FIG. 7 illustrates a second embodiment of these steps.
  • step S500 the processing module PP of the device APP performs (analytical) operations called post-processing of the detected satellite trajectories TRJ.
  • step S500 makes it possible in particular to improve the results of the proposed solution for tracking satellites in a sequence of images IMG_SEQ.
  • step S500 is detailed below with reference to FIG. 8.
  • step S600 the device APP provides the satellite trajectories TRJ to the device OUT, via its communication module COM.
  • each of the satellite trajectories TRJ provided by the APP device comprises: a set of measurements T m describing the positions of a satellite in the images of the sequence IMG_SEQ; and a class C m indicating the type of trajectory of the satellite.
  • the OUT device can for example display the trajectories of satellites TRJ on a screen.
  • this OUT device can be used to store the trajectories of satellites TRJ.
  • These TRJ trajectories can be further analyzed by a separate device to catalog the orbits of the observed satellites.
  • Figure 4 shows steps of a method according to an embodiment of the invention for eliminating stars in a sequence of images. This figure details the implementation of the filtering step S200 for eliminating the measurements associated with stars.
  • step S200 comprises all or part of steps S210 to S240 described below and implemented by the FLT filter of the APP device.
  • step S210 the APP device selects, from the set of measurements Si N , the measurements whose brightness is greater than a threshold in the images of the sequence IMG_SEQ.
  • the APP device selects the brightest points in the images of the sequence IMG_SEQ.
  • step S220 the APP device determines the star displacement information from selected measurements.
  • the APP device determines whether the trajectories of the stars are substantially rectilinear in the image sequence IMG_SEQ, or whether they are substantially circular. To do this, it can determine whether the normals of the trajectories of the stars intersect near an observation center (i.e. whether the intersection of these normals is close to the observation center).
  • the APP device determines the average speed of the stars per image. In other words, it determines the displacement vector of the stars from one image to the next (e.g. -5.1 pixels/image along the axis, and -1.2 pixels/image along the y axis). To determine this displacement vector, the APP device calculates the average of the distances between each of the measurements and its closest neighbor in the following image.
  • the APP device determines the center of rotation of the stars (i.e. the intersection of the normals), as well as the rotation angle of the stars from one image to another (eg 3.2 degrees/image). [0101] In step S230, the APP device eliminates, using the star displacement information, the measurements considered to come from stars.
  • the APP device performs step S230 in the following manner. For each observed spatial object, the APP device predicts its positions in the other images of the sequence by assuming that this object is a star. If these predictions prove to be correct, then the APP device considers that the object is a star and eliminates the associated measurement.
  • the APP device predicts the positions of the object in the other images of the sequence using the star displacement information. If the number of predicted positions considered correct is greater than a threshold, the APP device eliminates the measurement considered. A predicted position is considered correct when there is a measurement present in the image and whose distance to the predicted position is less than a threshold.
  • step S240 the APP device eliminates, among the remaining measurements, the measurements isolated in the image sequence IMG_SEQ.
  • the APP device identifies measurements that do not have close neighbors, and eliminates these measurements.
  • a measurement is considered to have no close neighbors when there is no measurement located near it, i.e. no measurement included below a distance threshold.
  • the APP device considers in particular the image in which the measurement is located, but also the previous and following images (e.g. the two previous images, and the two following images).
  • the APP device can also eliminate measurements located on the edges (i.e. included below a given distance from the edges of the images) in the first images or the last images of the IMG_SEQ sequence.
  • the APP device obtains a filtered set of measurements S F LT, in which the measurements considered to be associated with stars have been eliminated.
  • This set S F LT is then used by the APP device to detect the satellite trajectories TRJ in the image sequence IMG_SEQ.
  • the APP device uses this set S F LT to detect the satellite trajectories TRJ in the image sequence IMG_SEQ.
  • Figure 5 represents an example of architecture of a satellite tracking device in an image sequence according to an embodiment of the invention. This figure illustrates a first embodiment of the DET detector and the CLA classifier, previously introduced with reference to Figures 2 and 3.
  • the detector DET detects satellite trajectories TRJ in the image sequence IMG_SEQ from the filtered measurement set S FL T. Then, during step S400, the classifier CLA classifies (i.e. segments) the trajectories TRJ.
  • This first embodiment proposes to use convolutional neural networks to implement the DET detector, and to use PointNet type neural networks to implement the CLA classifier.
  • the DET detector comprises, according to this first embodiment, several convolutional neural networks CNN LS , CNN H s , and CNN V HS - Each of these networks takes as input an image in which all the filtered measurements S F LT are superimposed, and provides as output frames BB encompassing detected satellite trajectories (i.e. "bounding boxes" in English).
  • the CNN LS , CNN HS , and CNN VH neural networks are respectively dedicated (i.e. specialized, trained) to detecting satellite trajectories of different speeds.
  • the CNN LS network is trained to detect satellite trajectories in substantially fixed or drifting geostationary orbit (i.e. low-speed trajectories).
  • the CNN H network is trained to detect satellite trajectories in medium or low orbit and moving at high speed (i.e. scrolling type trajectories).
  • the CNNVHS network is trained to detect satellite trajectories in low orbit and moving at very high speed (i.e. trailing type trajectories).
  • the CNN network L s can use a Faster R-CNN type neural network with an Inception V2 type feature extraction network (i.e. "backbone network”).
  • Faster R-CNN type networks and their implementation are for example described in the following document: Ren et al., "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 2016.
  • Inception V2 type networks and their implementation are for example described in the following document: Szegedy et al., "Rethinking the Inception Architecture for Computer Vision", 2015.
  • the CNN H s and CNN V HS networks can respectively use a Faster R-CNN type neural network with a Resnet 101 type feature extraction network.
  • the ResNet 101 type networks and their implementation are for example described in the following document: He et al., “Deep Residual Learning for Image Recognition”, 2015.
  • Training of the DET detector neural networks is performed using simulated training data, i.e. images comprising computer-generated satellite trajectories to which noise is added.
  • the neural networks can also be pre-trained using public datasets, such as the “COCO” dataset.
  • the CNN LS network To dedicate the CNN LS network to the detection of satellite trajectories in substantially fixed or drifting geostationary orbit (i.e. low-speed trajectories), it is trained using only these types of trajectories. Similarly, the CNN H s network is trained using scrolling type trajectories, and the CNNVHS network is trained using trailing type trajectories.
  • the CNNLS neural network processes in parts the image in which the set of filtered measurements S FL T is superimposed.
  • the CNNHS and CNNVHS networks take the entirety of this image as input.
  • the CLA classifier comprises, according to this first embodiment, several PN L s and PN HS neural networks of PointNet type. These PN L s and PN HS networks are respectively dedicated to the classification (i.e. the segmentation) of trajectories of TRJ satellites of different speeds.
  • the PN LS network is trained to classify trajectories of satellites in substantially fixed or drifting geostationary orbit (i.e. low-speed trajectories). As illustrated in FIG. 7, the PN LS network takes as input the BB frames provided by the CNN LS network, dedicated to the detection of low-speed trajectories.
  • the PN LS network processes each of the frames BB separately. For each frame B m encompassing a trajectory T m , it takes as input all the measurements located inside the frame B m in the image sequence IMG_SEQ. Note also that the measurements located in the frame B m are recentered before providing them to the PN LS network so that the coordinates x m and y m of the center of the frame are equal to 0.
  • the PN LS network provides as output a label to each of the measurements located in the frame B m , this label indicating whether or not the measurement belongs to the trajectory T m .
  • the PN L s network makes it possible to separate the measurements belonging to the trajectories TRJ from the noise.
  • it provides as output a class C m attributed to the trajectory T m .
  • the list of classes assignable by the PN LS network is: fixed geostationary trajectory; drifting geostationary trajectory; double drifting geostationary trajectories (two drifting trajectories are present in the same frame); and noise.
  • the PN HS network is trained to classify trajectories of satellites in medium or low orbit (i.e. high-speed trajectories).
  • the PN H S network takes as input the BB frames provided by the CNN HS and CNN VHS networks, dedicated to the detection of high-speed trajectories.
  • the PN H s network processes each of the BB frames separately. For the PN H s network, only the measurements around the diagonals of the BB bounding frames (i.e. included below a threshold of distance from the diagonals) are provided.
  • the PN HS network provides as output a label to each of the measurements located in the frame B m , this label indicating whether or not the measurement belongs to the trajectory T m . It also provides as output a class C m attributed to the trajectory T m .
  • the list of classes assignable by the PN HS network is: high-speed trajectory (scrolling-type trajectory or trailing-type trajectory); and noise. Then, the APP device can distinguish the scrolling-type trajectories and the trailing-type trajectories as follows.
  • the scrolling-type trajectories comprise on average less than 1.5 measurements per frame, while the trailing-type trajectories comprise on average more than 1.5 measurements per frame.
  • PointNet type networks and their implementation are for example described in the previously cited Qi et al. document.
  • PointNet type PN LS and PN H s networks are trained using simulated data.
  • the PN L s network To dedicate the PN L s network to the classification (segmentation) of satellite trajectories in substantially fixed or drifting geostationary orbit (i.e. low-speed trajectories), it is trained using only these types of trajectories. Similarly, the PN H s network is trained using scrolling type trajectories and trailing type trajectories (i.e. high-speed trajectories).
  • Figure 6 shows examples of images processed by a satellite tracking device according to one embodiment of the invention.
  • the first image IMG_SUP represents a superposition of the images of the sequence IMG_SEQ obtained by the obtaining module OBT during step S100.
  • the second image IMG_SUP_FLT represents within the same image the set of filtered measurements S F LT obtained by the FLT filter following step S200.
  • the third image IMG_TRJ_DET represents within the same image the BB frames encompassing the satellite trajectories detected by the DET detector following step S300.
  • the fourth image IMG_TRJ_CLA represents within the same image the trajectories of TRJ satellites obtained by the CLA classifier following step S400.
  • the fifth image IMG_TRJ_PP represents within the same image the trajectories of satellites TRJ obtained by the processing module PP following step S500.
  • Figure 7 represents an example of architecture of a satellite tracking device in an image sequence according to an embodiment of the invention. This figure illustrates a second embodiment of the DET detector and the CLA classifier, previously introduced with reference to Figures 2 and 3.
  • the DET detector comprises, according to this second embodiment, at least one Transformer-type TRF neural network, i.e. a network comprising an attention mechanism.
  • Transformer-type TRF neural networks and their implementation are for example described in the document A. Vaswani et al. previously cited.
  • the TRF network of the DET detector takes as input the measurements of the set S F LT, and provides a latent vector LV for each of these measurements. Then, a CLST association module of the DET detector associates (i.e. groups together) the measurements belonging to the same satellite trajectory T m according to the Euclidean distances between the latent vectors LV.
  • the CLST association module uses a technique called agglomerative hierarchical clustering with a defined distance threshold.
  • agglomerative hierarchical clustering technique uses a technique called agglomerative hierarchical clustering with a defined distance threshold.
  • the details of implementing the agglomerative hierarchical clustering technique are known to those skilled in the art.
  • the CLST association module uses other grouping algorithms to associate the measurements belonging to the same satellite trajectory from the distances between the latent vectors.
  • the CLA classifier comprises, according to this second embodiment, at least one classification neural network CN.
  • This CN neural network processes the different detected satellite trajectories TRJ separately.
  • the classification network CN takes as input the measurements associated with this trajectory T m , and provides as output a class C m attributed to this trajectory T m .
  • the CN network may be a multilayer perceptron, comprising several dense layers with ReLU type activation functions, and an output layer with a Softmax type activation function.
  • TRF and CN neural networks can be trained from simulated (i.e. computer-generated) training data.
  • the DET detector comprises a plurality of Transformer-type neural networks respectively dedicated to the detection of TRJ satellite trajectories of different speeds.
  • the CLA classifier could comprise a plurality of classification neural networks respectively dedicated to the classification of TRJ satellite trajectories of different speeds.
  • the device APP performs during the step S500 various post-processing operations of these trajectories TRJ.
  • the step S500 makes it possible to improve the reliability of the satellite tracking carried out by the device APP.
  • Figure 8 represents steps of a method according to an embodiment of the invention for performing post-processing operations of satellite trajectories. This figure details the implementation of step S500 introduced with reference to Figures 2 and 3.
  • step S500 comprises all or part of steps S510 to S550 described below and implemented by the processing module PP of the device APP.
  • step S510 the APP device merges (i.e. combines) satellite trajectories TRJ to group the measurements associated with several detected satellite trajectories TRJ and belonging to the same satellite. Thus, if measurements belonging to the same satellite have been associated with several trajectories by the APP device, then these measurements are grouped within the same trajectory.
  • the APP device compares TRJ satellite trajectories two by two, and merges them or not depending on the result of the comparison.
  • the APP device compares the number of measurements common to two trajectories T m and T p . If this number is greater than a given percentage (eg 20%) of the number of measurements of the smallest of the two trajectories, then the measurements of the two trajectories T m and T p are grouped within a single trajectory. In other words, the APP device then achieves the union of the two trajectories T m and T p .
  • a given percentage eg 20%
  • the APP device does not compare all types of trajectories together.
  • fixed geostationary type trajectories are compared only with each other.
  • drifting geostationary trajectories, scrolling type trajectories, and trailed type trajectories are compared together.
  • step S520 the APP device performs a completion of the TRJ satellite trajectories of scrolling types, i.e. high-speed trajectories comprising on average less than 1.5 measurements per image.
  • This completion uses three-dimensional linear regressions.
  • the completion carried out by the APP device makes it possible to eliminate measurements associated with the trajectory T m , but not belonging to this satellite. In addition, this completion makes it possible to add measurements belonging to the satellite and which would not have been associated with the trajectory T m .
  • the APP device predicts the position of the object using three-dimensional linear regression determined from the measurements of the trajectory T m . If there is another measurement closer to the predicted position than the measurement considered, then the measurement considered is eliminated from the trajectory T m , and is replaced by the other closer measurement.
  • the APP device For each image i k of the sequence IMG_SEQ, the APP device proceeds as follows. If the trajectory T m includes a measurement on this image i k , and if the distance between this measurement and a predicted position is greater than a threshold, then the measurement is eliminated from the trajectory T m . If the trajectory T m does not include a measurement on this image i k , and if the distance between the predicted position and the measurement closest to the predicted position is less than a threshold, then this measurement is associated (i.e. added) to the trajectory T m .
  • step S530 the APP device filters the trail-type TRJ trajectories, i.e. the high-speed trajectories comprising on average more than 1.5 measurements per image.
  • the APP device determines the slope and the ordinate at the origin of the linear regression line formed by the measurements of the trajectory T m . It then eliminates, among the measurements of the trajectory T m , those which deviate beyond a given distance from the linear regression line.
  • the APP device thus eliminates measurements that are not aligned along the two-dimensional trajectory. In this sense, it performs a polishing of the trail-type trajectories.
  • step S540 the APP device merges the trail-type trajectories. This makes it possible to prevent the same trail-type trajectory from being detected in several disjoint pieces by the APP device. To this end, the APP device compares the trail-type trajectories with each other, and merges them or not depending on the result of the comparison. [0166] In fact, the device compares two by two the linear regression lines of the trajectories of the drag type.
  • the APP device groups the measurements of the two trajectories T m and T p within a single trajectory.
  • step S550 the APP device filters the satellite trajectories TRJ so that each of the trajectories comprises only one measurement per image of the sequence IMG_SEQ.
  • a trajectory T m comprises several measurements on an image of the sequence IMG_SEQ
  • the APP device combines these measurements to obtain a single measurement.
  • the position of the single measurement obtained by the APP device may correspond to the barycenter of the positions of the measurements of the trajectory T m included in this image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

La présente invention concerne un procédé et dispositif (APP) de suivi de satellites dans une séquence d'images (IMG_SEQ). En particulier, le procédé comprend : - une étape d'obtention d'un ensemble de mesures (SIN) associées à des objets spatiaux observés dans les images de la séquence (IMG_SEQ), chaque mesure comprenant une position d'un objet dans une image et un indice temporel de l'image; - une étape de détection de trajectoires de satellites (TRJ) dans la séquence d'images (IMG_SEQ), par un détecteur (DET) comprenant au moins un réseau de neurones et utilisant tout ou partie de l'ensemble de mesures obtenu (SIN); et - une étape de classification des trajectoires de satellites détectées (TRJ), par un classifieur (CLA) comprenant au moins un autre réseau de neurones.

Description

Description
Titre : Procédé et dispositif de suivi de satellites dans une séquence d'images
Domaine technique
[0001] La présente invention se rapporte aux domaines de l'analyse d'images et du suivi d'objets. En particulier, la présente invention concerne un procédé et un dispositif de suivi de satellites dans une séquence d'images, ainsi qu'un système de surveillance, un programme d'ordinateur et un support d'informations associés. La présente invention trouve une application particulièrement avantageuse, bien que nullement limitative, pour la mise en oeuvre de systèmes de surveillance de l'espace.
Technique antérieure
[0002] L'invention s'inscrit dans le contexte particulier des systèmes de surveillance de l'espace extraatmosphérique. De tels systèmes ont pour objectif de localiser les satellites en orbite et de fournir leurs trajectoires respectives. À cet effet, ces systèmes exploitent des capteurs optiques pour capturer des images des satellites en orbite autour de la Terre. Cependant, ces images comprennent à la fois des satellites, des étoiles, et du bruit (e.g. des pixels chauds).
[0003] Aussi, nous nous intéressons ci-après aux systèmes de surveillance capable d'extraire les trajectoires des différents satellites observés dans une séquence d'images. Autrement dit, ces systèmes visent à fournir en sortie un ensemble de mesures associées à un même satellite pour décrire sa trajectoire au cours du temps, c'est-à-dire un ensemble de coordonnées tridimensionnelles associées à ce satellite (positions spatiales x et y, et indice temporel).
[0004] Dans l'état actuel de la technique, il existe des solutions analytiques pour suivre des satellites au sein d'une séquence d'images. Ces solutions analytiques exploitent les distances entre les mesures associées aux objets spatiaux observés pour extraire les trajectoires des satellites et détecter les différents types de trajectoires (e.g. géostationnaire, défilantes).
[0005] Toutefois, les solutions existantes de suivi de satellites présentent un certain nombre d'inconvénients et notamment les suivants. D'une part, ces solutions analytiques impliquent une complexité de mise en oeuvre élevée, qui nécessite la configuration manuelle d'une multitude de paramètres et une utilisation importante de ressources informatiques (i.e. des temps d'exécution importants). D'autre part, la fiabilité de ces solutions, en termes de trajectoires correctement détectées, n'est pas pleinement satisfaisante.
[0006] Il existe par conséquent un besoin pour une solution permettant de suivre des satellites dans une séquence d'images de manière fiable et avec une complexité de mise en oeuvre minime. Exposé de l'invention
[0007] La présente invention a pour objectif de remédier à tout ou partie des inconvénients de l'art antérieur, notamment ceux exposés précédemment.
[0008] Selon un aspect de l'invention, il est proposé un procédé de suivi de satellites dans une séquence d'images, le procédé comprenant : une étape d'obtention d'un ensemble de mesures associées à des objets spatiaux observés dans les images de la séquence, chaque mesure comprenant une position d'un objet dans une image et un indice temporel de l'image ; une étape de détection de trajectoires de satellites dans la séquence d'images, par un détecteur comprenant au moins un réseau de neurones et utilisant tout ou partie de l'ensemble de mesures obtenu ; et une étape de classification des trajectoires de satellites détectées, par un classifieur comprenant au moins un autre réseau de neurones.
[0009] La présente invention permet d'extraire les trajectoires respectives des satellites observés dans la séquence d'images. En fait, la présente invention permet d'associer les mesures appartenant à un même satellite pour décrire sa trajectoire dans la séquence d'images. Il est important de noter que la présente invention permet non seulement de suivre des satellites en orbite géostationnaire, mais également des satellites en orbite terrestre moyenne ou basse.
[0010] De plus, la présente invention permet de classer les trajectoires détectées. Notamment, la classe attribuée à chaque trajectoire de satellite peut indiquer le type d'orbite du satellite. Par exemple, la liste des classes attribuables peut inclure : trajectoire géostationnaire fixe ; trajectoire géostationnaire dérivante ; trajectoire de type défilante (i.e. satellite en orbite terrestre moyenne ou basse se déplaçant à grande vitesse) ; et trajectoire de type trainée (i.e. satellite en orbite terrestre basse se déplaçant à très grande vitesse).
[0011] En comparaison aux solutions analytiques existantes, la présente invention permet d'améliorer la fiabilité de suivi des satellites observés au sein d'une séquence d'images. Elle présente en outre une complexité de mise en oeuvre réduite (i.e. des temps d'exécution réduits, moins de configuration). De manière avantageuse, la présente invention ne nécessite pas de connaissance a priori des orbites pour suivre des satellites dans une séquence d'images.
[0012] En effet, l'utilisation d'un ou plusieurs réseaux de neurones pour mettre en oeuvre le détecteur permet d'obtenir une détection fiable des trajectoires, en termes de trajectoires correctement détectées. Le ou les réseaux de neurones sont entrainés de manière automatique à partir de données d'entrainement (i.e. des séquences d'images de référence) pour optimiser la fiabilité de détection des trajectoires des satellites. Cela permet notamment d'obtenir des performances nettement améliorées en comparaison aux solutions analytiques. De plus, l'utilisation d'un ou plusieurs réseaux de neurones permet de réduire significativement les ressources informatiques nécessaires, notamment en termes de temps d'exécution.
[0013] Il en est de même pour le classifieur comprenant un ou plusieurs réseaux de neurones, ce qui permet d'améliorer la fiabilité de classification des trajectoires (i.e. trajectoires correctement identifiées). Cela permet également de réduire les ressources informatiques nécessaires (i.e. temps d'exécution). L'utilisation conjointe d'un ou plusieurs réseaux de neurones pour détecter les trajectoires de satellites, et d'un ou plusieurs autres réseaux de neurones pour classer ces trajectoires permet d'obtenir un suivi fiable des satellites observés dans la séquence d'images.
[0014] Ainsi, la présente invention permet de suivre des satellites dans une séquence d'images de manière fiable et avec une complexité de mise en oeuvre minime.
[0015] Selon un mode de mise en oeuyre, le détecteur comprend au moins un réseau de neurones convolutif, et détermine des cadres englobant (entourant) chacun une trajectoire de satellites dans les images de la séquence. De plus, selon ce mode de mise en oeuvre, le classifieur comprend au moins un réseau de neurones de classification (i.e. de segmentation), notamment au moins un réseau de neurones de type PointNet. Et, pour chaque cadre englobant une trajectoire de satellite, le classifieur détermine (i.e. associe) les mesures situées dans le cadre appartenant à cette trajectoire, et attribue une classe à cette trajectoire.
[0016] Par « réseau de neurones convolutif », nous faisons référence ici à un réseau de neurones comprenant une ou plusieurs couches de convolution. Et, par « réseau de neurones de type PointNet », nous faisons référence à un réseau de neurones dédié au traitement de nuages de points, et notamment à des applications de classification et de segmentation. Les réseaux de type PointNet et leur mise en oeuvre sont par exemple décrits dans le document suivant : Qi et al., « PointNet : Deep Learning on Point Sets for 3D Classification and Segmentation », 2017.
[0017] Ce mode de mise en oeuvre propose d'utiliser un ou plusieurs réseaux de neurones convolutifs pour détecter les trajectoires de satellites, et d'utiliser un ou plusieurs réseaux de neurones de type PointNet pour classer (segmenter) ces trajectoires.
[0018] Le ou les réseaux de neurones convolutifs permettent au détecteur d'exploiter les caractéristiques spatio-temporelles de la séquence d'images pour détecter les trajectoires des satellites. Plus précisément, il exploite les caractéristiques spatio-temporelles de la séquence d'images pour déterminer des cadres englobant (i.e. des « bounding boxes » en anglais) les trajectoires de satellites. Le ou les réseaux de neurones convolutifs permettent ainsi d'obtenir une détection fiable des trajectoires des différents satellites observés dans la séquence d'images.
[0019] De plus, l'utilisation d'un ou plusieurs réseaux de neurones de type PointNet pour mettre en oeuvre le classifieur est particulièrement avantageuse. En effet, le réseau de type PointNet est optimisé pour classer et segmenter des nuages de points. Ici, le réseau de type PointNet traite séparément chacun des cadres englobant les trajectoires de satellites. Pour chaque cadre englobant une trajectoire, il prend en entrée l'ensemble des mesures situées à l'intérieur du cadre englobant dans la séquence d'images. Ainsi, ces réseaux de type PointNet permettent de séparer, de manière fiable, les mesures appartenant à la trajectoire de celles n'appartenant pas à la trajectoire, et d'attribuer une classe à cette trajectoire.
[0020] Aussi, ce mode de mise en oeuvre permet de manière fiable d'extraire les trajectoires respectives des différents satellites observés dans la séquence d'images et de classer celles-ci.
[0021] Selon un mode de mise en oeuyre, le détecteur comprend au moins un réseau de neurones de type Transformer, et associe les mesures appartenant à une même trajectoire de satellite dans les images de la séquence. Par ailleurs, selon ce mode de réalisation, le classifieur comprend au moins un réseau de classification et attribue une classe à chacune des trajectoires de satellites.
[0022] Nous faisons ici référence par « réseau de neurones de type Transformer » à un réseau de neurones exploitant un mécanisme d'attention. Les réseaux de neurones de type Transformer et leur mise en oeuvre sont par exemple décrits dans le document suivant : A. Vaswani et al., « Attention Is All You Need », 2017.
[0023] Il convient de souligner que les réseaux de type Transformer sont optimisés pour traiter des données séquentielles et permettent d'exploiter les caractéristiques temporelles des données d'entrée. Dans le contexte de l'invention, l'utilisation d'un réseau de type Transformer permet au détecteur d'exploiter les caractéristiques temporelles de l'ensemble de mesures pour extraire les trajectoires respectives des satellites observés dans la séquence d'images.
[0024] Ce mode de mise en oeuvre est particulièrement avantageux en ce qu'il permet d'améliorer la fiabilité du suivi des satellites observés dans une séquence d'images. En outre, l'utilisation d'un réseau de type Transformer permet de réduire les ressources informatiques (i.e. le temps d'exécution) nécessaires à la mise en oeuvre de la solution proposée.
[0025] Selon un mode de mise en oeuyre, le détecteur détermine des vecteurs latents représentatifs de dites mesures en utilisant ledit au moins un réseau de neurones de type Transformer ; et, le détecteur associe des mesures à une même trajectoire de satellite en fonction de distances entre les vecteurs latents.
[0026] Ce mode de mise en oeuvre propose d'utiliser le réseau de type Transformer réseau pour représenter dans un espace latent les mesures associées aux objets spatiaux observés dans la séquence d'images. Pour chacune des mesures fournies en entrée, le réseau de neurones de type Transformer détermine un vecteur latent.
[0027] Notons que le réseau de neurones de type Transformer permet d'apprendre, sur la base de données d'entrainement, un espace latent dans lequel les mesures appartenant à une même trajectoire sont proches. Ce réseau permet ainsi de représenter les mesures dans un espace latent de sorte à minimiser la distance entre les vecteurs latents de mesures appartenant à une même trajectoire, et à maximiser les distances entre les vecteurs latents de mesures appartenant à des trajectoires différentes.
[0028] Ce mode de mise en oeuvre permet donc, en utilisant les distances entre les vecteurs latents, d'associer (i.e. de regrouper) de manière fiable les mesures appartenant à une même trajectoire.
[0029] Selon un mode de mise en oeuyre, le détecteur comprend une pluralité de réseaux de neurones respectivement dédiés à la détection de trajectoires de satellites de vitesses différentes ; et /ou le classifieur comprend une pluralité de réseau de neurones respectivement dédiés à la classification de trajectoires de satellites de vitesses différentes.
[0030] Ce mode de mise en oeuvre permet adapter la détection et/ou la classification des trajectoires en fonction de différents types de trajectoires (e.g. orbites géostationnaire fixes ou dérivantes, orbites terrestres moyennes et basses). Cela permet avantageusement d'améliorer la fiabilité de la solution proposée.
[0031] Selon un mode de mise en oeuyre, le procédé comprend une étape de filtrage de l'ensemble de mesures pour éliminer les mesures associées à (i.e. provenant) des étoiles, et dans lequel le détecteur utilise uniquement l'ensemble de mesures filtré pour réaliser l'étape de détection de trajectoires de satellites dans la séquence d'images.
[0032] Ce mode de mise en oeuvre permet d'éliminer les étoiles présentes dans la séquence d'images. Typiquement, les étoiles sont en nombre important par rapport aux satellites dans une séquence d'images, ce qui peut parasiter la détection des trajectoires de satellites. Aussi, ce mode de mise en oeuvre contribue à améliorer la fiabilité de la solution proposée de suivi de satellites dans une séquence d'images. En outre, et de manière avantageuse, la solution proposée pour éliminer les mesures correspondant à des étoiles ne nécessite pas de connaissance a priori de leurs positions.
[0033] Selon un mode de mise en oeuyre, l'étape de filtrage de l'ensemble de mesures pour éliminer les mesures associées à des étoiles comprend : une détermination d'informations de déplacement des étoiles à partir de mesures dont la luminosité est supérieure à un seuil dans les images de la séquence ; et une étape d'élimination (i.e. de suppression) des mesures considérées comme associées à des étoiles à partir des informations de déplacement déterminées.
[0034] Ce mode de mise en oeuvre est avantageux en ce qu'il permet d'éliminer de manière fiable les étoiles dans les images de la séquence.
[0035] En fait, les inventeurs ont observé que la majorité des mesures les plus lumineuses dans une séquence d'images sont des étoiles. Aussi, il est proposé ici d'exploiter les mesures les plus lumineuses pour déterminer les informations de déplacement des étoiles (e.g. vitesse de déplacement des étoiles par image, ou angle de rotation des étoiles par image). Ensuite, ces informations de déplacement sont utilisées pour déterminer quelles mesures correspondent à des étoiles, et éliminer celles-ci.
[0036] Selon un mode de mise en oeuyre, le procédé comprend : une ou plusieurs étapes de fusion (i.e. de combinaison) des trajectoires de satellites pour regrouper les mesures associées à plusieurs trajectoires de satellite détectées et appartenant à un même un satellite ; et/ou une étape de filtrage des trajectoires de satellites pour qu'une dite trajectoire de satellite comprenne uniquement une mesure par image de la séquence.
[0037] Ce mode de mise en oeuvre propose de réaliser différentes étapes de post-traitement sur les trajectoires de satellites détectées par la solution proposée. Il contribue ainsi à améliorer la fiabilité de la solution proposée de suivi de satellites.
[0038] D'une part, il est proposé de fusionner (i.e. combiner) les trajectoires appartenant à un même satellite. Autrement dit, si des mesures appartenant à un même satellite ont été associées à une pluralité de trajectoires, alors ces mesures sont regroupées au sein d'une même trajectoire.
[0039] Par ailleurs, il est également proposé de filtrer les différentes trajectoires de satellites détectées de sorte que chaque trajectoire ne comprenne qu'une mesure par image de la séquence.
[0040] Selon un autre aspect de l'invention, il est proposé un dispositif de suivi de satellites dans une séquence d'images, le dispositif comprenant : un module d'obtention configuré pour obtenir un ensemble de mesures associées à des objets spatiaux observés dans les images de la séquence, chaque mesure comprenant une position d'un objet dans une image et un indice temporel de l'image ; un détecteur configuré pour détecter des trajectoires de satellites dans la séquence d'images, le détecteur comprenant au moins un réseau de neurones et utilisant tout ou partie de l'ensemble de mesures obtenu ; et un classifieur configuré pour classer les trajectoires de satellites détectées, le classifieur comprenant au moins un autre réseau de neurones.
[0041] Le dispositif de suivi de satellites peut être configuré pour réaliser n'importe lequel des modes de mise en oeuvre d'un procédé conforme à l'invention. En particulier, pour chaque étape d'un procédé conforme à l'invention, le dispositif peut comprendre un module configuré pour mettre en oeuvre cette étape.
[0042] Le terme module peut correspondre aussi bien à un composant logiciel qu'à un composant matériel ou un ensemble de composants matériels et logiciels. Un composant logiciel correspond à un ou plusieurs programmes ou sous-programmes d'ordinateur, ou de manière plus générale à tout élément d'un programme apte à mettre en oeuvre une fonction ou un ensemble de fonctions telles que décrites pour les modules concernés. De la même manière, un composant matériel correspond à tout élément d'un ensemble matériel apte à mettre en oeuvre une fonction ou un ensemble de fonctions pour le module concerné.
[0043] Selon un aspect de l'invention, il est proposé un système de surveillance comprenant : un dispositif de suivi de satellites conforme à l'invention ; et un dispositif d'acquisition d'une séquence d'images.
[0044] Selon un aspect de l'invention, il est proposé un programme d'ordinateur comprenant des instructions pour mettre en oeuvre les étapes d'un procédé conforme à l'invention, lorsque le programme d'ordinateur est exécuté par au moins un processeur ou un ordinateur.
[0045] Le programme d'ordinateur peut être formé d'une ou plusieurs sous-parties stockées dans une même mémoire ou dans des mémoires distinctes. Le programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, de code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
[0046] Selon un aspect de l'invention, il est proposé un support d'informations lisible par ordinateur comprenant un programme d'ordinateur conforme à l'invention.
[0047] Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire non-volatile ou ROM, par exemple un CD-ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur. D'autre part, le support de stockage peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par un réseau de télécommunication ou par un réseau informatique ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau informatique. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
[0048] Le dispositif de suivi de satellites, le système de surveillance, le programme d'ordinateur et le support d'informations proposés disposent des avantages décrits ci-dessus en lien avec le procédé proposé de suivi de satellites.
Brève description des dessins
[0049] D'autres caractéristiques et avantages de la présente invention ressortiront de la description fournie ci-après, illustrant des modes de réalisation de l'invention donnés à titre d'exemple et dépourvus de tout caractère limitatif, en référence aux dessins ci-joints :
[0050] La figure 1 représente un exemple d'architecture d'un système de surveillance selon un mode de réalisation de l'invention ; [0051] La figure 2 représente un exemple d'architecture d'un dispositif de suivi de satellites dans une séquence d'images selon un mode de réalisation de l'invention ;
[0052] La figure 3 représente des étapes d'un procédé de suivi de satellites dans une séquence d'images selon un mode de réalisation de l'invention ;
[0053] La figure 4 représente des étapes d'un procédé selon un mode de réalisation de l'invention pour éliminer des étoiles dans une séquence d'images ;
[0054] La figure 5 représente un exemple d'architecture d'un dispositif de suivi de satellites dans une séquence d'images selon un mode de réalisation de l'invention ;
[0055] La figure 6 représente des exemples d'images traitées par un dispositif de suivi de satellites selon un mode de réalisation de l'invention ;
[0056] La figure 7 représente un exemple d'architecture d'un dispositif de suivi de satellites dans une séquence d'images selon un mode de réalisation de l'invention ; et
[0057] La figure 8 représente des étapes d'un procédé selon un mode de réalisation de l'invention pour effectuer des opérations de post-traitement de trajectoires de satellites.
Description des modes de réalisation
[0058] La présente invention s'applique, en particulier, aux systèmes de surveillance de l'espace. La description suivante de l'invention se référera à ce contexte particulier d'application, qui n'est donné qu'à titre d'exemple illustratif et ne doit pas limiter l'invention.
[0059] La figure 1 représente un exemple d'architecture d'un système de surveillance selon un mode de réalisation de l'invention. Cette figure est décrite ci-après pour introduire la présente invention et exemplifier un contexte d'application.
[0060] Le système de surveillance SYS comprend au moins un dispositif d'acquisition SENS et un dispositif de suivi de satellites APP. Le système SYS peut également comprendre un dispositif OUT de restitution et/ou de stockage.
[0061] Nous décrivons ci-après un système SYS comprenant un unique dispositif d'acquisition SENS. Toutefois, il pourrait également être envisagé des modes de réalisation dans lesquels le système SYS comprend une pluralité de dispositifs d'acquisition SENS, situés à différents endroits sur Terre et/ou de différents types.
[0062] Le dispositif SENS est configuré pour acquérir (i.e. capturer) une séquence d'images IMG_SEQ. Ce dispositif SENS comprend un ou plusieurs capteurs optiques, tels qu'une caméra, ou un capteur infra-rouge. Comme illustré sur la figure 1, le dispositif SENS est configuré pour fournir la séquence d'images IMG_SEQ au dispositif APP. [0063] La séquence d'images IMG_SEQ comprend une pluralité d'images consécutives couvrant une portion du ciel. Chaque image de la séquence IMG_SEQ est associée à un instant d'acquisition. Typiquement, au sein des images de la séquence IMG_SEQ, se trouvent à la fois des satellites en orbite autour de la Terre, des étoiles (en nombre important par rapport aux satellites), et des mesures issues de bruit (e.g. des pixels chauds).
[0064] Notons également que les satellites observés dans la séquence d'images IMG_SEQ peuvent comprendre des satellites géostationnaires fixes, des satellites géostationnaires dérivants, et des satellites défilants. En d'autres termes, les satellites observés peuvent présenter des orbites géostationnaires GEO (acronyme de « Geosynchronous Earth Orbit » en anglais), des orbites terrestres moyennes MEO (acronyme de « Medium Earth Orbit » en anglais), ou des orbites terrestres basses LEO (acronyme de « Low Earth Orbit » en anglais).
[0065] Le dispositif APP est configuré pour suivre les satellites observés dans la séquence d'images IMG_SEQ. Autrement dit, il est configuré pour déterminer les trajectoires TRJ respectives des différents satellites présents dans la séquence d'images IMG_SEQ.
[0066] Dans le contexte de l'invention, une « trajectoire de satellite » est définie par un ensemble de mesures associées au satellite, chacune de ces mesures comprenant une position du satellite (e.g. coordonnées x et y du satellite dans l'image), et un indice temporel (e.g. indice de l'image dans la séquence, ou instant d'acquisition de l'image). Par exemple, une trajectoire de satellite Tm peut être définie de la manière suivante : Tm={(xn, yn, in) I n e Nm)}, avec Nm les indices des mesures associées à cette trajectoire.
[0067] Selon le mode de réalisation illustré par la figure 1, le dispositif APP est configuré pour fournir les trajectoires de satellites TRJ au dispositif OUT. Par exemple, le dispositif OUT peut être un dispositif de restitution comprenant un écran permettant d'afficher les trajectoires des satellites TRJ. En variante, le dispositif OUT pourrait être un dispositif de stockage utilisé pour enregistrer les trajectoires de satellites TRJ.
[0068] Le dispositif APP comprend, selon le mode de réalisation illustré par la figure 1 : au moins une unité de traitement ou processeur PROC ; et au moins une mémoire MEM.
[0069] Plus particulièrement, le dispositif APP dispose, selon un mode de réalisation, de l'architecture matérielle d'un ordinateur. La mémoire MEM constitue un support d'informations conforme à l'invention, c'est-à-dire lisible par le processeur PROC et sur lequel est enregistré un programme d'ordinateur PROG conforme à l'invention. Le programme PROG comporte des instructions pour réaliser des étapes d'un procédé de suivi de satellites conforme à l'invention, lorsque le programme PROG est exécuté par le processeur PROC. Le programme PROG définit notamment les modules fonctionnels du dispositif APP représentés sur la figure 2, qui s'appuient sur ou commandent les éléments matériels de ce dernier. [0070] Tel qu'illustré par la figure 1, le dispositif APP dispose d'un module de communication COM configuré pour communiquer avec le dispositif d'acquisition SENS et/ou le dispositif OUT. Aucune limitation n'est attachée à la nature des interfaces de communication entre ces dispositifs, qui peuvent être filaires ou non filaires, et peuvent mettre en oeuvre tout protocole connu de l'homme du métier.
[0071] L'architecture du dispositif de suivi de satellites APP étant introduite, nous décrivons ci-après son fonctionnement en référence aux figures suivantes.
[0072] La figure 2 et la figure 3 représentent respectivement un exemple d'architecture d'un dispositif de suivi de satellites et des étapes d'un procédé de suivi de satellites selon un mode de réalisation de l'invention. Ces figures présentent le fonctionnement du dispositif APP introduit en référence à la figure 1.
[0073] Les différents modules fonctionnels du dispositif APP sont illustrés sur la figure 2. Nous décrivons les fonctions de ces modules en relation avec les étapes du procédé de la figure 3.
[0074] Tel qu'illustré par la figure 3, le procédé proposé comprend tout ou partie des étapes S100 à S600 décrites ci-après, celles-ci étant mises en oeuvre par le dispositif APP.
[0075] Le procédé proposé peut comprendre une pluralité d'itérations de chacune de ses étapes. Les étapes du procédé peuvent être réitérées à une fréquence donnée, par exemple toutes les nuits, ou toutes les semaines.
[0076] À l'étape S100, le module d'obtention OBT du dispositif APP obtient la séquence d'images IMG_SEQ. À partir de celle-ci, il obtient un ensemble de mesures SiN associées aux objets spatiaux observés dans les images de la séquence IMG_SEQ.
[0077] Le dispositif APP reçoit la séquence d'images IMG_SEQ en provenance du dispositif d'acquisition SENS, par l'intermédiaire de son module de communication COM. En variante, le dispositif de surveillance APP pourrait également lire la séquence d'images IMG_SEQ sur une mémoire partagée avec le dispositif d'acquisition SENS.
[0078] Ensuite, le dispositif APP traite la séquence d'images IMG_SEQ pour obtenir l'ensemble de mesures SiN associées aux différents objets spatiaux observés dans la séquence IMG_SEQ. Pour ce faire, le dispositif APP peut utiliser n'importe quelle technique connue de détection de points dans des images. Par exemple, il peut utiliser un filtre passe-haut, ou un réseau de neurones.
[0079] Pour chaque objet spatial observé dans une image de la séquence IMG_SEQ, le dispositif APP obtient une mesure (i.e. un point) en trois dimensions. Chaque mesure comprend des coordonnées x et y décrivant la position de l'objet dans l'image, et un indice temporel (e.g. l'indice de l'image dans la séquence, l'instant d'acquisition de l'image). Ainsi, l'ensemble de mesures SiN={(xn, yn, in) I n e NIN} avec NIN les indices des mesures obtenues. [0080] À l'étape S200, le filtre FLT du dispositif APP filtre l'ensemble de mesures SiN pour éliminer les mesures associées à des étoiles. Le dispositif APP obtient ainsi un ensemble de mesures filtré SFLT={(xn, yn, in) I n e NFLT} avec NF T les indices des mesures conservées. Ainsi, l'ensemble de mesures filtré SFLT ne comprend pas les mesures considérées comme correspondant d'étoiles.
[0081] Nous décrivons plus en détail la mise en oeuvre de l'étape S200 en référence à la figure 4.
[0082] À l'étape S300, le détecteur DET du dispositif APP détecte, à partir de l'ensemble de mesures filtré SFLT, les trajectoires de satellites TRJ dans la séquence d'images IMG_SEQ. Le détecteur DET comprend (i.e. met en oeuvre) au moins un réseau de neurones artificiels.
[0083] À l'étape S400, le classifieur CLA du dispositif APP classe les trajectoires de satellites détectées TRJ. Le classifieur CLA comprend (i.e. met en oeuvre) au moins un réseau de neurones artificiels.
[0084] Suites aux étapes S300 et S400, le dispositif APP obtient des trajectoires de satellites TRJ. Comme évoqué précédemment, la trajectoire d'un satellite Tm est définie par un ensemble de mesures Tm={(xn, yn, in) I n e Nm} avec Nm les indices des mesures de la trajectoire. De plus, le dispositif APP attribue une classe Cm à cette trajectoire Tm.
[0085] Les classes attribuées aux trajectoires par le dispositif APP indiquent les types de trajectoires (i.e. d'orbites) des satellites. Par exemple, la liste des classes attribuables peut inclure : trajectoire géostationnaire fixe ; trajectoire géostationnaire dérivante ; trajectoire de type défilante (i.e. satellite en orbite terrestre moyenne ou basse se déplaçant à grande vitesse) ; et trajectoire de type trainée (i.e. satellite en orbite terrestre basse se déplaçant à très grande vitesse) ; et bruit.
[0086] La mise en oeuvre des étapes S300 et S400 est décrite plus en détail en référence aux figures 5 et 7. Plus précisément, la figure 5 illustre un premier mode de réalisation des étapes S300 et S400, tandis que la figure 7 illustre un deuxième mode de réalisation de ces étapes.
[0087] À l'étape S500, le module de traitement PP du dispositif APP effectue des opérations (analytiques) dites de post-traitement des trajectoires de satellites détectées TRJ.
[0088] Cette étape permet notamment d'améliorer les résultats de la solution proposée de suivi de satellites dans une séquence d'images IMG_SEQ. La mise en oeuvre de l'étape S500 est détaillée ci-après en référence à la figure 8.
[0089] À l'étape S600, et selon un mode de réalisation, le dispositif APP fournit les trajectoires de satellites TRJ au dispositif OUT, par l'intermédiaire de son module de communication COM.
[0090] Comme indiqué précédemment, chacune des trajectoires de satellite TRJ fournies par le dispositif APP comprend : un ensemble de mesures Tm décrivant les positions d'un satellite dans les images de la séquence IMG_SEQ ; et une classe Cm indiquant le type de trajectoire du satellite.
[0091] Le dispositif OUT peut par exemple afficher les trajectoires de satellites TRJ sur un écran. En variante, ce dispositif OUT peut être utilisé pour stocker les trajectoires de satellites TRJ. Ces trajectoires TRJ peuvent être analysées ultérieurement par un dispositif distinct afin de cataloguer les orbites des satellites observés.
[0092] Nous avons présenté ici le fonctionnement général du dispositif APP proposé pour suivre des satellites dans une séquence d'images IMG_SEQ. Aussi, nous détaillons ci-après la mise en oeuvre des étapes S200 à S500 en référence aux figures suivantes.
[0093] La figure 4 représente des étapes d'un procédé selon un mode de réalisation de l'invention pour éliminer des étoiles dans une séquence d'images. Cette figure détaille la mise en oeuvre de l'étape S200 de filtrage pour éliminer les mesures associées à des étoiles.
[0094] Tel qu'illustré par la figure 4, l'étape S200 comprend tout ou partie des étapes S210 à S240 décrites ci-après et mises en oeuvre par le filtre FLT du dispositif APP.
[0095] À l'étape S210, le dispositif APP sélectionne, parmi l'ensemble de mesures SiN, les mesures dont la luminosité est supérieure à un seuil dans les images de la séquence IMG_SEQ. Ainsi, le dispositif APP sélectionne les points les plus lumineux dans les images de la séquence IMG_SEQ.
[0096] Les inventeurs ont constaté que la majorité des mesures les plus lumineuses dans une séquence d'images sont des étoiles. Pour cette raison, le dispositif APP exploite les mesures les plus lumineuses pour déterminer les informations de déplacement des étoiles (soit une vitesse de déplacement des étoiles par image, soit un angle de rotation des étoiles par image).
[0097] À l'étape S220, le dispositif APP détermine les informations de déplacement des étoiles à partir de mesures sélectionnées.
[0098] Tout d'abord, le dispositif APP détermine si les trajectoires des étoiles sont sensiblement rectilignes dans la séquence d'images IMG_SEQ, ou si celle-ci sont sensiblement circulaires. Pour ce faire, il peut déterminer si les normales des trajectoires des étoiles se croisent à proximité d'un centre d'observation (i.e. si l'intersection de ces normales est proche du centre d'observation).
[0099] En fait, si la séquence d'images IMG_SEQ est acquise par un observatoire situé près de l'équateur, les trajectoires des étoiles sont sensiblement rectilignes. Le dispositif APP détermine alors la vitesse moyenne des étoiles par image. En d'autres termes, il détermine le vecteur de déplacement des étoiles d'une image à l'autre (e.g. -5,1 pixels/image selon l'axe, et -1,2 pixels/image selon axe y). Pour déterminer ce vecteur de déplacement, le dispositif APP calcule la moyenne des distances entre chacune des mesures et son voisin le plus proche dans l'image suivante.
[0100] En revanche, si la séquence d'images IMG_SEQ est acquise par un observatoire situé près des pôles, les trajectoires des étoiles sont sensiblement circulaires. Dans ce cas, le dispositif APP détermine le centre de rotation des étoiles (i.e. l'intersection des normales), ainsi que l'angle de rotation des étoiles d'une image à l'autre (e.g. 3,2 degré/image). [0101] À l'étape S230, le dispositif APP élimine, en utilisant les informations de déplacement des étoiles, les mesures considérées comme provenant d'étoiles.
[0102] Selon un mode de réalisation, le dispositif APP réalise l'étape S230 de la manière suivante. Pour chaque objet spatial observé, le dispositif APP prédit ses positions dans les autres images de la séquence en supposant que cet objet est une étoile. Si ces prédictions s'avèrent correctes, alors le dispositif APP considère que l'objet est une étoile et élimine la mesure associée.
[0103] Plus précisément, pour chaque mesure de chaque image de la séquence, le dispositif APP prédit les positions de l'objet dans les autres images de la séquence en utilisant les informations de déplacement des étoiles. Si le nombre de positions prédites considérées comme correctes est supérieur à un seuil, le dispositif APP élimine la mesure considérée. Une position prédite est considérée comme correcte lorsqu'il existe une mesure présente dans l'image et dont la distance à la position prédite est inférieure à un seuil.
[0104] À l'étape S240, le dispositif APP élimine, parmi les mesures restantes, les mesures isolées dans la séquence d'images IMG_SEQ.
[0105] Spécifiquement, le dispositif APP identifie les mesures qui ne possèdent pas de voisins proches, et élimine ces mesures. Une mesure est considérée comme n'ayant pas de voisins proches lorsqu'il n'y a aucune mesure située à proximité de celle-ci, c'est-à-dire aucune mesure comprise en dessous d'un seuil de distance. Le dispositif APP considère notamment l'image dans laquelle se trouve la mesure, mais également les images précédentes et suivantes (e.g. les deux images précédentes, et les deux suivantes).
[0106] Selon un mode de réalisation, le dispositif APP peut également éliminer les mesures localisées sur les bords (i.e. comprises en dessous d'une distance donnée des bords des images) dans les premières images ou les dernières images de la séquence IMG_SEQ.
[0107] Suite à ces étapes, le dispositif APP obtient un ensemble de mesures filtré SFLT, dans lequel les mesures considérées comme associées à des étoiles ont été éliminées.
[0108] Cet ensemble SFLT est ensuite utilisé par le dispositif APP pour détecter les trajectoires de satellites TRJ dans la séquence d'images IMG_SEQ. En particulier, nous décrivons en référence aux figures 5 et 7 deux modes de réalisation de la détection et de la classification des trajectoires de satellites.
[0109] La figure 5 représente un exemple d'architecture d'un dispositif de suivi de satellites dans une séquence d'images selon un mode de réalisation de l'invention. Cette figure illustre un premier mode de réalisation du détecteur DET et du classifieur CLA, précédemment introduits en référence aux figures 2 et 3.
[0110] Comme évoqué précédemment, lors de l'étape S300, le détecteur DET détecte des trajectoires de satellites TRJ dans la séquence d'images IMG_SEQ à partir de l'ensemble de mesures filtré SFLT. Ensuite, lors de l'étape S400, le classifieur CLA classe (i.e. segmente) les trajectoires TRJ. [OUI] Ce premier mode de réalisation propose d'utiliser des réseaux de neurones convolutifs pour mettre en oeuvre le détecteur DET, et d'utiliser des réseaux de neurones de type PointNet pour mettre en oeuvre le classifieur CLA.
[0112] Le détecteur DET comprend, selon ce premier mode réalisation, plusieurs réseaux de neurones convolutifs CNNLS, CNNHs, et CNNVHS- Chacun de ces réseaux prend en entrée une image dans laquelle est superposé l'ensemble des mesures filtré SFLT, et fournit en sortie des cadres BB englobant des trajectoires de satellites détectées (i.e. des « bounding boxes » en anglais). Un tel cadre Bm peut par exemple être défini de la manière suivante : Bm={xm, ym, hm, lm} avec xm et ym les coordonnées du centre du cadre, hm sa hauteur et lm sa largeur.
[0113] Les réseaux de neurones CNNLS, CNNHS, et CNNVHs sont respectivement dédiés (i.e. spécialisé, entrainé) à la détection de trajectoires de satellites de vitesses différentes. Notamment, le réseau CNNLS est entrainé pour détecter des trajectoires de satellites en orbite géostationnaire sensiblement fixe ou dérivante (i.e. des trajectoires à faible vitesse). Le réseau CNNHs est entrainé pour détecter des trajectoires de satellites en orbite moyenne ou basse et se déplaçant à grande vitesse (i.e. des trajectoires de type défilantes). Enfin, le réseau CNNVHS est entrainé pour détecter des trajectoires de satellites en orbite basse et se déplaçant à très grande vitesse (i.e. trajectoires de type trainées).
[0114] Le réseau CNNLs peut utiliser un réseau de neurones de type Faster R-CNN avec un réseau d'extraction de caractéristiques (i.e. « backbone network » en anglais) de type Inception V2. Les réseaux de type Faster R-CNN et leur mise en oeuvre sont par exemple décrits dans le document suivant : Ren et al., « Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks », 2016. Et, les réseaux de type Inception V2 et leur mise en oeuvre sont par exemple décrits dans le document suivant : Szegedy et al., « Rethinking the Inception Architecture for Computer Vision », 2015.
[0115] En outre, les réseaux CNNHs et CNNVHS peuvent respectivement utiliser un réseau de neurones de type Faster R-CNN avec un réseau d'extraction de caractéristiques de type Resnet 101. Les réseaux de type ResNet 101 et leur mise en oeuvre sont par exemple décrits dans le document suivant : He et al., « Deep Residual Learning for Image Recognition », 2015.
[0116] L'entraînement des réseaux de neurones du détecteur DET est effectué en utilisant des données d'entrainement simulées, c'est-à-dire des images comprenant des trajectoires de satellites générées par ordinateur auxquelles du bruit est ajouté. Les réseaux de neurones peuvent également être pré-entrainés en utilisant des jeux de données publiques, tel que le jeu de données « COCO ».
[0117] Plus particulièrement, pour entrainer les réseaux de neurones de la solution proposée, il peut être envisagé de générer des données comprenant des trajectoires d'étoiles (circulaires ou rectilignes), des trajectoires d'objets spatiaux de différents types, et du bruit. Ensuite, les mesures sont filtrées pour éliminer les étoiles en utilisant la technique précédemment décrite en référence à la figure 3. Enfin, les mesures ainsi obtenues sont utilisées pour entrainer les réseaux de neurones.
[0118] Pour dédier le réseau CNNLS à la détection de trajectoires de satellites en orbite géostationnaire sensiblement fixe ou dérivante (i.e. des trajectoires à faible vitesse), il est entrainé en utilisant uniquement ces types de trajectoires. De même, le réseau CNNHs est entrainé en utilisant des trajectoires de type défilantes, et le réseau CNNVHS est entrainé en utilisant des trajectoires de type trainées.
[0119] Pour les détails de mise en oeuvre concernant l'entraînement des réseaux de neurones, notamment les fonctions de perte, l'homme du métier peut se référer aux documents précités et aux références citées dans ces documents.
[0120] Selon un mode de réalisation particulier, le réseau de neurones CNNLS traite par parties l'image dans laquelle est superposé l'ensemble des mesures filtré SFLT. En revanche, les réseaux CNNHS et CNNVHS prennent en entrée l'intégralité de cette image.
[0121] Le classifieur CLA comprend, selon ce premier mode de réalisation, plusieurs réseaux de neurones PNLs et PNHS de type PointNet. Ces réseaux PNLs et PNHS sont respectivement dédiés à la classification (i.e. la segmentation) de trajectoires de satellites TRJ de vitesses différentes.
[0122] D'une part, le réseau PNLS est entrainé pour classifier des trajectoires de satellites en orbite géostationnaire sensiblement fixe ou dérivante (i.e. les trajectoires à faibles vitesse). Comme illustré sur la figure 7, le réseau PNLS prend en entrée les cadres BB fournis par le réseau CNNLS, dédié à la détection de trajectoires à faible vitesse.
[0123] Le réseau PNLS traite séparément chacun des cadres BB. Pour chaque cadre Bm englobant une trajectoire Tm, il prend en entrée l'ensemble des mesures situées à l'intérieur du cadre Bm dans la séquence d'images IMG_SEQ. Notons également que les mesures situées dans le cadre Bm sont recentrées avant de les fournir au réseau PNLS de sorte que les coordonnées xm et ym du centre du cadre soient égales à 0.
[0124] Le réseau PNLS fournit en sortie un label à chacune des mesures situées dans le cadre Bm, ce label indiquant si la mesure appartient ou non à la trajectoire Tm. Ainsi, le réseau PNLs permet de séparer les mesures appartenant aux trajectoires TRJ du bruit. De plus, il fournit en sortie une classe Cm attribuée à la trajectoire Tm.
[0125] La liste des classes attribuables par le réseau PNLS est : trajectoire géostationnaire fixe ; trajectoire géostationnaire dérivante ; double trajectoires géostationnaires dérivantes (deux trajectoires dérivantes sont présentes dans un même cadre) ; et bruit.
[0126] D'autre part, le réseau PNHS est entrainé pour classifier des trajectoires de satellites en orbite moyenne ou basse (i.e. les trajectoires à grande vitesse). Comme illustré sur la figure 1, le réseau PNHS prend en entrée les cadres BB fournis par les réseaux CNNHS et CNNVHS, dédiés à la détection de trajectoires à grande vitesse. [0127] Le réseau PNHs traite séparément chacun des cadres BB. Pour le réseau PNHs, seules sont fournies les mesures autour des diagonales des cadres englobants BB (i.e. comprises en dessous d'un seuil de distance des diagonales). Ces mesures sont recentrées avant de les fournir au réseau PNHs de sorte que les coordonnées xm et ym du centre du cadre soient égales à 0. En outre, ces mesures sont normalisées avant de les fournir au réseau PNHs, et ce en divisant chacune des coordonnées des mesures par le maximum en valeur absolue des coordonnées en x et en y.
[0128] Le réseau PNHS fournit en sortie un label à chacune des mesures situées dans le cadre Bm, ce label indiquant si la mesure appartient ou non à la trajectoire Tm. Il fournit également en sortie une classe Cm attribuée à la trajectoire Tm.
[0129] La liste des classes attribuables par le réseau PNHS est : trajectoire à grande vitesse (trajectoire de type défilante ou de type trainée) ; et bruit. Ensuite, le dispositif APP peut distinguer les trajectoires de type défilantes et les trajectoires de type trainées comme suit. Les trajectoires de type défilantes comprennent en moyenne moins de 1,5 mesures par image, tandis que les trajectoires de type trainées comprennent en moyenne plus de 1,5 mesures par image.
[0130] Pour chaque cadre englobant Bm, le dispositif APP obtient ainsi : un ensemble de mesures associées à la trajectoire Tm={(xn, yn, in) I n e Nm} avec Nm les indices des mesures de la trajectoire ; et une classe Cm attribuée à la trajectoire Tm.
[0131] Les réseaux de type PointNet et leur mise en oeuvre sont par exemple décrits dans le document Qi et al. précédemment cité. Les réseaux PNLS et PNHs de type PointNet sont entrainés en utilisant des données simulées.
[0132] Pour dédier le réseau PNLs à la classification (segmentation) de trajectoires de satellites en orbite géostationnaire sensiblement fixe ou dérivante (i.e. des trajectoires à faible vitesse), il est entrainé en utilisant uniquement ces types de trajectoires. De même, le réseau PNHs est entrainé en utilisant des trajectoires de type défilantes et des trajectoires de type trainées (i.e. des trajectoires à grande vitesse).
[0133] À des fins d'illustration, la figure suivante représente les données traitées et obtenues par les différents modules du dispositif APP selon ce premier mode de réalisation.
[0134] La figure 6 représente des exemples d'images traitées par un dispositif de suivi de satellites selon un mode de réalisation de l'invention.
[0135] La première image IMG_SUP représente une superposition des images de la séquence IMG_SEQ obtenue par le module d'obtention OBT lors de l'étape S100.
[0136] La deuxième image IMG_SUP_FLT représente au sein d'une même image l'ensemble de mesures filtré SFLT obtenu par le filtre FLT suite à l'étape S200.
[0137] La troisième image IMG_TRJ_DET représente au sein d'une même image les cadres BB englobant les trajectoires de satellites détectées par le détecteur DET suite à l'étape S300. [0138] La quatrième image IMG_TRJ_CLA représente au sein d'une même image les trajectoires de satellites TRJ obtenues par le classifieur CLA suite à l'étape S400.
[0139] La cinquième image IMG_TRJ_PP représente au sein d'une même image les trajectoires de satellites TRJ obtenues par le module de traitement PP suite à l'étape S500.
[0140] Nous avons décrit ci-dessus un premier mode de réalisation du détecteur DET et du classifieur CLA du dispositif APP. Toutefois, dans le cadre de l'invention, d'autres modes de réalisation peuvent être envisagés. Aussi, nous décrivons ci-après en référence à la figure 7 un deuxième mode de réalisation de la détection et de la classification des trajectoires de satellites.
[0141] La figure 7 représente un exemple d'architecture d'un dispositif de suivi de satellites dans une séquence d'images selon un mode de réalisation de l'invention. Cette figure illustre un deuxième mode de réalisation du détecteur DET et du classifieur CLA, précédemment introduits en référence aux figures 2 et 3.
[0142] Le détecteur DET comprend, selon ce deuxième mode de réalisation, au moins un réseau de neurones TRF de type Transformer, c'est-à-dire un réseau comprenant un mécanisme d'attention. Les réseaux de neurones TRF de type Transformer et leur mise en oeuvre sont par exemple décrits dans le document A. Vaswani et al. précédemment cité.
[0143] Selon ce deuxième mode de réalisation, le réseau TRF du détecteur DET prend en entrée les mesures de l'ensemble SFLT, et fournit un vecteur latent LV pour chacune de ces mesures. Ensuite, un module d'association CLST du détecteur DET associe (i.e. regroupe) les mesures appartenant à une même trajectoire de satellite Tm en fonction des distances euclidiennes entre les vecteurs latents LV.
[0144] Le dispositif APP détecte ainsi les trajectoires TRJ respectives des différents satellites observés dans la séquence d'images IMG_SEQ. Plus précisément, pour chaque trajectoire détectée Tm, le dispositif APP obtient un ensemble de mesures associées à la trajectoire Tm={(xn, yn, in) | n e Nm} avec Nm les indices des mesures de la trajectoire.
[0145] À titre d'exemple, le module d'association CLST utilise une technique dite de regroupement hiérarchique aggloméré (« agglomerative hierarchical clustering » en anglais) avec un seuil de distance défini. Les détails de mise en oeuvre de la technique de regroupement hiérarchique aggloméré sont connus de l'homme du métier.
[0146] Toutefois, dans le cadre de l'invention, il pourrait être envisagé des modes de réalisation dans lesquels le module d'association CLST utilise d'autres algorithmes de regroupement pour associer les mesures appartenant à une même trajectoire de satellite à partir des distances entre les vecteurs latents.
[0147] Le classifieur CLA comprend, selon ce deuxième mode de réalisation, au moins un réseau de neurones de classification CN. Ce réseau de neurones CN traite séparément les différentes trajectoires de satellites détectées TRJ. Pour chaque trajectoire Tm, le réseau de classification CN prend en entrée les mesures associées à cette trajectoire Tm, et fournit en sortie une classe Cm attribuée à cette trajectoire Tm.
[0148] Aucune limitation n'est n'attachée à l'architecture du réseau de neurones de classification CN. Par exemple, le réseau CN peut être un perceptron multicouche, comprenant plusieurs couches denses avec des fonctions d'activation de type ReLU, et une couche de sortie avec une fonction d'activation de type Softmax.
[0149] Il convient de noter que les réseaux de neurones TRF et CN peuvent être entrainés à partir de données d'entrainement simulées (i.e. générées par ordinateur).
[0150] Dans le cadre de l'invention, il pourrait également être envisagé des modes de réalisation dans lesquels le détecteur DET comprend une pluralité de réseaux de neurones de type Transformer respectivement dédiés à la détection de trajectoires de satellites TRJ de vitesses différentes. De même, le classifieur CLA pourrait comprend une pluralité de réseaux de neurones de classification respectivement dédiés à la classification de trajectoires de satellites TRJ de vitesses différentes.
[0151] Suite à l'étape S300 de détection et à l'étape S400 de classification des trajectoires de satellites TRJ, le dispositif APP effectue lors de l'étape S500 différents opérations de posttraitement de ces trajectoires TRJ. Comme évoqué précédemment, l'étape S500 permet d'améliorer la fiabilité du suivi de satellites réalisé par le dispositif APP. Nous détaillons la mise en oeuvre de cette étape en référence à la figure suivante.
[0152] La figure 8 représente des étapes d'un procédé selon un mode de réalisation de l'invention pour effectuer des opérations de post-traitement de trajectoires de satellites. Cette figure détaille la mise en oeuvre de l'étape S500 introduite en référence aux figures 2 et 3.
[0153] Tel qu'illustré par la figure 8, et selon un mode de réalisation, l'étape S500 comprend tout ou partie des étapes S510 à S550 décrites ci-après et mises en oeuvre par le module de traitement PP du dispositif APP.
[0154] À l'étape S510, le dispositif APP fusionne (i.e. combine) des trajectoires de satellites TRJ pour regrouper les mesures associées à plusieurs trajectoires de satellite détectées TRJ et appartenant à un même un satellite. Ainsi, si des mesures appartenant à un même satellite ont été associées à plusieurs trajectoires par le dispositif APP, alors ces mesures sont regroupées au sein d'une même trajectoire.
[0155] Pour ce faire, le dispositif APP compare des trajectoires de satellites TRJ deux à deux, et fusionne ou non celles-ci en fonction du résultat de la comparaison.
[0156] Spécifiquement, le dispositif APP compare le nombre de mesures communes à deux trajectoires Tm et Tp. Si ce nombre est supérieure à un pourcentage donné (e.g. 20 %) du nombre de mesures de la plus petite des deux trajectoires, alors les mesures des deux trajectoires Tm et Tp sont regroupées au sein d'une unique trajectoire. En d'autres termes, le dispositif APP réalise alors l'union des deux trajectoires Tm et Tp.
[0157] Il est important de noter que le dispositif APP ne compare pas tous les types de trajectoires ensemble. D'une part, les trajectoires de type géostationnaires fixes sont comparées uniquement entre elles. D'autre part, les trajectoires géostationnaires dérivantes, de type défilantes, et de type trainées sont comparées ensemble.
[0158] À l'étape S520, le dispositif APP réalise une complétion des trajectoires de satellites TRJ de types défilantes, c'est-à-dire les trajectoires à grande vitesse et comprenant en moyenne moins de 1,5 mesures par image. Cette complétion utilise des régressions linéaires en trois dimensions.
[0159] Pour une trajectoire Tm d'un satellite, la complétion réalisée par le dispositif APP permet d'éliminer des mesures associées à la trajectoire Tm, mais n'appartenant pas à ce satellite. De plus, cette complétion permet d'ajouter des mesures appartenant au satellite et qui n'auraient pas été associées à la trajectoire Tm.
[0160] Pour chaque mesure de la trajectoire Tm, le dispositif APP prédit la position de l'objet en utilisant de la régression linéaire en trois dimensions déterminée à partir des mesures de la trajectoire Tm. S'il existe une autre mesure plus proche de la position prédite que la mesure considérée, alors la mesure considérée est éliminée de la trajectoire Tm, et est remplacée par l'autre mesure plus proche.
[0161] Pour chaque image ik de la séquence IMG_SEQ, le dispositif APP procède de la manière suivante. Si la trajectoire Tm comprend une mesure sur cette image ik, et si la distance entre cette mesure et une position prédite est supérieur à un seuil, alors la mesure est éliminée de la trajectoire Tm. Si la trajectoire Tm ne comprend pas de mesure sur cette image ik, et si la distance entre la position prédite et la mesure la plus proche de la position prédite est inférieure à un seuil, alors cette mesure est associée (i.e. ajoutée) à la trajectoire Tm.
[0162] À l'étape S530, le dispositif APP filtre les trajectoires TRJ de type trainée, c'est-à-dire les trajectoires à grande vitesse comprenant en moyenne plus de 1,5 mesures par image.
[0163] Pour chaque trajectoire Tm de type trainée, le dispositif APP détermine la pente et l'ordonnée à l'origine de la droite de régression linéaire formée par les mesures de la trajectoire Tm. Il élimine ensuite, parmi les mesures de la trajectoire Tm, celles qui s'écartent au-delà d'une distance donnée de la droite de régression linéaire.
[0164] Le dispositif APP élimine ainsi les mesures qui ne sont pas alignées le long de la trajectoire en deux dimensions. En ce sens, il réalise un polissage des trajectoires de type trainées.
[0165] À l'étape S540, le dispositif APP fusionne les trajectoires de type trainées. Cela permet d'éviter qu'une même trajectoire de type trainée ne soit détectée en plusieurs morceaux disjoints par le dispositif APP. À cet effet, le dispositif APP compare les trajectoires de types trainée entre elles, et fusionne ou non celles-ci en fonction du résultat de la comparaison. [0166] En fait, le dispositif compare deux à deux les droites de régression linéaire des trajectoires de type trainées. Pour deux trajectoires Tm et Tp de type trainées, si la différence entre leurs pentes est inférieure à un seuil, et si la différence entre leurs ordonnées à l'origine est inférieure à un autre seuil, alors le dispositif APP regroupe les mesures des deux trajectoires Tm et Tp au sein d'une unique trajectoire.
[0167] À l'étape S550, le dispositif APP filtre les trajectoires de satellites TRJ de sorte que chacune des trajectoires comprenne uniquement une mesure par image de la séquence IMG_SEQ.
[0168] Si une trajectoire Tm comprend plusieurs mesures sur une image de la séquence IMG_SEQ, le dispositif APP combine ces mesures pour obtenir une unique mesure. Par exemple, la position de l'unique mesure obtenue par le dispositif APP peut correspondre au barycentre des positions des mesures de la trajectoire Tm comprises dans cette image.
[0169] Variantes additionnelles : Il est à noter que l'ordre dans lequel s'enchaînent les étapes d'un procédé conforme à l'invention, notamment en référence aux dessins ci-joints, ne constitue qu'un exemple de réalisation dépourvu de tout caractère limitatif, des variantes étant possibles. En particulier, un procédé conforme à l'invention peut comprendre une ou plusieurs itérations des étapes décrites ci-dessus, notamment en référence aux dessins ci-joints. Par ailleurs, les signes de référence ne limitent pas l'étendue de la protection, leur unique fonction étant de faciliter la compréhension des revendications.
[0170] Un homme du métier comprendra que les modes de réalisation et variantes décrits ci-dessus ne constituent que des exemples non limitatifs de mise en oeuvre de l'invention. En particulier, l'homme du métier pourra envisager une quelconque adaptation ou combinaison des modes de réalisation et variantes décrits ci-dessus afin de répondre à un besoin bien particulier.

Claims

Revendications
1. Procédé de suivi de satellites dans une séquence d'images (IMG_SEQ), le procédé comprenant : une étape d'obtention (S100) d'un ensemble de mesures (SiN) associées à des objets spatiaux observés dans les images de la séquence (IMG_SEQ), chaque mesure comprenant une position d'un objet dans une image et un indice temporel de l'image ; une étape de détection (S300) de trajectoires de satellites (TRJ) dans la séquence d'images (IMG_SEQ), par un détecteur (DET) comprenant au moins un réseau de neurones et utilisant tout ou partie de l'ensemble de mesures obtenu (SiN) ; et une étape de classification (S400) des trajectoires de satellites détectées (TRJ), par un classifieur (CLA) comprenant au moins un autre réseau de neurones.
2. Procédé selon la revendication 1, dans lequel : le détecteur (DET) comprend au moins un réseau de neurones convolutif (CNN), et détermine (S200) des cadres (BB) englobant chacun une trajectoire de satellites (TRJ) dans les images de la séquence (IMG_SEQ) ; et le classifieur (CLA) comprend au moins un réseau de neurones de type PointNet, et pour chaque cadre (BB) englobant une trajectoire de satellite (TRJ), le classifieur (CLA) détermine (S300) les mesures situées dans le cadre appartenant à cette trajectoire, et attribue (S300) une classe à cette trajectoire.
3. Procédé selon la revendication 1, dans lequel le détecteur (DET) comprend au moins un réseau de neurones de type Transformer (TRF), et associe (S200) les mesures appartenant à une même trajectoire de satellite (TRJ) dans les images de la séquence (IMG_SEQ).
4. Procédé selon la revendication 3, dans lequel le détecteur (DET) détermine (S200) des vecteurs latents (LV) représentatifs de dites mesures (SFLT) en utilisant ledit au moins un réseau de neurones de type Transformer, et associe (S200) des mesures à une même trajectoire de satellite (TRJ) en fonction de distances entre les vecteurs latents (LV).
5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel : le détecteur (DET) comprend une pluralité de réseaux de neurones (CNNLS, CNNHS, CNNVHs) respectivement dédiés à la détection de trajectoires de satellites (TRJ) de vitesses différentes ; et le classifieur (CLA) comprend une pluralité de réseau de neurones (PNLS, PNHs) respectivement dédiés à la classification de trajectoires de satellites (TRJ) de vitesses différentes.
6. Procédé selon l'une quelconque des revendications 1 à 5, comprenant une étape de filtrage (S200) de l'ensemble de mesures (SiN) pour éliminer les mesures associées à des étoiles, et dans lequel le détecteur (DET) utilise uniquement l'ensemble de mesures filtré (SFLT) pour réaliser l'étape de détection (S300) de trajectoires de satellites (TRJ) dans la séquence d'images (IMG_SEQ).
7. Procédé selon la revendication 6, dans lequel l'étape de filtrage (S200) de l'ensemble de mesures (SIN) pour éliminer les mesures associées à des étoiles comprend : une détermination (S220) d'informations de déplacement des étoiles à partir de mesures dont la luminosité est supérieure à un seuil dans les images de la séquence (IMG_SEQ) ; et une étape d'élimination (S230) des mesures considérées comme associées à des étoiles à partir des informations de déplacement déterminées.
8. Procédé selon l'une quelconque des revendications 1 à 7, comprenant en outre : une ou plusieurs étapes de fusion (S510, S540) des trajectoires de satellites pour regrouper les mesures associées à plusieurs trajectoires de satellite détectées (TRJ) et appartenant à un même un satellite ; et une étape de filtrage (S550) des trajectoires de satellites (TRJ) pour qu'une dite trajectoire de satellite (TRJ) comprenne uniquement une mesure par image de la séquence (IMG_SEQ).
9. Dispositif (APP) de suivi de satellites dans une séquence d'images (IMG_SEQ), le dispositif (APP) comprenant : un module d'obtention (OBT) configuré pour obtenir (S100) un ensemble de mesures (S!N) associées à des objets spatiaux observés dans les images de la séquence (IMG_SEQ), chaque mesure comprenant une position d'un objet dans une image et un indice temporel de l'image ; un détecteur (DET) configuré pour détecter (S300) des trajectoires de satellites (TRJ) dans la séquence d'images (IMG_SEQ), le détecteur (DET) comprenant au moins un réseau de neurones et utilisant tout ou partie de l'ensemble de mesures obtenu (SiN) ; et un classifieur (CLA) configuré pour classer (S400) les trajectoires de satellites détectées (TRJ), le classifieur (CLA) comprenant au moins un autre réseau de neurones.
10. Système (SYS) de surveillance comprenant : un dispositif (APP) de suivi de satellites selon la revendication 9 ; et un dispositif (SENS) d'acquisition d'une séquence d'images (IMG_SEQ).
11. Programme d'ordinateur (PROG) comprenant des instructions pour mettre en oeuvre les étapes (S100-S600) d'un procédé selon l'une des revendications 1 à 8, lorsque ledit programme d'ordinateur (PROG) est exécuté par au moins un processeur (PROC).
12. Support d'informations (MEM) lisible par ordinateur comprenant un programme d'ordinateur (PROG) selon la revendication 11.
PCT/FR2024/050918 2023-07-06 2024-07-05 Procede et dispositif de suivi de satellites dans une sequence d'images Ceased WO2025008599A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2024291267A AU2024291267A1 (en) 2023-07-06 2024-07-05 Method and device for tracking satellites in an image sequence
EP24745480.4A EP4740187A1 (fr) 2023-07-06 2024-07-05 Procede et dispositif de suivi de satellites dans une sequence d'images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2307195 2023-07-06
FR2307195A FR3150891B1 (fr) 2023-07-06 2023-07-06 Procédé et dispositif de suivi de satellites dans une séquence d'images

Publications (1)

Publication Number Publication Date
WO2025008599A1 true WO2025008599A1 (fr) 2025-01-09

Family

ID=88689997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2024/050918 Ceased WO2025008599A1 (fr) 2023-07-06 2024-07-05 Procede et dispositif de suivi de satellites dans une sequence d'images

Country Status (4)

Country Link
EP (1) EP4740187A1 (fr)
AU (1) AU2024291267A1 (fr)
FR (1) FR3150891B1 (fr)
WO (1) WO2025008599A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3120950A1 (fr) * 2021-03-17 2022-09-23 Share My Space Système de détection de la trajectoire d’objets mobiles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3120950A1 (fr) * 2021-03-17 2022-09-23 Share My Space Système de détection de la trajectoire d’objets mobiles

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A. VASWANI ET AL., ATTENTION IS ALI YOU NEED, 2017
HE ET AL., DEEP RESIDUAL LEARNING FOR IMAGE RECOGNITION, 2015
JARRED JORDAN ET AL: "Quasi Real-Time Autonomous Satellite Detection and Orbit Estimation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 13 April 2023 (2023-04-13), XP091483482 *
LIU TONG ET AL: "Photometric space object classification via deep learning algorithms", ACTA ASTRONAUTICA, PERGAMON PRESS, ELMSFORD, GB, vol. 185, 8 May 2021 (2021-05-08), pages 161 - 169, XP086602851, ISSN: 0094-5765, [retrieved on 20210508], DOI: 10.1016/J.ACTAASTRO.2021.05.008 *
PENG HAO ET AL: "Comparative evaluation of three machine learning algorithms on improving orbit prediction accuracy", ASTRODYNAMICS, vol. 3, no. 4, 1 December 2019 (2019-12-01), pages 325 - 343, XP093125074, ISSN: 2522-008X, DOI: 10.1007/s42064-018-0055-4 *
QI ET AL., POINTNET : DEEP LEARNING ON POINT SETS FOR 3D CLASSIFICATION AND SEGMENTATION, 2017
REN ET AL., FASTER R-CNN : TOWARDS REAL-TIME OBJECT DETECTION WITH REGION PROPOSAL NETWORKS, 2016
SZEGEDY ET AL., RETHINKING THE INCEPTION ARCHITECTURE FOR COMPUTER VISION, 2015

Also Published As

Publication number Publication date
FR3150891B1 (fr) 2025-08-01
AU2024291267A1 (en) 2026-02-05
FR3150891A1 (fr) 2025-01-10
EP4740187A1 (fr) 2026-05-13

Similar Documents

Publication Publication Date Title
EP2400460B1 (fr) Procédé d'évaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopiloté
FR3073312A1 (fr) Procede d'estimation de pose d'une camera dans le referentiel d'une scene tridimensionnelle, dispositif, systeme de realite augmentee et programme d'ordinateur associe
EP1694058A1 (fr) Procédé et dispositif de capture d'images comprenant une mesure de mouvements locaux
FR2814312A1 (fr) Procede de segmentation d'une surface image video par objets elementaires
EP2795580A1 (fr) Procédé d'estimation de flot optique à partir d'un capteur asynchrone de lumière
EP2316082A1 (fr) Procede d'identification d'un objet dans une archive video
EP2930659B1 (fr) Procédé de détection de points d'intérêt dans une image numérique
WO2018185104A1 (fr) Procede d'estimation de pose, dispositif, systeme et programme d'ordinateur associes
EP3709049B1 (fr) Systeme de traitement radar et procede de debruitage associe
EP0961227B1 (fr) Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d'un couple d'images issues de prises de vues différentes
EP3070643B1 (fr) Procédé et système de reconnaissance d'objets par analyse de signaux d'image numérique d'une scène
FR2916562A1 (fr) Procede de detection d'un objet en mouvement dans un flux d'images
EP4740187A1 (fr) Procede et dispositif de suivi de satellites dans une sequence d'images
EP4439478A1 (fr) Procédé de suivi d'objets multiples
EP3701492A1 (fr) Procede de restauration d'images
EP2943935B1 (fr) Estimation de mouvement d'une image
EP4191530A1 (fr) Procédé de localisation et cartographie simultanées intégrant un masquage temporel auto-supervisé et modèle d'apprentissage automatique pour générer un tel masquage
FR3127837A1 (fr) Procédé d’analyse de la surface d’un toit d’un bâtiment
EP4066204A1 (fr) Procédé et dispositif de traitement d'images
EP3274914A1 (fr) Procédé de dénombrement d'objets dans une zone spatiale prédéterminée
FR3146534A1 (fr) Procede d’estimation d’une carte de profondeur d’une image monoculaire et dispositifs associes
EP4439484A1 (fr) Procédé de classification de données multidimensionnelles fortement résolues
FR3128015A1 (fr) Système d’aide à la navigation d’un véhicule.
WO2024009026A1 (fr) Procede et dispositif de classification et de localisation d'objets dans des sequences d'images, systeme, programme d'ordinateur et support d'informations associes
EP1426901B1 (fr) Procédé pour détecter des cibles ponctuelles et système de veille mettant en oeuvre ce procédé de détection de cibles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24745480

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2026500177

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: AU2024291267

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2024291267

Country of ref document: AU

Date of ref document: 20240705

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2024745480

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024745480

Country of ref document: EP

Effective date: 20260206

WWP Wipo information: published in national office

Ref document number: 2024745480

Country of ref document: EP