WO2014111442A1 - Procédé et système de modélisation 3d absolue en tout ou en partie d'un véhicule passant devant une caméra - Google Patents
Procédé et système de modélisation 3d absolue en tout ou en partie d'un véhicule passant devant une caméra Download PDFInfo
- Publication number
- WO2014111442A1 WO2014111442A1 PCT/EP2014/050757 EP2014050757W WO2014111442A1 WO 2014111442 A1 WO2014111442 A1 WO 2014111442A1 EP 2014050757 W EP2014050757 W EP 2014050757W WO 2014111442 A1 WO2014111442 A1 WO 2014111442A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- camera
- modeling
- images
- displacement
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present invention relates to a method and a 3D modeling system in whole or in part of a vehicle, said model can then be used for dimensional measurement, classification and recognition of this vehicle.
- Such a method or system can be used to differentiate types of vehicles while, for example, these vehicles pass a speedometer for a control of their speed of travel. Indeed, there may be areas where the allowed speeds are different for different types of vehicle. Thus, in France, the maximum authorized speed on the highway is 130km / h for light vehicles and it is only 90 km h for some trucks.
- a speedometer which is provided for measuring the speed of the vehicle and a camera, said contextual camera because having a wide field embracing the entire vehicle and part of its environment, which will make it possible to constitute the file for the proof of the infringement, if offense there is (taking of an image where the vehicle, on the one hand, and its driver, on the other hand, can be recognized) .
- Such a method or system can also be used to recognize vehicles that are at motorway tolls where fares depend on the type of vehicle, namely light vehicle (class 1), intermediate vehicle (class 2), heavy trucks or coaches with 2 axles (class 3), heavy goods vehicles or coaches with three or more axles (class 4), and motorcycles, sidecars, etc. (class 5).
- the object of the present invention is therefore to provide a method and a 3D modeling system in whole or in part of a vehicle, said model can then be used for automatic recognition of this vehicle, which do not have the disadvantages of the prior art mentioned above.
- the object of the invention is to propose a 3D modeling method that is absolute, that is to say the dimensions of the resulting model are determined absolutely and not relative to each other.
- a 3D modeling method in whole or in part of a vehicle passing in front of a camera is characterized in that it comprises the following steps: Capture, by means of said camera, of a plurality of N images of the vehicle at respective predetermined times different from each other,
- said method is characterized in that the number of images captured is two, so that said method comprises the following steps:
- the step of measuring the displacement of the vehicle comprises a step of measuring the speed of the vehicle carried out by means of a speedometer, such as a Doppler radar, a laser radar, or stereoscopic cameras and a step of determining said displacement by considering the predetermined moments.
- a speedometer such as a Doppler radar, a laser radar, or stereoscopic cameras
- the step of measuring the displacement of the vehicle further comprises a step of processing said images by an SfM type method.
- the present invention also relates to a 3D modeling system in whole or in part of a vehicle which is characterized in that it comprises: A so-called contextual camera intended to take then a plurality of images of the vehicle at predetermined respective times different from each other while said vehicle passes in front of it,
- the means for measuring the displacement of the vehicle comprise a speedometer, such as a Doppler radar, a laser radar, or scopic stereo cameras and means for determining said displacement by considering the instants predetermined (ti, tj).
- a speedometer such as a Doppler radar, a laser radar, or scopic stereo cameras
- the means for measuring the movement of the vehicle further comprise means for processing said images by an SfM type method.
- the present invention also relates to a program implcmentc on a memory medium, capable of being implemented within a processing unit of a 3D modeling system as just described and including instructions for the implementation of a method as just described.
- the present invention relates to applications of the 3D modeling method in whole or in part of a vehicle passing in front of a camera as it has just been described to the dimensional measurement of vehicles passing in front of said camera, to the determination of the class of the vehicle passing in front of said camera according to predetermined criteria of shape and dimensions, to the recognition of the vehicle passing in front of said camera by comparison with 3D models of predetermined vehicles.
- Fig. 1 is an illustration of the principle of the known technique of stereoscopy
- Fig. 2 is an illustration of the principle of a 3D modeling process of a vehicle using a pair of cameras, a method of the state of the art
- Fig. 3 is an illustration of the principle of a 3D modeling method of a vehicle according to the present invention
- Fig. 4 is a diagram showing the different steps of a 3D modeling process of a vehicle according to the present invention.
- Figs. 5a and 5b are diagrams of a 3D modeling system of a vehicle respectively according to first and second embodiments of the present invention.
- Fig. 6 is a view of a processing system for implementing the 3D modeling method of a vehicle according to the invention.
- the principle of the known technique of stereoscopy can be used for the three-dimensional description of an object, also called 3D modeling of the object.
- This modeling consists of determining the coordinates in space of a set of points of said object.
- FIG. 1 two cameras 1 and 2 are considered, of which only the images II and 12 have been represented, which they respectively capture from the same scene.
- any camera is called camera regardless of the number of views it can take.
- the point P has for coordinates (x, y, z) in an orthonormal frame (O, x, y, z) whose origin O is for example superimposed on the camera 1, and the points PI and P2 have for respective coordinates (ul, vl) and (u2, v2) in orthonormal references (01, u, v) and (02, u, v) linked to the image planes II and 12.
- the camera 1 is calibrated, which means that mathematically speaking, it is possible to define a transformation matrix Ml which at a point P (x, y, z) in the reference frame (O, x, y, z) matches a point PI (ul, v1) in the frame (01, u, v) of the image II.
- the camera 2 is calibrated so that a transformation matrix M2 can be defined which at a point P (x, y, z) matches a point P2 (u2, v2) in the image plane 12.
- the point P2 (u2, v2) is the image of a line D2.
- a difficulty in the implementation of this technique is the mapping of the homologous points PI and P2, images of the same point object P. It may result from this mapping, a certain inaccuracy in the determination of the lines D1 and D2 and therefore of the point P (x, y, z). Thus, in practice, the number of cameras is increased and thus this inaccuracy is reduced. This increase in the number of cameras also limits the extent of portions of large objects that may be hidden for all cameras or visible for only one of them.
- This stereoscopic camera technique can be used for the 3D definition of an object.
- the principle presented previously for a point P (x, y, z) is applied to a set of points of the visible surface of an object in order to determine a 3D model of this object. Let us illustrate this by means of the same Fig. 1.
- a linear object such as the PQ segment in front of the two cameras 1 and 2.
- the image of this object in the image plane II of the camera 1 is the segment P1Q1 and, in the image plane 12 of the camera 2 , the P2Q2 segment.
- the field of the cameras 1 and 2 must, this time, be rather wide.
- FIG. 2 a vehicle 20 which is in front of two cameras 11 and 12.
- 3D the vehicle that is to say to determine the 3D coordinates of a plurality of points of said vehicle and thus to have a 3D image of this vehicle.
- D distance between the two cameras 11 and 12.
- This technique for the 3D modeling of a vehicle in whole or in part, is entirely satisfactory for recognizing a vehicle and discriminating it from another vehicle of a different type. Nevertheless, it has the main disadvantage of requiring two separate cameras. As a result, its cost may be relatively large deterring the use of this technique.
- the object of the present invention is to solve this problem.
- FIG. 3 the principle of the present invention is illustrated.
- a single camera 10 captures two images II and 12 of the same vehicle 20 at different predetermined times t0 and t1, respectively. If we consider only the vehicle 20 and thus obscure the environment of this vehicle, the image captured at time tl by the camera 10 can be considered to be identical to an image captured by a virtual camera 13 (drawn in virtual dashed lines) which would be at a distance D from the camera 10. Considering the camera 10, this virtual camera 13 and the images II and 12 respectively taken by these cameras, we are brought back, for the 3D modeling of the vehicle 20, to the same problem as that treated in connection with FIG. 2 with both cameras 11 and 12.
- P '(u0, vO) is the point ⁇ ', image of the point P, at the instant t0 and P '(ul, vl) is the point P' at the moment tl.
- P (x1, y1, z1) P (x0, y0, z0) + D (dx, dy, dz)
- D is the moving vector of the mobile between times t0 and t1, or in the form of a matrix:
- the vector D is equal to the product of the vehicle speed vector V (vx, vy, vz) by measuring the time interval tl-t0.
- the vehicle will generally not be moved parallel to the abscissa of the reference (O, x, y, z) related to the scene but rather performed a translation in any direction of this marker, with or without a rotation.
- the speed V is measured by means of a suitable speedometer, such as a Doppler radar, a laser radar, or stereoscopic cameras.
- a suitable speedometer such as a Doppler radar, a laser radar, or stereoscopic cameras.
- the speedometer provides pure speed information, without orientation or rotation information
- the missing information can be calculated, namely the orientation of the vehicle translation but also its possible rotation, by means of a known method of the person skilled in the art by the name of "Structure From Motion” (SfM), also known to those skilled in the art, and applied to the images obtained by the camera 10.
- SfM Structure From Motion
- an image II of the vehicle 20 is captured at time t0,
- the 3D modeling of the vehicle 20 is determined by considering the image II captured by the said camera 10, the image 12 of the said virtual camera and the movement of the vehicle. More generally, we call T a processing which, for any pair of homologous points ⁇ and P'2 images of the same point P (x, y, z) of two images II and 12 respectively taken by two identical cameras staggered. one with respect to the other of a distance D, makes it possible to know the coordinates of the point P antecedent:
- the processing T makes it possible to determine the 3D modeling of said object.
- the method of the invention therefore consists of the following steps:
- an image II of the vehicle 20 is captured at a time t0,
- an image 12 of the same vehicle 20 is captured at a time t1 different from the time t0,
- the displacement of the vehicle is measured between times t1 and t2,
- the 3D view of the vehicle 20 is determined by considering the image II, the image 12 and the displacement D and by applying the treatment T to these elements.
- Step E1 is a step of capturing, by means of said camera 10, a plurality of N images II to IN of the vehicle 20 at respective times t0 to tN-1 different from each other,
- Step E2 is a step of measuring the displacement traveled by said vehicle between said two instants t1 and tj, and
- Step E3 is a step of 3D modeling of the vehicle 20 by applying a processing T intended for the 3D modeling of an object from two images taken by two identical cameras offset with respect to each other, considering, for at least one pair of instant ti, tj, one of these two images as being the image Ii taken at time ti and the other the image Ij taken at time tj and the offset between said two cameras as the measured displacement Dij.
- the 3D modeling obtained by the method of the invention is an absolute modeling in that the object, in this case a vehicle, is not only determined in shape but also in absolute dimensions.
- the possible applications of the method of the invention are then, for example, the dimensional measurement of vehicles passing in front of a camera, the classification, that is to say the determination of the class (light vehicle, van, truck, etc.). ) of the vehicle passing in front of a camera, according to predetermined criteria of shape and dimensions but also of recognition by comparison with predetermined vehicle models.
- FIGS. 5a and 5b a 3D modeling system of a vehicle 20 that can be used to implement the method of the present invention. It comprises :
- a so-called contextual camera 10 which is intended to then take a plurality of images II to IN of the vehicle 20 at predetermined respective times t0 to tN-1 while said vehicle 20 passes in front of it,
- the means 30 for measuring the movement of the vehicle comprise a speedometer 31, such as a Doppler radar, a laser radar, or stereoscopic cameras and means 32 for determining said displacement by considering the instants predetermined ti, tj.
- the means 30 for measuring the movement of the vehicle comprise, in addition, means 34 for processing the images obtained by the camera 10, by a method of the SfM type.
- the calculation means 40 as well as possibly the image processing means 34 making it possible to implement the method of the SfM type may consist of a processing system 50 (see FIG.6) comprising a processing unit 51 associated with a processing unit. memory 52 in which is stored a computer program comprising instructions whose progress allows the implementation of the 3D modeling process as described above. Said processing system also comprises ports 53 and 54 connected to said processing unit 51 and provided for receiving respectively the image signals from the cameras 10 and 31 or 33.
Abstract
La présente invention concerne un procédé de modélisation 3D absolue en tout ou en partie d'un véhicule (20) passant devant une caméra (10). Selon l'invention, il est caractérisé en ce qu'il comporte les étapes suivantes : - Capture, au moyen de ladite caméra (10), d'une pluralité de N images (Il à IN) du véhicule (20) à des instants prédéterminés respectifs t0 à tN-1 différents les uns des autres, - Mesure du déplacement du véhicule (20) entre au moins un premier instant et un second instant prédéterminés (ti) et (tj) différents, - Modélisation 3D du véhicule (20) par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple de premier et second instants (ti, tj), l'une de ces deux images comme étant l'image (Ii) prise audit premier instant (ti), l'autre l'image (Ij) prise audit second instant (tj) et le décalage entre lesdites deux caméras comme étant égal à la valeur du déplacement du véhicule entre lesdits deux instants (ti, tj). La présente invention concerne également un système de modélisation 3D.
Description
Procédé et système de modélisation 3D absolue en tout ou en partie d'un véhicule passant devant une caméra.
La présente invention concerne un procédé et un système de modélisation 3D en tout ou en partie d'un véhicule, ledit modèle pouvant alors être utilisé à des fins de mesure dimensionnelle, de classification et reconnaissance de ce véhicule.
Un tel procédé ou un tel système peut être utilisé pour différencier des types de véhicules alors que, par exemple, ces véhicules passent devant un cinémomètre pour un contrôle de leur vitesse d'avancement. En effet, il peut y avoir des zones où les vitesses autorisées sont différentes pour des types différents de véhicule. Ainsi, en France, la vitesse maximum autorisée sur autoroute est de 130km/h pour les véhicules légers et elle n'est que de 90 km h pour certains camions.
Dans ce type d'application, on dispose donc en général d'un cinémomètre qui est prévu pour mesurer la vitesse du véhicule et d'une caméra, dite caméra contextuelle car ayant un champ large embrassant l'ensemble du véhicule et une partie de son environnement, qui va permettre de constituer le dossier pour la preuve de l'infraction, si infraction il y a (prise d'une image où le véhicule, d'une part, et son conducteur, d'autre part, peuvent être reconnus).
Un tel procédé ou système peut également être utilisé pour reconnaître les véhicules qui sont à des péages d'autoroute où les tarifs dépendent du type de véhicule, à savoir véhicule léger (classe 1), véhicule intermédiaire (classe 2), les poids lourds ou autocars à 2 essieux (classe 3), les poids lourds ou autocars à trois essieux et plus (classe 4), et les motocyclettes, sidecars, etc. (classe 5).
Il est souhaitable que cette reconnaissance se fasse de manière automatique, c'est-à-dire sans intervention humaine.
Différents systèmes de reconnaissance automatique de véhicules sont connus. On peut citer les systèmes dont les dimensions du véhicule sont mesurées au moyen de capteurs à effet Doppler. Ces dimensions sont comparées à des gabarits et le type du véhicule peut en être déduit. Néanmoins, ces systèmes ont des performances limitées en précision du fait que les seules dimensions ne permettent pas de différencier des véhicules pourtant dans des classes différentes, comme par exemple un véhicule léger traînant une caravane et un camion ou une camionnette. On connaît également des systèmes multilasers à balayage qui s'avèrent être des systèmes complexes et coûteux.
On connaît également des systèmes de reconnaissance automatique de véhicule basés sur l'utilisation d'une paire de caméras. Le principe de ce type de ce système est décrit de manière plus approfondie dans le corps même de la présente description. Brièvement, ce principe consiste, à partir de deux images prises simultanément par deux caméras identiques physiquement décalées l'une par rapport à l'autre, de modéliser en 3D en tout ou en partie le véhicule. Ce modèle 3D est ensuite utilisé pour la reconnaissance proprement dite. On peut d'ores et déjà dire que ces systèmes à paire de caméras, bien que présentant une bonne précision, s'avèrent assez coûteux.
Le but de la présente invention est donc de proposer un procédé et un système de modélisation 3D en tout ou en partie d'un véhicule, ledit modèle pouvant alors être utilisé à des fins de reconnaissance automatique de ce véhicule, qui ne présentent pas les inconvénients de l'art antérieur rappelés ci-dessus. De plus, le but de l'invention est de proposer un procédé de modélisation 3D qui soit absolue, c'est-à-dire dont les dimensions du modèle résultant sont déterminées de manière absolue et non relativement les unes par rapport aux autres.
A cet effet, un procédé de modélisation 3D en tout ou en partie d'un véhicule passant devant une caméra est caractérisé en ce qu'il comporte les étapes suivantes :
- Capture, au moyen de ladite caméra , d'une pluralité de N images du véhicule à des instants prédéterminés respectifs différents les uns des autres,
- Mesure du déplacement du véhicule entre au moins un premier instant et un second instant prédéterminés différents,
- Modélisation 3D du véhicule par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple de premier et second instants l'une de ces deux images comme étant l'image prise audit premier instant, l'autre image prise audit second instant et le décalage entre lesdites deux caméras comme étant égal à la valeur du déplacement du véhicule entre lesdits deux instants.
Avantageusement, ledit procédé est caractérisé en ce que le nombre d'images capturées est de deux, si bien que ledit procédé comporte les étapes suivantes :
- Capture, au moyen de ladite caméra, d'une première image du véhicule à un instant tO,
- Capture, au moyen de ladite caméra, d'une seconde image du véhicule à un instant tl,
- Mesure du déplacement du véhicule entre les instants tO et tl, et
- Modélisation 3D du véhicule par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant l'une de ces deux images comme étant l'image et l'autre l'image et le décalage entre lesdites deux caméras comme étant égal à la valeur du déplacement du véhicule entre lesdits deux instants.
Selon une autre caractéristique avantageuse de l'invention, l'étape de mesure du déplacement du véhicule comporte une étape de mesure de la vitesse du véhicule effectuée au moyen d'un cinémomètre, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques et une étape de détermination dudit déplacement en considérant les instants prédéterminés.
Selon une autre caractéristique avantageuse de l'invention, l'étape de mesure du déplacement du véhicule comporte de plus une étape de traitement desdites images par une méthode de type SfM.
La présente invention concerne également un système de modélisation 3D en tout ou en partie d'un véhicule qui est caractérisé en ce qu'il comporte :
- Une caméra dite contextuelle destinée à prendre alors une pluralité d'images du véhicule à des instants respectifs prédéterminés différents les uns des autres alors que ledit véhicule passe devant elle,
- Des moyens pour mesurer, entre au moins un premier instant prédéterminé et un second instant prédéterminé différents, le déplacement du véhicule alors qu'il passe devant la caméra,
- Des moyens de calcul pour modéliser en 3D le véhicule par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple de premier et second instants, l'une de ces deux images comme étant l'image prise audit premier l'instant, l'autre image prise audit second instant et le décalage entre lesdites deux caméras comme égal à la valeur dudit déplacement mesuré entre les temps.
Selon une autre caractéristique de l'invention, les moyens de mesure du déplacement du véhicule comportent un cinémomètre, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréo scopiques et des moyens de détermination dudit déplacement en considérant les instants prédéterminés (ti, tj).
Selon une autre caractéristique de l'invention, les moyens de mesure du déplacement du véhicule comportent de plus des moyens de traitement desdites images par une méthode de type SfM.
La présente invention concerne encore un programme implcmentc sur un support mémoire, susceptible d'être mis en œuvre au sein d'une unité de traitement d'un système de modélisation 3D tel qu'il vient d'être décrit et comprenant des instructions pour la mise en œuvre d'un procédé tel qu'il vient d'être décrit.
La présente invention concerne des applications du procédé de modélisation 3D en tout ou en partie d'un véhicule passant devant une caméra tel qu'il vient d'être décrit à la mesure dimensionnelle de véhicules passant devant ladite caméra, à la détermination de la classe du véhicule qui passe devant ladite caméra selon des critères prédéterminés de forme et dimensions, à la reconnaissance du véhicule qui passe devant ladite caméra par comparaison à des modèles 3D de véhicules prédéterminés.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de
réalisation, ladite description étant faite en relation avec les dessins joints parmi lesquels :
La Fig. 1 est une illustration du principe de la technique connue de la stéréoscopie,
La Fig. 2 est une illustration du principe d'un procédé de modélisation 3D d'un véhicule qui utilise une paire de caméras, procédé de l'état de la technique,
La Fig. 3 est une illustration du principe d'un procédé de modélisation 3D d'un véhicule selon la présente invention,
La Fig. 4 est un diagramme montrant les différentes étapes d'un procédé de modélisation 3D d'un véhicule selon la présente invention,
Les Figs. 5a et 5b sont des schémas d'un système de modélisation 3D d'un véhicule selon respectivement un premier et un second modes de réalisation de la présente invention, et
La Fig. 6 est une vue d'un système de traitement permettant la mise en œuvre du procédé de modélisation 3D d'un véhicule selon l'invention.
Le principe de la technique connue de la stéréoscopie peut être utilisé pour la description en trois dimensions d'un objet, encore appelée modélisation 3D de l'objet. Cette modélisation consiste à déterminer les coordonnées dans l'espace d'un ensemble de points dudit objet.
A la Fig. 1, on considère deux caméras 1 et 2 dont on n'a représenté que les images II et 12 qu'elles capturent respectivement d'une même scène.
Dans la présente description, on appelle caméra tout appareil de prise de vue quel que soit le nombre de vues qu'il peut prendre.
Dans la scène de la Fig. 1, se trouve un objet ponctuel P dont les images respectives dans les plans image II et 12 sont les points PI et P2. Ces points PI et P2 sont dits ci-après images du point P et inversement, le point P est dit antécédent des points PI et P2. Quant aux points PI et P2, étant images d'un même point P, ils sont dits points homologues.
Le point P a pour coordonnées (x, y, z) dans un repère orthonormé (O, x, y, z) dont l'origine O est par exemple superposée à la caméra 1, et les points PI et P2 ont pour coordonnées respectives (ul, vl) et (u2, v2) dans des repères orthonormés (01, u, v) et (02, u, v) liés aux plans images II et 12.
La caméra 1 est calibrée, ce qui signifie que mathématiquement parlant, on peut définir une matrice de transformation Ml qui à un point P(x,y,z) dans le repère
(O, x, y, z) fait correspondre un point PI (ul, vl) dans le repère (01, u, v) de l'image II .
Selon un modèle de caméra dit de sténopé que l'on a volontairement simplifié pour rester facilement compréhensible et où l'on considère les axes Ox et Oy respectivement parallèles aux axes Olu et 01 v et l'axe Oz perpendiculaire au plan [Olu, Olv], l'équation de la transformation faisant passer d'un point P(x, y, z) à un point Pl(ul, vl) est donnée par l'équation suivante :
Cette transformation n'est pas bijective car un point Pl(ul, vl) est l'image d'une droite Dl et non du seul point P(x,y,z). Ce qui signifie encore que l'équation ci-dessus avec (x, y, z) comme seules inconnues, n'admet pas une unique solution (ul, vl) mais, en définitive, une infinité.
De même, la caméra 2 est calibrée si bien qu'on peut définir une matrice de transformation M2 qui à un point P(x,y,z) fait correspondre un point P2 (u2, v2) dans le plan image 12. Là, le point P2(u2, v2) est l'image d'une droite D2.
Lorsque les deux caméras 1 et 2 ont la même orientation et sont décalées l'une par rapport à l'autre d'un vecteur -D(dx, dy, dz), on peut donc écrire :
Ce système d'équations admet une solution unique qui est le point P(x,y,z), en l'occurrence celui qui est à l'intersection des deux droites Dl et D2.
Une difficulté de la mise en œuvre de cette technique est la mise en correspondance des points homologues PI et P2, images d'un même objet ponctuel P. II peut résulter de cette mise en correspondance, une certaine imprécision dans la détermination des droites Dl et D2 et donc du point P(x,y,z). Ainsi, dans la pratique, on augmente le nombre de caméras et on diminue ainsi cette imprécision. Cette augmentation du nombre de caméras permet par ailleurs de limiter l'étendue des portions d'objets volumineux qui peuvent se trouver cachées pour l'ensemble des caméras ou visibles pour une seule d'entre elles.
Cette technique de caméras stéréoscopiques peut être utilisée pour la définition 3D d'un objet. Le principe présenté précédemment pour un point P(x, y, z) est appliqué à un ensemble de points de la surface visible d'un objet afin de déterminer un modèle 3D de cet objet. Illustrons ceci au moyen de la même Fig. 1. Supposons maintenant un objet linéaire tel que le segment PQ devant les deux caméras 1 et 2. L'image de cet objet dans le plan image II de la caméra 1 est le segment P1Q1 et, dans le plan image 12 de la caméra 2, le segment P2Q2. Comme précédemment, on peut déterminer les coordonnées en trois dimensions des points antécédents P et Q, et donc déterminer en 3D le segment PQ. Pour pouvoir embrasser un objet complexe, tel qu'un véhicule, le champ des caméras 1 et 2 doit, cette fois-ci, être assez large.
On a représenté à la Fig. 2, un véhicule 20 qui se trouve devant deux caméras 11 et 12. Comme cela vient d'être dit, au moyen de ces deux caméras 11 et 12, il est possible de modéliser en 3D le véhicule, c'est-à-dire de déterminer les coordonnées en 3D d'une pluralité de points dudit véhicule et ainsi de disposer d'une image 3D de ce
véhicule. On rappelle que la position relative des deux caméras rentre en ligne de compte dans cette détermination. Cette position relative est matérialisée à la Fig. 2 par la distance D(dx, dy, dz) qui sépare les deux caméras 11 et 12.
Cette technique pour la modélisation 3D d'un véhicule, en tout ou en partie, donne entière satisfaction pour pouvoir reconnaître un véhicule et le discriminer d'un autre véhicule d'un type différent. Néanmoins, elle présente le principal inconvénient de nécessiter deux caméras distinctes. Il en résulte que son coût peut s'avérer relativement important dissuadant l'utilisation de cette technique.
Le but de la présente invention est de résoudre ce problème.
A la Fig. 3, on a illustré le principe de la présente invention. Une seule et unique caméra 10 capture deux images II et 12 d'un même véhicule 20 respectivement à des temps prédéterminés tO et tl différents. Si l'on ne considère que le véhicule 20 et donc qu'on occulte l'environnement de ce véhicule, l'image capturée à l'instant tl par la caméra 10 peut être considérée comme étant identique à une image capturée par une caméra virtuelle 13 (dessinée en pointillés car virtuelle) qui se trouverait à une distance D de la caméra 10. En considérant la caméra 10, cette caméra virtuelle 13 et les images II et 12 respectivement prises par ces caméras, on est ramené, pour la modélisation 3D du véhicule 20, au même problème que celui traité en relation avec la Fig. 2 avec les deux caméras 11 et 12.
On suppose que la caméra 10 est calibrée, c'est-à-dire que pour tout point P de coordonnées (x, y, z) dans le repère (O, x, y, z) d'une scène devant elle, apparaît un point P' de coordonnées (u,v) dans l'image de la scène qui vérifie l'équation suivante :
Ainsi, si on considère P(x0, yO, zO), un point P d'un mobile à un instant tO et P(xl, yl, zl) le même point P à un instant tl, on peut écrire :
_
où P'(u0, vO) est le point Ρ', image du point P, à l'instant tO et P'(ul, vl) est le point P' à l'instant tl .
Par ailleurs, on peut également écrire le système d'équations suivant :
P(xl, yl, zl) = P(x0, yO, zO) + D(dx, dy, dz) où D est le vecteur déplacement du mobile entre les instants tO et tl, soit sous forme de matrice :
On peut donc écrire
Le vecteur D est égal au produit du vecteur vitesse du véhicule V(vx, vy, vz) par la mesure de l'intervalle de temps tl-tO.
Si l'on considère, de manière simplifiée, que le repère orthonormé (O, x, y, z) lié à la scène est tel qu'un des axes (par exemple, l'abscisse) est parallèle à la direction d'avancement du véhicule, le vecteur vitesse peut alors s'écrire :
V(vx, vy, vz) = V(vx, 0, 0) = V où V est la vitesse linéaire d'avancement du véhicule.
Si l'on connaît la vitesse V, d'une part, et les coordonnées des points P'(u0, vO) au temps to et P'(ul, vl) au temps tl , d'autre part, il est possible de calculer les coordonnées (xO, yO, zO) du point P antécédent des points P', et ce pour tout point P. Ainsi, en appliquant ce principe à une pluralité de points pris de proche en proche, ou de point remarquable en point remarquable, il est possible de construire une modélisation 3D du véhicule 20 auquel lesdits points P appartiennent, ou tout du moins en partie du véhicule 20.
Dans la pratique, le véhicule ne sera en général pas déplacé parallèlement à l'abscisse du repère (O, x, y, z) lié à la scène mais aura plutôt accompli une translation dans une direction quelconque de ce repère, assortie ou non d'une rotation.
Dans la pratique encore, selon l'invention, la vitesse V est mesurée au moyen d'un cinémomètre approprié, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques.
Si le cinémomètre fournit une information de vitesse pure, sans information d'orientation ou de rotation, on peut calculer les informations manquantes, à savoir l'orientation de la translation du véhicule mais aussi son éventuelle rotation, au moyen d'une méthode connue de l'homme du métier sous le nom de "Structure From Motion" (SfM) également connue de l'homme du métier, et appliquée aux images obtenues grâce à la caméra 10. Cette méthode est basée sur le principe stéréo scopique donné simplement ci-dessus.
En définitive, le principe de la présente invention est le suivant :
- on capture une image II du véhicule 20 à l'instant tO,
- on capture une image 12 du même véhicule 20 à un instant tl
- on mesure le déplacement du véhicule entre les instants tO et tl ,
- on détermine la position d'une caméra virtuelle qui aurait capturé une image identique à l'image 12 mais au temps tO,
- on détermine la modélisation 3D du véhicule 20 en considérant l'image II capturée par ladite caméra 10, l'image 12 de ladite caméra virtuelle et le déplacement du véhicule.
Plus généralement, on appelle T un traitement qui, pour tout couple de points homologues ΡΊ et P'2 images d'un même point P(x, y, z) de deux images II et 12 respectivement prises par deux caméras identiques décalées l'une par rapport à l'autre d'une distance D, permet de connaître les coordonnées du point P antécédent :
P(x, y, z) = T(P'l, P'2, D)
Appliqué à une pluralité de points remarquables d'un objet placé devant les deux caméras, le traitement T permet de déterminer la modélisation 3D dudit objet.
L'invention ne réside pas dans le traitement T qui est connu de l'homme du métier. Les modèles évoqués ci-dessus en sont des versions simplifiées données à titre d'exemple.
Le procédé de l'invention consiste donc en les étapes suivantes :
- on capture, au moyen d'une caméra, une image II du véhicule 20 à un instant tO,
- on capture, au moyen de la même caméra, une image 12 du même véhicule 20 à un instant tl différent du temps tO,
- on mesure le déplacement du véhicule entre les instants tl et t2,
- on détermine la vue 3D du véhicule 20 en considérant l'image II, l'image 12 et le déplacement D et en appliquant le traitement T à ces éléments.
A l'instant tO, certaines parties du véhicule 20 ne sont pas visibles par la caméra 10 du fait notamment que d'autres parties les cachent. Mais, il peut arriver qu'à l'instant tl , ces parties deviennent visibles pour la caméra 10. Si l'on ne prenait que deux images du véhicule, l'on ne disposerait, pour ces seules parties devenues visibles, que d'une seule image qui ne serait alors pas exploitable dans le cadre de l'invention. Néanmoins, ces parties pourraient être toujours visibles à un instant t2 postérieur à l'instant tl. On pourrait donc exploiter, selon le procédé de l'invention, les deux images respectivement prises par la caméra 10 aux instants tl et t2 et ainsi modéliser ces parties au départ, c'est-à-dire à l'instant tO, non visibles. Ce même processus pourrait être répété plusieurs fois pour des couples d'images prises respectivement à des instants prédéterminés respectifs ti et tj.
On a représenté à la Fig. 4 les étapes alors mises en œuvre pour les deux instants ti et tj.
L'étape El est une étape de capture, au moyen de ladite caméra 10, d'une pluralité de N images II à IN du véhicule 20 à des instants respectifs tO à tN-1 différents les uns des autres,
L'étape E2 est une étape de mesure du déplacement parcouru par ledit véhicule entre lesdits deux instants ti et tj, et
L'étape E3 est une étape de modélisation 3D du véhicule 20 par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple d'instant ti, tj, l'une de ces deux images comme étant l'image Ii prise à l'instant ti et l'autre l'image Ij prise à l'instant tj et le décalage entre lesdites deux caméras comme étant le déplacement mesuré Dij.
On notera que la modélisation 3D obtenue par le procédé de l'invention est une modélisation absolue en ce sens où l'objet, en l'occurrence un véhicule, est non seulement déterminé en forme mais aussi en dimensions absolues.
Les applications possibles du procédé de l'invention sont alors par exemple la mesure dimensionnelle de véhicules passant devant une caméra, la classification, c'est- à-dire la détermination de la classe (véhicule léger, camionnette, poids-lourds, etc.) du véhicule passant devant une caméra, selon des critères prédéterminés de forme et dimensions mais aussi de reconnaissance par comparaison à des modèles de véhicules prédéterminés.
On a représenté aux Figs. 5a et 5b, un système de modélisation 3D d'un véhicule 20 qui peut être utilisé pour pouvoir mettre en œuvre le procédé de la présente invention. Il comporte :
- Une caméra 10 dite contextuelle qui est destinée à prendre alors une pluralité d'images II à IN du véhicule 20 à des instants respectifs prédéterminés tO à tN-1 alors que ledit véhicule 20 passe devant elle,
- des moyens 30 prévus pour mesurer, entre différents couples d'instants prédéterminés ti et tj, le déplacement Dij du véhicule alors qu'il passe devant la caméra 10,
- Des moyens de calcul 40 pour modéliser en 3D le véhicule 20 par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre, en considérant, pour au moins un couple d'instant ti, tj, l'une de ces deux images comme étant l'image
Ii prise à l'instant ti et l'autre l'image Ij prise à l'instant tj et le décalage entre lesdites deux caméras comme étant le déplacement calculé Dij.
Selon un premier mode de réalisation, les moyens de mesure 30 du déplacement du véhicule comportent un cinémomètre 31, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques et des moyens 32 de détermination dudit déplacement en considérant les instants prédéterminés ti, tj.
Selon une variante de réalisation, les moyens de mesure 30 du déplacement du véhicule comportent, en sus, des moyens 34 de traitement des images obtenues par la caméra 10, par une méthode de type SfM.
Les moyens de calcul 40 ainsi qu'éventuellement les moyens de traitement d'images 34 permettant de mettre en œuvre la méthode de type SfM peuvent consister en un système de traitement 50 (voir Fig. 6) comprenant une unité de traitement 51 associée à une mémoire 52 dans laquelle est stocké un programme d'ordinateur comprenant des instructions dont le déroulement permet la mise en œuvre du procédé de modélisation 3D tel qu'il a été décrit ci-dessus. Ledit système de traitement comprend encore des ports 53 et 54 reliés à ladite unité de traitement 51 et prévus pour y recevoir respectivement les signaux d'images issus des caméras 10 et 31 ou 33.
Claims
REVENDICATIONS
1) Procédé de modélisation 3D absolue en tout ou en partie d'un véhicule (20) passant devant une caméra (10), du type comportant les étapes suivantes :
- Capture, au moyen de ladite caméra (10), d'une pluralité de N images (Il à IN) du véhicule (20) à des instants prédéterminés respectifs tO à tN-1 différents les uns des autres,
- Modélisation 3D du véhicule (20) par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre d'un décalage (D), en considérant, pour au moins un couple de premier et second instants (ti, tj), l'une de ces deux images comme étant l'image (Ii) prise audit premier instant (ti), l'autre l'image (Ij) prise audit second instant (tj)
caractérisé en ce qu'il comporte une étape de mesure du déplacement du véhicule (20) entre au moins ledit premier instant (ti) et ledit second instant (tj), le décalage (D) étant égal à la valeur du déplacement du véhicule entre lesdits deux instants (ti, tj).
2) Procédé de modélisation 3D d'un véhicule (20) selon la revendication 1, caractérisé en ce que le nombre d'instants considérés (ti, tj) est de deux.
3) Procédé de modélisation 3D d'un véhicule (20) selon la revendication 1 ou 2, caractérisé en ce que l'étape de mesure du déplacement du véhicule (20) comporte une étape de mesure de la vitesse du véhicule (20) effectuée au moyen d'un cinémomètre, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréo scopiques et une étape de détermination dudit déplacement en considérant les instants prédéterminés (ti, tj) et ladite vitesse mesurée.
4) Procédé de modélisation 3D d'un véhicule (20) selon la revendication 1 ou 2 ou 3, caractérisé en ce que l'étape de mesure du déplacement du véhicule (20) comporte une étape de traitement desdites images par une méthode de type SfM.
5) Système de modélisation 3D en tout ou en partie d'un véhicule (20), du type comportant :
- Une caméra (10) dite contextuelle destinée à prendre alors une pluralité d'images (Il à IN) du véhicule (20) à des instants respectifs prédéterminés tO à tN-1 différents les uns des autres alors que ledit véhicule (20) passe devant elle,
- Des moyens de calcul (40) pour modéliser en 3D le véhicule (20) par application d'un traitement T destiné à la modélisation 3D d'un objet à partir de deux images prises par deux caméras identiques décalées l'une par rapport à l'autre d'un décalage (D), en considérant, pour au moins un couple de premier et second instants (ti, tj), l'une de ces deux images comme étant l'image (Ii) prise audit premier l'instant (ti), l'autre l'image (Ij) prise audit second instant (tj),
caractérisé en ce qu'il comporte en outre des moyens (30) pour mesurer, entre au moins ledit premier instant prédéterminé (ti) et ledit second instant prédéterminé (tj), le déplacement du véhicule (20) alors qu'il passe devant la caméra (10), ledit décalage (D) étant égal à la valeur dudit déplacement mesuré entre les temps (ti) et (tj). 6) Système de modélisation 3D selon la revendication 5, caractérisé en ce que les moyens (30) de mesure du déplacement du véhicule (20) comportent un cinémomètre, tel qu'un radar à effet Doppler, un radar laser, ou des caméras stéréoscopiques et des moyens de détermination dudit déplacement en considérant les instants prédéterminés (ti, tj) et la vitesse mesurée par ledit cinémomètre.
7) Système de modélisation 3D selon la revendication 5 ou 6, caractérisé en ce que les moyens de mesure du déplacement du véhicule (20) comportent des moyens de traitement desdites images par une méthode de type SfM. 8) Programme implcmcntc sur un support mémoire, susceptible d'être mis en œuvre au sein d'une unité de traitement d'un système de modélisation 3D selon une des revendications 5 à 7 et comprenant des instructions pour la mise en œuvre d'un procédé selon l'une des revendications 1 à 4. 9) Application du procédé de modélisation 3D en tout ou en partie d'un véhicule
(20) passant devant une caméra (10) selon une des revendications 1 à 4 à la mesure dimensionnelle de véhicules passant devant ladite caméra (10).
10) Application du procédé de modélisation 3D en tout ou en partie d'un véhicule (20) passant devant une caméra (10) selon une des revendications 1 à 4 à la détermination de la classe du véhicule (20) qui passe devant ladite caméra (10) selon des critères prédéterminés de forme et dimensions.
11) Application du procédé de modélisation 3D en tout ou en partie d'un véhicule (20) passant devant une caméra (10) selon une des revendications 1 à 4 à la reconnaissance du véhicule qui passe devant ladite caméra (10) par comparaison à des modèles 3D de véhicules prédéterminés.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14701000.3A EP2946358A1 (fr) | 2013-01-17 | 2014-01-16 | Procédé et système de modélisation 3d absolue en tout ou en partie d'un véhicule passant devant une caméra |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1350402A FR3001072B1 (fr) | 2013-01-17 | 2013-01-17 | Procede et systeme de modelisation 3d absolue en tout ou en partie d'un vehicule passant devant une camera. |
| FR13/50402 | 2013-01-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2014111442A1 true WO2014111442A1 (fr) | 2014-07-24 |
Family
ID=48468478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2014/050757 WO2014111442A1 (fr) | 2013-01-17 | 2014-01-16 | Procédé et système de modélisation 3d absolue en tout ou en partie d'un véhicule passant devant une caméra |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP2946358A1 (fr) |
| FR (1) | FR3001072B1 (fr) |
| WO (1) | WO2014111442A1 (fr) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2085791A1 (fr) * | 2008-01-29 | 2009-08-05 | Omron Corporation | Dispositif de traitement d'images, procédé de traitement d'images et programme |
| US20110137527A1 (en) * | 2003-07-25 | 2011-06-09 | Stephan Simon | Device for classifying at least one object in the surrounding field of a vehicle |
-
2013
- 2013-01-17 FR FR1350402A patent/FR3001072B1/fr active Active
-
2014
- 2014-01-16 EP EP14701000.3A patent/EP2946358A1/fr not_active Withdrawn
- 2014-01-16 WO PCT/EP2014/050757 patent/WO2014111442A1/fr active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110137527A1 (en) * | 2003-07-25 | 2011-06-09 | Stephan Simon | Device for classifying at least one object in the surrounding field of a vehicle |
| EP2085791A1 (fr) * | 2008-01-29 | 2009-08-05 | Omron Corporation | Dispositif de traitement d'images, procédé de traitement d'images et programme |
Non-Patent Citations (2)
| Title |
|---|
| JEBARA T ET AL: "3D structure from 2D motion", 19990501; 19990500, vol. 16, no. 3, 1 May 1999 (1999-05-01), pages 66 - 84, XP011089836 * |
| RAMAKANT NEVATIA: "Depth measurement by motion stereo", COMPUTER GRAPHICS AND IMAGE PROCESSING, vol. 5, no. 2, 1 June 1976 (1976-06-01), pages 203 - 214, XP055060111, ISSN: 0146-664X, DOI: 10.1016/0146-664X(76)90028-9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2946358A1 (fr) | 2015-11-25 |
| FR3001072B1 (fr) | 2016-05-13 |
| FR3001072A1 (fr) | 2014-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3137355B1 (fr) | Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif | |
| EP3803682B1 (fr) | Reconnaissance d'objet à l'aide d'un appareil photo multispectral et de profondeur | |
| WO2018229549A2 (fr) | Système et procédé de reconstruction d'environnement numérique | |
| CN103177236A (zh) | 道路区域检测方法和装置、分道线检测方法和装置 | |
| EP2937812B1 (fr) | Système de localisation d'un même véhicule dans plusieurs zones différentes les unes des autres dans lesquelles ledit véhicule passe consécutivement | |
| EP2333481A1 (fr) | Système optronique et procédé d'élaboration d'images en trois dimensions dédiés à l'identification | |
| EP2724203A1 (fr) | Génération de données de carte | |
| EP0897163B1 (fr) | Procédé de production de données cartographiques par stéréovision | |
| FR3062924A1 (fr) | Procede et systeme de perception contextualisee de corps materiels | |
| EP3729327A1 (fr) | Methode de reconnaissance d'objets dans une scene observee en trois dimensions | |
| WO2005010820A9 (fr) | Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications | |
| KR20210027894A (ko) | 주행 보조 시스템, 전자 장치 및 그 동작 방법 | |
| US11308324B2 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
| EP3384462B1 (fr) | Procede de caracterisation d'une scene par calcul d'orientation 3d | |
| WO2010133785A1 (fr) | Procede et dispositif pour etendre une zone de visibilite | |
| FR3054672B1 (fr) | Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile | |
| FR2896594A1 (fr) | Procede de perception, par un vehicule, de son environnement | |
| WO2014111442A1 (fr) | Procédé et système de modélisation 3d absolue en tout ou en partie d'un véhicule passant devant une caméra | |
| US20230258769A1 (en) | System of sensor-specific reflective surfaces for long-range sensor calibration | |
| FR3065343B1 (fr) | Procede de traitement d’informations acquises par une pluralite de capteurs d’un vehicule automobile | |
| FR3065097B1 (fr) | Procede automatise de reconnaissance d'un objet | |
| US20240004056A1 (en) | High-resolution point cloud formation in automotive-grade radar signals | |
| WO2023161568A1 (fr) | Procédé de calcul de surfaces tridimensionnelles pour véhicule équipé d'un système d'aide à la conduite | |
| WO2023067130A1 (fr) | Procédé de mise en œuvre d'un dispositif lidar avec descripteurs à évaluation de distances | |
| Guinoubi | Survey on Lidar Sensing Technology for Vehicular Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14701000 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2014701000 Country of ref document: EP |