WO2018197775A1 - Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet - Google Patents

Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet Download PDF

Info

Publication number
WO2018197775A1
WO2018197775A1 PCT/FR2018/050922 FR2018050922W WO2018197775A1 WO 2018197775 A1 WO2018197775 A1 WO 2018197775A1 FR 2018050922 W FR2018050922 W FR 2018050922W WO 2018197775 A1 WO2018197775 A1 WO 2018197775A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vector
relative displacement
determined
time
Prior art date
Application number
PCT/FR2018/050922
Other languages
English (en)
Inventor
Boris Lugez
Original Assignee
Continental Automotive France
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive France, Continental Automotive Gmbh filed Critical Continental Automotive France
Publication of WO2018197775A1 publication Critical patent/WO2018197775A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Definitions

  • the invention relates to the field of driving assistance systems for a motor vehicle and, more particularly, to the calculation of the time remaining in the vehicle before colliding with an object.
  • One method is to triangulate the position of the object in space (i.e. three-dimensional) from the images to determine its actual position. Then, from the actual position of the object and the knowledge of the speed of movement of the vehicle, it is possible to calculate the time required for the vehicle to travel the distance separating it from said object. However, such a method is only valid if the object is static.
  • a second method is to calculate, when moving the object relative to the vehicle, the scaling of the object on the captured images. In other words, it is determined, between two images captured successively, the change in the size of the object which is proportional to its speed of movement relative to the vehicle.
  • this method also has drawbacks. First of all, this method is sensitive to the strong distortions of the images captured by a fisheye type wide angle camera, generally embedded in a vehicle. In addition, the result obtained is not very accurate when the displacement of the object is low. Also, this method is difficult to use for distant or static objects.
  • a third method consists of using a spatial plane model for the object, ie a plane defined according to the three spatial dimensions, called 3D plane.
  • a method comprises detecting at least one object in a stream of images captured by the vehicle's camera, determining remarkable points of the detected object, determining the plane of the space to which said remarkable points belong and the determination of a vector for moving the detected object from vectors of direction of the plane of the determined space. The time before collision is then calculated by solving the linear system of equations thus obtained.
  • One solution would be to increase the time interval between the capture of two successive images of the image stream in order to increase the displacement of the object between these two images.
  • a solution would increase the risk that a remarkable point will be covered, for example by an obstacle located in the environment of the vehicle, during the time interval between said two images, thus preventing the detection of said remarkable point and thus the determining the displacement of this point between the two images.
  • the present invention aims at providing a simple, reliable and effective solution for determining the time before collision of an object with a motor vehicle, notably using a plane of space and remarkable points.
  • the subject of the invention is a method of estimating the time remaining before the collision of a motor vehicle with an object, said vehicle comprising at least one camera, said method comprising:
  • the process is remarkable in that it comprises:
  • the use of a constant value of acceleration makes it possible to simplify the resolution of the system of linear equations and thus to limit the error on the estimate of the time remaining before collision.
  • the time before collision can thus be estimated simply, quickly and reliably, in particular by limiting the computation time and the use of computing resources.
  • the estimated remaining time is given by the following formula:
  • T the relative displacement vector of the object
  • D the distance between the object and the camera.
  • the relative displacement vector T and the distance D are given according to the following formula:
  • Rt * X src k * [identity - Rt * T / D * N] * X dst
  • Rt is the transpose of the determined rotation matrix of the camera
  • N is the determined director vector
  • k is a real number
  • X src designates the position of the remarkable point on the image
  • Xdst designates the destination of the remarkable point
  • identity is the three-dimensional identity matrix
  • T is the vector of relative displacement of the object and D the distance between the object and the camera.
  • the relative displacement vector T is determined from the relative speed V n of the object with respect to the camera at the instant (t + n * dt) according to the following formula:
  • V n V 1 + (n - 1) * dt * Acc
  • t is a real number representing any time
  • n is an integer representing the number of images captured from time t
  • dt is the time interval between two captured images
  • Vi is the relative speed of the object at time t
  • Acc is the constant acceleration of the object.
  • the relative displacement vector T is determined from the relative displacement vector T n of the object with respect to the camera at the instant (t + n * dt) according to the following formula:
  • t is a real number representing any time
  • n is an integer representing the number of images captured from time t
  • dt is the interval of time between two captured images
  • T n is the relative displacement vector of the object at the instant (t + n * dt)
  • ⁇ is the vector of relative displacement of the object at time t
  • the constant acceleration of the object is zero, in other words, the speed of the object relative to the vehicle's camera is constant, which makes it possible to further simplify the resolution of the system. of linear equations.
  • the relative displacement vector is determined from the relative displacement vector of the object with respect to the camera at the instant (t + n * dt) according to the following formula:
  • T n is the relative displacement vector of the object at the moment (t + n * dt) and " ⁇ " is the vector of relative displacement of the object at time t.
  • more than ten remarkable points are determined during the step of determining remarkable points in order to optimize the reliability of the estimation of the time.
  • the invention also relates to a motor vehicle comprising at least one camera configured to generate a stream of images representing the environment of the vehicle and at least one computer adapted to implement the method, as described above, of time estimation. remaining before the colliding of an object with said vehicle from said image flow.
  • FIG. 1 schematically illustrates the implementation of the collision time estimation method of the vehicle according to the invention.
  • the invention will now be described with reference to FIG.
  • the invention is intended for vehicles, especially automobiles, to assist the driver in his driving on a lane.
  • the vehicle according to the invention comprises a driving assistance system comprising at least one camera adapted to generate a stream of images and processing means of these images.
  • Such a camera is positioned to generate a stream of images representing the environment of the vehicle to, for example, detect objects in front of the vehicle.
  • the camera captures images at time intervals regular.
  • the time interval between two consecutive images of the image stream is denoted "dt".
  • the processing means comprise at least one computer configured, on the one hand, for detecting an object in the image stream and, on the other hand, for determining the time before collision between the vehicle and the detected object.
  • the object and the camera of the vehicle are separated by a distance D.
  • TTC time before collision
  • D the distance between the object and the camera
  • T the vector of relative displacement between the object and the camera between the moment (t - dt) and t
  • V the relative speed of the object with respect to the camera
  • the processing means are adapted to detect remarkable points, also referred to as "flow", of the detected object. These remarkable points are used to follow the object in the image flow and determine the evolution of its movement.
  • the processing means detect at least two remarkable points in order to solve such a linear system.
  • the processing means detect more than two remarkable points, for example of the order of fifteen remarkable points, in order to optimize the reliability of the result obtained.
  • the processing means determine the plane of the space to which the set of remarkable points belongs, then determines the director vector N of this plane.
  • the determination of such a director vector N associated with the remarkable points of an object on an image is known per se and will not be detailed in more detail.
  • X src k * [R - ⁇ * N] * X dst (1)
  • Xsrc denotes the position of the remarkable point in the pinhole mark (also referred to as a focal point linked to the camera) of the image, in the form of a 3x1 matrix
  • Xdst designates the destination of the remarkable point in the reference said "pinhole”, also in the form of a 3x1 matrix
  • k is a real number (k denotes a factor because the equality relation is within a factor k)
  • R is the rotation matrix of the camera between the successive images of the flux, taking the form of a 3x3 matrix
  • N is a vector of the plane to which the remarkable points belong, adopting the shape of a 1 x3 matrix
  • T is the vector of relative displacement between the object and the camera as defined above, adopting the shape of a matrix 3x1
  • D also as defined above is the distance between the object and the camera, in the form of a scalar.
  • This equation (1) is linked to a remarkable point and to the geometrical constraint due to the plane of space on this remarkable point.
  • the rotation matrix R corresponds to the rotational movement of the camera during the movement of the vehicle between the successive images. Such a rotation matrix is determined in known manner by an estimate called "egomotion".
  • R being a rotation matrix
  • equation (1) By multiplying on each side by the transposed rotation matrix Rt, equation (1) becomes:
  • Rt * X src k * [identity + iTTC * N] * X dst (3)
  • Rt * X src is a known vector that reads: [ ⁇ ', y', z ']
  • iTTC is a vector of three elements denoted [iTTCx, iTTCy, iTTCz] which are to be determined
  • N is a known vector of three elements [ ⁇ , ⁇ , ⁇ ]
  • Xdst is a known vector of three elements [x, y, z].
  • the linear system thus comprises the elements:
  • This system thus comprises at least four equations.
  • Equation (1) is written as:
  • the detected object moves relative to the camera at a constant speed.
  • the vector of relative displacement of the object at the instant (t + n * dt) is designated "T n " and can then be written:
  • T n n * T 1 where " ⁇ " is the vector of displacement of the object at time t.
  • This linear system therefore comprises at least four equations and only three unknowns [iTTCx, iTTCy, iTTCz]. It is then possible to determine the relative displacement vector iTTC.
  • V n VI + (n - 1) * dt * Acc
  • V1 is the relative speed of the object at time t and" Acc "is the constant acceleration of the object.
  • T n T n _ + dt * 7
  • n _i Tn-i + V 1 * dt + (n-2) * dt * dt * Acc
  • T 2 2 * 7 + dt 2 * Acc
  • the linear system to be solved includes the elements:
  • This linear system therefore comprises at least four equations and six unknowns [iTTCx, iTTCy, iTTCz, diTTCx, diTTCy, diTTC z].
  • TTC is equal to n which checks this polynomial equation.
  • the collision time TTC can then be determined from the calculated iTTC vector. Indeed, as was previously described:
  • the vehicle camera generates in a step EO a stream of images representing the vehicle environment.
  • the processing means detect, in a step E1, an object present in the image flow generated by the camera.
  • the processing means determines, in a step E2 at least two, preferably of the order of fifteen, remarkable points of the object. These points can be a point of the contour of the object, or any other point of the object that can be identified on at least two successive images of the series.
  • the processing means determine, in a step E3, the plane to which the remarkable points belong and, in a step E4, the director vector N of this plane.
  • the processing means determines, in a step E5, the rotation matrix R of the camera between two successive images of the image series.
  • the rotation matrix R is determined by an egomotion method and the director vector N can be approximated without loss of precision in the final result.
  • the processing means determines, from the rotation matrix R and the direction vector N, the ratio between the relative displacement vector T of the object relative to the camera and the distance D of the camera. object to the camera. This ratio is determined by solving a system of linear equations (Eq1, Eq2) as described above.
  • the speed or acceleration of the object relating to the vehicle's camera is considered constant in order to solve this equation system while limiting the error on the estimate of the time remaining before the collision.
  • the processing means then estimate, in a step E7, the TTC time before collision of the object with the vehicle.
  • the time remaining before the colliding of the vehicle with an object can be estimated reliably and quickly by solving the system of linear equations.
  • Such a resolution is made easy and fast by considering the speed or acceleration of the object relative to the camera as a constant.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

La présente invention a pour objet un procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant une étape (E0) de génération par la caméra d'un flux d'images, une étape (E1) de détection d'au moins un objet sur ledit flux d'images généré, une étape (E2) de détermination d'au moins deux points remarquables de l'objet détecté, une étape (E6) de détermination du ratio entre un vecteur de déplacement relatif de l'objet détecté et la distance dudit objet à la caméra et une étape (E7) d'estimation du temps restant avant l'entrée en collision du véhicule avec l'objet détecté à partir du vecteur de déplacement déterminé.

Description

Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet
L'invention se rapporte au domaine des systèmes d'aide à la conduite d'un véhicule automobile et, plus particulièrement, au calcul du temps restant au véhicule avant d'entrer en collision avec un objet.
De nos jours, il est connu de détecter des objets, notamment des obstacles, situés dans l'environnement d'un véhicule automobile à l'aide d'une caméra embarquée dans le véhicule. Plus précisément, la détection est réalisée en analysant les images capturées par la caméra et sur lesquelles apparaissent lesdits objets.
Une fois un objet détecté, il est connu de déterminer le temps avant que cet objet n'entre en collision avec le véhicule en estimant la distance séparant le véhicule de l'objet à partir desdites images. Il existe différentes méthodes pour déterminer ce temps avant collision.
Une première méthode consiste à effectuer une triangulation de la position de l'objet dans l'espace (c'est-à-dire en trois dimensions) à partir des images afin de déterminer sa position réelle. Puis, à partir de la position réelle de l'objet et de la connaissance de la vitesse de déplacement du véhicule, il est possible de calculer le temps nécessaire au véhicule pour parcourir la distance le séparant dudit l'objet. Cependant, une telle méthode n'est valable que si l'objet est statique.
Une deuxième méthode consiste à calculer, lors du déplacement de l'objet par rapport au véhicule, le changement d'échelle de l'objet sur les images capturées. Autrement dit, on détermine, entre deux images capturées successivement, la modification de la taille de l'objet qui est proportionnelle à sa vitesse de déplacement par rapport au véhicule. Cependant, une telle méthode présente également des inconvénients. Tout d'abord, cette méthode est sensible aux fortes distorsions des images capturées par une caméra grand angle de type « fisheye », généralement embarquée dans un véhicule. De plus, le résultat obtenu est peu précis lorsque le déplacement de l'objet est faible. Aussi, cette méthode est difficilement utilisable pour des objets lointains ou statiques.
Enfin, une troisième méthode consiste à utiliser un modèle de plan de l'espace pour l'objet, c'est à dire un plan défini selon les trois dimensions spatiales, appelé plan 3D. Une telle méthode comprend la détection d'au moins un objet dans un flux d'images capturé par la caméra du véhicule, la détermination de points remarquables de l'objet détecté, la détermination du plan de l'espace auquel appartiennent lesdits points remarquables et la détermination d'un vecteur de déplacement de l'objet détecté à partir des vecteurs de direction du plan de l'espace déterminé. Le temps avant collision est ensuite calculé en résolvant le système linéaire d'équations ainsi obtenu.
Cependant, un faible déplacement de l'objet d'une image à une autre peut se confondre avec le bruit apparaissant de manière standard dans les images, ce qui rend alors l'estimation du temps avant collision peu précis. Il en résulte que cette méthode est difficilement utilisable pour des objets lointains ou statiques.
Une solution serait d'augmenter l'intervalle de temps entre la capture de deux images successives du flux d'images afin d'augmenter le déplacement de l'objet entre ces deux images. Cependant, une telle solution augmenterait le risque qu'un point remarquable soit recouvert, par exemple par un obstacle situé dans l'environnement du véhicule, durant l'intervalle de temps entre lesdites deux images, empêchant alors la détection dudit point remarquable et ainsi la détermination du déplacement de ce point entre les deux images.
Il existe donc le besoin d'une solution permettant de remédier au moins en partie à ces inconvénients.
La présente invention vise à proposer une solution simple, fiable et efficace pour déterminer le temps avant collision d'un objet avec un véhicule automobile, en utilisant notamment un plan de l'espace et des points remarquables.
A cette fin, l'invention a pour objet un procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant :
• une étape de génération par la caméra d'un flux d'images représentant l'environnement du véhicule,
• une étape de détection d'au moins un objet sur ledit flux d'images généré, · une étape de détermination d'au moins deux points remarquables de l'objet détecté,
• une étape de détermination d'un plan de l'espace auquel appartiennent lesdits points remarquables de l'objet,
• une étape de détermination du vecteur directeur du plan de l'espace déterminé, et
• une étape de détermination de la matrice de rotation de la caméra entre deux images capturées successivement.
Le procédé est remarquable en ce qu'il comprend:
• une étape de détermination du ratio entre le vecteur de déplacement relatif de l'objet détecté et la distance dudit objet à la caméra à partir de la matrice de rotation déterminée et du vecteur directeur déterminé par résolution d'un système d'équations linéaires dans lequel l'accélération de l'objet est considérée comme constante, et
• une étape d'estimation du temps restant avant l'entrée en collision du véhicule avec l'objet détecté à partir dudit ratio déterminé.
L'utilisation d'une valeur constante d'accélération permet de simplifier la résolution du système d'équations linéaires et de limiter ainsi l'erreur sur l'estimation du temps restant avant collision. Le temps avant collision peut ainsi être estimé de manière simple, rapide et fiable, notamment en limitant les temps de calculs et l'utilisation de ressources de calcul.
De préférence, le temps restant estimé est donné par la formule suivant :
\D \ \
TTC = où « TTC » est le temps restant estimé, T est le vecteur de déplacement relatif de l'objet et D est la distance entre l'objet et la caméra.
Avantageusement, le vecteur de déplacement relatif T et la distance D sont donnés selon la formule suivante :
Rt * Xsrc = k * [identity - Rt * T/D * N] * Xdst où « Rt » est la transposée de la matrice déterminée de rotation de la caméra, N est le vecteur directeur déterminé, k est un nombre réel, « Xsrc » désigne la position du point remarquable sur l'image, « Xdst » désigne la destination du point remarquable, « identity » est la matrice d'identité à trois dimensions, T est le vecteur de déplacement relatif de l'objet et D la distance entre l'objet et la caméra.
De manière avantageuse, le vecteur de déplacement relatif T est déterminé à partir de la vitesse relative Vn de l'objet par rapport à la caméra à l'instant (t+n*dt) selon la formule suivante :
Vn = V1 + (n - 1) * dt * Acc
où « t » est un nombre réel représentant un temps quelconque, « n » est un nombre entier représentant le nombre d'images capturées depuis l'instant t, « dt » est l'intervalle de temps entre deux images capturées, « Vi » est la vitesse relative de l'objet à l'instant t et « Acc » est l'accélération constante de l'objet.
Avantageusement, le vecteur de déplacement relatif T est déterminé à partir du vecteur de déplacement Tn relatif de l'objet par rapport à la caméra à l'instant (t+n*dt) selon la formule suivante :
Tn = n * 7 + n * (n— l)/2 * dt2 * Acc
où « t » est un nombre réel représentant un temps quelconque, « n » est un nombre entier représentant le nombre d'images capturées depuis l'instant t, « dt » est l'intervalle de temps entre deux images capturées, « Tn » est le vecteur de déplacement relatif de l'objet à l'instant (t+n*dt), « ΤΊ » est le vecteur de déplacement relatif de l'objet à l'instant t et
« Acc » est l'accélération constante de l'objet.
Selon une forme de réalisation de l'invention, l'accélération constante de l'objet est nulle, autrement dit, la vitesse de l'objet relative à la caméra du véhicule est constante, ce qui permet de simplifier encore davantage la résolution du système d'équations linéaires.
De préférence, le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l'objet par rapport à la caméra à l'instant (t+n*dt) selon la formule suivante :
Tn = n * 7
où « Tn » est le vecteur de déplacement relatif de l'objet à l'instant (t+n*dt) et « ΤΊ » est le vecteur de déplacement relatif de l'objet à l'instant t.
Avantageusement, plus de dix points remarquables, par exemple de l'ordre de quinze points remarquables, sont déterminés durant l'étape de détermination de points remarquables afin d'optimiser la fiabilité de l'estimation du temps.
L'invention concerne également un véhicule automobile comprenant au moins une caméra configurée pour générer un flux d'images représentant l'environnement du véhicule et au moins un calculateur adapté pour mettre en œuvre le procédé, tel que décrit précédemment, d'estimation du temps restant avant l'entrée en collision d'un objet avec ledit véhicule à partir dudit flux d'images.
D'autres caractéristiques et avantages de l'invention apparaîtront lors de la description qui suit faite en regard de la figure annexée donnée à titre d'exemple non limitatif.
- La figure 1 illustre schématiquement la mise en œuvre du procédé d'estimation du temps avec collision du véhicule selon l'invention.
L'invention va maintenant être décrite en référence à la figure 1 . L'invention est destinée aux véhicules, notamment automobiles, afin d'assister le conducteur dans sa conduite sur une voie de circulation.
Le véhicule selon l'invention comprend un système d'aide à la conduite comprenant au moins une caméra adaptée pour générer un flux d'images et des moyens de traitements de ces images.
Une telle caméra est placée de manière à générer un flux d'images représentant l'environnement du véhicule afin, par exemple, de détecter des objets situés devant le véhicule. Dans ce but, la caméra capture des images à intervalle de temps régulier. L'intervalle de temps entre deux images consécutives du flux d'images est noté « dt ».
Les moyens de traitement comprennent au moins un calculateur configuré, d'une part, pour détecter un objet dans le flux d'images et, d'autre part, pour déterminer le temps avant collision entre le véhicule et l'objet détecté.
La détection d'un objet apparaissant sur les images d'un flux d'images étant connue en soi, elle ne sera pas décrite plus en détail ici.
A un instant t, t étant un nombre réel, l'objet et la caméra du véhicule sont séparés d'une distance D. De plus, l'objet se rapprochant du véhicule, l'objet a suivi, entre l'instant t et l'instant (t - dt), autrement dit entre deux images capturées successivement par la caméra, un déplacement suivant le vecteur T.
On note alors que le temps avant collision, noté TTC est égal à:
D D TTC =—dt = - \T\ V où D est la distance entre l'objet et la caméra, T est le vecteur de déplacement relatif entre l'objet et la caméra entre l'instant (t - dt) et t, et V est la vitesse relative de l'objet par rapport à la caméra.
Les moyens de traitement sont adaptés pour détecter des points remarquables, également désignés « flow », de l'objet détecté. Ces points remarquables sont utilisés afin de suivre l'objet dans le flux d'images et déterminer l'évolution de son mouvement. Pour résoudre le système linéaire qui va être présenté par la suite, les moyens de traitement détectent au moins deux points remarquables afin de pouvoir résoudre un tel système linéaire. De préférence, les moyens de traitement détectent plus de deux points remarquables, par exemple de l'ordre de quinze points remarquables, afin d'optimiser la fiabilité du résultat obtenu.
Les moyens de traitement déterminent ensuite le plan de l'espace auquel appartient l'ensemble des points remarquables, puis détermine le vecteur directeur N de ce plan. La détermination d'un tel vecteur directeur N associé aux points remarquables d'un objet sur une image est connue en soi et ne sera pas détaillée plus en détail.
Dans le flux d'image, la position d'un point remarquable sur une image suit alors la relation suivante selon la référence scientifique « multiple view geometry », de Richard Hartley, publié le 31 juillet 2000, chapitre 13.1 "Homographies given the plan and vice versa", équation 13.2 :
Xsrc = k * [R - ^ * N] * Xdst (1 ) où « Xsrc » désigne la position du point remarquable dans le repère sténopé (également désigné repère focal lié à la caméra) de l'image, sous la forme d'une matrice 3x1 , « Xdst » désigne la destination du point remarquable dans le repère dit du « sténopé », également sous la forme d'une matrice 3x1 , k est un nombre réel (k désigne un facteur car la relation d'égalité est à un facteur k près), R est la matrice de rotation de la caméra entre les images successives du flux, adoptant la forme d'une matrice 3x3, et N est un vecteur directeur du plan auquel appartient les points remarquables, adoptant la forme d'une matrice 1 x3. T est le vecteur de déplacement relatif entre l'objet et la caméra comme défini plus haut, adoptant la forme d'une matrice 3x1 , et D également tel que défini plus haut est la distance entre l'objet et la caméra, sous la forme d'un scalaire.
Cette équation (1 ) est liée à un point remarquable et à la contrainte géométrique due au plan de l'espace sur ce point remarquable.
La matrice de rotation R correspond au mouvement de rotation de la caméra lors du déplacement du véhicule entre les images successives. Une telle matrice de rotation est déterminée de manière connue par une estimation dite « egomotion ».
R étant une matrice de rotation :
0
R * Rt = 1 = identity
0 où « Rt » est la transposée de la matrice de rotation et « identity » est la matrice identité de dimension 3.
En multipliant de chaque côté par la matrice de rotation transposée Rt, l'équation (1 ) devient :
* Xsrc = k * \identity - Rt * £ * jvl * Xdst (2)
La rotation de la caméra représentée par la matrice Rt ne changeant pas la norme du vecteur de déplacement relatif T de l'objet, on notera que dans l'équation (2) :
\\Rt * T
D D TTC
Par la suite et pour simplifier la notation des équations, on notera « iTTC » le vecteur inconnu à déterminer, tel que :
Rt * T
iTTC = — Le système linéaire à résoudre afin de déterminer le vecteur iTTC est l'équation (2) qui est de la forme A * iTTC = B et s'écrit:
Rt * Xsrc = k * [identity + iTTC * N] * Xdst (3) où « Rt * Xsrc » est un vecteur connu qui s'écrit : [χ', y', z'] , « iTTC » est un vecteur de trois éléments notés [iTTCx, iTTCy, iTTCz] qui sont à déterminer, N est un vecteur connu de trois éléments [ηχ, ηγ, ηζ] et « Xdst » est un vecteur connu de trois éléments [x, y, z].
En développant, on obtient:
1 + iTTCx * nx iTTCx * ny iTTCx * nz
H = [identity + iTTC * N] = iTTCy * nx 1 + iTTCy * ny iTTCy * nz
iTTCz * nx iTTCz * ny 1 + iTTCz * nz
Et :
Figure imgf000009_0001
En remplaçant dans l'équation (3), on obtient alors k * H * Xdst = Rt * Xs
Soit : x + iTTCx * (nx * x + ny * y + nz * z)
y + iTTCy * (nx * x + ny * y + nz * z)
z + iTTCz * (nx * x + ny * y + nz * z)
Figure imgf000009_0002
On obtient ainsi trois équations à résoudre : x + iTTCx * (nx * x + ny * y + nz * z) =— (Eq1 ) y + iTTCy * (nx * x + ny * y + nz * z) =— (Eq2) z + iTTCz * (nx * x + ny * y + nz * z) =— (Eq3)
(Eq3) permet d'obtenir une expression du facteur k : k =
z + iTTCz * (nx * x + ny * y + nz * z) Cette expression de k est alors remplacée dans (Eq1 ) et (Eq2), ce qui permet alors d'obtenir : x' * [z + iTTCz * (nx * x + ny * y + nz * z)] = z' * [x + iTTCx * (nx * x + ny * y + nz * z)] (4) y' * [z + iTTCz * (nx * x + ny * y + nz * z)] = z' * [y + iTTCy * (nx * x + ny * y + nz * z)] (5) Le système linéaire à résoudre est bien de type A * iTTC = B avec :
-z' * (nx * x + ny * y + nz * z) 0 x' * (nx * x + ny * y + nz * z)
0 — z' * (nx * x + ny * y + nz * z) y' * (nx * x + ny * y + nz * z) et z * x— X * z
B =
z' * y— y' * z
Pour résoudre ce système linéaire à deux équations (4) et (5) et trois inconnues [iTTCx, iTTCy, iTTCz], il est bien nécessaire d'utiliser au moins un deuxième point remarquable. Pour deux points, le système linéaire comprend ainsi les éléments:
\At \ \Bt \
\A2 \ \B2 \
Par généralisation pour un nombre i de points remarquables, le système linéaire s'écrit :
Figure imgf000010_0001
Ce système comprend ainsi au moins quatre équations.
Pour résoudre ce système linéaire, on utilise des points remarquables ayant chacun été détectés sur au moins n images successives. L'équation (1 ) s'écrit alors :
R - - * N dst où « Tn » est une fonction de T.
Dans une première forme de résolution du système linéaire, l'objet détecté se déplace, relativement à la caméra, à une vitesse constante. Le vecteur de déplacement relatif de l'objet à l'instant (t+n*dt) est désigné « Tn » et peut alors s'écrire :
Tn = n * T1 où « Τι » est le vecteur de déplacement de l'objet à l'instant t.
Pour deux points remarquables, le système linéaire comprend alors les éléments:
\n2*A2\ \B2\
Et par généralisation pour un nombre i de points remarquables, le système linéaire s'écrit :
\ni * Ai \ * iTTC = \Bt\
Ce système linéaire comprend donc au moins quatre équations et uniquement trois inconnues [iTTCx, iTTCy, iTTCz]. Il est alors possible de déterminer le vecteur de déplacement relatif iTTC.
Dans une deuxième forme de résolution du système linéaire, l'objet détecté se déplace avec une accélération constante. La vitesse relative de l'objet par rapport à la caméra à l'instant (t+n*dt) est désignée Vn et peut alors s'écrire: Vn = VI + (n - 1) * dt * Acc où « V1 » désigne la vitesse relative de l'objet à l'instant t et « Acc » est l'accélération constante de l'objet.
Le vecteur de déplacement relatif Tn de l'objet à l'instant (n*dt) s'écrit alors:
Tn = Tn_ + dt* 7n_i = Tn-i + V1*dt + (n-2)*dt*dt* Acc Soit :
T2 = 2 * 7 + dt2 * Acc T3 = T2 + 7 + 2 * dt2 * Acc = 3 * 7 + 3 * dt2 * Acc T4 = T3 + T1 + 3*dt2*Acc = 4*T1 + 6*dt2* Acc On peut généraliser le vecteur de déplacement relatif Tn tel que : Tn = n*T1 + (somme(i = 1: n— * dt2 * Acc = n * 7 + n * (n— l)/2 * dt2 * Acc Ce qui donne pour le vecteur iTTC :
Figure imgf000012_0001
(n - 1) ,
= n * iTTC + n * ■ * dt * diTTC
Le système linéaire de la forme A * iTTC = B peut alors s'écrire
\A * n, A * Fn \ * \iTTC, diTTC \ = B avec F„ = n * * dt2 et diTTC =—
n 2 D
Pour deux points remarquables, le système linéaire à résoudre comprend les éléments :
Figure imgf000012_0002
Soit, par généralisation, pour un point remarquable ayant été détecté n, fois:
Figure imgf000012_0003
* \iTTC diTTC\ = \Bi \ (6)
Ce système linéaire comprend donc au moins quatre équations et six inconnues [iTTCx, iTTCy, iTTCz, diTTCx, diTTCy, diTTC z].
De manière générale, TTC est le temps au bout duquel la relation Tn = D est vérifiée. En développant Tn, cette relation devient alors:
(n - 1) _
n * Tl + n * dt * Acc = D
2
En divisant par D, on obtient : n * iTTC + n * ^-^- dt2 * diTTC = 1 (7)
TTC est égal au n qui vérifie cette équation polynomiale.
II est alors possible de déterminer le vecteur de déplacement iTTC par résolution du système (6) en utilisant l'équation (7) donnant la relation entre iTTC et diTTC.
Dans le cas d'une accélération nulle, Acc = 0, l'équation est alors : Que le système linéaire ait été résolu grâce à la vitesse ou à l'accélération constante de l'objet, le temps avant collision TTC peut alors être déterminé à partir du vecteur iTTC calculé. En effet, comme cela a été décrit précédemment :
\\Rt * T\\
D D TTC
1
\iTTC \\ =
On obtient ainsi :
|i7TC || \\ iTTCx, iTTCy, iTTCz\\ iTTCx2 + iTTCy2 + iTTCz2 L'invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 1 .
Le véhicule circulant sur une voie de circulation, la caméra du véhicule génère dans une étape EO un flux d'images représentant l'environnement du véhicule.
Puis, les moyens de traitements détectent, dans une étape E1 , un objet présent dans le flux d'images généré par la caméra.
Pour déterminer le déplacement de l'objet, les moyens de traitement déterminent, dans une étape E2 au moins deux, de préférence de l'ordre de quinze, points remarquables de l'objet. Ces points peuvent être un point du contour de l'objet, ou tout autre point de l'objet pouvant être identifié sur au moins deux images successives de la série.
Les moyens de traitements déterminent ensuite, dans une étape E3, le plan auquel appartiennent les points remarquables et, dans une étape E4, le vecteur directeur N de ce plan.
De manière simultanée, les moyens de traitement déterminent, dans une étape E5, la matrice de rotation R de la caméra entre deux images successives de la série d'image.
De préférence, la matrice de rotation R est déterminée par un procédé d'egomotion et le vecteur directeur N peut être approximé sans perte de précision dans le résultat final. Dans une étape E6, les moyens de traitement déterminent, à partir de la matrice de rotation R et du vecteur directeur N, le ratio entre le vecteur de déplacement relatif T de l'objet par rapport à la caméra et la distance D de l'objet à la caméra. Ce ratio est déterminé par résolution d'un système d'équations linéaires (Eq1 , Eq2) comme décrit ci-avant. Avantageusement, la vitesse ou l'accélération de l'objet relative à la caméra du véhicule est considérée comme constante afin de résoudre ce système d'équation tout en limitant l'erreur sur l'estimation du temps restant avant la collision.
Les moyens de traitement estiment alors, dans une étape E7, le temps TTC avant collision de l'objet avec le véhicule.
Grâce au procédé selon l'invention, le temps restant avant l'entrée en collision du véhicule avec un objet peut être estimée de manière fiable et rapide grâce à la résolution du système d'équations linéaires. Une telle résolution est rendue aisée et rapide en considérant la vitesse ou l'accélération de l'objet par rapport à la caméra comme constante.

Claims

REVENDICATIONS
1 . Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant :
• une étape (E0) de génération par la caméra d'un flux d'images,
· une étape (E1 ) de détection d'au moins un objet sur ledit flux d'images généré,
• une étape (E2) de détermination d'au moins deux points remarquables de l'objet détecté,
• une étape (E3) de détermination d'un plan de l'espace auquel appartiennent lesdits points remarquables de l'objet,
· une étape (E4) de détermination du vecteur directeur du plan de l'espace déterminé,
• une étape (E5) de détermination de la matrice de rotation de la caméra entre deux images capturées successivement,
le procédé étant caractérisé en ce qu'il comprend :
· une étape (E6) de détermination du ratio entre le vecteur de déplacement relatif de l'objet détecté et la distance dudit objet à la caméra à partir de la matrice de rotation déterminée et du vecteur directeur déterminé par résolution d'un système d'équations linéaires dans lequel l'accélération de l'objet est considérée comme constante, et
· une étape (E7) d'estimation du temps restant avant l'entrée en collision du véhicule avec l'objet détecté à partir dudit ratio déterminé.
2. Procédé selon la revendication 1 , dans lequel le temps restant estimé est donné par la formule suivante :
TTC =
T\\
où « TTC » est le temps restant estimé, T est le vecteur de déplacement relatif de l'objet et D la distance entre l'objet et la caméra.
3. Procédé selon l'une des revendications précédentes, dans lequel le vecteur de déplacement relatif T de l'objet est donné selon la formule suivante :
T
Rt * X< identity— Rt *— * N * X, dst où « Rt » est la transposée de la matrice déterminée de rotation de la caméra, N est le vecteur directeur déterminé, k est un nombre réel, « Xsrc » désigne la position du point remarquable sur l'image, « Xdst » désigne la destination du point remarquable, « identity » est la matrice d'identité à trois dimensions et D la distance entre l'objet et la caméra.
4. Procédé selon l'une des revendications précédentes, dans lequel le vecteur de déplacement relatif est déterminé à partir de la vitesse relative de l'objet par rapport à la caméra à l'instant (t+n*dt) selon la formule suivante :
Vn = V1 + (n - î) * dt * Acc
où t et n sont des nombres réels, « Vn » est la vitesse relative de l'objet à l'instant (t+n*dt), « Vi » est la vitesse relative de l'objet à l'instant t, « Acc » est l'accélération constante de l'objet et « dt » est le temps s'écoulant entre deux acquisitions d'image par la caméra.
5. Procédé selon l'une des revendications précédentes, dans lequel le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l'objet par rapport à la caméra à l'instant (t+n*dt) selon la formule suivante :
Tn = n * 7 + n * (n— l)/2 * dt2 * Acc
où « Tn» est le vecteur de déplacement relatif de l'objet à l'instant (t+n*dt) et « ΤΊ » est le vecteur de déplacement relatif de l'objet à l'instant t.
6. Procédé selon l'une des revendications précédentes, dans lequel l'accélération de l'objet est nulle.
7. Procédé selon la revendication précédente, dans lequel le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l'objet par rapport à la caméra à l'instant (t+n*dt) selon la formule suivante :
Tn = n * T1 où « Tn » est le vecteur de déplacement relatif de l'objet à l'instant (t+n*dt) et « Ti » est le vecteur de déplacement relatif de l'objet à l'instant t.
8. Procédé selon l'une des revendications précédentes, dans lequel plus de dix points remarquables, de préférence de l'ordre de quinze points remarquables, sont déterminés durant l'étape de détermination (E2) de points remarquables.
9. Véhicule automobile comprenant au moins une caméra configurée pour capturer un flux d'images et au moins un calculateur adapté pour mettre en œuvre le procédé, selon l'une des revendications précédentes, d'estimation du temps restant avant l'entrée en collision d'un objet avec ledit véhicule à partir dudit flux d'images.
PCT/FR2018/050922 2017-04-28 2018-04-12 Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet WO2018197775A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1753720A FR3065695B1 (fr) 2017-04-28 2017-04-28 Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet
FR1753720 2017-04-28

Publications (1)

Publication Number Publication Date
WO2018197775A1 true WO2018197775A1 (fr) 2018-11-01

Family

ID=59253741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/050922 WO2018197775A1 (fr) 2017-04-28 2018-04-12 Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet

Country Status (2)

Country Link
FR (1) FR3065695B1 (fr)
WO (1) WO2018197775A1 (fr)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JONATHAN M LAWN ET AL: "Robust egomotion estimation from affine motion parallax", 1 January 1994 (1994-01-01), XP055434284, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.65.8065&rep=rep1&type=pdf> [retrieved on 20171212] *
LOURAKIS M I A ET AL: "Using Planar Parallax to Estimate the Time-to-Contact", PROCEEDINGS OF THE 1999 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JUNE 23-25, 1999; FORT COLLINS, COLORADO, IEEE, THE INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, INC, US, vol. 2, 23 June 1999 (1999-06-23), pages 640 - 645, XP010347543, ISBN: 978-0-7695-0149-9 *
RIEN VAN LEEUWEN: "Motion estimation and interpretation for in-car systems", 22 May 2002 (2002-05-22), Amsterdam, pages 1 - 144, XP055072610, Retrieved from the Internet <URL:http://dare.uva.nl/record/104595> [retrieved on 20130723] *

Also Published As

Publication number Publication date
FR3065695A1 (fr) 2018-11-02
FR3065695B1 (fr) 2023-03-17

Similar Documents

Publication Publication Date Title
EP2884226B1 (fr) Procédé de calibration angulaire de la position d&#39;une caméra video embarquée dans un véhicule automobile
GB2555214A (en) Depth map estimation with stereo images
JP6350374B2 (ja) 路面検出装置
FR2867567A1 (fr) Systeme et procede de detection de l&#39;etat d&#39;un vehicule
EP2984625B1 (fr) Procede d&#39;estimation de la deviation angulaire d&#39;un element mobile relativement a une direction de reference
JP5872071B2 (ja) 衝突時間を演算することを可能にする方法と装置、並びにコンピュータプログラム、コンピュータ記録媒体、及びコンピュータ
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
KR101618501B1 (ko) 자차량의 에고 모션 추정방법
EP3579191A1 (fr) Estimation dynamique du tangage instantané et du roulis instantané d&#39;une caméra embarquée dans un véhicule automobile
WO2018197775A1 (fr) Procédé d&#39;estimation du temps restant avant l&#39;entrée en collision d&#39;un véhicule automobile avec un objet
JP2019032751A (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
WO2019203001A1 (fr) Dispositif de caméra stéréo
FR3053554A1 (fr) Procede de calibration rapide d&#39;une camera de vehicule automobile
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
JP2015203703A (ja) ステレオオブジェクト検出及び距離計算のためのシステム及び方法
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
WO2017216473A1 (fr) Procédé de réalisation d&#39;une carte de profondeurs à partir d&#39;images successives d&#39;une caméra unique (mono) embarquée dans un véhicule automobile
FR3117207A1 (fr) Procédé et dispositif de calcul de trajectoire pour une plateforme mobile
EP3882855B1 (fr) Système d&#39;acquisition d&#39;une carte de profondeur d&#39;une scène
FR3082936A1 (fr) Traitement stereoscopique de donnees de vehicules connectes
FR3069689B1 (fr) Procede d&#39;estimation du mouvement d&#39;un point dans une sequence d&#39;images
EP3072110B1 (fr) Procédé d&#39;estimation du mouvement d&#39;un objet
EP3435329A1 (fr) Dispositif électronique et procédé d&#39;estimation d&#39;un déplacement d&#39;une scène observée par un drone, appareil électronique de calcul d&#39;une vitesse sol du drone, drone et programme d&#39;ordinateur associés
EP0631111B1 (fr) Procédé et dispositif pour déterminer la position d&#39;un aéronef
EP3300525A1 (fr) Procédé d&#39;estimation de paramètres géométriques représentatifs de la forme d&#39;une route, système d&#39;estimation de tels paramètres et véhicule automobile équipé d&#39;un tel système

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18719972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18719972

Country of ref document: EP

Kind code of ref document: A1