WO2007017597A2 - Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel - Google Patents

Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel Download PDF

Info

Publication number
WO2007017597A2
WO2007017597A2 PCT/FR2006/001934 FR2006001934W WO2007017597A2 WO 2007017597 A2 WO2007017597 A2 WO 2007017597A2 FR 2006001934 W FR2006001934 W FR 2006001934W WO 2007017597 A2 WO2007017597 A2 WO 2007017597A2
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
real
video image
images
image stream
Prior art date
Application number
PCT/FR2006/001934
Other languages
English (en)
Other versions
WO2007017597A3 (fr
Inventor
Valentin Lefevre
Marion Passama
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Priority to US12/063,307 priority Critical patent/US20100134601A1/en
Priority to JP2008525601A priority patent/JP4917603B2/ja
Priority to EP06794316A priority patent/EP1913556A2/fr
Publication of WO2007017597A2 publication Critical patent/WO2007017597A2/fr
Publication of WO2007017597A3 publication Critical patent/WO2007017597A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to the determination of the installation of a video capture means in a real environment and more particularly a method and a device for determining the installation of a video capture means in the scanning frame of at least one object three-dimensional virtual model modeling at least one real object.
  • Augmented reality in fact, consists in inserting virtual objects in a video image coming from a video capture means.
  • the virtual objects must be seen relative to the real objects present in the video, with the right perspective, the correct positioning and with a correct size.
  • Inserting virtual objects into a video is done today after capturing the video. For example, the insertion is performed on static shots in the video. These operations of insertion of virtual objects in a video require significant development costs.
  • the insertion of virtual objects in real time that is to say, the reception of the captured video images is carried out approximately in the images.
  • the invention solves at least one of the problems discussed above.
  • the subject of the invention is thus a method for determining the laying of a video capture means in the digitization mark of at least one virtual object in three dimensions, said at least one virtual object being a modeling corresponding to at least one real object present in images of the video image stream, characterized in that it comprises the following steps:
  • the method according to the invention makes it possible to determine the installation of a camera in the digitization mark of the virtual object modeled in three dimensions with a view subsequently to being able to insert, quickly and in an adjusted manner, virtual objects into the real environment.
  • Modeling is done using three-dimensional virtual objects.
  • the determination of the pose is made from the pairing of points between points of at least one virtual object and points of the video images, in particular from the pairing of selected points on the virtual object and their equivalent. in the video image.
  • the determination of the installation of a video capture means is associated with the installation of a virtual camera parameterizing the rendering of the virtual objects in three dimensions which constitute the elements added in the video image stream.
  • the determination of the pose of the video capture means also determines the pose of the virtual camera associated with the video capture means in the digitization mark of the virtual object corresponding to the real object present in the video image stream .
  • the method further comprises a step of displaying said at least one virtual object in a manner superimposed on the received video image stream.
  • the display of the received video image stream and of said at least one virtual object is realized respectively in two side-by-side viewing windows.
  • the pairing is performed manually.
  • points of said at least one virtual object are selected by means of an algorithm for extracting a three-dimensional point from a point selected in a virtual object.
  • the extraction algorithm is able to determine the three-dimensional point of this mesh closest to the location selected by the user.
  • the modeling furthermore comprises at least one virtual object that does not correspond to the real objects present in images of the received video image stream.
  • the modeling of the real environment can include objects that can complement the real environment.
  • the method further comprises a step of modifying, in real time, the point of view of said at least one virtual object.
  • the invention also relates to a computer program comprising instructions adapted to the implementation of each of the steps of the method described above.
  • the invention also provides a device for determining the installation of a video capture means in the digitization mark of at least one virtual object in three dimensions, said at least one virtual object being a modeling corresponding to at least one a real object present in images of the video image stream, characterized in that it comprises:
  • This device has the same advantages as the method of determination briefly described above.
  • the device and the method according to the invention makes it possible to determine the installation of a video capture means in the digitization mark of the virtual object modeling a real object present in the images of the image stream in order to to be able later to insert virtual objects in real time quickly and correctly adjusted in the captured video.
  • the pose is the position and orientation of the video capture means.
  • the determination of the installation of a video capture means is associated with the installation of a virtual camera in the three-dimensional virtual object view modeling real objects present in images of the video image stream .
  • the determination of the pose of the video capture means also determines the pose of the virtual camera associated with the video capture means in the digitization mark of the virtual object corresponding to the real object present in images of the stream of video images.
  • the device comprises a video capture means, for example a camera.
  • the video capture means is a robotic camera in heading / pitch / zoom, possibly placed on a tripod.
  • This is for example a Sony EVI D100 camera or a Sony EVI D1 OOP camera.
  • the video capture means is a fixed camera.
  • the video capture means is a camera with which a motion sensor has been associated, the motion sensor making it possible to determine in real time the position and the orientation of the camera in the reference mark of the motion sensor. movement.
  • the device also comprises a personal computer (PC) processing means. This is for example a laptop for greater mobility.
  • the video capture means is connected to the processing means by two types of connections.
  • the first connection is a video connection. It can be a composite video connection, S-Video, DV ("Digital Video” in English terminology), SDI ("Serial Digital Interface” in terminology Anglo-Saxon) or HD-SDI ("High Definition Serial Digital Interface” in English terminology).
  • the second connection is a connection to a communication port, for example, a serial port, a USB port, or any other communication port.
  • This connection is optional. However, it allows, for example, real-time sending of the heading, pitch and zoom parameters of the Sony EVI D100 type camera to the computer.
  • the processing means is equipped, in particular, with the real-time augmented reality processing means, for example, with the FUSION software of TOTAL IMMERSION.
  • the user takes the previously described device to the real environment.
  • the user chooses the location of the camera according to the point of view which seems to him the most relevant and he installs the camera for example the camera in caption / pitch / zoom on a tripod.
  • a window appears, containing, on the one hand, a zone of real-time video, where are visualized the images captured by the camera, and on the other hand, an area called "computer-generated image” , visualizing one or more virtual objects in 3 dimensions, as shown in Figure 1.
  • the "synthesis image” zone contains at least the display of a virtual object whose three-dimensional modeling corresponds to a real object present in the video image stream.
  • the computer-generated images are plotted in real time, which allows the user to configure his point of view, in particular by means of a keyboard or the mouse.
  • the user can change the position and orientation of his point of view.
  • the user can change the field of view from his point of view.
  • Visualization of a real object of the video and the virtual object at roughly the same angle, from the same position and with the same field of view makes it possible to increase the speed of pairing the points and makes this pairing easier to achieve.
  • This three-dimensional modeling includes objects already present on the actual location of the camera. However, modeling can also contain future objects not present in the real place.
  • points of the real objects present in the images of the image stream captured by the camera are selected in order to determine a set of points in two dimensions. Each of these points is identified by means of an index.
  • the equivalent points are selected in the synthesis image window, notably according to a three-dimensional point extraction algorithm.
  • the user selects a vertex of the three-dimensional mesh of a virtual object and the software determines the three-dimensional point closest to the location selected by the user.
  • Each of these points is also identified by means of an index.
  • the point of view of the window of the computer image allows the user to check if the extraction of the points in the virtual object is correct.
  • the key point 1 of the virtual object is matched with the key point 1 of the image of the video zone.
  • This process must be as accurate and as fast as possible in order to allow a precise and error-free determination of the installation of the camera and, incidentally, of the virtual camera associated with the camera, in order to subsequently perform the insertion of virtual objects in a controlled manner.
  • the device includes the following features.
  • the movement of the camera is controlled, in particular by means of a joystick, for example the mouse.
  • the movements of the camera are guided by the cap and pitch functions controlled with the X and Y axes of the mouse, while the zoom control is controlled in particular with the mouse wheel.
  • the optical zoom is controlled on the actual key points to improve the accuracy.
  • the actual key points can be selected within the zoomed image.
  • a real key point remains displayed, and an index number is associated with it and displayed in the video images even if the camera moves according to the cap / pitch / zoom functions.
  • the user can select a plurality of key points (N) in the video zone, these points remaining displayed in real time with their index ranging from 1 to N. It should be noted that these points are points whose coordinates are defined in two dimensions. In a second step, it describes the selection of points, in particular key points in the image present in the "synthesis image" zone, this zone containing virtual objects. It should be noted that these points are points whose coordinates are defined in three dimensions.
  • the user can move, for example to the joystick or the mouse, the point of view of the virtual camera to quickly obtain a virtual point of view "close” to the point of view of the actual camera.
  • the position and orientation of the virtual camera can be modified as in a standard modeler.
  • the user can select the N virtual key points, notably by selecting the mouse points.
  • the virtual key points are displayed with their index, and they remain correctly positioned, even if the user changes the settings of the virtual camera.
  • each virtual key point selected is localized by means of 3 coordinates ( X, Y, Z) in the reference frame of the synthesis image.
  • the pose of the camera is determined according to the coordinates of the selected three-dimensional points on the virtual objects and the paired two-dimensional points in the video image stream.
  • the software has in memory the following information:
  • POSIT is used to determine the pose of the camera and the virtual camera associated with the camera, in the digitization mark of the virtual objects corresponding to the real objects present in the images of the image flow. received.
  • the virtual object of the virtual image used for the pairing can be superimposed on the real object present in the images of the image stream used for the pairing, in particular to check the quality the determination of the pose.
  • Other virtual objects can also enrich the video visualization.
  • a first step is to de-distort the camera images in real time.
  • the installation information of the camera or virtual camera determined using the method described above is used.
  • this pose information is used to correctly plot the virtual objects in the video stream, including from the right perspective, so from a proper perspective, and for to make a placement of the correct objects in relation to the real world.
  • the virtual objects are displayed in transparency on the video image stream by means of transparency functions ("blending" in English terminology) implemented in particular in FUSION technology.
  • the device according to the invention is easily transportable because it requires only a laptop and a camera.
  • the device is also able to operate inside or outside buildings or vehicles.
  • the method and the device according to the invention also has the advantage, on the one hand, of being installed quickly and, on the other hand, of rapidly determining the installation of the camera in the scanning frame of the object. virtual.
  • the capturing means is a camera having cap / pitch / zoom functions
  • the method and the device according to the invention can be used in buildings, in particular for working at home. scale 1 facing buildings or inside buildings. Indeed, most of the time, the user has only a little perspective, so the real scene is only partially seen by the camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

L'invention est relative à un procédé de détermination de la pose d'un moyen de capture vidéo dans le repère de numérisation d'au moins un objet virtuel en trois dimensions, ledit au moins un objet virtuel étant une modélisation correspondant à au moins un objet réel présent dans des images du flux d'images vidéo, caractérisé en ce qu'il comprend les étapes suivantes : réception d'un flux d'images vidéo à partir du moyen de capture vidéo ; affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel ; appariement, en temps réel, de points dudit au moins un objet virtuel avec des points correspondant dans ledit au moins un objet réel présent dans des images du flux d'images vidéo ; détermination de la pose dudit moyen de capture vidéo en fonction des points dudit au moins un objet virtuel et de leur point apparié dans ledit au moins un objet réel présent dans des images du flux d'images vidéo.

Description

PROCEDE ET DISPOSITIF POUR DETERMINER LA POSE
D'UN MOYEN DE CAPTURE VIDEO DANS LE REPERE DE NUMERISATION
D'AU MOINS UN OBJET VIRTUEL EN TROIS DIMENSIONS
MODELISANT AU MOINS UN OBJET REEL
La présente invention concerne la détermination de la pose d'un moyen de capture vidéo dans un environnement réel et plus particulièrement un procédé et un dispositif pour déterminer la pose d'un moyen de capture vidéo dans le repère de numérisation d'au moins un objet virtuel en trois dimensions modélisant au moins un objet réel.
Elle trouve une application générale dans la détermination de la pose d'une caméra en vue de l'insertion d'objets virtuels dans les images vidéo capturées par la caméra.
La réalité augmentée, en effet, consiste à insérer des objets virtuels dans une image vidéo en provenance d'un moyen de capture vidéo.
Une fois insérés dans les images vidéo, les objets virtuels doivent être vus relativement aux objets réels présent dans la vidéo, avec la bonne perspective, le bon positionnement et avec une taille correcte.
L'insertion d'objets virtuels dans une vidéo est réalisée aujourd'hui après avoir capturé la vidéo. Par exemple, l'insertion est réalisée sur des prises de vue statiques dans la vidéo. Ces opérations d'insertion d'objets virtuels dans une vidéo nécessitent des coûts de développement importants.
En outre, l'insertion d'objets virtuels en temps réel, c'est-à-dire à la réception des images vidéo capturées est réalisée de manière approximative dans les images.
L'invention permet de résoudre au moins un des problèmes exposés précédemment.
L'invention a ainsi pour objet un procédé de détermination de la pose d'un moyen de capture vidéo dans le repère de numérisation d'au moins un objet virtuel en trois dimensions, ledit au moins un objet virtuel étant une modélisation correspondant à au moins un objet réel présent dans des images du flux d'images vidéo, caractérisé en ce qu'il comprend les étapes suivantes :
- réception d'un flux d'images vidéo à partir du moyen de capture vidéo ;
- affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel ;
- appariement, en temps réel, de points dudit au moins un objet virtuel avec des points correspondant dans ledit un moins un objet réel présent dans des images du flux d'images vidéo ;
- détermination de la pose dudit moyen de capture vidéo en fonction des points dudit au moins un objet virtuel et de leur point apparié dans ledit au moins un objet réel présent dans des images du flux d'images vidéo.
Le procédé selon l'invention permet de déterminer la pose d'une caméra dans le repère de numérisation de l'objet virtuel modélisé en trois dimensions en vue ultérieurement d'être apte à insérer, rapidement et de manière ajustée des objets virtuels dans l'environnement réel.
La modélisation est réalisée au moyen d'objets virtuels en trois dimensions.
La détermination de la pose est réalisée à partir de l'appariement de points entre des points d'au moins un objet virtuel et des points des images vidéo, notamment à partir de l'appariement de points sélectionnés sur l'objet virtuel et leur équivalent dans l'image vidéo.
Il est à noter que la détermination de la pose d'un moyen de capture vidéo est associée à la pose d'une caméra virtuelle paramétrant le rendu des objets virtuels en trois dimensions qui constituent les éléments ajoutés dans le flux d'images vidéo.
Ainsi, la détermination de la pose du moyen de capture vidéo détermine également la pose de la caméra virtuelle associée au moyen de capture vidéo dans le repère de numérisation de l'objet virtuel correspondant à l'objet réel présent dans le flux d'images vidéo. Selon une caractéristique particulière, le procédé comprend en outre, une étape d'affichage dudit au moins un objet virtuel de manière superposée au flux d'images vidéo reçu.
Selon cette caractéristique, il est possible de visualiser l'objet virtuel dans la fenêtre vidéo afin de vérifier la qualité de la pose déterminée du moyen de capture vidéo et incidemment de la caméra virtuelle.
Selon une autre caractéristique particulière, l'affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel est réalisé respectivement dans deux fenêtres de visualisation côte à côte.
Selon une autre caractéristique particulière, l'appariement est réalisé manuellement.
Selon encore une autre caractéristique particulière, des points dudit au moins un objet virtuel sont sélectionnés au moyen d'un algorithme d'extraction d'un point en trois dimensions à partir d'un point sélectionné dans un objet virtuel.
Selon cette caractéristique, l'utilisateur sélectionnant un sommet du maillage en trois dimensions présentant l'objet virtuel, l'algorithme d'extraction est apte à déterminer le point en trois dimensions de ce maillage le plus proche de l'endroit sélectionné par l'utilisateur.
Selon une autre caractéristique particulière, la modélisation comprend en outre au moins un objet virtuel sans correspondance avec les objets réels présents dans des images du flux d'images vidéo reçu.
Selon cette caractéristique, la modélisation de l'environnement réel peut comprendre des objets qui peuvent compléter l'environnement réel.
Selon une caractéristique particulière, le procédé comprend en outre une étape de modification, en temps réel, du point de vue dudit au moins un objet virtuel.
Selon cette caractéristique, il est permis de visualiser l'objet virtuel selon différents points de vue, permettant ainsi à l'utilisateur de vérifier la validité des points appariés entre eux. L'invention a également pour objet un programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé décrit précédemment.
Corrélativement, l'invention fournit également un dispositif de détermination de la pose d'un moyen de capture vidéo dans le repère de numérisation d'au moins un objet virtuel en trois dimensions, ledit au moins un objet virtuel étant une modélisation correspondant à au moins un objet réel présent dans des images du flux d'images vidéo, caractérisé en ce qu'il comprend :
- des moyens de réception d'un flux d'images vidéo à partir du moyen de capture vidéo ;
- des moyens d'affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel ;
- des moyens d'appariement, en temps réel, de points dudit au moins un objet virtuel avec des points correspondant dans ledit au moins un objet réel présent dans des images du flux d'images vidéo ;
- des moyens de détermination de la pose dudit moyen de capture vidéo en fonction des points dudit au moins un objet virtuel et de leur point apparié dans ledit au moins un objet réel présent dans des images du flux d'images vidéo.
Ce dispositif présente les mêmes avantages que le procédé de détermination brièvement décrit ci-dessus.
D'autres avantages, buts et caractéristiques de la présente invention ressortent de la description détaillée qui suit, faite à titre d'exemple non limitatif, au regard du dessin annexé dans lequel :
- la figure 1 illustre de façon schématique l'opération d'appariement conformément à la présente invention.
Le dispositif et le procédé selon l'invention permet de déterminer la pose d'un moyen de capture vidéo dans le repère de numérisation de l'objet virtuel modélisant un objet réel présent dans les images du flux d'images afin d'être apte ultérieurement à insérer des objets virtuels en temps réel de manière rapide et correctement ajustée dans la vidéo capturée.
Il est à noter que la pose est la position et l'orientation du moyen de capture vidéo.
Il est à noter que la détermination de la pose d'un moyen de capture vidéo est associée à la pose d'une caméra virtuelle dans la vue des objets virtuels en trois dimensions modélisant des objets réels présents dans des images du flux d'images vidéo.
Ainsi, la détermination de la pose du moyen de capture vidéo détermine également la pose de la caméra virtuelle associée au moyen de capture vidéo dans le repère de numérisation de l'objet virtuel correspondant à l'objet réel présent dans des images du flux d'images vidéo.
Pour ce faire, le dispositif comprend un moyen de capture vidéo, par exemple une caméra.
Selon un premier mode de réalisation, le moyen de capture vidéo est une caméra robotisée en cap / tangage / zoom, éventuellement posée sur un trépied. Il s'agit par exemple d'une caméra Sony EVI D100 ou d'une caméra Sony EVI D1 OOP.
Selon un deuxième mode de réalisation, le moyen de capture vidéo est une caméra fixe.
Selon un troisième mode de réalisation, le moyen de capture vidéo est une caméra à laquelle on a associé un capteur de mouvement, le capteur de mouvement permettant de déterminer en temps réel la position et l'orientation de la caméra dans le repère du capteur de mouvement. Le dispositif comprend également un moyen de traitement du type ordinateur individuel (ou Personal Computer, PC). Il s'agit par exemple d'un ordinateur portable pour une plus grande mobilité.
Le moyen de capture vidéo est connecté au moyen de traitement par deux types de connexions. La première connexion est une connexion vidéo. Il peut s'agir d'une connexion vidéo composite, S-Video, DV (« Digital Video » en terminologie anglo-saxonne), SDI (« Sériai Digital Interface » en terminologie anglo-saxonne) ou HD-SDI (« High Définition Sériai Digital Interface » en terminologie anglo-saxonne).
La seconde connexion est une connexion sur un port de communication, par exemple, un port série, un port USB ou tout autre port de communication. Cette connexion est facultative. Toutefois, elle permet par exemple l'envoi en temps réel des paramètres de type cap, tangage et zoom de la caméra de type Sony EVI D100 vers l'ordinateur.
Le moyen de traitement est équipé notamment, du moyen de traitement de la réalité augmentée en temps réel, par exemple, du logiciel D'FUSION de la société TOTAL IMMERSION.
Afin de réaliser la mise en œuvre du procédé de détermination de la pose du moyen de capture vidéo dans le repère de numérisation de l'objet virtuel modélisé en trois dimensions, l'utilisateur emmène le dispositif précédemment décrit dans l'environnement réel.
Ensuite, l'utilisateur choisit l'emplacement de la caméra selon le point de vue qui lui semble le plus pertinent et il installe la caméra par exemple la caméra en cap / tangage /zoom sur un trépied.
On décrit maintenant la procédure de détermination rapide de la pose de la caméra virtuelle dans le repère de modélisation de l'objet virtuel modélisé en trois dimensions conformément à l'invention. Cette procédure permet d'obtenir la pose de la caméra et de la caméra virtuelle associée pour ultérieurement réaliser un bon positionnement des objets virtuels insérés dans la vidéo, c'est-à-dire sur la scène réelle et un tracé parfait des objets virtuels. En effet, les paramètres de la caméra virtuelle sont utilisés lors du rendu, et ces paramètres permettent d'obtenir en final des objets virtuels parfaitement intégrés dans l'image vidéo, notamment en position, en taille et en perspective.
Une fois le logiciel de localisation initialisé, une fenêtre apparaît, contenant, d'une part, une zone de vidéo temps réel, où sont visualisées les images capturées par la caméra, et d'autre part, une zone appelée « image de synthèse », visualisant un ou plusieurs objets virtuels en 3 dimensions, tel qu'illustré en Figure 1. La zone « image de synthèse » contient au moins l'affichage d'un objet virtuel dont la modélisation en trois dimensions correspond à un objet réel présent dans le flux d'images vidéo.
Les images de synthèse sont tracées en temps réel, ce qui permet à l'utilisateur de configurer son point de vue, notamment à l'aide d'un clavier ou de la souris.
Ainsi, l'utilisateur peut changer la position et l'orientation de son point de vue.
En outre, l'utilisateur peut changer le champ de vision de son point de vue.
Selon ces fonctionnalités, il est permis de régler le point de vue de l'image de synthèse de sorte que la fenêtre de synthèse affiche les objets virtuels de manière similaire aux objets réels correspondant de la fenêtre vidéo.
La visualisation d'un objet réel de la vidéo et de l'objet virtuel à peu près sous le même angle, depuis la même position et avec le même champ de vision permet d'augmenter la rapidité d'appariement des points et rend cet appariement plus aisé à réaliser.
Cette modélisation en trois dimensions comprend notamment des objets déjà présents sur l'endroit réel de la caméra. Toutefois, la modélisation peut aussi contenir des objets futurs non présents dans l'endroit réel.
Ensuite, on procède, notamment manuellement, à l'appariement de points entre des points en trois dimensions sélectionnés sur les objets virtuels affiché dans la zone d'image de synthèse et des points en deux dimensions correspondants dans le flux d'images de la vidéo temps réel de la zone vidéo. Des points caractéristiques sont notamment sélectionnés.
Selon un mode de réalisation, on sélectionne dans la fenêtre vidéo des points des objets réels présents dans les images du flux d'images capturé par la caméra, afin de déterminer un ensemble de points en deux dimensions. Chacun de ces points est identifié au moyen d'un index.
De la même manière, on sélectionne les points équivalents dans la fenêtre d'image de synthèse, notamment selon un algorithme d'extraction de points en trois dimensions. Pour ce faire, l'utilisateur sélectionne un sommet du maillage en trois dimensions d'un objet virtuel et le logiciel détermine le point en trois dimensions le plus proche de l'endroit sélectionné par l'utilisateur. Chacun de ces points est également identifié au moyen d'un index.
Le fait de pouvoir changer en temps réel, le point de vue de la fenêtre de l'image de synthèse permet à l'utilisateur de vérifier si l'extraction des points dans l'objet virtuel est correcte.
Ainsi, tel qu'illustré sur la Figure 1 , le point clé 1 de l'objet virtuel est apparié avec le point clé 1 du l'image de la zone vidéo.
Ce processus doit être aussi précis et rapide que possible afin de permettre une détermination précise et sans erreur de la pose de la caméra et incidemment de la caméra virtuelle associée à la caméra, pour ultérieurement réaliser l'insertion d'objets virtuels de manière ajustée.
Pour ce faire, le dispositif comprend les fonctionnalités suivantes.
Dans un premier temps, il est décrit la sélection de points, notamment de points clés dans les images de la vidéo capturée.
Dans le mode de réalisation dans lequel le moyen de capture est une caméra robotisée, on contrôle le mouvement de la caméra, notamment au moyen d'une manette, par exemple à la souris. Les mouvements de la caméra sont guidées par les fonctions cap et tangage contrôlés avec les axes X et Y de la souris, alors que le contrôle du zoom est contrôlé notamment avec la molette de la souris.
Dans le mode de réalisation dans lequel le moyen de capture est une caméra robotisée, on contrôle le zoom optique sur les points clés réels pour améliorer Ia précision. Les points clés réels peuvent être sélectionnés à l'intérieure de l'image zoomée.
Une fois sélectionné, un point clé réel reste affiché, et un numéro d'index lui est notamment associé et affiché dans les images vidéo même si la caméra bouge selon les fonctions cap/tangage/zoom.
L'utilisateur peut sélectionner une pluralité de points clés (N) dans la zone vidéo, ces points restant affichés en temps réel avec leur index allant de 1 à N. Il est à noter que ces points sont des points dont les coordonnées sont définies en deux dimensions. Dans un second temps, il est décrit la sélection de points, notamment de points clés dans l'image présente dans la zone « image de synthèse », cette zone contenant des objets virtuels. Il est à noter que ces points sont des points dont les coordonnées sont définies en trois dimensions.
L'utilisateur peut déplacer, par exemple à la manette ou à la souris, le point de vue de la caméra virtuelle pour obtenir rapidement un point de vue virtuel « proche » du point de vue de la caméra réelle. En effet, la position et l'orientation de la caméra virtuelle sont modifiables comme dans un modeleur standard.
Une fois le point de vue fixé dans la zone « synthèse », l'utilisateur peut sélectionner les N points clés virtuels, notamment en sélectionnant les points la souris.
Les points clés virtuels sont affichés avec leur index, et ils restent correctement positionnés, même si l'utilisateur change les paramètres de la caméra virtuelle.
Grâce à l'algorithme d'extraction d'un point en trois dimensions (« picking » en terminologie anglo-saxonne), chaque point clé virtuel sélectionné, notamment avec un périphérique de pointage en deux dimensions, est localisé au moyen de 3 coordonnées (X, Y, Z) dans le repère de l'image de synthèse.
Ensuite, on procède à la détermination de la pose de la caméra en fonction des coordonnées des points en trois dimensions sélectionnés sur les objets virtuels et des points en deux dimensions appariés dans le flux d'images vidéo.
Pour ce faire, le logiciel possède en mémoire les informations suivantes :
- la pluralité des points clés réels en deux dimensions des N points clés réels appariés dans l'image réelle, ainsi que leur index entre 1 et N ;
- la pluralité des points clés virtuels en trois dimensions des points clés virtuels sélectionnés sur les objets virtuels, avec pour chaque point clé virtuel ses coordonnées (X, Y, Z) dans le repère de numérisation des objets virtuels et son index entre 1 et N. A partir de ces informations, on procède à la détermination de la pose de la caméra dans le repère de numérisation des objets virtuels. Pour ce faire, l'algorithme appelé POSIT est utilisé afin de déterminer la pose de la caméra et de la caméra virtuelle associée à la caméra, dans le repère de numérisation des objets virtuels correspondant aux objets réels présent dans les images du flux d'images reçu.
Pour de plus amples informations concernant ces méthodes, le lecteur est renvoyé notamment à la référence suivante : l'article intitulé "Model- Based Object Pose in 25 Lines of Code", de D. DeMenthon et L.S. Davis, publié à « International Journal of Computer Vision », 15, pp. 123-141, Juin 1995, présent notamment à l'adresse http://www.cfar.umd.edu/~daniel/.
Selon un mode de réalisation, l'objet virtuel de l'image virtuelle ayant servi à l'appariement peut être superposé à l'objet réel présent dans les images du flux d'images ayant servi à l'appariement, notamment pour vérifier la qualité de la détermination de la pose. D'autres objets virtuels peuvent aussi enrichir la visualisation vidéo.
Pour ce faire, une première étape consiste à dé-distorsionner en temps réel les images de la caméra.
Ensuite, on utilise les informations de pose de la caméra ou de la caméra virtuelle déterminée au moyen du procédé décrit précédemment.
Lors d'insertion d'objets virtuels dans la vidéo, ces informations de pose sont utilisées pour tracer correctement les objets virtuels dans le flux vidéo, notamment, à partir du bon point de vue, donc à partir d'une perspective correcte, et pour réaliser un placement des objets corrects par rapport au monde réel.
En outre, si nécessaire, les objets virtuels sont affichés en transparence sur le flux d'images vidéo au moyen des fonctions de transparences (« blending » en terminologie anglo-saxonne) mises en œuvre notamment dans la technologie D'FUSION.
Il est à noter que le dispositif conforme à l'invention est aisément transportable car il ne nécessite qu'un ordinateur portable et une caméra.
En outre, il peut fonctionner sur des maquettes ou à l'échelle 1. Le dispositif est également apte à fonctionner à l'intérieur ou à l'extérieur de bâtiments ou de véhicules.
Le procédé et le dispositif conforme à l'invention présente également l'avantage, d'une part, d'être installé rapidement et, d'autre part, de déterminer rapidement la pose de la caméra dans le repère de numérisation de l'objet virtuel.
En outre, il n'est pas nécessaire d'utiliser un capteur matériel dans le cas où la caméra est en plan fixe. En effet, l'appariement des points est réaliser sans toutefois changer l'orientation et la position de la caméra réelle.
Il est à noter que le mode de réalisation dans lequel le moyen de capture est une caméra disposant des fonctions cap/tangage/zoom, le procédé et le dispositif conformes à l'invention peuvent être utilisés dans des bâtiments, notamment pour travailler à l'échelle 1 face à des buildings ou en intérieur de bâtiments. En effet, la plupart du temps, l'utilisateur ne dispose que de peu de recul, donc la scène réelle n'est vue que partiellement par la caméra.
Une liste non exhaustive des applications visées est maintenant décrite :
- dans le domaine de la construction ou du bâtiment :
• sur un chantier, pour la vérification de l'état d'avancement des travaux, notamment en superposant les travaux théoriques (modélisés au moyen d'un ensemble d'objets virtuels) sur les travaux réels filmés par la caméra.
• sur une maquette miniature réelle illustrant le but à atteindre, pour l'ajout d'objets virtuels.
• Pour l'implantation d'usines, il est permis de visualiser des travaux non encore réalisés dans une usine existante, pour tester la viabilité du projet.
- dans le domaine automobile :
• pour le calage d'un cockpit virtuel sur un cockpit réel.
• pour le calage d'un véhicule virtuel dans un environnement réel, par exemple, pour réaliser un showroom.

Claims

REVENDICATIONS
1. Procédé de détermination de la pose d'un moyen de capture vidéo dans le repère de numérisation d'au moins un objet virtuel en trois dimensions, ledit au moins un objet virtuel étant une modélisation correspondant à au moins un objet réel présent dans des images du flux d'images vidéo, caractérisé en ce qu'il comprend les étapes suivantes :
- réception d'un flux d'images vidéo à partir du moyen de capture vidéo ;
- affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel ;
- appartement, en temps réel, de points dudit au moins un objet virtuel avec des points correspondant dans ledit au moins un objet réel présent dans des images du flux d'images vidéo ;
- détermination de la pose dudit moyen de capture vidéo en fonction des points dudit au moins un objet virtuel et de leur point apparié dans ledit au moins un objet réel présent dans des images du flux d'images vidéo.
2. Procédé de détermination selon la revendication 1 , caractérisé en ce que le procédé comprend en outre, une étape d'affichage dudit au moins un objet virtuel de manière superposée au flux d'images vidéo reçu.
3. Procédé de détermination selon la revendication 1 , caractérisé en ce que l'affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel est réalisé respectivement dans deux fenêtres de visualisation côte à côte.
4. Procédé de détermination selon l'une quelconque des revendications précédentes, caractérisé en ce que l'appariement est réalisé manuellement.
5. Procédé de détermination selon l'une quelconque des revendications précédentes, caractérisé en ce que des points dudit au moins un objet virtuel sont sélectionnés au moyen d'un algorithme d'extraction d'un point en trois dimensions à partir d'un point sélectionné dans un objet virtuel.
6. Procédé de détermination selon l'une quelconque des i revendications précédentes, caractérisé en ce que la modélisation comprend en outre au moins un objet virtuel sans correspondance avec les objets réels présents dans des images du flux d'images vidéo reçu.
7. Procédé de détermination selon l'une quelconque des ι revendications précédentes, caractérisé en ce que le procédé comprend en outre une étape de modification, en temps réel, du point de vue dudit au moins un objet virtuel.
8. Programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé selon les revendications 1 à 7.
9. Dispositif de détermination de la pose d'un moyen de capture vidéo dans le repère de numérisation d'au moins un objet virtuel en trois dimensions, ledit au moins un objet virtuel étant une modélisation correspondant à au moins un objet réel présent dans des images du flux d'images vidéo, caractérisé en ce qu'il comprend :
- des moyens de réception d'un flux d'images vidéo à partir du moyen de capture vidéo ;
- des moyens d'affichage du flux d'images vidéo reçu et dudit au moins un objet virtuel ;
- des moyens d'appariement, en temps réel, de points dudit au moins un objet virtuel avec des points correspondant dans ledit au moins un objet réel présent dans des images du flux d'images vidéo;
- des moyens de détermination de la pose dudit moyen de capture vidéo en fonction des points dudit au moins un objet virtuel et de leur point apparié dans ledit au moins un objet réel présent dans des images du flux d'images vidéo.
10. Dispositif de détermination selon la revendication 9, caractérisé en ce que le dispositif comprend en outre des moyens d'affichage dudit au moins un objet virtuel de manière superposée au flux d'images vidéo reçu.
11. Dispositif de détermination selon la revendication 9, caractérisé en ce que les moyens d'affichage sont aptes à afficher le flux d'images vidéo reçu et ledit au moins un objet virtuel respectivement dans deux fenêtres de visualisation côte à côte.
12. Dispositif de détermination selon l'une quelconque des revendications 9 à 11 , caractérisé en ce que le dispositif comprend des moyens de commande manuelle de l'appariement.
13. Dispositif de détermination selon l'une quelconque des revendications 9 à 12, caractérisé en ce que des points dudit au moins un objet virtuel sont sélectionnés au moyen d'un algorithme d'extraction d'un point en trois dimensions à partir d'un point sélectionné dans un objet virtuel.
14. Dispositif de détermination selon l'une quelconque des revendications 9 à 13, caractérisé en ce que la modélisation comprend en outre au moins un objet virtuel sans correspondance avec les objets réel présents dans des images du flux d'images vidéo reçu.
15. Dispositif de détermination selon l'une quelconque des revendications 9 à 14, caractérisé en ce que le dispositif comprend en outre des moyens de modification, en temps réel, du point de vue dudit au moins un objet virtuel.
PCT/FR2006/001934 2005-08-09 2006-08-09 Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel WO2007017597A2 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/063,307 US20100134601A1 (en) 2005-08-09 2006-08-09 Method and device for determining the pose of video capture means in the digitization frame of reference of at least one three-dimensional virtual object modelling at least one real object
JP2008525601A JP4917603B2 (ja) 2005-08-09 2006-08-09 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置
EP06794316A EP1913556A2 (fr) 2005-08-09 2006-08-09 Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0552479A FR2889761A3 (fr) 2005-08-09 2005-08-09 Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
FR0552479 2005-08-09

Publications (2)

Publication Number Publication Date
WO2007017597A2 true WO2007017597A2 (fr) 2007-02-15
WO2007017597A3 WO2007017597A3 (fr) 2007-05-18

Family

ID=37616907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2006/001934 WO2007017597A2 (fr) 2005-08-09 2006-08-09 Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel

Country Status (5)

Country Link
US (1) US20100134601A1 (fr)
EP (1) EP1913556A2 (fr)
JP (1) JP4917603B2 (fr)
FR (1) FR2889761A3 (fr)
WO (1) WO2007017597A2 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
FR3070085A1 (fr) * 2017-08-11 2019-02-15 Renault S.A.S. Procede d’etalonnage d’une camera d’un vehicule automobile

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
EP1929430A4 (fr) 2005-08-29 2011-06-29 Evryx Technologies Inc Interactivite via la reconnaissance d'une image mobile
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
DE102009058802B4 (de) * 2009-12-18 2018-03-29 Airbus Operations Gmbh Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
JP5682060B2 (ja) * 2010-12-20 2015-03-11 国際航業株式会社 画像合成装置、画像合成プログラム、及び画像合成システム
US9436358B2 (en) * 2013-03-07 2016-09-06 Cyberlink Corp. Systems and methods for editing three-dimensional video
EP3443737B1 (fr) * 2016-04-11 2024-06-12 Spiideo AB Système et procédé pour fournir une fonctionnalité vidéo virtuelle de panoramique-inclinaison-zoom, ptz, à une pluralité d'utilisateurs dans un réseau de données
US10719193B2 (en) 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10261747B2 (en) * 2016-09-09 2019-04-16 The Boeing Company Synchronized side-by-side display of live video and corresponding virtual environment images
US11633235B2 (en) 2017-07-31 2023-04-25 Children's National Medical Center Hybrid hardware and computer vision-based tracking system and method
CN109089150B (zh) * 2018-09-26 2021-07-16 联想(北京)有限公司 图像处理方法及电子设备
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191812B1 (en) * 1997-04-01 2001-02-20 Rt-Set Ltd. Method of providing background patterns for camera tracking
JP3415427B2 (ja) * 1998-02-25 2003-06-09 富士通株式会社 ロボットシミュレーションにおけるキャリブレーション装置
JPH11351826A (ja) * 1998-06-09 1999-12-24 Mitsubishi Electric Corp カメラ位置同定装置
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP4537557B2 (ja) * 2000-09-19 2010-09-01 オリンパス株式会社 情報呈示システム
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
NZ511444A (en) * 2001-05-01 2004-01-30 Deep Video Imaging Ltd Information display
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BLESER, GABRIELE; PASTARMOV, YULIAN; STRICKER, DIDIER: "Real-time 3D Camera Tracking for Industrial Augmented Reality Applications." EUROPEAN ASSOCIATION FOR COMPUTER GRAPHICS (EUROGRAPHICS):, 31 janvier 2005 (2005-01-31), - 4 février 2005 (2005-02-04) pages 47-54, XP002415929 Plzen : University of West Bohemia *
GOMES J ET AL: "A system's architecture for warping and morphing of graphical objects" COMPUTER GRAPHICS, IMAGE PROCESSING, AND VISION, 1998. PROCEEDINGS. SIBGRAPI '98. INTERNATIONAL SYMPOSIUM ON RIO DE JANEIRO, BRAZIL 20-23 OCT. 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 20 octobre 1998 (1998-10-20), pages 192-199, XP010309787 ISBN: 0-8186-9215-4 *
LEPETIT V ET AL: "Fully automated and stable registration for augmented reality applications" MIXED AND AUGMENTED REALITY, 2003. PROCEEDINGS. THE SECOND IEEE AND ACM INTERNATIONAL SYMPOSIUM ON 7-10 OCT. 2003, PISCATAWAY, NJ, USA,IEEE, 7 octobre 2003 (2003-10-07), pages 93-102, XP010662800 ISBN: 0-7695-2006-5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
FR3070085A1 (fr) * 2017-08-11 2019-02-15 Renault S.A.S. Procede d’etalonnage d’une camera d’un vehicule automobile

Also Published As

Publication number Publication date
JP2009505191A (ja) 2009-02-05
EP1913556A2 (fr) 2008-04-23
FR2889761A1 (fr) 2007-02-16
WO2007017597A3 (fr) 2007-05-18
US20100134601A1 (en) 2010-06-03
JP4917603B2 (ja) 2012-04-18
FR2889761A3 (fr) 2007-02-16

Similar Documents

Publication Publication Date Title
WO2007017597A2 (fr) Procede et dispositif pour determiner la pose d'un moyen de capture video dans le repere de numerisation d'au moins un objet virtuel en trois dimensions modelisant au moins un objet reel
US10580202B2 (en) Inverse rendering of visual material properties
US11616919B2 (en) Three-dimensional stabilized 360-degree composite image capture
US11257233B2 (en) Volumetric depth video recording and playback
CN112771539B (zh) 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用
EP0661671B1 (fr) Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective
US20110273369A1 (en) Adjustment of imaging property in view-dependent rendering
EP2111605B1 (fr) Procédé et dispositif de création d'au moins deux images clés correspondant à un objet tridimensionnel
EP3018632A1 (fr) Cartographie de texture automatisée et animation à partir d'images
WO2008107553A2 (fr) Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video
WO2021146418A1 (fr) Structuration de données visuelles
US20210225038A1 (en) Visual object history
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
FR2744815A1 (fr) Procede et appareil pour realiser un curseur de compas dynamiquement oriente sur des affichages d'ordinateurs
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN113838116A (zh) 确定目标视图的方法、装置、电子设备及存储介质
FR2988962A1 (fr) Procede et dispositif de creation d'images
FR2997492A1 (fr) Procede d'etablissement d'un plan de recolement geolocalise, produit programme d'ordinateur et moyen de stockage correspondants
EP1344186B1 (fr) Procede de representation de scenes 3d en realite virtuelle et dispositif correspondant
EP2059903B1 (fr) Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente
CN117475062A (zh) 三维导航车标的创建方法、装置、设备及存储介质
FR2836570A1 (fr) Procede de transmission de donnees d'images entre un serveur et un terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006794316

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2008525601

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2006794316

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12063307

Country of ref document: US