WO2007017600A2 - Procede et dispositif d'ajustement de flux video formant une video de grande largeur et procede et dispositif d'affichage associe - Google Patents

Procede et dispositif d'ajustement de flux video formant une video de grande largeur et procede et dispositif d'affichage associe Download PDF

Info

Publication number
WO2007017600A2
WO2007017600A2 PCT/FR2006/001937 FR2006001937W WO2007017600A2 WO 2007017600 A2 WO2007017600 A2 WO 2007017600A2 FR 2006001937 W FR2006001937 W FR 2006001937W WO 2007017600 A2 WO2007017600 A2 WO 2007017600A2
Authority
WO
WIPO (PCT)
Prior art keywords
synthesis
video
video streams
objects
adjustment
Prior art date
Application number
PCT/FR2006/001937
Other languages
English (en)
Other versions
WO2007017600A3 (fr
Inventor
Valentin Lefevre
Laurent Chabin
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Publication of WO2007017600A2 publication Critical patent/WO2007017600A2/fr
Publication of WO2007017600A3 publication Critical patent/WO2007017600A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to the adjustment of a plurality of video streams such that these video streams once assembled form a video of large width and more particularly a method and a device for adjusting video streams forming a wide video and a video. method and a video stream display device forming a video of large width.
  • the production of a film of large width requires the use of a plurality of cameras, these cameras are positioned relative to each other so, approximately to scan a large film width and still have a zone of recovery between videos acquired by the cameras. Each of these cameras acquires a video stream. Then, in post-acquisition, a long and important work must be done in order to make the connection of the videos between them and to obtain a video film of large width generally adjusted.
  • the invention solves at least one of the problems discussed above.
  • the subject of the invention is thus a method for adjusting the video stream video continuity constituting a video of large width, characterized in that it comprises the following steps:
  • the method according to the invention makes it possible to adjust the different video streams that are received from the cameras so as to obtain a visual alignment of the videos.
  • videos are applied to synthetic objects, including texturing these synthesis objects with videos. Then, the position of the synthesis objects relative to each other is adjusted to ensure a wide visual rendering.
  • the method further comprises the following preliminary steps:
  • the distortion function is applied to the texture coordinates of at least a portion of the plurality of polygons of the synthesis object.
  • the videos applied to the synthesis objects are also modified during the application of these videos on the synthesis objects notably by the texturing parameters of the objects of synthesis. in order to eliminate the distortions due to the parameters intrinsic to the cameras.
  • the method further comprises a step of storing the intrinsic parameters of the cameras.
  • the method further comprises a step of mixing the common areas between two video streams when superimposing synthetic objects on the overlapping areas.
  • the common areas between the videos are mixed so as to eliminate the junctions between the videos and, in particular to adjust the colorimetry between the videos.
  • the method further comprises a step of storing the positioning parameters of the synthesis objects.
  • the step of adjusting the positioning parameters comprises the adjustment of the heading, the pitch, the roll and the distance.
  • the step of adjusting the positioning parameters is performed manually.
  • the invention also relates to a method of displaying video streams forming a video of large width, characterized in that it comprises the following steps:
  • the display method according to the invention makes it possible to adjust the different video streams previously received so as to obtain a visual alignment of the videos.
  • videos are applied to synthetic objects, including texturing these synthesis objects with videos. Then, the position of the synthesis objects relative to each other is adjusted to ensure a wide visual rendering.
  • the method comprises a step of applying a distortion function to the video stream on a synthesis object according to intrinsic parameters of the camera whose video stream previously received is applied to the synthesis object.
  • the distortion function is applied to at least a part of the plurality of polygons of the synthesis object.
  • the videos applied to the synthesis objects are also modified when these videos are applied to the synthesis objects, in particular by the texturing parameters of the objects so as to eliminate the distortions due to the parameters intrinsic to the cameras.
  • the method further comprises a step of mixing the common areas between two video streams when superimposing synthetic objects on the overlapping areas.
  • the common areas between the videos are mixed so as to eliminate the junctions between the videos and, in particular to adjust the colorimetry between the videos.
  • the adjustment application step comprises the application of adjustment of course, pitch, roll and distance.
  • the method comprises a step of displaying at least one other synthesis object.
  • said at least one other object of synthesis is a virtual cockpit.
  • the invention also relates to computer programs comprising instructions adapted to the implementation of each of the steps of the methods described above.
  • the invention also provides a device for adjusting the video streaming video continuity forming a video of large width, characterized in that it comprises:
  • This device has the same advantages as the adjustment method briefly described above.
  • the invention also provides a video stream display device forming a video of large width, characterized in that it comprises:
  • pre-defined adjustment application means on each of the synthesis objects so as to relatively move the applied video streams to the corresponding synthesis objects to ensure the continuity of the video streams
  • FIG. 1 schematically illustrates the hardware realization of a video of large width
  • FIG. 2 illustrates the mixing of the common areas of the adjacent video streams
  • FIG. 4 illustrates an alpha mask
  • the devices and methods according to the invention make it possible to produce a film of large width by means of a plurality of received video streams, in particular a 180-degree "panoramic" type video film by using three cameras, for example industrial cameras. , calibrated and synchronized with each other.
  • the result is, for example, a video having a resolution of 2300 pixels by 576 lines for a horizontal field of view of 180 degrees.
  • augmented reality software including D 1 FUSION software company TOTAL IMMERSION allows the display, immersive room, a scene including a cockpit synthesis and 180-degree video surrounding the cockpit synthesis.
  • augmented reality software for example D 1 FUSION software, used are as follows:
  • PC personal computer
  • processing the wide-width video in real time as an object or a plurality of three-dimensional synthesis objects consisting in particular in a real-time deformation of the video to take account of the movements of the pilot's head .
  • Augmented reality software including the FUSION software, displays an image that simulates exactly the view of the pilot in the virtual cockpit.
  • the pilot is equipped with a motion capture system, then he can move his head throughout the operating area of the sensor, or move in the six degrees of freedom.
  • the augmented realization software in particular the FUSION FUSION software can also display a stereoscopic view, either in active stereoscopy or in passive stereoscopy, of the virtual cabin immersed in a real external environment represented by the captured video. It is now described in support of Figure 1, the system of shooting the video at 180 degrees.
  • three cameras 1, 2, 3 are rigidly fixed and linked such that each camera has a field of view slightly greater than 60 degrees and a common area more or less narrow. The total field of view 4 covered by the three cameras then reaches 180 degrees.
  • the cameras have for example the following characteristics. They are PAL compliant with 50 Hz refresh, and have a Genlock sync input. Indeed, the three cameras must be synchronized with each other. In addition, the cameras have a field of view greater than 60 degrees.
  • the augmented reality software in particular the FUSION software, will be configured to perform a mixing of the common areas of the images called "edge blending" in English terminology. as shown in Figure 2.
  • these videos are, according to one embodiment, re-projected to infinity.
  • the videos are applied on at least one synthesis object also called "mesh" in English terminology, of large dimension and placed at a great distance.
  • This synthesis object is decomposed into a plurality of polygons forming a surface.
  • the synthesis object is rigidly linked in position but not in orientation to the virtual eye of the observer. Indeed, the rendering of the panoramic image must be the image of the observer's point of view in the simulator, in other words, what the observer would have seen if he had his eye in place of the common optical center of the three cameras.
  • the optical centers resulting from the cameras should be competing at a common point.
  • the three videos are displayed on three rectangular flat surfaces of approximately 4/3 proportions, the proportion being determined exactly according to the camera.
  • a non-linear image deformation also called NLIM "non linear image mapping" in English terminology
  • the intrinsic parameters of the camera are previously determined and stored.
  • each projector, emitting part of the panoramic view, including the projectors emitting the sides of the view, is required to process at most two videos for their display on side projection screens.
  • the synthesis objects are defined by a list of vertices linked together in order to define a mesh constituting a surface.
  • the prior application of the distortion function to the texture coordinates of each vertex has the precise function of assigning to each vertex of a synthesis object on which a video is applied, the color from the point seen by the camera in the direction of the summit.
  • This mechanism of re-projection of video of large width is notably managed by augmented reality software, for example by the software Fusion.
  • the cameras are synchronized during filming, that is, during the capture of the videos to form the wide video. This synchronization makes it possible to avoid time delays between the videos.
  • the device according to the invention also includes a motion capture system for determining the position of the observer's head.
  • these computers are synchronized so that the display of the different videos forming the wide video accurately represents the same point of view.
  • the position information of the head of the user is transmitted between the computers via the network and in particular the Ethernet network.
  • the motion sensor is in particular connected to a computer, called master computer.
  • All computers also have a synchronized clock, especially compared to the master computer.
  • the augmented reality software manages these synchronizations.
  • This display includes the display of an augmented reality scene.
  • the display of the complete synthetic view is achieved in particular on a hemicylindrical screen of 3.5 meters radius, 3 meters in height, and 170 degrees of static panning.
  • This screen consists in particular of three sections for three video projectors.
  • a reference mark called World mark corresponding, for example, to the center of the cylinder, defined by the following coordinates: x forward, y to the left, z upwards.
  • the display device comprises three video projectors able to project the video of large width on the screen.
  • each projector alternately displays the scene for the left eye and then the right eye at a frequency of 100 Hz.
  • a motion capture receiver then makes it possible to determine the location of the user's head, the motion capture receiver being rigidly connected to the head of the user.
  • the films were made at three shooting heights.
  • the three heights are 1 meter, 1, 4 meter and 1, 8 meter. Thus, none of these values really corresponds to the center of the World landmark.
  • RH1, RH2, RH3 each defining a pitch reference number x.
  • the central camera is positioned so that it points well horizontally towards the front of the vehicle, in particular with a roll of value 0.
  • optical centers of the three cameras must be set to be identical.
  • the 3 cameras have exactly the same optical characteristics.
  • the virtual projection flat screens also called synthesis objects, distort the videos to cancel their distortion (due to the intrinsic parameters of the cameras).
  • the virtual projection flat screens are large and remote to simulate a projection to infinity as defined above. In addition, they are all related to RHx.
  • the horizontal and vertical fields of view are dynamically adjusted so that their screen section fills their field of vision.
  • the projection system mixes common areas between the different videos forming the wide video, the sections considered overlap at the edges.
  • This synthesis object is then inserted into the definition of the augmented reality software reference scene, in particular the Fusion software, with the value 0 being the value of adjustment.
  • the applied distortion function has been normalized so that the left and right edges (at central height) of the raw video are exactly applied to the left and right edges of the summary object to which a video is applied.
  • the augmented reality scene including the Fusion software, which serves as the basis for the final scene, is used to adjust the virtual projection screens.
  • the settings that can for example be applied to the central virtual projection flat screen are the roll, the scale and the distance.
  • the central screen is displayed last.
  • the mixing tool produces a computer image to serve as a transparency mask when the central summary screen is displayed.
  • the transparency mask is a function of the adjustment parameters previously obtained and stored in a file as described in FIG. 3.
  • the transparency mask is also a function of the intrinsic parameters of the camera.
  • a roll operation is also performed to compensate the roll of the central camera and a pitching operation to compensate for the pitch of the side cameras.
  • the tool can also be adapted if necessary to perform other treatments. Once the distortion removal processing using the synthesis object has been performed, the edges of the mask become linear as shown in Figure 5.
  • edges of the mask are white over a certain width, in particular according to the angle between the cameras.
  • the 4/3 video includes 720 pixels on 540 lines with nonsquare pixels instead of 768 pixels on 576 lines.
  • the summary object uses texture coordinates normalized to 1.
  • the texture coordinates were calculated for a 4: 3 ratio synthesis object and assuming that the image is 768 pixels by 576 pixels. lines.
  • the cameras When shooting to obtain the various videos to form the video of great width, the cameras are installed on a vehicle.
  • the soil is considered perfectly flat and horizontal.
  • a horizontal bar is placed in front of the cameras.
  • the full support block is reoriented so that the view of the central camera has the reticle aligned and centered on the bar.
  • the horizontal bar is moved quickly up and down at a short distance, to be in view of the three cameras. During a rapid movement of the bar, the synchronization is found unambiguously.
  • the graphic outputs are synchronized materially.
  • the motion capture system positioned on the user's head is also synchronized with the graphics cards of the computers intended to display.
  • the master computer is connected to the motion sensor to retrieve from it the position information of the user's head. This information is then transmitted to the other computers via the computer network.
  • the master computer also communicates to the other computers the active eye for the current frame. Finally, it ensures the forced resynchronization of side computers.
  • the sequence of instructions in the image modification loop called "update_frames / render" of the augmented reality software includes the following instructions:
  • the algorithm consists in interrogating and requesting the messages received according to the UDP protocol during the step (n-1), retrieving the last data received from the motion sensor during the step (n), transmit messages according to the UDP protocol during step (n) to all the machines including the master computer, exploit by the augmented reality processing software the messages received according to the UDP protocol at step (n-1) and graphically render in step (n-1).
  • the algorithm consists of interrogating and requesting the messages received according to the UDP protocol during step (n), retrieving the last data received from the motion sensor during the step (n + 1), sending messages messages according to the UDP protocol during the step (n + 1) all the machines including the master computer, exploit by the reality processing software augmented the received messages according to the UDP protocol in step (n) and perform the graphic rendering in step (n).
  • relief printing is produced by wearing liquid crystal glasses.
  • Each projector displays in turn the view of the left eye and the view of the right eye.
  • this consists of a rule of animation of the attribution of the camera on one eye then on the other.
  • the filming can also be adapted to obtain a field of vision adapted to the need for the video of large width to obtain.
  • alpha the angle covered by each projector that is assumed identical.
  • fovhtotal the horizontal angle of view provided by the projection system for example the 180 degree angle for a hemicylindrical screen seen from its center.
  • the projection system is able to show him more than 180 degrees. In this case, one can afford to take for the fovhtotal angle a value greater than 180 degrees.
  • the common beta area between the images will be 5 degrees. In other words, two projectors overlap on 5 degrees of the screen.
  • the observer then needs to adjust the seat higher or lower for proper alignment with the eye point.
  • the synthesis vehicle can be artificially shifted to coincide its eye point with the rest position of the observer.
  • the virtual vehicle does not necessarily rest on the floor of the projection room.
  • the current position of the observer is considered to be at the eye point of the vehicle.
  • eye point can also be symbolized by an object such as a ballpoint viewable in three dimensions in the projection room.
  • the different videos forming the video of large width are stored, in particular on the hard disks of the computers.
  • the sufficient flow is achieved in particular by means of Raid 0 technology using two discs per film.
  • the videos are stored in uncompressed AVI format.
  • the playback of movies is nonlinear, and allows the following functions: advance, recoil, pause, fast forward 2x, 4x, 8x, 16x, 32x.
  • the master computer sends the number of the current image to both side computers.
  • the master computer is also able to send the commands for changing video or changing camera height to the side computers.
  • an eye point of the "video” can be selected.
  • animation rules In this way, we can go from one altitude to another and compare the points of view.
  • the master computer then triggers the loadings on the side computers, including:
  • the video of large width is reprojected, after acquisition, to infinity.
  • the projection is attached to the reference eye point which is in particular the position of the camera during the shooting.
  • the position of the driver that is to say the eye-point
  • the position of the driver is also configurable, in particular according to an absolute position (constant eye-point), either by a registration of the driver or from a shift position with real-time taking into account the position of the observer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention est relative à un procédé d'ajustement de la continuité visuelle de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend les étapes suivantes : réception d'au moins deux flux vidéo à partir d'au moins deux caméra synchronisées entre elles ; application, en temps réel, de chaque flux vidéo sur un objet de synthèse ; et réglage, en temps réel, des paramètres de positionnement d'un objet de synthèse par rapport à un objet de synthèse voisin de manière à déplacer relativement les flux vidéos appliqués aux objets de synthèse correspondant jusqu'à obtenir la continuité visuelle des flux vidéo.

Description

PROCEDE ET DISPOSITIF D'AJUSTEMENT DE FLUX VIDEO
FORMANT UNE VIDEO DE GRANDE LARGEUR ET PROCEDE ET DISPOSITIF D'AFFICHAGE ASSOCIE
La présente invention concerne l'ajustement d'une pluralité de flux vidéo tel que ces flux vidéo une fois assemblés forment une vidéo de grande largeur et plus particulièrement un procédé et un dispositif d'ajustement de flux vidéo formant une vidéo de grande largeur et un procédé et un dispositif d'affichage de flux vidéo formant une vidéo de grande largeur.
Elle trouve une application générale dans la réalisation de film de grande largeur, en vue notamment de tester et de visualiser un habitacle virtuel modélisé notamment à l'aide d'un logiciel de conception assisté par ordinateur dans un environnement vidéo de sorte que le monde extérieur à l'habitacle virtuel (vu par exemple à travers le pare-brise et les vitres des portes latérales) provient de sources vidéo soit « en direct » soit préalablement mémorisées. Ces sources vidéo sont traitées en temps réel et peuvent correspondre à la position du conducteur.
La réalisation d'un film de grande largeur nécessite de faire appel à une pluralité de caméra, ces caméras sont positionnées les unes par rapport aux autres de sorte, approximativement de balayer une grande largeur de film et d'avoir tout de même une zone de recouvrement entre les vidéos acquises par les caméras. Chacune de ces caméras réalise l'acquisition d'un flux vidéo. Ensuite, en post acquisition, un travail long et important doit être réalisé de manière à effectuer le raccordement des vidéos entre elles et d'obtenir un film vidéo de grande largeur globalement ajusté.
Toutefois, ce travail est long et fastidieux et ne permet d'obtenir qu'un résultat approximatif en termes de raccordement des vidéos entre elles.
L'invention permet de résoudre au moins un des problèmes exposés précédemment. L'invention a ainsi pour objet un procédé d'ajustement de la continuité visuelle de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend les étapes suivantes :
- réception d'au moins deux flux vidéo à partir d'au moins deux caméra synchronisées entre elles ;
- application, en temps réel, de chaque flux vidéo sur un objet de synthèse dédié à ce flux vidéo ; et
- réglage, en temps réel, des paramètres de positionnement d'un objet de synthèse par rapport à un objet de synthèse voisin de manière à déplacer relativement les flux vidéos appliqués aux objets de synthèse correspondant jusqu'à obtenir la continuité visuelle des flux vidéo.
Le procédé selon l'invention permet d'effectuer un ajustement des différents flux vidéo qui sont reçues des caméras de manière à obtenir un alignement visuel des vidéos.
Pour ce faire, les vidéos sont appliquées à des objets de synthèse, notamment en texturant ces objets de synthèse avec les vidéos. Ensuite, la position des objets de synthèse les uns par rapport aux autres est réglée afin d'assurer un rendu visuel de grande largeur.
Selon une caractéristique particulière, le procédé comprend en outre les étapes préliminaires suivantes :
- détermination des paramètres intrinsèques des caméras ;
- application d'une fonction de distorsion au flux vidéo sur un objet de synthèse en fonction des paramètres intrinsèques de la caméra dont le flux vidéo reçu est appliqué à l'objet de synthèse.
Selon une autre caractéristique particulière, l'objet de synthèse étant décomposé en une pluralité de polygones formant une surface, la fonction de distorsion est appliquée aux coordonnées de texture d'au moins une partie de la pluralité de polygones de l'objet de synthèse.
Selon ces caractéristiques, les vidéos appliquées aux objets de synthèse sont également modifiées lors de l'application de ces vidéos sur les objets de synthèse notamment par les paramètres de texturation des objets de manière à supprimer les distorsions dues aux paramètres intrinsèques aux caméras.
Selon encore une autre caractéristique particulière, le procédé comprend en outre une étape de mémorisation des paramètres intrinsèques des caméras.
Selon un mode de réalisation, les flux vidéo reçus ayant entre eux une zone commune, le procédé comprend en outre une étape de mixage des zones communes entre deux flux vidéo lors des superpositions d'objets de synthèse sur les zones de recouvrement.
Selon cette caractéristique, les zones communes entre les vidéos sont mixées de manière à supprimer les jonctions entre les vidéos et, notamment ajuster la colorimétrie entre les vidéos.
Selon une caractéristique particulière, le procédé comprend en outre une étape de mémorisation des paramètres de positionnement des objets de synthèse.
Selon une autre caractéristique particulière, l'étape de réglage des paramètres de positionnement comprend le réglage du cap, du tangage, du roulis et de la distance.
Selon une autre caractéristique particulière, l'étape de réglage des paramètres de positionnement est réalisée manuellement.
L'invention concerne également un procédé d'affichage de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend les étapes suivantes :
- application, en temps réel, de chaque flux vidéo préalablement reçu sur un objet de synthèse dédié à ce flux vidéo,
- application de réglage préalablement définis, sur chacun des objets de synthèse de manière à déplacer relativement les flux vidéo appliqués aux objets de synthèse correspondant pour assurer la continuité des flux vidéo,
-affichage des objets de synthèse sur lesquels sont appliqués des flux vidéo formant la vidéo de grande largeur. Le procédé d'affichage selon l'invention permet d'effectuer un ajustement des différents flux vidéo préalablement reçus de manière à obtenir un alignement visuel des vidéos.
Pour ce faire, les vidéos sont appliquées à des objets de synthèse, notamment en texturant ces objets de synthèse avec les vidéos. Ensuite, la position des objets de synthèse les uns par rapport aux autres est réglée afin d'assurer un rendu visuel de grande largeur.
Selon une caractéristique particulière, le procédé comprend une étape d'application d'une fonction de distorsion au flux vidéo sur un objet de synthèse en fonction de paramètres intrinsèques de la caméra dont le flux vidéo préalablement reçu est appliqué à l'objet de synthèse
Selon une autre caractéristique particulière, l'objet de synthèse étant décomposé en une pluralité de polygones formant une surface, la fonction de distorsion est appliquée à au moins une partie de la pluralité de polygones de l'objet de synthèse.
Selon ces caractéristiques, les vidéos appliquées aux objets de synthèse sont également modifiées lors de l'application de ces vidéos sur les objets de synthèse notamment par les paramètres de texturation des objets de manière à supprimer les distorsions dues aux paramètres intrinsèques aux caméras.
Selon un mode de réalisation, les flux vidéo reçus ayant entre eux une zone commune, le procédé comprend en outre une étape de mixage des zones communes entre deux flux vidéo lors des superpositions d'objets de synthèse sur les zones de recouvrement.
Selon cette caractéristique, les zones communes entre les vidéos sont mixées de manière à supprimer les jonctions entre les vidéos et, notamment ajuster la colorimétrie entre les vidéos.
Selon une caractéristique particulière, l'étape d'application de réglage comprend l'application de réglage du cap, du tangage, du roulis et de la distance.
Selon une autre caractéristique particulière, le procédé comprend une étape d'affichage d'au moins un autre objet de synthèse. Selon encore une autre caractéristique, ledit au moins un autre objet de synthèse est un habitacle virtuel.
L'invention a également pour objet des programmes d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes des procédés décrits précédemment.
Corrélativement, l'invention fournit également un dispositif d'ajustement de la continuité visuelle de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend :
- des moyens de réception d'au moins deux flux vidéo à partir d'au moins deux caméra synchronisées entre elles ;
- des moyens d'application, en temps réel, de chaque flux vidéo sur un objet de synthèse dédié à ce flux vidéo ; et
- des moyens de réglage, en temps réel, des paramètres de positionnement d'un objet de synthèse par rapport à un objet de synthèse voisin de manière à déplacer relativement les flux vidéos appliqués aux objets de synthèse correspondant jusqu'à obtenir la continuité visuelle des flux vidéo.
Ce dispositif présente les mêmes avantages que le procédé d'ajustement brièvement décrit ci-dessus.
Corrélativement, l'invention fournit également un dispositif d'affichage de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend :
- des moyens d'application, en temps réel, de chaque flux vidéo préalablement reçu sur un objet de synthèse dédié à ce flux vidéo,
- des moyens d'application de réglage préalablement définis, sur chacun des objets de synthèse de manière à déplacer relativement les flux vidéo appliqués aux objets de synthèse correspondant pour assurer la continuité des flux vidéo,
- des moyens d'affichage des objets de synthèse sur lesquels sont appliqués des flux vidéo formant la vidéo de grande largeur.
Ce dispositif présente les mêmes avantages que le procédé d'affichage brièvement décrit ci-dessus. D'autres avantages, buts et caractéristiques de la présente invention ressortent de la description détaillée qui suit, faite à titre d'exemple non limitatif, au regard du dessin annexé dans lequel :
- la figure 1 illustre de façon schématique la réalisation matérielle d'une vidéo de grande largeur ;
- la figure 2 illustre le mixage des zones communes des flux vidéo adjacent ;
- la figure 3 décrit les paramètres de configuration pour réaliser le mixage des zones communes ;
- la figure 4 illustre un masque alpha ; et
- la figure 5 illustre un masque sans distorsion.
Les dispositifs et les procédés selon l'invention permettent de réaliser un film de grande largeur au moyen d'une pluralité de flux vidéo reçus, notamment un film vidéo de type "panoramique" sur 180 degrés en utilisant trois caméras, par exemple des caméras industrielles, calibrées et synchronisées entre elles.
Le résultat est, par exemple, une vidéo ayant une résolution de 2 300 pixels par 576 lignes pour un champ de vision horizontal de 180 degrés.
Ensuite, un logiciel de réalité augmenté, notamment le logiciel D1FUSION de la société TOTAL IMMERSION permet l'affichage, en salle immersive, d'une scène comprenant un habitacle de synthèse et la vidéo sur 180 degrés entourant l'habitacle de synthèse.
Les fonctionnalités du logiciel de réalité augmenté, par exemple du logiciel D1FUSION, utilisées sont les suivantes :
- la génération d'images à 100 Hz en stéréo active, la stéréo active reposant sur la succession dans le temps d'images destinées respectivement à chaque œil. Ainsi les images pour chaque œil sont émises à 50 Hz permettant l'obtention d'une vue de la vidéo fluide et en relief.
- la gestion d'une grappe d'ordinateurs individuels (« Personnal computer » ou PC), notamment une grappe de trois ordinateurs connectés entre eux par un réseau et synchronisés entre eux permettant l'envoi des différents flux vidéo composant la vidéo de grande largeur aux projecteurs du système de projection.
- l'instrumentation du pilote dans l'habitacle virtuel au moyen d'un système standard de capture de mouvement, notamment du système polhemus, pour détecter et gérer les déplacements du pilote dans l'habitacle virtuel.
- la calibration des images afin de garantir la restitution à l'échelle 1 de l'habitacle virtuel et des éléments de la vidéo.
- le traitement de la vidéo de grande largeur en temps réel comme un objet ou une pluralité d'objets de synthèse en trois dimensions, ce traitement consistant notamment en une déformation en temps réel de la vidéo pour tenir compte des mouvements de la tête du pilote.
- l'affichage de l'habitacle virtuel modélisé, l'affichage de l'habitacle étant également impacté par les mouvements de la tête du pilote.
- le rejeu de manière fluide de la vidéo à 180 degrés.
- l'affichage de manière fluide de l'habitacle virtuel.
- la synchronisation des cartes graphiques des ordinateurs, notamment au moyen des fonctions genlock et swaplock.
- la synchronisation des lunettes de type lunettes à cristaux liquides (« LCD shutter » en terminologie anglo-saxonne) avec le système de projection des images de la vidéo.
Le logiciel de réalité augmentée, notamment le logiciel D'FUSION permet d'afficher une image qui simule exactement la vue du pilote dans l'habitacle virtuel.
Si le pilote est équipé d'un système de capture de mouvement, alors celui-ci peut déplacer sa tête dans toute la zone de fonctionnement du capteur, soit réaliser un déplacement selon les six degrés de liberté.
Le logiciel de réalisation augmenté, notamment le logiciel D'FUSION D'FUSION peut également afficher une vue en stéréoscopie, soit en stéréoscopie active soit en stéréoscopie passive, de l'habitacle virtuel immergé dans un environnement extérieur réel représenté par les vidéo capturées. II est maintenant décrit en support de la Figure 1 , le système de tournage de la vidéo à 180 degrés.
Pour ce faire, trois caméras 1, 2, 3 sont rigidement fixées et liées telle que chaque caméra a un champ de vision légèrement supérieur à 60 degrés et une zone commune plus ou moins étroite. Le champ de vision 4 total couvert par les trois caméras atteint alors 180 degrés.
Les caméras ont par exemple les caractéristiques suivantes. Elles sont conformes au standard PAL impliquant un rafraîchissement de 50 Hz, et elles possèdent une entrée de synchronisation de type Genlock. En effet, les trois caméras doivent être synchronisées entre elles. En outre, les caméras possèdent un champ de vision supérieur à 60 degrés.
De sorte à créer une vidéo de grande largeur à partir des trois caméras, le logiciel de réalité augmentée, notamment le logiciel D'FUSION, va être configuré pour effectuer un mixage des zones communes des images appelé "edge blending" en terminologie anglo-saxonne tel qu'illustré en Figure 2.
Afin de réaliser un rendu correct de l'assemblage de trois vidéos en mode panoramique dans une scène virtuelle, on décrit maintenant les opérations à réaliser, notamment lors de l'acquisition des vidéos et de la restitution de celles-ci en mode panoramique.
Etant donné que l'on ne dispose pas d'information de profondeur sur les vidéos reçues des caméras, alors ces vidéos sont, selon un mode de réalisation, re-projetées à l'infini.
L'impression de projection à l'infini est obtenue lorsque les deux yeux voient la même chose dans la même direction de l'espace.
Pour simuler cette projection à l'infini, les vidéos sont appliquées sur au moins un objet de synthèse aussi appelé « mesh » en terminologie anglo- saxonne, de grande dimension et placé à grande distance. Cet objet de synthèse est décomposé en une pluralité de polygones formant une surface.
L'objet de synthèse est rigidement lié en position mais non en orientation à l'œil virtuel de l'observateur. En effet, le rendu de l'image panoramique doit être l'image du point de vue de l'observateur dans le simulateur, en d'autres termes, ce que l'observateur aurait vu s'il avait son œil à la place du centre optique commun des trois caméras.
Dans l'idéal, pour être en mesure d'obtenir un raccordement parfait des vidéos, les centres optiques résultant des caméras devraient être concourant en un point commun.
Ainsi, on affiche, par exemple, les trois vidéos sur trois surfaces planes rectangulaires de proportions environ 4/3, la proportion étant déterminée de manière exacte en fonction de la caméra. Pour ce faire, on applique une déformation non linéaire à une image (aussi appelé NLIM « non linear image mapping » en terminologie anglo-saxonne) pour annuler les distorsions, notamment les distorsions radiales, dues aux paramètres intrinsèques de la caméra et un mixage des parties communes sur les bords des images pour les joindre. Les paramètres intrinsèques de la caméra sont préalablement déterminés et mémorisés.
En outre, si les déplacements de l'observateur dans le simulateur sont limités, alors chaque projecteur, émettant une partie de la vue panoramique, notamment les projecteurs émettant les cotés de la vue, est amené à traiter au plus deux vidéos en vue de leur affichage sur les écrans de projections de côté.
Les objets de synthèse sont définis par une liste de sommets reliés entre eux afin de définir un maillage constituant une surface.
En ce qui concerne les coordonnées de texture, l'application préalable de la fonction de distorsion aux coordonnées de texture de chaque sommet a précisément pour fonction d'attribuer à chaque sommet d'un objet de synthèse sur lequel une vidéo est appliquée, la couleur du point vu par la caméra dans la direction du sommet.
Ce mécanisme de re-projection de vidéo de grande largeur est notamment géré par le logiciel de réalité augmenté, par exemple par le logiciel D'Fusion. Les caméras sont synchronisées pendant le tournage du film, c'est- à-dire durant la capture des vidéos devant former la vidéo de grande largeur. Cette synchronisation permet d'éviter des décalages temporels entre les vidéos.
Le dispositif, conformément à l'invention, comprend également un système de capture de mouvement afin de déterminer la position de la tête de l'observateur.
En outre, dans le mode de réalisation dans lequel plusieurs ordinateurs individuels sont utilisés pour la re-projection de la vidéo de grande largeur, ces ordinateurs sont synchronisés afin que l'affichage des différentes vidéos formant la vidéo de grande largeur représente de manière exacte le même point de vue.
Les informations de position de la tête de l'usager sont transmises entre les ordinateurs par l'intermédiaire du réseau et notamment du réseau Ethernet.
Dans le système de re-projection de la vidéo de grande largeur, le capteur de mouvement est notamment relié à un ordinateur, appelé ordinateur maître.
L'ensemble des ordinateurs ont également une horloge synchronisée, notamment par rapport à l'ordinateur maître. Pour ce faire, le logiciel de réalité augmentée gère ces synchronisations.
L'affichage de la vidéo de grande largeur est maintenant décrit. Cet affichage comprend l'affichage d'une scène de réalité augmentée.
L'affichage de la vue synthétique complète, combinant la vidéo de grande largeur et éventuellement un habitacle virtuel, est réalisé notamment sur un écran hémicylindrique de 3.5 mètres de rayon, 3 mètres de hauteur, et 170 degrés de panoramique statique. Cet écran est constitué notamment de trois sections pour trois vidéoprojecteurs.
On détermine un repère appelé repère Monde, correspondant, par exemple, au centre du cylindre, définit par les coordonnées suivantes : x vers l'avant, y vers la gauche, z vers le haut. Le dispositif d'affichage comprend trois vidéo projecteurs aptes à projeter la vidéo de grande largeur sur l'écran.
Afin de réaliser un affichage stéréoscopique, chaque projecteur affiche à tour de rôle la scène pour l'œil gauche puis l'œil droit à une fréquence de 100 Hz.
Préalablement, une opération de calibration permet de déterminer la position de l'émetteur de capture de mouvement par rapport au repère Monde décrit ci-dessus.
Un récepteur de capture de mouvement permet ensuite de déterminer la localisation de la tête de l'utilisateur, le récepteur de capture de mouvement étant rigidement lié à la tête de l'utilisateur.
Ainsi, pour chaque personne, il est rendu possible de déterminer la position de chaque œil par rapport au repère monde.
Selon un mode de réalisation, les films ont été réalisés à trois hauteurs de tournage.
Selon l'exemple de réalisation, les trois hauteurs sont 1 mètre, 1 ,4 mètre et 1 ,8 mètre. Ainsi, aucune de ces valeurs ne correspond véritablement au centre du repère Monde.
Ces trois repères sont appelés respectivement RH1 , RH2, RH3 définissant chacun un repère hauteur numéro x.
Lors du tournage, c'est-à-dire de la capture des différentes vidéos devant former la vidéo de grande largeur, il est nécessaire de caler les caméras horizontalement. Ensuite, la caméra centrale est positionnée de telle sorte qu'elle pointe bien horizontalement vers l'avant du véhicule, notamment avec un roulis de valeur 0.
En outre, les centres optiques des trois caméras doivent être réglés de manière à être identiques.
Enfin, de préférence, les 3 caméras ont exactement les mêmes caractéristiques optiques.
Lorsqu'on passe d'un film à l'autre dans la salle immersive, l'observateur est vraiment plus haut ou plus bas que la vidéo capturée d'où l'intérêt d'avoir réalisé une capture vidéo selon différentes hauteurs. Dans la scène virtuelle qui sera ensuite projetée sur l'écran hémisphérique, trois écrans plats de projection virtuelle montrent chacun la vidéo prise par une caméra.
Ils sont orientés exactement comme les caméras réelles et couvrent le même champ de vision.
Les écrans plats de projection virtuelle, aussi appelé objets de synthèse, déforment les vidéos pour annuler leur distorsion (dues aux paramètres intrinsèques des caméras).
Les écrans plats de projection virtuelle sont grands et éloignés pour simuler une projection à l'infini tel que défini précédemment. En outre, ils sont tous parentés au repère RHx.
Ainsi, si un observateur est placé au centre du repère, par exemple au repère RHx, en regardant autour de lui les trois écrans plats de projection virtuelle, alors il voit exactement la même chose que ce qu'a vu un observateur placé au centre optique, supposé commun, des trois caméras lors du tournage des films.
Pour chaque œil, trois points de vue aussi appelés « viewing frustrum » en terminologie anglo-saxonne, sont centrés sur l'œil et positionnés horizontalement. Ainsi, ils pointent automatiquement en direction des centres de leurs sections d'écran respectives.
Si possible, les champs de vision horizontal et vertical des points de vue sont ajustés dynamiquement pour que leur section d'écran remplisse leur champ de vision.
En outre, étant donné que le système de projection effectue un mixage de zones communes entre les différentes vidéos formant la vidéo de grande largeur, les sections considérées se chevauchent sur les bords.
Lors du tournage de la vidéo de grande largeur, une opération de détermination des distorsions optiques des différentes caméras est à réaliser, notamment au zoom arrière maximal, en effet, le zoom arrière maximal est la configuration dans laquelle le tournage est effectué. Pour ce faire, on utilise un outil appelé « Disto » déterminant les paramètres intrinsèques des caméras. Ces paramètres sont en outre mémorisés.
Avec les paramètres obtenus, on génère avec l'outil « Undisto » un objet de synthèse rectangulaire de proportions identiques à I' « aspect ratio » de la caméra et qui compense les distorsions inhérentes à la caméra.
Cet objet de synthèse est ensuite inséré dans la définition de la scène de référence du logiciel de réalité augmentée, notamment du logiciel D'Fusion, avec comme valeur de réglage, la valeur 0.
Afin de pouvoir exploiter la totalité de l'image acquise et ne rien perdre de cette image lors de sa restitution dans une salle immersive, la fonction de distorsion appliquée a été normalisée de telle sorte que les bords gauche et droite (à hauteur centrale) de la vidéo brute soient exactement appliqués sur les bords gauche et droite de l'objet de synthèse sur lequel est appliqué une vidéo.
La scène de réalité augmentée, notamment du logiciel D'Fusion, qui sert de base à la scène finale, sert à ajuster les écrans de projection virtuelle.
Pour ce faire, les réglages que l'on peut par exemple appliquer à l'écran plat de projection virtuelle central sont le roulis, l'échelle et la distance.
En ce qui concerne les réglages des écrans gauche et droit, ces réglages concernent le cap, le roulis et le tangage. Ces écrans doivent avoir une valeur de distance plus grande que l'écran central afin que leur surface apparaisse en totalité derrière la surface de l'écran central.
Lors de la fabrication du support des caméras, un premier ajustement de l'orientation des caméras est réalisé.
En effet, en observant les bords des champs capturés des caméras dans la scène de réalité augmentée, notamment du logiciel D'Fusion, on maximise l'angle de capture entre les caméras tout en maintenant une zone commune afin de réaliser la jonction des vidéos dans la scène.
Afin d'obtenir une très bonne jonction, voire une jonction parfaite entre les vidéos composant la vidéo de grande largeur, on règle la scène à partir des paramètres d'échelle et de distance et on réoriente les caméras gauche et droite selon les paramètres de type tangage et roulis mais nullement en cap. Une telle jonction peut être obtenue sans opération de mixage des zones communes entre les vidéos.
Il est également possible d'effectuer des opérations de zoom dans la scène de réalité augmentée, notamment dans le logiciel D'Fusion afin d'ajuster précisément les jonctions.
L'ensemble de ces paramètres de réglages sont mémorisés, notamment en vue d'une re-projection de la vidéo de grande largeur.
Par la suite, une fois tous les paramètres de réglage corrects trouvés, il est possible d'effectuer un mixage des zones communes des vidéos entre l'écran virtuel central et les deux écrans situés sur les côtés.
Pour avoir un affichage correct du mixage, l'écran central est affiché en dernier.
L'outil de mixage produit une image informatique destinée à servir de masque de transparence lors de l'affichage de l'écran de synthèse central.
Le masque de transparence est fonction des paramètres de réglage obtenus précédemment et mémorisés dans un fichier tel que décrit en Figure 3.
Le masque de transparence est également fonction des paramètres intrinsèques de la caméra.
A partir de cet outil, il est généré un masque de transparence alpha tel qu'illustré en Figure 4
Ce masque est ensuite exploité par la carte graphique lors du rendu de la vidéo de l'écran de synthèse central. Les zones noires indiquent une transparence nulle, les zones blanches une transparence complète et les niveaux de gris intermédiaires des transparences intermédiaires.
Une opération de roulis est également effectuée afin de compenser le roulis de la caméra centrale ainsi qu'une opération de tangage afin de compenser le tangage des caméras latérales.
L'outil peut également être adapté si nécessaire en vue d'effectuer d'autres traitements. Une fois que le traitement supprimant la distorsion au moyen de l'objet de synthèse a été effectué, les bords du masque deviennent linéaires tel qu'illustré en Figure 5.
Toutefois, on peut observer que les bords du masque sont blancs sur une certaine largeur, notamment en fonction de l'angle entre les caméras.
Pour réduire cette largeur perdue, il suffit d'augmenter l'angle entre les caméras pendant le tournage.
Ainsi, on peut observer que la vidéo 4/3 comprend 720 pixels sur 540 lignes avec des pixels non carrés au lieu de 768 pixels sur 576 lignes.
Il est à noter que l'objet de synthèse utilise des coordonnées de texture normalisées à 1. Les coordonnées de texture ont été calculées pour un objet de synthèse de rapport 4/3 et en supposant que l'image est de dimensions 768 pixels sur 576 lignes.
Etant donné que la première opération réalisée par la carte graphique consiste à associer des coordonnées normalisées à la texture, alors quelque soit la résolution de le vidéo, le résultat sera correct.
Lors du tournage en vue de l'obtention des différentes vidéos devant former la vidéo de grande largeur, les caméras sont installées sur un véhicule. Le sol est considéré comme parfaitement plan et horizontal. Une barre horizontale est placée devant les caméras. Ensuite, on affiche un réticule c'est- à-dire une croix dans l'image de la caméra centrale.
Enfin, le bloc complet support est réorienté de telle sorte que la vue de la caméra centrale ait le réticule aligné et centré sur la barre.
Pour le tournage, il est veillé au fait de mettre la mise au point des caméras sur l'infini.
Il est également possible de passer en mode manuel et de réaliser les mêmes réglages d'exposition sur les 3 caméras.
Si la rigidité mécanique du support est correcte, aucun réglage supplémentaire n'est à réaliser dans la scène de réalité augmentée.
Concernant le point de démarrage commun des trois vidéos, la barre horizontale est déplacée rapidement de bas en haut à faible distance, pour être en vue des trois caméras. Lors d'un déplacement rapide de la barre, la synchronisation est retrouvée sans ambiguïté.
Lors de la restitution, c'est-à-dire lors de l'affichage des vidéos formant la vidéo de grande largeur, les différents ordinateurs opérant à cet affichage sont synchronisés.
Selon un mode de réalisation, les sorties graphiques sont synchronisées matériellement.
Pour réduire la latence au minimum, le système de capture de mouvement positionné sur la tête de l'utilisateur, est également synchronisé avec les cartes graphiques des ordinateurs destinés à effectuer l'affichage.
En outre, seul un ordinateur, l'ordinateur maître, est connecté au capteur de mouvement afin de récupérer de celui-ci les informations de position de la tête de l'utilisateur. Ces informations sont ensuite émises aux autres ordinateurs par le réseau informatique.
L'ordinateur maître communique également aux autres ordinateurs l'œil actif pour la trame courante. Enfin, il assure la resynchronisation forcée des ordinateurs latéraux.
Il est à noter que la scène doit être conçue de telle sorte que les 3 ordinateurs traitent simultanément les mêmes trames reçues.
Ainsi, la séquence d'instructions dans la boucle de modification des images appelée « update_frames/render » du logiciel de réalité augmentée, notamment du logiciel D'Fusion comprend les instructions suivantes :
[Réception UDP (-1)].
Synchronisation du capteur de mouvement.
Réception de données par le port RS232.
Passage dans la boucle du capteur de mouvement.
Récupération des dernières données reçues.
Envoi de trame UDP.
[mocap UDP (-1)].
[Rendu trame (-1)].
Puis
Réception UDP. [Synchronisation du capteur de mouvement.
Réception de données par le port RS232.
Passage dans la boucle du capteur de mouvement.
Récupération des dernières données reçues.
Envoi de trame UDP. (+1)] capteur de mouvement UDP.
Rendu trame.
Ainsi, sur l'ordinateur maître, l'algorithme consiste à interroger et demander les messages reçus selon le protocole UDP lors de l'étape (n-1 ), récupérer des dernières données reçues en provenance du capteur de mouvement lors de l'étape (n), émettre des messages selon le protocole UDP lors de l'étape (n) à toutes les machines y compris l'ordinateur maître, exploiter par le logiciel de traitement de réalité augmenté les messages reçus selon le protocole UDP à l'étape (n-1 ) et effectuer le rendu graphique à l'étape (n-1).
Ensuite, l'algorithme consiste à interroger et demander les messages reçus selon le protocole UDP lors de l'étape (n), récupérer des dernières données reçues en provenance du capteur de mouvement lors de l'étape (n+1 ), émettre des messages selon le protocole UDP lors de l'étape (n+1 ) toutes les machines y compris l'ordinateur maître, exploiter par le logiciel de traitement de réalité augmenté les messages reçus selon le protocole UDP à l'étape (n) et effectuer le rendu graphique à l'étape (n).
Concernant les autres ordinateurs, ils exploitent les messages reçus selon le protocole UDP (et émis par l'ordinateur maître), exploitent ces messages, notamment, au moyen d'un logiciel de réalité augmentée et effectuent le rendu graphique.
Concernant la stéréoscopie, l'impression de relief est produite en portant des lunettes à cristaux liquides. Chaque projecteur affiche tour à tour la vue de l'œil gauche puis la vue de l'œil droit.
Dans le principe de la réalité augmentée, notamment du logiciel D'Fusion, cela consiste en une règle d'animation de l'attribution de la caméra sur un œil puis sur l'autre.
Le tournage peut également être adapté afin d'obtenir un champ de vision adapté au besoin de la vidéo de grande largeur à obtenir. Pour ce faire, soit alpha, l'angle couvert par chaque projecteur que l'on suppose identique. On déduit de cet angle, la zone commune beta entre les images à mixer entre les écrans selon la formule suivante : beta = (3*alpha-fovhtotal)/2, avec fovhtotal étant l'angle de vue horizontal assuré par le système de projection, par exemple l'angle 180 degrés pour un écran hémicylindrique vu de son centre.
A noter que si on permet à l'utilisateur de s'avancer dans la salle, le système de projection est en mesure de lui présenter plus que 180 degrés. Dans ce cas, on peut se permettre de prendre pour l'angle fovhtotal, une valeur supérieure à 180 degrés.
Par exemple, si l'angle fovhtotal est de 170 degrés et si l'angle alpha a une valeur de 60 degrés, alors la zone commune beta entre les images sera de 5 degrés. En d'autres termes, deux projecteurs se recouvrent sur 5 degrés de l'écran.
On décrit maintenant le réglage du point œil, c'est-à-dire de la position des yeux pour le véhicule considérée comme optimale pour sa conduite.
Lorsqu'on passe d'un film à l'autre dans la salle immersive, plusieurs choix se présentent.
Selon un premier mode de réalisation, le véhicule virtuel est placé toujours posé sur le sol de la salle, avec le point œil positionné selon les coordonnées x, y et z suivants : y=0, et x=0 correspondant à la maquette réelle installée, et z ayant la valeur de la hauteur réelle du point œil pour le véhicule virtuel chargé.
L'observateur a alors besoin de régler le siège plus haut ou plus bas pour un alignement correct avec le point œil.
Selon un deuxième mode de réalisation, le véhicule de synthèse peut être artificiellement décalé pour faire coïncider son point œil avec la position de repos de l'observateur. Dans ce cas, le véhicule virtuel ne repose plus nécessairement sur le sol de la salle de projection. Selon un troisième mode de réalisation, on considère la position actuelle de l'observateur comme étant au point œil du véhicule.
Il est à noter que le point oeil peut aussi être symbolisé par un objet tel un point boule visualisable en trois dimensions dans la salle de projection.
Les différentes vidéos formant la vidéo de grande largeur sont mémorisées, notamment sur les disques durs des ordinateurs.
Ainsi, selon l'exemple considéré, il faut être capable de lire simultanément deux ou trois vidéos à 50Hz, notamment au format AVI et de les afficher dans une scène virtuelle à une fréquence de 100Hz et à une résolution graphique de 1280 pixels sur 1024 lignes avec un effet de transparence sur une des trois.
Le débit suffisant est atteint notamment au moyen de la technologie Raid 0 en utilisant deux disques par film. De plus, afin d'optimiser l'unité de traitement des ordinateurs, les vidéos sont mémorisées au format AVI non compressé.
Les vidéos disponibles sont sur les différents disques sont illustrées sur le tableau suivant :
Figure imgf000021_0001
II est également possible de charger plusieurs habitacles virtuels au lancement du logiciel. Ensuite, en temps réel, il est possible de sélectionner au clavier chaque habitacle virtuel.
Il est à noter que la lecture des films est non linéaire, et permet les fonctions suivantes : l'avance, le recul, la pause, l'avance rapide 2x, 4x, 8x, 16x, 32x.
Afin de gérer ces options, l'ordinateur maître envoie le numéro de l'image courante aux deux ordinateurs latéraux. L'ordinateur maître est également apte à envoyer les commandes de changement de vidéo ou de changement de hauteur de caméras aux ordinateurs latéraux.
Au moyen d'une interface homme - machine, on peut sélectionner un point œil de la "vidéo". Pour ce faire, on applique des règles d'animation. De la sorte, on peut passer d'une altitude à l'autre et comparer les points de vue.
L'ordinateur maître déclenche alors les chargements sur les ordinateurs latéraux, comprenant notamment :
- le chargement de plusieurs habitacles virtuels puis la sélection au clavier.
- le placement de l'habitacle virtuel relativement au point-œil de la "vidéo" à l'aide d'un décalage selon les coordonnées en X, Y et Z.
Egalement, pour chaque nouveau véhicule, on doit avoir la possibilité de faire des réglages de positionnement.
Selon une variante de réalisation, on peut paramétrer la position de la vidéo de la scène qui est projetée par rapport à la position physique du poste de conduite dans la salle du simulateur.
Ainsi, si l'on souhaite artificiellement remonter le véhicule, alors un déplacement est effectué notamment au moyen des coordonnées en X, Y et Z.
Tel que vu précédemment, la vidéo de grande largeur est reprojetée, après acquisition, à l'infini. La projection est attachée au point œil de référence qui est notamment la position de la caméra lors du tournage.
En outre, la position du conducteur, c'est-à-dire du point-œil, dans la maquette est également paramétrable, notamment selon une position absolue (point-œil constant), soit par un recalage du conducteur, soit à partir d'une position de décalage avec une prise en compte en temps réel de la position de l'observateur.

Claims

REVENDICATIONS
1. Procédé d'ajustement de la continuité visuelle de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend les étapes suivantes :
- réception d'au moins deux flux vidéo à partir d'au moins deux caméra synchronisées entre elles ;
- application, en temps réel, de chaque flux vidéo sur un objet de synthèse dédié à ce flux vidéo ; et
- réglage, en temps réel, des paramètres de positionnement d'un objet de synthèse par rapport à un objet de synthèse voisin de manière à déplacer relativement les flux vidéos appliqués aux objets de synthèse correspondant jusqu'à obtenir la continuité visuelle des flux vidéo.
2. Procédé d'ajustement selon la revendication 1 , caractérisé en ce qu'il comprend en outre les étapes préliminaires suivantes :
- détermination des paramètres intrinsèques des caméras ;
- application d'une fonction de distorsion au flux vidéo sur un objet de synthèse en fonction des paramètres intrinsèques de la caméra dont le flux vidéo reçu est appliqué à l'objet de synthèse.
3. Procédé d'ajustement selon la revendication 2, caractérisé en ce que, l'objet de synthèse étant décomposé en une pluralité de polygones formant une surface, la fonction de distorsion est appliquée aux coordonnées de texture d'au moins une partie de la pluralité de polygones de l'objet de synthèse.
4. Procédé d'ajustement selon la revendication 2 ou 3, caractérisé en ce qu'il comprend en outre une étape de mémorisation des paramètres intrinsèques des caméras.
5. Procédé d'ajustement selon l'une quelconque des revendications précédentes, caractérisé en ce que, les flux vidéo reçus ayant entre eux une zone commune, le procédé comprend en outre une étape de mixage des zones communes entre deux flux vidéo lors des superpositions d'objets de synthèse sur les zones de recouvrement.
6. Procédé d'ajustement selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend en outre une étape de mémorisation des paramètres de positionnement des objets de synthèse.
7. Procédé d'ajustement selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de réglage des paramètres de positionnement comprend le réglage du cap, du tangage, du roulis et de la distance.
8. Procédé d'ajustement selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de réglage des paramètres de positionnement est réalisée manuellement.
9. Procédé d'affichage de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend les étapes suivantes :
- application, en temps réel, de chaque flux vidéo préalablement reçu sur un objet de synthèse dédié à ce flux vidéo,
- application de réglage préalablement définis, sur chacun des objets de synthèse de manière à déplacer relativement les flux vidéo appliqués aux objets de synthèse correspondant pour assurer la continuité des flux vidéo,
-affichage des objets de synthèse sur lesquels sont appliqués des flux vidéo formant la vidéo de grande largeur.
10. Procédé d'affichage selon la revendication 9, caractérisé en ce qu'il comprend une étape d'application d'une fonction de distorsion au flux vidéo sur un objet de synthèse en fonction de paramètres intrinsèques de la caméra dont le flux vidéo préalablement reçu est appliqué à l'objet de synthèse.
11. Procédé d'affichage selon la revendication 10, caractérisé en ce que, l'objet de synthèse étant décomposé en une pluralité de polygones formant une surface, la fonction de distorsion est appliquée à au moins une partie de la pluralité de polygones de l'objet de synthèse.
12. Procédé d'affichage selon l'une quelconque des revendications 9 à 11 , caractérisé en ce que les flux vidéo reçus ayant entre eux une zone commune, le procédé comprend en outre une étape de mixage des zones communes entre deux flux vidéo lors des superpositions d'objets de synthèse sur les zones de recouvrement.
13. Procédé d'affichage selon l'une quelconque des revendications 9 à 12, caractérisé en ce que l'étape d'application de réglage comprend l'application de réglage du cap, du tangage, du roulis et de la distance.
14. Procédé d'affichage selon l'une quelconque des revendications 9 à 13, caractérisé en ce que le procédé comprend une étape d'affichage d'au moins un autre objet de synthèse.
15. Procédé d'affichage selon la revendication 14, caractérisé en ce que ledit au moins un autre objet de synthèse est un habitacle virtuel.
16. Programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé selon les revendications 1 à 8.
17. Programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé selon les revendications 9 à 15.
18. Dispositif d'ajustement de la continuité visuelle de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend :
- des moyens de réception d'au moins deux flux vidéo à partir d'au moins deux caméra synchronisées entre elles ;
- des moyens d'application, en temps réel, de chaque flux vidéo sur un objet de synthèse dédié à ce flux vidéo ; et
- des moyens de réglage, en temps réel, des paramètres de positionnement d'un objet de synthèse par rapport à un objet de synthèse voisin de manière à déplacer relativement les flux vidéos appliqués aux objets de synthèse correspondant jusqu'à obtenir la continuité visuelle des flux vidéo.
19. Dispositif d'ajustement selon la revendication 18, caractérisé en ce qu'il comprend en outre :
- des moyens de détermination des paramètres intrinsèques des caméras ;
- des moyens d'application d'une fonction de distorsion au flux vidéo sur un objet de synthèse en fonction des paramètres intrinsèques de la caméra dont le flux vidéo reçu est appliqué à l'objet de synthèse.
20. Dispositif d'ajustement selon la revendication 19, caractérisé en ce que, l'objet de synthèse étant décomposé en une pluralité de polygones formant une surface, les moyens d'application d'une fonction de distorsion sont aptes à appliquer la fonction de distorsion aux coordonnées de texture d'au moins une partie de la pluralité de polygones de l'objet de synthèse.
21. Dispositif d'ajustement selon la revendication 18 ou 19, caractérisé en ce qu'il comprend en outre des moyens de mémorisation des paramètres intrinsèques des caméras.
22. Dispositif d'ajustement selon l'une quelconque des revendications 18 à 21 , caractérisé en ce que, les flux vidéo reçus ayant entre eux une zone commune, le dispositif comprend en outre des moyens de mixage des zones communes entre deux flux vidéo lors des superpositions d'objets de synthèse sur les zones de recouvrement.
23. Dispositif d'ajustement selon l'une quelconque des revendications 18 à 22, caractérisé en ce qu'il comprend en outre des moyens de mémorisation des paramètres de positionnement des objets de synthèse.
24. Dispositif d'ajustement selon l'une quelconque des revendications 18 à 23, caractérisé en ce que les moyens de réglage des paramètres de positionnement sont aptes à régler le cap, le tangage, le roulis et la distance.
25. Dispositif d'ajustement selon l'une quelconque des revendications 18 à 24, caractérisé en ce que le dispositif comprend des moyens de commande manuelle des paramètres de positionnement.
26. Dispositif d'affichage de flux vidéo formant une vidéo de grande largeur, caractérisé en ce qu'il comprend :
- des moyens d'application, en temps réel, de chaque flux vidéo préalablement reçu sur un objet de synthèse dédié à ce flux vidéo,
- des moyens d'application de réglage préalablement définis, sur chacun des objets de synthèse de manière à déplacer relativement les flux vidéo appliqués aux objets de synthèse correspondant pour assurer la continuité des flux vidéo,
- des moyens d'affichage des objets de synthèse sur lesquels sont appliqués des flux vidéo formant la vidéo de grande largeur
27. Dispositif d'affichage selon la revendication 26, caractérisé en ce qu'il comprend des moyens d'application d'une fonction de distorsion au flux vidéo sur un objet de synthèse en fonction de paramètres intrinsèques de la caméra dont le flux vidéo préalablement reçu est appliqué à l'objet de synthèse
28. Dispositif d'affichage selon la revendication 27, caractérisé en ce que, l'objet de synthèse étant décomposé en une pluralité de polygones formant une surface, les moyens d'application d'une fonction de distorsion sont aptes à appliquer la fonction de distorsion à au moins une partie de la pluralité de polygones de l'objet de synthèse.
29. Dispositif d'affichage selon l'une quelconque des revendications 26 à 28, caractérisé en ce que les flux vidéo reçus ayant entre eux une zone commune, le dispositif comprend en outre des moyens de mixage des zones communes entre deux flux vidéo lors des superpositions d'objets de synthèse sur les zones de recouvrement.
30. Dispositif d'affichage selon l'une quelconque des revendications 26 à 29, caractérisé en ce que les moyens d'application de réglage sont aptes à régler le cap, le tangage, le roulis et la distance.
31. Dispositif d'affichage selon l'une quelconque des revendications 26 à 30, caractérisé en ce que le dispositif comprend des moyens d'affichage d'au moins un autre objet de synthèse.
32. Dispositif d'affichage selon la revendication 31 , caractérisé en ce que ledit au moins un autre objet de synthèse est un habitacle virtuel.
PCT/FR2006/001937 2005-08-09 2006-08-09 Procede et dispositif d'ajustement de flux video formant une video de grande largeur et procede et dispositif d'affichage associe WO2007017600A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0552474A FR2889759A3 (fr) 2005-08-09 2005-08-09 Systeme permettant d'afficher un cockpit virtuel modelise integre dans un environnement video
FR0552474 2005-08-09

Publications (2)

Publication Number Publication Date
WO2007017600A2 true WO2007017600A2 (fr) 2007-02-15
WO2007017600A3 WO2007017600A3 (fr) 2007-04-05

Family

ID=37654863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2006/001937 WO2007017600A2 (fr) 2005-08-09 2006-08-09 Procede et dispositif d'ajustement de flux video formant une video de grande largeur et procede et dispositif d'affichage associe

Country Status (2)

Country Link
FR (1) FR2889759A3 (fr)
WO (1) WO2007017600A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
WO2002013515A2 (fr) * 2000-08-07 2002-02-14 Koninklijke Philips Electronics N.V. Video numerique rapide a zoom, panoramique et inclinaison

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
WO2002013515A2 (fr) * 2000-08-07 2002-02-14 Koninklijke Philips Electronics N.V. Video numerique rapide a zoom, panoramique et inclinaison

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images

Also Published As

Publication number Publication date
FR2889759A1 (fr) 2007-02-16
WO2007017600A3 (fr) 2007-04-05
FR2889759A3 (fr) 2007-02-16

Similar Documents

Publication Publication Date Title
US10225545B2 (en) Automated 3D photo booth
US6843564B2 (en) Three-dimensional image projection employing retro-reflective screens
CN1977544B (zh) 3d显示方法和设备
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
TWI502269B (zh) 顯示三維影像之方法及裝置
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
US20050264858A1 (en) Multi-plane horizontal perspective display
US20050219695A1 (en) Horizontal perspective display
WO2007017598A2 (fr) Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
US10078228B2 (en) Three-dimensional imaging system
EP2791914A1 (fr) Système de tournage de film vidéo
KR20170090165A (ko) 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
US20060250390A1 (en) Horizontal perspective display
Large et al. Parallel optics in waveguide displays: a flat panel autostereoscopic display
WO2017187095A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
JP4042356B2 (ja) 画像表示システムおよび画像表示システム用画像補正サービス方法
US8717425B2 (en) System for stereoscopically viewing motion pictures
WO2007017600A2 (fr) Procede et dispositif d'ajustement de flux video formant une video de grande largeur et procede et dispositif d'affichage associe
US20210274127A1 (en) Presentation system and presentation method
Yano et al. Full-parallax spherical light field display using mirror array
FR3057430A1 (fr) Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images
WO2010103012A1 (fr) Systeme et procede configures pour la captation d'une pluralite d'images a destination d'une restitution multiscopique a deformation controlee
KR20170090192A (ko) 증강현실 환경에서의 시력보호장치 및 그 방법
Yoshida fvision: Interactive glasses-free 3D images floating on a flat tabletop surface
Yoshida fVisiOn: Glasses-free tabletop 3D display that provides virtual 3D images on a flat tabletop surface

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06794319

Country of ref document: EP

Kind code of ref document: A2