WO2013144506A1 - Procede et dispositif de creation d'images - Google Patents

Procede et dispositif de creation d'images Download PDF

Info

Publication number
WO2013144506A1
WO2013144506A1 PCT/FR2013/050661 FR2013050661W WO2013144506A1 WO 2013144506 A1 WO2013144506 A1 WO 2013144506A1 FR 2013050661 W FR2013050661 W FR 2013050661W WO 2013144506 A1 WO2013144506 A1 WO 2013144506A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
user
scene
image
graphic
Prior art date
Application number
PCT/FR2013/050661
Other languages
English (en)
Inventor
Hervé Marchand
Guillaume Roul
Cédric Chedaleux
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Priority to EP13715383.9A priority Critical patent/EP2831847A1/fr
Priority to US14/387,782 priority patent/US9942540B2/en
Publication of WO2013144506A1 publication Critical patent/WO2013144506A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes

Definitions

  • the invention relates to the creation of images for the rendering of a graphic scene, in particular a scene composed of several graphic components, intended to be displayed on a screen.
  • the invention applies to any terminal comprising a module able to receive the description of a graphic scene as input and to output one or more images, also called views, of the same graphic scene.
  • a terminal is for example a computer, a television set, a digital decoder or a mobile phone.
  • graphic scene By graphical scene is meant a set of graphic objects displayed on a screen, often for the purpose of interacting with the user, for example in the context of a video game or a man-machine interface.
  • graphic object we mean a synthetic object, that is to say an object defined by a set of parameters (shape, color, texture .%) as opposed to a so-called natural object.
  • the images of the scene are intended to ensure its relief in relief on a screen, whether three-dimensional or not.
  • the two-dimensional screens are used for the visualization of data in two-dimensional mode: a single image is displayed by the screen which renders it without relief, but possibly with an impression of depth which can be assimilated to a relief.
  • Three-dimensional screens including stereoscopic three-dimensional computer or TV screens, are commonly used for viewing relief data.
  • Three-dimensional screens usually have the ability to display images in two-dimensional or three-dimensional mode. In three-dimensional mode, two images are displayed by the screen, which then renders them in relief.
  • the two images called stereoscopic, are offset with respect to each other, one being intended for the left eye and the other for the right eye of a user of the screen.
  • This offset also called parallax, corresponds to the difference in horizontal distance between the two eyes of the human user. According to the value of this parallax, the brain of the user imagines a point of convergence situated in front of or behind the plane of the screen, thus associating an impression of depth with the observed object.
  • multi-view systems also referred to as multi-view systems
  • Several images are then transmitted to a screen, said multiscopic screen, which allows a visualization in relief of the scene from several angles of different views.
  • the user benefits, according to its position relative to the screen, two of the available images to build a stereoscopic vision of the image.
  • graphic scenes are based on a set of graphic software libraries (graphical toolkit) that allow you to draw basic graphic components, such as cubes, polygons, buttons, lists, and so on.
  • Graphics libraries can communicate directly with the device hardware, such as video memory, video card and graphics processor (GPU), or use an application programming interface (API) driver that communicates with that hardware.
  • GUI application programming interface
  • the user can not benefit from information relating to the hidden faces of the object (top, bottom or sides of the object).
  • the invention offers a solution that does not have the drawbacks of the state of the art.
  • the subject of the invention is a method for creating at least one image of a graphic scene intended to be rendered on a screen of a user occupying a position with respect to the screen , the scene comprising at least one graphic object, characterized in that at least one graphic object is created in at least one image taking into account the position of the user.
  • the method of the invention offers the advantage of rendering, for display on the screen, a scene that is truly adapted to the user, regardless of the position of the latter relative to the screen.
  • the restitution of the graphic component in the image or images created for the screen takes into account this movement.
  • This approach is particularly advantageous when the user plays, being in this case naturally moved in all directions.
  • a method as described above is further characterized in that the step of creating the graphic object comprises the steps of:
  • This mode of implementation of the invention makes it possible to automatically create several images from several captures, or photographs, of the graphic scene, each image, or view, being constituted projected objects taking into account the position, and thus the angle of view, of the user.
  • two virtual cameras placed respectively at the position of the left eye and the right eye of the user, are used to capture two images, including a capture intended to render on the screen. the image intended for the right eye and the other captures to restore the image intended for the left eye.
  • the prior art does not propose to change the position of the cameras to follow that of the eyes of the user, and therefore the rendering of the scene does not take into account the movement of the user.
  • the point of view of the user is retranscribed via the captured images. For example, if the user moves upwards, the invention allows him to reveal the top of the object; if it moves to the left, the right view of the object is revealed to it.
  • the prior art does not offer a solution to correct the misalignment of the eyes of the user relative to the horizontal.
  • the invention even if the user inclines the head, a stereoscopic image of good quality is restored to him: he can see both the top and the bottom of a flat surface, unlike the known systems, for which the image intended for the left eye and that intended for the right eye will be misaligned.
  • the creation process is characterized in that it also comprises
  • This embodiment offers the advantage of automatically providing the optimal number of images for the user's screen: from the same graphic scene (for example a game scene), the method of the invention automatically creates a single image if the user's screen is two-dimensional, two images in the case of a stereoscopic screen, and a higher number of images for a multiscopic screen.
  • This embodiment is very advantageous since it offers a unique method for a heterogeneous set of display terminals.
  • the subject of the invention is a terminal comprising means for creating at least one image of a graphic scene intended to be rendered on a screen of a user occupying a position with respect to the screen, the scene comprising at least one graphic object, characterized in that it comprises means for creating at least one graphic object in at least one image, taking into account the position of the user.
  • a terminal as described above furthermore includes:
  • a terminal as described above is further characterized in that it comprises:
  • - Image creation means whose number is a function of the number of releasable views on the screen.
  • the invention also relates to a computer program capable of being implemented on a terminal as described above, the program comprising code instructions which, when the program is executed by a processor, performs the steps of the method defined above.
  • FIG. 1 represents a system comprising an image creation module for the rendering of a graphic scene according to one embodiment of the invention.
  • FIG. 2 is a block diagram of a terminal capable of carrying out the steps of an image creation method for the rendering of a graphic scene according to one embodiment of the invention.
  • FIG. 3 represents a high level flowchart illustrating the different steps of a method according to the invention.
  • Figures 4a and 4b are graphic illustrations of the initialization step of a method according to the invention.
  • FIGS. 5a and 5b are graphic illustrations of the initialization steps of the cameras of a method according to the invention in the context of a stereoscopic screen.
  • Figures 6a and 6b are graphical illustrations of the steps of rendering a method according to the invention in the context of a stereoscopic screen.
  • Figure 7 is a detailed flowchart of the projection of a graphic component of the scene.
  • FIG. 1 represents a system comprising a terminal T according to the invention, equipped with a conversion module MC, and connected by way of example to three 2D TV screens, 3D TV and ND TV with respectively two-dimensional, three-dimensional and multi-screen displays. -vues.
  • the terminal T contains a graphic scene SG, which can be for example a human-machine interface or a game scene. This scene may have been developed locally or outside the terminal.
  • the conversion module MC of the terminal T receives as input the graphic scene in the form of a description (SG), for example that of a two-dimensional graphical interface in which is drawn a cylinder 4.
  • This description can take the form of a sequence of program instructions able to create, when executed, according to the state of the art, a two-dimensional image V2D (for: two-dimensional view) of the graphic scene.
  • the MC module creates two stereoscopic VG and VD images of the scene for the stereoscopic screen.
  • the module MC can also create more than two images, for example six, for the multiscopic screen.
  • one of the images corresponds to the view of the left eye and the other (VD) to that of the right eye of the user.
  • a stereoscopic global image formed of the pair of VG and VD stereoscopic images can be displayed in relief on the 3D TV set equipped with a three-dimensional screen, each element of the interface being rendered with a depth of its own: in our example , for a 3D TV screen user, the 43D cylinder has a positive depth (it seems to come off the screen).
  • the terminal T has a hardware and software architecture which are now detailed in support of Figure 2.
  • FIG. 2 very schematically represents an embodiment of a hardware architecture TM of the terminal T.
  • the terminal comprises a CPU processor intended to execute the various steps of the method.
  • This processor is connected to a memory M in which are stored at least the software programs (in a permanent part - ROM - of the memory) and input data corresponding to the graphics scene, a GPU graphics processor intended to take into account load all or part of the graphical calculations authorizing in particular the three-dimensional manipulation of the graphic components, and input / output means I / O able to communicate with the outside, in particular to exchange the image data with a screen connected to the terminal , or with a communications network, to receive the characteristics of the screen to which it is connected and to receive positioning data of the user with respect to his screen.
  • these input-output means comprise an HDMI interface (for High Definition Multimedia Interface) allowing the transfer of uncompressed digital multimedia data (audio and video) in high definition to 2D, 3D and ND TVs. All these elements are interconnected by a bus system 6.
  • HDMI interface for High Definition Multimedia Interface
  • the graphic objects processed by the invention are stored in the memory M and execute in our example on the CPU and the GPU of the terminal.
  • the input graphic scene is based on a set of graphic software libraries TK (Graphical Toolkit) that allows to develop such scenes, for example man-machine interfaces or game scenes.
  • the graphic library TK is based on -Even, classically, on a low-level graphic library still called graphics driver or API (for Application Programming Interface) that provides a set of libraries of functions dedicated to low-level processing, for example audio and video (video card, sound card , etc.) or I / O devices (joystick, network card, mouse, etc.).
  • OpenGL Library Open Graphics Library - a specification-based library defining an interface for designing applications that create three-dimensional and two-dimensional images
  • the graphic TK library offers a higher level of development interface and therefore more comfortable to developers of the graphics scene.
  • these different software layers are used to project the two-dimensional interface into a three-dimensional virtual universe by a projection method which will be illustrated in support of the following figures.
  • the term "virtual universe” is understood to mean a virtual three-dimensional space for projecting graphic objects in order to obtain objects constituting a three-dimensional scene.
  • This virtual universe includes projected component capture means. These capture means are hereinafter referred to as "virtual cameras".
  • Such a virtual camera is a software object that defines a point of view on the three-dimensional scene, and whose function is to capture this view in the virtual universe, thus simulating a real shot in a real world.
  • the set of software and hardware modules is integrated in the conversion module MC of the terminal of FIG. 1.
  • the terminal T can be a digital decoder or a mobile telephone equipped with the elements mentioned above, or a connected TV incorporating these elements, etc.
  • a virtual universe is created. It is a question of classically positioning a virtual camera in a three-dimensional coordinate system. This step will be detailed later in support of Figure 4a.
  • the step E2 corresponds to the acquisition of one of the basic graphic objects constituting the graphic scene (CP_2D), for example the cylinder 4. This element is chosen indifferently among all the available graphic objects.
  • the process projects it during a step E3 (PROJ) in the three-dimensional universe created previously.
  • the projection step which will be detailed subsequently with the support of FIG. 7, consists in effecting a texture plating on one or more polygons to obtain, from the two-dimensional element, a three-dimensional element consisting of one or more facets possessing the texture of the two-dimensional element.
  • step E4 the method tests whether there are graphic objects to be processed. If this is not the case, a new component is selected and the projection step E3 is performed again. If all the components have been processed, the graphic scene, made up of all the objects projected in the virtual universe, is captured during a step E9 (CAPT) which consists of capturing, or photographing, the scene by the different cameras. which were created in step E6 and set in step E8, which will be described now.
  • the method according to the invention obtains the number of views of the screen.
  • the terminal is connected to the TV via an HDMI connection (from the English "High Definition Multimedia Interface", in French, “Multimedia Interface High Definition”).
  • HDMI defines a standard and a digital audio / video interface that connects an AV source to a compatible TV-type device. It is assumed that both devices (terminal and TV) also implement the optional "CEC" (for Consumer Electronics Control) standard associated with HDMI, which allows compatible devices to communicate and transmit control commands.
  • the terminal can, via the HDMI / CEC interface, retrieve the characteristics of the screen, in particular the number of viewable views (1, 2 or 6 in our example).
  • the method creates several virtual cameras; their number is a function of the number of views of the screen: 2 for a stereoscopic screen, 1 for a non-stereoscopic screen, and 6 for the mutiscopic screen of the example of Figure 1 (other configurations are possible, especially for stereoscopic multiscopic screens, which sometimes share images between the right (left) eye of a view and the left (right) eye of the next view.
  • it creates two virtual cameras C1 and C2, as shown in Figure 5a, for a stereoscopic screen.
  • this step can be omitted since the single camera Cl created during the initialization phase El is sufficient.
  • Step E7 consists in recovering the position of the destination user of the scene.
  • techniques for obtaining the position of a user without active participation on his part for example techniques for detecting and then tracking his head, or his eyes, with the aid of one or more cameras allowing determine its position in the space along the three axes. This position can be transmitted to the terminal by the camera or cameras in charge of obtaining positioning.
  • This type of technique is for example described in the article "Real-Time Eye Detection and Tracking under Various Light Conditions” by Feng Jiao and Guiming He (Data Science Journal, Vol 6 (2007) pp. S636-S640). This document is incorporated by reference in this application.
  • the restitution of the scene can thus be based on the exact position of each of the eyes of the user but can also, alternatively, be based on the position of his head, his face, his shoulders, his hands, etc.
  • the user himself transmits his position to the terminal (for example by pressing a key on his remote control which will then transmit the position to the STB).
  • step E8 when the terminal has the position of the user (which he obtained in step E7) and the number of cameras (which he has created in step E6), the The position of each camera is set according to the position of the user, as will be illustrated in support of Figure 6a.
  • step E9 the three-dimensional scene composed of the various elements arranged in the universe of the cameras is available as input. It can then be captured by the different cameras. For example, a first left image IM1 of the three-dimensional scene is captured by the camera 1, Cl. A second image IM2 is captured in the same way by replacing the camera 1, Cl, by the camera 2, C2. The two images thus obtained form a pair of stereoscopic images.
  • one or more images are available (for example, the two stereoscopic images corresponding to the two cameras), which will be able to be combined during a step E10 (COMP) to create the image of the scene (IC), according to the input format expected by the screen, for example two side-by-side stereoscopic images, or one above the other ( in English: Top / Bottom), or alternatively in time according to the sequential mode (in English: field sequential) of the Bluray 3D format.
  • This step E10 can be omitted if the screen directly accepts the input images. It will, in particular, be systematically omitted in the case of a two-dimensional screen since only one image will be delivered to it, not requiring a particular composition format.
  • the method stops by a step Eli (END) in which the final image IC composed of all the captured images is transmitted on the screen.
  • END step Eli
  • Figures 4a and 4b are graphic illustrations of the initialization step (E1) of a method according to the invention.
  • the process first creates the three-dimensional space represented by the reference ( ⁇ , ⁇ , ⁇ , ⁇ ) (the Y axis, being perpendicular to the figure since the virtual universe is seen from above, is not represent).
  • a first virtual camera C1 pointing to the origin 0 of the marker, is created.
  • the configuration of the camera determines a volume of the space, also called frustum by the skilled person, or which is potentially visible by the user during a visualization on the screen (surface grayed in the figure). It is a truncated pyramid.
  • the apex of the pyramid is the position of the camera Cl, its base is the farthest plane (in English: Far Plane - FP) and the pyramid is truncated at the level of the nearest plane, in English: Near Plane - NP). All the three-dimensional objects that are in the frustum, here the cylinder 4, are visible and will be returned to the screen.
  • the unit chosen in this example is the centimeter but the distances could be indifferently expressed in inches or any other unit of measurement because the virtual universe created is independent of a unit of measure and completely configurable.
  • FIGS. 5a and 5b are graphic illustrations of the camera creation step (E6) of a method according to the invention, in the context of a stereoscopic screen.
  • a second camera C2 is created, identical to the first camera C1, during step E6 shown in FIG. 3.
  • the two cameras are identical and likewise frustum.
  • the two cameras C1 and C2 are spaced from each other along the Y axis and positioned equidistant from the initial position, respecting the stereoscopic rendering constraint, that is to say they are discarded a distance D4 of parallax corresponding to the space between the two eyes of a human observer, for example D4 is equal to 6 cm.
  • the origins 0 'and O "of the marks associated with the two cameras are displaced in the same translational movement as the cameras, the camera C1 being pointed at the origin of a reference ( ⁇ ', X, Y, Z) and the camera C2 on the origin of a marker (O ", X, Y, Z) such that O 'and O" are distant from D4 on the Y axis.
  • the three-dimensional universe is thus created.
  • the user always represented in front of the middle of the screen in FIG. 5b, sees the object 4 in its initial position, with relief since everything is happening now as if it were receiving the respective views of the cameras C1 and C2 on his right eye and his left eye.
  • FIGs 6a and 6b are graphical illustrations of the steps of rendering a method according to the invention in the context of a stereoscopic screen. It is assumed that the user has moved. We know, at this step, the position P, retrieved in step E7, from the user relative to the screen. According to the invention, the cameras C1 and C2 are moved in a position P 'in the virtual universe which corresponds to that of the user, P, in the real universe. Specifically, if one wishes to reproduce the position of the eyes of the user, the camera Cl will be placed at the position of his left eye and the camera C2 to that of his right eye.
  • FIG. 7 is a detailed flowchart corresponding to the projection step E3 of a graphic component of the scene in the virtual universe.
  • the projection step succeeds on the one hand in the previously described step of acquisition E2 of one of the components of the scene and on the other hand in the creation of the virtual three-dimensional universe in step E1.
  • the first step E20 GENE
  • step E20 a two-dimensional image is created from the acquired graphics component. For example, if the library TK provides input a geometric representation of the cylinder 4, this step is responsible for transforming this representation into a set of pixels comparable to an image of the cylinder.
  • texture is called the set of pixels of the image constructed during step E20 for the component considered and applicable on a polygon.
  • a surface is defined by a set of polygons able to represent the relief of the graphic component.
  • This surface may be, for example, conventionally a set of quadrangles or triangles.
  • the graphic component is represented by a projection on a single polygon but the representation of the component on a real perspective volume would imply several polygons.
  • Texture mapping is a well-known technique for drawing a two-dimensional or three-dimensional object so that the polygons constituting it are coated with the texture. This involves associating with each pixel of the polygon a value extracted from the texture to be plated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention a trait à un procédé de création d'au moins une image (VG, VD) d'une scène graphique (SG) destinée à être restituée sur un écran (TV2D, TV3D, TVND). La scène graphique (SG) est composée d'objets graphiques (4). La position (P) de l'utilisateur est connue. Un objet graphique (4) est créé dans au moins une image (VG, VD) en prenant en compte la position de l'utilisateur. L'invention concerne aussi un terminal (T) comportant des moyens de création (MC) d'au moins une image d'une scène graphique (SG) destinée à être restituée sur un écran d'un utilisateur occupant une position (P) par rapport à l'écran, la scène comportant au moins un objet graphique.

Description

Procédé et dispositif de création d'images.
L'invention se rapporte à la création d'images pour la restitution d'une scène graphique, notamment une scène composée de plusieurs composants graphiques, destinée à être affichée sur un écran.
Plus particulièrement, l'invention s'applique à tout terminal comportant un module apte à recevoir en entrée la description d'une scène graphique et à restituer en sortie une ou plusieurs images, aussi appelées vues, de cette même scène graphique. Un tel terminal est par exemple un ordinateur, un téléviseur, un décodeur numérique ou encore un téléphone mobile.
On entend par scène graphique un ensemble d'objets graphiques affichés sur un écran, souvent dans le but d'interagir avec l'utilisateur, par exemple dans le contexte d'un jeu vidéo ou d'une interface homme-machine. Par objet graphique, on entend un objet synthétique, c'est-à-dire un objet défini par un ensemble de paramètres (forme, couleur, texture....) par opposition à un objet dit naturel.
Les images de la scène sont destinées à assurer sa restitution en relief sur un écran, qu'il soit tridimensionnel ou non.
Les écrans bidimensionnels sont utilisés pour la visualisation de données en mode bidimensionnel : une seule image est affichée par l'écran qui la restitue sans relief, mais avec éventuellement une impression de profondeur qui peut être assimilée à un relief.
Les écrans tridimensionnels, notamment les écrans tridimensionnels stéréoscopiques d'ordinateur ou de téléviseur, sont utilisés communément pour la visualisation de données en relief. Les écrans tridimensionnels ont généralement la capacité d'afficher des images en mode bidimensionnel ou en mode tridimensionnel. En mode tridimensionnel, deux images sont affichées par l'écran qui les restitue alors en relief. Les deux images, dites stéréoscopiques, sont décalées l'une par rapport à l'autre, l'une étant destinée à l'œil gauche et l'autre à l'œil droit d'un utilisateur de l'écran. Ce décalage, nommé aussi parallaxe, correspond à la différence de distance horizontale entre les deux yeux de l'utilisateur humain. Selon la valeur de cette parallaxe, le cerveau de l'utilisateur imagine un point de convergence situé devant ou derrière le plan de l'écran, associant ainsi une impression de profondeur à l'objet observé.
D'autres systèmes, notamment les systèmes à vues multiples, aussi désignés sous le nom de systèmes multi-vues, génèrent plus de deux images de la scène correspondant à différentes vues des objets à afficher selon plusieurs directions. Plusieurs images sont alors transmises à un écran, dit écran multiscopique, qui autorise une visualisation en relief de la scène selon plusieurs angles de vues différents. L'utilisateur bénéficie, selon sa position par rapport à l'écran, de deux des images disponibles pour construire une vision stéréoscopique de l'image.
Le plus souvent, les scènes graphiques reposent sur un ensemble de bibliothèques logicielles graphiques (en anglais : « graphical toolkit ») qui permettent de dessiner les composants graphiques de base, par exemple des cubes, des polygones, des boutons, des listes, etc. Les bibliothèques graphiques peuvent communiquer directement avec le matériel du terminal, notamment la mémoire vidéo, la carte vidéo et le processeur graphique (GPU : Graphical Processor Unit) ou utiliser un pilote graphique (API : Application Program Interface) communiquant avec ce matériel.
Quel que soit le type d'écran utilisé, il est généralement supposé que l'utilisateur se trouve à une distance et à une position constantes. Cependant, il devient de plus en plus fréquent que l'utilisateur soit en mouvement devant son écran, notamment lorsqu'il est en train de jouer. Ce mouvement entraîne des inconvénients.
Par exemple, avec les solutions de l'état de l'art, l'utilisateur ne peut bénéficier d'informations relatives aux faces cachées de l'objet (dessus, dessous ou côtés de l'objet).
De plus, les inventeurs ont constaté que de ces solutions génèrent des images stéréoscopiques de qualité médiocre puisque l'une des images n'est pas forcément en correspondance avec l'autre. En effet, les solutions de l'état de l'art considèrent que l'utilisateur tient la tête droite, et donc que l'axe reliant des deux yeux est parallèle avec la ligne d'horizon. Si ce n'est pas le cas, l'utilisateur perd la précision de la vision stéréoscopique.
L'invention offre une solution ne présentant pas les inconvénients de l'état de la technique.
A cet effet, selon un aspect fonctionnel, l'invention a pour objet un procédé de création d'au moins une image d'une scène graphique destinée à être restituée sur un écran d'un utilisateur occupant une position par rapport à l'écran, la scène comportant au moins un objet graphique, caractérisé en ce que au moins un objet graphique est créé dans au moins une image en prenant en compte la position de l'utilisateur.
Ainsi, le procédé de l'invention offre l'avantage de restituer, pour affichage sur l'écran, une scène qui est véritablement adaptée à l'utilisateur, quelle que soit la position de ce dernier par rapport à l'écran. En d'autres termes, si l'utilisateur bouge selon l'une quelconque des directions de l'espace par rapport à son écran qui lui, reste fixe, la restitution du composant graphique dans la ou les images créée(s) pour l'écran prend en compte ce mouvement. Cette approche est particulièrement avantageuse lorsque l'utilisateur joue, étant dans ce cas naturellement amené à bouger dans toutes les directions.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci-dessus est en outre caractérisé en ce que l'étape de création de l'objet graphique comporte les étapes de :
- Création d'un univers virtuel muni d'au moins une caméra virtuelle.
- Positionnement de ladite au moins une caméra virtuelle en fonction de la position de l'utilisateur.
- Projection dudit au moins un objet graphique dans l'univers virtuel;
- Capture de ladite au moins une image par ladite au moins une caméra virtuelle à partir de ladite projection dans l'univers virtuel.
Ce mode de mise en œuvre de l'invention permet de créer automatiquement plusieurs images à partir de plusieurs captures, ou photographies, de la scène graphique, chaque image, ou vue, étant constituée d'objets projetés en prenant en compte la position, et donc l'angle de vue, de l'utilisateur. Par exemple, dans un contexte stéréoscopique, deux caméras virtuelles, placées respectivement à la position de l'œil gauche et de l'œil droit de l'utilisateur, sont utilisées pour capturer deux images, dont une capture prévue pour restituer à l'écran l'image destinée à l'œil droit et l'autre capture pour restituer l'image destinée à l'œil gauche. Au contraire, l'art antérieur ne propose pas de modifier la position des caméras pour suivre celle des yeux de l'utilisateur, et de ce fait le rendu de la scène ne tient pas compte du mouvement de l'utilisateur. Avec l'invention, le point de vue de l'utilisateur est retranscrit via les images capturées. Par exemple, si l'utilisateur se déplace vers le haut, l'invention permet de lui dévoiler le dessus de l'objet ; s'il se déplace vers la gauche, la vue droite de l'objet lui est dévoilée etc.
De plus, l'art antérieur n'offre pas de solution pour corriger le désalignement des yeux de l'utilisateur par rapport à l'horizontale. Avec l'invention, même si l'utilisateur incline la tête, une image stéréoscopique de bonne qualité lui est restituée : il peut voir à la fois le dessus et le dessous d'une surface plane, au contraire des systèmes connus, pour lesquels l'image destinée à l'œil gauche et celle destinée à l'œil droit seront désalignées.
Selon un autre mode de réalisation, qui pourra être mis en œuvre alternativement ou cumulativement, le procédé de création est caractérisé en ce qu'il comporte en outre
- Une étape d'obtention d'un nombre de vues affichables sur l'écran
- Une étape de création d'images dont le nombre est fonction du nombre de vues restituables sur l'écran.
Ce mode de réalisation offre l'avantage de fournir automatiquement le nombre d'images optimal pour l'écran de l'utilisateur : à partir de la même scène graphique (par exemple une scène de jeu), le procédé de l'invention crée automatiquement une image unique si l'écran de l'utilisateur est bidimensionnel, deux images dans le cas d'un écran stéréoscopique, et un nombre d'images supérieur pour un écran multiscopique. Ce mode de réalisation est très avantageux puisqu'il offre un procédé unique pour un ensemble hétérogène de terminaux d'affichage.
Selon un aspect matériel, l'invention a pour objet un terminal comportant des moyens de création d'au moins une image d'une scène graphique destinée à être restituée sur un écran d'un utilisateur occupant une position par rapport à l'écran, la scène comportant au moins un objet graphique, caractérisé en ce qu'il comporte des moyens de création d'au moins un objet graphique dans au moins une image, en prenant en compte la position de l'utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un terminal tel que décrit ci -dessus inclut en outre :
- Des moyens de création d'un univers virtuel muni d'au moins une caméra virtuelle.
- Des moyens de positionnement de ladite au moins une caméra virtuelle en fonction de la position de l'utilisateur.
- Des moyens de projection dudit au moins un objet graphique dans l'univers virtuel;
- Des moyens de capture de ladite au moins une image par ladite au moins une caméra virtuelle à partir de ladite projection dans l'univers virtuel.
Selon un autre mode de mise en œuvre particulier de l'invention, qui pourra être mis en œuvre alternativement ou cumulativement, un terminal tel que décrit ci-dessus est en outre caractérisé en ce qu'il comprend :
- Des moyens d'obtention d'un nombre de vues affichables sur l'écran.
- Des moyens de création d'images dont le nombre est fonction du nombre de vues restituables sur l'écran.
Selon un autre aspect matériel, l'invention concerne également un programme d'ordinateur apte à être mis en œuvre sur un terminal tel que décrit ci-dessus, le programme comprenant des instructions de code qui, lorsque le programme est exécuté par un processeur, réalise les étapes du procédé défini ci-dessus.
L'invention sera mieux comprise à la lecture de la description qui suit, donnée à titre d'exemple et faite en référence aux dessins annexés.
Les figures :
La figure 1 représente un système comportant un module de création d'images pour la restitution d'une scène graphique selon un mode de réalisation de l'invention.
La figure 2 est un schéma bloc d'un terminal apte à réaliser les étapes d'un procédé de création d'images pour la restitution d'une scène graphique selon un mode de réalisation de l'invention.
La figure 3 représente un organigramme de haut niveau illustrant les différentes étapes d'un procédé selon l'invention.
Les figures 4a et 4b sont des illustrations graphiques de l'étape d'initialisation d'un procédé selon l'invention.
Les figures 5a et 5b sont des illustrations graphiques des étapes d'initialisation des caméras d'un procédé selon l'invention dans le contexte d'un écran stéréoscopique.
Les figures 6a et 6b sont des illustrations graphiques des étapes de restitution d'un procédé selon l'invention dans le contexte d'un écran stéréoscopique.
La figure 7 est un organigramme détaillé de la projection d'un composant graphique de la scène.
A titre d'illustration, la présente invention sera décrite en référence à un décodeur numérique STB connecté à un téléviseur TV supportant un écran, mais elle peut s'appliquer à d'autres dispositifs tels qu'un téléphone mobile, un ordinateur, un téléviseur, etc. La figure 1 représente un système comportant un terminal T selon l'invention, équipé d'un module de conversion MC, et relié à titre d'exemple à trois écrans TV 2D, TV 3D et TV ND à affichages respectivement bidimensionnel, tridimensionnel et multi-vues. Le terminal T contient une scène graphique SG, qui peut être par exemple une interface homme-machine ou une scène de jeu. Cette scène peut avoir été développée localement ou à l'extérieur du terminal. Dans notre exemple, on suppose que la scène graphique a été développée à l'extérieur du terminal T et lui a été transmise via un réseau de télécommunications non représenté. Le module de conversion MC du terminal T reçoit en entrée la scène graphique sous la forme d'une description (SG), par exemple celle d'une interface graphique bidimensionnelle dans laquelle est dessiné un cylindre 4. Cette description peut prendre la forme d'une suite d'instructions de programme aptes à créer, lors de leur exécution, selon l'état de l'art, une image bidimensionnelle V2D (pour : vue bidimensionnelle) de la scène graphique. Le module MC crée deux images stéréoscopiques VG et VD de la scène pour l'écran stéréoscopique. Le module MC peut aussi créer plus de deux images, par exemple six, pour l'écran multiscopique.
Dans le mode stéréoscopique, l'une des images (par exemple VG) correspond à la vue de l'œil gauche et l'autre (VD) à celle de l'œil droit de l'utilisateur. Une image stéréoscopique globale formée du couple d'images stéréoscopiques VG et VD peut être affichée en relief sur le téléviseur TV 3D équipé d'un écran tridimensionnel, chaque élément de l'interface étant rendu avec une profondeur qui lui est propre : dans notre exemple, pour un utilisateur de l'écran TV 3D, le cylindre 43D a une profondeur positive (il semble sortir de l'écran).
Dans le cas multiscopique, plusieurs images, stéréoscopiques ou non, sont transmise à l'écran qui les affiche selon des angles de vues différents. Un utilisateur perçoit une image différente (ou un couple d'images différentes dans le cas de la stéréoscopie multi-vues) en fonction de sa position par rapport au dispositif. Il a, par conséquent, la possibilité de se déplacer par rapport aux objets affichés pour les observer selon des directions différentes. Afin de pouvoir réaliser la création de ces différentes images en vue de leur restitution sur un écran, le terminal T dispose d'une architecture matérielle et logicielle qui sont maintenant détaillées à l'appui de la figure 2.
La figure 2 représente de façon très schématique un mode de réalisation d'une architecture matérielle TM du terminal T. Le terminal comporte un processeur CPU destiné à exécuter les différentes étapes du procédé. Ce processeur est relié à une mémoire M dans laquelle sont mémorisés au moins les programmes logiciels (dans une partie permanente - ROM - de la mémoire) et des données d'entrée correspondant à la scène graphique, à un processeur graphique GPU destiné à prendre en charge tout ou partie des calculs graphiques autorisant notamment la manipulation tridimensionnelle des composants graphiques, et à des moyens d'entrée-sortie I/O aptes à communiquer avec l'extérieur, notamment pour échanger les données d'images avec un écran connecté au terminal, ou avec un réseau de communications, pour recevoir les caractéristiques de l'écran auquel il est connecté et pour recevoir des données de positionnement de l'utilisateur par rapport à son écran. Par exemple, ces moyens d'entrée-sortie comportent une interface HDMI (pour High Définition Multimedia Interface) permettant le transfert de données numériques multimédia (audio et vidéo) non compressées en haute définition vers les téléviseurs TV 2D, 3D et ND. Tous ces éléments sont reliés entre eux par un système de bus 6.
Les objets graphiques traités par l'invention sont enregistrés dans la mémoire M et s'exécutent dans notre exemple sur le CPU et le GPU du terminal. La scène graphique en entrée repose sur un ensemble de bibliothèques logicielles graphiques TK (en anglais : Graphical Toolkit) qui permet de développer de telles scènes, par exemple des interfaces homme-machine ou des scènes de jeu. La bibliothèque graphique TK s'appuie elle-même, classiquement, sur une bibliothèque graphique de bas niveau encore appelée pilote graphique ou API (pour Application Programming Interface) qui fournit un ensemble de bibliothèques de fonctions dédiées aux traitements de bas niveau, par exemple audio et vidéo (carte vidéo, carte son, etc.) ou relatifs aux périphériques d'entrée-sortie (joystick, carte réseau, souris, etc.). De tels pilotes, comme par exemple OpenGL (Open Graphics Library - bibliothèque basée sur une spécification définissant une interface pour la conception d'applications créant des images tridimensionnelles et bidimensionnelles) sont bien connues de l'homme du métier. La bibliothèque graphique TK, en tant que surcouche du pilote graphique API, offre ainsi une interface de développement de plus haut niveau et donc plus confortable aux développeurs de la scène graphique.
Dans un mode de réalisation de l'invention, on utilise ces différentes couches logicielles pour projeter l'interface bidimensionnelle dans un univers virtuel tridimensionnel par un procédé de projection qui sera illustré à l'appui des figures suivantes. On entend par "univers virtuel" un espace tridimensionnel virtuel pour projeter les objets graphiques en vue d'obtenir des objets constitutifs d'une scène tridimensionnelle. Cet univers virtuel comprend des moyens de capture de composant projetés. Ces moyens de capture sont ci-après désignés par l'expression "caméras virtuelles". Une telle caméra virtuelle est un objet logiciel qui définit un point de vue sur la scène tridimensionnelle, et dont la fonction est de capturer cette vue dans l'univers virtuel, simulant ainsi une prise de vue réelle dans un univers réel.
Dans notre exemple, l'ensemble des modules logiciels et matériels est intégré dans le module MC de conversion du terminal de la figure 1. Le terminal T peut être un décodeur numérique ou un téléphone mobile équipé des éléments cités ci-dessus, ou encore un téléviseur connecté intégrant ces éléments, etc.
Les différentes étapes d'un mode de réalisation du procédé de l'invention vont maintenant être illustrées à l'appui de figure 3.
Lors d'une première étape El (INIT) d'initialisation, un univers virtuel est créé. Il s'agit de positionner classiquement une caméra virtuelle dans un repère tridimensionnel. Cette étape sera détaillée ultérieurement à l'appui de la figure 4a.
L'étape E2 (GET_CP) correspond à l'acquisition de l'un des objets graphiques de base constitutifs de la scène graphique (CP_2D), par exemple le cylindre 4. Cet élément est choisi indifféremment parmi tous les objets graphiques disponibles. Une fois que l'un des objets graphiques est acquis, le procédé le projette lors d'une étape E3 (PROJ) dans l'univers tridimensionnel créé précédemment. L'étape de projection, qui sera détaillée par la suite à l'appui de la figure 7, consiste à effectuer un plaquage de texture sur un ou plusieurs polygones pour obtenir, à partir de l'élément bidimensionnel, un élément tridimensionnel constitué d'une ou plusieurs facettes possédant la texture de l'élément bidimensionnel.
Lors d'une étape E4 (COMP), le procédé teste s'il reste des objets graphiques à traiter. Si ce n'est pas le cas, un nouveau composant est sélectionné et l'étape E3 de projection est effectuée de nouveau. Si tous les composants ont été traités, la scène graphique, ainsi constituée de tous les objets projetés dans l'univers virtuel, est capturée lors d'une étape E9 (CAPT) qui consiste à capturer, ou photographier, la scène par les différentes caméras qui ont été créées à l'étape E6 et positionnées à l'étape E8, qui vont être décrites maintenant.
Lors d'une étape E5, représentée en parallèle de l'étape E2 (qui peut avoir lieu avant ou après l'étape E2 ou concomitamment), le procédé selon l'invention obtient le nombre de vues de l'écran. Dans notre exemple, le terminal est connecté au téléviseur via une connexion HDMI (de l'anglais « High Définition Multimedia Interface », en français, « Interface Multimédia Haute Définition »). Le HDMI définit une norme et une interface audio/vidéo numérique qui permettent de relier une source audiovisuelle à un dispositif compatible de type téléviseur. On suppose que les deux appareils (terminal et téléviseur) implémentent de plus la norme optionnelle dite « CEC » (pour « Consumer Electronics Control ») associée au HDMI, qui permet aux appareils compatibles de communiquer et de transmettre des commandes de contrôle. Le terminal peut dans ce cas, via l'interface HDMI/CEC, récupérer les caractéristiques de l'écran, notamment le nombre de vues affichables (1, 2 ou 6 dans notre exemple).
Lors de l'étape E6, le procédé crée plusieurs caméras virtuelles ; leur nombre est une fonction du nombre de vues de l'écran : 2 pour un écran stéréoscopique, 1 pour un écran non stéréoscopique, et 6 pour l'écran mutiscopique de l'exemple de la figure 1 (d'autres configurations sont possibles, notamment pour les écrans multiscopiques stéréoscopiques, qui mutualisent parfois les images entre l'œil droit (resp. gauche) d'une vue et l'œil gauche (resp. droit) de la vue suivante). Dans notre exemple, il crée deux caméras virtuelles Cl et C2, comme représenté en figure 5a, pour un écran stéréoscopique. Naturellement si l'écran est bidimensionnel, cette étape peut être omise puisque la caméra unique Cl créée pendant la phase d'initialisation El suffit.
L'étape E7 consiste à récupérer la position de l'utilisateur destinataire de la scène. Il existe de nombreuses techniques connues pour obtenir la position d'un utilisateur sans participation active de sa part, par exemple des techniques de détection puis de suivi de sa tête, ou de ses yeux, à l'aide d'une ou plusieurs caméras permettant de déterminer sa position dans l'espace suivant les trois axes. Cette position peut être transmise au terminal par la ou les caméras en charge de l'obtention du positionnement. Ce type de technique est par exemple décrite dans l'article « Real-Time Eye Détection and Tracking under Various Light Conditions » de Feng Jiao and Guiming He (Data Science Journal, Vol. 6 (2007) pp.S636-S640). Ce document est incorporé par référence dans la présente demande.
La restitution de la scène peut ainsi se baser sur la position exacte de chacun des yeux de l'utilisateur mais peut également, alternativement, se baser sur la position de sa tête, de son visage, de ses épaules, de ses mains, etc.
Selon une variante de réalisation, on peut imaginer que l'utilisateur lui- même transmette sa position au terminal (par exemple en pressant une touche de sa télécommande qui transmettra alors la position à la STB).
Lors d'une étape E8 successive, lorsque le terminal dispose de la position de l'utilisateur (qu'il a obtenue à l'étape E7) et du nombre de caméras (qu'il a créées à l'étape E6), la position de chaque caméra est établie en fonction de la position de l'utilisateur, comme il sera illustré à l'appui de la figure 6a.
A l'étape E9, la scène tridimensionnelle composée des différents éléments disposés dans l'univers des caméras est disponible en entrée. Elle peut alors être capturée par les différentes caméras. Par exemple, une première image gauche IM1 de la scène tridimensionnelle est capturée par la caméra 1, Cl. Une seconde image IM2 est capturée de la même manière en remplaçant la caméra 1, Cl, par la caméra 2, C2. Les deux images ainsi obtenues forment un couple d'images stéréoscopiques.
A l'issue de cette étape E9, on dispose d'une ou plusieurs images (par exemple, les deux images stéréoscopiques correspondant aux deux caméras), qui vont pouvoir être combinées lors d'une étape E10 (COMP) pour créer l'image globale de la scène (IC), selon le format d'entrée attendu par l'écran, par exemple deux images stéréoscopiques en côte à côte (en anglais : Side by Side), ou l'une au-dessus de l'autre (en anglais : Top/Bottom), ou encore alternativement dans le temps conformément au mode séquentiel (en anglais : field sequential) du format Bluray 3D. Cette étape E10 peut être omise si l'écran accepte directement les images en entrée. Elle sera, notamment, systématiquement omise dans le cas d'un écran bidimensionnel puisqu'une seule image lui sera délivrée, ne nécessitant pas de format de composition particulier.
Le procédé s'arrête par une étape Eli (END) lors de laquelle l'image finale IC composée de toutes les images capturées est transmise à l'écran.
Les figures 4a et 4b sont des illustrations graphiques de l'étape d'initialisation (El) d'un procédé selon l'invention.
Le procédé crée tout d'abord l'espace tridimensionnel représenté par le repère (Ο,Χ,Υ,Ζ) (l'axe Y, se trouvant perpendiculaire à la figure puisque l'univers virtuel est vu du dessus, n'est pas représenté). Une première caméra virtuelle Cl, pointant sur l'origine 0 du repère, est créée. La configuration de la caméra détermine un volume de l'espace, aussi appelé frustum par l'homme du métier, ou qui est potentiellement visible par l'utilisateur lors d'une visualisation à l'écran (surface grisée sur la figure). Il s'agit d'une pyramide tronquée. L'apex de la pyramide est la position de la caméra Cl, sa base est le plan le plus éloigné (en anglais : Far Plane - FP) et la pyramide est tronquée au niveau du plan le plus proche, en anglais : Near Plane - NP). Tous les objets tridimensionnels qui se trouvent dans le frustum, ici le cylindre 4, sont visibles et seront donc rendus à l'écran. Cet espace est entièrement paramétrable. Par exemple, on pourra prendre des distances Dl = 150 cm (respectivement D2 = 250 cm) entre l'apex de la pyramide et le plan NP (respectivement FP) et une distance D3 de 1280 cm pour la hauteur du plan de référence ZO qui correspond au plan de projection de profondeur nulle (Z=0). L'unité choisie dans cet exemple est le centimètre mais les distances pourraient être indifféremment exprimées en pouces ou toute autre unité de mesure car l'univers virtuel créé est indépendant d'une unité de mesure et totalement paramétrable.
L'utilisateur, représenté face à l'écran dans la figure 4b correspondant à la figure 4a, voit l'objet 4 dans sa position initiale, sans relief. Tout se passe comme s'il se trouvait à la place de la caméra Cl.
Les figures 5a et 5b sont des illustrations graphiques de l'étape de création des caméras (E6) d'un procédé selon l'invention, dans le contexte d'un écran stéréoscopique.
Une seconde caméra C2 est créée, identique à la première caméra Cl, lors de l'étape E6 représentée à la figure 3. Les deux caméras sont confondues et de même frustum. Puis les deux caméras Cl et C2 sont écartées l'une de l'autre selon l'axe Y et positionnées à équidistance de la position initiale, en respectant la contrainte de rendu stéréoscopique, c'est-à-dire qu'elles sont écartées d'une distance D4 de parallaxe correspondant à l'espace entre les deux yeux d'un observateur humain, par exemple D4 est égal à 6 cm. Les origines 0' et O" des repères associés aux deux caméras sont déplacées selon le même mouvement de translation que les caméras, la caméra Cl se trouvant pointée sur l'origine d'un repère (Ο', X, Y, Z) et la caméra C2 sur l'origine d'un repère (O", X, Y, Z) tels que O' et O" sont distants de D4 sur l'axe Y. L'univers tridimensionnel est ainsi créé.
L'utilisateur, toujours représenté en face du milieu de l'écran à la figure 5b, voit l'objet 4 dans sa position initiale, avec relief puisque tout se passe maintenant comme s'il recevait les vues respectives des caméras Cl et C2 sur son œil droit et sur son œil gauche.
Les figures 6a et 6b sont des illustrations graphiques des étapes de restitution d'un procédé selon l'invention dans le contexte d'un écran stéréoscopique. On suppose que l'utilisateur s'est déplacé. On connaît, à cette étape, la position P, récupérée à l'étape E7, de l'utilisateur par rapport à l'écran. Conformément à l'invention, les caméras Cl et C2 sont déplacées dans une position P' dans l'univers virtuel qui correspond à celle de l'utilisateur, P, dans l'univers réel. Plus précisément, si l'on souhaite reproduire la position des yeux de l'utilisateur, la caméra Cl sera placée à la position de son œil gauche et la caméra C2 à celle de son œil droit.
Comme représenté sur la figure 6b, l'utilisateur dans l'univers réel s'est déplacé vers la gauche. Il voit maintenant la face droite de l'objet 4, tout se passant comme s'il se trouvait à la place des caméras Cl et C2.
La figure 7 est un organigramme détaillé correspondant à l'étape de projection E3 d'un composant graphique de la scène dans l'univers virtuel. L'étape de projection succède d'une part à l'étape précédemment décrite d'acquisition E2 de l'un des composants de la scène et d'autre part à la création de l'univers tridimensionnel virtuel dans l'étape El. Lors de la première étape E20 (GENE), on dispose donc en entrée d'un composant graphique (le cylindre 4) et de l'univers virtuel tridimensionnel. Lors de l'étape E20, une image bidimensionnelle est créée à partir du composant graphique acquis. Par exemple, si la bibliothèque TK fournit en entrée une représentation géométrique du cylindre 4, cette étape se charge de transformer cette représentation en un ensemble de pixels assimilables à une image du cylindre.
A partir de cette image, une texture du composant est extraite au cours de l'étape 21 (TEXT). Un tel procédé d'extraction de texture est bien connu de l'homme du métier et ne sera pas décrit plus avant. Dans cet exemple de réalisation, on appelle texture l'ensemble des pixels de l'image construite lors de l'étape E20 pour le composant considéré et applicable sur un polygone.
Puis, lors de l'étape E22 (QUAD), une surface est définie par un ensemble de polygones aptes à représenter le relief du composant graphique. Cette surface peut être, par exemple, de manière classique, un ensemble de quadrangles ou de triangles. Dans la suite de la description, on considère que le composant graphique est représenté par une projection sur un seul polygone mais la représentation du composant sur un véritable volume en perspective impliquerait plusieurs polygones. Le polygone est dessiné à la position (Z=0) dans l'univers virtuel, c'est-à-dire qu'on attribue au composant une profondeur nulle par défaut.
Puis la texture est appliquée, lors de l'étape E23 (MAP), sur le polygone ainsi dessiné, à l'aide d'un procédé de plaquage de texture. Le plaquage (ou mappage) de texture est une technique bien connue qui permet de dessiner un objet bidimensionnel ou tridimensionnel de manière à ce que les polygones le constituant soient revêtus de la texture. Il s'agit d'associer à chaque pixel du polygone une valeur extraite de la texture à plaquer.
Il va de soi que le mode de réalisation qui a été décrit ci-dessus a été donné à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention.

Claims

Revendications
1. Procédé de création d'au moins une image (VG, VD, IM1, IMN) d'une scène graphique (SG) destinée à être restituée sur un écran (TV2D, TV3D, TVND) d'un utilisateur occupant une position (P) par rapport à l'écran, la scène (SG) comportant au moins un objet graphique (4), caractérisé en ce que au moins un objet graphique (4) est créé dans au moins une image (VG, VD, IM1, IMN) en prenant en compte la position (P) de l'utilisateur.
2. Procédé de création selon la revendication 1, caractérisé en ce que l'étape de création de l'objet graphique comporte les étapes suivantes :
- Création (El, E5, E6) d'un univers virtuel muni d'au moins une caméra virtuelle (Cl, C2, ..CN).
Positionnement (E7, E8) de ladite au moins une caméra virtuelle (Cl, C2, ... CN) en fonction de la position (P) de l'utilisateur.
- Projection (E3) dudit au moins un objet graphique (3,4) dans l'univers virtuel;
- Capture (E9) de ladite au moins une image par ladite au moins une caméra virtuelle (Cl, C2, ... CN) à partir de ladite projection (CP_3D) dans l'univers virtuel.
3. Procédé de création selon la revendication 1 caractérisé en ce qu'il comporte en outre
- Une étape d'obtention d'un nombre de vues affichables sur l'écran
- Une étape de création d'images dont le nombre (1, 2, 6) est fonction du nombre de vues restituables sur l'écran (1D, 2D, ND).
4. Terminal (T) comportant des moyens de création (MC) d'au moins une image d'une scène graphique (SG) destinée à être restituée sur un écran d'un utilisateur occupant une position (P) par rapport à l'écran, la scène comportant au moins un objet graphique, caractérisé en ce qu'il comporte des moyens de création d'au moins un objet graphique dans au moins une image, en prenant en compte la position (P) de l'utilisateur.
Terminal selon la revendication 4 caractérisé en ce qu'il comprend :
- Des moyens de création d'un univers virtuel muni d'au moins une caméra virtuelle ;
- Des moyens de positionnement de ladite au moins une caméra virtuelle en fonction de la position de l'utilisateur.
- Des moyens de projection dudit au moins un objet graphique dans l'univers virtuel ;
- Des moyens de capture (E5) de ladite au moins une image par ladite au moins une caméra virtuelle à partir de ladite projection dans l'univers virtuel.
Terminal selon la revendication 4 caractérisé en ce qu'il comprend
- Des moyens (I/O) d'obtention d'un nombre de vues affichables sur l'écran
- Des moyens de création d'images dont le nombre (1, 2, 6) est fonction du nombre de vues restituables sur l'écran (1D, 2D, ND).
- des moyens pour créer un nombre d'images dépendant du nombre de vues restituables sur l'écran (1D, 2D, ND)
Programme d'ordinateur apte à être mis en œuvre sur un terminal tel que défini dans la revendication 4, le programme comprenant des instructions de code qui, lorsque le programme est exécuté par un processeur, réalise les étapes du procédé défini selon la revendication 1.
PCT/FR2013/050661 2012-03-29 2013-03-27 Procede et dispositif de creation d'images WO2013144506A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13715383.9A EP2831847A1 (fr) 2012-03-29 2013-03-27 Procede et dispositif de creation d'images
US14/387,782 US9942540B2 (en) 2012-03-29 2013-03-27 Method and a device for creating images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1252868 2012-03-29
FR1252868A FR2988962A1 (fr) 2012-03-29 2012-03-29 Procede et dispositif de creation d'images

Publications (1)

Publication Number Publication Date
WO2013144506A1 true WO2013144506A1 (fr) 2013-10-03

Family

ID=48083544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2013/050661 WO2013144506A1 (fr) 2012-03-29 2013-03-27 Procede et dispositif de creation d'images

Country Status (4)

Country Link
US (1) US9942540B2 (fr)
EP (1) EP2831847A1 (fr)
FR (1) FR2988962A1 (fr)
WO (1) WO2013144506A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003734A (zh) * 2014-12-23 2017-08-01 美达公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
US9762895B1 (en) * 2014-03-11 2017-09-12 Rockwell Collins, Inc. Dual simultaneous image presentation for a three-dimensional aviation display
WO2018170917A1 (fr) * 2017-03-24 2018-09-27 深圳看到科技有限公司 Procédé de lecture d'image panoramique et appareil de lecture d'image panoramique

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090184981A1 (en) * 2008-01-23 2009-07-23 De Matos Lucio D Orazio Pedro system, method and computer program product for displaying images according to user position
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FEHN C ET AL: "Interactive 3-DTV-Concepts and Key Technologies", PROCEEDINGS OF THE IEEE, IEEE. NEW YORK, US, vol. 94, no. 3, 1 March 2006 (2006-03-01), pages 524 - 538, XP011370638, ISSN: 0018-9219, DOI: 10.1109/JPROC.2006.870688 *
FENG JIAO; GUIMING HE: "Real-Time Eye Detection and Tracking under Various Light Conditions", DATA SCIENCE JOURNAL, vol. 6, 2007, pages S636 - S640, XP055057611, DOI: doi:10.2481/dsj.6.S636
TANIMOTO M: "Free viewpoint TV and its international standardization", PROCEEDINGS OF THE SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING USA, vol. 7329, 2009, XP040496881, ISSN: 0277-786X *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003734A (zh) * 2014-12-23 2017-08-01 美达公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
CN107003734B (zh) * 2014-12-23 2019-12-17 美达视野股份有限公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
US10650605B2 (en) 2014-12-23 2020-05-12 Meta View, Inc. Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest

Also Published As

Publication number Publication date
US20150085086A1 (en) 2015-03-26
US9942540B2 (en) 2018-04-10
FR2988962A1 (fr) 2013-10-04
EP2831847A1 (fr) 2015-02-04

Similar Documents

Publication Publication Date Title
CN107636534B (zh) 用于图像处理的方法和系统
KR102052567B1 (ko) 가상의 3차원 비디오 생성 및 관리 시스템 및 방법
US10699428B2 (en) Volumetric depth video recording and playback
JP6240963B2 (ja) 運動視差を用いた、２ｄ画像からの３ｄ知覚の生成
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
JP2008140271A (ja) 対話装置及びその方法
CN104935905A (zh) 自动3d照相亭
CN109791704B (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置
WO2019244944A1 (fr) Procédé de reconstruction tridimensionnelle et dispositif de reconstruction tridimensionnelle
US20160371885A1 (en) Sharing of markup to image data
EP2831847A1 (fr) Procede et dispositif de creation d'images
JP2022522504A (ja) 画像の奥行きマップの処理
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
EP2440975B1 (fr) Système et procédé de génération d'image stéréoscopique a décalage des lointains paramétrable dans un système et procédé à n appareils de prise de vue (n>1).
Lafruit et al. Tele-robotics VR with holographic vision in immersive video
EP2987319A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
CN114463520A (zh) 一种实现虚拟现实vr漫游的方法及装置
FR3056770A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
EP2515546A1 (fr) Procédé et dispositif de création d'images stéréoscopiques
Guarnaccia et al. An explorable immersive panorama
CN112634339A (zh) 商品对象信息展示方法、装置及电子设备
WO2018011497A1 (fr) Système et procédé de capture embarquée et de reproduction 3d/360° du mouvement d'un opérateur dans son environnement
FR2836570A1 (fr) Procede de transmission de donnees d'images entre un serveur et un terminal
WO2010103012A1 (fr) Systeme et procede configures pour la captation d'une pluralite d'images a destination d'une restitution multiscopique a deformation controlee
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13715383

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14387782

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013715383

Country of ref document: EP