WO2020128206A1 - Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle - Google Patents

Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle Download PDF

Info

Publication number
WO2020128206A1
WO2020128206A1 PCT/FR2019/052937 FR2019052937W WO2020128206A1 WO 2020128206 A1 WO2020128206 A1 WO 2020128206A1 FR 2019052937 W FR2019052937 W FR 2019052937W WO 2020128206 A1 WO2020128206 A1 WO 2020128206A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
user
view
virtual reality
server
Prior art date
Application number
PCT/FR2019/052937
Other languages
English (en)
Inventor
Valérie LEDUNOIS
Yannick COLENO
Maxime JOUIN
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Publication of WO2020128206A1 publication Critical patent/WO2020128206A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Definitions

  • the invention relates to the processing of virtual reality data, and in particular in the field of collaborative services using a virtual reality, mixed or augmented reality environment.
  • virtual reality head-mounted displays in addition to an optical system allowing the final rendering of a three-dimensional space to a user, a video screen integrated into the helmet allowing the diffusion of images and videos adapted to the optical system for rendering in three dimensions, and various internal and / or external sensors making it possible to detect the movements of the user.
  • Products such as the Oculus Rift®, HTC Vive® or Sony® Playstation VR® are among these types of headsets.
  • graphics processing processor also called "graphics card”
  • head-mounted displays called “mobile virtual reality headsets” (or also "cardboard” in English) which, for most of them, only integrate the optical system allowing the final rendering of a three-dimensional space for the user. It is therefore necessary to interface a terminal such as, for example, a smartphone (smart phone in French) to have the video screen functionalities and the inertial, gyroscopic and magnetometric sensors of these terminals.
  • a terminal such as, for example, a smartphone (smart phone in French) to have the video screen functionalities and the inertial, gyroscopic and magnetometric sensors of these terminals.
  • Gear VR® from Samsung®
  • VR One plus® from Zeiss® or Daydream View® from Google® or even the Google Cardboard® made of cardboard and at very low purchase cost.
  • the graphic modeling part is essential so that the user has the best possible perception of the virtual reality environment.
  • Three-dimensional graphic modeling requires a powerful PC in terms of configuration of the graphics card, RAM, latest generation motherboard, etc.
  • the technical problem raised by the invention is therefore that the domestic computing devices that are mobile phones of the smartphone type do not have the computing capacities to model the graphical environments in three dimensions, which reduces the potential of the users of these services. to those with very expensive PCs.
  • the invention therefore proposes to overcome the drawbacks of the prior art by proposing a method for offsetting the visual scene of a three-dimensional space of a virtual reality environment comprising a terminal and a cardboard type helmet, in order to that this scene be displayed without the terminal having to carry out the calculations inherent in the creation of virtual reality environments.
  • This process therefore allows a user, by delegation to a powerful server of graphic modeling calculations, to use a cardboard type head-mounted display with, for example, a smartphone and an application installed on the smartphone in order to access various three-dimensional virtual reality that would not otherwise be available to it due to lack of computing power.
  • One of the aims of the invention is to remedy the drawbacks of the aforementioned state of the art.
  • an object of the present invention relates to a method of interaction of a user with a virtual reality environment displayed in a communication terminal, characterized in that it comprises:
  • three-dimensional space is meant a set of data describing the dimensions in a three-dimensional Euclidean space, the colors and textures of a real or imagined place, possibly of fictional objects and characters or avatars of said place.
  • This place is characterized by several geometric shapes (a cube, a rectangle, a tetrahedron etc.), possibly specific objects contained in it (an armchair, a television, a sink etc.) and avatars.
  • two-dimensional image is meant a graphic document of digital image type interpretable by the terminal, which may include additional data of metadata type.
  • virtual reality environment is understood to mean a set of three-dimensional spaces, in which avatars can move, communicate with other avatars or with objects, use these objects, modify the space by creating new objects or by modifying them etc.
  • a virtual reality environment therefore has precise rules for managing three-dimensional spaces, such as their arrangement and the management of objects and avatars in terms of interaction and compatibility.
  • the virtual reality environment defines the possible actions (lifting, moving, transforming, communicating etc.) of the avatars on the objects and vice versa if necessary or even objects between them.
  • the virtual reality environment also governs the physical laws between different objects and between objects and avatars.
  • the terminal is advantageously satisfied with receiving from a server a data file which has been generated by the server and which contains, among other things, the two-dimensional image or images representing the view generated by the server's virtual reality application.
  • the two-dimensional image or images are simply converted into a representation of said view and displayed by the terminal.
  • the steps of extracting and converting into a representation of said view, carried out by the terminal, three-dimensional space data provided by the server do not require complex vector calculations (it is only a matter of plating this image on a sphere encompassing the point of view of the user) as is the case for the mechanisms for restitution of classic virtual reality environments. Indeed, it is the server, upstream of the transmission to the terminal, which has carried out all the calculations for converting the space in three dimensions into an image file comprising at least one two-dimensional image and metadata.
  • the extraction of at least one image and metadata from a data file being a simple step for the terminal.
  • the step of converting by the terminal at least one two-dimensional image into a representative view of the three-dimensional space also does not require complex calculations.
  • a graphics engine will be necessary for a complete VR environment (sorting and placement of objects, management of light, shadows, rendering effects)
  • the projection onto a sphere of a two-dimensional image remains very optimal (simple spherical deformation).
  • the representative view of the three-dimensional space is displayed on the terminal screen and transmitted via an optical system to be viewed by the user. user who feels like being immersed in a three-dimensional environment.
  • said user action on the terminal includes pointing to a map, displayed by the terminal representing the virtual reality environment, and the transmission of the command comprises transmitting to the server the coordinates of the pointing on said map.
  • the user can transmit location coordinates, following the pointing, in order, for example, to move his avatar or to transport an object from a three-dimensional space to another place in the environment of virtual reality. It then suffices for him to edit the map representing the virtual reality environment and to point to the place on the map with which the user wishes to interact, for example the place where the user wishes to transport his avatar or a object.
  • the pointer can be moved in different ways: via the terminal and in particular its motion sensors or via an external device such as a joystick, mouse, movement sensor pad, Kynect type camera ® or any other external equipment capable of detecting commands to move a pointer by the user.
  • the terminal therefore sends back to the server the coordinates necessary for updating the virtual reality environment.
  • the server or the PC in charge of executing the virtual reality application and in particular to restore the three-dimensional spaces of the virtual reality environment, upon request from the terminal, updates the location coordinates of the avatar (s) and / or object (s) contained in its virtual reality environment and, on the basis of the new coordinates, calculates the new view and converts it into a data file integrating an image interpretable by the terminal for broadcasting the new view to the user as well as the contextual information related to the action to be performed by the server such as, for example, moving the avatar or moving an object.
  • said view representative of the three-dimensional space viewed by the user via the terminal and of a “cardboard” type helmet is a point. of view located at a specific location in three-dimensional space where, for example, the avatar is located.
  • This characteristic allows the user to locate himself in three-dimensional space in order to envisage, for example, a new movement or a new action of his avatar and / or an object.
  • said action of the user on the terminal comprises pointing to a place of a view displayed by the terminal, and the transmission of the command comprises:
  • the user can point to a place in the view of space in three dimensions. He can then order a certain number of actions such as those, for example, to command the server to move his avatar and / or an object to this pointed location.
  • the user therefore only has to designate, via a pointer displayed on the terminal screen, the place where he wishes, for example, to move their avatar and / or an object.
  • the displacement of the pointer is implemented in the ways already described for the previous embodiment. Based on the image transmitted by the terminal integrating the pointer, the server or the PC, in charge of running the virtual reality application and in particular to restore the three-dimensional spaces of the virtual reality environment.
  • the user can therefore move his avatar from one point in space to another point. It is also possible to restore a fluid displacement of the avatar and / or of an object in its virtual reality environment by the successive transmission of changes of coordinates of the avatar and / or of the object in space in three dimensions and respective changes of 360-degree views at a sufficient frequency, so as to simulate an impression of movement.
  • said view representative of the three-dimensional space viewed by the user via the terminal and of a helmet of type " cardboard ” is a point of view located at a specific point in three-dimensional space where, for example, the avatar is located.
  • This characteristic allows the user to locate himself in three-dimensional space in order to envisage, for example, a new movement or a new action of his avatar and / or an object.
  • the user can directly view information and interact on certain objects or other avatars which are in his field of vision.
  • the terminal does not have the possibility of characterizing the objects arranged in space nor identifying the avatars.
  • the image is only seen, by the terminal, as a set of pixels with a certain level of colors and light intensity and not as a set of vector objects having their own characteristics as is the case in a classic virtual reality environment.
  • the latter is therefore capable of determining zones on the image which represent an object and / or an avatar. The user can therefore point to these areas in order to have additional information on the object and / or the avatar and / or to order actions of any kind related to these.
  • said view is a function of the orientation of an object or an avatar in said space in three dimensions.
  • the user it is therefore possible for the user to modify the representative point of view of space in three dimensions around a fixed point and in all possible orientations without having to order a new image from the server.
  • the image has all the information necessary for the terminal to display all these points of view.
  • the fixed point of the space happens to be the face of the avatar
  • the user by rotating his avatar on himself, has different points of view allowing him to visually apprehend the space in three dimensions in its entirety in place of its avatar.
  • the user can then decide what actions to take in the field of vision corresponding to the rotation performed by the avatar.
  • Such an embodiment thus optimizes the feeling of immersion of the user in the virtual reality environment.
  • the invention also relates to a communication terminal adapted for the interaction of a user with a virtual reality environment displayed by this terminal, the terminal being characterized in that it comprises a processor which is configured to:
  • - transmit a command to a server, following an action by the user on the terminal (TERM), via a communication network, of at least one two-dimensional image comprising data representative of a view d '' a three-dimensional space from the virtual reality environment,
  • Such a terminal is in particular capable of implementing the aforementioned method of interaction of a user with a virtual reality environment, according to any one of the aforementioned embodiments.
  • the invention also relates to a computer program comprising instructions for implementing the method of interaction of a user with a virtual reality environment, according to any one of the particular embodiments described above, when said program is executed by a processor.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • the invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program as mentioned above.
  • the recording medium can be any entity or device capable of storing the program.
  • the support may include a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a USB key or a hard disk.
  • the recording medium can be a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded from a network of the Internet type.
  • the recording medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the above-mentioned interaction method.
  • FIG. 1 represents the main actions performed by the method of interaction of a user with a virtual reality environment
  • FIG. 2 details an exemplary embodiment describing the main exchanges of information flows between the terminals during the implementation of the method of interaction of a user with a virtual reality environment
  • FIG. 3 shows an example of a two-dimensional image used in the interaction process of Figure 1,
  • FIG. 5 represents in more detail one of the actions executed by the method of FIG. 1,
  • FIG. 6 represents in more detail one of the actions executed by the method of FIG. 1,
  • FIG. 7a represents in more detail one of the actions executed by the method of FIG. 1, according to a first variant
  • FIG. 7b represents in more detail one of the actions executed by the method of FIG. 1, according to a second variant
  • FIG. 7c represents in more detail one of the actions executed by the method of FIG. 1,
  • FIG. 8 represents an example of a user interaction terminal with a virtual reality environment implementing the method of interaction of a user with a virtual reality environment of FIG. 1.
  • the objective of the invention is to allow a user of a terminal with low-power computing capacities to interconnect in a three-dimensional virtual reality environment.
  • This environment usually requires terminals with a large computation capacity and in particular graphical computation.
  • the invention mainly proposes a method and a terminal for managing graphic and contextual data transmitted by a server in order to display a view of a space in three dimensions and to be able to interact with this space by exchanging information with the server.
  • There are a large number of possible configurations in terms of service architectures to create a virtual reality environment but there are two major functions: on the one hand, the management of the virtual reality environment and, on the other hand , its modeling and its graphic rendering.
  • the management of the environment concerns all the management of the rules of interactions between the objects and / or between the virtual characters or avatars, their modifications, transport, even in certain environments the follow-up of a script of events (example of the games video).
  • Environmental management can be delegated to a single server-type terminal in charge of this management for all users.
  • This function can also be virtualized by several servers processing calculations in parallel.
  • the servers can be terminals controlled by users of the service for creating a virtual reality environment and / or terminals managed by the service provider or a combination of the two.
  • Modeling and graphic rendering concern vector representation, texture management, light effects, etc. of a three-dimensional space. They are performed by a computer and can be delegated to a remote computer. Modeling requires dedicated graphics card type equipment in order to relieve the computer's main processor of this type of calculation.
  • the invention is implemented in such a way that said terminal has software enabling it to communicate the information necessary to the computer (which can be a server, a PC or any other machine having sufficient computing capacities) , in charge of managing the virtual reality environment and modeling, so that this computer performs the modeling and graphic rendering of a three-dimensional space.
  • This information has for example appeal to the state of the avatar in the virtual reality environment such as: its location, its orientation, its communication with other avatars, its interaction with objects in the environment.
  • the computer in charge of this modeling and graphic rendering, interprets this information to modify the space in three dimensions according to this new information.
  • This graphic modeling and rendering represents a new view of the three-dimensional space where the user's avatar is located. This view is converted by the computer so that it can be easily used by the terminal.
  • the terminal therefore delegates the graphical modeling functions and part of the functions for managing the environment to the computer.
  • the terminal then takes care of converting the new data received from the computer into a three-dimensional image.
  • the user is a potential buyer of a property, for example a house, and wishes to take stock with his promoter to discuss the design of this house.
  • the promoter was teleworking that day, so he suggested that the user launch a session of a new collaboration service in virtual reality.
  • This service is offered by the promoter's company, and is materialized by an application installed on a specific server hosted in the premises of this company. This application can be accessed remotely by subscribing to a user account linked to the service.
  • the server has all the information necessary to present the real estate project (description of the property, plans of the property, objects, actions available on the objects etc.). It manages and stores all the information on the company's real estate projects.
  • the service is also deployed, via another, simpler application, on the promoter's PC-type computer.
  • This application communicates with the server application.
  • the PC type computer incorporates a powerful graphics card allowing the promoter to perform the necessary graphic modeling calculations related to his own use but also on behalf of the user.
  • the user has a terminal (a smartphone for example) and a cardboard compatible with the terminal.
  • an application is available on the website of the promoter's company and also, for example, on the various “app stores” (application stores in smartphone operating system providers. The user installs the mobile application from the app store on their terminal, launches the application and connects the terminal to the cardboard. He then connects to the company's virtual reality service, the promoter's employer.
  • the promoter also connects to the virtual reality service through the application already installed on his PC and installs a head-mounted display adapted to his PC.
  • PI there is a command to a server of at least one image of a three-dimensional space coming from the virtual reality environment.
  • FIG. 2 by way of example, it is the user, via a terminal, who requests a SERV server of the company to notify him, by sending data I, that he would like a new image of the three-dimensional space in order to start the virtual reality session with the promoter and be able to view the real estate project.
  • the SERV server then communicates a set of information A, B and C to a PCI computer of the promoter so that it can calculate a new image representative of the space in three dimensions and transmit it to the TERM terminal.
  • the information A are parameters of the space in three dimensions (grid, texture or not, ceiling or not.).
  • Information B is data describing the three-dimensional space, such as for example data on the objects (furniture and buildings) and / or data on the avatar (s) contained in the three-dimensional space.
  • the information C is information on the location and position of the body of the avatar of the user in three-dimensional space, such as, for example, location and position data of the head of the avatar, movement of the arms, hands of the avatar, etc.
  • the PCI computer communicates data B and E to the TERM terminal.
  • the promoter's PCI computer which communicates this data to the user's TERM terminal because the session involves only the user and the promoter.
  • the SERV server can be responsible for centralizing the calculations and communicating the data B and E to the TERM terminal.
  • the data E includes at least one image interpretable by the TERM terminal.
  • the data B includes descriptive information of said space in three dimensions.
  • the TERM terminal receives a data file transmitted by the PCI computer which contains this data E and B.
  • image E is a two-dimensional image which includes two views (left eye, right eye) distortedly representing the same scene in three dimensions.
  • the TERM terminal carries out a CONV conversion of said at least one image E into a view representative of space in three dimensions.
  • such a view V is the result of the conversion of the two views of the image E illustrated in FIG. 3.
  • the TERM terminal makes a command for the REST rendering of said view.
  • the actions executed by steps PI to P5 are implemented by a terminal.
  • the terminal is for example a smartphone.
  • the terminal has the conventional architecture of a computer and in particular comprises a memory MEM T, a processing unit UT_T, equipped for example with a processor PROC T, and controlled by the computer program PG_T stored in memory MEM T.
  • the computer program PG_T includes instructions for implementing the actions of steps PI to P5 as described above, when the program is executed by the processor PROC T.
  • the code instructions of the computer program PG_T are for example loaded into a memory RAM (not shown) before being executed by the processor PROC T.
  • the processor PROC T of the processing unit UT_T implements in particular the actions of the steps PI to P5 describe above, according to the instructions of the computer program PG_T.
  • the TERM terminal communicates with the SERV server, via a communication module or network device P RES T, via its communication module or network device P RES SERV.
  • These communication modules P RES T and P RES SERV are suitable for exchanging data between them, via a RES network.
  • a RES network is for example a MAN type network (English acronym for "Metropolitan Area Network") or WAN type (English acronym for "Wide Area Network").
  • the communication modules P RES T and P RES SERV can integrate one or more communication modules, for example radio frequency communication and be configured for the transmission and reception of radio frequency signals, according to one or more technologies, such as TDMA, FDMA, OFDMA, CDMA , or one or more radiocommunication standards, such as GSM, EDGE, CDMA, UMTS, HSPA, LTE, LTE-A, WiFi (IEEE 802.11) and WiMAX (IEEE 802.16), or their variants or evolutions, currently known or developed later .
  • technologies such as TDMA, FDMA, OFDMA, CDMA
  • radiocommunication standards such as GSM, EDGE, CDMA, UMTS, HSPA, LTE, LTE-A, WiFi (IEEE 802.11) and WiMAX (IEEE 802.16), or their variants or evolutions, currently known or developed later .
  • the action requested by the client is the rapid transport of his avatar from point Pj located in the garden to point Pc located in the kitchen of the house.
  • the user orders the edition of a CAR card using the TERM terminal via the use of CAP C sensors on the CARD cardboard or CAP T sensors on the terminal.
  • the user wishes to move his avatar from the garden to the kitchen of the house to discuss with the promoter the layout of this room.
  • the user via the Cardboard CARD and the TERM terminal, displays the map of the virtual reality environment, in this case the house in the example described.
  • the card is viewed by the user via the ECR screen of the TERM terminal which is optically coupled with a SYST OPT optical system for three-dimensional vision of the Cardboard CARD.
  • the user activates the CAP C or CAP T sensors to move the pointer on the map of the virtual reality environment.
  • the TERM terminal communicates to the server SERV the information C for changing the location of the avatar.
  • the server SERV server which manages the part of the service linked to the management of the virtual reality environment.
  • the SERV server communicates the C information for this change to the promoter's PCI computer, so that this computer can perform graphics tasks.
  • an action P 1” _1 of pointing POINT E is carried out on a place of a view, a Pl ”_2 action for converting CONV V of said view integrating the location pointed to a data file interpretable by said server and a Pl” _3 action for transmitting TRANS2 from said data file to said server.
  • the user orders the transport of his avatar in the same three-dimensional space.
  • the TERM terminal communicates to the server SERV information C1 on the new location of its avatar in the form of a data file integrating at least one image and descriptive data of the space in three dimensions.
  • Said at least one image is similar, in terms of format, to image E illustrated in FIG. 3 and is the result of a CONV V conversion of a representative view of space in three dimensions as illustrated in FIG. 4.
  • Said at least one image incorporates a graphic marking of the location pointed so that the server can refer to this marking in order to calculate a location coordinate of destination. This location coordinate will be used to transport the avatar.
  • the server transmits then the destination coordinates through the data stream C to the PCI computer.
  • the server can delegate the CON ”V conversion action Pl” _2 to the PCI computer.
  • the terminal can also transmit the data C1 directly to the PCI computer (not shown in FIG. 2) so that this computer performs the conversion action P 1 ”_2.
  • the user requests to transport his avatar AV, initially located at a point Pci, from an OBJ TAB kitchen table next to an OBJ FR refrigerator , at a destination point Pcd.
  • This is so that the user can have a different view of the room.
  • he commands the movement of a Point C pointer to the Pcd destination point where he wishes to move his avatar.
  • the point of view displayed on the ECR screen of the terminal integrating the cursor of the Point C pointer is converted CONV V into an image interpretable by the SERV server.
  • This server can then calculate, on the basis of this image, the new location coordinates of the point of destination Pcd of the avatar.
  • the user through the CARD cardboard and the terminal, has a view of space in three dimensions.
  • the point of view is visualized by the user by means of the optical system SYST OPT of vision in three dimensions of the cardboard card CARD which is itself coupled by an optical link to the screen ECR of the terminal.
  • the user actuates the sensors CAP C or CAP T to move the pointer on the point of view representative of the three-dimensional space to the point of destination Pcd where he wishes to move.
  • the point of view integrating this point Pcd is then converted by the PG_T software, into a data file interpretable by the SERV server, said file containing at least one image of a view representative of space in three dimensions integrating the place point.
  • This data file is then transmitted to the SERV server via communication, via the RES network, between the communication modules P RES T and P RES SERV.
  • the terminal TERM proceeds in P3 ′, from the data of said view, to extract INF of the descriptive information from at least one object and / or at least one avatar of three-dimensional space.
  • the user by pointing an object (s) and / or an avatar (s) from his point of view of three-dimensional space thus has descriptive information on said object or avatar.
  • This information is extracted from the data file transmitted by the server or the computer.
  • the descriptive information contained in the data file is of type: name, description of the object (s) and / or avatar (s), possible actions on the object (s) and / or on the / the avatar (s), such as for example: communicate, speak, take, pose, launch, delete etc.
  • said view converted into P4 ’ is a function of the orientation ORT of the body of the avatar in said space in three dimensions.
  • the promoter's PCI computer which models and produces the graphic rendering of the view on the basis of information C supplied by the SERV server on the position and orientation of the avatar in three-dimensional space.
  • the SERV server which performs the modeling and the graphic rendering of said view.
  • This information C is transmitted by the TERM terminal and includes, in addition to the location data, data on the orientation of the body of the avatar, for example the orientation of its head. This last information then makes it possible to calculate a point of view of space in three dimensions as could see it a person positioned in the place of the avatar.
  • an IM 2D CUIS image represents an ESP 3D CUIS sphere modeling a space in three dimensions, in which l AV avatar can rotate in all directions around a fixed point (for example the head), in order to have a plurality of views depending on the position of the avatar in this sphere.
  • Figure 7b illustrates the example of Figure 7a, with a single degree of freedom of the avatar.
  • the avatar AV rotates only around an axis OZ perpendicular to the plane containing the lines OX and OY.
  • This principle can therefore be generalized with two degrees of freedom and therefore two angles a and b to describe the whole of space in three dimensions.
  • each point of view of the avatar in the ESP 3D CUIS space corresponds to a point in the IM 2D CUIS image transmitted by the server or the computer and vice versa.
  • the user controls the orientation of the body of the avatar by means of the CAP C sensors of the CARD cardboard or the CAP T sensors of the TERM terminal.
  • the orientation information of the avatar is stored in the memory MEM T and processed by the software PG_T.
  • the processing unit UT_T of the SMART smartphone recalculates a new view according to the information transmitted by the PG_T software. This representative information of the space in three dimensions integrates all the data necessary for a panoramic view (360 degrees on two degrees of freedom).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle, caractérisé en ce qu'il comprend ce qui suit, au niveau d'un terminal : - commander (COM) à un serveur au moins une image d'un espace en trois dimensions issu de l'environnement de réalité virtuelle, - recevoir (REC), de la part du serveur, des données d'une vue représentative de l'espace en trois dimensions, - extraire (EXTR) desdites données ladite au moins une image, - convertir (CONV) ladite au moins une image en ladite vue, - commander (REST) la restitution sur le terminal de ladite vue.

Description

DESCRIPTION
Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle
L'invention concerne le traitement de données de réalité virtuelle, et en particulier dans le domaine des services collaboratifs utilisant un environnement de réalité virtuelle, de réalité mixte ou augmentée.
Dans le monde professionnel, des interlocuteurs travaillant en coopération sur des projets communs, sont souvent situés sur différents sites géographiques. A travers des appels téléphoniques ou même des « ponts » téléphoniques, des communications entre ces différents interlocuteurs sont largement répandues. D’autres outils existent également pour collaborer à distance (audio/visioconférence, partage d’écrans d’ordinateurs, etc.), mais les interactions réalisables à travers ces outils, et l’engagement des différents interlocuteurs lors de l’utilisation de ces solutions, peuvent être limités. De même sur les marchés visant le particulier, l’achat de produits et services est de plus en plus réalisé à distance. Ce mode de commercialisation s’est largement répandu pour des raisons pratiques (plus besoin de se déplacer en boutique). Cependant, le client a souvent perdu le lien physique avec le vendeur et doit se contenter des informations fournies par le site internet du vendeur. Parfois ces informations ne sont pas suffisantes pour décider le client à acheter le produit ou service proposé par le vendeur. Même un appel téléphonique ou une visioconférence entre le client et le vendeur peuvent ne pas être suffisants afin de conclure la vente. De plus, même dans les cas des produits complexes et/ou sur mesure, comme par exemple l’achat de maisons ou d’appartements, le lien physique entre le client et le vendeur peut s’avérer insuffisant pour donner une image réaliste du bien acheté. En effet, dans une majorité de cas, le client ne dispose souvent que des plans du bien immobilier voire, au mieux, d’une représentation en trois dimensions, mais le client est limité dans sa capacité à interagir en temps réel avec le vendeur pour modifier ces plans ou visualiser le projet immobilier de manière détaillée, c'est-à-dire avec l’intégration d’objets et de meubles dans le logement à venir. On voit donc bien que les solutions et pratiques actuelles afin de présenter un projet touchant à un domaine donné et d’échanger avec le client sur ce projet possèdent des inconvénients dès qu’une « co-création » se met en place pour ce projet, particulièrement lors d’échanges autour de la conception d’un produit sur- mesure ou, dans un autre registre, pour une réalisation artistique (maquettes architecturales, véhicules, etc.). Il est donc souvent nécessaire pour les interlocuteurs travaillant sur un projet de se rencontrer, en particulier pour manipuler l’objet en cours de conception, pour l’imaginer plus aisément dans sa future « réalité » et dans ses interactions futures avec celui-ci.
Les capacités et les performances des réseaux de communication actuels sont telles que, combinées avec les performances de calcul des ordinateurs personnels dotés de cartes graphiques puissantes, il est désormais possible de proposer des services de réalité virtuelle afin de réunir dans un même lieu virtuel des interlocuteurs se trouvant à des positions géographiques éloignées. Ces interlocuteurs sont représentés chacun dans ce lieu virtuel par un personnage fictif souvent nommé avatar. Ce ou ces lieux virtuels dans lesquels les avatars peuvent interagir constituent des environnements de réalité virtuelle. Pour se rapprocher de l’environnement réel, de nouvelles solutions tentent de reproduire la richesse des échanges entre collaborateurs ou partenaires en reproduisant des environnements de collaboration disposant de conditions d’interactions, par exemple des communications infra verbales entre des avatars (expressions du visage, direction du regard, etc.), des interactions avec un objet en cours de conception, etc. Ainsi se développent des solutions facilitant la collaboration à travers un espace virtuel de co-création où les participants sont représentés dans des lieux virtuels.
Pour pouvoir interagir dans ces environnements de réalité virtuelle, l’utilisateur, représenté par son avatar, doit pouvoir visualiser et entendre dans un environnement qui se rapproche le plus possible de ce qu’il pourrait ressentir dans la réalité. On parle souvent d’immersion à la première personne car cela revient à donner l’impression que l’utilisateur se met à la place de son avatar et partage donc le même champ de vision et le même environnement sonore. L’utilisateur, par l’intermédiaire de son avatar, doit pouvoir également communiquer avec d’autres avatars, se saisir et utiliser des objets, voire même créer des objets. Ceci est rendu possible par l’utilisation de casques de réalité virtuelle, aussi appelés visiocasques de réalité virtuelle. Il existe maintenant une offre riche de visiocasques de réalité virtuelle sur le marché grand public avec deux types de produits :
- d’un côté, les visiocasques de réalité virtuelle disposant, outre un système optique permettant le rendu final d’un espace en trois dimensions à un utilisateur, d’un écran vidéo intégré au casque permettant de diffuser des images et des vidéos adaptées au système optique pour un rendu en trois dimensions, et de divers capteurs internes et/ou externes permettant de détecter les mouvements de l’utilisateur. Des produits, tels que l’Oculus Rift®, le HTC Vive® ou le Playstation VR® de Sony ® font partie de ces types de visiocasques. Pour fonctionner dans des environnements de réalité virtuelle, ils s’appuient sur la puissance de calcul d’un ordinateur externe disposant d’une configuration matérielle puissante et notamment en terme de processeur de calcul graphique (appelé également « carte graphique »). Ces produits sont donc encore limités à une petite frange de la population car l’investissement matériel est conséquent pour l’achat d’un PC (initiales de « Personal Computeur » en anglais) avec une carte graphique puissante (qui souvent représente une part non négligeable du coût du PC et ne se justifie que pour ce type d’application de réalité virtuelle ou pour certains jeux vidéo), ainsi que pour l’achat du visiocasque,
- de l’autre côté, des visiocasques dénommés « casques de réalité virtuelle mobiles » (ou également « cardboard » en anglais) qui n’intègrent, pour la plupart d’entre eux, que le système optique permettant le rendu final d’un espace en trois dimensions à l’utilisateur. Il faut donc interfacer un terminal comme, par exemple, un smartphone (téléphone intelligent en français) pour disposer des fonctionnalités d’écran vidéo et des capteurs inertiels, gyroscopiques et magnétométriques de ces terminaux. Dans cette gamme de produits, on retrouve par exemple les produits Gear VR® de Samsung®, VR One plus® de Zeiss® ou Daydream View® de Google® ou encore le Google Cardboard® réalisé en carton et au coût d’achat très faible. Ces cardboards associés aux smartphones ont l’avantage d’être autonomes dans le calcul et le rendu d’un environnement de réalité virtuelle car ils utilisent la puissance de calcul du smartphone ainsi que ses capteurs. De plus, les casques de réalité virtuelle sont moins onéreux que les casques intégrant l’écran et les capteurs car ils n’intègrent que le système optique. Or comme le taux d’équipement de smartphone dans le monde est élevé, le potentiel d’utilisateurs équipés d’un smartphone et en mesure de s’acheter un cardboard est beaucoup plus important que le potentiel des personnes s’équipant de solutions avec un PC puissant et un casque intégré. Ce type d’équipement pourrait donc permettre de démocratiser les services de réalité virtuelle à des fins de co-conception ou de co-création comme décrits ci-dessus. Cependant, la capacité de calcul limitée des processeurs graphiques des smartphones actuels ne permet pas encore de simuler et de contrôler l’affichage d’un environnement complexe de réalité virtuelle. Or, la partie modélisation graphique est essentielle afin que l’utilisateur ait la meilleure perception possible de l’environnement de réalité virtuelle. Dans cette invention, nous faisons référence à de la modélisation graphique en trois dimensions permettant un rendu proche de la réalité. La modélisation graphique en trois dimensions nécessite de disposer d’un PC puissant en termes de configuration de la carte graphique, de la mémoire vive, d’une carte mère de dernière génération etc. La problématique technique relevée par l’invention est donc que les appareils informatiques domestiques que sont les téléphones portables de types smartphones n’ont pas les capacités de calcul pour modéliser les environnements graphiques en trois dimensions, ce qui réduit le potentiel des utilisateurs de ces services à ceux disposant de PC très coûteux.
L’invention se propose donc de palier aux inconvénients de l’art antérieur en proposant un procédé de déport de la scène visuelle d’un espace en trois dimensions d’un environnement de réalité virtuelle comprenant un terminal et un casque de type cardboard, afin que cette scène soit affichée sans que le terminal n’ait à effectuer les calculs inhérents à la constitution d’environnements de réalité virtuelle. Ce procédé permet donc à un utilisateur, par délégation à un serveur puissant des calculs de modélisation graphique, d’utiliser un visiocasque de type cardboard avec, par exemple, un smartphone et une application installée sur le smartphone afin d’accéder à différents services de réalité virtuelle en trois dimensions qui ne lui seraient pas disponibles autrement par manque de puissance de calcul.
Un des buts de l'invention est de remédier à des inconvénients de l'état de la technique précité.
A cet effet, un objet de la présente invention concerne un procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle affiché dans un terminal de communication, caractérisé en ce qu’il comprend:
- suite à une action de l’utilisateur sur le terminal, transmission d’une commande, du terminal à destination d’un serveur via un réseau de communication, d’au moins une image en deux dimensions comprenant des données représentatives d’une vue d’un espace en trois dimensions issu de l’environnement de réalité virtuelle ; - réception dans un terminal, en provenance du serveur, de ladite au moins une image en deux dimensions ;
- conversion par le terminal de ladite au moins une image en deux dimensions en une représentation en trois dimensions de la dite vue.
On entend par espace en trois dimensions un ensemble de données décrivant les dimensions dans un espace euclidien à trois dimensions, les couleurs et les textures d’un lieu réel ou imaginé, éventuellement d’objets et de personnages fictifs ou avatars dudit lieu. Ce lieu est caractérisé par plusieurs formes géométriques (un cube, un rectangle, un tétraèdre etc.), éventuellement des objets spécifiques contenus dedans (un fauteuil, une télévision, un évier etc.) et des avatars.
On entend par image en deux dimensions un document graphique de type image numérique interprétable par le terminal pouvant comprendre des données additionnelles de type métadonnées.
On entend par environnement de réalité virtuelle un ensemble d’espaces à trois dimensions, dans lequel des avatars peuvent se déplacer, communiquer avec d’autres avatars ou avec des objets, utiliser ces objets, modifier l’espace en créant de nouveaux objets ou en les modifiant etc. Un environnement de réalité virtuelle dispose donc de règles précises sur la gestion des espaces en trois dimensions, tels que leur agencement et la gestion des objets et avatars en termes d’interaction et de compatibilité. En effet, l’environnement de réalité virtuelle définit les actions possibles (soulever, déplacer, transformer, communiquer etc.) des avatars sur les objets et vice versa si nécessaire voire des objets entre eux. De plus, l’environnement de réalité virtuelle régit également les lois physiques entre les différents objets et entre les objets et les avatars.
Grâce à l’invention, il est possible de diffuser sur un écran d’un terminal à capacités de calcul limitées (exemple d’un smartphone ou d’un visiocasque avec des capacités intégrées de traitement numérique et de calcul simples) une vue représentant un espace en trois dimensions, qui, une fois visionnée par l’utilisateur du terminal, donne une impression de vue en trois dimensions. Cette vue est proche en terme de rendu visuel d’une représentation de cet espace qui serait réalisée par une machine plus puissante, comme un serveur ou un PC équipé d’une carte graphique de dernière génération. Pour cela, le terminal se contente avantageusement de recevoir d’un serveur un fichier de données qui a été généré par le serveur et qui contient, entre autres, la ou les images en deux dimensions représentant la vue générée par l’application de réalité virtuelle du serveur. La ou les images en deux dimensions sont simplement converties en une représentation de ladite vue et affichées par le terminal. Les étapes d’extraction et de conversion en une représentation de ladite vue, effectuées par le terminal, des données de l’espace en trois dimensions fournies par le serveur ne nécessitent pas de calculs vectoriels complexes (il s’agit uniquement de plaquer cette image sur une sphère englobant le point du vue de l’utilisateur) comme c’est le cas pour les mécanismes de restitution d’environnements de réalité virtuelle classiques. En effet, c’est le serveur, en amont de la transmission au terminal, qui a réalisé l’ensemble des calculs de conversion de l’espace en trois dimensions en un fichier image comprenant au moins une image en deux dimensions et des métadonnées. L’extraction d‘au moins une image et de métadonnées d’un fichier de données étant une étape simple pour le terminal. L’étape de conversion par le terminal d’au moins une image en deux dimensions en une vue représentative de l’espace en trois dimensions ne nécessite pas non plus de calculs complexes. Là où un moteur graphique sera nécessaire pour un environnement VR complet (tris et placement des objets, gestion de la lumière, des ombres, des effets de rendu), la projection sur une sphère d’une image eu deux dimensions reste très optimale (simple déformation sphérique). Après conversion selon des techniques de rendu en trois dimensions bien connues de l’homme de l’art, la vue représentative de l’espace en trois dimensions est affichée sur l’écran du terminal et transmise via un système optique pour être visualisée par l’utilisateur qui a la sensation d’être immergé dans un environnement en trois dimensions.
Selon un mode de réalisation particulier, ladite action de l’utilisateur sur le terminal comprend le pointage sur une carte, affichée par le terminal représentant l’environnement de réalité virtuelle, et la transmission de la commande comprend la transmission au serveur des coordonnées du pointage sur ladite carte.
Grâce à l’invention, l’utilisateur peut transmettre des coordonnées de localisation, suite au pointage, afin, par exemple, de déplacer son avatar ou de transporter un objet d’un espace en trois dimensions vers un autre endroit de l’environnement de réalité virtuelle. Il lui suffit alors d’éditer la carte représentant l’environnement de réalité virtuelle et de pointer sur l’endroit de la carte avec lequel l’utilisateur souhaite interagir, par exemple l’endroit où l’utilisateur souhaite transporter son avatar ou un objet. Le déplacement du pointeur peut se faire de différentes manières : par l’intermédiaire du terminal et notamment de ses capteurs de mouvements ou par l’intermédiaire d’un périphérique externe de type joystick, souris, pavé à capteurs de mouvements, caméra de type Kynect® ou tout autre équipement externe en mesure de détecter des commandes de déplacement d’un pointeur par l’utilisateur. Le terminal renvoie donc au serveur les coordonnées nécessaires pour la mise à jour de l’environnement de réalité virtuelle. Le serveur ou le PC, en charge d’exécuter l’application de réalité virtuelle et notamment de restituer les espaces en trois dimensions de l’environnement de réalité virtuelle, sur sollicitation du terminal, met à jour les coordonnées de localisation de/des avatar(s) et/ou de/des objet(s) contenus dans son environnement de réalité virtuelle et, sur la base des nouvelles coordonnées, calcule la nouvelle vue et la convertit en un fichier de données intégrant une image interprétable par le terminal pour diffuser la nouvelle vue à l’utilisateur ainsi que les informations contextuelles liées à l’action à réaliser par le serveur comme, par exemple, déplacer l’avatar ou déplacer un objet.
De plus, grâce à l’invention, suite aux étapes P2 à P5, ladite vue représentative de l’espace en trois dimensions visionnée par l’utilisateur par l’intermédiaire du terminal et d’un casque de type « cardboard » est un point de vue situé à un endroit précis de l’espace en trois dimensions où se situe, par exemple, l’avatar. Cette caractéristique permet à l’utilisateur de se situer dans l’espace en trois dimensions afin d’envisager, par exemple, un nouveau déplacement ou une nouvelle action de son avatar et/ou d’un objet.
Selon un mode de réalisation particulier, ladite action de l’utilisateur sur le terminal comprend le pointage sur un endroit d’une vue affichée par le terminal, et la transmission de la commande comprend :
- la conversion de ladite vue intégrant l’endroit pointé en un fichier de données interprétable par ledit serveur,
- la transmission audit serveur dudit fichier de données.
Grâce à l’invention, sur sollicitation de l’utilisateur, l’utilisateur peut pointer un endroit de la vue de l’espace en trois dimensions. Il pourra ensuite commander un certain nombre d’action comme celles, par exemple, de commander au serveur un déplacement de son avatar et/ou d’un objet vers cet endroit pointé. L’utilisateur n’a donc qu’à désigner, via un pointeur affiché sur l’écran du terminal, l’endroit où il souhaite, par exemple, déplacer son avatar et/ou un objet. Le déplacement du pointeur est mis en œuvre selon les manières déjà décrites pour le mode de réalisation précédent. Sur la base de l’image transmise par le terminal intégrant le pointeur, le serveur ou le PC, en charge d’exécuter l’application de réalité virtuelle et notamment de restituer les espaces en trois dimensions de l’environnement de réalité virtuelle met à jour les coordonnées de localisation de l’endroit pointé dans l’environnement de réalité virtuelle et, sur la base des nouvelles coordonnées, réalise l’action commandée par l’utilisateur comme, par exemple, le calcul d’une nouvelle vue et la diffusion d’un fichier de données intégrant une image en deux dimensions interprétable par le terminal pour diffuser la nouvelle vue à l’utilisateur. L’utilisateur peut donc déplacer son avatar d’un point de l’espace à un autre point. Il est également possible de restituer un déplacement fluide de l’avatar et/ou d’un objet dans son environnement de réalité virtuelle par la transmission successive des changements de coordonnées de l’avatar et/ou de l’objet dans l’espace en trois dimensions et de changements respectifs de vues à 360 degrés à une fréquence suffisante, de façon à simuler une impression de mouvement.
De plus, comme décrit dans le précédent mode de réalisation particulier, et suite aux étapes P2 à P5, ladite vue représentative de l’espace en trois dimensions visionnée par l’utilisateur par l’intermédiaire du terminal et d’un casque de type « cardboard » est un point de vue situé à un endroit précis de l’espace en trois dimensions où se situe, par exemple, l’avatar. Cette caractéristique permet à l’utilisateur de se situer dans l’espace en trois dimensions afin d’envisager, par exemple, un nouveau déplacement ou une nouvelle action de son avatar et/ou d’un objet.
Selon un autre mode de réalisation particulier, comprenant l’extraction, à partir des données de l’espace en trois dimensions, d’informations descriptives d’au moins un objet et/ou d’au moins un avatar de l’espace à trois dimensions,
Grâce à l’invention, l’utilisateur peut directement visualiser des informations et interagir sur certains objets ou autres avatars qui se trouvent dans son champ de vision. En effet, sans ces informations additionnelles descriptives de l’image, le terminal n’a pas la possibilité de caractériser les objets disposés dans l’espace ni identifier les avatars. En effet, l’image n’est vue, par le terminal, que comme un ensemble de pixels avec un certain niveau de couleurs et d’intensité lumineuse et non comme un ensemble d’objets vectoriels ayant leurs caractéristiques propres comme c’est le cas dans un environnement de réalité virtuelle classique. Sur la base des informations récupérées par le terminal, ce dernier est donc capable de déterminer des zones sur l’image qui représentent un objet et/ou un avatar. L’utilisateur peut donc pointer vers ces zones afin de disposer d’informations complémentaires sur l’objet et/ou l’avatar et/ou de commander des actions de toute nature liées avec ces derniers.
Selon un autre mode de réalisation particulier, ladite vue est fonction de l’orientation d’un objet ou d’un avatar dans ledit espace en trois dimensions.
Grâce à l’invention, il est donc possible pour l’utilisateur de modifier le point de vue représentatif de l’espace en trois dimensions autour d’un point fixe et dans toutes les orientations possibles sans avoir à commander une nouvelle image au serveur. L’image dispose de l’ensemble des informations nécessaires au terminal pour afficher tous ces points de vue. Dans le cas où le point fixe de l’espace se trouve être le visage de l’avatar, l’utilisateur, en faisant tourner son avatar sur lui-même, dispose de différents points de vue lui permettant d’appréhender visuellement l’espace en trois dimensions dans sa totalité à la place de son avatar. L’utilisateur peut ensuite décider des actions à prendre dans le champ de vision correspondant à la rotation effectuée par l’avatar. Un tel mode de réalisation optimise ainsi la sensation d’immersion de l’utilisateur dans l’environnement de réalité virtuelle.
Les différents modes ou caractéristiques de réalisation précités peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, au procédé d’interaction défini ci-dessus.
L’invention concerne également un terminal de communication adapté pour l’interaction d’un utilisateur avec un environnement de réalité virtuelle affiché par ce terminal, le terminal étant caractérisé en ce qu’il comprend un processeur qui est configuré pour :
- transmettre une commande à destination d’un serveur, suite à une action de l’utilisateur sur le terminal (TERM), via un réseau de communication, d’au moins une image en deux dimensions comprenant des données représentatives d’une vue d’un espace en trois dimensions issu de l’environnement de réalité virtuelle,
- recevoir en provenance du serveur ladite au moins une image en deux dimensions,
- convertir ladite au moins une image en deux dimensions en une représentation en trois dimensions de ladite vue. Un tel terminal est notamment apte à mettre en œuvre le procédé précité d’interaction d’un utilisateur avec un environnement de réalité virtuelle, selon l’un quelconque des modes de réalisation précités.
L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle, selon l’un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur.
Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
L’invention vise également un support d’enregistrement ou support d’informations lisible par un ordinateur, et comportant des instructions d’un programme d’ordinateur tel que mentionné ci-dessus.
Le support d’enregistrement peut être n’importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu’une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une clé USB ou un disque dur.
D’autre part, le support d’enregistrement peut être un support transmissible tel qu’un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d’autres moyens. Le programme selon l’invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d’enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l’exécution du procédé d’interaction précité.
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels : - la figure 1 représente les principales actions exécutées par le procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle,
- la figure 2 détaille un exemple de réalisation décrivant les principaux échanges de flux d’informations entre les terminaux lors de la mise en œuvre du procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle,
- la figure 3 représente un exemple d’une image en deux dimensions utilisée dans le procédé d’interaction de la figure 1,
- la figure 4 représente un exemple d’une vue en trois dimensions,
- la figure 5 représente plus en détail une des actions exécutées par le procédé de la figure 1,
- la figure 6 représente plus en détail une des actions exécutées par le procédé de la figure 1,
- la figure 7a représente plus en détail une des actions exécutées par le procédé de la figure 1, selon une première variante,
- la figure 7b représente plus en détail une des actions exécutées par le procédé de la figure 1 , selon une deuxième variante,
- la figure 7c représente plus en détail une des actions exécutées par le procédé de la figure 1,
- la figure 8 représente un exemple de terminal d’interaction d’un utilisateur avec un environnement de réalité virtuelle mettant en œuvre le procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle de la figure 1.
Description détaillée de l'invention
Principe général de l'invention
L’objectif de l’invention est de permettre à un utilisateur d’un terminal ayant des capacités de calcul peu puissantes de s’interconnecter dans un environnement de réalité virtuelle en trois dimensions. Cet environnement nécessite habituellement des terminaux avec une grande capacité de calcul et notamment de calcul graphique. L’invention propose principalement un procédé et un terminal de gestion de données graphiques et contextuelles transmises par un serveur afin d’afficher une vue d’un espace en trois dimensions et de pouvoir interagir avec cet espace par l’échange d’informations avec le serveur. Il existe un grand nombre de configurations possibles en termes d’architectures de services pour créer un environnement de réalité virtuelle mais on peut dénombrer deux fonctions majeures : d’une part, la gestion de l’environnement de réalité virtuelle et, d’autre part, sa modélisation et son rendu graphique. La gestion de l’environnement concerne toute la gestion des règles d’interactions entre les objets et/ou entre les personnages virtuels ou avatars, leurs modifications, transport, voire dans certains environnements le suivi d’un script d’évènements (exemple des jeux vidéo). La gestion de l’environnement peut être déléguée à un seul terminal de type serveur en charge de cette gestion pour tous les utilisateurs. Cette fonction peut également être virtualisée par plusieurs serveurs traitant les calculs en parallèle. Les serveurs peuvent être des terminaux commandés par des utilisateurs du service de création d’un environnement de réalité virtuelle et/ou des terminaux gérés par le fournisseur du service ou une combinaison des deux. La modélisation et le rendu graphique concernent la représentation vectorielle, la gestion des textures, des effets de lumière, etc. d’un espace en trois dimensions. Ils sont réalisés par un ordinateur et peuvent être délégués à un ordinateur distant. La modélisation nécessite un équipement dédié de type carte graphique afin de décharger le processeur principal de l’ordinateur de ce type de calculs.
L’invention est mise en œuvre de façon à ce que ledit terminal dispose d’un logiciel lui permettant de communiquer les informations nécessaires à l’ordinateur (qui peut être un serveur, un PC ou tout autre machine ayant les capacités de calcul suffisantes), en charge de la gestion de l’environnement de réalité virtuelle et de la modélisation, afin que cet ordinateur effectue la modélisation et le rendu graphique d’un espace en trois dimensions. Ces informations ont par exemple attrait à l’état de l’avatar dans l’environnement de réalité virtuelle comme : sa localisation, son orientation, sa communication avec d’autres avatars, son interaction avec des objets de l’environnement. L’ordinateur, en charge de cette modélisation et de rendu graphique, interprète ces informations pour modifier l’espace en trois dimensions en fonction de ces nouvelles informations. Cette modélisation et ce rendu graphiques représentent une nouvelle vue de l’espace en trois dimensions où se trouve l’avatar de l’utilisateur. Cette vue est convertie par l’ordinateur afin qu’elle soit facilement exploitée par le terminal. Le terminal délègue donc les fonctions de modélisation graphique et une partie des fonctions de gestion de l’environnement à l’ordinateur. Le terminal se charge ensuite de convertir les nouvelles données reçues de l’ordinateur en une image en trois dimensions.
Modes particuliers de réalisation de l'invention.
II est décrit ci-après, en référence aux figures 1 à 8, un procédé et un terminal d’interaction d’un utilisateur avec un environnement de réalité virtuelle.
Un tel procédé se déroule de la manière suivante.
Dans un exemple de réalisation de l’invention, l’utilisateur est un potentiel acheteur d’un bien immobilier, par exemple une maison, et souhaite faire le point avec son promoteur pour échanger sur la conception de cette maison. Le promoteur étant en télétravail ce jour-là, il propose donc à l’utilisateur de lancer une session d’un nouveau service de collaboration en réalité virtuelle. Ce service est proposé par la société du promoteur, et se matérialise par une application installée sur un serveur spécifique hébergé dans des locaux de cette société. Cette application est accessible à distance par la souscription d’un compte utilisateur lié au service. Le serveur dispose de l’ensemble des informations nécessaires pour présenter le projet immobilier (description du bien, plans du bien, des objets, actions disponibles sur les objets etc.). Il gère et stocke l’ensemble des informations des projets immobiliers de la société. Le service est également déployé, par l’intermédiaire d’une autre application, plus simple, sur l’ordinateur de type PC du promoteur. Cette application communique avec l’application du serveur. L’ordinateur de type PC intègre une carte graphique puissante permetant au promoteur de réaliser les calculs de modélisation graphique nécessaires liés à son propre usage mais aussi pour le compte de l’utilisateur. L’utilisateur dispose d’un terminal (un smartphone par exemple) et d’une cardboard compatible avec le terminal. De plus, pour permettre à l’utilisateur d’utiliser le service avec le terminal, une application est disponible sur le site internet de la société du promoteur et également, par exemple, sur les différents « app stores » (magasins d’application en anglais) des fournisseurs de système d’exploitation de smartphones. L’utilisateur installe l’application mobile de l’app store sur son terminal, lance l’application et connecte le terminal à la cardboard. Il se connecte ensuite au service de réalité virtuelle de la société, employeur du promoteur. Le promoteur se connecte également au service de réalité virtuelle par l’intermédiaire de l’application déjà installée sur son PC et installe un visiocasque adapté à son PC. Sur la figure 1, en PI, il est procédé à une commande à un serveur d’au moins une image d’un espace en trois dimensions issu de l’environnement de réalité virtuelle. A cet effet, comme représenté en figure 2, à titre d’exemple, c’est l’utilisateur, par l’intermédiaire d’un terminal, qui sollicite un serveur SERV de la société pour lui signifier, par l’envoi de données I, qu’il souhaite une nouvelle image de l’espace en trois dimensions afin de débuter la session de réalité virtuelle avec le promoteur et pouvoir visionner le projet immobilier. Le serveur SERV communique alors un ensemble d’informations A, B et C à un ordinateur PCI du promoteur pour qu’il puisse calculer une nouvelle image représentative de l’espace en trois dimensions et la transmettre au terminal TERM. Les informations A sont des paramètres de l’espace en trois dimensions (grille, texture ou non, plafond ou non . ). Les informations B sont des données décrivant l’espace à trois dimensions, telles que par exemple des données sur les objets (mobilier et bâti) et/ou des données sur le/les avatar(s) contenus dans l’espace en trois dimensions. Les informations C sont des informations de localisation et de position du corps de l’avatar de l’utilisateur dans l’espace en trois dimensions, telles que par exemple des données localisation et de position de la tête de l’avatar, de déplacement du bras, des mains de l’avatar, etc.
Sur la figure 1, en P2, il est procédé à la réception REC, de la part dudit serveur, des données d’une vue représentative dudit espace en trois dimensions.
A cet effet, comme représenté en figure 2, l’ordinateur PCI communique au terminal TERM des données B et E. Dans l’exemple décrit, c’est l’ordinateur PCI du promoteur qui communique ces données au terminal TERM de l’utilisateur car la session implique seulement l’utilisateur et le promoteur. Dans d’autres modes de réalisation particuliers, impliquant un plus grand nombre d’ordinateurs, le serveur SERV peut se charger de centraliser les calculs et communiquer les données B et E au terminal TERM. Les données E comprennent au moins une image interprétable par le terminal TERM. Les données B comprennent des informations descriptives dudit espace en trois dimensions. Dans l’exemple représenté, le terminal TERM réceptionne un fichier de données transmis par l’ordinateur PCI qui contient ces données E et B.
Sur la figure 1, en P3, il est procédé, par le terminal TERM, à une extraction EXTR desdites données ladite au moins une image E.
Comme décrit sur la figure 3, l’image E est une image en deux dimensions qui comprend deux vues (œil gauche, œil droit) représentant de manière déformée une même scène en trois dimensions.
Sur la figure 1, en P4, le terminal TERM procède à une conversion CONV de ladite au moins une image E en une vue représentative de l’espace en trois dimensions.
Comme illustré sur la figure 4, une telle vue V est le résultat de la conversion des deux vues de l’image E illustrée à la figure 3.
Sur la figure 1, en P5, il est procédé, par le terminal TERM, à une commande de la restitution REST de ladite vue.
Selon un mode particulier de réalisation, représenté à la figure 8, les actions exécutées par les étapes PI à P5 sont mises en œuvre par un terminal. Le terminal est par exemple un smartphone. Pour cela, le terminal a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM T, une unité de traitement UT_T, équipée par exemple d’un processeur PROC T, et pilotée par le programme d'ordinateur PG_T stocké en mémoire MEM T. Le programme d'ordinateur PG_T comprend des instructions pour mettre en œuvre les actions des étapes PI à P5 telles que décritent ci-dessus, lorsque le programme est exécuté par le processeur PROC T. A l'initialisation, les instructions de code du programme d'ordinateur PG_T sont par exemple chargées dans une mémoire RAM (non représentée) avant d’être exécutées par le processeur PROC T. Le processeur PROC T de l’unité de traitement UT_T met notamment en œuvre les actions des téapes PI à P5 décritent ci-dessus, selon les instructions du programme d’ordinateur PG_T. Lors des étapes PI et P2, le terminal TERM communique avec le serveur SERV, par l’intermédiaire d’un module de communication ou périphérique réseau P RES T, par l’intermédiaire de son module de communication ou périphérique réseau P RES SERV. Ces modules de communication P RES T et P RES SERV sont adaptés pour échanger des données entre eux, via un réseau RES. Un tel réseau RES est par exemple un réseau de type MAN (acronyme anglophone pour « Metropolitan Area Network ») ou WAN (acronyme anglophone pour « Wide Area Network »).
L'homme du métier peut se rendre compte qu'il existe de nombreux types différents de réseaux de communication de données, par exemple des réseaux de radiocommunication, cellulaires ou non cellulaires, et qu’en fonction du mode de réalisation, les modules de communication P RES T et P RES SERV pourront intégrer un ou plusieurs modules de communication, par exemple de communication radiofréquence et être configurés pour l’émission et la réception de signaux radiofréquences, selon une ou plusieurs technologies, telles que TDMA, FDMA, OFDMA, CDMA, ou un ou plusieurs standards de radiocommunication, tels que GSM, EDGE, CDMA, UMTS, HSPA, LTE, LTE-A, WiFi (IEEE 802.11) et WiMAX (IEEE 802.16), ou leurs variantes ou évolutions, actuellement connus ou développés ultérieurement.
Sur la figure 1, dans un mode de réalisation particulier de l’action PI, il est procédé en Pl’ l à une action de pointer POINT C sur une carte représentant l’environnement de réalité virtuelle, en Pl’_2 à une transmission TRANSI au serveur SERV des coordonnées du pointage sur ladite carte tel qu’effectué en P’ 1 1.
Dans un exemple illustré sur la figure 5, l’action demandée par le client est le transport rapide de son avatar du point Pj situé dans le jardin au point Pc situé dans la cuisine de la maison. Pour cela, l’utilisateur commande l’édition d’une carte CAR grâce au terminal TERM via l’utilisation des capteurs CAP C de la cardboard CARD ou des capteurs CAP T du terminal. Dans l’exemple représenté, l’utilisateur souhaite déplacer son avatar du jardin à la cuisine de la maison pour discuter avec le promoteur de l’agencement de cette pièce. A cet effet, comme représenté en figure 8, l’utilisateur, par l’intermédiaire de la Cardboard CARD et du terminal TERM, visualise la carte de l’environnement de réalité virtuelle, en l’occurrence la maison dans l’exemple décrit. La carte est visualisée par l’utilisateur par l’intermédiaire de l’écran ECR du terminal TERM qui est couplé optiquement avec un système optique SYST OPT de vision en trois dimensions de la Cardboard CARD. L’utilisateur actionne les capteurs CAP C ou CAP T pour déplacer le pointeur sur la carte de l’environnement de réalité virtuelle.
A cet effet, comme représenté en figure 2, le terminal TERM communique au serveur SERV les informations C de changement de localisation de l’avatar. Dans l’exemple décrit, c’est le serveur SERV qui gère la partie du service liée à la gestion de l’environnement de réalité virtuelle. Après avoir reçu ces informations, le serveur SERV communique à l’ordinateur PCI du promoteur les informations C de ce changement, afin que cet ordinateur exécute les tâches graphiques.
Sur la figure 1, en PI”_1, Pl”_2 et Pl”_3, dans un autre mode de réalisation alternatif à PI, il est procédé à une action P 1”_1 de pointage POINT E sur un endroit d’une vue, d’une action Pl”_2 de conversion CONV V de ladite vue intégrant l’endroit pointé en un fichier de données interprétable par ledit serveur et d’une action Pl”_3 de transmission TRANS2 dudit fichier de données audit serveur. Selon ce mode de réalisation alternatif, l’utilisateur commande le transport de son avatar dans le même espace en trois dimensions.
A cet effet, comme représenté en figure 2, le terminal TERM communique au serveur SERV des informations Cl sur la nouvelle localisation de son avatar sous la forme d’un fichier de données intégrant au moins une image et des données descriptives de l’espace en trois dimensions. Ladite au moins une image est similaire, en termes de format, à l’image E illustrée en figure 3 et est le résultat d’une conversion CONV V d’une vue représentative de l’espace en trois dimension comme illustré en figure 4. Ladite au moins une image intègre un marquage graphique de l’endroit pointé de façon à ce que le serveur puisse se référer à ce marquage afin de calculer une coordonnée de localisation de destination. Cette coordonnée de localisation servira au transport de l’avatar. Le serveur transmet ensuite les coordonnées de destination par le flux de données C à l’ordinateur PCI. Dans un mode de réalisation alternatif, le serveur peut déléguer l’action Pl”_2 de conversion CONV V à l’ordinateur PCI. Dans un autre mode de réalisation alternatif, le terminal peut également transmettre les données Cl directement à l’ordinateur PCI (non représenté en figure 2) pour que cet ordinateur réalise l’action de conversion P 1”_2.
Comme illustré en figure 6, conformément à un exemple de réalisation de l’invention, l’utilisateur demande à transporter son avatar AV, localisé initialement à un point Pci, d’une table de cuisine OBJ TAB à côté d’un réfrigérateur OBJ FR, à un point de destination Pcd. Ceci afin que l’utilisateur puisse avoir un point de vue différent de la pièce. Pour cela, il commande le déplacement d’un pointeur Point C au point de destination Pcd où il souhaite déplacer son avatar. Le point de vue affiché sur l’écran ECR du terminal intégrant le curseur du pointeur Point C est converti CONV V en une image interprétable par le serveur SERV. Ce serveur pourra alors calculer, sur la base de cette image, les nouvelles coordonnées de localisation du point de destination Pcd de l’avatar.
A cet effet, comme représenté en figure 8, l’utilisateur, par l’intermédiaire de la cardboard CARD et du terminal, dispose d’un point de vue de l’espace en trois dimensions. Le point de vue est visualisé par l’utilisateur par l’intermédiaire du système optique SYST OPT de vision en trois dimensions de la carte cardboard CARD qui est elle-même couplée par une liaison optique à l’écran ECR du terminal. L’utilisateur actionne les capteurs CAP C ou CAP T pour déplacer le pointeur sur le point de vue représentatif de l’espace en trois dimensions au point de destination Pcd où il souhaite se déplacer. Le point de vue intégrant ce point Pcd est ensuite converti par le logiciel PG_T, en un fichier de données interprétable par le serveur SERV, ledit fichier contenant au moins une image d’une vue représentative de l’espace en trois dimensions intégrant l’endroit pointé. Ce fichier de données est ensuite transmis au serveur SERV par l’intermédiaire d’une communication, via le réseau RES, entre les modules de communication P RES T et P RES SERV. Sur la figure 1, dans un mode de réalisation particulier de l’action d’extraction P3, le terminal TERM procède en P3’, à partir des données de ladite vue, à l’extraction INF des informations descriptives d’au moins un objet et/ou d’au moins un avatar de l’espace à trois dimensions. L’utilisateur en pointant un/des objet(s) et/ou un/des avatar(s) à partir de son point de vue de l’espace en trois dimensions dispose ainsi d’informations descriptives sur ledit objet ou avatar. Ces informations sont extraites du fichier de données transmis par le serveur ou l’ordinateur. Les informations descriptives contenues dans le fichier de données sont de type : nom, description du/des objet(s) et/ou du/des avatar(s), actions possibles sur le/les objet(s) et/ou sur le/les avatar(s), telles que par exemple : communiquer, parler, prendre, poser, lancer, supprimer etc.
Sur la figure 1, dans un mode de réalisation additionnel de P4, ladite vue convertie en P4’ est fonction de l’orientation ORT du corps de l’avatar dans ledit espace en trois dimensions.
A cet effet, comme représenté à la figure 2, c’est l’ordinateur PCI du promoteur qui modélise et réalise le rendu graphique de la vue sur la base des informations C fournies par le serveur SERV sur la position et l’orientation de l’avatar dans l’espace en trois dimensions. Dans un mode de réalisation alternatif (non décrit sur la figure 2), c’est le serveur SERV qui réalise la modélisation et le rendu graphique de ladite vue. Ces informations C sont transmises par le terminal TERM et intègrent, outre les données de localisation, des données sur l’orientation du corps de l’avatar, par exemple l’orientation de sa tête. Ces dernières informations permettent ensuite de calculer un point de vue de l’espace en trois dimensions tel que pourrait le voir une personne positionnée à la place de l’avatar.
Comme illustré à la figure 7a et conformément à l’exemple qui vient d’être décrit, une image IM 2D CUIS, après conversion P’4 par le terminal, représente une sphère ESP 3D CUIS modélisant un espace en trois dimensions, dans laquelle l’avatar AV peut tourner dans tous les sens autour d’un point fixe (par exemple la tête), afin de disposer d’une pluralité de vues en fonction de la position de l’avatar dans cette sphère. La figure 7b illustre l’exemple de la figure 7a, avec un seul degré de liberté de l’avatar. Dans ce cas particulier, l’avatar AV tourne uniquement autour d’un axe OZ perpendiculaire au plan contenant les droites OX et OY. En tournant, l’avatar décrit un angle□ entre une droite perpendiculaire à la droite passant par ses yeux et l’axe OY par exemple. Si par exemple l’angle a = 30°, pour obtenir le point de vue de l’utilisateur, le terminal analyse les informations de l’image IM 2D CUIS centrées sur l’angle a = 30° et réalise la fonction de conversion de l’image IM 2D CUIS en un point de vue de l’avatar ayant une orientation spécifique (angle a = 30°) dans cette cuisine.
Comme décrit à la figure 7c, et afin d’illustrer différemment l’exemple de la figure 7b, un avatar AV localisé au point Pc, ayant orienté son corps d’un angle a = 30°, se retrouve face à un autre avatar AV’. Le point de vue unique de l’avatar AV pour la valeur a = 30° calculé par le terminal sur la base de l’image IM 2D CUIS est l’image Vue_AV_30° en trois dimensions restituée grâce au terminal TERM et à la cardboard CARD. Ce principe peut donc être généralisé avec deux degrés de liberté et donc deux angles a et b pour décrire l’ensemble de l’espace en trois dimensions. Dans ce cas, chaque point de vue de l’avatar dans l’espace ESP 3D CUIS (figure 7a) correspond à un point de l’image IM 2D CUIS transmise par le serveur ou l’ordinateur et vice versa. On peut donc affirmer qu’il y a donc autant de points de vue possibles que de pixels définissant l’image IM 2D CUIS.
A cet effet, comme représenté à la figure 8, l’utilisateur commande l’orientation du corps de l’avatar par l’intermédiaire des capteurs CAP C de la cardboard CARD ou des capteurs CAP T du terminal TERM. Les informations d’orientation de l’avatar sont stockées dans la mémoire MEM T et traitées par le logiciel PG_T. L’unité de traitement UT_T du smartphone SMART recalcule une nouvelle vue en fonction des informations transmises par le logiciel PG_T. Ces informations représentatives de l’espace en trois dimensions intègrent toutes les données nécessaires à une vue panoramique (à 360 degrés sur deux degrés de liberté).
Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l’homme de l’art sans pour autant sortir du cadre de l’invention.

Claims

REVENDICATIONS
1. Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle affiché dans un terminal de communication (TERM), caractérisé en ce qu’il comprend :
- suite à une action de l’utilisateur sur le terminal, transmission d’une commande (COM), du terminal à destination d’un serveur (SERV) via un réseau de communication, d’au moins une image en deux dimensions comprenant des données représentatives d’une vue d’un espace en trois dimensions issu de l’environnement de réalité virtuelle ;
- réception (REC) dans le terminal (TERM), en provenance du serveur (SERV), de ladite au moins une image en deux dimensions ;
- conversion (CONV) par le terminal (TERM) de ladite au moins une image en deux dimensions en une représentation en trois dimensions de ladite vue.
2. Procédé selon la revendication 1, dans lequel ladite action de l’utilisateur sur le terminal comprend le pointage (POINT C) sur une carte (CAR), affichée par le terminal, représentant l’environnement de réalité virtuelle, et la transmission de la commande comprend la transmission (TRANSI) au serveur des coordonnées du pointage sur ladite carte (CAR).
3. Procédé selon la revendication 1, dans lequel ladite action de l’utilisateur sur le terminal comprend le pointage (POINT E) sur un endroit d’une vue affichée par le terminal, et la transmission de la commande comprend :
- la conversion (CONV V) de ladite vue intégrant l’endroit pointé en un fichier de données interprétable par ledit serveur (SERV) ; et
- la transmission (TRANS2) audit serveur (SERV) dudit fichier de données.
4. Procédé selon la revendication 1 comprenant l’extraction (INF), à partir des données représentatives de ladite vue, d’informations descriptives d’au moins un objet et/ou d’au moins un avatar de l’espace à trois dimensions.
5. Procédé selon la revendication 1, dans lequel ladite vue est fonction de l’orientation (ORT) d’un objet ou d’un avatar dans ledit espace en trois dimensions.
6. Terminal de communication (TERM) adapté pour l’interaction d’un utilisateur avec un environnement de réalité virtuelle affiché dans ce terminal, ledit terminal étant caractérisé en ce qu’il comprend un processeur (PROC T) qui est configuré pour :
- transmettre une commande (COM) à destination d’un serveur (SERV), suite à une action de l’utilisateur sur le terminal (TERM), via un réseau de communication, d’au moins une image en deux dimensions comprenant des données représentatives d’une vue d’un espace en trois dimensions issu de l’environnement de réalité virtuelle ;
- recevoir (REC) en provenance du serveur (SERV) ladite au moins une image en deux dimensions ;
- convertir (CONV) ladite au moins une image en deux dimensions en une représentation en trois dimensions de ladite vue.
7. Programme d'ordinateur comprenant des instructions de code de programme pour l’exécution des étapes d’un procédé selon l’une quelconque des revendications 1 à 5, lorsqu'il est exécuté sur un ordinateur.
8. Support d'informations lisible par un ordinateur et comportant des instructions d'un programme d’ordinateur selon la revendication 7.
PCT/FR2019/052937 2018-12-21 2019-12-05 Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle WO2020128206A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1873882A FR3090941A1 (fr) 2018-12-21 2018-12-21 Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle
FR1873882 2018-12-21

Publications (1)

Publication Number Publication Date
WO2020128206A1 true WO2020128206A1 (fr) 2020-06-25

Family

ID=66867299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/052937 WO2020128206A1 (fr) 2018-12-21 2019-12-05 Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle

Country Status (2)

Country Link
FR (1) FR3090941A1 (fr)
WO (1) WO2020128206A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640179A (zh) * 2020-06-26 2020-09-08 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US20140267408A1 (en) * 2013-03-15 2014-09-18 daqri, inc. Real world analytics visualization
US20160225189A1 (en) * 2015-02-04 2016-08-04 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
FR3056770A1 (fr) * 2016-09-28 2018-03-30 Immersion Dispositif et procede de partage d'immersion dans un environnement virtuel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US20140267408A1 (en) * 2013-03-15 2014-09-18 daqri, inc. Real world analytics visualization
US20160225189A1 (en) * 2015-02-04 2016-08-04 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
FR3056770A1 (fr) * 2016-09-28 2018-03-30 Immersion Dispositif et procede de partage d'immersion dans un environnement virtuel

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640179A (zh) * 2020-06-26 2020-09-08 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
FR3090941A1 (fr) 2020-06-26

Similar Documents

Publication Publication Date Title
US10950020B2 (en) Real-time AR content management and intelligent data analysis system
US10347028B2 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
US10506003B1 (en) Repository service for managing digital assets
US11201953B2 (en) Application sharing
US10315110B2 (en) Service for generating graphics object data
CA2962825C (fr) Module d'analyse d'interactions d'utilisateurs
US9582904B2 (en) Image composition based on remote object data
US11363329B2 (en) Object discovery and exploration in video content
US11222479B2 (en) Object customization and accessorization in video content
US11288867B2 (en) Real-time exploration of video content
US20140189507A1 (en) Systems and methods for create and animate studio
CN103502974A (zh) 利用网格文件来动画化客户机应用中的过渡
US20200074736A1 (en) Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
CN114008677A (zh) 三维模型优化
US20220254114A1 (en) Shared mixed reality and platform-agnostic format
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
US11553087B1 (en) Communication session using a virtual environment
WO2020128206A1 (fr) Procédé d'interaction d'un utilisateur avec un environnement de réalité virtuelle
US20230164298A1 (en) Generating and modifying video calling and extended-reality environment applications
EP2987319A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
Du Fusing multimedia data into dynamic virtual environments
CH711803A2 (fr) Procédé d'interaction par surface miroir interactive.
US20240029366A1 (en) Digital content platform including methods and system for recording and storing digital content
US20240037862A1 (en) System and method for providing a platform for virtual augmented reality fitting of an item
WO2024015917A1 (fr) Balayage incrémental de repères personnalisés

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868214

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868214

Country of ref document: EP

Kind code of ref document: A1