WO2021148482A1 - Procédé de génération d'un contenu virtuel pour une plateforme interactive, et dispositif correspondant - Google Patents

Procédé de génération d'un contenu virtuel pour une plateforme interactive, et dispositif correspondant Download PDF

Info

Publication number
WO2021148482A1
WO2021148482A1 PCT/EP2021/051223 EP2021051223W WO2021148482A1 WO 2021148482 A1 WO2021148482 A1 WO 2021148482A1 EP 2021051223 W EP2021051223 W EP 2021051223W WO 2021148482 A1 WO2021148482 A1 WO 2021148482A1
Authority
WO
WIPO (PCT)
Prior art keywords
configuration
configurations
selection
interactive platform
virtual content
Prior art date
Application number
PCT/EP2021/051223
Other languages
English (en)
Inventor
Tiffany LUONG
Nicolas Martin
Anatole LÉCUYER
Ferran ARGELAGUET
Original Assignee
Fondation B-Com
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fondation B-Com filed Critical Fondation B-Com
Publication of WO2021148482A1 publication Critical patent/WO2021148482A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks

Definitions

  • the present invention relates to the technical field of virtual, augmented or mixed reality via an interactive platform.
  • It relates in particular to the generation of virtual content compared to a real environment, for an interactive platform.
  • the article "Dynamic scenario adaptation balancing control, coherence and emergence”, by Camille Barot, Anthony Lenne, Domitile Lourdeaux, Feb. 2013, describes the development of a scenario for a chosen virtual reality platform.
  • the scenario makes it possible to vary this virtual content implemented by the platform.
  • a scenario according to this article is based on different actions that the user must perform one after another. Based on the user's reaction, a new action to be performed is selected based on the scenario implemented.
  • the proposed actions are therefore linked one by one, in a dynamic and coherent manner.
  • the solution proposed in this article is totally dependent on the user's action regarding the execution of the scenario, the actions must be kept simple for the scenario to be executed.
  • the present invention proposes a method for generating virtual content with respect to a real environment, for an interactive platform.
  • the method comprises a preliminary step of arranging different configurations with respect to each other so as to obtain a structured environment, the different configurations being respectively associated with combinations of a plurality of elements in which at least one element is available. in at least two variants, the arrangement being such that between two adjacent configurations, only one element of the combination changes variant.
  • the method further comprises the following steps:
  • the invention offers the possibility of defining a state machine allowing real-time sequencing of interactive platform configurations.
  • the fact that each combination is made up of a plurality of simple elements makes the process uncomplicated to implement.
  • being able to combine the elements with each other as proposed by the invention makes it possible to subject the user to immersive virtual content which is representative of an interaction between several elements according to a chosen scenario.
  • an element may include multimedia data for said interactive platform.
  • At least one element can be declined according to two states, namely activated or not for a user interacting with said interactive platform.
  • At least one element can be declined according to at least two levels of difficulty with regard to the reaction requested from the user via the interactive platform.
  • the method may further comprise a selection of the first configuration from among the configurations arranged during the prior step.
  • the method can further comprise a measurement of one or more values of at least one parameter representative of a state of the user, and in which the selection of a configuration depends on at least one measured value.
  • the method further comprises a step of associating the configurations.
  • This association step can include the following steps: - obtaining at least two elements,
  • the selection of a new configuration may include the selection of a predetermined configuration from among the set of arranged configurations.
  • the selection of a new configuration may include a determination of a desired variant for at least one element and a selection of a configuration associated with the variant determined for said element.
  • the selection of a new configuration may include the selection of a configuration adjacent to the first configuration from all of the arranged configurations.
  • the selection of a new configuration may include the selection of a configuration from all of the configurations arranged according to a predetermined sequence from the first configuration.
  • the invention also provides a method of generating virtual content for an interactive platform comprising the following steps:
  • Each element can include multimedia data, such as objects
  • the generation of the virtual content can comprise the reproduction of the multimedia data, for example the display of the objects (possibly 3D) and / or the reproduction of the audio data and / or the generation of a haptic feedback in accordance with said instruction.
  • the invention also relates to a device for generating virtual content with respect to a real environment, for an interactive platform.
  • the device includes
  • - a module designed to arrange, relative to each other, different configurations associated respectively with combinations of a plurality of elements in which at least one element is available in at least two variants, so that between two adjacent configurations , only one element of the combination changes variant and so as to obtain a structured environment
  • - a module designed to select, if said predetermined event is detected, in view of a first configuration of the interactive platform and from the structured environment, a new configuration from among the arranged configurations, and
  • FIG. 2 illustrates an example of virtual content generated using a method according to the invention
  • FIG. 3 shows the main steps of a first embodiment of a method according to the invention
  • FIG. 4 illustrates in more detail a step of the first mode of implementation
  • FIG. 5 is a schematic view of an arrangement of the configurations of an interactive platform implemented by the method according to the invention.
  • FIG. 6 is a schematic representation of a use case of the invention
  • FIG. 7 shows the main steps of a second embodiment of a method according to the invention.
  • FIG. 8 illustrates an exemplary implementation for a device for generating virtual content according to the invention.
  • FIG. 1 illustrates an example of an interactive PLT platform for which the invention can, according to different modes of implementation, generate virtual content.
  • the platform in Figure 1 here takes the form of a COP cockpit of an airplane flight simulator, in front of which sits a US user, for example an airplane pilot during training.
  • the flight simulator's COP cockpit is therefore an example of a real environment facing the US user who interacts with the PLT interactive platform.
  • This US user wears a virtual, augmented or mixed reality VRHS headset comprising one or two screens configured to display video content in three dimensions.
  • the VRHS headset comprises an AHS spatial sound distribution device.
  • the VRHS virtual reality headset can be a “VIVE pro” headset, offered by the company HTC or a Playstation VR headset offered by the company Sony.
  • the display of the video content can be achieved via a telephone using a device such as the Gear VR offered by Samsung or the Google Cardboard from the company Google.
  • the PLT interactive platform also includes a first JS joystick attached to the COP cockpit and adjustable by the US user, here using his right hand.
  • a second MCT control stick is operated by the user via their left hand.
  • this second controller can be a “Vive controller” from the company HTC.
  • the two JS and MCT controllers are coupled with the VRHS virtual reality headset so that their movements are detected.
  • FIG. 2 is a virtual three-dimensional representation in which the US user is immersed. This representation is superimposed on the COP cockpit of FIG. 1, in terms of position and size in order to facilitate the immersion of the US user in the virtual environment.
  • the first JS steerable joystick is represented by a virtual version of the VRJS joystick, manipulated by a virtual right hand MD of the user.
  • the orientation given by the user on the JS steerable joystick will be reproduced on the VRJS virtual joystick.
  • the latter is symbolized by a line (not shown for the sake of clarity of the figure) crossing circles CR1, CR2, CR3 visible through the representation of the windshield of the COP cockpit.
  • the left hand MG of the pilot is also virtually represented. Its movement is based on that of the second MCT control stick. It enables or disables functions grouped within different interfaces INT1, INT2 and INT3. These functions can be organized by type, for example, such as functions that allow the piloting of the aircraft, communication via a radio channel or the management of energy resources.
  • FIG. 3 illustrates the main steps of a first embodiment of a method for generating virtual content according to the invention.
  • This virtual content is generated from combinations of a plurality of predefined elements, at least one of the elements can be declined in several variations.
  • an item can include multimedia data, such as audio data or 3D objects.
  • the variants of these elements can then correspond to the activation or not of the data for the user.
  • two variants for the audio data may correspond to the broadcasting or not of the audio content to the user.
  • two variants for the 3D objects can correspond to the display or not of these objects for the user.
  • several variations of these 3D objects can correspond to different versions of these same objects, so that the reaction or the task requested from the user of the platform is more or less difficult depending on the version of the object that is presented to him.
  • an element may correspond to instructions for haptic feedback to the user, via one of the control levers of the interactive platform.
  • the variants of these instructions can correspond to different amplitudes of the force feedback, so that the effort to be provided by the user of the platform is more or less important, depending on the variant that is chosen.
  • the haptic feedback can be performed via the user's seat or the headset if the latter are configured for it, or actuators placed on the user's hands or forearms.
  • a predefined element can represent a collection of n (n> 2) sub-elements coupled together and therefore integral in their variations, a sub-element possibly corresponding for example to 3D objects, audio data or even a haptic feedback instruction.
  • a variant of this element then corresponds to the collection of the n variants of the sub-elements considered.
  • the tasks to be performed by the user interacting with the platform can be classified into different categories. Depending on the configuration of the platform, the tasks may be more or less difficult for the user to perform.
  • the difficulty of the task involves a certain combination of variants of the elements.
  • piloting tasks communication-related tasks or tasks linked to the management of resources such as fuel.
  • the piloting task can consist in virtually orienting the aircraft, using the JS steerable joystick, in order to aim at a trajectory materialized here by circles as illustrated in FIG. 2.
  • Three levels of difficulty can be proposed for this task. of piloting: easy, medium, difficult. They are based on the speed of the plane and the number of circles visible to materialize the trajectory. The more difficult the level, the higher the speed of the plane and the lower the number of visible circles. Therefore, each level of difficulty will correspond to the broadcast of a different version of a immersive content to symbolize the different speeds and materializations of the trajectory. Alternatively, each level of difficulty can correspond to the collection of two sub-elements that are an immersive content to symbolize the different speeds and materializations of the trajectory and a haptic feedback via the control stick.
  • a first variant of this collection corresponds to immersive content simulating a slow speed associated with a low amplitude setpoint for the joystick.
  • a second variant of this collection corresponds to an immersive content simulating a moderate speed associated with a moderate amplitude setpoint.
  • a third variant of this collection corresponds to an immersive content simulating a high speed associated with a high amplitude setpoint.
  • the communication task may include receiving an audio message through the AHS headset and interacting with an interface simulating a radio on the virtual instrument panel, for example to select a certain communication frequency.
  • the frequency adjustment can be performed using the MCT control handle mentioned above.
  • Two levels of difficulty are offered here: the management of the radio as well as the broadcasting of audio messages via the headphones are activated (“difficult” level) or not (“easy” level).
  • the task of resource management may include managing the level of fuel distributed among different tanks to avoid running out of fuel. This task requires the user to virtually transfer fuel from a secondary tank to a main tank, via an interface on the dashboard. Using the MCT control handle activates the fuel transfer by selecting the correct pump (s). It is possible to decline two levels of difficulty, namely the management of resources via the interface is requested ("difficult" level) or not ("easy" level) from the user.
  • the mode of implementation of FIG. 3 includes a preliminary step E0 which takes as input TA tasks defined for the application considered, here the three aforementioned tasks.
  • the TA tasks may not be provided but identified during this preliminary step, as explained with reference to the following figure.
  • the prior step E0 can also receive as input a list of constraints CNT linked to the chaining of the various tasks TA. Examples of constraints are described in the remainder of the description.
  • the preliminary step EO considers as input all the possible configurations of the interactive platform considered.
  • This assembly forms an unstructured virtual environment ENS which does not allow a sequence of configurations of the platform in real time.
  • this unstructured environment can be developed with Unity 3D and implemented using a laptop computer equipped with an Intel® Core TM Î7-6820HK (2.7GHz) processor (CPU), a Nvidia Ge Force GTX 1070 graphics and 16GB RAM memory.
  • Another example of a development environment that can be used is Unreal Engine.
  • the preliminary step E0 makes it possible to structure this virtual environment.
  • FIG. 4 describes an implementation mode of this preliminary step E0.
  • a sub-step can provide the expression of one or more TA tasks that the user must perform, broken down according to the different levels of difficulty.
  • the sub-step E01 can provide the expression of one or more TA tasks that the user must perform, and the difficulty levels of the TA task (s) are calculated during of a sub-step E02 by a computer program implemented by a processor. For example, if we consider the piloting task, a processor can calculate the speeds associated with each level of difficulty between two predetermined limits, as well as the number of circles visible between a minimum and maximum value.
  • configuration 1 of the associated platform comprises:
  • configuration 2 includes:
  • the combinations of elements formed can be associated with CNT constraints.
  • the latter can include measurements of selected parameters, these measurements having been carried out in a preliminary step not shown here.
  • the values of the measurements constitute references.
  • each configuration of the platform can be associated with a measured reference value.
  • These references which are then stored, can relate to one or more different parameters, for example the value of the heart rate of a user in reaction to the configuration in question or a measurement reflecting the movement of his pupils.
  • These references can offer an additional point of articulation for a sequence scenario as explained in more detail below with reference to FIG. 3.
  • Figure 5 illustrates an example of the arrangement of the different configurations in the form of a state machine (or state machine) allowing the interactive platform to switch from one configuration to another, in real time.
  • each configuration is represented in the form of three digits inscribed in a node of the state machine, each digit corresponding to a task according to a level of difficulty, and therefore to an element (which may represent a collection of sub- coupled elements as defined above) in the appropriate variant.
  • the first digit represents the control task
  • the second digit represents the communication task
  • the third digit represents the resource management task.
  • the first number can take three values ⁇ 0, 1, 2 ⁇ , the task can be broken down into three levels of difficulty.
  • the second and third digit can take two values ⁇ 0, 1 ⁇ , the task can be broken down into two levels of difficulty depending on whether it is activated or not.
  • configuration 1 mentioned above is represented by the three digits ⁇ 0, 0, 0 ⁇ and configuration 2 by the three digits ⁇ 2, 0, 1 ⁇ .
  • a single element of the associated combination changes variant, implying a change in the overall level of difficulty of the task.
  • the change is limited to the variant immediately below or above, that is to say an increment or a decrement of one unit of the digits representing the level of difficulty of the task according to the representation adopted here.
  • This arrangement according to the invention offers the possibility of defining real-time sequences of the configurations of the platform. The decomposition of each combination using a plurality of simple elements makes the process uncomplicated to implement.
  • being able to combine the elements with one another according to the proposed scheme makes it possible to submit the user, thanks to the virtual content generated, to an interaction of elements according to a pre-established scenario.
  • the structured environment ES is provided as an input to a step E1 with a view to selecting an initial configuration for the platform.
  • the selection is made from among the set of configured configurations of this ES structured environment, as illustrated in Figure 5.
  • the selection of the initial configuration can be predetermined from an SCE configuration chaining scenario.
  • the initial configuration can correspond to the combination of tasks ⁇ 0, 0, 0 ⁇ where each task is initialized at its lowest level of difficulty.
  • constraints and / or previously measured parameters CNT can be considered.
  • the measured parameters can be representative of the user's initial mental state.
  • fNIR near infrared spectroscopic imaging
  • EMG electromyography
  • ECG electrocardiogram
  • PPG photoplethysmogram
  • Those skilled in the art will know how to choose the sensors suitable for carrying out these various measurements.
  • behavioral measures such as reaction time, quantity and amplitude of movements and performance measures in carrying out tasks can be measured in order to determine the user's initial state and choose a configuration. adequate initial. So as an example, if the Heart activity measurement reveals an elevated heart rate, the initial setup selected will include low difficulty levels to start the process.
  • a constraint that can influence the selection of the configuration of the first configuration could be a speed threshold so as to simulate a take-off at the start of the process. The virtual content adapted to this initial configuration is then generated.
  • the interactive platform keeps each configuration for a duration At (for example 90 seconds), this duration being able to be defined by the SCE scenario.
  • a new configuration of the platform is selected during a step E2. Iteratively, the selection of a new configuration is carried out at each expiration of the duration At, from the structured environment ES, as long as the sequence of configurations provided for by the SCE scenario has not been completed. By successive passages to step E2, a tour of the arrangement of the configurations is thus carried out by the interactive platform PLT.
  • An example of a sequence of configurations of the SCE scenario could be, after the initial configuration ⁇ 0, 0, 0 ⁇ : ⁇ 1, 0, 0 ⁇ - ⁇ 1, 1, 0 ⁇ - ⁇ 1, 1, 1 ⁇ - ⁇ 2, 1, 1 ⁇ .
  • the difficulty of the piloting task increases progressively while the communication then resource management tasks are successively activated.
  • Another example of a sequence of configurations of the SCE scenario could be, after the initial configuration ⁇ 0, 0, 0 ⁇ : ⁇ 0, 1, 0 ⁇ - ⁇ 0, 1, 1 ⁇ - ⁇ 0, 0, 1 ⁇ - ⁇ 1, 0, 1 ⁇ - ⁇ 2, 0, 1 ⁇ - ⁇ 2, 1, 1 ⁇ .
  • This sequence allows the user to have access to an overview of the different tasks and their different variants, with minimal piloting difficulty initially.
  • an example of a SCE scenario could include a gradual evolution of the difficulty with as an additional constraint, that the corresponding combination is associated with a value of reference heart rate, fcref, less than or equal to 120bpm.
  • the scenario would impose the configuration whose combination is associated with the reference value satisfying this additional constraint.
  • an adapted virtual content is generated, from the variants of the elements associated with each of the configurations.
  • the method may include, in one implementation mode, a step E200 during which various physiological measurements are performed on the user.
  • the measures can be chosen from the list proposed above, this list not being exhaustive.
  • User performance throughout the process can also be measured using metrics returned by the interactive platform. These indicators can be, for example, the reaction time of the user to accomplish a task or the distance of the path followed from the requested path.
  • the performance indicators can be supplemented by a self-assessment of the user, which he can enter through the virtual interface of the interactive platform.
  • This monitoring may include evaluating the level of the user's mental load for all configurations or, for certain configurations only, then be inferred for other configurations from the values obtained for said certain configurations.
  • a value (in parentheses) representing the user's mental load level is obtained here for each of the configurations, for example using a subjective assessment reported by the user.
  • the value can change between 1 (minimum mental load level) and 5 (maximum mental load level).
  • Steps E0 and E1 are similar to those described with reference to FIG. 3.
  • This other embodiment includes a new step E11 for the measurement.
  • different physiological parameters and / or performance indicators The acquisition of these MES measurements is triggered by the detection of a predetermined event, here the expiration of the duration At.
  • the triggering event could be the triggering of a button, or the performance of an action. for example.
  • the MES measured values are then compared with a reference value REF during a step E12. Depending on the result of the comparison, a new configuration is selected.
  • the new configuration will be chosen so that the level of difficulty of the piloting task is reduced compared to the configuration in progress.
  • the level of difficulty obtained is then transmitted to step E2 so that the new configuration is determined, as described with reference to FIG. 3.
  • the selection of the new configuration can also be constrained by an SCE scenario and / or CNT constraints.
  • the acquisition of the E11 measurements is repeated at each expiration of the duration At, to calculate the levels of difficulty of the tasks associated with the new configuration, as long as the process has not been completed.
  • the method according to this other embodiment can include step E200 during which the user's mental state is evaluated.
  • the MES measurements acquired during step E11 can be used for carrying out this step E200.
  • FIG. 8 which illustrates a particular way, among several possible, of producing a DIS device configured to implement an implementation mode of the method according to the invention.
  • the device DIS comprises a random access memory (for example a RAM memory), an mR processing unit equipped for example with a processor, and controlled by a computer program stored in a read only memory (for example a ROM memory or a disk hard).
  • a computer program stored in a read only memory (for example a ROM memory or a disk hard).
  • the code instructions of the computer program are for example loaded into the random access memory RAM before being executed by the processor mR.
  • the computer program executed by the processor may include instructions for implementing an embodiment of a method for generating virtual content, as described above.
  • FIG. 8 illustrates only one particular way, among several possible, of making the DIS device so that it performs certain steps of the method according to the invention. Indeed, these steps can be carried out either on a reprogrammable computing machine (a PC computer, a DSP processor or a microcontroller) executing a program comprising a sequence of instructions, or on a dedicated computing machine (for example a set of logic gates such as an FPGA or ASIC, or any other hardware module).
  • the corresponding program (that is to say the sequence of instructions) may be stored in a storage medium which may or may not be removable, this storage medium being readable. partially or totally by a computer or processor.
  • a computer program comprising program code instructions for the execution of the steps of an embodiment of a method for generating a virtual content as described above, can be recorded. on a computer readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un procédé de génération d'un contenu virtuel par rapport à un environnement réel, pour une plateforme interactive, comprend une étape préalable (EO) d'agencement de différentes configurations les unes par rapport aux autres de façon à obtenir un environnement structuré (ES), les différentes configurations étant respectivement associées à des combinaisons d'une pluralité d'éléments dans lesquelles au moins un élément est décliné en au moins deux variantes, l'agencement étant tel qu'entre deux configurations adjacentes, un seul élément de la combinaison change de variante. Ce procédé comprend en outre les étapes suivantes • détection d'un évènement prédéterminé, • suite à la détection dudit évènement prédéterminé, sélection (E2), au vu d'une première configuration de la plateforme interactive et à partir de l'environnement structuré (ES), d'une nouvelle configuration parmi un ensemble de configurations agencées au cours d'une étape préalable, et • génération du contenu virtuel conformément à la nouvelle configuration.

Description

PROCÉDÉ DE GÉNÉRATION D'UN CONTENU VIRTUEL POUR UNE PLATEFORME INTERACTIVE, ET DISPOSITIF CORRESPONDANT
Domaine technique de l'invention
La présente invention concerne le domaine technique de la réalité virtuelle, augmentée ou mixte via une plateforme interactive.
Elle concerne en particulier la génération d’un contenu virtuel par rapport à un environnement réel, pour une plateforme interactive.
Etat de la technique
L’article « Dynamic scénario adaptation balancing control, cohérence and emergence », de Camille Barot, Dominique Lenne, Domitile Lourdeaux, Fev. 2013, décrit l’élaboration d’un scénario pour une plateforme de réalité virtuelle choisie. Le scénario permet de faire varier ce contenu virtuel mis en oeuvre par la plateforme. Un scénario selon cet article, est basé sur différentes actions que l’utilisateur doit réaliser l’une après l’autre. En fonction de la réaction de l’utilisateur, une nouvelle action à réaliser est sélectionnée d’après le scénario mis en place. Les actions proposées s’enchaînent donc une à une, de façon dynamique et cohérente. Toutefois, la solution proposée dans cet article est totalement dépendante de l’action de l’utilisateur quant à l’exécution du scénario, les actions devant rester simples pour que le scénario puisse être exécuté.
Présentation de l'invention
Dans ce contexte, la présente invention propose un procédé de génération d’un contenu virtuel par rapport à un environnement réel, pour une plateforme interactive.
Le procédé comprend une étape préalable d’agencement de différentes configurations les unes par rapport aux autres de façon à obtenir un environnement structuré, les différentes configurations étant respectivement associées à des combinaisons d’une pluralité d’éléments dans lesquelles au moins un élément est décliné en au moins deux variantes, l’agencement étant tel qu’entre deux configurations adjacentes, un seul élément de la combinaison change de variante.
Le procédé comprend en outre les étapes suivantes :
- détection d’un évènement prédéterminé, - suite à la détection dudit évènement prédéterminé, sélection, au vu d’une première configuration de la plateforme interactive et à partir de l’environnement structuré, d’une nouvelle configuration parmi les configurations agencées au cours de l’étape préalable, et
- génération du contenu virtuel conformément à la nouvelle configuration.
L’invention, de par l’agencement proposé, offre la possibilité de définir une machine à états permettant des enchaînements en temps réel, des configurations de la plateforme interactive. Le fait que chaque combinaison soit constituée d’une pluralité d’éléments simples fait que le processus est peu complexe à mettre en œuvre. Par ailleurs, pouvoir combiner les éléments entre eux comme proposé par l’invention, permet de soumettre l’utilisateur à un contenu virtuel immersif qui est représentatif d’une interaction entre plusieurs éléments selon un scénario choisi.
D’autres caractéristiques non limitatives et avantageuses du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes.
Dans un mode de mise en œuvre, un élément peut comprendre des données multimédia pour ladite plateforme interactive.
Dans un autre mode de mise en œuvre, au moins un élément peut être décliné selon deux états, à savoir activé ou non pour un utilisateur interagissant avec ladite plateforme interactive.
Dans un autre mode de mise en œuvre, au moins un élément peut être décliné selon au moins deux niveaux de difficulté au regard de la réaction demandée à l’utilisateur via la plateforme interactive.
Dans un autre mode de mise en œuvre, le procédé peut comprendre en outre une sélection de la première configuration parmi les configurations agencées au cours de l’étape préalable.
Dans un autre mode de mise en œuvre, le procédé peut comprendre en outre une mesure d’une ou plusieurs valeurs d’au moins un paramètre représentatif d’un état de l’utilisateur, et dans lequel la sélection d’une configuration est fonction d’au moins une valeur mesurée.
Dans un autre mode de mise en œuvre, le procédé comprend en outre une étape d’association des configurations. Cette étape d’association peut comprendre les étapes suivantes : - obtention d’au moins deux éléments,
- obtention d’au moins deux variantes pour les éléments obtenus,
- association d’une configuration de la plateforme interactive à une combinaison des éléments obtenus, chaque élément étant considéré dans l’une des variantes obtenues.
Dans un autre mode de mise en oeuvre, la sélection d’une nouvelle configuration peut comprendre la sélection d’une configuration prédéterminée parmi l’ensemble des configurations agencées.
Dans un autre mode de mise en oeuvre, la sélection d’une nouvelle configuration peut comprendre une détermination d’une variante souhaitée pour au moins un élément et une sélection d’une configuration associée à la variante déterminée pour ledit élément.
Dans un autre mode de mise en oeuvre, la sélection d’une nouvelle configuration peut comprendre la sélection d’une configuration adjacente à la première configuration dans l’ensemble des configurations agencées.
Dans un autre mode de mise en oeuvre, la sélection d’une nouvelle configuration peut comprendre la sélection d’une configuration dans l’ensemble des configurations agencées selon un enchaînement prédéterminé depuis la première configuration.
L’invention propose également un procédé de génération d’un contenu virtuel pour une plateforme interactive comprenant les étapes suivantes :
- construction (préalable) d’un agencement de différentes configurations de telle sorte que, les différentes configurations étant respectivement associées à des combinaisons d’une pluralité d’éléments dans lesquelles au moins un élément est décliné en au moins deux variantes, un seul élément de la combinaison change de variante entre deux configurations adjacentes,
- détection d’un évènement prédéterminé,
- suite à la détection dudit évènement prédéterminé, sélection d’une nouvelle configuration par parcours de l’agencement,
- génération du contenu virtuel conformément à la nouvelle configuration.
Chaque élément peut comprendre des données multimedia, telles que des objets
(à afficher), par exemple des objets 3D, et/ou des données audio et/ou une consigne de retour haptique. La génération du contenu virtuel peut comprendre la reproduction des données multimedia, par exemple l’affichage des objets (éventuellement 3D) et/ou la reproduction des données audio et/ou la génération d’un retour haptique conforme à ladite consigne.
L’invention concerne encore un dispositif de génération d’un contenu virtuel par rapport à un environnement réel, pour une plateforme interactive. Le dispositif comprend
- un module conçu pour agencer, les unes par rapport aux autres, différentes configurations associées respectivement à des combinaisons d’une pluralité d’éléments dans lesquelles au moins un élément est décliné en au moins deux variantes, de façon qu’entre deux configurations adjacentes, un seul élément de la combinaison change de variante et de manière à obtenir un environnement structuré,
- un module conçu pour détecter un évènement prédéterminé,
- un module conçu pour sélectionner, si ledit évènement prédéterminé est détecté, au vu d’une première configuration de la plateforme interactive et à partir de l’environnement structuré, une nouvelle configuration parmi les configurations agencées, et
- un module conçu pour générer le contenu virtuel conformément à la nouvelle configuration.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
Description détaillée de l'invention
De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où :
- la figure 1 illustre un exemple d’utilisation de l’invention ;
- la figure 2 illustre un exemple de contenu virtuel généré à l’aide d’un procédé selon l’invention ;
- la figure 3 présente les étapes principales d’un premier mode de mise en oeuvre d’un procédé selon l’invention ;
- la figure 4 illustre plus en détail une étape du premier mode de mise en oeuvre ;
- la figure 5 est une vue schématisée d’un agencement des configurations d’une plateforme interactive mis en oeuvre par le procédé selon l’invention ;
- la figure 6 est une représentation schématisée d’un cas d’usage de l’invention ; - la figure 7 présente les étapes principales d’un deuxième mode de mise en œuvre d’un procédé selon l’invention ; et
- la figure 8 illustre un exemple d’implémentation pour un dispositif de génération d’un contenu virtuel selon l’invention.
Il est à noter que, sur ces figures, les éléments structurels et/ou fonctionnels communs aux différentes variantes peuvent présenter les mêmes références.
La figure 1 illustre un exemple de plateforme interactive PLT pour laquelle l’invention peut, selon différents modes de mise en œuvre, générer un contenu virtuel. La plateforme de la figure 1 prend ici la forme d’un cockpit COP d’un simulateur du vol d’un avion, devant lequel est assis un utilisateur US, par exemple un pilote d’avion dans le cadre d’une formation. Le cockpit COP du simulateur de vol est donc un exemple d’environnement réel face auquel est positionné l’utilisateur US qui interagit avec la plateforme interactive PLT. Cet utilisateur US porte un casque de réalité virtuelle, augmentée ou mixte VRHS comprenant un ou deux écrans configurés pour afficher un contenu vidéo en trois dimensions. Dans cet exemple le casque VRHS comporte un appareil de diffusion de son spatialisé AHS. Le casque de réalité virtuelle VRHS peut être un casque « VIVE pro », proposé par la société HTC ou encore un casque Playstation VR proposé par la société Sony. En variante, l’affichage du contenu vidéo peut être réalisé via un téléphone en utilisant un dispositif tel que le Gear VR proposé par Samsung ou encore le Google Cardboard de la société Google.
La plateforme interactive PLT comprend également une première manette JS solidaire du cockpit COP et orientable par l’utilisateur US, ici à l’aide de sa main droite. Une deuxième manette de contrôle MCT est manipulée par l’utilisateur via sa main gauche. Par exemple, cette deuxième manette peut être une manette « Vive controller » de la société HTC. Les deux manettes JS et MCT sont couplées avec le casque de réalité virtuelle VRHS de façon que leurs mouvements soient détectés.
Une plateforme interactive est caractérisée par une configuration, ici parmi une pluralité de configurations possibles. Chaque configuration est associée à un contenu virtuel qui lui est propre, ce contenu virtuel étant basé sur des éléments tels que décrits ci-après en référence à la figure 3. Autrement dit, pour deux configurations différentes, la plateforme interactive ne diffuse pas le même contenu virtuel immersif. Des exemples de configuration sont décrits ci-après. La figure 2 est une représentation virtuelle en trois dimensions dans laquelle est plongé l’utilisateur US. Cette représentation se superpose au cockpit COP de la figure 1 , en termes de position et de taille afin de faciliter l’immersion de l’utilisateur US dans l’environnement virtuel. La première manette orientable JS est représentée par une version virtuelle de la manette VRJS, manipulée par une main droite MD virtuelle de l’utilisateur. L’orientation donnée par l’utilisateur sur la manette orientable JS sera reproduite sur la manette virtuelle VRJS. Celle-ci permet ici d’agir sur l’orientation de l’avion simulé, afin de le faire suivre une trajectoire. Cette dernière est symbolisée par une ligne (non représentée à des fins de clarté de la figure) traversant des cercles CR1 , CR2, CR3 visibles à travers la représentation du pare-brise du cockpit COP.
La main gauche MG du pilote est également virtuellement représentée. Son mouvement est basé sur celui de la deuxième manette de contrôle MCT. Elle permet d’activer ou de désactiver des fonctions regroupées au sein de différentes interfaces INT1 , INT2 et INT3. Ces fonctions peuvent être par exemple organisées par type tel que les fonctions qui permettent le pilotage de l’avion, la communication via un canal radio ou encore la gestion des ressources en énergie.
Les deux figures précédentes sont proposées à titre d’illustration afin de faciliter la compréhension de l’invention. Elles ne sont nullement limitatives quant à la plateforme interactive utilisée ou à l’application visée. On peut imaginer par exemple une plateforme interactive simulant une chaîne de montage dans le but de former un technicien ou encore une plateforme de jeux interactifs.
On se réfère à présent à la figure 3 qui illustre les principales étapes d’un premier mode de mise en oeuvre d’un procédé de génération d’un contenu virtuel selon l’invention. Ce contenu virtuel est généré à partir de combinaisons d’une pluralité d’éléments prédéfinis, au moins l’un des éléments pouvant être décliné selon plusieurs variantes.
Par exemple, un élément peut comprendre des données multimédia, telles que des données audio ou des objets 3D. Les variantes de ces éléments peuvent alors correspondre à l’activation ou non des données pour l’utilisateur. Ainsi deux variantes pour les données audio peuvent correspondre à la diffusion ou non du contenu audio à l’utilisateur. De même, deux variantes pour les objets 3D peuvent correspondre à l’affichage ou non de ces objets pour l’utilisateur. Ou encore, plusieurs variantes de ces objets 3D peuvent correspondre à différentes versions de ces mêmes objets, de façon que la réaction ou la tâche demandée à l’utilisateur de la plateforme soit plus ou moins difficile selon la version de l’objet qui est lui est présentée.
Selon un autre exemple, un élément peut correspondre à des consignes pour un retour haptique à l’utilisateur, via l’une des manettes de contrôle de la plateforme interactive. Les variantes de ces consignes peuvent correspondre à différentes amplitudes du retour de force, de façon que l’effort à fournir par l’utilisateur de la plateforme soit plus ou moins important, selon la variante qui est choisie. En variante, le retour haptique peut être effectué via le siège de l’utilisateur ou son le casque si ces derniers sont configurés pour cela, ou encore des actionneurs disposés sur les mains ou les avant-bras de l’utilisateur.
Selon un autre exemple, un élément prédéfini peut représenter une collection de n (n>2) sous-éléments couplés entre eux et donc solidaires dans leurs variations, un sous- élément pouvant correspondre par exemple à des objets 3D, des données audio ou encore une consigne de retour haptique. Une variante de cet élément correspond alors la collection des n variantes des sous-éléments considérés.
Les éléments proposés ici ainsi que les variantes déclinées ne sont que des exemples. L’homme de l’art saura proposer d’autres éléments et leurs variantes en fonction de l’application visée.
Dans l’exemple décrit ici, les tâches à accomplir par l’utilisateur interagissant avec la plateforme peuvent être classés selon différentes catégories. Selon la configuration de la plateforme, les tâches peuvent être plus ou moins difficiles à réaliser pour l’utilisateur. La difficulté de la tâche implique une certaine combinaison des variantes des éléments.
Sont proposées ici trois catégories de tâches : les tâches de pilotage, les tâches liées à la communication ou encore les tâches liées à la gestion des ressources comme le carburant.
La tâche de pilotage peut consister à orienter virtuellement l’avion, à l’aide de la manette orientable JS, afin de viser une trajectoire matérialisée ici par des cercles comme illustré sur la figure 2. Trois niveaux de difficulté peuvent être proposés pour cette tâche de pilotage : facile, medium, difficile. Ils sont basés sur la vitesse de l’avion et le nombre de cercles visibles pour matérialiser la trajectoire. Plus le niveau est difficile, plus la vitesse de l’avion est élevée et plus le nombre de cercles visibles est réduit. De ce fait, chaque niveau de difficulté va correspondre à la diffusion d’une version différente d’un contenu immersif pour symboliser les différentes vitesses et matérialisations de la trajectoire. Alternativement chaque niveau de difficulté peut correspondre à la collection de deux sous-éléments que sont un contenu immersif pour symboliser les différentes vitesses et matérialisations de la trajectoire et un retour haptique via la manette de contrôle. Une première variante de cette collection correspond à un contenu immersif simulant une vitesse lente associée à une consigne de faible amplitude pour la manette. Une deuxième variante de cette collection correspond à un contenu immersif simulant une vitesse modérée associée à une consigne d’amplitude modéré. Une troisième variante de cette collection correspond à un contenu immersif simulant une vitesse élevée associée à une consigne de forte amplitude.
La tâche de communication peut comprendre la réception de message audio via le casque audio AHS et l’interaction avec une interface simulant une radio sur le tableau de bord virtuel, par exemple pour sélectionner une certaine fréquence de communication. L’ajustement de la fréquence peut être réalisé à l’aide de la manette de contrôle MCT mentionnée ci-avant. Deux niveaux de difficulté sont ici proposés : la gestion de la radio ainsi que la diffusion des messages audio via le casque audio sont activés (niveau « difficile ») ou non (niveau « facile »).
La tâche de gestion des ressources peut comporter la gestion du niveau du carburant répartis entre différents réservoirs afin d’éviter une panne sèche. L’utilisateur doit pour réaliser cette tâche, transférer virtuellement le carburant d’un réservoir secondaire vers un réservoir principal, via une interface sur le tableau de bord. L’utilisation de la manette de contrôle MCT permet d’activer le transfert du carburant en sélectionnant la ou les pompes adéquates. Il est possible de décliner deux niveaux de difficulté, à savoir la gestion des ressources via l’interface est demandée (niveau « difficile ») ou non (niveau « facile ») à l’utilisateur.
Le mode de mise en œuvre de la figure 3 comprend une étape préalable E0 qui prend en entrée des tâches TA définies pour l’application considérée, ici les trois tâches précitées. En variante, les tâches TA peuvent ne pas être fournies mais identifiées au cours de cette étape préalable, comme expliqué en référence à la figure suivante.
L’étape préalable E0 peut également recevoir en entrée une liste de contraintes CNT liées à l’enchaînement des différentes tâches TA. Des exemples de contraintes sont décrits dans la suite de la description. Enfin l’étape préalable EO considère en entrée l’ensemble des configurations possibles de la plateforme interactive considérée. Cet ensemble forme un environnement virtuel non structuré ENS ne permettant pas un enchaînement des configurations de la plateforme en temps réel. Par exemple, cet environnement non structuré peut être développé avec Unity 3D et mis en œuvre à l’aide d’un ordinateur portable équipé d’un processeur (CPU) Intel® Core™ Î7-6820HK (2.7GHz), d’une carte graphique Nvidia Ge Force GTX 1070 et d’une mémoire de type RAM de 16Go. Un autre exemple d’environnement de développement pouvant être utilisé est Unreal Engine. L’étape préalable E0 permet de structurer cet environnement virtuel.
La figure 4 décrit un mode de mise en œuvre de cette étape préalable E0.
Dans une première alternative (non représentée), une sous-étape peut fournir l’expression d’une ou plusieurs tâches TA que l’utilisateur doit effectuer, déclinées selon les différents niveaux de difficultés.
Dans une deuxième alternative, illustrée sur la figure 4, la sous-étape E01 peut fournir l’expression d’une ou plusieurs tâches TA que l’utilisateur doit effectuer, et les niveaux de difficulté de la ou des tâches TA sont calculés au cours d’une sous-étape E02 par un programme d’ordinateur mis en œuvre par un processeur. Par exemple, si l’on considère la tâche de pilotage, un processeur peut calculer les vitesses associées à chaque niveau de difficulté entre deux bornes prédéterminées, ainsi que le nombre de cercles visibles entre une valeur minimale et maximale.
Les tâches selon leurs différents niveaux de difficulté sont associées aux combinaisons d’éléments adéquates au cours d’une sous-étape E03.
Un exemple d’une première tâche est {pilotage niveau facile, communication non activée, gestion des ressources non activée}. Dans ce cas, la configuration (dénommée ci-après configuration 1 ) de la plateforme associée comprend :
- la diffusion de la version d’un contenu immersif correspondant à un pilotage facile (vitesse lente et nombreux cercles de trajectoires) via le casque de réalité virtuelle, mixte ou augmentée,
- la désactivation de la diffusion des messages audio pour ne pas avoir à gérer la communication, - et la désactivation de l’interface virtuelle sur le tableau de bord du cockpit permettant de gérer les ressources (elle apparaît comme étant éteinte) pour ne pas avoir à les gérer.
Les trois variantes d’éléments combinés correspondant à cette configuration 1 sont alors :
- la version du contenu immersif correspondant au pilotage facile,
- les messages audio désactivés, et
- la représentation virtuelle en 3D du cockpit ayant l’interface virtuelle de gestion des ressources éteinte.
Un autre exemple d’une deuxième combinaison est {pilotage niveau difficile, communication non activée, gestion des ressources activée}. Dans ce cas, la configuration de la plateforme (dénommée ci-après configuration 2) associée comprend :
- la diffusion du contenu immersif correspondant à un pilotage difficile (vitesse rapide et peu de cercles de trajectoires) via le casque de réalité augmentée,
- la désactivation de la diffusion des messages audio, et
- l’activation de l’interface virtuelle sur le tableau de bord du cockpit permettant de gérer les ressources (elle apparaît comme étant allumée) et l’activation de la manette de contrôle.
Les variantes d’éléments combinés associées à la configuration 2 sont alors :
- la version du contenu immersif correspondant au pilotage difficile,
- les messages audio désactivés, et
- la représentation virtuelle en 3D du cockpit ayant l’interface virtuelle de gestion des ressources allumée.
Dans un mode de mise en œuvre, les combinaisons d’éléments formées peuvent être associées à des contraintes CNT. Ces dernières peuvent comprendre des mesures de paramètres choisis, ces mesures ayant été réalisées dans une étape préliminaire non représentée ici. Dans ce cas, les valeurs des mesures constituent des références. Ainsi, selon ce mode de mise en œuvre, outre la combinaison des éléments, chaque configuration de la plateforme peut être associée à une valeur de référence mesurée. Ces références qui sont alors mémorisées, peuvent porter sur un ou plusieurs paramètres différents, par exemple la valeur du rythme cardiaque d’un utilisateur en réaction à la configuration en question ou encore une mesure traduisant le mouvement de ses pupilles. Ces références peuvent offrir un point d’articulation supplémentaire pour un scénario d’enchaînement comme expliqué plus en détail ci-après en référence à la figure 3.
Puis au cours d’une sous-étape E04, les configurations associées aux combinaisons d’éléments sont agencées de façon à obtenir un environnement structuré ES, exploitable par la plateforme interactive. Un exemple de cet agencement est représenté sur la figure suivante.
La figure 5 illustre un exemple d’agencement des différentes configurations sous forme d’une machine à états (ou automate fini) permettant à la plateforme interactive de basculer d’une configuration à une autre, en temps réel.
Dans le format choisi ici, chaque configuration est représentée sous forme de trois chiffres inscrits dans un nœud de la machine à états, chaque chiffre correspondant à une tâche selon un niveau de difficulté, et donc à un élément (pouvant représenter une collection de sous-éléments couplés tels que définis ci-avant) dans la variante appropriée. Le premier chiffre représente la tâche de pilotage, le deuxième chiffre, la tâche de communication et le troisième chiffre la tâche de gestion des ressources. Le premier chiffre peut prendre trois valeurs {0, 1 , 2}, la tâche pouvant se décliner en trois niveaux de difficultés. Les deuxième et troisième chiffre peut prendre deux valeurs {0, 1}, la tâche pouvant se décliner en deux niveaux de difficultés selon qu’elle soit activée ou non. Ainsi la configuration 1 mentionnée ci-avant est représentée par les trois chiffres {0, 0, 0} et la configuration 2 par les trois chiffres {2, 0, 1}. Comme illustré sur la figure 5, entre deux configurations adjacentes, un seul élément de la combinaison associée change de variante, impliquant un changement du niveau de difficulté global de la tâche. Dans cet exemple, le changement est limité à la variante immédiatement inférieure ou supérieure, c’est-à-dire à un incrément ou un décrément d’une unité des chiffres représentant le niveau de difficulté de la tâche selon la représentation adoptée ici. L’homme du métier saura adapter l’incrément de la variante de l’élément, selon l’usage visé. Cet agencement selon l’invention offre la possibilité de définir des enchaînements en temps réel des configurations de la plateforme. La décomposition de chaque combinaison à l’aide d’une pluralité d’éléments simples fait que le processus est peu complexe à mettre en œuvre.
Par ailleurs, pouvoir combiner les éléments entre eux selon le schéma proposé, permet de soumettre l’utilisateur, grâce au contenu virtuel généré, à une interaction d’éléments selon un scénario préétabli. Comme détaillé ci-après, il est alors possible de mesurer à l’aide de capteurs, l’impact de ce phénomène d’interaction sur l’état cognitif de l’utilisateur, ou encore de concevoir des jeux interactifs plus riches grâce à des scénarios complexes et maîtrisés.
Enfin, la déclinaison des éléments sous forme de variantes et de les agencer selon l’invention, permet de contrôler finement leur évolution qui peut être graduelle ou alors soudaine si les nœuds enchaînés ne sont pas adjacents.
Le format choisi pour la machine à états est un exemple parmi d’autres et ne doit pas constituer une quelconque limitation de l’invention.
On se réfère à nouveau à la figure 3. A l’issue de l’étape E0, l’environnement structuré ES est fourni en entrée d’une étape E1 en vue d’une sélection d’une configuration initiale pour la plateforme. La sélection est effectuée parmi l’ensemble des configurations agencées de cet environnement structuré ES, comme illustré sur la figure 5. La sélection de la configuration initiale peut être prédéterminée à partir d’un scénario SCE d’enchaînement des configurations. Par exemple, la configuration initiale peut correspondre à la combinaison de tâches {0, 0, 0} où chaque tâche est initialisée à son niveau de difficulté le plus bas. Alternativement ou en complément, des contraintes et/ou des paramètres préalablement mesurés CNT peuvent être considérés. Par exemple les paramètres mesurés peuvent être représentatifs de l’état mental initial de l’utilisateur. Ces mesures physiologiques peuvent comprendre :
- l’encéphalogramme (EEG) de l’utilisateur,
- l’imagerie spectroscopique proche infrarouge fonctionnelle (fNIR),
- la mesure de la taille, la position et les mouvements de sa pupille,
- l’électro-oculographie (EOG) de l’utilisateur,
- l’activité musculaire de l’utilisateur via électromyographie (EMG),
- la mesure de son activité cardiaque via un electrocardiogramme (ECG) et/ou un photoplethysmogramme (PPG), ou encore
- la mesure de son activité électrodermale (EDA).
L’homme du métier saura choisir les capteurs adaptés pour effectuer ces différentes mesures. De même, des mesures dites comportementales telles que le temps de réaction, la quantité et l’amplitude des mouvements et des mesures de performances dans la réalisation des tâches pourront être mesurées afin de déterminer l’état initial de l’utilisateur et choisir une configuration initiale adéquate. Ainsi à titre d’exemple, si la mesure de l’activité cardiaque révèle une fréquence cardiaque élevée, la configuration initiale sélectionnée comprendra des niveaux de difficulté faible pour démarrer le processus. Par ailleurs une contrainte pouvant influencer la sélection de la configuration de la première configuration pourrait être un seuil de vitesse de façon à simuler un décollage au début du processus. Le contenu virtuel adapté à cette configuration initiale est alors généré.
Dans ce mode de mise en œuvre, il est considéré que la plateforme interactive conserve chaque configuration pendant une durée At (par exemple 90 secondes), cette durée pouvant être définie par le scénario SCE. Lorsque l’on détecte que le temps At est écoulé, une nouvelle configuration de la plateforme est sélectionnée lors d’une étape E2. De façon itérative, la sélection d’une nouvelle configuration est réalisée à chaque expiration de la durée At, à partir de l’environnement structuré ES, tant que l’enchaînement des configurations prévu par le scénario SCE n’est pas achevé. Par les passages successifs à l’étape E2, un parcours de l’agencement des configurations est ainsi réalisé par la plateforme interactive PLT. Un exemple d’enchaînement de configurations du scénario SCE pourrait être, après la configuration initiale {0, 0, 0} : {1 , 0, 0} - {1 , 1 , 0} - {1 , 1 , 1 } - {2, 1 , 1 }. Dans cet exemple, la difficulté de la tâche de pilotage (premier chiffre) augmente progressivement tandis que les tâches de communication puis de gestion des ressources sont successivement activées. Un autre exemple d’enchaînement de configurations du scénario SCE pourrait être, après la configuration initiale {0, 0, 0} : {0, 1 , 0} - {0, 1 , 1} - {0, 0, 1} - {1 , 0, 1} - {2, 0, 1} - {2, 1 , 1}. Cet enchaînement permet à l’utilisateur d’avoir accès à une vision d’ensemble des différentes tâches et de leurs différentes variantes, avec au commencement une difficulté de pilotage minimale.
Dans le mode de mise en œuvre où chaque configuration est associée à une valeur de référence d’un paramètre, un exemple de scénario SCE pourrait comprendre une évolution graduelle de la difficulté avec comme contrainte supplémentaire, que la combinaison correspondante soit associée à une valeur de fréquence cardiaque de référence, fcref, inférieure ou égale à 120bpm. Ainsi entre deux configurations possibles, le scénario imposerait la configuration dont la combinaison est associée à la valeur de référence satisfaisant cette contrainte supplémentaire. Dans ce cas, un exemple d’enchaînement pourrait alors être après la configuration initiale {0, 0, 0} : {1 , 0, 0 - fcref=110bpm} - {0, 1 , 1 - fcref=110bpm } - {1 , 1 , 1 - fcref=120bpm } - {2, 1 , 1 - fcref=100bpm}.
Pour chaque nouvelle configuration sélectionnée, un contenu virtuel adapté est généré, à partir des variantes des éléments associées à chacune des configurations.
Lorsque la plateforme interactive est passée par l’ensemble des configurations prévues par le scénario SCE, le processus s’achève, étape E3.
Parallèlement à la sélection des différentes configurations de la plateforme, le procédé peut comprendre dans un mode de mise en œuvre, une étape E200 au cours de laquelle différentes mesures physiologiques sont effectuées sur l’utilisateur. Les mesures peuvent être choisies parmi la liste proposée ci-dessus, cette liste n’étant pas limitative. Les performances de l’utilisateur tout au long du processus peuvent également être mesurées à l’aide des indicateurs renvoyés par la plateforme interactive. Ces indicateurs peuvent être par exemple le temps de réaction de l’utilisateur pour accomplir une tâche ou encore l’écartement de la trajectoire suivie par rapport à la trajectoire demandée. Enfin, les indicateurs de performance peuvent être complétés par une auto évaluation de l’utilisateur qu’il peut saisir à travers l’interface virtuelle de la plateforme interactive.
Selon un exemple d’utilisation de l’invention, il est possible de suivre l’évolution de l’état cognitif de l’utilisateur tout au long du processus, pour chaque configuration de la plateforme. Ce suivi peut comprendre l’évaluation du niveau de la charge mentale de l’utilisateur pour l’ensemble des configurations ou, pour certaines configurations seulement, puis être inféré pour les autres configurations à partir des valeurs obtenues pour lesdites certaines configurations.
Comme illustré sur la figure 6, une valeur (entre parenthèses) représentant le niveau de charge mentale de l’utilisateur est obtenue ici pour chacune des configurations, par exemple à l’aide d’une évaluation subjective reportée par l’utilisateur. La valeur peut évoluer entre 1 (niveau de charge mentale minimal) et 5 (niveau de charge mentale maximal).
On se réfère à présent à la figure 7 qui représente un autre mode de mise en œuvre de l’invention. Les étapes E0 et E1 sont similaires à celles décrites en référence à la figure 3. Cet autre mode de réalisation inclut une nouvelle étape E11 pour la mesure de différents paramètres physiologiques et/ou indicateurs de performances. L’acquisition de ces mesures MES est déclenchée par la détection d’un évènement prédéterminé, ici l’écoulement de la durée At. En variante, l’évènement déclencheur pourrait être le déclenchement d’un bouton, ou la réalisation d’une action par exemple. Les valeurs mesurées MES sont alors comparées à une valeur de référence REF lors d’une étape E12. En fonction du résultat de la comparaison, une nouvelle configuration est sélectionnée. Par exemple si la valeur de l’indicateur témoignant de la précision du suivi de la trajectoire est inférieure à la valeur de référence REF, la nouvelle configuration sera choisie de façon que le niveau de difficulté de la tâche de pilotage soit diminué par rapport à la configuration en cours. Le niveau de difficulté obtenu est alors transmis à l’étape E2 de façon que la nouvelle configuration soit déterminée, tel que décrit en référence à la figure 3. Outre le résultat de la comparaison, la sélection de la nouvelle configuration peut également être contrainte par un scénario SCE et/ou des contraintes CNT.
L’acquisition des mesures E11 est réitérée à chaque expiration de la durée At, pour calculer les niveaux de difficulté des tâches associées à la nouvelle configuration, tant que le processus n’est pas achevé.
Parallèlement à la sélection des différentes configurations de la plateforme, le procédé selon cet autre mode de réalisation, peut comprendre l’étape E200 au cours de laquelle l’état mental de l’utilisateur est évalué. Les mesures MES acquises lors de l’étape E11 peuvent être utilisées pour la réalisation de cette étape E200.
Lorsque la plateforme interactive est passée par l’ensemble des configurations prévues par le scénario SCE, le processus s’achève, étape E3.
La figure 8 qui illustre une manière particulière, parmi plusieurs possibles, de réaliser un dispositif DIS configuré pour implémenter un mode de mise en œuvre du procédé selon l’invention. Le dispositif DIS comprend une mémoire vive (par exemple une mémoire RAM), une unité de traitement mR équipée par exemple d'un processeur, et pilotée par un programme d'ordinateur stocké dans une mémoire morte (par exemple une mémoire ROM ou un disque dur). A l'initialisation, les instructions de code du programme d'ordinateur sont par exemple chargées dans la mémoire vive RAM avant d'être exécutées par le processeur mR. Autrement dit, le programme d’ordinateur exécuté par le processeur, peut comporter des instructions pour la mise en oeuvre d’un mode de mise en oeuvre d’un procédé de génération d’un contenu virtuel, tel que décrit ci-avant.
La figure 8 illustre seulement une manière particulière, parmi plusieurs possibles, de réaliser le dispositif DIS afin qu’il effectue certaines étapes du procédé selon l’invention. En effet, ces étapes peuvent être réalisées indifféremment sur une machine de calcul reprogrammable (un ordinateur PC, un processeur DSP ou un microcontrôleur) exécutant un programme comprenant une séquence d’instructions, ou sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un ASIC, ou tout autre module matériel). Dans le cas où le dispositif est réalisé avec une machine de calcul reprogrammable, le programme correspondant (c'est-à-dire la séquence d’instructions) pourra être stocké dans un médium de stockage amovible ou non, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur. Autrement dit, un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes d’un mode de mise en oeuvre d’un procédé de génération d’un contenu virtuel tel que décrit ci-avant, peut être enregistré sur un support d’enregistrement lisible par un ordinateur.
Il va de soi que les modes de mise en oeuvre et de réalisation qui ont été décrits ci- dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l’homme de l’art sans pour autant sortir du cadre de l’invention.

Claims

Revendications
1 . Procédé de génération d’un contenu virtuel par rapport à un environnement réel, pour une plateforme interactive, le procédé comprenant une étape préalable (E0) d’agencement de différentes configurations les unes par rapport aux autres de façon à obtenir un environnement structuré (ES), les différentes configurations étant respectivement associées à des combinaisons d’une pluralité d’éléments dans lesquelles au moins un élément est décliné en au moins deux variantes, l’agencement étant tel qu’entre deux configurations adjacentes, un seul élément de la combinaison change de variante, le procédé comprenant en outre les étapes suivantes :
- détection d’un évènement prédéterminé,
- suite à la détection dudit évènement prédéterminé, sélection (E2), au vu d’une première configuration de la plateforme interactive et à partir de l’environnement structuré (ES), d’une nouvelle configuration parmi les configurations agencées au cours de l’étape préalable, et
- génération du contenu virtuel conformément à la nouvelle configuration.
2. Procédé selon la revendication 1 , dans lequel un élément comprend des données multimédia pour ladite plateforme interactive.
3. Procédé selon l’une des revendications 1 ou 2, dans lequel au moins un élément est décliné selon deux états, à savoir activé ou non pour un utilisateur interagissant avec ladite plateforme interactive.
4. Procédé selon l’une des revendications 1 ou 2, dans lequel au moins un élément est décliné selon au moins deux niveaux de difficulté au regard de la réaction demandée à l’utilisateur via la plateforme interactive.
5. Procédé selon l’une des revendications 1 à 4, comprenant en outre une sélection de la première configuration parmi les configurations agencées au cours de l’étape préalable.
6. Procédé selon l’une des revendications 1 à 5, comprenant en outre une mesure d’une ou plusieurs valeurs d’au moins un paramètre représentatif d’un état de l’utilisateur, et dans lequel la sélection d’une configuration est fonction d’au moins une valeur mesurée.
7. Procédé selon l’une des revendications 1 à 6, comprenant en outre une étape d’association des configurations, l’étape d’association comprenant les étapes suivantes : obtention d’au moins deux éléments, obtention d’au moins deux variantes pour les éléments obtenus, association d’une configuration de la plateforme interactive à une combinaison des éléments obtenus, chaque élément étant considéré dans l’une des variantes obtenues.
8. Procédé selon l’une des revendications 1 à 5 et 7, dans lequel la sélection d’une nouvelle configuration comprend la sélection d’une configuration prédéterminée parmi l’ensemble des configurations agencées.
9. Procédé selon l’une des revendications 1 à 5 et 7, dans lequel la sélection d’une nouvelle configuration comprend une détermination d’une variante souhaitée pour au moins un élément et une sélection d’une configuration associée à la variante déterminée pour ledit élément.
10. Procédé selon l’une des revendications 1 à 5 et 7, dans lequel la sélection d’une nouvelle configuration comprend la sélection d’une configuration adjacente à la première configuration dans l’ensemble des configurations agencées.
11 . Procédé selon l’une des revendications 1 à 5 et 7, dans lequel la sélection d’une nouvelle configuration comprend la sélection d’une configuration dans l’ensemble des configurations agencées selon un enchaînement prédéterminé depuis la première configuration.
12. Dispositif de génération d’un contenu virtuel par rapport à un environnement réel, pour une plateforme interactive, le dispositif comprenant :
- un module conçu pour agencer, les unes par rapport aux autres, différentes configurations associées respectivement à des combinaisons d’une pluralité d’éléments dans lesquelles au moins un élément est décliné en au moins deux variantes, de façon qu’entre deux configurations adjacentes, un seul élément de la combinaison change de variante et de manière à obtenir un environnement structuré,
- un module conçu pour détecter un évènement prédéterminé,
- un module conçu pour sélectionner, si ledit évènement prédéterminé est détecté, au vu d’une première configuration de la plateforme interactive et à partir de l’environnement structuré, une nouvelle configuration parmi les configurations agencées, et
- un module conçu pour générer le contenu virtuel conformément à la nouvelle configuration.
PCT/EP2021/051223 2020-01-24 2021-01-20 Procédé de génération d'un contenu virtuel pour une plateforme interactive, et dispositif correspondant WO2021148482A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2000704A FR3106687A1 (fr) 2020-01-24 2020-01-24 Procédé de génération d’un contenu virtuel pour une plateforme interactive, et dispositif correspondant.
FRFR2000704 2020-01-24

Publications (1)

Publication Number Publication Date
WO2021148482A1 true WO2021148482A1 (fr) 2021-07-29

Family

ID=70228243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/051223 WO2021148482A1 (fr) 2020-01-24 2021-01-20 Procédé de génération d'un contenu virtuel pour une plateforme interactive, et dispositif correspondant

Country Status (2)

Country Link
FR (1) FR3106687A1 (fr)
WO (1) WO2021148482A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2624238A1 (fr) * 2012-02-02 2013-08-07 Eurocopter España, S.A. Maquette virtuelle avec aide portable haptique
US20170095732A1 (en) * 2015-10-01 2017-04-06 Mc10, Inc. Method and system for interacting with a virtual environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2624238A1 (fr) * 2012-02-02 2013-08-07 Eurocopter España, S.A. Maquette virtuelle avec aide portable haptique
US20170095732A1 (en) * 2015-10-01 2017-04-06 Mc10, Inc. Method and system for interacting with a virtual environment

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AERO-NEWS NETWORK: "Aero-TV: Immersive & Cost-Effective: Virtual Reality + Motion = Talon Simulators", YOUTUBE, 13 September 2017 (2017-09-13), pages 1, XP054980772, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=LAUCIpummkU> [retrieved on 20200812] *
DE CAMILLE BAROTDOMINIQUE LENNEDOMITILE LOURDEAUX, DYNAMIC SCÉNARIO ADAPTATION BALANCING CONTROL, COHERENCE AND EMERGENCE, February 2013 (2013-02-01)
GRIM REAPERS: "Questioned: What Is "Game" Flight & Avionics Mode? | DCS WORLD", YOUTUBE, 26 October 2019 (2019-10-26), pages 1, XP054980778, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=5kMwK_Kox8c> [retrieved on 20200812] *

Also Published As

Publication number Publication date
FR3106687A1 (fr) 2021-07-30

Similar Documents

Publication Publication Date Title
Kourtesis et al. Validation of the virtual reality neuroscience questionnaire: maximum duration of immersive virtual reality sessions without the presence of pertinent adverse symptomatology
US10171858B2 (en) Utilizing biometric data to enhance virtual reality content and user response
US9409083B2 (en) Spawning new timelines during game session replay
JP2021170384A (ja) ユーザインターフェースメニューのコンテキスト認識
CA2953806C (fr) Generation de nouvelles frises chronologiques pendant une reprise de session de jeu
Parsons et al. Validity of a newly developed measure of memory: Feasibility study of the virtual environment grocery store
Kloiber et al. Immersive analysis of user motion in VR applications
US20150375103A1 (en) Game session sharing
JP2021514750A (ja) ゲームプレーデータのデインターリーブ
McArthur The UX of avatar customization
US11042622B2 (en) Authenticating users and improving virtual reality experiences via ocular scans and pupillometry
BELLEGARDE et al. S’initier à la robotique/informatique en classe de grande section de maternelle. Une expérimentation autour de l’utilisation du robot Blue Bot comme jeux sérieux
WO2021148482A1 (fr) Procédé de génération d&#39;un contenu virtuel pour une plateforme interactive, et dispositif correspondant
US20220210523A1 (en) Methods and Systems for Dynamic Summary Queue Generation and Provision
CN116392123A (zh) 一种基于游戏交互和眼动追踪的多动症筛查方法及系统
US11051689B2 (en) Real-time passive monitoring and assessment of pediatric eye health
US20220230749A1 (en) Systems and methods for ophthalmic digital diagnostics via telemedicine
Fleck et al. Teegi, he's so cute: example of pedagogical potential testing of an interactive tangible interface for children at school
US11417228B2 (en) Modification of extended reality environments based on learning characteristics
Davis et al. A quantitative analysis of redirected walking in virtual reality using saccadic eye movements
Clua et al. Challenges for XR in Games
Carter et al. Designing games for presence in consumer virtual reality
Navarro Improving player performance by developing gaze aware games
Marín-Lora et al. Comparative study of interaction methods for mobile gaming while running on a treadmill
Chen et al. Affective Umbrella–Towards a Novel Sensor Integrated Multimedia Platform Using Electrodermal and Heart Activity in an Umbrella Handle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21700451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21700451

Country of ref document: EP

Kind code of ref document: A1