WO2020187631A1 - Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte - Google Patents

Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte Download PDF

Info

Publication number
WO2020187631A1
WO2020187631A1 PCT/EP2020/056209 EP2020056209W WO2020187631A1 WO 2020187631 A1 WO2020187631 A1 WO 2020187631A1 EP 2020056209 W EP2020056209 W EP 2020056209W WO 2020187631 A1 WO2020187631 A1 WO 2020187631A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
entity
virtual
mixed
controller
Prior art date
Application number
PCT/EP2020/056209
Other languages
English (en)
Inventor
Guillaume Bataille
Bruno Arnaldi
Valérie GOURANTON
Original Assignee
Orange
Insa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange, Insa filed Critical Orange
Publication of WO2020187631A1 publication Critical patent/WO2020187631A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • MIXED ENTITY MIXED SYSTEM, MIXED ENTITY GENERATION PROCESS, MIXED ENTITY GENERATION PROCESS
  • the invention relates to the fields of digital electronic objects, in particular natural user interfaces, the internet of things ... and the fields of virtual reality mixed into mixed reality.
  • the entities composing our real environment are progressively connected to the Internet and multiplied in the virtual space.
  • augmented reality has been used to make connected objects in a user's neighborhood naturally and intuitively interactive through the Internet of Things.
  • the two worlds virtual and real become mixed by means of technologies such as mixed reality and natural user interfaces. Real objects become partly or even completely virtual and interactive. The separation between reality and virtual is slowly disappearing.
  • a model of mixed systems is used by Coutrix et al "Mixed reality: a model of mixed interaction" Proceedings of the working conference on Advanced Visual interfaces, AVI'06, p. 43 ACM Press, Kunststoffi, Italy, 2006, to produce a mixed reality in which a system is composed of mixed objects formed of two parts: a physical or real part described by its physical properties and a digital part made up of digital properties. The two parts being synchronized in a loop. Current technologies have restricted this synchronization and limited the capture of physical properties and the updating of digital properties.
  • An object of the invention is a mixed entity comprising:
  • the virtual entity comprises:
  • a virtual controller generating a virtual command based on data received from the entity, including virtual data
  • the three systems grouping together the virtual devices comprising the virtual entity based on the function of the virtual devices.
  • the virtual entities of the mixed entity are developed according to a single model increasing interoperability and support capacity.
  • the real controller and the virtual controller exchange the real data and the virtual data usable together by the real controller and the virtual controller in the generation, respectively, of real control and virtual control.
  • mixed entities allow hybrid interactions.
  • a mixed entity system is made up of several mixed entities according to the invention, the mixed entities being able to exchange data with each other.
  • the mixed system comprises:
  • a mixed passive entity consisting of a mixed entity in which the real controller and the virtual controller are not able to exchange data
  • a mixed interface entity consisting of a mixed entity in which the real controller and the virtual controller are able to exchange data
  • the real interface entity being adapted to receive data relating to the real passive entity and the virtual interface entity and the virtual interface entity being adapted to receive data relating to the virtual passive entity and the real interface entity.
  • the mixed system makes it possible to offer a hybrid interaction also with a mixed entity composed in particular of a natural entity: animal, plant or space.
  • Another object of the invention is a method of generating a mixed entity, the mixed entity comprising a real entity composed of real devices, the real entity being divided into three systems:
  • a real controller generating a real command based on data received from the entity including real data
  • the generation process involves the generation of a virtual entity mirroring the real entity.
  • the generation of the virtual entity comprises:
  • the generation of the virtual controller comprises an integration in the generated virtual controller of an interface with the real entity able to exchange, with the real controller , real data and virtual data usable together by the real controller and the virtual controller in the generation, respectively, of real control and of a virtual control.
  • a method of generating a mixed entity system comprises several generations of mixed entities according to the invention, the mixed entities being able to exchange data with one another.
  • a second generation of a mixed entity is a generation of a mixed interface entity comprising an integration, in the generated virtual controller, of an interface with a real interface entity capable of exchanging, with a real interface controller, real data and virtual data that can be used together by the real controller and the virtual controller in the generation, respectively, of real control and of a virtual control.
  • the various steps of the method according to the invention are implemented by software or computer program, this software comprising software instructions intended to be executed by a data processor of a device for generating a mixed entity and / or a mixed system and being designed to control the execution of the various steps of this method.
  • the invention therefore also relates to a program comprising program code instructions for the execution of the steps of the method for generating a mixed entity according to any one of the claims and / or of the method for generating a system of entities. mixed according to any one of claims when said program is executed by a processor.
  • This program can use any programming language and be in the form of source code, object code or intermediate code between source code and object code such as in a partially compiled form or in any other desirable form.
  • FIG 1 Figure 1
  • Figure 1 a simplified diagram of a mixed entity according to the invention
  • FIG 2a Figure 2a, a simplified diagram of a first embodiment of a mixed system according to the invention
  • FIG 2b Figure 2b, a simplified diagram of a second embodiment of a mixed system according to the invention.
  • FIG 3 Figure 3, a simplified diagram of a method for generating a mixed entity according to the invention
  • FIG 4 Figure 4, a simplified diagram of a method for generating a mixed system according to the invention
  • FIG 5a Figure 5a, a use case of a mixed system comprising a user, a smartphone and a HoloLens (registered trademark), in which a smartphone interface indicates to the user the knowledge by the mixed HoloLens entity the position of the smartphone in a first position of the smartphone,
  • a smartphone interface indicates to the user the knowledge by the mixed HoloLens entity the position of the smartphone in a first position of the smartphone
  • FIG 5b Figure 5b, a use case of a mixed system comprising a user, a smartphone and a HoloLens, in which a smartphone interface indicates to the user the knowledge by the mixed entity HoloLens of the position of the smartphone in a second position of the smartphone
  • Figure 5c Figure 5c, a use case of a mixed system comprising a user, a smartphone and a HoloLens, in which a smartphone interface indicates to the user the knowledge by the 'HoloLens mixed entity of the smartphone position in a third smartphone position
  • FIG 6a Figure 6a, a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing a virtual entity associated with the smartphone
  • FIG 6b Figure 6b, a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing user interaction with the virtual entity associated with the smartphone,
  • Figure 6c a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing the guidance of user interaction by means of the virtual entity associated with the smartphone,
  • Figure 6d a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing that the guidance of the user's interaction by means of the virtual entity associated with the smartphone allows to trigger a real interaction with the smartphone.
  • Figure 1 illustrates a simplified diagram of a mixed entity according to the invention.
  • the mixed entity 1 comprises a real entity 14 composed of real devices.
  • the real entity 14 is divided into three systems:
  • a real controller 142 generating a real command r cm as a function of data from the received entity including the real data r pp ;
  • the three systems 141, 142, 143 grouping together the real devices composing the real entity 14 based on the function of the real devices;
  • a mixed entity 1 can be made up of several real devices (not shown) grouped together in the real entity 14. These real devices are used as a function of the needs by the real entity 14 and / or the virtual entity 15 composing l. 'mixed entity 1.
  • the virtual entity 15 comprises an artificial intelligence or IA device (constituting a virtual controller) which will actuate connected objects of the real entity 14 according to its needs.
  • This virtual controller is in particular implemented in the network and materializes to communicate via the screens of the real entity to communicate with a specific person.
  • the virtual entity 15 comprises:
  • a virtual capture system 151 providing virtual data v pp of the virtual entity 15;
  • a virtual controller 152 generating a virtual command v cm as a function of data from the received entity including the virtual data v pp ;
  • a virtual actuatable system 153 of the virtual entity 15 as a function of a virtual command generated v cm by the virtual controller 152, an action v a performed by the virtual actuatable system 153 being picked up by the virtual capture system 151;
  • the three systems 151, 152, 153 grouping together the virtual devices making up the virtual entity 15 based on the function of the virtual devices.
  • a mixed entity 1 can be composed of one or more real devices grouped together in the real entity 14 and of several virtual devices (not illustrated) grouped together in the virtual entity 15.
  • the mixed entity 1 is a. collaborative work device, a robot (real entity) which would be piloted by several users simultaneously (virtual entity comprising several user interfaces).
  • the real controller 142 and the virtual controller 152 exchange the real data r pp and the virtual data v pp usable together by the real controller 142 and the virtual controller 143 in the generation, respectively, of real command r cm and of command virtual v cm .
  • the real capture system 141 and the virtual capture system 151 constitute a mixed capture system 11.
  • the capture systems 141, 151 have, in particular, a function of perception of its environment: real or virtual, making it possible to obtain a mixed perception by means of the mixed capture system 11 by combining the real and virtual perceptions.
  • the real controller 142 and the virtual controller 152 constitute a mixed controller 12.
  • the controllers 142, 152 have, in particular, an environment analysis function providing real or virtual knowledge of this environment making it possible to obtain a mixed knowledge of the environment by means of the mixed controller 1 1 by combining real and virtual knowledge.
  • the real actuatable system 143 and the virtual actuable system 153 constitute a mixed actuable system 13.
  • the actuatable systems 143, 153 have, in particular, an action on the environment: real or virtual making it possible to obtain a mixed action by means of of the mixed actuatable system 13 by combining the real and virtual actions.
  • real entity 14 is understood in particular a real object, a sector or an area, a material, an animal, a plant, etc., more generally, a living entity (a user, a plant, etc.) or not ( an electronic, computer, mechanical device ).
  • the mixed entity 1 can be composed of a user 14 and his avatar 15 constituting the virtual entity of this mixed entity.
  • the virtual capture devices and the actuatable virtual devices can have virtual functions identical to certain real functions implemented by the real capture devices and real actuable devices or other functions possibly complementary to certain real functions implemented by the real capture devices and real operable devices.
  • a mixed entity 1 can be composed of a real capture system 141 comprising a video sensor of the real environment of the mixed entity and of a virtual capture system 151 comprising a sensor of the display data of the virtual environment of the mixed entity.
  • the functions of the two capture systems 141 and 151 are similar.
  • the mixed entity entity 1 can be composed of a real capture system 141 comprising a video sensor of the real environment of the mixed entity and of a virtual capture system 151 comprising a sensor of movement of the virtual entity in the virtual environment.
  • the actuation commands r cm and v cmd generated by the mixed entity are independent or not.
  • the real actuation commands are a function either only of real data, such as the real data collected r pp , or both of real data, such as the real data collected r pp and / or of virtual control data v cm , and virtual data, such as captured virtual data v pp and / or real control data r cm .
  • the virtual part 15 of a mixed entity 1 is synchronized with its real part 14. This synchronization is particularly partial depending on the technical limitations and the increase in reality provided by the virtual part 15.
  • the real entity or real part 14 of mixed entity 1 provides a real approach to the mixed entity.
  • the virtual entity or virtual part 15 of the mixed entity can be reproduced in the real world to allow a user to perceive it.
  • the mixed entities 1 may include an internal capacity for communication between the real entity 14 and the virtual entity 15, notably allowing the implementation of synchronization. These mixed entities 1 are also called active mixed entities.
  • the virtual environment perceived by the virtual capture system 151 in particular provides virtual properties v pp of the mixed entity 1.
  • These virtual properties v pp are for example synchronized with real properties r pp of the real environment perceived by the real capture system 141.
  • a user real entity 14
  • a virtual reproduction of their real organs such as a virtual heart (virtual entity 15) synchronized with the pulsation of the user's real heart or a motor (real entity 14) can be increased with a virtual reproduction (virtual entity 15) of these internal elements: piston, compression chamber, valves, crankshaft in action synchronized with the real engine speed.
  • Figures 2a and 2b show several embodiments of a mixed system according to the invention.
  • the system 0 of mixed entities is composed of several mixed entities 1, 2, 3.
  • the mixed entities 1, 2, 3, are able to exchange data between them ⁇ d ⁇ r 1 2 , ⁇ d ⁇ v 1 2 , ⁇ d ⁇ r i , 3 , ⁇ d ⁇ v 1 3 , ⁇ d ⁇ r 2,3 , ⁇ d ⁇ v 2 3 .
  • the real entities 14, 24, 34 exchange data ⁇ d ⁇ r 1 2 , ⁇ d ⁇ r 1 3 , ⁇ d ⁇ r 2 3 between them and the virtual entities 15, 25, 35 exchange data ⁇ d ⁇ v 1 2 , ⁇ d ⁇ v 1 3 , ⁇ d ⁇ v 2 3 between them.
  • Figures 2a and 2b respectively illustrate the case of a mixed system with two mixed entities and three mixed entities.
  • the first mixed entity 1 comprises a first real entity 14 and a first virtual entity 15.
  • the first real entity 14 is composed of first real devices.
  • the first entity real 14 is divided into three first real systems:
  • a first real capture system 141 providing first real data r 1 pp from the first real entity 14;
  • a first real controller 142 generating a first real command r 1 cm as a function of first data from the first mixed entity received, including the first real data r 1 pp ;
  • first real operable system 143 of the first real entity 14 as a function of the first real command r 1 cm generated by the first real controller 142, a first action r a performed by the first real operable system 143 being captured by the first system real capture 141.
  • the first three real systems 141, 142, 143 group together the first real devices making up the first real entity 14 based on the function of the first real devices.
  • the first virtual entity 15 is implemented as a mirror to the first real entity 14.
  • a second mixed entity 2 comprises a second real entity 24 and a second virtual entity 25.
  • the second real entity 24 is composed of second real devices.
  • the second real entity 24 is divided into three second real systems:
  • a second real capture system 241 supplying second real data r 2 pp from the second real entity 24;
  • a second real controller 242 generating a second real command r 2 cm as a function of second data from the second mixed entity received, including the second real data r 2 pp ;
  • the three second real systems 241, 242, 243 group together the second real devices making up the second real entity 24 based on the function of the second real devices.
  • the second virtual entity 25 is implemented as a mirror to the second real entity 24.
  • the first mixed entity 1 is either a passive entity in which the real controller 142 and the virtual controller 152 are not able to exchange data, or an active entity in which the real controller 142 and the virtual controller 152 are able to exchange data. data.
  • a passive mixed entity 1, 2, 3 is a special case comprising a real entity4, 24, 34, such as an animal, a rock, a plant, etc. which does not have the capacity to produce and support the first virtual entity 15, 25, 35 themselves.
  • a first virtual entity 15 of a first mixed passive entity 1 can then be supported by a second mixed entity 2 which will capture data relating to the first real entity 14 and maintain the first virtual entity 15, typically a camera 241 which films a person 14 and which is connected to a network in which the first virtual entity 15 of the first mixed entity will be stored 15.
  • An active mixed entity 1, 2, 3 has the capacity to support its virtual part 15, 25, 35.
  • the real part 14, 24, 34 of the active mixed entity is a smartphone, a HoloLens, an evolved robot , etc. This real entity 14, 24, 34 does not need its environment to support its virtual entity 15, 25, 35.
  • a first mixed entity may be semi-active semi-passive if its first real entity 14 has the capacity to support its first virtual entity 15 autonomously and to use, in more, data captured by other mixed entities 2, 3 of its environment to complete the maintenance of its virtual part 15.
  • Figure 2a illustrates a simplified diagram of a first embodiment of a mixed system according to the invention.
  • the mixed system 0 comprises:
  • a mixed passive entity consisting of a mixed entity 1 (the first mixed entity cited above for example) in which the real controller 142 and the virtual controller 152 are not able to exchange data, and
  • a mixed interface entity constituted by a mixed entity 2 (the second mixed entity cited above for example) in which the real controller 242 and the virtual controller 252 are able to exchange data.
  • the real interface entity 24 is able to receive data ⁇ d ⁇ r 1 2 relating to the real passive entity 14 and the virtual interface entity 25, and the virtual interface entity 25 is able to receive data relating to ⁇ d ⁇ v 1 2 to the virtual passive entity 15 and the real interface entity 24.
  • a passive mixed entity 1 comprises in particular a real entity 14 in particular an entity such as a person (a user U) composed of a capture or perception system 141 comprising in particular the eyes OE and an actuable system 142 comprising in particular the hands MN, an animal or a plant which, to interact with the virtual entity 15 of its mixed entity 1, exchanges with a mixed interface entity 2, also called active mixed entity,
  • the real interface entity 24 constitutes an instrumentalisation of the real environment and in particular of the real passive entity 14.
  • the real interface 24 is in particular a natural user interface when the real passive entity 14 is a user U. It is responsible for the synchronization between the real passive entity 14, the user U, and the passive virtual mirror entity 15. , also called virtual twin in the case of a real human entity.
  • a natural user interface 14 can be an environmental detector, ubiquitous such as a Kinect type system (registered trademark) or a hand movement recognition device such as the Leap Motion device (registered trademark) statically placed in an environment, smart objects. unworn or security cameras.
  • a natural user interface 14 can also be a device worn such as a mask or mixed, virtual or augmented reality glasses, in particular HoloLens glasses (registered trademark). In this case, the mixed reality glasses device is responsible for capturing the user's head location and orientation including gaze screening, user's hand activity when appropriate gestures allow their detection and recognition of voice instructions when activated by the associated voice assistant keyword.
  • Figure 2b illustrates a simplified diagram of a second embodiment of a mixed system according to the invention.
  • a third mixed entity 3 comprises a third real entity 34 and a third virtual entity 35.
  • the third real entity 34 is composed of third real devices.
  • the third real entity 34 is divided into three third real systems:
  • a third real capture system 341 providing third real data r 3 pp from the third real entity 34;
  • a third real controller 342 generating a third real command r 3 cm as a function of third data from the third mixed entity received including the third real data r 3 pp ;
  • the three third real systems 341, 342, 343 group together the third real devices making up the third real entity 34 based on the function of the third real devices.
  • the third virtual entity 35 is implemented as a mirror to the third real entity 34.
  • a mixed system according to the invention allows a user U, 14 to interact in mixed reality with a mixed object 3 either pseudo-naturally by means of a mixed reality interface 2 or naturally by interacting directly with the real part 34 (in particular a smartphone), tangible, of the mixed object 3.
  • the mixed object 3 is a mixed entity within the meaning of the invention.
  • the mixed interface 2 is responsible for taking care of the virtual part 15 of the mixed user 1, for example by tracking his body, his activities and his interactions.
  • the mixed interface 2 includes in this case:
  • a controller 252 automating the virtual behavior of the virtual part 15 the mixed user 1 by executing predetermined scenarios, in particular by automating the virtual behavior the operable system 153 of the virtual part 15 of the mixed user 1,
  • a real controller 242 integrating into the virtual space the virtual part 15 of the mixed user 1 and his virtual activity
  • a virtual controller 252 controlling the reproduction of the virtual part 35 of the mixed object 3, thus allowing the real user 14 to perceive the virtual part 35 of the mixed object 3,
  • the virtual controller 252 allowing communication between the virtual part 34 of the mixed object 3 and the virtual part 14 of the mixed user 1.
  • the mixed object 3 is able to maintain and control its virtual part 35, including its virtual behavior by executing predetermined scenarios.
  • the mixed object 3 comprises a tangible part 34, capable of communicating with other mixed entities 1, 2.
  • the communication of another mixed entity 2, 3 with the user is carried out by video, audio, kinesic reproduction, etc. of information relating to the virtual parts. 15, 25, 35 of the various mixed entities 1, 2, 3.
  • FIG. 3 illustrates a simplified diagram of a method for generating a mixed entity EM_GN according to the invention.
  • the process of generating a mixed entity EM_GN the mixed entity comprising a real entity made up of real devices, the real entity ER being divided into three systems:
  • a real controller CR generating a real command based on data from the received entity including real data
  • the EM_GN generation method comprises a generation of a virtual entity EV_GN mirroring the real entity ER.
  • the generation of the virtual entity EV_GN comprises:
  • + a virtual controller CV generating a virtual command as a function of data from the received entity, including the virtual data supplied by the virtual capture system; + a virtual actuable system SAV of the virtual entity based on a virtual command generated by the virtual controller, an action performed by the virtual actuatable system being captured by the virtual capture system.
  • the generation of the virtual controller EV_GN comprises an integration IPJNT in the generated virtual controller CV of an IPV interface with the real entity ER capable of exchanging, with the real controller CR, real data and virtual data which can be used together by the real controller CR and the virtual controller CV in the generation, respectively, of real control and of a virtual control.
  • Figure 4 illustrates a simplified diagram of a method for generating a mixed system according to the invention.
  • the method for generating a system of mixed entities SM_GN comprises several generations of mixed entities EM_GN1 ... EM_GNn according to the invention, in particular as illustrated by FIG. 3.
  • the mixed entities EM_GN1 ... EM_GNn being suitable to exchange data between them.
  • a second generation of an entity mixed EM_GN2 is a generation of a mixed interface entity comprising an IPJNT integration, in the generated virtual controller CV2, of an IPV interface with a real interface entity ER2 capable of exchanging, with a real interface controller CR2, real data and virtual data usable together by the real controller CR2 and the virtual controller CV2 in the generation, respectively, of a real command and of a virtual command.
  • the various steps of the method according to the invention are implemented by software or computer program, this software comprising software instructions intended to be executed by a data processor of a device for generating a mixed entity and / or a mixed system and being designed to control the execution of the various steps of this method.
  • the invention therefore also relates to a program comprising program code instructions for the execution of the steps of the method for generating a mixed entity according to any one of the claims and / or of the method for generating a system of entities. mixed according to any one of claims when said program is executed by a processor.
  • This program can use any programming language and be in the form of source code, object code or intermediate code between source code and object code such as in a partially compiled form or in any other desirable form.
  • FIGS. 5a to 5c illustrate a use case of a mixed system comprising a user 14, a smartphone 34 and mixed reality glasses 24, in which a smartphone interface indicates to the user 14 the knowledge by the glasses of mixed reality 24 of the position of smartphone 34.
  • the references correspond to a mixed system as illustrated in FIG. 2b.
  • the synchronization of the locations of mixed object 3 and mixed interface 2 is done such that the virtual part 15 of mixed user 1 is aware of both its own location and the location of the real object 34, and isomorphically, the virtual part 25 of the mixed object knows its own location and also real replacement of the user 14.
  • the user 14 is informed that the mixed reality glasses 24 know replacement of the smartphone 34 by means of data reproduced on the screen of the smartphone 34.
  • the reproduced data r 2 pp are eyes which move on the screen of the smartphone 34 as a function of the position of the mixed reality glasses 24 relative to the smartphone 34.
  • the real interface 24 detects replacement of the real entity 34, in our example the smartphone or more particularly the smartphone screen, of the mixed object 3, the virtual entity 35 of this mixed object 3 comprising the smartphone is estimated and then initialized, in our example by displaying a virtual face.
  • Figure 5a illustrates the use case in a first position of the smartphone compared to mixed reality glasses.
  • the eyes show that the glasses are located on the left front of the smartphone.
  • Figure 5b illustrates a use case in a second position of the smartphone compared to mixed reality glasses.
  • the eyes show that the glasses are located in front of the smartphone.
  • Figure 5c illustrates a use case in a third position of the smartphone compared to mixed reality glasses.
  • the eyes show that the glasses are located on the right front of the smartphone.
  • a relative position of the real interface 24 and of the real object 34 is estimated at a given instant.
  • a transfer matrix between a tracking coordinate system the real interface 24 and a real object tracking coordinate system 34, including the ARCore (registered trademark) system of a smartphone, is determined.
  • the virtual interface 25 and the virtual object 35 share their positions and / or the relative position, in particular the transfer matrix.
  • the virtual interface 25 stops tracking the real object 34 in time. real object and begins to update the virtual object with the translations and rotations provided by the real object tracking system 34 and sent by the network to the real interface 24 and then transposed into the tracking coordinate system of the 'real interface 24 by the previously determined transfer matrix.
  • replacement of each real device real interface 24, real object 34
  • the perception by the real interface 24 of the position of the real object 34 is provided in return to the user 14 by adding to the virtual object 35 a directional element indicating the position of the real interface 24: for example a virtual face, one or more virtual eyes looking at the real interface 24, and therefore the user 14 in the case of a real interface 24 constituted by mixed reality glasses such as HoloLens.
  • the virtual object 35 reproduces an estimated position information of the real interface and the real object 34 shares via a network this estimated position information of the real interface 24 with the virtual interface 25.
  • This allows the user 14 to interact pseudo naturally with the real interface 24 of the mixed interface 2 whose virtual interface 25 synchronizes and positions the virtual user 15 so that the user 14 can interact in a tangible way with the object 34.
  • a real controller 242, 342 of a first mixed entity 2, 3 comprises means for determining in real time the position of a second real entity 3, 2 as a function of the real time position of the first entity real 24, 34 and the relative position of the first real entity 24 with respect to the second real entity 34 determined at a given instant.
  • the relative position of the first real entity 24 with respect to the second real entity 34 determined at a given moment is constituted by a transposition matrix between a first system of tracking coordinates corresponding to the first real entity 24 and a second system of tracking coordinates corresponding to the second real entity 34.
  • Figures 6a to 6d show a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing the guidance of the user interaction by means of a virtual entity associated with the smartphone making it possible to trigger a real interaction with the smartphone.
  • the mixed smartphone 3 has the following features:
  • the mixed interface 2 in this case including the HoloLens, has the following features:
  • the mixed user 1 to pseudo-naturally interact using virtual or gestural interactions or in the air (or "in-air” in English) with contacts to choose and center on the real smartphone 34 a contact for further interact with.
  • Figure 6a illustrates a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing a virtual entity associated with the smartphone.
  • the smartphone 34 shows data on the real screen and also on its virtual part 35.
  • the data to be reproduced are in large number, it may be of interest for a better perception and / or interaction by the user 14. 'they are reproduced on the virtual smartphone 35, for example in the form of a mosaic as shown in FIG. 6a.
  • Figure 6b illustrates a use case of a mixed system comprising a user, a smartphone, and a HoloLens, showing user interaction with the virtual entity associated with the smartphone.
  • the user 14 wishing to select one of the data displayed virtually points his finger towards one of the data.
  • the virtual smartphone reproduces this selection by modifying the reproduction of the data, for example by modifying the display color of the data selected virtually in red and / or by modifying its display size (by enlarging it), etc.
  • FIG. 6c illustrates a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing the guidance of the user's interaction by means of the virtual entity associated with the smartphone,
  • the virtual smartphone 34 guides the user 14 to the real smartphone 34 by shifting the reproduction of the selected data virtually to the screen of the real smartphone 34, for example by shifting all of the data (the mosaic) so that the selected data is placed in front of the screen of the real smartphone 34.
  • FIG. 6d illustrates a use case of a mixed system comprising a user, a smartphone and a HoloLens, showing that the guidance of the user's interaction by means of the virtual entity associated with the smartphone makes it possible to trigger a real interaction with the smartphone.
  • the finger of the user 14 guided by the virtual smartphone 34 towards the real smartphone 34 by shifting the reproduction of the data selected virtually towards the screen of the real smartphone 34 selects the data by touching the screen of the smartphone 34 in a mixed interaction zone ZIM.
  • the virtual controller of a mixed entity comprises means for modifying the virtual reproduction position of a virtually selected datum, the virtual reproduction position of the virtually selected datum being progressively modified towards a position of the screen of the entity. real.
  • the invention is also aimed at a support.
  • the information medium can be any entity or device capable of storing the program.
  • the medium can comprise a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM or else a magnetic recording means, for example a floppy disk or a hard disk.
  • the information medium can be a transmissible medium such as an electrical or optical signal which can be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded over a network, in particular of the Internet type.
  • the information medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the invention is implemented by means of software and / or hardware components.
  • module can correspond equally well to a software component or to a hardware component.
  • a software component corresponds to one or more computer programs, one or more sub-programs of a program, or more generally to any element of a program or of a software capable of implementing a function or a function set as described above.
  • One hardware component is everything element of a hardware assembly capable of implementing a function or a set of functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne les domaines des objets électroniques digitaux, notamment des interfaces utilisateurs naturelles, de l'internet des objets... et les domaines de la réalité virtuelle mêlés dans la réalité mixte. Un objet de l'invention est une entité mixte comportant : - une entité réelle composée de dispositifs réels, l'entité réelle étant divisée en trois systèmes : + un système de capture réel fournissant des données réelles de l'entité réelle; + un contrôleur réel générant une commande réelle en fonction de données de l'entité reçues dont les données réelles; + un système actionnable réel de l'entité réelle en fonction de commande réelle générée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel; les trois systèmes regroupant les dispositifs réels composant l'entité réelle en se basant sur la fonction des dispositifs réels; et - une entité virtuelle implémentée en miroir à l'entité réelle. Ainsi, les entités mixtes sont élaborées selon un modèle unique permettant une interopérabilité et un support.

Description

DESCRIPTION
ENTITÉ MIXTE, SYSTÈME MIXTE, PROCÉDÉ DE GÉNÉRATION D’ENTITE MIXTE, PROCÉDÉ DE GÉNÉRATION DE
SYSTEME MIXTE
Domaine technique
L'invention concerne les domaines des objets électroniques digitaux, notamment des interfaces utilisateurs naturelles, de l’internet des objets... et les domaines de la réalité virtuelle mêlés dans la réalité mixte.
État de la technique
Le développement de technologies offre aux utilisateurs de nouvelles façons d'agir relativement à leurs environnements. La réalité virtuelle permet de s’évader du monde réel. Des technologies anthropomorphiques appelées interfaces utilisateur naturelles proposent des interactions naturelles et intuitives avec les technologies digitales. En outre, ces technologies omniprésentes soutiennent et améliorent les interactions avec les objets du quotidien et d'autres des entités du monde réel. Ainsi, elles permettent aux utilisateurs de modeler leur environnement et la réalité qu'ils vivent à leur propre convenance.
Les entités composant notre environnement réel sont progressivement connectées à l'Internet et multipliées dans l'espace virtuel. Dans cette virtualisation, la réalité augmentée a été utilisée pour rendre des objets connectés dans un voisinage d’un utilisateur naturellement et intuitivement interactifs au moyen de l'Internet des objets. Les deux mondes : virtuel et réel deviennent mixtes au moyen de technologies telles que la réalité mixte et les interfaces utilisateur naturelles. Des objets réels deviennent en partie ou même complètement virtuels et interactifs. La séparation entre réalité et virtuel disparaît lentement.
Un modèle de systèmes mixtes est utilisé par Coutrix et al « Mixed reality : a model of mixed interaction » Proceedings of the working conférence on Advanced Visual interfaces, AVI’06, p. 43 ACM Press, Venezi, Italy, 2006, pour produire une réalité mixte dans lequel un système est composé d’objets mixtes formés de deux parties : une partie physique ou réelle décrite par ses propriétés physiques et une partie digitale constituée de propriétés digitales. Les deux parties étant synchronisées dans une boucle. Les technologies actuelles ont restreint cette synchronisation et limiter la capture de propriétés physiques et la mise à jour des propriétés digitales.
Depuis une décennie sont combinées Réalité Mixte, Interfaces utilisateur Naturelles et l'Internet des Objets dans les interactions hybrides : Certains ont créés des techniques d'interactions de réalité augmentée pour commander des dispositifs intelligents interagissant de manière transparente avec des dispositifs distants isolés ou groupés. D’autres ont développé des techniques pour augmenter de manière transparente le monde réel avec du contenu digital et interagir avec cela par des gestes, rendant l'information plus accessible et intuitive à utiliser. La réduction de la séparation entre réel et virtuel a été permise en mettant à jour les propriétés virtuelles d'un objet selon l'évolution de ses propriétés physiques pour naturellement agir réciproquement avec le jumeau virtuel d'un objet physique. Afin de fournir un support à l’utilisateur de téléphones mobiles pendant leur interaction avec leur environnement réel, les téléphones mobiles dits intelligents ou Smartphone ont été combiné à la réalité augmentée. L’écran du smartphone a été agrandi en utilisant un dispositif d’affichage transparent de vidéo (aussi nommé see-through video device en anglais). Dans ces expériences, mélangeant la réalité augmentée, des interfaces utilisateur naturelles et l'Internet de choses sont utilisés pour simplifier, faciliter et rendre les interactions plus naturelles et intuitives entre des utilisateurs et leur environnement réel augmenté du contenu digital relatif à cet environnement réel. Ces interactions hybrides sont conçues en réunissant à la main au coup par coup ces technologies, ce qui réduit ces expériences à une durée de vie très courte, sans interopérabilité, ni support.
Ainsi, les domaines réels et virtuels ont été progressivement mélangés de façon hétérogène. Sans aucune méthodologie de développement, ces systèmes mixtes manquent de généricité et de portabilité, et sont aussi limités dans leur complexité.
Exposé de l’invention
Un des buts de la présente invention est de remédier à des insuffisances de l'état de la technique. Un objet de l’invention est une entité mixte comportant :
- une entité réelle composée de dispositifs réels, l’entité réelle étant divisée en trois systèmes :
+ un système de capture réel fournissant des données réelles de l’entité réelle ;
+ un contrôleur réel générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;
+ un système actionnable réel de l’entité réelle en fonction de commande réelle générée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;
les trois systèmes regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels; et
- une entité virtuelle implémentée en miroir à l’entité réelle.
Ainsi, les entités mixtes sont élaborées selon un modèle unique permettant une interopérabilité et un support.
Avantageusement, l’entité virtuelle comporte :
- un système de capture virtuel fournissant des données virtuelles de l’entité virtuelle ;
- un contrôleur virtuel générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles;
- un système actionnable virtuel de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel;
les trois systèmes regroupant les dispositifs virtuels composant l’entité virtuelle en se basant sur la fonction des dispositifs virtuels.
Ainsi, les entités virtuelles de l’entité mixte sont élaborées selon un modèle unique augmentant l’interopérabilité et la capacité de support. Avantageusement, le contrôleur réel et le contrôleur virtuel échangent les données réelles et les données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et de commande virtuelle.
Ainsi, les entités mixtes permettent des interactions hybrides.
Avantageusement, un système d’entités mixtes est composé de plusieurs entités mixtes selon l’invention, les entités mixtes étant aptes à échanger des données entre elles.
Ainsi, l’interopérabilité permet de combiner plusieurs entités mixtes pour mettre en oeuvre une interaction hybride plus complexe.
Avantageusement, le système mixte comporte :
- d’une entité passive mixte constituée par une entité mixte dans laquelle le contrôleur réel et le contrôleur virtuel ne sont pas apte à échanger des données, et
- d’une entité interface mixte constituée par une entité mixte dans laquelle le contrôleur réel et le contrôleur virtuel sont aptes à échanger des données,
l’entité interface réelle étant apte à recevoir des données relatives à l’entité passive réelle et l’entité interface virtuelle et l’entité interface virtuelle étant apte à recevoir des données relatives à l’entité passive virtuelle et l’entité interface réelle.
Ainsi, le système mixte permet de proposer une interaction hybride aussi avec une entité mixte composée notamment d’une entité naturelle : animal, plante ou d’un espace .
Un autre objet de l’invention est un procédé de génération d’une entité mixte, l’entité mixte comportant une entité réelle composée de dispositifs réels, l’entité réelle étant divisée en trois systèmes :
- un système de capture réel fournissant des données réelles de l’entité réelle ;
- un contrôleur réel générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;
- un système actionnable réel de l’entité réelle en fonction de commande réelle élaborée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;
les trois systèmes regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels, le procédé de génération comporte une génération d’une entité virtuelle en miroir de l’entité réelle.
Avantageusement, la génération de l’entité virtuelle comporte :
- une génération de dispositifs virtuels composant l’entité virtuelle et
- un regroupement des dispositifs virtuels générés en trois systèmes en se basant sur la fonction des dispositifs virtuels:
+ un système de capture virtuel fournissant des données virtuelles de l’entité virtuelle ; + un contrôleur virtuel générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles fournies par le système de capture virtuel;
+ un système actionnable virtuel de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel.
Avantageusement, lorsque le contrôleur réel comporte une interface avec un processeur mettant en oeuvre l’entité virtuel, la génération du contrôleur virtuel comporte une intégration dans le contrôleur virtuel généré d’une interface avec l’entité réelle apte à échanger, avec le contrôleur réel, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et d’une commande virtuelle.
Avantageusement, un procédé de génération d’un système d’entités mixtes comporte plusieurs générations d’entités mixtes selon l’invention, les entités mixtes étant aptes à échanger des données entre elles.
Avantageusement, lorsque une première génération d’entité mixte est une génération d’une entité mixte passive dans laquelle le contrôleur réel et le contrôleur virtuel ne sont pas apte à échanger des données, une deuxième génération d’une entité mixte est une génération d’une entité mixte interface comportant une intégration, dans le contrôleur virtuel généré, d’une interface avec une entité réelle interface apte à échanger, avec un contrôleur interface réel, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et d’une commande virtuelle.
Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en oeuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif de génération d’entité mixte et/ou de système mixte et étant conçus pour commander l'exécution des différentes étapes de ce procédé.
L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de génération d’entité mixte selon l’une quelconque des revendications et/ou du procédé de génération d’un système d’entités mixtes selon l’une quelconque des revendications lorsque ledit programme est exécuté par un processeur.
Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable. Brève description des dessins
Les caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s’y rapportant qui représentent :
[Fig 1 ] Figure 1 , un schéma simplifié d’une entité mixte selon l’invention,
[Fig 2a] Figure 2a, un schéma simplifié d’un premier mode de réalisation d’un système mixte selon l’invention,
[Fig 2b] Figure 2b, un schéma simplifié d’un deuxième mode de réalisation d’un système mixte selon l’invention,
[Fig 3] Figure 3, un schéma simplifié d’un procédé de génération d’une entité mixte selon l’invention,
[Fig 4] Figure 4, un schéma simplifié d’un procédé de génération d’un système mixte selon l’invention,
[Fig 5a] Figure 5a, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens (marque déposée), dans lequel une interface du smartphone indique à l’utilisateur la connaissance par l’entité mixte HoloLens de la position du smartphone dans une première position du smartphone,
[Fig 5b] Figure 5b, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, dans lequel une interface du smartphone indique à l’utilisateur la connaissance par l’entité mixte HoloLens de la position du smartphone dans une deuxième position du smartphone, [Fig 5c] Figure 5c, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, dans lequel une interface du smartphone indique à l’utilisateur la connaissance par l’entité mixte HoloLens de la position du smartphone dans une troisième position du smartphone, [Fig 6a] Figure 6a, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une entité virtuelle associée au smartphone,
[Fig 6b] Figure 6b, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une interaction de l’utilisateur avec l’entité virtuelle associée au smartphone,
[Fig 6c] Figure 6c, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone,
[Fig 6d] Figure 6d, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant que le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone permet de déclencher une interaction réelle avec le smartphone.
Description des modes de réalisation
La figure 1 illustre un schéma simplifié d’une entité mixte selon l’invention.
L’entité mixte 1 comporte une entité réelle 14 composée de dispositifs réels. L’entité réelle 14 est divisée en trois systèmes :
+ un système de capture réel 141 fournissant des données réelles rpp de l’entité réelle 14;
+ un contrôleur réel 142 générant une commande réelle rcm en fonction de données de l’entité reçues dont les données réelles rpp;
+ un système actionnable réel 143 de l’entité réelle 14 en fonction de commande réelle rcmd générée par le contrôleur réel 142, une action ra effectuée par le système actionnable réel 143 étant captée par le système de capture réel 141 ;
les trois systèmes 141 , 142, 143 regroupant les dispositifs réels composant l’entité réelle 14 en se basant sur la fonction des dispositifs réels; et
- une entité virtuelle 15 implémentée en miroir à l’entité réelle 14.
Ainsi, une entité mixte 1 peut être composée de plusieurs dispositifs réels (non illustrées) regroupés dans l'entité réelle 14. Ces dispositifs réels sont utilisés en fonction des besoins par l'entité réelle 14 et/ou l'entité virtuelle 15 composant l'entité mixte 1. Par exemple, l'entité virtuelle 15 comporte un dispositif d'intelligence artificielle ou IA (constituant un contrôleur virtuel) qui va actionner des objets connectés de l'entité réelle 14 en fonction de ses besoins. Ce contrôleur virtuel est notamment implémenté dans le réseau et se matérialise pour communiquer via les écrans de l'entité réelle pour communiquer avec une personne précise.
En particulier, l’entité virtuelle 15 comporte :
- un système de capture virtuel 151 fournissant des données virtuelles vpp de l’entité virtuelle 15;
- un contrôleur virtuel 152 générant une commande virtuelle vcm en fonction de données de l’entité reçues dont les données virtuelles vpp;
- un système actionnable virtuel 153 de l’entité virtuelle 15 en fonction de commande virtuelle générée vcm par le contrôleur virtuel 152, une action va effectuée par le système actionnable virtuel 153 étant captée par le système de capture virtuel 151 ;
les trois systèmes 151 , 152, 153 regroupant les dispositifs virtuels composant l’entité virtuelle 15 en se basant sur la fonction des dispositifs virtuels.
Ainsi, une entité mixte 1 peut être composée d'un ou plusieurs dispositifs réels regroupés dans l'entité réelle 14 et de plusieurs dispositifs virtuels (non illustrés) regroupés dans l'entité virtuelle 15. En particulier, l'entité mixte 1 est un dispositif de travail collaboratif, un robot (entité réelle) qui serait piloté par plusieurs utilisateurs simultanément (entité virtuelle comportant plusieurs interfaces utilisateurs).
En particulier, le contrôleur réel 142 et le contrôleur virtuel 152 échangent les données réelles rpp et les données virtuelles vpp utilisables ensemble par le contrôleur réel 142 et le contrôleur virtuel 143 dans la génération, respectivement, de commande réelle rcm et de commande virtuelle vcm . En particulier, le système de capture réel 141 et le système de capture virtuel 151 constitue un système de capture mixte 1 1 . Les systèmes de capture 141 , 151 ont, notamment, une fonction de perception de son environnement : réelle ou virtuelle permettant d’obtenir une perception mixte au moyen du système de capture mixte 1 1 en combinant les perceptions réelle et virtuelle.
En particulier, le contrôleur réel 142 et le contrôleur virtuel 152 constitue un contrôleur mixte 12. Les contrôleurs 142, 152 ont, notamment, une fonction d’analyse de l’environnement fournissant une connaissance réelle ou virtuelle de cet environnement permettant d’obtenir une connaissance mixte de l’environnement au moyen du contrôleur mixte 1 1 en combinant les connaissances réelle et virtuelle.
En particulier, le système actionnable réel 143 et le système actionnable virtuel 153 constitue un système actionnable mixte 13. Les systèmes actionnable 143, 153 ont, notamment, une action sur l’environnement : réelle ou virtuelle permettant d’obtenir une action mixte au moyen du système actionnable mixte 13 en combinant les actions réelle et virtuelle.
Par entité réelle 14 est notamment entendu un objet réel, un secteur ou une zone, un matériau, un animal, une plante, etc., de manière plus générale, une entité vivante (un utilisateur, une plante...) ou non (un dispositif électronique, informatique, mécanique...).
Ainsi, l’entité mixte 1 peut être composée d’un utilisateur 14 et de son avatar 15 constituant l’entité virtuel de cette entité mixte.
Les dispositifs virtuels de capture et les dispositifs virtuels actionnables peuvent avoir des fonctions virtuelles identiques à certaines fonctions réelles mises en oeuvre par les dispositifs réels de capture et des dispositifs réels actionnables ou d’autres fonctions éventuellement complémentaires à certaines fonctions réelles mises en oeuvre par les dispositifs réels de capture et des dispositifs réels actionnables.
Ainsi, une entité mixte 1 peut être composée d’un système de capture réel 141 comportant un capteur vidéo de l’environnement réel de l’entité mixte et d’un système de capture virtuel 151 comportant un capteur des données d’affichage de l’environnement virtuel de l’entité mixte. Dans ce cas, les fonctions des deux systèmes de capture 141 et 151 sont similaires.
Dans une autre variante de réalisation, l’entité entité mixte 1 peut être composée d’un système de capture réel 141 comportant un capteur vidéo de l’environnement réel de l’entité mixte et d’un système de capture virtuel 151 comportant un capteur de mouvement de l’entité virtuelle dans l’environnement virtuel. Suivant les modes de réalisation, les commandes d’actionnement rcm et vcmd générées par l’entité mixte sont indépendantes ou non. Notamment, les commandes d’actionnement réelles sont fonction soit uniquement de données réelles, telles que les données réelles captées rpp, soit à la fois de données réelles, telles que les données réelles captées rpp et/ou de données de commandes virtuelles vcm , et de données virtuelles, telles que les données virtuelles captées vpp et/ou de données de commandes réelles rcm .
En particulier, la partie virtuelle 15 d'une entité mixte 1 est synchronisée avec sa partie réelle 14. Cette synchronisation est notamment partielle en fonction des limitations techniques et de l’augmentation de la réalité apportée par la partie virtuelle 15.
L’entité réelle ou partie réelle 14 de l’entité mixte 1 fournit une approche réelle de l’entité mixte. L’entité virtuelle ou partie virtuelle 15 de l’entité mixte peut être reproduite dans le monde réel pour permettre à un utilisateur de la percevoir.
Les entités mixtes 1 peuvent comporter une capacité interne de communication entre l’entité réelle 14 et l’entité virtuelle 15 permettant notamment la mise en oeuvre de la synchronisation. Ces entités mixtes 1 sont aussi appelées entités mixtes actives.
L’environnement virtuel perçu par le système de capture virtuel 151 fournit notamment des propriétés virtuelles vpp de l’entité mixte 1 . Ces propriétés virtuelles vpp sont par exemple, synchronisées avec des propriétés réelles rpp de l’environnement réel perçu par le système de capture réel 141 . Par exemple, un utilisateur (entité réelle 14) peut être augmenté avec une reproduction virtuelle de ses organes réels comme un cœur virtuel (entité virtuelle 15) synchronisé avec la pulsation du cœur réel de l'utilisateur ou un moteur (entité réelle 14) peut être augmenté avec une reproduction virtuelle (entité virtuelle 15) de ces éléments internes : piston, chambre de compression, soupapes, vilebrequin en action synchronisés avec le régime moteur réel.
Les figures 2a et 2b montrent plusieurs modes de réalisation d’un système mixte selon l’invention.
Le système 0 d’entités mixtes est composé de plusieurs entités mixtes 1 , 2, 3. Les entités mixtes 1 , 2, 3, sont aptes à échanger des données entre elles {d}r 1 2, {d}v 1 2, {d}ri ,3, {d}v 1 3, {d}r 2,3, {d}v 2 3 . En particulier, les entités réelles 14, 24, 34 échangent des données {d}r 1 2, {d}r 1 3, {d}r 2 3 entre elles et les entités virtuelles 15, 25, 35 échangent des données {d}v 1 2, {d}v 1 3, {d}v 2 3 entre elles.
Les figures 2a et 2b illustrent respectivement le cas d’un système mixte à deux entités mixtes et à trois entités mixtes.
La première entité mixte 1 comporte une première entité réelle 14 et une première entité virtuelle 15. La première entité réelle 14 est composée de premiers dispositifs réels. La première entité réelle 14 est divisée en trois premiers systèmes réels:
- un premier système de capture réel 141 fournissant des premières données réelles r1 pp de la première entité réelle 14;
- un premier contrôleur réel 142 générant une première commande réelle r1 cm en fonction de premières données de la première entité mixte reçues dont les premières données réelles r1 pp;
- un premier système actionnable réel 143 de la première entité réelle 14 en fonction de la première commande réelle r1 cm générée par le premier contrôleur réel 142, une première action ra effectuée par le premier système actionnable réel 143 étant captée par le premier système de capture réel 141 . Les trois premiers systèmes réels 141 , 142, 143 regroupent les premiers dispositifs réels composant la première entité réelle 14 en se basant sur la fonction des premiers dispositifs réels. La première entité virtuelle 15 est implémentée en miroir à la première entité réelle 14.
Une deuxième entité mixte 2 comporte une deuxième entité réelle 24 et une deuxième entité virtuelle 25. La deuxième entité réelle 24 est composée de deuxièmes dispositifs réels. La deuxième entité réelle 24 est divisée en trois deuxièmes systèmes réels:
- un deuxième système de capture réel 241 fournissant des deuxièmes données réelles r2 pp de la deuxième entité réelle 24;
- un deuxième contrôleur réel 242 générant une deuxième commande réelle r2 cm en fonction de deuxièmes données de la deuxième entité mixte reçues dont les deuxièmes données réelles r2 pp;
- un deuxième système actionnable réel 243 de la deuxième entité réelle 24 en fonction de la deuxième commande réelle r2 cmd générée par le deuxième contrôleur réel 242, une deuxième action ra effectuée par le deuxième système actionnable réel 243 étant captée par le deuxième système de capture réel 241 . Les trois deuxièmes systèmes réels 241 , 242, 243 regroupent les deuxièmes dispositifs réels composant la deuxième entité réelle 24 en se basant sur la fonction des deuxièmes dispositifs réels. La deuxième entité virtuelle 25 est implémentée en miroir à la deuxième entité réelle 24.
La première entité mixte 1 est soit une entité passive dans laquelle le contrôleur réel 142 et le contrôleur virtuel 152 ne sont pas apte à échanger des données, soit une entité active dans laquelle le contrôleur réel 142 et le contrôleur virtuel 152 sont apte à échanger des données.
Une entité mixte passive 1, 2, 3 est un cas particulier comportant une entité réellel4, 24, 34, tel qu'un animal, un rocher, une plante, etc. qui n'a pas la capacité de produire et supporter eux- mêmes la première entité virtuelle 15, 25, 35. Par exemple, une première entité virtuelle 15 d'une première entité mixte passive 1 peut alors être supportée par une deuxième entité mixte 2 qui va capturer des données relatives à la première entité réelle 14 et maintenir la première entité virtuelle 15, typiquement une caméra 241 qui filme une personne 14 et qui est connectée à un réseau dans lequel sera stockée la première entité virtuelle 15 de la première entité mixte 15. Une entité mixte active 1, 2, 3 a la capacité de supporter sa partie virtuelle 15, 25, 35. En particulier, la partie réelle 14, 24, 34 de l'entité mixte active est un smartphone, un HoloLens, un robot évolué, etc. Cette entité réelle 14, 24, 34 n'a pas besoin de son environnement pour supporter son entité virtuelle 15, 25, 35.
Ces entités mixtes 1, 2, 3 peuvent aussi être hybrides: une première entité mixte peut-être semi- active semi-passive si sa première entité réelle 14a la capacité de supporter sa première entité virtuelle 15 de façon autonome et d'utiliser, en plus, des données captées par d'autres entités mixtes 2, 3 de son environnement pour compléter le maintien de sa partie virtuelle 15.
La figure 2a illustre un schéma simplifié d’un premier mode de réalisation d’un système mixte selon l’invention.
En particulier, le système mixte 0 comporte :
- une entité passive mixte constituée par une entité mixte 1 (la première entité mixte citée ci- dessus par exemple) dans laquelle le contrôleur réel 142 et le contrôleur virtuel 152 ne sont pas apte à échanger des données, et
- une entité interface mixte constituée par une entité mixte 2 (la deuxième entité mixte citée ci- dessus par exemple) dans laquelle le contrôleur réel 242 et le contrôleur virtuel 252 sont aptes à échanger des données.
L’entité interface réelle 24 est apte à recevoir des données {d}r 1 2 relatives à l’entité passive réelle 14 et l’entité interface virtuelle 25, et l’entité interface virtuelle 25 est apte à recevoir des données relatives {d}v 1 2 à l’entité passive virtuelle 15 et l’entité interface réelle 24.
Une entité mixte passive 1 comporte notamment une entité réelle 14 notamment une entité tel qu’une personne (un utilisateur U) composée d’un système de capture ou de perception 141 comprenant notamment les yeux OE et d’un système actionnable 142 comprenant notamment les mains MN, un animal ou une plante qui pour interagir avec l’entité virtuelle 15 de son entité mixte 1 échange avec une entité interface mixte 2, aussi nommée entité mixte active, L’entité interface réelle 24 constitue une instrumentalisation de l’environnement réel et en particulier de l’entité réelle passive 14.
L’interface réelle 24 est notamment une interface utilisateur naturelle lorsque l’entité réelle passive 14 est un utilisateur U. Elle est responsable de la synchronisation entre l’entité réelle passive 14, l’utilisateur U, et l’entité virtuelle passive miroir 15, aussi nommé jumeau virtuel dans le cas d’une entité réelle humaine. Une interface utilisateur naturelle 14 peut être un détecteur environnemental, omniprésent comme un système de type Kinect (marque déposée) ou un dispositif de reconnaissance de mouvement des mains tel que le dispositif Leap Motion (marque déposée) statiquement placé dans un environnement, des objets intelligents non-portés ou des caméras de sécurité. Une interface utilisateur naturelle 14 peut aussi être un dispositif porté comme un masque ou des lunettes de réalité mixte, virtuelle ou augmentée, notamment les lunettes HoloLens (marque déposée). Dans ce cas, le dispositif de lunette de réalité mixte est responsable de capturer l’emplacement de la tête de l'utilisateur et l’orientation incluant le dépistage de regard fixe, l'activité des mains de l’utilisateur quand des gestes appropriés permettent leur détection et la reconnaissance d’instructions vocales quand activé par le mot-clé d'assistant vocal associé.
La figure 2b illustre un schéma simplifié d’un deuxième mode de réalisation d’un système mixte selon l’invention.
Une troisième entité mixte 3 comporte une troisième entité réelle 34 et une troisième entité virtuelle 35. La troisième entité réelle 34 est composée de troisièmes dispositifs réels. La troisième entité réelle 34 est divisée en trois troisièmes systèmes réels:
- un troisième système de capture réel 341 fournissant des troisièmes données réelles r3 pp de la troisième entité réelle 34;
- un troisième contrôleur réel 342 générant une troisième commande réelle r3 cm en fonction de troisièmes données de la troisième entité mixte reçues dont les troisièmes données réelles r3 pp;
- un troisième système actionnable réel 343 de la troisième entité réelle 34 en fonction de la troisième commande réelle r3 cmd générée par le troisième contrôleur réel 342, une troisième action ra effectuée par le troisième système actionnable réel 343 étant captée par le troisième système de capture réel 341 . Les trois troisièmes systèmes réels 341 , 342, 343 regroupent les troisièmes dispositifs réels composant la troisième entité réelle 34 en se basant sur la fonction des troisièmes dispositifs réels. La troisième entité virtuelle 35 est implémentée en miroir à la troisième entité réelle 34.
Un système mixte selon l’invention permet à un utilisateur U, 14 d’interagir dans la réalité mixte avec un objet mixte 3 soit pseudo-naturellement au moyen d’une interface de réalité mixte 2 soit naturellement en interagissant directement avec la partie réelle 34 (notamment un smartphone), tangible, de l'objet mixte 3. L’objet mixte 3 est une entité mixte au sens de l’invention. L'interface mixte 2 est responsable de la prise en charge de la partie virtuelle 15 de l'utilisateur mixte 1 , par exemple en suivant à la trace son corps, ses activités et ses interactions. L’interface mixte 2 comporte dans ce cas :
- un système de capture 241 de l'activité du corps d'utilisateur U, 14 pour synchroniser et prendre en charge la partie virtuelle 15 de l’utilisateur mixte 1 incluant son jumeau virtuel,
- un contrôleur 252 automatisant le comportement virtuel de la partie virtuelle 15 l'utilisateur mixte 1 en exécutant des scénarios prédéterminés, notamment en automatisant le comportement virtuel du système actionnable 153 de la partie virtuelle 15 de l’utilisateur mixte 1 ,
- un contrôleur réel 242 intégrant à l'espace virtuel la partie virtuelle 15 de l'utilisateur mixte 1 et son activité virtuelle,
- un contrôleur virtuel 252 commandant la reproduction de la partie virtuelle 35 de l'objet mixte 3, permettant ainsi à l’utilisateur réel 14 de percevoir la partie virtuelle 35 de l’objet mixte 3,
- le contrôleur virtuel 252 permettant la communication entre la partie virtuelle 34 de l'objet mixte 3 et la partie virtuelle 14 de l'utilisateur mixte 1 .
L'objet mixte 3 est capable de maintenir et contrôler sa partie virtuelle 35, y compris son comportement virtuel en exécutant des scénarios prédéterminés. L'objet mixte 3 comporte une partie tangible 34, capable de communiquer avec d'autres entités mixtes 1 , 2.
Lorsque la partie réelle 14 de l’entité mixte 1 est un utilisateur U, la communication d’une autre entité mixte 2, 3 avec l’utilisateur est réalisée par reproduction vidéo, audio, kinésique... d’informations relatives aux parties virtuelles 15, 25, 35 des différentes entités mixtes 1 , 2, 3.
La figure 3 illustre un schéma simplifié d’un procédé de génération d’une entité mixte EM_GN selon l’invention.
Le procédé de génération d’une entité mixte EM_GN, l’entité mixte comportant une entité réelle composée de dispositifs réels, l’entité réelle ER étant divisée en trois systèmes :
- un système de capture réel SCR fournissant des données réelles de l’entité réelle ;
- un contrôleur réel CR générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;
- un système actionnable réel SAR de l’entité réelle en fonction de commande réelle élaborée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;
les trois systèmes SCR, CR, SAR regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels, le procédé de génération EM_GN comporte une génération d’une entité virtuelle EV_GN en miroir de l’entité réelle ER.
Ainsi, l’entité virtuelle est une fonction miroir de l’entité réelle : EV=fm(ER).
En particulier, la génération de l’entité virtuelle EV_GN comporte :
- une génération de dispositifs virtuels DV_GN composant l’entité virtuelle et
- un regroupement RGPT des dispositifs virtuels générés en trois systèmes en se basant sur la fonction CPT, C, A des dispositifs virtuels:
+ un système de capture virtuel SCV fournissant des données virtuelles de l’entité virtuelle ;
+ un contrôleur virtuel CV générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles fournies par le système de capture virtuel; + un système actionnable virtuel SAV de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel.
En particulier, lorsque le contrôleur réel CR comporte une interface IPR avec un processeur mettant en oeuvre l’entité virtuel EV, la génération du contrôleur virtuel EV_GN comporte une intégration IPJNT dans le contrôleur virtuel généré CV d’une interface IPV avec l’entité réelle ER apte à échanger, avec le contrôleur réel CR, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel CR et le contrôleur virtuel CV dans la génération, respectivement, de commande réelle et d’une commande virtuelle.
La figure 4 illustre un schéma simplifié d’un procédé de génération d’un système mixte selon l’invention.
Le procédé de génération d’un système d’entités mixtes SM_GN comporte plusieurs générations d’entités mixtes EM_GN1 ... EM_GNn selon l’invention, notamment telles qu’illustrées par la figure 3. Les entités mixtes EM_GN1 ... EM_GNn étant aptes à échanger des données entre elles.
En particulier, lorsqu’une première génération d’entité mixte EM_GN1 est une génération d’une entité mixte passive EM1 dans laquelle le contrôleur réel CR1 et le contrôleur virtuel CV1 ne sont pas apte à échanger des données, une deuxième génération d’une entité mixte EM_GN2 est une génération d’une entité mixte interface comportant une intégration IPJNT, dans le contrôleur virtuel généré CV2, d’une interface IPV avec une entité réelle interface ER2 apte à échanger, avec un contrôleur interface réel CR2, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel CR2 et le contrôleur virtuel CV2 dans la génération, respectivement, de commande réelle et d’une commande virtuelle.
En particulier, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en oeuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif de génération d’entité mixte et/ou de système mixte et étant conçus pour commander l'exécution des différentes étapes de ce procédé.
L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de génération d’entité mixte selon l’une quelconque des revendications et/ou du procédé de génération d’un système d’entités mixtes selon l’une quelconque des revendications lorsque ledit programme est exécuté par un processeur. Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.
Les figures 5a à 5c illustrent un cas d’usage d’un système mixte comprenant un utilisateur 14, un smartphone 34 et des lunettes de réalité mixte 24, dans lequel une interface du smartphone indique à l’utilisateur 14 la connaissance par les lunettes de réalité mixte 24 de la position du smartphone 34. Les références correspondent à un système mixte tel qu’illustré par la figure 2b.
Dans ce premier scénario, la synchronisation des emplacements de l'objet mixte 3 et de l'interface mixte 2 est effectuée de telle sorte que la partie virtuelle 15 de l’utilisateur mixte 1 est consciente tant de son emplacement propre que l'emplacement de l’objet réel 34, et de manière isomorphe, la partie virtuelle 25 de l’objet mixte connaît son emplacement propre et aussi remplacement réel de l'utilisateur 14.
Dans les exemples des figures 5a à 5c, l’utilisateur 14 est informé du fait que les lunettes de réalité mixte 24 connaissent remplacement du smartphone 34 au moyen de données reproduites sur l’écran du smartphone 34. Par exemple, les données reproduites r2 pp sont des yeux qui se déplacent sur l’écran du smartphone 34 en fonction de la position des lunettes de réalité mixte 24 par rapport au smartphone 34.
Lorsque l’interface réelle 24, dans notre exemple l’HoloLens, détecte remplacement de l’entité réelle 34, dans notre exemple le smartphone ou plus particulièrement l’écran du smartphone, de l’objet mixte 3, l’entité virtuelle 35 de cet objet mixte 3 comportant le smartphone est estimé puis initialisé, dans notre exemple en affichant un visage virtuel.
La figure 5a illustre le cas d’usage dans une première position du smartphone par rapport aux lunettes de réalité mixte. Les yeux montrent que les lunettes sont situées sur l’avant gauche du smartphone.
La figure 5b illustre un cas d’usage dans une deuxième position du smartphone par rapport aux lunettes de réalité mixte. Les yeux montrent que les lunettes sont situées devant le smartphone.
La figure 5c illustre un cas d’usage dans une troisième position du smartphone par rapport aux lunettes de réalité mixte. Les yeux montrent que les lunettes sont situées sur l’avant droite du smartphone.
En particulier, une position relative de l’interface réelle 24 et de l’objet réel 34 est estimée à un instant donné. Par exemple, une matrice de transfert entre un système de coordonnées de suivi de l’interface réelle 24 et un système de coordonnées de suivi de l’objet réel 34, notamment le système ARCore (marque déposée) d’un smartphone, est déterminée.
En particulier, l’interface virtuelle 25 et l’objet virtuel 35 partagent leurs positions et/ou la position relative, notamment la matrice de transfert.
Quand le suivi de l’objet réel 34 est perdu (notamment le suivi fourni par un système de coordonnées de suivi tel que Vuforia - marque déposée), l’interface virtuelle 25 arrête alors de suivre à la trace l’objet réel 34 en temps réel et commence à mettre à jour l’objet virtuel avec les translations et rotations fournies par le système de suivi de l’objet réel 34 et envoyées par le réseau à l’interface réelle 24 puis transposées dans le système de coordonnées de suivi de l’interface réelle 24 par la matrice de transfert précédemment déterminée. Ainsi, remplacement de chaque dispositif réel (interface réelle 24, objet réel 34) sont connu l’un de l'autre puisqu'ils synchronisent en temps réel par le réseau leur position propre comme un paramètre de leur entité virtuelle respective.
La perception par l’interface réelle 24 de la position de l’objet réel 34 est fournie en retour à l’utilisateur 14 en ajoutant à l’objet virtuel 35 un élément directionnel indiquant la position de l’interface réelle 24: par exemple un visage virtuel, un ou des yeux virtuels regardant l’interface réelle 24, et donc l'utilisateur 14 dans le cas d’une interface réelle 24 constituée par des lunettes de réalité mixte tel que des HoloLens.
En particulier, l’objet virtuel 35 reproduit une information de position estimée de l’interface réelle et l’objet réel 34 partage via un réseau cette information de position estimée de l’interface réelle 24 avec l’interface virtuelle 25. Cela permet à l’utilisateur 14 d’interagir pseudo naturellement avec l’interface réelle 24 de l’interface mixte 2 dont l’interface virtuelle 25 synchronise et positionne l’utilisateur virtuel 15 afin que l’utilisateur 14 puisse interagir de manière tangible avec l’objet 34.
En particulier, un contrôleur réel 242, 342 d’une première entité mixte 2, 3 comporte des moyens de détermination en temps réel de la position d’une deuxième entité réelle 3, 2 en fonction de la position en temps réel de la première entité réelle 24, 34 et de la position relative de la première entité réelle 24 par rapport à la deuxième entité réelle 34 déterminée à un instant donné. Notamment la position relative de la première entité réelle 24 par rapport à la deuxième entité réelle 34 déterminée à un instant donné est constituée par une matrice de transposition entre un premier système de coordonnées de suivi correspondant à la première entité réelle 24 et un deuxième système de coordonnées de suivi correspondant à la deuxième entité réelle 34.
Les figures 6a à 6d montrent un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant le guidage de l’interaction de l’utilisateur au moyen d’une entité virtuelle associée au smartphone permettant de déclencher une interaction réelle avec le smartphone.
Le smartphone mixte 3 comporte les fonctionnalités suivantes :
- partager avec l’interface mixte 2 des données en grand nombre, tels que des contacts ;
- fournir une interface utilisateur tangible 351 pour déplacer ses contacts ;
- fournir une interface tactile 341 pour interagir avec des contacts virtuels par contact,
L’interface mixte 2, comportant en l’occurrence l’HoloLens, comporte les fonctionnalités suivantes :
- reproduire le grand nombre de données, notamment des contacts, de l’objet mixte 3 ;
- permettre à l'utilisateur mixte 1 de pseudo-naturellement interagir en utilisant des interactions virtuelles ou gestuelles ou en l’air (ou « in-air » en anglais) avec des contacts pour choisir et centrer sur le smartphone réel 34 un contact pour plus loin interagir avec.
Ces scénarios d’interactions hybrides commençant « in air » entre un utilisateur mixte 1 et quelques paramètres virtuels d'un objet mixte 3 par une interface mixte 2 et finissant tactilement sous la forme d’interactions tangibles et tactiles entre l'utilisateur mixte 1 et quelques paramètres virtuels de l'objet mixte 3 par l'interface mixte 2.
La figure 6a illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une entité virtuelle associée au smartphone.
Le smartphone 34 montre des données sur l’écran réel et aussi sur sa partie virtuelle 35. En particulier, lorsque les données à reproduire sont en grand nombre, il peut être intéressant pour une meilleure perception et/ou interaction par l’utilisateur 14 qu’elles soient reproduites sur le smartphone virtuel 35, par exemple sous la forme d’une mosaïque comme le montre la figure 6a.
La figure 6b illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une interaction de l’utilisateur avec l’entité virtuelle associée au smartphone.
L’utilisateur 14 souhaitant sélectionner une des données affichées virtuellement pointe son doigt vers une des données. Le smartphone virtuel reproduit cette sélection en modifiant la reproduction de la donnée par exemple en modifiant la couleur d’affichage de la donnée sélectionnée virtuellement en rouge et/ou en modifiant sa taille d’affichage (en l’agrandissant), etc.
La figure 6c illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone, Le smartphone virtuel 34 guide l’utilisateur 14 vers le smartphone réel 34 en décalant la reproduction de la donnée sélectionnée virtuellement vers l’écran du smartphone réel 34, par exemple en décalant l’ensemble des données (la mosaïque) de tel sorte que la donnée sélectionnée soit placée devant l’écran du smartphone réel 34.
La figure 6d illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant que le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone permet de déclencher une interaction réelle avec le smartphone.
Ainsi, le doigt de l’utilisateur 14 guidé par le smartphone virtuel 34 vers le smartphone réel 34 en décalant la reproduction de la donnée sélectionnée virtuellement vers l’écran du smartphone réel 34 sélectionne la donnée tactilement sur l’écran du smartphone 34 dans une zone d’interaction mixte ZIM.
Le contrôleur virtuel d’une entité mixte comporte des moyens de modifications de la position de reproduction virtuelle d’une donnée sélectionnée virtuellement, la position de reproduction virtuelle de la donnée sélectionnée virtuellement étant modifiée progressivement vers une position de l’écran de l’entité réelle.
L'invention vise aussi un support. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau notamment de type Internet.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Dans une autre implémentation, l'invention est mise en oeuvre au moyen de composants logiciels et/ou matériels. Dans cette optique le terme module peut correspondre aussi bien à un composant logiciel ou à un composant matériel. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en oeuvre une fonction ou un ensemble de fonction selon la description ci-dessus. Un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en oeuvre une fonction ou un ensemble de fonctions.

Claims

REVENDICATIONS
1 . Entité mixte comportant :
- une entité réelle composée de dispositifs réels, l’entité réelle étant divisée en trois systèmes :
+ un système de capture réel fournissant des données réelles de l’entité réelle ;
+ un contrôleur réel générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;
+ un système actionnable réel de l’entité réelle en fonction de commande réelle générée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;
les trois systèmes regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels; et
- une entité virtuelle implémentée en miroir à l’entité réelle.
2. Entité mixte selon la revendication précédente, caractérisé en ce que l’entité virtuelle comporte :
- un système de capture virtuel fournissant des données virtuelles de l’entité virtuelle ;
- un contrôleur virtuel générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles;
- un système actionnable virtuel de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel;
les trois systèmes regroupant les dispositifs virtuels composant l’entité virtuelle en se basant sur la fonction des dispositifs virtuels.
3. Entité mixte selon l’une quelconque des revendications précédentes caractérisé en ce que le contrôleur réel et le contrôleur virtuel échangent les données réelles et les données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et de commande virtuelle
4. Système d’entités mixtes composé de plusieurs entités mixtes selon l’une quelconque des revendications précédentes, les entités mixtes étant aptes à échanger des données entre elles.
5. Système d’entités mixtes selon la revendication précédente, caractérisé en ce que le système mixte comporte :
- d’une entité passive mixte constituée par une entité mixte selon l’une quelconque des revendications 1 ou 2 dans laquelle le contrôleur réel et le contrôleur virtuel ne sont pas apte à échanger des données, et
- d’une entité interface mixte constituée par une entité mixte selon l’une quelconque des revendications 1 à 3 dans laquelle le contrôleur réel et le contrôleur virtuel sont aptes à échanger des données,
l’entité interface réelle étant apte à recevoir des données relatives à l’entité passive réelle et l’entité interface virtuelle et l’entité interface virtuelle étant apte à recevoir des données relatives à l’entité passive virtuelle et l’entité interface réelle.
6. Procédé de génération d’une entité mixte, l’entité mixte comportant une entité réelle composée de dispositifs réels, l’entité réelle étant divisée en trois systèmes :
- un système de capture réel fournissant des données réelles de l’entité réelle ;
- un contrôleur réel générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;
- un système actionnable réel de l’entité réelle en fonction de commande réelle élaborée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;
les trois systèmes regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels, le procédé de génération comporte une génération d’une entité virtuelle en miroir de l’entité réelle.
7. Procédé de génération d’une entité mixte selon la revendication précédente, caractérisé en ce que la génération de l’entité virtuelle comporte :
- une génération de dispositifs virtuels composant l’entité virtuelle et
- un regroupement des dispositifs virtuels générés en trois systèmes en se basant sur la fonction des dispositifs virtuels:
+ un système de capture virtuel fournissant des données virtuelles de l’entité virtuelle ;
+ un contrôleur virtuel générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles fournies par le système de capture virtuel;
+ un système actionnable virtuel de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel.
8. Procédé de génération d’une entité mixte selon l’une quelconque des revendications 6 ou 7, caractérisé en ce que, lorsque le contrôleur réel comporte une interface avec un processeur mettant en oeuvre l’entité virtuel, la génération du contrôleur virtuel comporte une intégration dans le contrôleur virtuel généré d’une interface avec l’entité réelle apte à échanger, avec le contrôleur réel, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et d’une commande virtuelle.
9. Procédé de génération d’un système d’entités mixtes comportant plusieurs génération d’entités mixtes selon l’une quelconque des revendications 6 à 8, les entités mixtes étant aptes à échanger des données entre elles.
10. Procédé de génération d’un système mixte selon la revendication précédente, caractérisé en ce que, lorsque une première génération d’entité mixte est une génération d’une entité mixte passive selon l’une des revendication 6 ou 7 dans laquelle le contrôleur réel et le contrôleur virtuel ne sont pas apte à échanger des données, une deuxième génération d’une entité mixte est une génération d’une entité mixte interface comportant une intégration, dans le contrôleur virtuel généré, d’une interface avec une entité réelle interface apte à échanger, avec un contrôleur interface réel, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et d’une commande virtuelle.
11. Programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de génération d’entité mixte selon l’une quelconque des revendications 6 à 8 et/ou du procédé de génération d’un système d’entités mixtes selon l’une quelconque des revendications 9 ou 10 lorsque ledit programme est exécuté par un processeur.
PCT/EP2020/056209 2019-03-21 2020-03-09 Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte WO2020187631A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR1902910 2019-03-21
FR1902910A FR3094123B1 (fr) 2019-03-21 2019-03-21 Entité mixte, système mixte, procédé de génération d’entité mixte, procédé de génération de système mixte

Publications (1)

Publication Number Publication Date
WO2020187631A1 true WO2020187631A1 (fr) 2020-09-24

Family

ID=67660235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/056209 WO2020187631A1 (fr) 2019-03-21 2020-03-09 Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte

Country Status (2)

Country Link
FR (1) FR3094123B1 (fr)
WO (1) WO2020187631A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109014A (ko) * 2014-03-18 2015-10-01 홍익대학교 산학협력단 사용자 반응에 기초한 작가 피드백 제공 시스템 및 작가 피드백 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109014A (ko) * 2014-03-18 2015-10-01 홍익대학교 산학협력단 사용자 반응에 기초한 작가 피드백 제공 시스템 및 작가 피드백 제공 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COUTRIX ET AL.: "Proceedings of the working conférence on Advanced visual interfaces, AVI'06", 2006, ACM PRESS, article "Mixed reality : a model of mixed interaction"
DIXON K ET AL: "RAVE: a real and virtual environment for multiple mobile robot systems", INTELLIGENT ROBOTS AND SYSTEMS, 1999. IROS '99. PROCEEDINGS. 1999 IEEE /RSJ INTERNATIONAL CONFERENCE ON KYONGJU, SOUTH KOREA 17-21 OCT. 1999, PISCATAWAY, NJ, USA,IEEE, US, vol. 3, 17 October 1999 (1999-10-17), pages 1360 - 1367, XP010362379, ISBN: 978-0-7803-5184-4, DOI: 10.1109/IROS.1999.811669 *
NORMAND ERWAN ET AL: "Enlarging a Smartphone with AR to Create a Handheld VESAD (Virtually Extended Screen-Aligned Display)", 2018 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR), IEEE, 16 October 2018 (2018-10-16), pages 123 - 133, XP033502091, DOI: 10.1109/ISMAR.2018.00043 *

Also Published As

Publication number Publication date
FR3094123A1 (fr) 2020-09-25
FR3094123B1 (fr) 2023-04-28

Similar Documents

Publication Publication Date Title
US11380064B2 (en) Augmented reality platform
KR102308736B1 (ko) 삼차원 혼합 현실 뷰포트
US20190087205A1 (en) Varying modality of user experiences with a mobile device based on context
CN114730546A (zh) 具有定位服务和基于位置的共享内容的交叉现实系统
US20160321841A1 (en) Producing and consuming metadata within multi-dimensional data
US11770599B2 (en) Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
AU2021290132C1 (en) Presenting avatars in three-dimensional environments
WO2015088910A1 (fr) Affichage interactif d'images à grande gamme dynamique
US20230119849A1 (en) Three-dimensional interface control method and terminal
KR20230122642A (ko) 안경류 디바이스 상의 3d 페인팅
Kuntz et al. The Democratization of VR‐AR
KR20230141917A (ko) 아바타 생성 사용자 인터페이스
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
WO2024064950A1 (fr) Procédés pour des ajustements de l'heure du jour pour des environnements et une présentation d'environnement pendant des sessions de communication
WO2020187631A1 (fr) Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte
FR3107390A1 (fr) Dispositif, système et procédé de traitement de données de réalité virtuelle
US20230350539A1 (en) Representations of messages in a three-dimensional environment
EP3942390A1 (fr) Dispositif, système et procédé de traitement de données de réalite virtuelle
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
Bhowmik ILLIXR-A: an open source extended reality system for android platforms
WO2024064016A1 (fr) Dispositifs, procédés et interfaces utilisateur pour interactions basées sur des gestes
WO2024064350A1 (fr) Interfaces utilisateur pour capturer des contenus multimédias stéréoscopiques
WO2024064278A1 (fr) Dispositifs, procédés et interfaces utilisateur graphiques pour interagir avec des expériences de réalité étendue
CN117193538A (zh) 用于在三维环境中呈现化身的界面
Sörbris et al. Implementing a Wizard of Oz Tool for Augmented Reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20707683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20707683

Country of ref document: EP

Kind code of ref document: A1