WO2020187950A1 - Dispositif, système et procédé de traitement de données de réalite virtuelle - Google Patents

Dispositif, système et procédé de traitement de données de réalite virtuelle Download PDF

Info

Publication number
WO2020187950A1
WO2020187950A1 PCT/EP2020/057357 EP2020057357W WO2020187950A1 WO 2020187950 A1 WO2020187950 A1 WO 2020187950A1 EP 2020057357 W EP2020057357 W EP 2020057357W WO 2020187950 A1 WO2020187950 A1 WO 2020187950A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
data processing
processing device
user
tangible device
Prior art date
Application number
PCT/EP2020/057357
Other languages
English (en)
Inventor
Guillaume Bataille
Bruno Arnaldi
Valérie GOURANTON
Original Assignee
Orange
Institut National Des Sciences Appliquées De Rennes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1902910A external-priority patent/FR3094123B1/fr
Priority claimed from FR2001408A external-priority patent/FR3107390B1/fr
Application filed by Orange, Institut National Des Sciences Appliquées De Rennes filed Critical Orange
Priority to EP20711590.8A priority Critical patent/EP3942390A1/fr
Priority to US17/593,542 priority patent/US11875465B2/en
Publication of WO2020187950A1 publication Critical patent/WO2020187950A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the invention relates to the field of virtual and mixed reality and in particular user interactions in a virtual / mixed reality environment.
  • MIS Mixed Interactive System
  • a model of mixed systems is used by Coutrix et al "Mixed reality: a model of mixed interaction" Proceedings of the working conference on Advanced Visual interfaces, AVI '06, p. 43 ACM Press, Kunststoffi, Italy, 2006, to produce a mixed reality in which a system is composed of mixed objects formed of two parts: a physical or real part described by its physical properties and a digital or virtual part made up of digital properties .
  • the two real and virtual parts are synchronized so that a modification of a property of the real part, respectively virtual, is reproduced on the corresponding property of the virtual part, respectively real.
  • Virtual reality synchronizes real and virtual worlds and makes it possible to interact simultaneously in these real and virtual worlds.
  • Natural user interfaces use the human body as an interface to deliver natural and intuitive interactions with digital technologies. For example, such natural interactions are in particular voice commands, or gestural interactions.
  • the Internet of Things (or IoT for Internet of Things) provides and enhances interactions with everyday objects.
  • Haptic systems exist to allow physical feedback to the user from user interaction in a virtual environment.
  • the user of a virtual reality system may be equipped with gloves with a haptic mechanism that provides a tactile sensation during gestural interaction in the virtual reality environment.
  • these mechanisms require the wearing of specific gloves reducing the natural character of a gestural interaction.
  • the performance of these haptic feedback systems is limited, especially in modeling how the user would feel if they had interacted in the real world.
  • the invention improves the state of the art. It relates to a virtual reality data processing device, intended to be worn by the head of a user, and configured for:
  • the device according to the invention makes it possible to provide a hybrid user interaction mechanism combining virtual user interaction on virtual elements of a virtual interface and tangible user interaction on a physical medium.
  • Such a device makes it possible to improve the sensations felt by the user during interactions in a virtual reality environment, by improving the feeling of immersion in virtual reality.
  • the use of a virtual interaction interface with a tangible interaction medium can virtually increase the display area, allowing more data to be displayed than on the physical medium.
  • the virtual reality data processing device is further configured:
  • the data processing device makes it possible to provide new services for the use of connected objects.
  • connected objects are often limited in terms of displaying data about them.
  • the device according to the invention makes it possible to display information or menus relating to the connected object which are conventionally not directly accessible via physical properties of the connected object.
  • the data processing device is further configured to move the virtual interaction interface restored as a function of a movement of the part of the body being tracked, so that said element virtual on which said at least a part of the body interacts is restored in superposition with the tangible device.
  • the virtual interaction interface is moved relative to the tangible device so that part of the virtual interface on which the user is likely to interact is placed just at -above the tangible device.
  • the virtual reality data processing device is configured to determine a first relative position of the tangible device in a 3D coordinate system of the data processing device, from a second position of the tangible device in a 3D coordinate system of the tangible device, said second position being received from the tangible device.
  • the data processing device can determine the relative position of the tangible device, even if the tangible device moves, for example in the case of a smartphone held in the hand by the user.
  • the data processing device is configured to obtain information representative of a contact of the part of the user's body with the tangible device. , said information representative of a contact being received from the tangible device.
  • the virtual interaction interface comprises a plurality of virtual elements representative of a plurality of real data stored in a memory of the tangible device, said at least one user interaction selecting at at least one virtual element from among the plurality of virtual elements, said selection of said at least one virtual element from among the plurality of virtual elements corresponding to a selection of corresponding real data in the memory of the tangible device.
  • the virtual reality data processing device is configured to receive, from the tangible device, said plurality of real data.
  • the real entity of the mixed object is connected to the data processing device via a data network.
  • the real part of the mixed object can be distant from the tangible device and from the data processing device.
  • the virtual interaction interface comprises a virtual representation of a real environment, said real environment comprising at least one connected object, the virtual representation comprising a virtual element representative of said connected object , the virtual element corresponding to the virtual entity of the mixed object and the connected object corresponding to the real entity of the mixed object.
  • the system comprises one or more mixed objects, each real part, respectively virtual, being placed in its real environment, respectively virtual.
  • the actual environment may also be distant from the data processing device and the tangible device.
  • this particular embodiment of the invention makes it possible to control connected objects that are not accessible, or remote from the user.
  • the invention also relates to a virtual reality data processing system comprising a virtual reality data processing device according to any one of the particular embodiments cited above and a tangible device configured to communicate with the processing device. of virtual reality data.
  • the tangible device corresponds to the real entity of the mixed object.
  • the virtual interaction interface and the tangible device form a mixed object in the sense that the interface virtual interaction constitutes the virtual part of the mixed object and the tangible device constitutes the real part of the mixed object.
  • the real entity of the mixed object is connected to a communication network
  • the system further comprises a network server configured to establish communications between the real entity of the mixed object and data processing device.
  • This particular embodiment of the invention makes it possible to apply the system of the invention to any type of connected object.
  • the system is applicable to any type of real object as long as the real object is suitable for connection to a network, for example via a connected outlet.
  • said at least one real item of data corresponds to a state of the real object.
  • the state of the real object corresponds to an on or off state of the real object.
  • the invention also relates to a method of processing virtual reality data, implemented by the virtual reality data processing device according to any one of the particular modes mentioned above.
  • such a method comprises:
  • the method further comprises the modification or the selection, as a function of said at least one detected user interaction, of at least one real datum of a real entity of a mixed object. comprising said real entity and a virtual entity, said virtual entity of said mixed object being included in said virtual interaction interface.
  • the method for processing virtual reality data further comprises determining a displacement of the virtual interaction interface restored as a function of a displacement of the part of the body. followed, so that said virtual element on which said at least one part of the body interacts is restored in superposition with the tangible device.
  • the method for processing virtual reality data further comprises determining a first relative position of the tangible device in a 3D coordinate system of the data processing device, from a second position of the tangible device in a 3D coordinate system of the tangible device, said second position being received from the tangible device.
  • the detection of at least one user interaction comprises obtaining a contact information of the part of the body of the user with the tangible device, said contact information being received from the tangible device.
  • the invention also relates to a computer program comprising instructions for implementing the virtual reality data processing method according to any one of the particular embodiments described above, when said program is executed by a processor.
  • a program can use any programming language. It can be downloaded from a communications network and / or recorded on a computer readable medium.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other. desirable shape.
  • a recording medium or information medium readable by a computer which comprises instructions of a computer program as mentioned above.
  • the mentioned recording media above can be any entity or device capable of storing the program.
  • the medium may comprise a storage means, such as a memory of the Read-Only Memory (ROM) type, for example a CD-ROM or a microelectronic circuit ROM, a flash memory mounted on a removable storage medium , such as a USB key, or a magnetic mass memory of the Hard-Disk Drive (HDD) or Solid-State Drive (SSD) type, or a combination of memories operating according to one or more data recording technologies.
  • the recording media can correspond to a transmissible medium such as an electrical or optical signal, which can be conveyed via an electrical or optical cable, by radio or by other means.
  • the proposed computer program can be downloaded from an Internet type network.
  • the recording media can correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the virtual reality data processing method according to the invention can therefore be implemented in various ways, in particular in hardware form or in software form, or be implemented in the form of a combination of hardware and software elements.
  • FIG. 2 illustrates steps of the virtual reality data processing method according to a particular embodiment of the invention
  • FIG. 3 illustrates an example of user interaction in the implementation environment described in relation to Figure 1,
  • FIG. 4 illustrates an example of an environment for implementing the invention according to another particular embodiment of the invention
  • FIG. 5 illustrates steps of the virtual reality data processing method according to the particular embodiment of the invention described in relation to Figure 4,
  • FIG. 6 illustrates an example of a virtual interaction interface according to the particular embodiment of the invention described in relation to Figure 4,
  • FIG. 7 illustrates an example of user interaction in the implementation environment described in relation to Figure 4,
  • FIG. 8 illustrates an example of an environment for implementing the invention according to another particular embodiment of the invention.
  • FIG. 9 illustrates an example of user interaction in the implementation environment described in relation to Figure 8,
  • FIG. 10 illustrates the steps of the virtual reality data processing method according to the particular embodiment of the invention, described in relation to Figures 8 and 9,
  • FIG. 11 schematically illustrates the structure of a virtual reality data processing device according to a particular embodiment of the invention.
  • FIG. 1 illustrates an example of an environment 10 for implementing the invention according to a particular embodiment of the invention.
  • the environment 10 includes in particular a USR user equipped with an HL virtual reality data processing device.
  • the HL virtual reality data processing device is a virtual reality headset worn by the user's head, such as a Hololens headset from Microsoft ⁇ .
  • the environment also includes a tangible device DT configured to communicate with the data processing device HL.
  • the tangible device is a real object such as a fan ( Figure 3).
  • the example is not limited to such a tangible device which also be a bulb, a thermometer, a presence detector or any other type of home automation object.
  • the tangible device DT comprises a connected socket PR connected to a server SERV in the environment 10.
  • the server SERV and the data processing device HL are configured to establish communications via a wireless connection, for example in Bluetooth or WiFi.
  • the data processing device HL, the tangible device DT and the server SERV form a data processing system within the meaning of the invention.
  • the data processing device HL is configured to display to the user a virtual interaction interface INT associated with the tangible device.
  • Figure 3 illustrates an example of user interaction in the implementation environment described in relation to Figure 1.
  • the virtual interaction interface INT includes a virtual element (virtual switch in images 3b and 3d) on which the user can interact to modify a state of the tangible device DT.
  • a virtual element virtual switch in images 3b and 3d
  • the tangible device DT is a mixed object comprising a real entity, here the real object, and a virtual entity corresponding to a digital representation of the real object by the device.
  • the virtual entity of the mixed object can be the virtual element of the INT interaction virtual interface.
  • the virtual state of the virtual representation of the tangible device is changed and the actual state of the tangible device is changed.
  • the state of the tangible device here corresponds to an off / on state.
  • the virtual interaction interface INT is restored to the user in superposition of the tangible device DT, so that when the user interacts on the virtual interaction interface INT (FIG. 3 image c), he is in contact with the tangible device DT (FIG. 3 image d).
  • the data processing device HL detects the collision between the virtual representation of the hand of the user USR and the virtual switch of the tangible device.
  • the virtual switch is displayed above the surface of the tangible device DT.
  • the user touches the virtual switch he also touches the tangible surface of the tangible device DT, making the virtual part of the mixed object / tangible device DT tangible.
  • FIG. 2 illustrates steps of the method of processing virtual reality data according to the particular embodiment of the invention described in relation to FIG. 1.
  • the method of processing virtual reality data is implemented by the control device.
  • the data processing device HL determines the relative position of the tangible device DT in its 3D coordinate system.
  • the tangible device DT is fixed in the environment 10.
  • the position of the tangible device DT in the environment 10 is obtained by the data processing device HL by detecting in the real environment 10, the laying of a predefined texture whose location is known in the virtual representation of the environment 10 implemented by the data processing device HL.
  • the data processing device HL returns a virtual interaction interface to the user.
  • This virtual interface is restored in the field of vision of the data processing device.
  • the virtual interaction interface is restored to the user, superimposed on the tangible device DT, when the tangible device is located in the field of view of the data processing device.
  • the virtual interaction interface INT is rendered to the user on top of the tangible device DT.
  • a step 22 at least a part of the user's body capable of interacting via the virtual interaction interface INT is followed by the data processing device HL.
  • the user's hand is followed by the data processing device HL.
  • the data processing device HL detects a user interaction on a virtual element of the virtual interface interaction INT.
  • the state of the tangible device corresponding for example to an on or off state of the tangible device, is modified.
  • the HL data processing device modifies the virtual state of the virtual representation of the tangible device. This modification is transmitted via the COM connection to the server which modifies the state of the switch of the PR socket. The actual state of the tangible device is thus modified via the change of state of the socket PR.
  • FIG. 4 illustrates an example of an environment 40 for implementing the invention according to another particular embodiment of the invention.
  • the environment 40 includes in particular a USR user "equipped with an HL virtual reality data processing device", for example a virtual reality headset worn by the user's head.
  • the environment also includes a tangible device DT "configured to communicate with the data processing device HL".
  • the tangible device DT ’ is a mobile terminal, for example a smartphone (for smart phone in English).
  • the DT Tangible Device “and the HL Data Processing Device” are configured to establish communications via a wireless COM connection, such as Bluetooth or WiFi.
  • a wireless COM connection such as Bluetooth or WiFi.
  • the tangible device DT "and the data processing device HL” are configured to exchange their relative positions in their respective 3D coordinate system.
  • the data processing device HL ", the tangible device DT form a data processing system within the meaning of the invention.
  • the data processing device HL ’ is configured to display to the user a virtual interaction interface INT’ associated with the tangible device DT ’.
  • the virtual interaction interface INT ' is restored to the user in superposition of the tangible device DT', so that when the user interacts on the interface of virtual interaction INT '(FIG. 7 images f, g), it is in contact with the tangible device DT'.
  • the data processing device HL ' detects the collision between the virtual representation of the hand of the user USR' and a virtual element ELT of the virtual interface interaction INT '.
  • the tangible device DT ' is a mixed object comprising a real entity, here the smartphone, and an entity virtual representation corresponding to a digital representation of the smartphone by the data processing device HL '.
  • FIG. 5 illustrates steps of the method of processing virtual reality data according to the particular embodiment of the invention described in relation to FIG. 4.
  • the method of processing virtual reality data is implemented by the control device. data processing HL 'described in relation to FIG. 4.
  • the data processing device HL ’ determines the relative position of the tangible device DT’ in its 3D coordinate system.
  • the data processing device HL ' determines a relative position of the tangible device DT' in the 3D coordinate system of the data processing device DT ', from a position of the tangible device DT' transmitted by the device tangible DT '.
  • This transmitted position of the tangible device DT ’ corresponds to the relative position of the tangible device DT’ in its 3D coordinate system.
  • the tangible device DT ’ is held in the hand by the user and can therefore move.
  • the HL data processing device then calculates a passage matrix between the two 3D coordinate systems.
  • the data processing device HL knows its own pose (position and orientation) in its own 3D coordinate system, for example via a dedicated component of SLAM type (for "Simultaneous Localization And Mapping" in English) integrated in the data processing device HL '.
  • the tangible device DT ' has its own pose in its own 3D coordinate system, for example using an integrated dedicated component such as the ARCore SLAM from the company Google ⁇ .
  • the tangible device DT ' continuously transmits to the data processing device HL' its position and its orientation.
  • the two 3D coordinate systems (that of the data processing device HL 'and that of the tangible device DT') are synchronized when the data processing device HL 'calculates the pose of the tangible device DT' in the 3D coordinate system of the data processing device HL '.
  • the tangible device DT ' displays a determined texture known to the data processing device HL'.
  • the data processing device HL ' detects, using its camera (s), the texture displayed by the tangible device DT ', the data processing device HL' calculates the transformation matrix of the tangible device DT '.
  • the data processing device HL ' may include a computer vision software module to recognize and track 3D images and objects in real time, such as VuForia software.
  • a transition matrix is then determined from the transformation matrix of the tangible device DT ’.
  • Such a pass matrix defines a common 3D coordinate system for the positions of the data processing device HL "and the tangible device DT".
  • the sum of the position of the data processing device HL 'and the pose of the tangible device DT' estimated by the data processing device HL ' is compared with the position of the tangible device DT' estimated by itself to provide the passage matrix.
  • the HL data processing device “continuously determines in its 3D coordinate system, the position of the virtual representation of the tangible device DT" from the relative position transmitted by the tangible device DT "and the passage matrix.
  • the data processing device HL "renders a virtual interaction interface INT" to the user.
  • This virtual interface INT is rendered in the field of view of the data processing device, superimposed on the tangible device DT’, when the tangible device is located in the field of view of the data processing device.
  • the tangible device DT ' can be manipulated and moved, when the tangible device DT' is moved, the virtual interaction interface INT 'is restored by the data processing device HL' following the movements of the tangible device DT ' .
  • This operation is for example illustrated in Figure 6.
  • the virtual interface INT ’ takes the form of a virtual face displayed overlaying the surface of the tangible device DT’.
  • the successive images in Figure 6 illustrate the movement of the virtual interface INT ’following the movements of the tangible device DT’.
  • FIG. 7 also illustrates an example of user interaction according to the particular embodiment of the invention described here.
  • the virtual interaction interface INT ' comprises a plurality of virtual elements (El, E2, etc.) shown in Figure 7 by white or gray squares.
  • This plurality of virtual elements is representative of a plurality of real data stored in a memory of the tangible device DT ′.
  • the data processing device HL' receives, from the tangible device DT ', data representative of this plurality of real data.
  • the real data here correspond to contacts stored in the memory of the smartphone DT '.
  • Each virtual element of the INT ’virtual interaction interface displayed in images b to g in Figure 7 corresponds to a contact stored in the DT’ smartphone.
  • a step 53 at least a part of the user's body capable of interacting via the virtual interaction interface INT ’is followed by the data processing device HL’.
  • the hand of the user USR ’ is followed by the data processing device HL’.
  • step 54 the virtual interaction interface INT ’is returned to the user by following the movement of the part of the body being tracked, here the hand of the user USR’. This allows a virtual ELT element "on which the user's body part interacts to be rendered superimposed on the tangible device DT".
  • the succession of images b to g of FIG. 7 illustrates such a displacement of the virtual interaction interface INT 'with the hand of the user USR'.
  • image b of FIG. 7 the virtual interaction interface INT 'is restored in a centered manner with respect to the tangible device DT' appearing in the field of vision of the data processing device HL '.
  • the virtual interaction interface INT ' moves upwards
  • the virtual interaction interface INT ' moves upwards (FIG. 7, image c).
  • the virtual interaction interface INT 'goes down FIG. 7 image d).
  • the user's finger approaches the tangible device DT ', indicating that the user is likely to interact on a virtual element ELT' located in this zone of the virtual interface INT '.
  • the data processing device HL ' determines the virtual element ELT' on which the user is likely to interact, as a function of the position of the finger with respect to the virtual interaction interface INT '.
  • This ELT 'element is visually rendered larger to indicate to the user on which element he will interact.
  • the virtual interaction interface INT' is moved so that the virtual element ELT 'on which the user wishes to interact is placed above the surface of the tangible device DT '(image f in FIG. 7).
  • the data processing device HL' detects a user interaction on the virtual interface of ′. interaction INT 'corresponding here to a selection of the virtual element ELT' by the user.
  • the data processing device HL To detect user interaction, the data processing device HL 'detects the virtual representation of the user's hand or finger and focuses on the virtual element closest to the virtual representation of the hand or the finger. user's finger.
  • the tangible device DT In step 55, when the user touches the surface of the tangible device DT ′, for example here the touch screen of the smartphone, the tangible device DT ’detects the contact of the user's finger on this surface. The tangible device DT "transmits this contact information to the data processing device HL" which can then use it to validate the detection of user interaction in its virtual representation.
  • the contact stored in the memory of the tangible device DT ’and corresponding to the virtual element ELT’ on which the user has interacted is selected.
  • the data processing device HL "transmits to the tangible device DT" information indicating the selection of the contact associated with the virtual element ELT ".
  • the user can then act on this contact, for example initiating a call, sending a message, etc ...
  • FIG. 8 illustrates an example of an environment 80 for implementing the invention according to another particular embodiment of the invention.
  • the environment 80 comprises in particular a user USR ”equipped with a device for processing HL virtual reality data ”, for example a virtual reality headset worn by the user's head.
  • the environment also includes a tangible device DT ”configured to communicate with the data processing device HL”.
  • the tangible device DT is a mobile terminal, for example a smartphone.
  • the tangible device DT ”and the data processing device HL” are configured to establish communications via a wireless connection COM ”, for example in Bluetooth or WiFi.
  • the tangible device DT ”and the data processing device HL” are configured to exchange their relative position in their respective 3D coordinate system.
  • the data processing device HL ", the tangible device DT" form a data processing system within the meaning of the invention.
  • the data processing device HL is configured to display to the user a virtual interaction interface INT" associated with the tangible device DT ".
  • INT interaction virtual interface
  • INT interaction virtual interface
  • the real environment 81 includes a connected object OBJ configured to communicate via a RES data network with the data processing device HL ’’.
  • the environment 80 illustrated in FIG. 8 thus comprises a mixed object whose real part corresponds to the connected object OBJ and the virtual part corresponds to a virtual element restored in the virtual representation of the real environment 81 displayed by the virtual interface INT interaction ”.
  • Figure 9 illustrates environment 80 (images a and c) and the virtual representation of environment 81 displayed by the virtual interaction interface INT ”(images b and d).
  • the virtual interaction interface INT is restored to the user in superposition of the tangible device DT”, so that when the user interacts on the virtual interaction interface INT ”(FIG. 9 image c), his finger is in contact with the tangible device DT ”.
  • the data processing device HL detects the collision between the virtual representation of the user's hand USR ”and a virtual element of the virtual interaction interface INT”.
  • a virtual element of the virtual interaction interface INT which is associated with a mixed object of the environment 80
  • data from the real part of the mixed object is changed. For example, in the example of FIG. 9, the on / off state of the object OBJ is modified.
  • the tangible device DT is held in hand by the user USR" of the data processing device HL ".
  • the virtual interaction interface INT is associated with the tangible device DT” by the data processing device HL ”so that a movement of the tangible device DT” by the user causes a corresponding movement of the display of the 'INT interaction virtual interface ”as already described in relation to figure 6.
  • the tangible device DT is also a mixed object of the environment 80.
  • the tangible device DT corresponds to the real part of the mixed object.
  • the data processing device HL has a virtual representation of the tangible device DT” in its virtual representation of the environment 80 in order to be able to display the virtual interaction interface INT ”in association with the tangible device DT” .
  • the actual movement of the tangible device DT "causes movement of the virtual representation of the tangible device DT" in the virtual representation of the environment 80 of the processing device HL ".
  • the virtual representation of the tangible device DT is not displayed to the user.
  • the user interaction combines two user interfaces: the data processing device HL ”implementing the virtual interaction interface INT” and the tangible device DT ”.
  • the tangible device DT is used as a tangible and tactile interface and as a device for monitoring the manipulations of the virtual representation of the real environment 81 by the user.
  • the tangible device DT is not used here as a visual reproduction device. It serves as a physical restitution medium.
  • the tangible device DT makes it possible to tangibly manipulate the virtual representation of the real environment 81 displayed via the virtual interaction interface by manipulating the tangible device itself.
  • FIG. 10 illustrates steps of the virtual reality data processing method according to the particular embodiment of the invention described in relation to FIGS. 8 and 9.
  • a virtual representation of the real environment 81 is created. For example, it can be created manually by the user using appropriate virtual reality software or using the HL "data processing device placed in environment 81.
  • the data processing device HL then implements steps 50 to 55 which are identical to those described in relation to FIG. 5 and are not described in more detail. The only difference comes from the virtual interaction interface INT ”which here includes the virtual representation of the real environment 81.
  • the user can view a virtual representation of a real environment even though he is not located in this real environment.
  • step 55 the user has interacted with the virtual element OBJV representative of the mixed object OBJ of the environment 81.
  • the data processing device HL transmits to the real part of the mixed object OJB a modification command of the state of the mixed object OBJ. For example, if the mixed object OBJ is a connected lamp and its state was "on" before user interaction, sending the change state command causes the switch to switch to the "off" state. lamp.
  • FIG. 11 schematically illustrates the structure of a device for processing virtual reality data DISP according to a particular embodiment of the invention.
  • a virtual reality data processing device DISP is suitable for implementing the data processing method according to any one of the particular modes described in relation to FIGS. 2, 5 and 10.
  • the DISP device is a portable optical display device, such as a virtual reality headset through which the user of the headset can see the real world.
  • the virtual reality data processing device DISP comprises a memory MEM, a processing unit UT, equipped for example with a processor PROC, and controlled by the computer program PG stored in MEM memory.
  • the computer program PG comprises instructions for implementing the steps of the data processing method, when the program is executed by the processor PROC.
  • the code instructions of the computer program PG are for example loaded into a memory before being executed by the processor PROC.
  • the processor PROC of the processing unit UT notably implements the data processing method according to any one of the embodiments described above according to the instructions of the computer program PG.
  • the DISP virtual reality data processing device includes a CAPT position detector configured to detect the position of the head and hands of a user wearing the DISP handheld device.
  • the DISP virtual reality data processing device also includes a PROJ projection device for visually rendering a virtual interface of interaction to the user, for example via a holographic projection technique.
  • the DISP virtual reality data processing device also includes a transmitter / receiver or CM communication module allowing the DISP device to communicate with at least one connected object and / or a tangible device, such as a mobile terminal.
  • the virtual reality data processing device DISP described above is included in a terminal, for example an augmented reality headset.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention concerne un dispositif de traitement de données de réalité virtuelle destiné à être porté par la tête d'un utilisateur, et configuré pour : - restituer, dans un champ de vision du dispositif de traitement de données, une interface virtuelle d'interaction, au moins une partie de ladite interface virtuelle d'interaction étant restituée en superposition d'un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données, - suivre au moins une partie du corps de l'utilisateur susceptible d'interagir via ladite interface virtuelle d'interaction, - détecter au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d'interaction, lorsque ladite au moins une partie du corps de l'utilisateur est à proximité ou en contact avec le dispositif tangible. L'invention concerne également un système et un procédé de traitement de données de réalité virtuelle.

Description

DESCRIPTION
Titre : Dispositif, système et procédé de traitement de données de réalité virtuelle
1. Domaine de l'invention
L'invention concerne le domaine de la réalité virtuelle et mixte et notamment des interactions utilisateurs dans un environnement de réalité virtuelle/mixte.
2. Art Antérieur
Il existe des systèmes interactifs mixant environnement réel et environnement virtuel. De tels systèmes sont appelés systèmes interactifs mixtes (MIS pour Mixed Interactive System en anglais). Un modèle de systèmes mixtes est utilisé par Coutrix et al « Mixed reality : a model of mixed interaction » Proceedings of the working conférence on Advanced Visual interfaces, AVI’ 06, p. 43 ACM Press, Venezi, Italy, 2006 , pour produire une réalité mixte dans lequel un système est composé d’objets mixtes formés de deux parties : une partie physique ou réelle décrite par ses propriétés physiques et une partie digitale ou virtuelle constituée de propriétés digitales. Les deux parties réelle et virtuelle sont synchronisées de sorte qu’une modification d’une propriété de la partie réelle, respectivement virtuelle, soit reproduite sur la propriété correspondante de la partie virtuelle, respectivement réelle.
Les systèmes interactifs mixtes permettent de mélanger la réalité virtuelle, les interfaces utilisateur naturelles et l’Internet des objets. La réalité virtuelle synchronise des mondes réels et virtuels et permet d’interagir simultanément dans ces mondes réels et virtuels. Les interfaces utilisateur naturelles utilisent le corps humain comme interface pour délivrer des interactions naturelles et intuitives avec les technologies digitales. Par exemple, des telles interactions naturelles sont notamment des commandes vocales, ou des interactions gestuelles.
L’Internet des objets (ou IoT pour Internet of Things en anglais) fournit et améliore les interactions avec des objets du quotidien.
La convergence des technologies précitées permet de rapprocher les interactions réelles et les interactions virtuelles. Il existe déjà des exemples d’une telle convergence. Par exemple, les assistants vocaux sont un exemple de combinaison d’une interface utilisateur naturelle avec l’Internet des objets. La réalité virtuelle, quant à elle, permet de fournir des informations sur des objets mixtes de l’environnement d’un utilisateur.
Toutefois, la convergence des technologies précitées est limitée par le manque d’outils dédiés permettant d’étendre cette convergence à tout objet connecté, tout système de réalité virtuelle, et tout type d’interface utilisateur naturelle.
De plus, on remarque que les interactions utilisateur dans un environnement de réalité virtuelle sont limitées quand bien même ces interactions utilisateur sont mises en œuvre par des gestes naturels de l’utilisateur. En effet, lors de telles interactions, l’utilisateur manque de ressenti réel.
Des systèmes haptiques existent pour permettre de fournir un retour physique à l’utilisateur suite à une interaction utilisateur dans un environnement virtuel. Par exemple, l’utilisateur d’un système de réalité virtuelle peut être équipé de gants avec un mécanisme haptique lui procurant une sensation tactile lors d’une interaction gestuelle dans l’environnement de réalité virtuelle. Toutefois, ces mécanismes nécessitent le port de gants spécifiques diminuant le caractère naturel d’une interaction gestuelle. De plus, les performances de ces systèmes de retour haptique sont limitées, notamment dans la modélisation de la sensation que l’utilisateur aurait ressentie s’il avait interagi dans le monde réel.
3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne un dispositif de traitement de données de réalité virtuelle, destiné à être porté par la tête d’un utilisateur, et configuré pour :
- restituer, dans un champ de vision du dispositif de traitement de données, une interface virtuelle d’interaction, au moins une partie de ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- suivre au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- détecter au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible. Le dispositif selon l’invention permet de fournir un mécanisme d’interaction utilisateur hybride conjuguant interaction virtuelle de l’utilisateur sur des éléments virtuels d’une interface virtuelle et interaction tangible de l’utilisateur sur un support physique.
Un tel dispositif permet d’améliorer les sensations ressenties par l’utilisateur lors d’interactions dans un environnement de réalité virtuelle, en améliorant la sensation d’immersion dans la réalité virtuelle. De plus, l’utilisation d’une interface virtuelle d’interaction avec un support d’interaction tangible permet d’augmenter virtuellement la surface d’affichage, permettant ainsi d’afficher plus de données que sur le support physique.
Selon un mode particulier de réalisation de l’invention, le dispositif de traitement de données de réalité virtuelle est en outre configuré :
-pour communiquer avec une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction, et
- pour modifier ou sélectionner, en fonction de ladite au moins une interaction utilisateur détectée, au moins une donnée réelle de ladite entité réelle de l’objet mixte.
Le dispositif de traitement de données selon le mode particulier de réalisation ci- dessus permet de fournir de nouveaux services d’utilisation des objets connectés. Par exemple, les objets connectés sont souvent limités en termes d’affichage des données les concernant. Le dispositif selon l’invention permet d’afficher des informations ou des menus relatifs à l’objet connecté qui ne sont classiquement pas directement accessibles via des propriétés physiques de l’objet connecté.
Selon un autre mode particulier de réalisation de l’invention, le dispositif de traitement de données est configuré en outre pour déplacer l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible. Selon ce mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction est déplacée par rapport au dispositif tangible de sorte qu’une partie de l’interface virtuelle sur laquelle l’utilisateur est susceptible d’interagir est placée juste au-dessus du dispositif tangible. Ce mode particulier de réalisation de l’invention permet de fournir un support d’interaction tangible, i.e. fournissant un retour tactile à l’utilisateur, même si l’interface virtuelle d’interaction affiche un grand nombre d’éléments d’interaction.
Selon un autre mode particulier de réalisation de l’invention, le dispositif de traitement de données de réalité virtuelle est configuré pour déterminer une première position relative du dispositif tangible dans un système de coordonnées 3D du dispositif de traitement de données, à partir d’une deuxième position du dispositif tangible dans un système de coordonnées 3D du dispositif tangible, ladite deuxième position étant reçue en provenance du dispositif tangible.
Selon ce mode particulier de réalisation de l’invention, le dispositif de traitement de données peut déterminer la position relative du dispositif tangible, même si le dispositif tangible bouge, par exemple dans le cas d’un smartphone tenu en main par l’utilisateur.
Selon un autre mode particulier de réalisation de l’invention, pour détecter au moins une interaction utilisateur, le dispositif de traitement de données est configuré pour obtenir une information représentative d’un contact de la partie du corps de l’utilisateur avec le dispositif tangible, ladite information représentative d’un contact étant reçue en provenance du dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction comprend une pluralité d’éléments virtuels représentative d’une pluralité de données réelles mémorisées dans une mémoire du dispositif tangible, ladite au moins une interaction utilisateur sélectionnant au moins un élément virtuel parmi la pluralité d’éléments virtuels, ladite sélection dudit au moins un élément virtuel parmi la pluralité d’éléments virtuels correspondant à une sélection d’une donnée réelle correspondante dans la mémoire du dispositif tangible. Selon un autre mode particulier de réalisation de l’invention, le dispositif de traitement de données de réalité virtuelle est configuré pour recevoir en provenance du dispositif tangible, ladite pluralité de données réelles.
Selon un autre mode particulier de réalisation de l’invention, l’entité réelle de l’objet mixte est connectée au dispositif de traitement de données via un réseau de données.
Selon ce mode particulier de réalisation de l’invention, la partie réelle de l’objet mixte peut être distante du dispositif tangible et du dispositif de traitement de données.
Selon un autre mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction comprend une représentation virtuelle d’un environnement réel, ledit environnement réel comprenant au moins un objet connecté, la représentation virtuelle comprenant un élément virtuel représentatif dudit objet connecté, l’élément virtuel correspondant à l’entité virtuelle de l’objet mixte et l’objet connecté correspondant à l’entité réelle de l’objet mixte.
Selon ce mode particulier de réalisation de l’invention, le système comprend un ou plusieurs objets mixtes, chaque partie réelle, respectivement virtuelle, étant placée dans son environnement réel, respectivement virtuel. L’environnement réel peut également être distant du dispositif de traitement de données et du dispositif tangible. Par exemple, ce mode particulier de réalisation de l’invention permet de contrôler des objets connectés non accessibles, ou distants de l’utilisateur.
L’invention concerne également un système de traitement de données de réalité virtuelle comprenant un dispositif de traitement de données de réalité virtuelle selon l’un quelconque des modes particuliers de réalisation cités ci-dessus et un dispositif tangible configuré pour communiquer avec le dispositif de traitement de données de réalité virtuelle.
Selon un mode particulier de réalisation de l’invention, le dispositif tangible correspond à l’entité réelle de l’objet mixte.
Selon ce mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction et le dispositif tangible forment un objet mixte au sens où l’interface virtuelle d’interaction constitue la partie virtuelle de l’objet mixte et le dispositif tangible constitue la partie réelle de l’objet mixte.
Selon un autre mode particulier de réalisation de l’invention, l’entité réelle de l’objet mixte est connectée à un réseau de communication, le système comprend en outre un serveur réseau configuré pour établir des communications entre l’entité réelle de l’objet mixte et le dispositif de traitement de données.
Ce mode particulier de réalisation de l’invention permet d’appliquer le système de l’invention à tout type d’objets connectés. En outre, le système s’applique à tout type d’objet réel dès lors que l’objet réel est adapté pour être connecté à un réseau, par exemple via une prise connectée.
Selon un autre mode particulier de réalisation de l’invention, ladite au moins une donnée réelle correspond à un état de l’objet réel. Par exemple, l’état de l’objet réel correspond à un état allumé ou éteint de l’objet réel.
L’invention concerne également un procédé de traitement de données de réalité virtuelle, mis en œuvre par le dispositif de traitement de données de réalité virtuelle selon l’un quelconque des modes particuliers cités ci-dessus.
Avantageusement, un tel procédé comprend :
- la restitution, dans un champ de vision du dispositif de traitement de données, d’une interface virtuelle d’interaction, ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- le suivi d’au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- la détection d’au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible.
Selon un mode particulier de réalisation de l’invention, le procédé comprend en outre la modification ou la sélection, en fonction de ladite au moins une interaction utilisateur détectée, d’au moins une donnée réelle d’une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction.
Selon un autre mode particulier de réalisation de l’invention, le procédé de traitement de données de réalité virtuelle comprend en outre la détermination d’un déplacement de l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, le procédé de traitement de données de réalité virtuelle comprend en outre la détermination d’une première position relative du dispositif tangible dans un système de coordonnées 3D du dispositif de traitement de données, à partir d’une deuxième position du dispositif tangible dans un système de coordonnées 3D du dispositif tangible, ladite deuxième position étant reçue en provenance du dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, la détection d’au moins une interaction utilisateur, comprend l’obtention d’une information de contact de la partie du corps de l’utilisateur avec le dispositif tangible, ladite information de contact étant reçue en provenance du dispositif tangible.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement de données de réalité virtuelle selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
Selon encore un autre aspect, un support d'enregistrement ou support d'informations lisible par un ordinateur est proposé, qui comprend des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire de type Read-Only Memory (ROM), par exemple un CD- ROM ou une ROM de circuit microélectronique, une mémoire flash montée sur un support de stockage amovible, tel qu’une clé USB, ou encore une mémoire de masse magnétique de type Hard-Disk Drive (HDD) ou Solid-State Drive (SSD), ou une combinaison de mémoires fonctionnant selon une ou plusieurs technologies d’enregistrement de données. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. En particulier, le programme d’ordinateur proposé peut être téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Le procédé de traitement de données de réalité virtuelle selon l'invention peut donc être mis en œuvre de diverses manières, notamment sous forme matérielle ou sous forme logicielle, ou être mise en œuvre sous forme d’une combinaison d’éléments matériels et logiciels.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : [Fig. 1] - la figure 1 illustre un exemple d’environnement de mise en œuvre de l’invention selon un mode particulier de réalisation de l’invention,
[Fig. 2] - la figure 2 illustre des étapes du procédé de traitement de données de réalité virtuelle selon un mode particulier de réalisation de l’invention,
[Fig. 3] - la figure 3 illustre un exemple d’interaction utilisateur dans l’environnement de mise en œuvre décrit en relation avec la figure 1,
[Fig. 4] - la figure 4 illustre un exemple d’environnement de mise en œuvre de l’invention selon un autre mode particulier de réalisation de l’invention, [Fig. 5] - la figure 5 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec la figure 4,
[Fig. 6] - la figure 6 illustre un exemple d’interface virtuelle d’interaction selon le mode particulier de réalisation de l’invention décrit en relation avec la figure 4,
[Fig. 7] - la figure 7 illustre un exemple d’interaction utilisateur dans l’environnement de mise en œuvre décrit en relation avec la figure 4,
[Fig. 8] - la figure 8 illustre un exemple d’environnement de mise en œuvre de l’invention selon un autre mode particulier de réalisation de l’invention,
[Fig. 9] - la figure 9 illustre un exemple d’interaction utilisateur dans l’environnement de mise en œuvre décrit en relation avec la figure 8,
[Fig. 10] - la figure 10 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention, décrit en relation avec les figures 8 et 9,
[Fig. 11] - la figure 11 illustre de manière schématique la structure d'un dispositif de traitement de données de réalité virtuelle selon un mode particulier de réalisation de l’invention.
5. Description de modes particuliers de réalisation de l'invention
La figure 1 illustre un exemple d’environnement 10 de mise en œuvre de l’invention selon un mode particulier de réalisation de l’invention. L’environnement 10 comprend notamment un utilisateur USR équipé d’un dispositif de traitement de données de réalité virtuelle HL. Par exemple, le dispositif de traitement de données de réalité virtuelle HL est un casque de réalité virtuelle porté par la tête de l’utilisateur, tel qu’un casque Hololens de la société Microsoft©. L’environnement comprend également un dispositif tangible DT configuré pour communiquer avec le dispositif de traitement de données HL.
Dans l’exemple décrit ici, le dispositif tangible est un objet réel tel qu’un ventilateur (figure 3). Toutefois, l’exemple ne se limite pas à un tel dispositif tangible qui aussi être une ampoule, un thermomètre, un détecteur de présence ou tout autre type d’objet domotique. Pour permettre au dispositif tangible DT de communiquer avec le dispositif de traitement de données HL, le dispositif tangible DT comprend une prise connectée PR connectée à un serveur SERV de l’environnement 10. Le serveur SERV et le dispositif de traitement de données HL sont configurés pour établir des communications via une connexion sans fil, par exemple en Bluetooth ou WiFi.
Le dispositif de traitement de données HL, le dispositif tangible DT et le serveur SERV forment un système de traitement de données au sens de G invention.
Selon ce mode particulier de réalisation de l’invention, le dispositif de traitement de données HL est configuré pour afficher à l’utilisateur une interface d’interaction virtuelle INT associée au dispositif tangible. La figure 3 illustre un exemple d’interaction utilisateur dans l’environnement de mise en œuvre décrit en relation avec la figure 1.
Plus particulièrement, dans l’exemple décrit ici, l’interface virtuelle d’interaction INT comprend un élément virtuel (interrupteur virtuel sur les images 3b et 3d) sur lequel l’utilisateur peut interagir pour modifier un état du dispositif tangible DT.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif tangible DT est un objet mixte comprenant une entité réelle, ici l’objet réel, et une entité virtuelle correspondant à une représentation numérique de l’objet réel par le dispositif de traitement de données HL. Dans l’exemple décrit ici, l’entité virtuelle de l’objet mixte peut être l’élément virtuel de l’interface virtuelle d’interaction INT. Dans l’exemple décrit ici, lorsque l’utilisateur interagit sur l’interface virtuelle d’interaction, l’état virtuel de la représentation virtuelle du dispositif tangible est modifié et l’état réel du dispositif tangible est modifié. L’état du dispositif tangible correspond ici à un état éteint/allumé.
Afin d’améliorer le ressenti de l’utilisateur lors d’une interaction utilisateur sur l’interface virtuelle d’interaction, comme illustré en figure 3 (images b, d), l’interface virtuelle d’interaction INT est restituée à l’utilisateur en superposition du dispositif tangible DT, de sorte que lorsque l’utilisateur interagit sur l’interface d’interaction virtuelle INT (figure 3 image c), il soit en contact avec le dispositif tangible DT (figure 3 image d).
Pour cela, le dispositif de traitement de données HL détecte la collision entre la représentation virtuelle de la main de l’utilisateur USR et l’interrupteur virtuel du dispositif tangible. Sur la figure 3 image d, l’interrupteur virtuel est affiché au-dessus de la surface du dispositif tangible DT. Lorsque l’utilisateur touche l’interrupteur virtuel, il touche également la surface tangible du dispositif tangible DT, rendant tangible la partie virtuelle de l’objet mixte/dispositif tangible DT. La figure 2 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec la figure 1. Le procédé de traitement de données de réalité virtuelle est mis en œuvre par le dispositif de traitement de données HL décrit en relation avec la figure 1.
Lors d’une étape 20, le dispositif de traitement de données HL détermine la position relative du dispositif tangible DT dans son système de coordonnées 3D.
Dans le mode particulier de réalisation de l’invention décrit ici, il est considéré que le dispositif tangible DT est fixe dans l’environnement 10. La position du dispositif tangible DT dans l’environnement 10 est obtenue par le dispositif de traitement de données HL en détectant dans l’environnement réel 10, la pose d’une texture prédéfinie dont l’emplacement est connu dans la représentation virtuelle de l’environnement 10 mise en œuvre par le dispositif de traitement de données HL.
Lors d’une étape 21, le dispositif de traitement de données HL restitue à l’utilisateur une interface virtuelle d’interaction. Cette interface virtuelle est restituée dans le champ de vision du dispositif de traitement de données. Avantageusement, l’interface virtuelle d’interaction est restituée à l’utilisateur, en superposition du dispositif tangible DT, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données. Autrement dit, lorsque l’utilisateur voit le dispositif tangible DT via le dispositif de traitement de données HL, l’interface virtuelle d’interaction INT est restituée à l’utilisateur au-dessus du dispositif tangible DT.
Lors d’une étape 22, au moins une partie du corps de l’utilisateur susceptible d’interagir via l’interface virtuelle d’interaction INT est suivie par le dispositif de traitement de données HL. Dans l’exemple décrit en relation avec les figures la-d, la main de l’utilisateur est suivie par le dispositif de traitement de données HL.
Lors d’une étape 23, lorsque la partie suivie du corps de l’utilisateur URS est à proximité ou en contact avec le dispositif tangible DT, le dispositif de traitement de données HL détecte une interaction utilisateur sur un élément virtuel de l’interface virtuelle d’interaction INT.
Lors d’une étape 24, en fonction de l’une interaction utilisateur détectée, l’état du dispositif tangible, correspondant par exemple à un état allumé ou éteint du dispositif tangible, est modifié. Pour cela, le dispositif de traitement de données HL modifie l’état virtuel de la représentation virtuelle du dispositif tangible. Cette modification est transmise via la connexion COM au serveur qui modifie l’état de l’interrupteur de la prise PR. L’état réel du dispositif tangible est ainsi modifié via le changement d’état de la prise PR.
La figure 4 illustre un exemple d’environnement 40 de mise en œuvre de l’invention selon un autre mode particulier de réalisation de l’invention.
L’environnement 40 comprend notamment un utilisateur USR’ équipé d’un dispositif de traitement de données de réalité virtuelle HL’, par exemple un casque de réalité virtuelle porté par la tête de l’utilisateur. L’environnement comprend également un dispositif tangible DT’ configuré pour communiquer avec le dispositif de traitement de données HL’. Dans l’exemple décrit ici, le dispositif tangible DT’ est un terminal mobile, par exemple un smartphone (pour téléphone intelligent en anglais).
Le dispositif tangible DT’ et le dispositif de traitement de données HL’ sont configurés pour établir des communications via une connexion sans fil COM’, par exemple en Bluetooth ou WiFi. Notamment, le dispositif tangible DT’ et le dispositif de traitement de données HL’ sont configurés pour échanger leur position relative dans leur système de coordonnées 3D respectif.
Le dispositif de traitement de données HL”, le dispositif tangible DT forment un système de traitement de données au sens de l’invention.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif de traitement de données HL’ est configuré pour afficher à l’utilisateur une interface d’interaction virtuelle INT’ associée au dispositif tangible DT’.
Plus particulièrement, et comme illustré par les figures 6 et 7, l’interface virtuelle d’interaction INT’ est restituée à l’utilisateur en superposition du dispositif tangible DT’, de sorte que lorsque l’utilisateur interagit sur l’interface d’interaction virtuelle INT’ (figure 7 images f, g), il soit en contact avec le dispositif tangible DT’.
Pour cela, comme dans l’exemple décrit en relation avec la figure 1, le dispositif de traitement de données HL’ détecte la collision entre la représentation virtuelle de la main de l’utilisateur USR’ et un élément virtuel ELT de l’interface virtuelle d’interaction INT’.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif tangible DT’ est un objet mixte comprenant une entité réelle, ici le smartphone, et une entité virtuelle correspondant à une représentation numérique du smartphone par le dispositif de traitement de données HL’.
La figure 5 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec la figure 4. Le procédé de traitement de données de réalité virtuelle est mis en œuvre par le dispositif de traitement de données HL’ décrit en relation avec la figure 4.
Lors d’une étape 50, le dispositif de traitement de données HL’ détermine la position relative du dispositif tangible DT’ dans son système de coordonnées 3D.
Pour cela, le dispositif de traitement de données HL’ détermine une position relative du dispositif tangible DT’ dans le système de coordonnées 3D du dispositif de traitement de données DT’, à partir d’une position du dispositif tangible DT’ transmise par le dispositif tangible DT’. Cette position du dispositif tangible DT’ transmise correspond à la position relative du dispositif tangible DT’ dans son système de coordonnées 3D.
Dans le mode particulier de réalisation de l’invention décrit ici, le dispositif tangible DT’ est tenu en main par l’utilisateur et peut donc bouger. Le dispositif de traitement de données HL’ calcule alors une matrice de passage entre les deux systèmes de coordonnées 3D.
Pour cela, le dispositif de traitement de données HL’ connaît sa propre pose (position et orientation) dans son propre système de coordonnées 3D, par exemple via un composant dédié de type SLAM (pour « Simultaneous Localization And Mapping » en anglais) intégré dans le dispositif de traitement de données HL’. De même, le dispositif tangible DT’ connaît sa propre pose dans son propre système de coordonnées 3D, par exemple à l’aide d’un composant dédié intégré tel que l’ARCore SLAM de la société Google©. Le dispositif tangible DT’ transmet en continu au dispositif de traitement de données HL’ sa position et son orientation. Les deux systèmes de coordonnées 3D (celui du dispositif de traitement de données HL’ et celui du dispositif tangible DT’) sont synchronisés lorsque le dispositif de traitement de données HL’ calcule la pose du dispositif tangible DT’ dans le système de coordonnées 3D du dispositif de traitement de données HL’. Pour cela, le dispositif tangible DT’ affiche une texture déterminée et connue du dispositif de traitement de données HL’. Lorsque le dispositif de traitement de données HL’ détecte, à l’aide de sa ou ses caméras, la texture affichée par le dispositif tangible DT’, le dispositif de traitement de données HL’ calcule la matrice de transformation du dispositif tangible DT’. Par exemple, le dispositif de traitement de données HL’ peut comprendre un module logiciel de vision par ordinateur pour reconnaître et suivre des images et des objets 3D en temps réel, tel que le logiciel VuForia.
Une matrice de passage est ensuite déterminée à partir de la matrice de transformation du dispositif tangible DT’. Une telle matrice de passage définit un système de coordonnées 3D commun pour les positions du dispositif de traitement de données HL’ et du dispositif tangible DT’. La somme de la position du dispositif de traitement de données HL’ et de la pose du dispositif tangible DT’ estimée par le dispositif de traitement de données HL’ est comparée à la position du dispositif tangible DT’ estimé par lui-même pour fournir la matrice de passage.
Le dispositif de traitement de données HL’ détermine en continu dans son système de coordonnées 3D, la position de la représentation virtuelle du dispositif tangible DT’ à partir de la position relative transmise par le dispositif tangible DT’ et de la matrice de passage.
Lors d’une étape 52, le dispositif de traitement de données HL’ restitue à l’utilisateur une interface virtuelle d’interaction INT’. Cette interface virtuelle INT’ est restituée dans le champ de vision du dispositif de traitement de données, en superposition du dispositif tangible DT’, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données.
Comme le dispositif tangible DT’ peut être manipulé et déplacé, lorsque le dispositif tangible DT’ est déplacé, l’interface virtuelle d’interaction INT’ est restituée par le dispositif de traitement de données HL’ en suivant les mouvements du dispositif tangible DT’. Ce fonctionnement est par exemple illustré en figure 6.
Sur la figure 6, l’interface virtuelle INT’ a la forme d’un visage virtuel affiché en superposition de la surface du dispositif tangible DT’. Les images successives de la figure 6 illustrent le déplacement de l’interface virtuelle INT’ suivant les mouvements du dispositif tangible DT’.
La figure 7 illustre également un exemple d’interaction utilisateur selon le mode particulier de réalisation de l’invention décrit ici. Selon cet exemple, l’interface virtuelle d’interaction INT’ comprend une pluralité d’éléments virtuels (El, E2, ....) représentés sur la figure 7 par des carrés blanc ou gris. Cette pluralité d’éléments virtuels est représentative d’une pluralité de données réelles mémorisées dans une mémoire du dispositif tangible DT’. Pour pouvoir afficher une telle interface virtuelle d’interaction INT’, lors d’une étape 51, le dispositif de traitement de données HL’ reçoit en provenance du dispositif tangible DT’ des données représentatives de cette pluralité de données réelles. Par exemple, les données réelles correspondent ici à des contacts mémorisés dans la mémoire du smartphone DT’.
Chaque élément virtuel de l’interface virtuelle d’interaction INT’ affiché sur les images b à g de la figure 7 correspond à un contact mémorisé dans le smartphone DT’.
Lors d’une étape 53, au moins une partie du corps de l’utilisateur susceptible d’interagir via l’interface virtuelle d’interaction INT’ est suivie par le dispositif de traitement de données HL’. Dans l’exemple décrit en relation avec la figure 7 images a à g, la main de l’utilisateur USR’ est suivie par le dispositif de traitement de données HL’.
Lors d’une étape 54, l’interface virtuelle d’interaction INT’ est restituée à l’utilisant en suivant le déplacement de la partie du corps suivie, ici la main de l’utilisateur USR’. Ceci permet qu’un élément virtuel ELT’ sur lequel la partie du corps de l’utilisateur interagit soit restitué en superposition avec le dispositif tangible DT’.
La succession des images b à g de la figure 7 illustre un tel déplacement de l’interface virtuelle d’interaction INT’ avec la main de l’utilisateur USR’. Initialement (image b de la figure 7), l’interface virtuelle d’interaction INT’ est restituée de façon centrée par rapport au dispositif tangible DT’ apparaissant dans le champ de vision du dispositif de traitement de données HL’. Lorsque la main de l’utilisateur, et plus particulièrement son doigt tendu, se déplace vers le haut, l’interface virtuelle d’interaction INT’ est déplacée vers le haut (figure 7 image c). Lorsque le doigt tendu de l’utilisateur descend, l’interface virtuelle d’interaction INT’ descend (figure 7 image d). Sur l’image e de la figure 7, le doigt de l’utilisateur se rapproche du dispositif tangible DT’, indiquant que l’utilisateur est susceptible d’interagir sur un élément virtuel ELT’ localisé dans cette zone de l’interface virtuelle INT’. Le dispositif de traitement de données HL’ détermine l’élément virtuel ELT’ sur lequel l’utilisateur est susceptible d’interagir, en fonction de la position du doigt par rapport à l’interface virtuelle d’interaction INT’. Cet élément ELT’ est restitué visuellement en plus grand pour indiquer à l’utilisateur sur quel élément il va interagir.
Lorsque le doigt de l’utilisateur se rapproche encore du dispositif tangible DT’, l’interface virtuelle d’interaction INT’ est déplacée de sorte que l’élément virtuel ELT’ sur lequel l’utilisateur souhaite interagir soit placé au-dessus de la surface du dispositif tangible DT’ (image f de la figure 7).
Lors d’une étape 55, lorsque la partie suivie du corps de l’utilisateur USR est à proximité ou en contact avec le dispositif tangible DT’, le dispositif de traitement de données HL’ détecte une interaction utilisateur sur l’interface virtuelle d’interaction INT’ correspondant ici à une sélection de l’élément virtuel ELT’ par l’utilisateur.
Sur l’image g de la figure 7, lorsque l’utilisateur interagit sur l’élément virtuel ELT’, le doigt de l’utilisateur entre en contact avec le dispositif tangible DT’.
Pour détecter l’interaction utilisateur, le dispositif de traitement de données HL’ détecte la représentation virtuelle de la main ou du doigt de l’utilisateur et fait un focus sur l’élément virtuel le plus près de la représentation virtuelle de la main ou du doigt de l’utilisateur. Lors de l’étape 55, lorsque l’utilisateur touche la surface du dispositif tangible DT’, par exemple ici l’écran tactile du smartphone, le dispositif tangible DT’ détecte le contact du doigt de l’utilisateur sur cette surface. Le dispositif tangible DT’ transmet cette information de contact au dispositif de traitement de données HL’ qui peut alors l’utiliser pour valider la détection de l’interaction utilisateur dans sa représentation virtuelle.
Lors d’une étape 56, le contact mémorisé dans la mémoire du dispositif tangible DT’ et correspondant à l’élément virtuel ELT’ sur lequel l’utilisateur a interagit est sélectionné.
Pour cela, le dispositif de traitement de données HL’ transmet au dispositif tangible DT’ une information indiquant la sélection du contact associé à l’élément virtuel ELT’. L’utilisateur peut ensuite agir sur ce contact, par exemple lancer un appel, émettre un message, etc...
La figure 8 illustre un exemple d’environnement 80 de mise en œuvre de l’invention selon un autre mode particulier de réalisation de l’invention. L’environnement 80 comprend notamment un utilisateur USR” équipé d’un dispositif de traitement de données de réalité virtuelle HL”, par exemple un casque de réalité virtuelle porté par la tête de utilisateur. L’environnement comprend également un dispositif tangible DT” configuré pour communiquer avec le dispositif de traitement de données HL”. Dans l’exemple décrit ici, le dispositif tangible DT” est un terminal mobile, par exemple un smartphone.
Le dispositif tangible DT” et le dispositif de traitement de données HL” sont configurés pour établir des communications via une connexion sans fil COM”, par exemple en Bluetooth ou WiFi. Notamment, le dispositif tangible DT” et le dispositif de traitement de données HL” sont configurés pour échanger leur position relative dans leur système de coordonnées 3D respectif.
Le dispositif de traitement de données HL”, le dispositif tangible DT” forment un système de traitement de données au sens de l’invention.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif de traitement de données HL” est configuré pour afficher à l’utilisateur une interface d’interaction virtuelle INT” associée au dispositif tangible DT”. Par exemple, une telle interface virtuelle d’interaction INT” comprend une représentation virtuelle d’un environnement réel 81 dans lequel un ou plusieurs objets réels connectés sont placés.
Dans l’exemple de la figure 8, l’environnement réel 81 comprend un objet connecté OBJ configuré pour communiquer via un réseau de données RES avec le dispositif de traitement de données HL’’ .
L’environnement 80 illustré en figure 8 comprend ainsi un objet mixte dont la partie réelle correspond à l’objet connecté OBJ et la partie virtuelle correspond à un élément virtuel restitué dans la représentation virtuelle de l’environnement réel 81 affiché par l’interface virtuelle d’interaction INT”.
La figure 9 illustre l’environnement 80 (images a et c) et la représentation virtuelle de l’environnement 81 affichée par l’interface virtuelle d’interaction INT” (images b et d).
Avantageusement, l’interface virtuelle d’interaction INT” est restituée à l’utilisateur en superposition du dispositif tangible DT”, de sorte que lorsque l’utilisateur interagit sur l’interface d’interaction virtuelle INT” (figure 9 image c), son doigt soit en contact avec le dispositif tangible DT”. Pour cela, comme dans l’exemple décrit en relation avec la figure 1, le dispositif de traitement de données HL” détecte la collision entre la représentation virtuelle de la main de utilisateur USR” et un élément virtuel de l’interface virtuelle d’interaction INT”. Selon le mode particulier de réalisation décrit ici, lorsque l’utilisateur interagit sur un élément virtuel de l’interface virtuelle d’interaction INT” qui est associé à un objet mixte de l’environnement 80, une donnée de la partie réelle de l’objet mixte est modifiée. Par exemple, dans l’exemple de la figure 9, l’état allumé/éteint de l’objet OBJ est modifié.
Dans l’exemple décrit en relation avec la figure 9, le dispositif tangible DT” est tenu en main par l’utilisateur USR” du dispositif de traitement de données HL”. L’interface virtuelle d’interaction INT” est associée au dispositif tangible DT” par le dispositif de traitement de données HL” de sorte qu’un mouvement du dispositif tangibles DT” par l’utilisateur provoque un mouvement correspondant de l’affichage de l’interface virtuelle d’interaction INT” comme déjà décrit en relation avec la figure 6.
Il est à noter que selon ce mode particulier de réalisation de l’invention, le dispositif tangible DT” est également un objet mixte de l’environnement 80. En effet, le dispositif tangible DT” correspond à la partie réelle de l’objet mixte et le dispositif de traitement de données HL” dispose d’une représentation virtuelle du dispositif tangible DT” dans sa représentation virtuelle de l’environnement 80 afin de pouvoir afficher l’interface virtuelle d’interaction INT” en association avec le dispositif tangible DT”. De plus, on voit que le mouvement réel du dispositif tangible DT” provoque un mouvement de la représentation virtuelle du dispositif tangible DT” dans la représentation virtuelle de l’environnement 80 du dispositif de traitement HL”. Il est à noter ici que la représentation virtuelle du dispositif tangible DT” n’est pas affichée à l’utilisateur.
Selon le mode particulier de réalisation décrit ici, l’interaction utilisateur combine deux interfaces utilisateurs : le dispositif de traitement de données HL” mettant en œuvre l’interface virtuelle d’interaction INT” et le dispositif tangible DT”. Le dispositif tangible DT” est utilisé comme interface tangible et tactile et comme un dispositif de suivi des manipulations de la représentation virtuelle de l’environnement réel 81 par l’utilisateur. Le dispositif tangible DT” n’est ici pas utilisé en tant que dispositif de restitution visuelle. Il sert de support physique de restitution. Le dispositif tangible DT” permet de manipuler de manière tangible la représentation virtuelle de l’environnement réel 81 affichée via l’interface virtuelle d’interaction en manipulant le dispositif tangible lui -même.
La figure 10 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec les figures 8 et 9.
Lors d’une étape 100, une représentation virtuelle de l’environnement réel 81 est créée. Par exemple, elle peut être créée manuellement par l’utilisateur à l’aide d’un logiciel de réalité virtuelle appropriée ou bien à l’aide du dispositif de traitement de données HL” placé dans l’environnement 81.
Le dispositif de traitement de données HL” met ensuite en œuvre les étapes 50 à 55 qui sont identiques à celles décrites en relation avec la figure 5 et ne sont pas décrites plus en détail. La seule différence provient de l’interface virtuelle d’interaction INT” qui comprend ici la représentation virtuelle de l’environnement réel 81.
Ainsi, selon le mode particulier de réalisation décrit ici, l’utilisateur peut visualiser une représentation virtuelle d’un environnement réel alors même qu’il n’est pas localisé dans cet environnement réel.
Il est supposé ici que lors de l’étape 55, l’utilisateur a interagit sur l’élément virtuel OBJV représentatif de l’objet mixte OBJ de l’environnement 81.
Suite à l’étape 55 de détection de l’interaction utilisateur sur l’élément virtuel OBJV, lors d’une étape 101, le dispositif de traitement de données HL” transmet à la partie réelle de l’objet mixte OJB une commande de modification de l’état de l’objet mixte OBJ. Par exemple, si l’objet mixte OBJ est une lampe connectée et que son état était « allumé » avant l’interaction utilisateur, l’envoi de la commande de modification d’état provoque le passage à l’état « éteint » de la lampe.
La figure 11 illustre de manière schématique la structure d'un dispositif de traitement de données de réalité virtuelle DISP selon un mode particulier de réalisation de l’invention. Un tel dispositif de traitement de données de réalité virtuelle DISP est adapté pour mettre en œuvre le procédé de traitement de données selon Pun quelconque des modes particuliers décrits en relation avec les figures 2, 5 et 10. Notamment, le dispositif DISP est un dispositif d’affichage optique portatif, tel qu’un casque de réalité virtuelle à travers lequel l’utilisateur du casque peut voir le monde réel.
Dans l’exemple non limitatif illustré sur la figure 11, le dispositif de traitement de données de réalité virtuelle DISP comprend une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de traitement de données, lorsque le programme est exécuté par le processeur PROC.
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre le procédé de traitement de données selon l'un quelconque des modes de réalisation décrits ci-dessus selon les instructions du programme d'ordinateur PG.
Pour cela, le dispositif de traitement de données de réalité virtuelle DISP comprend un détecteur de position CAPT configuré pour détecter la position de la tête et des mains d’un utilisateur porteur du dispositif portatif DISP.
Le dispositif de traitement de données de réalité virtuelle DISP comprend également un dispositif de projection PROJ permettant de restituer visuellement une interface virtuelle d’interaction à l'utilisateur, par exemple via une technique de projection holographique.
Le dispositif de traitement de données de réalité virtuelle DISP comprend également un émetteur/récepteur ou module de communication CM permettant au dispositif DISP de communiquer avec au moins un objet connecté et/ou un dispositif tangible, tel qu’un terminal mobile.
Selon un mode particulier de réalisation de l'invention, le dispositif de traitement de données de réalité virtuelle DISP décrit précédemment est compris dans un terminal, par exemple un casque de réalité augmentée.

Claims

REVENDICATIONS
E Dispositif de traitement de données de réalité virtuelle, destiné à être porté par la tête d’un utilisateur, le dispositif de traitement de données est configuré pour :
- restituer, dans un champ de vision du dispositif de traitement de données, une interface virtuelle d’interaction, au moins une partie de ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- suivre au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- détecter au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible.
2. Dispositif de traitement de données de réalité virtuelle selon la revendication 1, dans lequel le dispositif de traitement de données de réalité virtuelle est en outre configuré :
-pour communiquer avec une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction, et
- pour modifier ou sélectionner, en fonction de ladite au moins une interaction utilisateur détectée, au moins une donnée réelle de ladite entité réelle de l’objet mixte.
3. Dispositif de traitement de données de réalité virtuelle selon la revendication 1 ou 2, configuré en outre pour déplacer l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
4. Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 3, configuré pour déterminer une première position relative du dispositif tangible dans un système de coordonnées 3D du dispositif de traitement de données, à partir d’une deuxième position du dispositif tangible dans un système de coordonnées 3D du dispositif tangible, ladite deuxième position étant reçue en provenance du dispositif tangible.
5. Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 4, dans lequel pour détecter au moins une interaction utilisateur, le dispositif de traitement de données est configuré pour obtenir une information représentative d’un contact de la partie du corps de l’utilisateur avec le dispositif tangible, ladite information représentative d’un contact étant reçue en provenance du dispositif tangible.
6. Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 5, dans lequel l’interface virtuelle d’interaction comprend une pluralité d’éléments virtuels représentative d’une pluralité de données réelles mémorisées dans une mémoire du dispositif tangible, ladite au moins une interaction utilisateur sélectionnant au moins un élément virtuel parmi la pluralité d’éléments virtuels, ladite sélection dudit au moins un élément virtuel parmi la pluralité d’éléments virtuels correspondant à une sélection d’une donnée réelle correspondante dans la mémoire du dispositif tangible.
7. Dispositif de traitement de données de réalité virtuelle selon la revendication 6, configuré pour recevoir en provenance du dispositif tangible, ladite pluralité de données réelles.
8. Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 7, dans lequel l’entité réelle de l’objet mixte est connectée au dispositif de traitement de données via un réseau de données.
9. Dispositif de traitement de données de réalité virtuelle selon la revendication 8, dans lequel l’interface virtuelle d’interaction comprend une représentation virtuelle d’un environnement réel, ledit environnement réel comprenant au moins un objet connecté, la représentation virtuelle comprenant un élément virtuel représentatif dudit objet connecté, l’élément virtuel correspondant à l’entité virtuelle de l’objet mixte et l’objet connecté correspondant à l’entité réelle de l’objet mixte.
10. Système de traitement de données de réalité virtuelle comprenant un dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 9 et un dispositif tangible configuré pour communiquer avec le dispositif de traitement de données de réalité virtuelle.
11. Système de traitement de données de réalité virtuelle selon la revendication 10, dans lequel le dispositif de traitement de données de réalité virtuelle est selon l’une quelconque des revendications 2 à 9 et dans lequel le dispositif tangible correspond à l’entité réelle de l’objet mixte.
12. Procédé de traitement de données de réalité virtuelle, mis en œuvre par un dispositif de traitement de données de réalité virtuelle destiné à être porté par la tête d’un utilisateur, le procédé comprend :
- la restitution, dans un champ de vision du dispositif de traitement de données, d’une interface virtuelle d’interaction, ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- le suivi d’au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- la détection d’au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible.
13. Procédé de traitement de données de réalité virtuelle selon la revendication 12, comprenant en outre la modification ou la sélection, en fonction de ladite au moins une interaction utilisateur détectée, d’au moins une donnée réelle d’une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction.
14. Procédé de traitement de données de réalité virtuelle selon la revendication 12 ou 13, comprenant en outre la détermination d’un déplacement de l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
15. Programme comportant des instructions pour la mise en œuvre du procédé de de traitement de données selon l’une quelconque des revendications 12 à 14, lorsque ledit programme est exécuté par un processeur.
PCT/EP2020/057357 2019-03-21 2020-03-17 Dispositif, système et procédé de traitement de données de réalite virtuelle WO2020187950A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20711590.8A EP3942390A1 (fr) 2019-03-21 2020-03-17 Dispositif, système et procédé de traitement de données de réalite virtuelle
US17/593,542 US11875465B2 (en) 2019-03-21 2020-03-17 Virtual reality data-processing device, system and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR1902910 2019-03-21
FR1902910A FR3094123B1 (fr) 2019-03-21 2019-03-21 Entité mixte, système mixte, procédé de génération d’entité mixte, procédé de génération de système mixte
FR2001408 2020-02-13
FR2001408A FR3107390B1 (fr) 2020-02-13 2020-02-13 Dispositif, système et procédé de traitement de données de réalité virtuelle

Publications (1)

Publication Number Publication Date
WO2020187950A1 true WO2020187950A1 (fr) 2020-09-24

Family

ID=69844840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/057357 WO2020187950A1 (fr) 2019-03-21 2020-03-17 Dispositif, système et procédé de traitement de données de réalite virtuelle

Country Status (3)

Country Link
US (1) US11875465B2 (fr)
EP (1) EP3942390A1 (fr)
WO (1) WO2020187950A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034039A1 (en) * 2013-03-21 2016-02-04 Sony Corporation Information processing apparatus, operation control method and program
US20160313902A1 (en) * 2015-04-27 2016-10-27 David M. Hill Mixed environment display of attached control elements
US20180024362A1 (en) * 2016-07-22 2018-01-25 Arm Ltd Data processing

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087471B2 (en) * 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
KR101587474B1 (ko) 2014-03-18 2016-01-22 홍익대학교 산학협력단 사용자 반응에 기초한 작가 피드백 제공 시스템 및 작가 피드백 제공 방법
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US20180284914A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Physical-surface touch control in virtual environment
FR3068803A1 (fr) 2017-09-19 2019-01-11 Orange Procede et dispositif de traitement de donnees d'un environnement de realite virtuelle.
FR3093578A1 (fr) 2019-03-05 2020-09-11 Orange Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle.
FR3104743B1 (fr) 2019-12-17 2022-07-15 Orange Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034039A1 (en) * 2013-03-21 2016-02-04 Sony Corporation Information processing apparatus, operation control method and program
US20160313902A1 (en) * 2015-04-27 2016-10-27 David M. Hill Mixed environment display of attached control elements
US20180024362A1 (en) * 2016-07-22 2018-01-25 Arm Ltd Data processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
COUTRI ET AL.: "Proceedings of the working conférence on Advanced visual interfaces, A VI'06", 2006, ACM PRESS, article "Mixed reality : a model of mixed interaction", pages: 43
NORMAND ERWAN ET AL: "Enlarging a Smartphone with AR to Create a Handheld VESAD (Virtually Extended Screen-Aligned Display)", 2018 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR), IEEE, 16 October 2018 (2018-10-16), pages 123 - 133, XP033502091, DOI: 10.1109/ISMAR.2018.00043 *

Also Published As

Publication number Publication date
EP3942390A1 (fr) 2022-01-26
US20220172441A1 (en) 2022-06-02
US11875465B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
US11678004B2 (en) Recording remote expert sessions
US9990759B2 (en) Offloading augmented reality processing
US20150185825A1 (en) Assigning a virtual user interface to a physical object
US20150187137A1 (en) Physical object discovery
CN104364753A (zh) 用于突出显示活动界面元素的方法
US20180005440A1 (en) Universal application programming interface for augmented reality
KR102077665B1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
FR3107390A1 (fr) Dispositif, système et procédé de traitement de données de réalité virtuelle
EP2818965B1 (fr) Procédé d'interaction entre un objet numérique, représentatif d'au moins un objet réel ou virtuel localisé dans un périmètre géographique distant, et un dispositif de pointage local
EP3942390A1 (fr) Dispositif, système et procédé de traitement de données de réalite virtuelle
WO2023046902A1 (fr) Systeme d'interface homme-machine
WO2021122410A1 (fr) Procédé et système de visualisation d'un contenu numérique affiché par un appareil électronique
WO2020187631A1 (fr) Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte
FR3127597A1 (fr) Systeme d’interface homme-machine
EP3038354B1 (fr) Procédé d'affichage d'images ou de vidéos
CN114398604A (zh) 交互验证方法、装置、电子设备及存储介质
FR3121251A3 (fr) Procédé et système informatisés de navigation en réalités virtuelles et programme d’ordinateur
EP4127990A1 (fr) Procédé et dispositif de contrôle d'accès
FR3079320A1 (fr) Procede et dispositif de traitement de donnees d' un environnement de realite virtuelle en mode perception de l'accessibilite
FR2973898A1 (fr) Procede et systeme de configuration pour configurer dynamiquement un systeme informatique de commande d'au moins un dispositif electrique

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20711590

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020711590

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020711590

Country of ref document: EP

Effective date: 20211021