WO2017149254A1 - Dispositif d'interface homme machine avec des applications graphiques en trois dimensions - Google Patents

Dispositif d'interface homme machine avec des applications graphiques en trois dimensions Download PDF

Info

Publication number
WO2017149254A1
WO2017149254A1 PCT/FR2017/050473 FR2017050473W WO2017149254A1 WO 2017149254 A1 WO2017149254 A1 WO 2017149254A1 FR 2017050473 W FR2017050473 W FR 2017050473W WO 2017149254 A1 WO2017149254 A1 WO 2017149254A1
Authority
WO
WIPO (PCT)
Prior art keywords
interaction device
virtual
user
image
tui
Prior art date
Application number
PCT/FR2017/050473
Other languages
English (en)
Inventor
Paul ISSARTEL
Mehdi AMMI
Lonni BESANCON
Original Assignee
Renovation Plaisir Energie
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renovation Plaisir Energie filed Critical Renovation Plaisir Energie
Publication of WO2017149254A1 publication Critical patent/WO2017149254A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to the field of three-dimensional graphics applications, and in particular the field of so-called “tangible” control interfaces, and the field of aquarium-like virtual reality FTVR ("Fish Tank Virtual Reality").
  • the present invention is particularly applicable to the manipulation and design of objects and prototypes in three dimensions, video games and videoconferencing.
  • FTVR virtual reality techniques implement a display screen coupled to a user's face tracking device, to display an image that is adapted to the user's face position relative to the user's face screen. display, so as to give the illusion of parallax perspective or scrolling.
  • a parallax scroll is the apparent displacement of an object observed, due to the displacement of the observer.
  • the user's point of view changes are thus detected by the tracking device and processed to define the position and the viewing angle of a virtual camera filming a virtual scene, corresponding to the new point of view, the screen. displaying the images produced by the virtual camera.
  • a front view of an object is presented on a display screen and the user moves to the right.
  • This movement is detected and triggers a rotation of the displayed object to the left, as well as a deformation of the object to preserve the apparent dimensions of the object despite the fact that the screen is viewed at an angle.
  • the displayed image thus shows front and right side views of the object in perspective. Tests have shown that this technique improves the user's ability to apprehend objects in three dimensions displayed on a screen in two dimensions.
  • tangible control interfaces The goal of tangible control interfaces is to give a physical shape to computer data, using real-world objects called "tangible objects" to represent that data.
  • tangible objects real-world objects
  • these graphical interfaces aim to exploit the abilities of users to interact with physical objects, to perform manipulation tasks in a natural and therefore more efficient way. This solution thus makes it possible to avoid a long apprenticeship.
  • FVTR Fert-Tank Virtual Reality
  • Such a 3D display has been implemented in an object where all or part of the surface is covered with one or more display screens.
  • This object can be cubic (Refs. [1], [6], [7], [10], [1 1]), or polyhedral (Ref. [4]), or spherical (Ref. ]).
  • this type of display has not been used to select and manipulate virtual objects, and the selection of an object requires the use of an external control device.
  • Embodiments provide for a method of interacting with virtual objects in a virtual space, the method comprising: determining positions in a real space of a user's face and an interaction device portable and, having display elements located in different planes, so as to delimit a virtual interior volume, determine a position and a direction an axis of vision passing through a center of the display elements and the face of the user, depending on the positions of the face of the user and the interaction device, determining an orientation of the interaction device relative to to the axis of vision, determining display elements of the interaction device, visible to the user, according to the axis of vision and the orientation of the interaction device, determining an image of the virtual space to be displayed on the visible display elements, and projections of the determined image of a plane perpendicular to the axis of vision on planes in which the visible display elements are located, depending on the position of the interaction device and the position and the direction of the axis of vision, the virtual space being held fixed relative to the real space, and display the projections of the determined
  • the determination of the position of the face of the user and the position of the interaction device is performed from images taken by a fixed image sensor relative to the actual space.
  • the determination of the position of a face of the user and the position of the interaction device is performed from real space images, taken by an image sensor located on the interaction device.
  • the method comprises the steps of: determining that a virtual virtual space object is in the virtual interior volume of the interaction device, measuring a pressure exerted by the user's hand on a surface element of the interaction device, and maintain the image of the virtual object in the virtual interior volume of the interaction device as long as the measured pressure exceeds a threshold value, the determined image of the virtual space being displayed in the background behind the image of the virtual object, and keeping the image of the virtual object fixed relative to the displayed image of the virtual space during movements of the interaction device, when the measured pressure drops below the threshold value.
  • the method includes steps of: when the measured pressure falls below the threshold value, determining whether the virtual object is on a surface of the space virtual medium likely to support it, and if the virtual object is on a surface of the virtual space likely to support it, to maintain fixed the image of the object with respect to the virtual space, if not to simulate a fall of the image of the virtual object to a surface of the virtual space that can support it.
  • the method comprises steps of detecting during displacements the virtual object maintained in the virtual interior volume of the interaction device, if the virtual object meets another virtual object of the virtual space, and if so, simulate a shock between the virtual object in the virtual interior volume of the interaction device and the other object of the virtual space.
  • the method comprises a step of emission by the interaction device of a vibration or a sound at the instant of the simulated shock.
  • the method comprises the steps of: detecting a phenomenon in the vicinity of the interaction device, by sensors disposed on or in the interaction device, and processing the image displayed by the interaction device in order to simulate a propagation of the detected phenomenon in the virtual space.
  • the detected phenomenon belongs to the following list: an incident light beam illuminating one or more faces of the interaction device, a shock on one side of the interaction device, and a movement of air.
  • the display of the determined image on the visible display elements comprises a perspective projection of the virtual space in three dimensions, considering for each visible display element a projection pyramid having for base the display element and for vertex a point of the user's face on the axis of vision
  • interaction device configured to implement the method defined above, the interaction device comprising: display elements located in different planes.
  • the interaction device comprises at least one of the following elements: motion sensors for detecting rotational and translational movements and an orientation in the actual space of the interaction device, pressure sensors for detecting a pressure exerted on a face of the interaction device, image or depth sensors, light sensors, a microphone, a vibrator, and a speaker.
  • the interaction device has a cubic form.
  • the interaction device comprises a wireless communication circuit and an autonomous power supply.
  • FIG. 1 schematically represents a graphical interaction device, according to one embodiment
  • FIG. 2 schematically represents circuits of the graphical interaction device, according to one embodiment
  • FIGS. 3 and 4 schematically represent circuits of the graphical interaction device, configured to detect the position of the head of the user, according to two distinct embodiments,
  • Figures 5 and 6 show the interaction device for illustrating perspective image projection methods.
  • FIG. 1 represents a graphical interaction device TUI, according to one embodiment.
  • the TUI device has a cubic shape, comprising DSP display screens, each display screen covering a respective face of the cubic form.
  • the device TUI comprises six DSP display screens, respectively arranged on all its faces. Since it is possible for a single user to simultaneously view only three faces of a cube, the TUI device may comprise only three display screen control circuits, which are pointed at each moment to the three display screens. DSP display visible to the user
  • the TUI interaction device may have dimensions such that it can be held and clamped in the user's hand, and a mass compatible with handling without fatigue for the user, for example less than 400 g.
  • FIG. 2 represents internal circuits of the graphical interaction device TUI, these circuits being housed inside the cubic form, between the DSP display screens.
  • the TUI device comprises a CM processing unit, the DSP display screens, a set of SNS sensors, a set of ACT actuators and a WCC communication circuit, the whole being powered by an ALM power supply circuit.
  • the processing unit CM comprises a central processing unit CPU and a graphics processor GPU connected to the central processing unit CPU and to the display screens DSP.
  • the CPU CPU connected to ACT actuators, SNS sensors and WCC communication circuit.
  • the WCC communication circuit connects the TUI interaction device to an external unit such as a personal computer PC, for example via a wireless link, which may be of the WiFi type, or Bluetooth, or the like.
  • the ALM power supply circuit can be self-contained and include, for example, a rechargeable battery via an RCX connector to connect the battery to a charger. It can also be provided wireless charging, for example by induction.
  • the DSP display screens may be of LED type having a sufficiently wide field of view without distortion of the displayed colors, because they are intended to be observed often at an angle.
  • the SNS sensors may comprise tactile surfaces arranged on the DSP display screens, ISN image or depth sensors, for example arranged on the edges of the cubic form, one or more photodiodes for capturing the ambient light or the light applied on the faces of the device TUI, pressure sensors for determining a pressure exerted on each of the faces of the device TUI, for example a pressure exerted by the hand of the user, motion and / or acceleration sensors (accelerometers , gyroscopes, compass) to determine the movements applied to the device and / or the orientation of the device in space (with respect to the direction of gravity).
  • SNS sensors can also include a microphone.
  • ACT actuators may include a loudspeaker and one or more vibrators to vibrate the TUI device and thus provide a haptic feedback to the user.
  • the images presented on the DSP display screens of the TUI interaction device simulate a window giving on a virtual space in three dimensions, the virtual space being fixed with respect to the real space surrounding the device interaction.
  • the data for generating the images of the virtual space can be stored in the interaction device and / or transmitted to the TUI device by an external device such as a personal computer.
  • the images of the virtual space are displayed by modifying a projection matrix of each display screen to obtain an off-axis projection, in order to produce the illusion for the user that a three-dimensional virtual scene is seen at the same time. through all the visible faces of the TUI device.
  • the user's gaze is located at all times by the CPU processing unit, relative to the actual position of the TUI device to determine the DSP screens visible to the user, and a viewing angle of each screen relative to the user.
  • FIG. 3 illustrates a first embodiment of a user's pursuit method.
  • FIG. 3 represents the device TUI, the user US and an external device TD of pursuit of the eyes of the user.
  • the US user wears for example on the front MKU markers easily detectable on an image taken by an IST image sensor of the tracking device TD.
  • MKT markers may be identical and may be arranged on the TUI interaction device, for example on the edges of the latter.
  • the tracking device TD comprises a processing unit CPT, the image sensor IST and a communication circuit WCT for communicating with the interaction device TUI, for example via the communication circuit WCC.
  • the IST sensor provides the CPT processing unit with images in which the markers MKU, MKT are visible. On the basis of each of these images, the processing unit CPT of the tracking device TD determines the positions in the space of the head of the user US and the interaction device TUI, and possibly the relative position of the user with respect to the TUI interaction device. The processing unit TD continuously transmits to the interaction device TUI the position information thus detected.
  • the processing unit CPU of the interaction device TUI determines the faces (the display screens DSP) where the images of the display are to be displayed. virtual space to be displayed, and determines the projection parameters of the images on these display screens so that these images are displayed by the visible DSP screens so as to be perceived by the user as a single image, with in the foreground, the physical borders of the DSP display screens.
  • the projection parameters of the displayed images are also determined so as to reproduce an illusion of perspective in the eyes of the user.
  • the CPU processing unit uses the measurements provided by the SNS movement and inclination sensors, and / or the positions of the markers MKU, MKT in the images provided by the image sensor, to determine the orientation of the screens with respect to an axis connecting the center of the TUI interaction device and a point between the user's eyes, as well as the position and the dimensions of the window on the virtual space to be displayed on the different screens of the screen.
  • DSP display visible to the user.
  • the CPU processing unit is configured to detect the translation and rotation movements of the TUI device and to determine the window to be displayed on the virtual space by applying inverse movements to the detected movements and of the same amplitude in the space virtual, so that the virtual space appears to the fixed user relative to the real space surrounding the device TUI.
  • the CPU processing unit is also configured to determine a zoom value of the window on the virtual space to be displayed based on the distance detected between the US user (MKU markers) and the TUI interaction device. In this way, if the user approaches the device TUI of his eyes, he will have the illusion that his field of vision on the virtual space widens, and conversely, if he moves away from the device TUI, he will have the illusion that his field of vision on the virtual space is narrowing.
  • the markers MKT and / or MKU can be infrared diodes, so as to emit an easily recognizable signal in the images provided by the IST sensor which can then be of the infrared image sensor type.
  • the MKU and / or MKT markers may be textured or have characteristic patterns easily identifiable in the images provided by the IST image sensor.
  • the image sensor IST can also be a depth sensor and thus directly provide distance values that separate it from the interaction device TUI and the face of the user US, as well as angle values between them.
  • the image sensor IST can also be a stereoscopic image sensor providing two images taken from different points so as to triangulation to estimate these values of distance and angle. A combination of these different solutions can also be implemented.
  • FIG. 4 illustrates a second embodiment of a method for tracking the user's gaze.
  • FIG. 4 shows the TUI device and the US user carrying the easily detectable MKU markers on the images taken by the ISN image sensors of the TUI interaction device.
  • the tracking method uses one or more MKF markers which are fixed relative to the US user and the TUI device and visible by the image sensors of the latter.
  • the marker MKF is for example arranged on a table in front of the user or on a wall always visible by the ISN image sensors.
  • the ISN image sensors are connected to the CPU processing unit for example via an MX video multiplexer.
  • the processing unit CPU is configured to determine the respective positions of the markers MKU, MKF in the images provided by the ISN sensors, to deduce the respective positions of these markers with respect to the device TUI, and finally the position of the head of the US user compared to the device TUI. Based on the positions in the space of the user's head and the device TUI and the inclination of the latter, the CPU determines as before the faces (the display screens DSP) where must be displayed the images of the virtual space to be displayed, and determines the projection parameters of the images on these display screens to reproduce an illusion of perspective in the eyes of the user. Note that to detect the movements of the TUI interaction device, the CPU processing unit can also use a depth sensor providing depth images, identify in these images patterns characteristics of the actual fixed environment of the interaction device, and measure relative movements of these characteristic patterns.
  • Figure 5 shows a projection mode of the images displayed on the various DSP display screens.
  • An axis of vision UD passing between the eyes of the US user and the center O of the interaction device TUI determines a perpendicular plane IMG from which the images to be displayed are projected on the different planes in which the screens are located.
  • DSP display The direction of the UD axis also determines the images of the virtual space to be displayed and the DSP display screens that are visible to the US user. In the example of FIG. 5, the visible display screens are referenced DSP1, DSP2 and DSP3.
  • the direction of the UD axis also determines the dihedral angles between the IMG plane and each of the DSP1, DSP2 and DSP3 display screen planes.
  • the dihedral angles make it possible to determine the shapes and dimensions of image portions P1, P2, P3 of the images to be displayed, to be sent to each of the display screens DSP1, DSP2 and DSP3, as well as a projection angle for each of the image portions P1, P2, P3.
  • the distance along the UD axis between the user's head and the TUI device determines a magnification factor of the displayed images. Thus, the greater this distance, the higher this magnification factor.
  • the user wishes to benefit from a wide field of vision on the virtual space, he must bring his eyes closer to the device TUI.
  • the displayed images are modified each time, the device TUI rotates relative to the axis of vision UD and / or each time the distance along the axis UD between the head of the user and the device TUI changes, and / or whenever the UD axis changes orientation and / or is displaced in translation.
  • the CPU processing unit is configured to apply an off-axis perspective projection (Off-Axis) of a three-dimensional space, taking into account the position and the orientation of the UD axis of vision, display screens visible from the position of the US user, the respective orientation of each of the visible screens relative to the UD axis (or the position in real space corners of each of the visible display screens).
  • Off-Axis off-axis perspective projection
  • such a projection may consist in considering for each visible display screen, a pyramid based on the display screen and for top a point between the two eyes of the US user.
  • the display screens DSP1, DSP2, DSP3 are visible to the US user.
  • the pyramid formed by the display screen DSP1 comprises edges A124, A146, A123 and A135 joining a point UE between the eyes of the US user at the four corners of the screen DSP1.
  • the DSP2 screen forms a pyramid having as edges A123, A124, A246 and A236 joining the point UE to the four corners of the screen DSP2.
  • the screen DSP3 forms a pyramid having as edges A123, A135, A236 and A356.
  • the projection is performed on the basis of a pyramid whose vertex is located on an axis perpendicular to the display screen and passing through the center of the latter.
  • such a stereoscopic vision can be obtained by means of display screens and a graphics processor allowing such stereoscopic vision, possibly combined with the wearing of special glasses by the user.
  • a graphics processor allowing such stereoscopic vision, possibly combined with the wearing of special glasses by the user.
  • two projection pyramids on the basis of a pyramid for each eye of the user.
  • the CPU processing unit is configured to give the illusion to the user that he can place an object of the virtual space in the internal volume of the TUI interaction device, placing the latter on the image of the object displayed on the DSP screens.
  • the CPU processing unit is configured to detect a pressure on two opposite faces of the TUI interaction device, exerted by the hand of the user, and to maintain the image of a displayed virtual object. in the volume of the interaction device TUI, as is the pressure exerted on the faces of the device TUI, while the user moves the latter.
  • the window on the virtual space is then displayed in the background, behind the object and always determined according to the detected movements of the TUI interaction device relative to the real space.
  • the detection of the pressure can be performed by comparing with a threshold value, pressure measurements provided by SNS pressure sensors.
  • the CPU processing unit detects this pressure, it can trigger the display of a visual feedback signal, marking the consideration of the maintenance of the virtual object in the internal volume of the TUI device.
  • This visual feedback can be presented for example in the form of a color change of the virtual object or the contours of the latter. It may also be desirable to indicate that a virtual object is within the virtual interior volume of the TUI, even in the absence of pressure, for example by highlighting the outline of the object. Thus, the user can visualize that the object becomes "selectable". If there are multiple virtual objects in the TUI interior volume, the closest object to the center can be marked as selectable to indicate which one will be selected when pressure is detected.
  • the presentation scale of the virtual space can be adjusted to ensure that the virtual space virtual objects can enter the virtual internal volume of the TUI interaction device.
  • the CPU processing unit determines whether another virtual object is on the trajectory of the virtual object maintained in the interior volume of the device TUI, and simulates a shock between these two objects in the displayed images, when they come into contact.
  • the CPU processing unit can then trigger a vibration of a ACT actuator vibrator type to give the illusion of the shock sensation with the virtual object maintained in the interior volume of the device TUI.
  • the CPU processing unit can also trigger the transmission by a loudspeaker ACT of a sound reproducing the sound of a shock.
  • the sound emitted can be determined according to the nature of the materials in which the two virtual objects are formed.
  • the CPU processing unit when the pressure measurements become lower than the threshold value, maintains the image of the object fixed with respect to the virtual space, the window displayed on the virtual space being always determined according to the detected movements of the TUI interaction device. The visual feedback of the pressure detection is then removed from the displayed images.
  • the CPU when the pressure measurements become lower than the threshold value, can determine a distance between the virtual object present in the interior volume of the interaction device and a solid surface of the virtual space below the virtual object, and displays the virtual object by simulating a fall of the latter to the solid surface, possibly with bounces of the virtual object.
  • the processor unit CPU can trigger the emission of a shock sound by means of a ACT actuator of the speaker type, and / or trigger the emission of a vibration, by means of a vibrator.
  • the CPU processing unit is configured to detect an air movement around the interaction device (for example when the user is blowing on the interaction device) and to detect the direction of this movement, by means of microphones arranged on the faces or the edges of the TUI device, and moving virtual objects present on the path of the breath in the virtual space, according to a simulated mass of these objects.
  • Pressure sensors can also be used to detect a shock on the TUI interaction device, the processing unit being configured to simulate a transmission of this shock to the objects present in the virtual space.
  • the CPU processing unit is configured to activate the DSP display screens when the user approaches his hand of the TUI device, or when he performs a fast scan with his hand near the TUI device.
  • This movement can be detected by means of the tactile surfaces arranged on the DSP display screens or by means of depth sensors used to detect movements around the TUI device.
  • the effect produced by the airflow generated by the rapid hand sweep can be simulated in the virtual space.
  • SNS photodiode sensors distributed on the surface of the TUI interaction device capture the light of the real world around the latter.
  • the CPU processing unit can be configured to simulate a transmission of the light captured by the photodiodes, in the virtual world through the window displayed on the virtual world, constituted by the TUI interaction device.
  • the present invention is capable of various alternative embodiments and various applications.
  • the invention is not limited to a cubic form of interaction device, but also covers an object of any shape that can be held and manipulated by the hand of the user, and whose surface can be covered with one or more display screens, for example a spherical shape.
  • an OLED display screen Organic Light-Emitting Diode
  • the invention can for example be applied to a videoconferencing system, in which each of the participants in the videoconference, having a TUI interaction device, can visualize the surrounding space of each of the other participants in the form of a video conference. a virtual space according to the method described above, or visualize a virtual space common to all participants. In this way, each participant can also move virtual objects in a visible manner by the other participants.
  • the sound exchanges can be picked up by the microphone of an interaction device and be reproduced by the speakers of the interaction devices of the other participants.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne un procédé d'interaction avec des objets virtuels dans un espace virtuel, le procédé comprenant des étapes consistant à : déterminer des positions dans un espace réel d'un visage d'un utilisateur et d'un dispositif d'interaction (TUI) portable autonome et, comportant des éléments d'affichage (DSP) situés dans des plans différents, de manière à délimiter un volume intérieur virtuel, déterminer des éléments d'affichage (DSPl, DSP2, DSP3) du dispositif d'interaction, visibles par l'utilisateur, en fonction d'un l'axe de vision et d'une orientation du dispositif d'interaction, déterminer une image de l'espace virtuel à afficher sur les éléments d'affichage visibles, l'espace virtuel étant maintenu fixe par rapport à l'espace réel, et projeter l'image d'un plan (IMG) perpendiculaire à l'axe de vision sur des plans dans lesquels se trouvent les éléments d'affichage visibles.

Description

DISPOSITIF D'INTERFACE HOMME MACHINE AVEC DES
APPLICATIONS GRAPHIQUES EN TROIS DIMENSIONS
La présente invention concerne le domaine des applications graphiques en trois dimensions, et en particulier le domaine des interfaces de commande dites "tangibles", et le domaine de la réalité virtuelle de type "aquarium" FTVR ("Fish Tank Virtual Reality"). La présente invention s'applique notamment à la manipulation et à conception d'objets et de prototypes en trois dimensions, aux jeux vidéo et à la visioconférence.
Les techniques de réalité virtuelle FTVR mettent en œuvre un écran d'affichage couplé à un dispositif de suivi du visage de l'utilisateur, pour afficher une image qui est adaptée à la position du visage de l'utilisateur par rapport à l'écran d'affichage, de manière à donner l'illusion d'une perspective ou d'un défilement parallaxe. Un défilement parallaxe est le déplacement apparent d'un objet observé, dû au déplacement de l'observateur. Les changements de point de vue de l'utilisateur sont ainsi détectés par le dispositif de poursuite et traités pour définir la position et l'angle de vue d'une caméra virtuelle filmant une scène virtuelle, correspondant au nouveau point de vue, l'écran d'affichage présentant les images produites par la caméra virtuelle. Ainsi, si une vue de face d'un objet est présentée sur un écran d'affichage et que l'utilisateur se déplace vers la droite. Ce mouvement est détecté et déclenche une rotation de l'objet affiché vers la gauche, ainsi qu'une déformation de l'objet pour préserver la les dimensions apparentes de l'objet malgré le fait que l'écran est observé de biais. L'image affichée montre ainsi des vues de face et latérale droite de l'objet en perspective. Des tests ont permis de mettre en évidence que cette technique améliore la capacité de l'utilisateur à appréhender des objets en trois dimensions affichés sur un écran en deux dimensions.
De plus en plus, des applications dans de nombreux domaines font intervenir des manipulations d'objets virtuels, telles que des mouvements de rotation ou de translation, ou une sélection d'objet. Classiquement, ces manipulations étaient possibles pour des utilisateurs avancés à partir de stations de travail. Aujourd'hui, il devient possible de réaliser de telles manipulations à partir de simples terminaux mobiles.
L'objectif des interfaces de commande tangibles est de donner une forme physique à des données informatiques, en utilisant des objets du monde réel appelés "objets tangibles" pour représenter ces données. Ainsi, ces interfaces graphiques visent à exploiter les capacités des utilisateurs à interagir avec des objets physiques, pour effectuer des tâches de manipulation d'une manière naturelle et donc plus efficace. Cette solution permet ainsi d'éviter un long apprentissage.
Cependant, ces opérations de manipulation nécessitent un retour visuel. A cet effet, certaines interfaces graphiques tangibles actuelles utilisent donc un écran d'affichage fixe, ce qui les empêche d'être portables. D'autres interfaces utilisent un écran d'affichage portable d'un appareil mobile (tel qu'une tablette numérique ou téléphone de type "smartphone"), mais nécessitent l'utilisation d'autres dispositifs tangibles distincts de l'écran d'affichage lui-même.
Il a également été proposé un dispositif autonome d'interface graphique utilisant un écran d'affichage portable comme une poignée réelle pour attraper et manipuler des objets virtuels situés derrière l'écran. Cette solution est entièrement portable, mais au prix de certains inconvénients résultant d'une séparation entre les objets virtuels derrière l'écran et la poignée réelle formée par l'écran. Si les objets sont fixes par rapport à l'écran, le centre d'un éventuel mouvement de rotation est situé sur l'écran. Il est alors difficile de faire tourner l'objet en faisant tourner l'écran, sans le déplacer en translation (Refs. [5], [8]). Il a également été proposé de dissocier les commandes de mouvement de rotation et de translation (Réf.
[9]). Il est ainsi plus facile de faire tourner un objet virtuel sur lui-même par un mouvement de rotation de T'écran. Cependant, comme l'objet virtuel n'est plus fixe par rapport à l'écran, il peut sortir partiellement ou totalement du champ de vision pendant son mouvement de rotation. Cet inconvénient peut être supprimé en augmentant le facteur de gain ou l'échelle des rotations, afin que l'objet puisse tourner de façon plus ample, sou l'effet d'une même rotation de l'écran. Ainsi, on limite le risque que l'objet sorte du champ de vision, mais cela affecte le retour visuel et donc réduit la sensation d'une manipulation directe de l'objet virtuel. Il peut être envisagé de supprimer cette séparation entre les objets virtuels derrière l'écran et la poignée formée par l'écran en plaçant l'écran "sur" l'objet virtuel à manipuler avant de commencer la manipulation. Cependant, si l'objet est trop volumineux, il ne peut plus être présenté entièrement à l'écran, ce qui complique sa manipulation. Ici encore il n'est pas possible de réduire la taille de l'objet affiché sans affecter le retour visuel.
Il a également été proposé ce qu'on appelle "la réalité virtuelle de type aquarium" FVTR ("Fish-Tank Virtual Reality") prévoyant de gérer un écran d'affichage pour qu'il apparaisse comme une fenêtre sur un monde virtuel (Refs. [3], [12]). Cette solution consiste à faire apparaître des objets virtuels derrière, sur ou devant l'écran d'affichage par un affichage en trois dimensions (3D), stéréo et/ou par un affichage en perspective en fonction de la position de la tête de l'utilisateur.
Un tel affichage 3D a été mis en œuvre dans un objet dont tout ou partie de la surface est recouverte d'un ou plusieurs écrans d'affichage. Cet objet peut être de forme cubique (Refs. [1 ], [6], [7], [10], [1 1 ]), ou polyédrique (Réf. [4]), ou encore sphérique (Réf. [2]). Cependant, ce type d'affichage n'a pas été exploité pour sélectionner et manipuler des objets virtuels, et la sélection d'un objet nécessite de faire appel à un organe de commande externe.
Il est donc souhaitable de proposer une interface graphique permettant à l'utilisateur d'interagir avec des objets d'un monde virtuel, d'une manière naturelle, sans nécessiter d'entraînement préalable. Il peut être également souhaitable d'intégrer une telle interface graphique dans un objet portable et autonome. Il est également souhaitable que cet objet puisse fournir un retour visuel aussi naturel que possible, durant la manipulation d'un objet virtuel, tout en assurant que l'objet virtuel manipulé soit affiché entièrement.
Des modes de réalisation concernent un procédé d'interaction avec des objets virtuels dans un espace virtuel, le procédé comprenant des étapes consistant à : déterminer des positions dans un espace réel d'un visage d'un utilisateur et d'un dispositif d'interaction portable autonome et, comportant des éléments d'affichage situés dans des plans différents, de manière à délimiter un volume intérieur virtuel, déterminer une position et une direction d'un axe de vision passant par un centre des éléments d'affichage et le visage de l'utilisateur, en fonction des positions du visage de l'utilisateur et du dispositif d'interaction, déterminer une orientation du dispositif d'interaction par rapport à l'axe de vision, déterminer des éléments d'affichage du dispositif d'interaction, visibles par l'utilisateur, en fonction de l'axe de vision et de l'orientation du dispositif d'interaction, déterminer une image de l'espace virtuel à afficher sur les éléments d'affichage visibles, et des projections de l'image déterminée d'un plan perpendiculaire à l'axe de vision sur des plans dans lesquels se trouvent les les éléments d'affichage visibles, en fonction de la position du dispositif d'interaction et de la position et de la direction de l'axe de vision, l'espace virtuel étant maintenu fixe par rapport à l'espace réel, et afficher les projections de l'image déterminée sur les éléments d'affichage visibles.
Selon un mode de réalisation, la détermination de la position du visage de l'utilisateur et de la position du dispositif d'interaction est effectuée à partir d'images prises par un capteur d'image fixe par rapport à l'espace réel.
Selon un mode de réalisation, la détermination de la position d'un visage de l'utilisateur et de la position du dispositif d'interaction est effectuée à partir d'images de l'espace réel, prises par un capteur d'image situé sur le dispositif d'interaction.
Selon un mode de réalisation, le procédé comprend des étapes consistant à : déterminer qu'un objet virtuel de l'espace virtuel se trouve dans le volume intérieur virtuel du dispositif d'interaction, mesurer une pression exercée par la main de l'utilisateur sur un élément de surface du dispositif d'interaction, et maintenir l'image de l'objet virtuel dans le volume intérieur virtuel du dispositif d'interaction tant que la pression mesurée excède une valeur de seuil, l'image déterminée de l'espace virtuel étant affichée en arrière-plan derrière l'image de l'objet virtuel, et maintenir fixe l'image de l'objet virtuel par rapport à l'image affichée de l'espace virtuel pendant des déplacements du dispositif d'interaction, lorsque la pression mesurée descend en dessous de la valeur de seuil.
Selon un mode de réalisation, le procédé comprend des étapes consistant à : lorsque la pression mesurée descend en dessous de la valeur de seuil, déterminer si l'objet virtuel se trouve sur une surface de l'espace virtuel susceptible de le supporter, et si l'objet virtuel se trouve sur une surface de l'espace virtuel susceptible de le supporter, maintenir fixe l'image de l'objet par rapport à l'espace virtuel, sinon simuler une chute de l'image de l'objet virtuel jusqu'à une surface de l'espace virtuel susceptible de le supporter.
Selon un mode de réalisation, le procédé comprend des étapes consistant à détecter durant des déplacements de l'objet virtuel maintenu dans le volume intérieur virtuel du dispositif d'interaction, si l'objet virtuel rencontre un autre objet virtuel de l'espace virtuel, et si tel est le cas, simuler un choc entre l'objet virtuel dans le volume intérieur virtuel du dispositif d'interaction et l'autre objet de l'espace virtuel.
Selon un mode de réalisation, le procédé comprend une étape d'émission par le dispositif d'interaction d'une vibration ou d'un son à l'instant du choc simulé.
Selon un mode de réalisation, le procédé comprend des étapes consistant à : détecter un phénomène à proximité du dispositif d'interaction, par des capteurs disposés sur ou dans le dispositif d'interaction, et traiter l'image affichée par le dispositif d'interaction de manière à simuler une propagation du phénomène détecté dans l'espace virtuel.
Selon un mode de réalisation, le phénomène détecté appartient à la liste suivante : un faisceau lumineux incident éclairant une ou plusieurs faces du dispositif d'interaction, un choc sur une face du dispositif d'interaction, et un mouvement d'air.
Selon un mode de réalisation, l'affichage de l'image déterminée sur les éléments d'affichage visibles, comprend une projection en perspective de l'espace virtuel en trois dimensions, en considérant pour chaque élément d'affichage visible une pyramide de projection ayant pour base l'élément d'affichage et pour sommet un point du visage de l'utilisateur sur l'axe de vision
Des modes de réalisation, peuvent également concerner un dispositif
'd'interaction, configuré pour mettre en œuvre le procédé défini précédemment, le dispositif d'interaction comprenant : des éléments d'affichage situés dans des plans différents.
Selon un mode de réalisation, le dispositif d'interaction comprend au moins l'un des éléments suivants : des capteurs de mouvement pour détecter des mouvements de rotation et de translation et une orientation dans l'espace réel du dispositif d'interaction, des capteurs de pression pour détecter une pression exercée sur une face du dispositif d'interaction, des capteurs d'image ou de profondeur, des capteurs de lumière, un microphone, un vibreur, et un haut-parleur.
Selon un mode de réalisation, le dispositif d'interaction présente une forme cubique.
Selon un mode de réalisation, le dispositif d'interaction comprend un circuit de communication sans fil et une alimentation électrique autonome.
Des exemples de réalisation de l'invention et de mise en œuvre du procédé de l'invention seront décrits dans ce qui suit, à titre non limitatif en relation avec les figures jointes parmi lesquelles :
la figure 1 représente schématiquement un dispositif d'interaction graphique, selon un mode de réalisation,
la figure 2 représente schématiquement des circuits du dispositif d'interaction graphique, selon un mode de réalisation,
les figures 3 et 4 représentent schématiquement des circuits du dispositif d'interaction graphique, configurés pour détecter la position de la tête de l'utilisateur, selon deux modes de réalisation distincts,
les figures 5 et 6 représentent le dispositif d'interaction pour illustrer des procédés de projection d'image en perspective.
La figure 1 représente un dispositif d'interaction graphique TUI, selon un mode de réalisation. Le dispositif TUI présente une forme cubique, comprenant des écrans d'affichage DSP, chaque écran d'affichage recouvrant une face respective de la forme cubique. Pour que le dispositif TUI puisse permettre de manipuler un objet virtuel, et en particulier, de le faire tourner dans tous les sens pour pouvoir observer toutes ses faces, le dispositif TUI comporte six écrans d'affichage DSP, respectivement disposés sur toutes ses faces. Comme il n'est possible pour un unique utilisateur de visualiser simultanément que trois faces d'un cube, le dispositif TUI peut ne comporter que trois circuits de contrôle d'écran d'affichage, qui sont aiguillés à chaque instant vers les trois écrans d'affichage DSP visibles par l'utilisateur
Le dispositif d'interaction TUI peut présenter des dimensions telles qu'il puisse être tenu et serré dans la main de l'utilisateur, et une masse compatible avec une manipulation sans fatigue pour l'utilisateur, par exemple inférieure à 400 g.
La figure 2 représente des circuits internes du dispositif d'interaction graphique TUI, ces circuits étant logés à l'intérieur de la forme cubique, entre les écrans d'affichage DSP. Le dispositif TUI comprend une unité de traitement CM, les écrans d'affichage DSP, un ensemble de capteurs SNS, un ensemble d'actionneurs ACT et un circuit de communication WCC, le tout étant alimenté par un circuit d'alimentation ALM. L'unité de traitement CM comprend une unité centrale de traitement CPU et un processeur graphique GPU connecté à l'unité centrale CPU et aux écrans d'affichage DSP. L'unité centrale de traitement CPU connectée aux actionneurs ACT, aux capteurs SNS et au circuit de communication WCC. Le circuit de communication WCC relie le dispositif d'interaction TUI à une unité externe telle qu'un ordinateur personnel PC, par exemple par l'intermédiaire d'une liaison sans fil, qui peut être du type WiFi, ou Bluetooth, ou équivalent. Le circuit d'alimentation ALM peut être autonome et comprendre par exemple une batterie rechargeable par l'intermédiaire d'un connecteur RCX pour relier la batterie à un chargeur. Il peut être également prévu un chargement sans fil, par exemple par induction.
Les écrans d'affichage DSP peuvent être de type à LED présentant un champ de vision suffisamment large sans déformation des couleurs affichées, car ils sont destinés à être observés souvent de biais.
Les capteurs SNS peuvent comprendre des surfaces tactiles disposées sur les écrans d'affichage DSP, des capteurs d'image ou de profondeur ISN, par exemple disposés sur les arêtes de la forme cubique, une ou plusieurs photodiodes pour capter la lumière ambiante ou la lumière appliquée sur les faces du dispositif TUI, des capteurs de pression pour déterminer une pression exercée sur chacune des faces du dispositif TUI, par exemple une pression exercée par la main de l'utilisateur, des capteurs de mouvements et/ou d'accélération (accéléromètres, gyroscopes, compas) pour déterminer les mouvements appliqués au dispositif et/ou l'orientation du dispositif dans l'espace (par rapport à la direction de la gravité). Les capteurs SNS peuvent également comprendre un microphone. Les actionneurs ACT peuvent comprendre un haut-parleur et un ou plusieurs vibreurs permettant de faire vibrer le dispositif TUI et ainsi fournir un retour haptique à l'utilisateur.
Selon un mode de réalisation, les images présentées sur les écrans d'affichage DSP du dispositif d'interaction TUI simulent une fenêtre donnant sur un espace virtuel en trois dimensions, l'espace virtuel étant fixe par rapport à l'espace réel environnant le dispositif d'interaction. Les données permettant de générer les images de l'espace virtuel peuvent être stockées dans le dispositif d'interaction et/ou transmises au dispositif TUI par un dispositif externe tel qu'un ordinateur personnel.
Les images de l'espace virtuel sont affichées en modifiant une matrice de projection de chaque écran d'affichage pour obtenir une projection hors- axe, afin de produire l'illusion pour l'utilisateur qu'une scène virtuelle en trois dimensions est vue au travers de toute les faces visibles du dispositif TUI. A cet effet, le regard de l'utilisateur est localisé à tout instant par l'unité de traitement CPU, par rapport à la position réelle du dispositif TUI pour déterminer les écrans DSP visibles par l'utilisateur, et un angle de vision de chaque écran par rapport à l'utilisateur.
La figure 3 illustre un premier mode de réalisation d'un procédé de poursuite du regard de l'utilisateur. La figure 3 représente le dispositif TUI, l'utilisateur US et un dispositif externe TD de poursuite du regard de l'utilisateur. A cet effet, l'utilisateur US porte par exemple sur le front des marqueurs MKU facilement détectables sur une image prise par un capteur d'image IST du dispositif de poursuite TD. Des marqueurs MKT peuvent être identiques et peuvent être disposés sur le dispositif d'interaction TUI, par exemple sur les arêtes de ce dernier.
Le dispositif de poursuite TD comprend une unité de traitement CPT, le capteur d'image IST et un circuit de communication WCT pour communiquer avec le dispositif d'interaction TUI, par exemple par l'intermédiaire du circuit de communication WCC.
Le capteur IST fournit à l'unité de traitement CPT des images dans lesquelles les marqueurs MKU, MKT sont visibles. Sur la base de chacune de ces images, l'unité de traitement CPT du dispositif de poursuite TD détermine les positions dans l'espace de la tête de l'utilisateur US et du dispositif d'interaction TUI, et éventuellement la position relative de l'utilisateur par rapport au dispositif d'interaction TUI. L'unité de traitement TD transmet en continu au dispositif d'interaction TUI les informations de position ainsi détectées.
Sur la base des positions respectives des marqueurs MKU et MKT reçues du dispositif de poursuite TD, l'unité de traitement CPU du dispositif d'interaction TUI détermine les faces (les écrans d'affichage DSP) où doivent être affichées les images de l'espace virtuel à afficher, et détermine les paramètres de projection des images sur ces écrans d'affichage pour que ces images soient affichées par les écrans DSP visibles de manière à être perçues par l'utilisateur comme une seule image, avec au premier plan, les bordures physiques des écrans d'affichage DSP. Les paramètres de projection des images affichées sont également déterminés de manière à reproduire une illusion de perspective dans les yeux de l'utilisateur. A cet effet, l'unité de traitement CPU utilise les mesures fournies par les capteurs SNS de mouvement et d'inclinaison, et/ou les positions des marqueurs MKU, MKT dans les images fournies par le capteur d'image, pour déterminer l'orientation des écrans par rapport à un axe reliant le centre du dispositif d'interaction TUI et un point entre les yeux de l'utilisateur, ainsi que la position et les dimensions de la fenêtre sur l'espace virtuel à afficher sur les différents écrans d'affichage DSP visibles par l'utilisateur.
Ainsi, l'unité de traitement CPU est configurée pour détecter les mouvements de translation et de rotation du dispositif TUI et pour déterminer la fenêtre à afficher sur l'espace virtuel en appliquant des mouvements inverses aux mouvements détectés et de même amplitude dans l'espace virtuel, de manière à ce que l'espace virtuel apparaisse à l'utilisateur fixe par rapport à l'espace réel environnant le dispositif TUI.
L'unité de traitement CPU est également configurée pour déterminer une valeur de zoom de la fenêtre sur l'espace virtuel à afficher en fonction de la distance détectée entre l'utilisateur US (marqueurs MKU) et le dispositif d'interaction TUI. De cette manière, si l'utilisateur approche le dispositif TUI de ses yeux, il aura l'illusion que son champ de vision sur l'espace virtuel s'élargit, et inversement, s'il s'éloigne du dispositif TUI, il aura l'illusion que son champ de vision sur l'espace virtuel se rétrécit.
Les marqueurs MKT et/ou MKU peuvent être des diodes infrarouges, de manière à émettre un signal facilement reconnaissable dans les images fournies par le capteur IST qui peut alors être du type capteur d'image infrarouge. Les marqueurs MKU et/ou MKT peuvent être texturés ou présenter des motifs caractéristiques facilement repérables dans les images fournies par le capteur d'image IST. Le capteur d'image IST peut être également un capteur de profondeur et ainsi fournir directement des valeurs de distances qui le séparent du dispositif d'interaction TUI et du visage de l'utilisateur US, ainsi que des valeurs d'angle entre ces derniers. Le capteur d'image IST peut être également un capteur d'image stéréoscopique fournissant deux images prises à partir de points différents de manière à permettre par triangulation d'estimer ces valeurs de distance et d'angle. Une combinaison des ces différentes solutions peut également être mise en œuvre.
La figure 4 illustre un second mode de réalisation d'un procédé de poursuite du regard de l'utilisateur. La figure 4 représente le dispositif TUI et l'utilisateur US qui porte les marqueurs MKU facilement détectables sur les images prises par les capteurs d'image ISN du dispositif d'interaction TUI. Ici, le procédé de poursuite utilise un ou plusieurs marqueurs MKF qui sont fixes par rapport à l'utilisateur US et le dispositif TUI et visibles par les capteurs d'image de ce dernier. Le marqueur MKF est par exemple disposé sur une table devant l'utilisateur ou sur un mur toujours visible par les capteurs d'image ISN. Les capteurs d'image ISN sont reliés à l'unité de traitement CPU par exemple par l'intermédiaire d'un multiplexeur vidéo MX. L'unité de traitement CPU est configurée pour déterminer les positions respectives des marqueurs MKU, MKF dans les images fournies par les capteurs ISN, pour en déduire les positions respectives de ces marqueurs par rapport au dispositif TUI, et finalement la position de la tête de l'utilisateur US par rapport au dispositif TUI. Sur la base des positions dans l'espace de la tête de l'utilisateur et du dispositif TUI et de l'inclinaison de ce dernier, l'unité CPU détermine comme précédemment les faces (les écrans d'affichage DSP) où doivent être affichées les images de l'espace virtuel à afficher, et détermine les paramètres de projection des images sur ces écrans d'affichage pour reproduire une illusion de perspective dans les yeux de l'utilisateur. A noter que pour détecter les mouvements du dispositif d'interaction TUI, l'unité de traitement CPU peut utiliser également un capteur de profondeur fournissant des images de profondeur, repérer dans ces images des motifs caractéristiques de l'environnement réel fixe du dispositif d'interaction, et mesurer des mouvements relatifs de ces motifs caractéristiques.
La figure 5 représente un mode de projection des images affichées sur les différents écrans d'affichage DSP. Un axe de vision UD passant entre les yeux de l'utilisateur US et par le centre O du dispositif d'interaction TUI détermine un plan perpendiculaire IMG à partir duquel les images à afficher sont projetées sur les différents plans dans lesquels se trouvent les écrans d'affichage DSP. La direction de l'axe UD détermine également les images de l'espace virtuel à afficher et les écrans d'affichage DSP qui sont visibles par l'utilisateur US. Dans l'exemple de la figure 5, les écrans d'affichage visibles sont référencés DSP1 , DSP2 et DSP3. La direction de l'axe UD détermine également les angles dièdre entre le plan IMG et chacun des plans des écrans d'affichage DSP1 , DSP2 et DSP3. Les angles dièdres permettent de déterminer les formes et dimensions de portions d'image P1 , P2, P3 des images à afficher, à envoyer à chacun des écrans d'affichage DSP1 , DSP2 et DSP3, ainsi qu'un angle de projection pour chacune des portions d'image P1 , P2, P3. La distance le long de l'axe UD entre la tête de l'utilisateur et le dispositif TUI détermine un facteur de grossissement des images affichées. Ainsi, plus cette distance est grande, plus ce facteur de grossissement est élevé. Ainsi, si l'utilisateur souhaite bénéficier d'un large champ de vision sur l'espace virtuel, il doit rapprocher ses yeux du dispositif TUI. Les images affichées sont modifiées à chaque fois, que le dispositif TUI tourne par rapport à l'axe de vision UD et/ou à chaque fois que la distance suivant l'axe UD entre la tête de l'utilisateur et le dispositif TUI change, et/ou à chaque fois que l'axe UD change d'orientation et/ou est déplacé en translation.
Selon un mode de réalisation, l'unité de traitement CPU est configurée pour appliquer une projection en perspective dite "hors-axe" (Off- Axis) d'un espace en trois dimensions, en tenant compte de la position et de l'orientation de l'axe de vision UD, des écrans d'affichage visibles depuis la position de l'utilisateur US, de l'orientation respective de chacun des écrans visibles par rapport à l'axe UD (ou de la position dans l'espace réel des coins de chacun des écrans d'affichage visibles). Selon un mode de réalisation, une telle projection peut consister à considérer pour chaque écran d'affichage visible, une pyramide ayant pour base l'écran d'affichage et pour sommet un point entre les deux yeux de l'utilisateur US. Dans l'exemple de la figure 6, les écrans d'affichage DSP1 , DSP2, DSP3 sont visibles par l'utilisateur US. La pyramide formée par l'écran d'affichage DSP1 comprend des arêtes A124, A146, A123 et A135 joignant un point UE entre les yeux de l'utilisateur US aux quatre coins de l'écran DSP1 . L'écran DSP2 forme une pyramide ayant pour arêtes A123, A124, A246 et A236 joignant le point UE aux quatre coins de l'écran DSP2. De même, l'écran DSP3 forme une pyramide ayant pour arêtes A123, A135, A236 et A356. Dans un affichage classique, la projection est effectuée sur la base d'une pyramide dont le sommet est situé sur axe perpendiculaire à l'écran d'affichage et passant par le centre de ce dernier. Au contraire, dans l'exemple de la figure 6, toutes les pyramides de projection sont hors-axe car leur sommet n'est pas situé sur un axe perpendiculaire à l'écran d'affichage et passant par le centre de ce dernier. Bien entendu, une projection dans l'axe est possible si l'axe UD se trouve perpendiculaire à l'un des écrans d'affichage DSP et passe par le centre de ce dernier. La position dans l'espace des sommets de chacune de ces pyramides permet de construire une matrice 4x4 de projection en perspective pour chacun des écrans visibles par l'utilisateur. Des détails d'un tel procédé de projection en perspective sont présentés par exemple dans le document [13], en appliquant le procédé décrit à un seul œil pour obtenir un affichage en perspective cohérent entre les écrans visibles, mais sans vision stéréoscopique. Bien entendu, une telle vision stéréoscopique peut être obtenue à l'aide d'écrans d'affichage et un processeur graphique permettant une telle vision stéréoscopique, éventuellement combinés avec le port de lunettes spéciales par l'utilisateur. Il suffit de considérer pour chaque écran d'affichage visible deux pyramides de projection à raison d'une pyramide pour chaque œil de l'utilisateur.
Selon un mode de réalisation, l'unité de traitement CPU est configurée pour donner l'illusion à l'utilisateur qu'il peut placer un objet de l'espace virtuel dans le volume intérieur du dispositif d'interaction TUI, en plaçant ce dernier sur l'image de l'objet affichée sur les écrans DSP.
Selon un mode de réalisation, l'unité de traitement CPU est configurée pour détecter une pression sur deux faces opposées du dispositif d'interaction TUI, exercée par la main de l'utilisateur, et pour maintenir l'image d'un objet virtuel affichée dans le volume du dispositif d'interaction TUI, tant qu'est présente la pression exercée sur les faces du dispositif TUI, tandis que l'utilisateur déplace ce dernier. La fenêtre sur l'espace virtuel est alors affichée en arrière-plan, derrière l'objet et toujours déterminée en fonction des mouvements détectés du dispositif d'interaction TUI par rapport à l'espace réel. La détection de la pression peut être effectuée en comparant à une valeur de seuil, des mesures de pression fournies par des capteurs de pression SNS. Lorsque l'unité de traitement CPU détecte cette pression, elle peut déclencher l'affichage d'un signal de retour visuel, marquant la prise en compte du maintien de l'objet virtuel dans le volume intérieur du dispositif TUI. Ce retour visuel peut être présenté par exemple sous la forme d'un changement de couleur de l'objet virtuel ou des contours de ce dernier. Il peut également être souhaitable d'indiquer qu'un objet virtuel se trouve à l'intérieur du volume intérieur virtuel du dispositif TUI, même en l'absence de pression, par exemple en affichant en surbrillance le contour de l'objet. Ainsi, l'utilisateur peut visualiser que l'objet devient "sélectionnable". Si plusieurs objets virtuels se trouvent dans le volume intérieur du dispositif TUI, l'objet le plus proche du centre peut être marqué comme sélectionnable, pour indiquer lequel sera sélectionné en cas de détection de pression.
L'échelle de présentation de l'espace virtuel peut être ajustée afin d'assurer que les objets vrituels de l'espace virtuel puissent rentrer dans le volume intérieur virtuel du dispositif d'interaction TUI.
Selon un mode de réalisation, durant des déplacements d'un objet virtuel maintenu dans le volume intérieur du dispositif TUI, l'unité de traitement CPU détermine si un autre objet virtuel se trouve sur la trajectoire de l'objet virtuel maintenu dans le volume intérieur du dispositif TUI, et simule un choc entre ces deux objets dans les images affichées, lorsque ces derniers entrent en contact. L'unité de traitement CPU peut alors déclencher une vibration d'un actionneur ACT de type vibreur pour donner l'illusion de la sensation de choc avec l'objet virtuel maintenu dans le volume intérieur du dispositif TUI. L'unité de traitement CPU peut également déclencher l'émission par un haut-parleur ACT d'un son reproduisant le bruit d'un choc. Le son émis peut être déterminé en fonction de la nature des matériaux dans lesquels sont formés les deux objets virtuels.
Selon un mode de réalisation, lorsque les mesures de pression deviennent inférieures à la valeur de seuil, l'unité de traitement CPU maintient fixe l'image de l'objet par rapport à l'espace virtuel, la fenêtre affichée sur l'espace virtuel étant toujours déterminée en fonction des mouvements détectés du dispositif d'interaction TUI. Le retour visuel de la détection de pression est alors supprimé des images affichées. Selon un mode de réalisation, lorsque les mesures de pression deviennent inférieures à la valeur de seuil, l'unité de traitement CPU peut déterminer une distance entre l'objet virtuel présent dans le volume intérieur du dispositif d'interaction et une surface solide de l'espace virtuel située en dessous de l'objet virtuel, et affiche l'objet virtuel en simulant une chute de ce dernier jusqu'à la surface solide, avec éventuellement des rebonds de l'objet virtuel. A l'instant de chaque choc, l'unité de traitement CPU peut déclencher l'émission d'un son de choc au moyen d'un actionneur ACT de type haut-parleur, et/ou déclencher l'émission d'une vibration, au moyen d'un vibreur.
Selon un mode de réalisation, l'unité de traitement CPU est configurée pour détecter un mouvement d'air autour du dispositif d'interaction (par exemple lorsque l'utilisateur souffle sur le dispositif d'interaction) et détecter la direction de ce mouvement, au moyen de microphones disposés sur les faces ou les arêtes du dispositif TUI, et déplacer des objets virtuels présents sur le trajet du souffle dans l'espace virtuel, en fonction d'une masse simulée de ces objets. Des capteurs de pression peuvent également être utilisés pour détecter un choc sur le dispositif d'interaction TUI, l'unité de traitement étant configurée pour simuler une transmission de ce choc aux objets présents dans l'espace virtuel.
Selon un mode de réalisation, l'unité de traitement CPU est configurée pour activer les écrans d'affichage DSP lorsque l'utilisateur approche sa main du dispositif TUI, ou lorsqu'il effectue un balayage rapide avec sa main à proximité de ce dernier. Ce mouvement peut être détecté au moyen des surfaces tactiles disposées sur les écrans d'affichage DSP ou au moyen de capteurs de profondeur utilisés pour détecter des mouvements autour du dispositif TUI. L'effet produit par le courant d'air généré par le balayage rapide de la main peut être simulé dans l'espace virtuel.
Selon un mode de réalisation, des capteurs SNS de type photodiode répartis sur la surface du dispositif d'interaction TUI captent la lumière du monde réel autour de ce dernier. L'unité de traitement CPU peut être configurée pour simuler une transmission de la lumière captée par les photodiodes, dans le monde virtuel au travers de la fenêtre affichée sur le monde virtuel, constituée par le dispositif d'interaction TUI.
Il apparaîtra clairement à l'homme de l'art que la présente invention est susceptible de diverses variantes de réalisation et diverses applications. En particulier, l'invention n'est pas limitée à un dispositif d'interaction de forrme cubique, mais couvre également un objet de forme quelconque susceptible d'être tenu et manipulé par la main de l'utilisateur, et dont la surface peut être recouverte d'un ou plusieurs écrans d'affichage, par exemple une forme sphérique. Ainsi, un écran d'affichage de type OLED (Organic Light-Emitting Diode) peut être utilisé pour épouser une forme courbe.
L'invention peut par exemple s'appliquer à un système de visioconférence, dans lequel chacun des participants à la visioconférence, disposant d'un dispositif d'interaction TUI, peut visualiser l'espace environnant de chacun des autres participants sous la forme d'un espace virtuel conformément au procédé précédemment décrit, ou encore visualiser un espace virtuel commun à tous les participants. De cette manière, chacun des participants peut également déplacer des objets virtuels d'une manière visible par les autres participants. Les échanges sonores peuvent être captés par le microphone d'un dispositif d'interaction et être restitués par les haut- parleurs des dispositifs d'interaction des autres participants.
Références Citées
[1 ] L. D. Brown, H. Hua, and C. Gao, "A widget framework for augmented interaction in SCAPE", Proceedings of the 16th Annual ACM Symposium on User Interface Software and Technology, UIST '03, page 1-10, New York, NY, USA, 2003. ACM.
[2] F. Ferreira, M. Cabrai, O. Belloc, G. Miller, C. Kurashima, R. d. D. Lopes, I. Stavness, J. Anacleto, M. Zuffo, and S. Fels, "Spheree: A 3D perspective-corrected interactive spherical scalable display", Proceedings of the 41 st Conférence on Computer Graphics and Interactive Techniques; Posters, SIGGRAPH'14, page 86:1-86:1 , Vancouver, Canada, Aug. 2014. ACM.
[3] J. Francone and L. Nigay, "Using the user's point of view for interaction on mobile devices", 23rd French Speaking Conférence on HumanComputer Interaction, IHM '1 1 , page 4:1-4:8, New York, NY, USA, 201 1 . ACM.
[4] P. Harish and P. Narayanan, "Designing perspectively correct multiplanar displays", IEEE Transactions on Visualization and Computer Graphics,
19(3):407-419, Mar. 2013.
[5] A. Henrysson, M. Billinghurst, and M. Ollila, "Virtual object manipulation using a mobile phone", Proceedings of the 2005 international conférence on Augmented tele-existence, page 164-171 , 2005.
[6] M. Inami, "Media3: The virtual hologram", ACM SIGGRAPH 97 Visual
Proceedings: The Art and Interdisciplinary Programs of SIGGRAPH '97, SIGGRAPH '97, page 107-, New York, NY, USA, 1997. ACM.
[7] R. Lopez-Gulliver, S. Yoshida, S. Yano, and N. Inoue; "gCubik: realtime intégral image rendering for a cubic 3D display", ACM SIGGRAPH 2009
Emerging Technologies, SIGGRAPH '09, page 1 1 :1 , New York, NY,
USA, 2009. ACM.
[8] A. Marzo, B. Bossavit, and M. Hachet, "Combining multi-touch input and device movement for 3D manipulations in mobile augmented reality environments", Proceedings of the 2nd ACM Symposium on Spatial User Interaction, SUI '14, page 13-16, New York, NY, USA, 2014. ACM. [9] A. Mossel, B. Venditti, and H. Kaufmann, "3DTouch and HOMER-S: intuitive manipulation techniques for one-handed handheld augmented reality", Laval Virtual VRIC '13. ACM New York, NY, USA, 2013.
[10] I . Stavness, B. Lam, and S. Fels, "pCubee: A perspective-corrected handheld cubic display", Proceedings of the SIGCHI Conférence on Human Factors in Computing Systems, page 1381-1390, 2010.
[1 1 ] I. Stavness, F. Vogt, and S. Fels, "Cubée: A cubic 3D display for physics based interaction", ACM SIGGRAPH 2006 Sketches, SIGGRAPH '06, New York, NY, USA, 2006. ACM.
[12] C. Ware, K. Arthur, and K. S. Booth, "Fish tank virtual reality", Proceedings of the INTERACT '93 and CHI '93 Conférence on Human Factors in Computing Systems, CHI '93, page 37-42, New York, NY, USA, 1993. ACM.
[13] R. Kooima, "Generalized Perspective Projection", http://csc.lsu.edu/~kooima/pdfs/gen-perspective.pdf, June 2009

Claims

REVENDICATIONS
1 . Procédé d'interaction avec des objets virtuels dans un espace virtuel, le procédé comprenant des étapes consistant à :
déterminer des positions dans un espace réel d'un visage d'un utilisateur (US) et d'un dispositif d'interaction (TUI) portable autonome et, comportant des éléments d'affichage (DSP) situés dans des plans différents, de manière à délimiter un volume intérieur virtuel,
déterminer une position et une direction d'un axe de vision (UD) passant par un centre des éléments d'affichage et le visage de l'utilisateur, en fonction des positions du visage de l'utilisateur et du dispositif d'interaction,
déterminer une orientation du dispositif d'interaction par rapport à l'axe de vision,
déterminer des éléments d'affichage (DSP1 , DSP2, DSP3) du dispositif d'interaction, visibles par l'utilisateur, en fonction de l'axe de vision et de l'orientation du dispositif d'interaction,
déterminer une image de l'espace virtuel à afficher sur les éléments d'affichage visibles, et des projections de l'image déterminée d'un plan (IMG) perpendiculaire à l'axe de vision sur des plans dans lesquels se trouvent les les éléments d'affichage visibles, en fonction de la position du dispositif d'interaction et de la position et de la direction de l'axe de vision, l'espace virtuel étant maintenu fixe par rapport à l'espace réel, et
afficher les projections de l'image déterminée sur les éléments d'affichage visibles.
2. Procédé selon la revendication 1 , dans lequel la détermination de la position du visage de l'utilisateur (US) et de la position du dispositif d'interaction (TUI) est effectuée à partir d'images prises par un capteur d'image fixe par rapport à l'espace réel.
3. Procédé selon la revendication 1 , dans lequel la détermination de la position d'un visage de l'utilisateur (US) et de la position du dispositif d'interaction (TUI) est effectuée à partir d'images de l'espace réel, prises par un capteur d'image situé sur le dispositif d'interaction.
4. Procédé selon l'une des revendications 1 à 3, comprenant des étapes consistant à :
déterminer qu'un objet virtuel de l'espace virtuel se trouve dans le volume intérieur virtuel du dispositif d'interaction (TUI),
mesurer une pression exercée par la main de l'utilisateur (US) sur un élément de surface du dispositif d'interaction, et
maintenir l'image de l'objet virtuel dans le volume intérieur virtuel du dispositif d'interaction tant que la pression mesurée excède une valeur de seuil, l'image déterminée de l'espace virtuel étant affichée en arrière-plan derrière l'image de l'objet virtuel, et
maintenir fixe l'image de l'objet virtuel par rapport à l'image affichée de l'espace virtuel pendant des déplacements du dispositif d'interaction, lorsque la pression mesurée descend en dessous de la valeur de seuil.
5. Procédé selon la revendication 4, comprenant des étapes consistant à :
lorsque la pression mesurée descend en dessous de la valeur de seuil, déterminer si l'objet virtuel se trouve sur une surface de l'espace virtuel susceptible de le supporter, et
si l'objet virtuel se trouve sur une surface de l'espace virtuel susceptible de le supporter, maintenir fixe l'image de l'objet par rapport à l'espace virtuel, sinon simuler une chute de l'image de l'objet virtuel jusqu'à une surface de l'espace virtuel susceptible de le supporter.
6. Procédé selon l'une des revendications 4 et 5, comprenant des étapes consistant à détecter durant des déplacements de l'objet virtuel maintenu dans le volume intérieur virtuel du dispositif d'interaction (TUI), si l'objet virtuel rencontre un autre objet virtuel de l'espace virtuel, et si tel est le cas, simuler un choc entre l'objet virtuel dans le volume intérieur virtuel du dispositif d'interaction et l'autre objet de l'espace virtuel.
7. Procédé selon la revendication 6, comprenant une étape d'émission par le dispositif d'interaction d'une vibration ou d'un son à l'instant du choc simulé.
8. Procédé selon l'une des revendications 1 à 7, comprenant des étapes consistant à :
détecter un phénomène à proximité du dispositif d'interaction, par des capteurs disposés sur ou dans le dispositif d'interaction (TUI), et
traiter l'image affichée par le dispositif d'interaction de manière à simuler une propagation du phénomène détecté dans l'espace virtuel.
9. Procédé selon l'une des revendications 1 à 8, dans lequel le phénomène détecté appartient à la liste suivante :
un faisceau lumineux incident éclairant une ou plusieurs faces du dispositif d'interaction,
un choc sur une face du dispositif d'interaction, et
un mouvement d'air.
10. Procédé selon l'une des revendications 1 à 9, dans lequel l'affichage de l'image déterminée sur les éléments d'affichage visibles (DSP1 , DSP2, DSP3), comprend une projection en perspective de l'espace virtuel en trois dimensions, en considérant pour chaque élément d'affichage visible une pyramide de projection ayant pour base l'élément d'affichage et pour sommet un point du visage de l'utilisateur sur l'axe de vision (UD)
1 1 . Dispositif 'd'interaction, configuré pour mettre en œuvre le procédé selon l'une des revendications 1 à 10, le dispositif d'interaction comprenant : des éléments d'affichage (DSP) situés dans des plans différents.
12. Dispositif selon la revendication 1 1 , comprenant au moins l'un des éléments suivants :
des capteurs de mouvement pour détecter des mouvements de rotation et de translation et une orientation dans l'espace réel du dispositif d'interaction,
des capteurs de pression pour détecter une pression exercée sur une face du dispositif d'interaction,
des capteurs d'image ou de profondeur,
des capteurs de lumière, un microphone,
un vibreur, et
un haut-parleur.
13. Dispositif selon la revendication 1 1 ou 12, présentant une forme cubique.
14. Dispositif selon l'une des revendications 1 1 à 13, comprenant un circuit de communication sans fil (WCC) et une alimentation électrique autonome (ALM).
PCT/FR2017/050473 2016-03-04 2017-03-02 Dispositif d'interface homme machine avec des applications graphiques en trois dimensions WO2017149254A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1600371 2016-03-04
FR1600371A FR3048521A1 (fr) 2016-03-04 2016-03-04 Dispositif d'interface homme machine avec des applications graphiques en trois dimensions

Publications (1)

Publication Number Publication Date
WO2017149254A1 true WO2017149254A1 (fr) 2017-09-08

Family

ID=55759771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2017/050473 WO2017149254A1 (fr) 2016-03-04 2017-03-02 Dispositif d'interface homme machine avec des applications graphiques en trois dimensions

Country Status (2)

Country Link
FR (1) FR3048521A1 (fr)
WO (1) WO2017149254A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663558A (zh) * 2022-03-14 2022-06-24 南京青臣创意数字科技有限公司 实现双面裸眼3d动画效果的构建方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109616179B (zh) * 2018-12-07 2022-06-21 山东大学 自闭症谱系障碍混合现实康复训练系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084594A (en) * 1997-06-24 2000-07-04 Fujitsu Limited Image presentation apparatus
US20140132595A1 (en) * 2012-11-14 2014-05-15 Microsoft Corporation In-scene real-time design of living spaces
FR3014228A1 (fr) * 2013-12-04 2015-06-05 Renault Sa Systeme de detection virtuelle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084594A (en) * 1997-06-24 2000-07-04 Fujitsu Limited Image presentation apparatus
US20140132595A1 (en) * 2012-11-14 2014-05-15 Microsoft Corporation In-scene real-time design of living spaces
FR3014228A1 (fr) * 2013-12-04 2015-06-05 Renault Sa Systeme de detection virtuelle

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
A. HENRYSSON; M. BILLINGHURST; M. OLLILA: "Virtual object manipulation using a mobile phone", PROCEEDINGS OF THE 2005 INTERNATIONAL CONFÉRENCE ON AUGMENTED TELE-EXISTENCE, 2005, pages 164 - 171, XP058166999, DOI: doi:10.1145/1152399.1152430
A. MARZO; B. BOSSAVIT; M. HACHET: "Proceedings of the 2nd ACM Symposium on Spatial User Interaction, SUI '14", 2014, ACM, article "Combining multi-touch input and device movement for 3D manipulations in mobile augmented reality environments", pages: 13 - 16
A. MOSSEL; B. VENDITTI; H. KAUFMANN: "Laval Virtual VRIC '13", 2013, ACM, article "3DTouch and HOMER-S: intuitive manipulation techniques for one-handed handheld augmented reality"
C. WARE; K. ARTHUR; K. S. BOOTH: "Proceedings of the INTERACT '93 and CHI '93 Conférence on Human Factors in Computing Systems, CHI '93", 1993, ACM, article "Fish tank virtual reality", pages: 37 - 42
F. FERREIRA; M. CABRAL; O. BELLOC; G. MILLER; C. KURASHIMA; R. D. D. LOPES; I. STAVNESS; J. ANACLETO; M. ZUFFO; S. FELS: "Proceedings of the 41 st Conférence on Computer Graphics and Interactive Techniques; Posters, SIGGRAPH'14", August 2014, ACM, article "Spheree: A 3D perspective-corrected interactive spherical scalable display", pages: 1 - 86
I. STAVNESS; B. LAM; S. FELS: "pCubee: A perspective-corrected handheld cubic display", PROCEEDINGS OF THE SIGCHI CONFÉRENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2010, pages 1381 - 1390
I. STAVNESS; F. VOGT; S. FELS: "ACM SIGGRAPH 2006 Sketches, SIGGRAPH '06", 2006, ACM, article "Cubee: A cubic 3D display for physics based interaction"
IAN STAVNESS ET AL: "pCubee", CHI 2010 >INPUT, SECURITY, AND PRIVACY POLICIES, 1 January 2010 (2010-01-01), Atlanta, GA, USA, pages 1381, XP055234092, ISBN: 978-1-60558-929-9, DOI: 10.1145/1753326.1753535 *
J. FRANCONE; L. NIGAY: "23rd French Speaking Conférence on HumanComputer Interaction, IHM '11", 2011, ACM, article "Using the user's point of view for interaction on mobile devices", pages: 1 - 4
KEVIN W ARTHUR ET AL: "Evaluating 3D task performance for fish tank virtual worlds", ACM TRANSACTIONS ON INFORMATION SYSTEMS, ASSOCIATION FOR COMPUTING MACHINERY, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, vol. 11, no. 3, 1 July 1993 (1993-07-01), pages 239 - 265, XP058157871, ISSN: 1046-8188, DOI: 10.1145/159161.155359 *
L. D. BROWN; H. HUA; C. GAO: "Proceedings of the 16th Annual ACM Symposium on User Interface Software and Technology, UIST '03", 2003, ACM, article "A widget framework for augmented interaction in SCAPE", pages: 1 - 10
M. INAMI: "ACM SIGGRAPH 97 Visual Proceedings: The Art and Interdisciplinary Programs of SIGGRAPH '97, SIGGRAPH '97", 1997, ACM, article "Media3: The virtual hologram", pages: 107
P. HARISH; P. NARAYANAN: "Designing perspectively correct multiplanar displays", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 19, no. 3, March 2013 (2013-03-01), pages 407 - 419, XP011490540, DOI: doi:10.1109/TVCG.2012.135
R. KOOIMA, GENERALIZED PERSPECTIVE PROJECTION, June 2009 (2009-06-01), Retrieved from the Internet <URL:http://csc.lsu.edu/~kooima/pdfs/gen-perspective.pdf>
R. LOPEZ-GULLIVER; S. YOSHIDA; S. YANO; N. INOUE: "ACM SIGGRAPH 2009 Emerging Technologies, SIGGRAPH '09", 2009, ACM, article "gCubik: realtime intégral image rendering for a cubic 3D display", pages: 11
WAGNER D ET AL: "History and Future of Tracking for Mobile Phone Augmented Reality", UBIQUITOUS VIRTUAL REALITY, 2009. ISUVR '09. INTERNATIONAL SYMPOSIUM ON, IEEE, PISCATAWAY, NJ, USA, 8 July 2009 (2009-07-08), pages 7 - 10, XP031526025, ISBN: 978-1-4244-4437-3 *
YICHEN TANG ET AL: "The new pCubee", 20140426; 20140426 - 20140501, 26 April 2014 (2014-04-26), pages 419 - 422, XP058047233, ISBN: 978-1-4503-2474-8, DOI: 10.1145/2559206.2574835 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663558A (zh) * 2022-03-14 2022-06-24 南京青臣创意数字科技有限公司 实现双面裸眼3d动画效果的构建方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
FR3048521A1 (fr) 2017-09-08

Similar Documents

Publication Publication Date Title
US11043031B2 (en) Content display property management
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
KR102270699B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
CN105264460B (zh) 全息图对象反馈
CN105378801B (zh) 全息图快照网格
JP6813501B2 (ja) 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ
CN105378632B (zh) 用户焦点控制的有向用户输入
US10922889B2 (en) Directing user attention
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
EP3666352B1 (fr) Procédé et dispositif pour réalité augmentée et virtuelle
CN105452994B (zh) 虚拟物体的同时优选观看
EP2887322B1 (fr) Développement d&#39;objets holographiques dans la réalité mixte
US10504295B2 (en) Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
US10607403B2 (en) Shadows for inserted content
CN110488977A (zh) 虚拟现实显示方法、装置、系统及存储介质
CN107636534A (zh) 一般球面捕获方法
KR20160148557A (ko) 월드 락 디스플레이의 품질 피드백 기법
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
WO2017149254A1 (fr) Dispositif d&#39;interface homme machine avec des applications graphiques en trois dimensions
CN113194329B (zh) 直播互动方法、装置、终端及存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17722081

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17722081

Country of ref document: EP

Kind code of ref document: A1