WO2013034529A1 - Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede - Google Patents

Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede Download PDF

Info

Publication number
WO2013034529A1
WO2013034529A1 PCT/EP2012/067156 EP2012067156W WO2013034529A1 WO 2013034529 A1 WO2013034529 A1 WO 2013034529A1 EP 2012067156 W EP2012067156 W EP 2012067156W WO 2013034529 A1 WO2013034529 A1 WO 2013034529A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
cursor
displacement
vector
parameters
Prior art date
Application number
PCT/EP2012/067156
Other languages
English (en)
Inventor
Joe Youssef
Grégoire AUJAY
Original Assignee
Movea
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movea filed Critical Movea
Priority to CN201280054965.8A priority Critical patent/CN103930854B/zh
Priority to EP12753500.3A priority patent/EP2754012B1/fr
Priority to KR1020147007101A priority patent/KR20140060314A/ko
Priority to US14/342,590 priority patent/US9201513B2/en
Publication of WO2013034529A1 publication Critical patent/WO2013034529A1/fr
Priority to US14/926,113 priority patent/US10093280B2/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B60S1/3848—Flat-type wiper blade, i.e. without harness
    • B60S1/3849—Connectors therefor; Connection to wiper arm; Attached to blade
    • B60S1/3851—Mounting of connector to blade assembly
    • B60S1/3858—Mounting of connector to blade assembly with protrusions cooperating with holes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B60S1/3806—Means, or measures taken, for influencing the aerodynamic quality of the wiper blades
    • B60S1/3808—Spoiler integral with the squeegee
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B60S1/3848—Flat-type wiper blade, i.e. without harness
    • B60S1/3849—Connectors therefor; Connection to wiper arm; Attached to blade
    • B60S1/3851—Mounting of connector to blade assembly
    • B60S1/3853—Snap-fit, e.g. elastic connection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B60S1/3848—Flat-type wiper blade, i.e. without harness
    • B60S1/3849—Connectors therefor; Connection to wiper arm; Attached to blade
    • B60S1/3851—Mounting of connector to blade assembly
    • B60S1/3856—Gripping the blade
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40—Connections between blades and arms
    • B60S1/4006—Connections between blades and arms for arms provided with a hook-shaped end
    • B60S1/4009—Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end
    • B60S1/4016—Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end the element being provided with retention means co-operating with the hook-shaped end of the arm
    • B60S1/4019—Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end the element being provided with retention means co-operating with the hook-shaped end of the arm the retention means being protrusions or holes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B60S1/3848—Flat-type wiper blade, i.e. without harness
    • B60S1/3874—Flat-type wiper blade, i.e. without harness with a reinforcing vertebra
    • B60S1/3875—Flat-type wiper blade, i.e. without harness with a reinforcing vertebra rectangular section
    • B60S1/3877—Flat-type wiper blade, i.e. without harness with a reinforcing vertebra rectangular section embedded in the squeegee
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40—Connections between blades and arms
    • B60S1/4006—Connections between blades and arms for arms provided with a hook-shaped end
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40—Connections between blades and arms
    • B60S1/4006—Connections between blades and arms for arms provided with a hook-shaped end
    • B60S1/4009—Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40—Connections between blades and arms
    • B60S1/4038—Connections between blades and arms for arms provided with a channel-shaped end
    • B60S1/4045—Connections between blades and arms for arms provided with a channel-shaped end comprising a detachable intermediate element mounted on the channel-shaped end
    • B60S1/4048—Connections between blades and arms for arms provided with a channel-shaped end comprising a detachable intermediate element mounted on the channel-shaped end the element being provided with retention means co-operating with the channel-shaped end of the arm
    • B60S2001/4054—Connections between blades and arms for arms provided with a channel-shaped end comprising a detachable intermediate element mounted on the channel-shaped end the element being provided with retention means co-operating with the channel-shaped end of the arm the intermediate element engaging the back part of the arm

Definitions

  • the present invention relates to a method for controlling the movements and the orientation of a cursor, on a display surface, for example a flat surface such as a TV screen, a PC screen, etc. movement of a cursor on a non-planar display surface of any shape is also possible by the method and apparatus of the invention.
  • An assembly of coordinated flat screens may for example constitute a non-planar surface (sphere, cylinder, ).
  • the display surface has a metric coordinate system.
  • a user equipped with an instrumented pointer of movement measuring means and control buttons can thus for example control, by means of the movement in the 3D space of the instrumented pointer, the displacement, and / or the position and / or orienting a cursor on a display surface that displays a graphical interface of one or more software applications.
  • the control pointer can thus trigger the execution of programmed functions chosen by the position and / or the displacement and / or the orientation of the pointer and / or by the use of commands provided for this purpose on the pointer.
  • Devices of this nature are intended to replace remote controls in which the commands do not allow to control continuously a cursor on the display surface and consist of a list of codes associated with the buttons pressed by the user that are transmitted to the equipment to be controlled via an infrared or more recently radio link.
  • gyroscopes provide two angular velocity measurements (in pitch and yaw) that are converted into cursor commands along two axes of the display surface.
  • This type of device however has limitations in its ergonomics, because it is based only on the speed of rotation of the pointer along 2 axes, measured in the pointer of the pointer, and not on the orientation of the device in the reference display. For example, these measurements are sensitive to the orientation in which the pointer is held by the user (the 3rd angle, roll or tilt, not measured).
  • the roll angle correction is in fact based on a principle which is fundamentally flawed in that the accelerometer is also sensitive to the acceleration due to movement which inevitably disturbs the estimate of the roll angle and gives imprecise effect on the cursor path on the display surface. Finally, some orientations of the pointer (near vertical, for example) no longer allow to calculate the roll angle, because it is no longer measured by the accelerometer.
  • the roll compensation function thus introduces on this occasion defects that are not present initially in the ergonomics of the control of the cursor by the movement.
  • One way of overcoming the disadvantage of a separate estimate of the angles has been disclosed by the international application published under No. WO2009 / 156499, one of whose owners is the holder of the present application, in which a Kalman filter is applied.
  • the invention makes it possible to overcome the drawbacks of this prior art by proposing a procedure for calculating the displacements of a cursor in the display surface (or pointing) from measurements of the attitude of the pointer.
  • the invention provides a method for controlling first parameters characterizing a cursor on a display surface by means of a pointer movable in space, said first parameters being chosen from a group comprising displacements, the position and the orientation of said cursor, said method comprising a step of determining at least a second parameter of a marker linked to the pointer, said at least one second parameter being chosen from a group comprising the attitude, the position and the angular velocity of said marker, a vector p being linked to said marker, said method being characterized in that it further comprises a step of calculating said first parameters using one or more intersections of the line carried by said vector p with a surface said projection surface being predetermined and distinct from the display surface, said computing step receiving at least one input e part of said second parameters.
  • At least a portion of the first parameters is calculated by a step of describing the projection surface established by at least one position of a point belonging to the plane tangent to said surface at the point of intersection at that surface at the point of intersection considered.
  • the description of the projection surface varies as a function of the translation of the pointer or the context.
  • the projection surface belongs to the group of plane surfaces, cylindrical surfaces and spherical surfaces.
  • the projection surface is a vertical plane surface and in that a first coordinate, or a first displacement, of the point is calculated as being equal to a multiplicative constant, at the tangent of the angle. yaw of the pointer, respectively unlike the tangents of the yaw angles of the pointer at the end and at the beginning of said displacement.
  • the projection surface is a vertical planar surface and a second coordinate, respectively a second displacement, of the point is calculated as being equal to a multiplicative constant, the ratio of the tangent of the pitch angle to cosine of the yaw angle of the pointer, respectively unlike the ratios of the tangent of the pitch angle to the cosine of the yaw angle of the pointer at the end and at the beginning of said displacement.
  • the projection surface is a vertical cylindrical surface and a first coordinate, respectively a first displacement, of the point being equal to a multiplicative constant, is calculated at the angle of yaw of the pointer at a point of the surface, respectively, unlike the angles of yaw of the pointer at the end and at the beginning of said displacement.
  • the projection surface is a vertical cylindrical surface and a second coordinate, respectively a second displacement, of the point being equal to a multiplicative constant, is calculated at the tangent of the pitch angle of the pointer.
  • a point of the surface respectively unlike the tangents of the pitch angles of the pointer at the end and at the beginning of said displacement.
  • the projection surface is a spherical surface centered on the pointer and a first coordinate, or a first displacement, of the point is calculated as being equal to a multiplicative constant, at the angle of yaw multiplied by the cosine of the pitch angle of the pointer at a point on the surface, respectively unlike the angles of yaw of the pointer at the end and at the beginning of said displacement multiplied by the cosine of the pitch angle at the beginning of the displacement.
  • the projection surface is a spherical surface centered on the pointer and a second coordinate is computed, respectively a second displacement of the point as being equal to a multiplicative constant, at the pitch angle of the pointer in one direction. point of the surface, respectively unlike the pitch angles of the pointer at the end and at the beginning of said displacement.
  • the cursor orientation is calculated by projecting, according to p, a vector perpendicular to the vector p on said suface.
  • the rotation of a vector perpendicular to p is calculated by projecting the integral of the angular velocity along the axis of the pointer or from its orientation.
  • the calculation of at least a portion of the first parameters is performed from the angular speed of the pointer measured in the sensor and the attitude mark.
  • the displacement of the cursor is calculated by performing the projection of the vector angular velocity of the pointer, whose component according to the vector p linked to the pointer is set to zero, and transformed in the reference linked to the earth, on the axes (Xe, Ye) of the reference defining the elementary surface for the position and current orientation of the pointer, and multiplied by gain factors.
  • the displacement of the cursor is calculated by performing the projection of the vector angular velocity of the pointer expressed in the terrestrial reference, on the axes (Xe, Ye) of the reference defining a plane elementary surface and taken perpendicular to the vector p defined by the pointer and multiplied by gain factors
  • the score is made in absolute mode.
  • the score is made in relative mode
  • the pointing is performed in relative mode in one direction and in absolute mode in another direction.
  • the invention also provides a first parameter control system characterizing a cursor on a display surface by means of a spatially oriented pointer to said surface, said first parameters being selected from a group comprising displacements, the position and the orientation of said cursor, said system comprising a module for determining second parameters of a marker linked to the pointer, said second parameters being chosen from a group comprising the attitude, the position and the angular velocity of said marker; a vector p being linked to said marker, said system being characterized in that it further comprises a module for calculating said first parameters by using one or more intersections of the line carried by said vector p with a projection surface, said area of projection being predetermined and distinct from the display surface, said calculation module receiving as input at least a portion of said second parameters.
  • One of the advantages of the invention is that it can be implemented using a variety of devices that provide attitude (or orientation) measurements of the pointer.
  • the invention makes it possible to adapt to different principles of measuring the movement of the pointer (or the remote control) and provides the possibility of proposing different modes for different uses and ergonomic objectives.
  • the invention proposes variants that make it possible to take into account devices that deliver the position parameters (in translation) of the pointer in space.
  • the cursor display parameters can be determined in position (absolute mode) or in displacement (relative mode).
  • the pointing may or may not be limited to a cone delimited by boundaries of the display surface, and thus the cursor movements limited to the display surface (limited / sliding control).
  • these embodiments can be combined according to the application context and the position and orientation information of the pointer that is available.
  • FIG. 1 represents a pointer held by a user to control a cursor oriented on a display surface which is here a flat screen, and a projection surface with the various reference marks used in one embodiment of the invention. ;
  • FIGS. 2a, 2b and 2c show the principle of determining the parameters of displacement or position of a cursor from the angles of yaw and of pitch of the direction vector carried by a pointer in a reference frame and by using a surface vertical planar projection, in one embodiment of the invention
  • FIGS. 3a, 3b and 3c represent the principle of determining the parameters of displacement or position of a cursor from the angles of yaw and pitch of the vector of direction carried by a pointer in a reference reference and by using a surface cylindrical projection, in one embodiment of the invention
  • FIGS. 4a, 4b and 4c represent the principle of determining the parameters of displacement or position of a cursor from angles of yaw and of pitch of the director vector carried by a pointer in a reference frame and using a spherical projection surface in an embodiment of the invention
  • FIGS. 5a, 5b and 5c show the principle of determining the parameters of displacement or position of a cursor from the angles of yaw and pitch of the direction vector carried by a pointer in a reference reference using a surface any projection, in one embodiment of the invention
  • FIGS. 6a, 6b and 6c represent the principle of determining the parameters of displacement or position of a cursor from the angles of yaw and pitch of the vector of direction carried by a pointer in a reference frame by approximating a surface of spherical projection by a flat surface, according to an application of the principle of FIG. 5, in one embodiment of the invention;
  • FIG. 7 represents the principle of determining the parameters of displacement of a cursor from the angular velocity of a pointer, by canceling the effect of the rolling speed of the pointer on the displacement of the cursor, in a mode of embodiment of the invention
  • FIG. 8 represents the principle of determining the displacement parameters of a cursor from the angular velocity of a pointer for a spherical projection surface centered on the origin of the pointer marker, in one embodiment of the invention, which cancels the effect of the roll speed on the movement of the slider;
  • FIG. 9 represents the transformation of the displacement parameters of a cursor from the result results of a spherical projection surface of FIG. 8 on another surface in one embodiment of the invention; the surface chosen here is a cylinder for the ⁇ component
  • FIGS. 10a and 10b illustrate the principle of transformation of displacements or of the position or orientation of a cursor obtained for a first type of projection surface in displacements or position for a second type of projection surface in a mode embodiment of the invention.
  • Fig. 1 shows a user-held pointer for controlling the movement of a cursor on a display surface (100) which here is a screen with the different references used in one embodiment of the invention.
  • the object of the invention is to provide different methods for determining the position or cursor displacement parameters 101, 102 in a screen 100 controlled by a pointing device (or pointer) in position 1 1 1 or 1 12, the attitude (or orientation) and / or the position of the pointer being known in a reference frame related to the display surface which is usually the landmark (XEarth, YEarth, Z Ea rth) -
  • the pointer is a tool worn by the user who is positioned and oriented by the user and who allows him to point a direction, and the cursor is the marking of the pointing on an object / screen, or display surface.
  • the principle of the invention introduces an intermediate projection surface, 130, of the "pointing vector" p1 (respectively p2) carried by the pointer, 1 1 1 (respectively 1 12).
  • the projection surface 130 may be confused with the display surface or different (as shown in Figure 1).
  • the projection surface is described and known in the reference frame linked to the display surface.
  • the choice of the projection surface depends on the application and can be chosen to obtain the most ergonomic rendering adapted to the application. It can also change depending on the context of use and it is also possible to use several models of projection surfaces according to the components of the cursor. The choice of this projection surface also depends on the information available among the orientation and / or the position of the pointer in the reference frame.
  • the invention exploits the orientation and / or position data of a given mobile pointer (s) in a reference frame (or often terrestrial reference) to calculate the position or displacement or orientation of a cursor on a display screen.
  • This method makes it possible, for example, to reproduce the effect of displacement of a cursor generated by a laser pointer, while allowing to control an application, for example by contextual menus of the position or orientation of the cursor on the display surface.
  • the choice of the projection surface makes it possible to modify the relation between the movement of the moving pointer and the displacement of the cursor on the display surface.
  • the reference mark is linked to the display surface. Since the display surface is generally fixed in the terrestrial reference, this reference mark is therefore generally confused with the terrestrial reference.
  • the moving pointer is marked in the reference mark by means of measuring means. These means provide the orientation and / or the position of the pointer in this frame.
  • measuring means provide the orientation and / or the position of the pointer in this frame.
  • the second category includes means that require fixed instrumentation in the reference frame.
  • optical, magnetic or electromagnetic means, sound or ultrasound means, radio means can locate the moving pointer in position and / or orientation in the reference frame and they require instrumentation of the reference mark
  • the method can be applied when only the orientation data of the moving pointer is available, in which case the position defined arbitrarily with respect to the projection surface will be assumed. Similarly, if only positional data are known, the arbitrarily known orientation can be assumed. It is generally simpler and less expensive to instrument the pointer so as to obtain measurements of its orientation, this is one of the preferred modes of implementation for this invention.
  • the position of the pointer is then arbitrarily defined.
  • the pointer of the moving pointer is equipped with a vector p which materializes the direction of the pointing.
  • the pointing vector p is therefore generally defined fixed in the mobile pointer marker so that p is directed in the direction and the natural direction (ergonomic) of pointing of the moving pointer.
  • the orientation and / or the position of the marker of the moving pointer in the reference mark also makes it possible to provide a second orientation data of the moving pointer by the definition of a second vector belonging to the plane perpendicular to the vector p (for example denoted r1 in FIG. 1, corresponding to the position 1 1 1 of the pointer) .
  • This second orientation vector ri makes it possible, if necessary, to calculate an orientation of the cursor on the display surface.
  • the coordinates of the point 121 (for the pointer in position 1 1 1) or 122 (for the pointer in position 1 12) in the projection surface are used directly and possibly a transformation (150) between the projection surface and the display surface to obtain cursor coordinates in the display surface.
  • a transformation 150
  • the calculation of 121, 122 according to the position and orientation data of the moving pointer can be performed analytically for simple surface models and assumptions about the position of the moving pointer, as detailed below.
  • the displacement calculation of the cursor on the display surface can then be directly implemented by applying the analytic formula found.
  • the calculations presented cover many applications and ergonomics. However, it will also be possible to cover other cases with other projection surfaces and / or other cases where the position data and / or orientation of the moving pointer must be taken into account.
  • the invention is generalized to these other cases. If the analytical computation is complex or impossible to carry out, for example for complex surfaces or any one, one will be able to use numerical methods of computation of intersection of straight lines with surfaces (methods of launch of radius for example).
  • the numerical calculation of intersection of the pointer with the surface can then be integrated in the calculation of displacement of the cursor.
  • the successive orientation / positions of the moving pointer in time (for example materialized by 1 1 1 and 1 12 as successive positions and orientation of the pointer in time) are thus transformed into positions / orientations of the cursor on the screen (101 corresponds to at 1 1 1, and 102 corresponds to 1 12).
  • This absolute mode is similar to that which can be implemented by graphic tablets, in "absolute" mode: at a position of the tip of the pen on the tablet corresponds a position of the cursor on the screen.
  • the position or displacement of the cursor is determined from the attitude and / or the position of the pointer in the reference reference;
  • the attitude can be given in the form of a matrix or a quaternion of attitude, or any other representation of the attitude of the pointer, for example Euler angles or gimbal angles;
  • the position can be given by a vector defining the coordinates of a point of the pointer in the reference frame;
  • the displacement of the cursor is determined from the angular velocity and / or from the attitude of the moving pointer; the displacement of the cursor will be a function of the angular velocity and the attitude measured in a reference linked to the earth; several solutions are explained in the following description to exploit this angular velocity parameter in a reference linked to the earth.
  • the projection of the vector r1 perpendicular to p1 on the projection surface provides a second vector 141.
  • the direction of the vector 141 thus formed in the projection surface (in the metric sense of the surface 130) makes it possible to control the orientation of the cursor in the display surface by the same transformation 150.
  • the calculation of the cursor orientation on the screen can for example be performed as follows:
  • the vector r1 is given for example by the second or third column of the attitude matrix R of the moving pointer (p1 being defined by the first column), the definition of which is detailed later in the description;
  • the angle which determines the orientation of the cursor in the reference of the projection surface can be calculated by:
  • ⁇ Atan (r'1 .Y E / r'1 .X E ) where r'1 is the projection of r1 along the direction of p1 to the projection surface, ". Is the scalar product operator,
  • X E , YE form a reference on the projection surface as detailed below in commentary on FIG. 5.
  • the cursor orientation calculation can also be performed by integrating the angular velocity measured on an axis.
  • Pointer-based inertial devices can be used first, including combinations of accelerometers (A), gyrometers (G) and magnetometers (M). Accelerometers and magnetometers measure the orientation of the pointer with respect to a fixed vector, gravity and the earth's magnetic field, respectively. However, they are affected by disturbances (inherent acceleration and ambient magnetic disturbances, respectively) which must be corrected. The gyrometers measure the angular velocity of the movements of the pointer. Gyrometers are generally affected by a significant time drift that must be regularly corrected. These sensors may be Micro Electro Mechanical Systems (MEMS), possibly integrated, or made in other non-integrated technologies. Each type of sensor can have one, two or three axes.
  • MEMS Micro Electro Mechanical Systems
  • only one type of sensor in this case with three axes
  • the disturbances or the time drift can be considered as negligible so that the final orientation data necessary for the invention is sufficiently accurate.
  • a combination of at least two types of sensors, AG, MG or AM, will be used.
  • the gyrometer in tri-axis version provides angular velocity measurements according to three DDL (degrees of freedom) and allows to estimate the attitude by integrating the angular velocity. It therefore makes it possible to calculate a relative orientation with respect to a given orientation. This principle of estimating the orientation is subject to drift due to the integration operation, if the gyro is used alone;
  • the triaxes accelerometer provides 2 absolute angular information relative to a terrestrial reference (roll and pitch), but is subject to disturbances when the movements are not quasi-static since it measures at the same time the acceleration parameters due to the movement ;
  • the tri-axis magnetometer provides 2 absolute angular degrees of freedom (which are combinations of yaw or yaw with other pitch and roll angles) relative to a terrestrial landmark but is subject to magnetic disturbances of the environment.
  • gyrometers for example, gyrometers provided by ADXRS300 TM Analog Devices TM, or Invensense TM ITG3200 TM or STM TM supplied gyrometers can be used.
  • accelerometers it is possible to use, for example, analog reference accelerometers ADXL103 from Analog Devices, LIS302DL from STM. FreeScale TM, Kionix TM also provide such sensors
  • the reference magnetometers HMC1001 TM or HMC1052 or HMC1053 from Honeywell TM TM can be used.
  • AKM TM also provides micromagnetometers (AK8973, AK8974, AK8976).
  • modules for calculating the orientation from these types of sensors reference may be made to Movea TM products or XSens TM products, or Intersense TM products with, for example, the InertiaCube family of products. TM.
  • the processing of the orientation and / or position measurements for calculating the position of the cursor is performed in a calculation module.
  • the calculation can be embedded in the mobile or remote pointer on the computer linked to the display surface (for example a PC or a SetTopBox).
  • a Texas Instruments TM TMS320VC5509 TM DSP for the most demanding applications in computing time
  • a 32-bit ARM TM core microcontroller for example one of the STR9 TM family, including STR9F12FAW32 TM from STM.
  • the calculation module also preferably comprises a flash memory necessary for storing the code to be executed and the permanent data which are necessary for it and a dynamic working memory.
  • the signals from the sensors or processed on board the moving pointer are transmitted to another microprocessor, generally the one that executes the application and manages the display surface.
  • the application is controlled by the cursor whose movements are controlled by the pointer.
  • the transmission can be carried out radiofrequency with a waveform and a Bluetooth protocol or with a waveform and a Wi-Fi protocol (Standard 802.1 1g) or according to the RF4CE standard.
  • the transmission can also be carried out infra-red.
  • the processes can be distributed in a variable manner between the microprocessor of the application platform and / or the microcontroller embedded in the pointer.
  • LEDs Light Emitting Diodes
  • Vicon TM Vicon TM
  • the algorithm for estimating the attitude or the angular velocity of the orientation can in particular use the power of the detected signal, the arrival angle or its phase;
  • Magnetic systems comprising localized magnetic sources external to the pointer, in the environment of the screen, said pointer being instrumented with a magnetometer adapted to the magnetic sources, it is possible to refer to the devices of the companies Ascencion Technology TM or Polhemus TM;
  • Ultrasonic systems comprising one or more ultrasonic transmitters / receivers, the transmitter or transmitters being embedded on the pointer and the receiver being fixed on the screen; the algorithm for estimating the attitude or the angular velocity of the orientation can notably use a correlation and a decorrelation of the sound waves received by the receivers (for example the IS-900 System from Intersense);
  • Radiofrequency wave systems comprising one or more radio frequency wave transmitters / receivers, the transmitter or emitters being embedded on the pointer and the receiver being fixed on or in the vicinity of the screen or the opposite; these transmitters / receivers may especially be of the UWB (Ultra Wide Band) type; the algorithm for estimating the attitude or the angular velocity of the orientation can in particular use a fusion of the signals corresponding to the angles of arrival, the amplitude of the signals received and their arrival time or their phase ;
  • UWB Ultra Wide Band
  • Video systems comprising one or more video cameras located on or in the vicinity of the screen; the algorithm for estimating the attitude or the angular velocity of the orientation can in particular use an analysis and a processing of the pointer movement images taken by the video cameras.
  • FIGS. 2a, 2b and 2c show the transformation of the angles of yaw and pitch of a pointer into a position or displacement of a cursor, by choosing as the projection surface a vertical planar surface, in one embodiment of the invention .
  • the position of the cursor on the display surface is calculated as follows: the intersection of the line carried by the vector p (p1, p2 for example) linked to the pointer with the projection surface which is here a flat surface.
  • the vector vector of the line is the vector p1, 21 1 (respectively p2, 212).
  • the intersection of the line with the projection surface is materialized by the points 221 and 222 for the two direction vectors p1 and p2 corresponding to two successive orientations of the moving pointer.
  • R (or the quaternion q) which defines the attitude of the pointer relative to a reference linked to the earth, which is taken here as reference reference, "Earth Frame”.
  • R is provided by the moving pointer orientation measuring device.
  • p is coincident with the vector x of the marker linked to the pointer, this definition being non-restrictive and can be replaced by another suitable definition, within the man's reach. art.
  • p is then the first column of the matrix R.
  • ⁇ , ⁇ ), 231, 232 the displacement of the point of intersection from 221 to 222 on the projection surface (here a vertical plane) when the pointer is moved from the orientation p1 to the orientation p2.
  • ⁇ is horizontal and Ay is in a vertical plane;
  • ⁇ and Ay are not necessarily straight segments but can be curvilinear distances on curve elements (for example, the arc of a circle) .
  • G is a constant that depends on the distance between the pointer and the plane and is therefore related to the arbitrary position given to the pointer. It adjusts the proportion between the angular displacement of the pointer and the movement of the cursor.
  • Figures 3a, 3b and 3c show a step of transforming the yaw and pitch angles of a moving pointer of a slider for a cylindrical projection surface, in one embodiment of the invention.
  • the displacement of the cursor according to the horizontal ⁇ , 331 is proportional to the rotation of the moving pointer according to the yaw.
  • ⁇ , 331 is indeed a curvilinear length.
  • the assumption here is that the pointer is placed in the center of the cylinder.
  • G is equal to the distance between the pointer and the cylinder, equal to the radius of the cylinder.
  • Figures 4a, 4b and 4c show the transformation of the yaw and pitch angles of a moving pointer of a slider for a spherical projection surface in an embodiment of the invention.
  • ⁇ , 431, and ⁇ y, 432 are both curvilinear lengths.
  • the assumption here is that the pointer is placed in the center of the sphere.
  • G is equal to the distance between the pointer and the sphere, equal to the radius of the sphere.
  • FIGS. 5a, 5b and 5c show the transformation of the yaw and pitch angles of a pointer in motion of a slider for any projection surface approximated by small planar elements in one embodiment of the invention.
  • pi and p 2 are the vectors defined at the two successive orientations of the pointer
  • Figures 6a, 6b and 6c show the transformation of the yaw and pitch angles of a moving pointer of a cursor on a spherical surface approximated by planar surfaces in an embodiment of the invention.
  • Fig. 7 shows the calculation of cursor movements from the angular velocity components of the attitude of a pointer projected in a planar surface in an embodiment of the invention.
  • the angular velocity of the pointer can be determined from the angular velocity measured in the sensor mark.
  • the angular velocity of the pointer can also be determined from the data of the attitude of the pointer, by a derivation operation:
  • the attitude of the pointer being provided by a quaternion the
  • a first solution, illustrated by Figure 7, is to zero then perform a transformation in the grounded reference; we then calculate:
  • R x is the same as R by replacing the first column with zeros.
  • G x and G y are gains that can be a function of p.
  • a second solution, illustrated by FIG. 8, is to determine the displacement on an elementary surface ( ⁇ x, ⁇ ) which is always taken perpendicular to the pointer p. So, and This choice eliminates the effect of a rolling rotation of the pointer on the because the surface is perpendicular to the pointer.
  • This elementary surface is part of a sphere centered at the pointer. The displacement of the cursor is then calculated 831, 832 with the following formulas:
  • FIG. 9 illustrates a possible transformation of the preceding result to transform the displacements of a cursor in the spherical preceding model into displacements in another surface in one embodiment of the invention.
  • Figures 10a and 10b illustrate possible projections for transforming the positions / displacements of a cursor in one surface into positions / displacements in another surface in an embodiment of the invention.
  • a transformation can be composed of a sequence of translations, rotations, reflections / symmetries, or scale factors.
  • Perspective projection transformations can also be applied. These transformations project 3D pointing surfaces onto a 2D screen so that the projection corresponds to the perception of the human eye from a viewing angle.
  • Perspective projections exist, for example, cavalier perspective, frontal, oblique, aerial, isometric, descriptive geometric, etc.
  • Various tools make it possible to efficiently manage these graphic projections like OpenGL ® .
  • the advantage of such projections is to be able to determine, from the same pointing to a 3D surface, the displacement / position of the cursor on screens linked to different points of view.
  • the projection is not necessarily orthogonal and it is possible to modify the metric as needed.
  • the displacement given by the angular velocity does not correspond to any geometrical surface but it is a projection in perspective of the displacement on a sphere.
  • ⁇ is the vector product and dt is the time interval.
  • the cursor of a screen by using the direct coordinates of the screen.
  • the screen is then located in a two-dimensional repository, using for example the Cartesian coordinates (O E , XE, YE), the cylindrical coordinates ( ⁇ , ⁇ ⁇ ), OR the spherical coordinates ( ⁇ ⁇ , ( ⁇ , ⁇ ⁇ ), OR other coordinate systems
  • Cartesian coordinates O E , XE, YE
  • the cylindrical coordinates ⁇ , ⁇ ⁇
  • OR the spherical coordinates ⁇ ⁇ , ( ⁇ , ⁇ ⁇ ), OR other coordinate systems
  • the choice of coordinate system depends essentially on the nature of the surface of the screen pointed, in order to facilitate the identification of the cursor.
  • a flat surface is in practice identified by a system of
  • a cylindrical surface is in practice identified by a system of
  • a spherical surface is in practice identified by a system of
  • T is the angle between the cursor and the vertical axis of the sphere in the interval [- ⁇ / 2 ⁇ / 2];
  • Ri and R 2 be two grounded landmarks whose origin is placed on the pointer. Ri remains invariant and undergoes only the translation of the pointer, while R 2 undergoes the same rotation of the pointer as soon as the cursor tends to exit the screen.
  • the limited pointing consists of reproducing a score in R-i, so the pointed region does not vary in space.
  • the sliding score is to reproduce a score in R 2 . With this pointing the dotted region slides so that it stays in front of the pointer.
  • Ri and R 2 can be reset at any time.
  • the slider of a PC is generally fed at the input by the relative displacement.
  • the limited scoring is then possible if and only if we can recover the instantaneous position of the cursor on the screen.
  • a first means is to summon without any source of error the entire displacement of the cursor at the input of the PC, therefore:
  • a second way is to saturate the pointer by forcing for example which puts the cursor on the top left. We then replace the cursor on the desired pixel. This second means is useful for resetting the pointer, but it is not practically possible to use it continuously.
  • a possible procedure consists of:
  • Different embodiments of the invention may be determined by the combination of the mode of determining the movements of the cursor (by estimating the attitude or by using the angular velocity), the pointing mode (limited or sliding ) and the slider moving surface (pointing to a plane inclination plane given in the terrestrial reference, to a cylindrical surface or to a sphere). These different combinations have ergonomic advantages for certain applications.
  • an absolute score towards a plane is particularly adapted to video games.
  • Absolute pointing to a cylinder is well suited to training games requiring speed and / or reflection.
  • An absolute pointing to a sphere may be advantageous for projection applications.
  • the use of absolute pointing to different surfaces may be advantageous for simulation exercises, for example for military use or to simulate the pointing of a laser spot on any surface
  • a sliding score to a cylinder in which the displacement of the cursor is proportional to the speed of rotation of the pointer is particularly suitable for a mouse application for PC or TV remote control.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Fluid Mechanics (AREA)
  • Quality & Reliability (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention divulgue un procédé de contrôle d'un curseur (120) dans une surface (100) par des mesures d'attitude d'un pointeur (1 10), lesdites mesure étant fournies par des moyens inertiels, optiques, magnétiques, ultrasonores, radiofréquences ou vidéo et des moyens de traitement appropriés, ledit procédé étant caractérisé en ce qu'il comporte en outre une étape de calcul des déplacements de l'intersection d'un vecteur lié au pointeur avec une surface de projection (130), ladite surface de projection étant prédéterminée, à partir des mesures de l'attitude et/ou de la vitesse angulaire dudit pointeur. Les surfaces pointées peuvent être notamment des plans, des cylindres ou des sphères. Le pointage peut être effectué en limité ou en glissant. Le contrôle du curseur, en mode absolu ou en mode relatif peut permettre le déclenchement de fonctions commandées par l'orientation dudit curseur sur la surface pointée.

Description

PROCÉDÉ DE CONTROLE D'UN CURSEUR PAR DES MESURES D'ATTITUDE D'UN POINTEUR ET POINTEUR METTANT EN ŒUVRE
LEDIT PROCEDE
La présente invention se rapporte à un procédé de contrôle des mouvements et de l'orientation d'un curseur, sur une surface d'affichage, par exemple plane telle qu'un écran de téléviseur, un écran de PC, ... Le contrôle du déplacement d'un curseur sur une surface d'affichage non planaire de forme quelconque est également possible par le procédé et le dispositif de l'invention. Un assemblage d'écrans plats coordonnés peut par exemple constituer une surface non plane (sphère, cylindre, ...). La surface d'affichage est dotée d'un système métrique de coordonnées. Un utilisateur muni d'un pointeur instrumenté de moyens de mesure de mouvements et de boutons de commande peut ainsi par exemple contrôler, par le biais du déplacement dans l'espace 3D du pointeur instrumenté, le déplacement, et/ou la position et/ou l'orientation d'un curseur sur une surface d'affichage qui affiche une interface graphique d'une ou plusieurs applications logicielles. Le pointeur de commande peut ainsi déclencher l'exécution de fonctions programmées choisies par la position et/ou le déplacement et/ou l'orientation du pointeur et/ou par l'utilisation de commandes prévues à cet effet sur le pointeur.
Les dispositifs de cette nature ont vocation à se substituer aux télécommandes dans lesquelles les commandes ne permettent pas de contrôler de façon continue un curseur sur la surface d'affichage et consistent en une liste de codes associés aux boutons pressés par l'utilisateur qui sont transmis à l'équipement à commander via une liaison infrarouge ou plus récemment radioélectrique.
Un des premiers dispositifs de ce type a été divulgué par le brevet US 5,440,326. Dans ce dispositif, des gyroscopes procurent deux mesures de vitesses angulaires (en pitch et yaw) qui sont converties en commandes du curseur selon deux axes de la surface d'affichage. Ce type de dispositif présente cependant des limitations dans son ergonomie, car il n'est basé que sur la vitesse de rotation du pointeur selon 2 axes, mesurés dans le repère du pointeur, et pas sur l'orientation du dispositif dans le repère d'affichage. Par exemple, ces mesures sont sensibles à l'orientation selon laquelle le pointeur est tenu par l'utilisateur (le 3eme angle, roll ou tilt, non mesuré). En effet, lorsque l'utilisateur tient la télécommande avec un angle de torsion du poignet (appelé roulis), verra le curseur se déplacer dans une direction non désirée (voir explications de D5). Par ailleurs, la limitation à deux axes de mesure rend complexe l'utilisation de la télécommande pour des angles importants et l'ergonomie du pointage en est alors affectée. Pour lutter contre ces effets, une stabilisation des mesures peut être effectuée par des moyens mécaniques, les gyroscopes étant montés sur des cardans. Cependant, cette stabilisation mécanique est d'une part limitée à des petits angles de roll (butées mécaniques) et est imparfaite également en raison de l'inertie des cardans. En outre, une telle correction n'est pas applicable à des dispositifs miniatures.
Ces inconvénients peuvent dans une certaine mesure être surmontés par des dispositifs dans lesquels les mesures de vitesse de rotation en yaw et pitch fournies par des gyromètres miniatures sont corrigées de l'angle de roll par les mesures d'un accéléromètre en utilisant une matrice de rotation à deux dimensions. Des dispositifs de cette nature sont notamment divulgués par les brevets US 5,598,187 (Ide) et 7,158,1 18 (Liberty). Dans les dispositifs de cette nature, les différents angles doivent être effectivement calculés à partir des mesures de capteurs différents. Dans la demande internationale publiée sous le n°WO2009/156476 (Mathews) appartenant à la demanderesse de la présente demande, une correction est appliquée sans calcul préalable de l'angle de roll. La correction d'angle de roulis repose en fait sur un principe qui est fondamentalement imparfait dans la mesure ou l'accéléromètre est également sensible à l'accélération due au mouvement ce qui perturbe inévitablement l'estimation de l'angle de roulis et donne un effet imprécis sur la trajectoire du curseur sur la surface d'affichage. Enfin, certaines orientations du pointeur (proche vertical, par exemple) ne permettent plus de calculer l'angle de roulis, car celui-ci n'est plus mesuré par l'accéléromètre. La fonction de compensation de roulis introduit donc à cette occasion des défauts qui ne sont pas présents initialement dans l'ergonomie du contrôle du curseur par le mouvement. Une manière de surmonter l'inconvénient d'une estimation séparée des angles a été divulguée par la demande internationale publiée sous le n °WO2009/156499, dont un des titulaires est le titulaire de la présente demande, dans laquelle on applique un filtre de Kalman étendu pour réaliser une estimation conjointe des variables d'état en utilisant un modèle d'état comprenant une équation différentielle du premier ordre. Cependant, la mise en oeuvre de ce filtrage est limitée à un seul mode de contrôle du mouvement du curseur en fonction du mouvement du pointeur et également gourmande en capacités de calcul.
L'invention permet de surmonter les inconvénients de cet art antérieur en proposant une procédure de calcul des déplacements d'un curseur dans la surface d'affichage (ou pointée) à partir de mesures d'attitude du pointeur.
A cet effet, l'invention procure un procédé de contrôle de premiers paramètres caractérisant un curseur sur une surface d'affichage à l'aide d'un pointeur mobile dans l'espace, lesdits premiers paramètres étant choisis dans un groupe comprenant les déplacements, la position et l'orientation dudit curseur, ledit procédé comprenant une étape de détermination d'au moins un deuxième paramètre d'un repère lié au pointeur, ledit au moins un deuxième paramètre étant choisi dans un groupe comprenant l'attitude, la position et la vitesse angulaire dudit repère, un vecteur p étant lié audit repère, ledit procédé étant caractérisé en ce qu'il comprend en outre une étape de calcul desdits premiers paramètres en utilisant une ou plusieurs intersections de la droite portée par ledit vecteur p avec une surface de projection, ladite surface de projection étant prédéterminé et distincte de la surface d'affichage ladite étape de calcul recevant en entrée au moins une partie desdits deuxièmes paramètres.
Avantageusement, au moins une partie des premiers paramètres est calculée par une étape de description de la surface de projection établie par au moins une position d'un point appartenant au plan tangent à ladite surface au point d'intersection à cette surface au point d'intersection considéré.
Avantageusement, la description de la surface de projection varie en fonction de la translation du pointeur ou du contexte.
Avantageusement, la surface de projection appartient au groupe des surfaces planes, des surfaces cylindriques et des surfaces sphériques. Avantageusement, la surface de projection est une surface plane verticale et en ce que l'on calcule une première coordonnée, respectivement un premier déplacement, du point comme étant égal(e), à une constante multiplicative près, à la tangente de l'angle de yaw du pointeur, respectivement à la différence des tangentes des angles de yaw du pointeur à la fin et au début dudit déplacement.
Avantageusement, la surface de projection est une surface plane verticale et on calcule une deuxième coordonnée, respectivement un deuxième déplacement, du point comme étant égal(e), à une constante multiplicative près, au rapport de la tangente de l'angle de pitch au cosinus de l'angle de yaw du pointeur, respectivement à la différence des rapports de la tangente de l'angle de pitch au cosinus de l'angle de yaw du pointeur à la fin et au début dudit déplacement. Avantageusement, la surface de projection est une surface cylindrique verticale et on calcule une première coordonnée, respectivement un premier déplacement, du point comme étant égal(e) , à une constante multiplicative près, à l'angle de yaw du pointeur en un point de la surface, respectivement à la différence des angles de yaw du pointeur à la fin et au début dudit déplacement.
Avantageusement, la surface de projection est une surface cylindrique verticale et on calcule une deuxième coordonnée, respectivement un deuxième déplacement, du point comme étant égal(e) , à une constante multiplicative près, à la tangente de l'angle de pitch du pointeur en un point de la surface, respectivement à la différence des tangentes des angles de pitch du pointeur à la fin et au début dudit déplacement.
Avantageusement, la surface de projection est une surface sphérique centrée sur le pointeur et on calcule une première coordonnée, respectivement un premier déplacement, du point comme étant égal(e), à une constante multiplicative près, à l'angle de yaw multiplié par le cosinus de l'angle de pitch du pointeur en un point de la surface, respectivement à la différence des angles de yaw du pointeur à la fin et au début dudit déplacement multipliée par le cosinus de l'angle de pitch au début du déplacement.
Avantageusement, la surface de projection est une surface sphérique centrée sur le pointeur et on calcule une deuxième coordonnée, respectivement un deuxième déplacement du point comme étant égal(e), à une constante multiplicative près, à l'angle de pitch du pointeur en un point de la surface, respectivement à la différence des angles de pitch du pointeur à la fin et au début dudit déplacement. Avantageusement, on calcule l'orientation du curseur en projetant selon p un vecteur perpendiculaire au vecteur p sur ladite suface.
Avantageusement, on calcule la rotation d'un vecteur perpendiculaire à p en projetant l'intégrale de la vitesse angulaire selon l'axe du pointeur ou à partir de son orientation.
Avantageusement, le calcul d'au moins une partie des premiers paramètres est effectué à partir de la vitesse angulaire du pointeur mesurée dans le repère du capteur et de l'attitude.
Avantageusement, le déplacement du curseur, à deux composantes, est calculé en effectuant la projection du vecteur vitesse angulaire du pointeur, dont la composante selon le vecteur p lié au pointeur est mise à zéro, et transformé dans le repère lié à la terre, sur les axes (Xe, Ye) du repère définissant la surface élémentaire pour la position et orientation courante du pointeur, et multiplié par des facteurs de gain.
Avantageusement, le déplacement du curseur, à deux composantes, est calculé en effectuant la projection du vecteur vitesse angulaire du pointeur exprimé dans le repère terrestre, sur les axes (Xe, Ye) du repère définissant une surface élémentaire plane et prise perpendiculaire au vecteur p défini par le pointeur et multiplié par des facteurs de gain Avantageusement, le pointage est réalisé en mode absolu.
Avantageusement, le pointage est réalisé en mode relatif,
Avantageusement, le pointage est réalisé en mode relatif selon une direction et en mode absolu selon une autre direction.
L'invention procure également un système de contrôle de premiers paramètres caractérisant un curseur sur une surface d'affichage à l'aide d'un pointeur orienté dans l'espace vers ladite surface, lesdits premiers paramètres étant choisis dans un groupe comprenant les déplacements, la position et l'orientation dudit curseur, ledit système comprenant un module de détermination de deuxièmes paramètres d'un repère lié au pointeur, lesdits deuxièmes paramètres étant choisis dans un groupe comprenant l'attitude, la position et la vitesse angulaire dudit repère; un vecteur p étant lié audit repère, ledit système étant caractérisé en ce qu'il comprend en outre un module de calcul desdits premiers paramètres en utilisant une ou plusieurs intersections de la droite portée par ledit vecteur p avec une surface de projection, ladite surface de projection étant prédéterminée et distincte de la surface d'affichage ledit module de calcul recevant en entrée au moins une partie desdits deuxièmes paramètres.
Un des avantages de l'invention est de pouvoir être mise en œuvre en utilisant des dispositifs très divers qui fournissent des mesures d'attitude (ou orientation) du pointeur. L'invention permet de s'adapter à différents principes de mesure du mouvement du pointeur (ou de la télécommande) et fournit la possibilité de proposer différents modes, pour des usages et des objectifs ergonomiques différents.
De plus, l'invention propose des variantes qui permettent de prendre en compte des dispositifs qui délivrent les paramètres de position (en translation) du pointeur dans l'espace. Les paramètres d'affichage du curseur peuvent être déterminés en position (mode absolu) ou en déplacement (mode relatif).
En outre, le pointage peut être limité ou pas à un cône de délimité par des frontières de la surface d'affichage, et donc les déplacements du curseur limités à la surface d'affichage (contrôle en mode limité/glissant). Selon l'invention, ces modes de réalisation, peuvent être combinés selon le contexte applicatif et les informations de position et d'orientation du pointeur dont on dispose.
La présente invention sera mieux comprise à l'aide de la description qui va suivre et des dessins en annexe, sur lesquels :
- La figure 1 représente un pointeur tenu par un utilisateur en vue de contrôler un curseur orienté sur une surface d'affichage qui est ici un écran plan, et une surface de projection avec les différents repères utilisés dans un mode de réalisation de l'invention ;
- les figures 2a, 2b et 2c représentent le principe de détermination des paramètres de déplacement ou de position d'un curseur à partir des angles de yaw et de pitch du vecteur directeur porté par un pointeur dans un repère de référence et en utilisant une surface de projection plane verticale, dans un mode de réalisation de l'invention;
- les figures 3a, 3b et 3c représentent le principe de détermination des paramètres de déplacement ou de position d'un curseur à partir des angles de yaw et de pitch du vecteur directeur porté par un pointeur dans un repère de référence et en utilisant une surface de projection cylindrique, dans un mode de réalisation de l'invention ;
- les figures 4a, 4b et 4c représentent le principe de détermination des paramètres de déplacement ou de position d'un curseur à partir de des angles de yaw et de pitch du vecteur directeur porté par un pointeur dans un repère de référence et en utilisant une surface de projection sphérique dans un mode de réalisation de l'invention ;
- les figures 5a, 5b et 5c représentent le principe de détermination des paramètres de déplacement ou de position d'un curseur à partir des des angles de yaw et de pitch du vecteur directeur porté par un pointeur dans un repère de référence en utilisant une surface de projection quelconque, dans un mode de réalisation de l'invention;
- les figures 6a, 6b et 6c représentent le principe de détermination des paramètres de déplacement ou de position d'un curseur à partir des angles de yaw et de pitch du vecteur directeur porté par un pointeur dans un repère de référence en approximant une surface de projection sphérique par une surface plane, selon une application du principe de la figure 5, dans un mode de réalisation de l'invention ;
- la figure 7 représente le principe de détermination des paramètres de déplacement d'un curseur à partir de la vitesse angulaire d'un pointeur, en annulant l'effet de la vitesse de roulis du pointeur sur le déplacement du curseur, dans un mode de réalisation de l'invention ;
- la figure 8 représente le principe de détermination des paramètres de déplacement d'un curseur à partir de la vitesse angulaire d'un pointeur pour une surface de projection sphérique centrée sur l'origine du repère pointeur, dans un mode de réalisation de l'invention, ce qui annule l'effet de la vitesse de roulis sur le déplacement du curseur;
- la figure 9 représente la transformation des paramètres de déplacement d'un curseur à partir des résultats de issus d'une surface de projection sphérique de la figure 8 sur une autre surface dans un mode de réalisation de l'invention ; la surface choisie ici est un cylindre pour la composante Δχ
- les figures 10a et 10b illustrent le principe de transformation des déplacements ou de la position ou de l'orientation d'un curseur obtenu pour un premier type de surface de projection en déplacements ou position pour un second type de surface de projection dans un mode de réalisation de l'invention.
La figure 1 représente un pointeur tenu par un utilisateur en vue de contrôler le mouvement d'un curseur sur une surface d'affichage (100) qui est ici un écran avec les différents repères utilisés dans un mode de réalisation de l'invention.
Le but de l'invention est de fournir différentes méthodes de détermination des paramètres de position ou de déplacement du curseur 101 , 102 dans un écran 100 piloté par un dispositif de pointage (ou pointeur) en position 1 1 1 ou 1 12, l'attitude (ou orientation) et/ou la position du pointeur étant connues dans un repère de référence lié à la surface d'affichage qui est généralement le repère de la terre (XEarth, YEarth, ZEarth)- Le pointeur est un outil porté par l'utilisateur qui est positionné et orienté par l'utilisateur et qui lui permet de pointer une direction, et le curseur est le marquage du pointage sur un objet/écran, ou surface d'affichage.
Pour déterminer la position et l'orientation du curseur à l'écran d'après les mouvements imprimés au pointeur par l'utilisateur, le principe de l'invention introduit une surface de projection intermédiaire, 130, du « vecteur pointage » p1 (respectivement p2) porté par le pointeur, 1 1 1 (respectivement 1 12). Notons que la surface de projection 130 peut être confondue avec la surface d'affichage ou différente (comme c'est illustré sur la figure 1 ). La surface de projection est décrite et connue dans le repère de référence lié à la surface d'affichage. Comme indiqué plus loin dans la description, le choix de la surface de projection est fonction de l'application et peut être choisie pour obtenir un rendu le plus ergonomique et adapté à l'application. Elle peut également changer en fonction du contexte d'utilisation et il est également possible d'utiliser plusieurs modèles de surfaces de projection selon les composantes du curseur. Le choix de cette surface de projection dépend également des informations disponibles parmi l'orientation et/ou la position du pointeur dans le repère de référence.
L'invention exploite la donnée d'orientation et/ou de position d'un pointeur mobile donnée(s) dans un repère de référence (ou souvent repère terrestre) pour calculer la position ou le déplacement ou l'orientation d'un curseur sur un écran d'affichage. Ce procédé permet par exemple de reproduire l'effet de déplacement d'un curseur généré par un pointeur laser, tout en permettant de piloter une application, par exemple par des menus contextuels de la position ou de l'orientation du curseur sur la surface d'affichage. Le choix de la surface de projection permet de modifier la relation entre le déplacement du pointeur mobile et le déplacement du curseur sur la surface d'affichage. Le repère de référence est lié à la surface d'affichage. La surface d'affichage étant généralement fixe dans le repère terrestre, ce repère de référence est donc généralement confondu avec le repère terrestre.
Le pointeur mobile est repéré dans le repère de référence à l'aide de moyens de mesure. Ces moyens fournissent l'orientation et/ou la position du pointeur dans ce repère. Pour une meilleure compréhension de l'invention, nous proposons de classifier les moyens de mesure en deux catégories. La première n'exploite que des moyens embarqués dans le pointeur mobile. On peut par exemple citer les capteurs de mouvement inertiels et magnétiques comme les accéléromètres, les magnétomètres, les gyromètres qui permettent, par combinaison, de fournir l'orientation, voire la position du pointeur dans le repère de référence. La seconde catégorie comprend les moyens qui nécessitent une instrumentation fixe dans le repère de référence. Par exemple, des moyens optiques, magnétiques ou électromagnétiques, des moyens sonores ou ultrasonores, des moyens radio permettent de localiser le pointeur mobile en position et/ou orientation dans le repère de référence et ils nécessitent une instrumentation du repère de référence
Le procédé peut être appliqué lorsque seules les données d'orientation du pointeur mobile sont disponibles, auquel cas, on supposera la position définie de façon arbitraire par rapport à la surface de projection. De même si seules des données de position sont connues, on pourra supposer l'orientation connue de façon arbitraire. Il est généralement plus simple et moins coûteux d'instrumenter le pointeur de façon à obtenir les mesures de son orientation, c'est ainsi un des modes préférés d'implémentation pour cette invention. La position du pointeur est alors définie de façon arbitraire.
On dote le repère du pointeur mobile par un vecteur p qui matérialise la direction du pointage. Le vecteur p de pointage est donc généralement défini fixe dans le repère du pointeur mobile de façon à ce que p soit dirigé dans la direction et le sens naturel (ergonomique) de pointage du pointeur mobile. L'orientation et/ou la position du repère du pointeur mobile dans le repère de référence permet également de fournir une seconde donnée d'orientation du pointeur mobile par la définition d'un second vecteur appartenant au plan perpendiculaire au vecteur p (par exemple noté r1 sur la figure 1 , correspondant la position 1 1 1 du pointeur). Ce second vecteur d'orientation ri permet le cas échéant de calculer une orientation du curseur sur la surface d'affichage.
Dans un mode dit « pointage absolu », on utilise directement les coordonnées du point 121 (pour le pointeur en position 1 1 1 ) ou 122 (pour le pointeur en position 1 12) dans la surface de projection et éventuellement une transformation (150) entre la surface de projection et la surface d'affichage pour obtenir les coordonnées du curseur dans la surface d'affichage. Ainsi, à une position/orientation physique du pointeur mobile dans le repère de référence correspond une et une seule position du curseur dans la surface d'affichage. On utilisera le même procédé pour l'orientation.
Le calcul de 121 , 122 selon la donnée de la position et de l'orientation du pointeur mobile peut être réalisé analytiquement pour des modèles de surfaces simples et des hypothèses sur la position du pointeur mobile, comme il est détaillé ci-dessous. Le calcul de déplacement du curseur sur la surface d'affichage peut alors être directement mis en oeuvre par application de la formule analytique trouvée. Les calculs exposés permettent de couvrir beaucoup d'applications et d'ergonomies. Cependant on pourra également couvrir d'autres cas, avec d'autres surfaces de projections et/ou d'autres cas ou les données de positions et/ou orientation du pointeur mobile doivent être prises en compte. L'invention se généralise à ces autres cas. Si le calcul analytique est complexe ou impossible à mener, par exemple pour des surfaces complexes ou quelconques, on pourra utiliser des méthodes numériques de calcul d'intersection de droites avec des surfaces (méthodes de lancer de rayon par exemple). Le calcul numérique d'intersection du pointeur avec la surface peut alors être intégré dans le calcul de déplacement du curseur. On détaille également ci- dessous une méthode permettant de traiter les surfaces quelconques. Les orientation/positions successives du pointeur mobile dans le temps (par exemple matérialisées par 1 1 1 et 1 12 comme des positions et orientation successives du pointeur dans le temps) sont ainsi transformées en positions/orientations du curseur à l'écran (101 correspond à 1 1 1 , et 102 correspond à 1 12). Ce mode absolu est similaire à celui qui peut être mis en œuvre par des tablettes graphiques, en mode « absolu » : à une position de la pointe du crayon sur la tablette correspond une position du curseur à l'écran. Dans un mode dit « pointage relatif », la position du curseur à l'écran est pilotée par des données de déplacements successifs qui incrémentent sa position sur la surface d'affichage. Ce type de pointage est similaire à celui très généralement répandu dans les dispositifs de pointage de type souris pour ordinateur. Dans notre invention, le pointeur mobile prend des positions/orientations successives dans le temps. La figure 1 permet d'illustrer ce principe. Soit p1 et p2 les vecteurs directeurs associés au repère du pointeur mobile pour deux instants successifs . 121 et 122 sont les points projections de ces vecteurs p1 et p2 sur la surface de projection. Ils permettent de former un vecteur différence (Δχ, Ay) (noté 131 , 132) dans le système métrique associé à la surface de projection. (Ax, Ay) sont optionnellement transformés par une transformation 150 de la surface de projection vers la surface d'affichage et le résultat (101 A, 102A) est utilisé pour contrôler le déplacement (AxA, AyA)du curseur sur la surface d'affichage.
En outre, deux modes de réalisation principaux de l'invention sont illustrés en détail dans la suite de la description:
- dans une première méthode explicitée ci dessus, on détermine la position ou le déplacement du curseur à partir de l'attitude et/ou la position du pointeur dans le repère de référence; l'attitude peut être donnée sous forme d'une matrice ou bien d'un quaternion d'attitude, ou de tout autre représentation de l'attitude du pointeur, par exemple les angles d'Euler ou des angles de cardan; la position peut être donnée par un vecteur définissant les coordonnées d'un point du pointeur dans le repère de référence ; - dans une deuxième méthode, on détermine le déplacement du curseur à partir de la vitesse angulaire et/ou, de l'attitude du pointeur mobile; le déplacement du curseur sera une fonction de la vitesse angulaire et de l'attitude mesurée dans un repère lié à la terre ; plusieurs solutions sont exposées dans la suite de la description pour exploiter ce paramètre de vitesse angulaire dans un repère lié à la terre.
De plus, on peut contrôler l'orientation du curseur sur l'écran à l'aide des mouvements du pointeur, ce qui permet de lancer des fonctions différentes en fonction de cette orientation du curseur.
Comme illustré sur la figure 1 , la projection du vecteur r1 perpendiculaire à p1 sur la surface de projection fournit un second vecteur 141 . La direction du vecteur 141 ainsi formé dans la surface de projection (au sens de la métrique de la surface 130) permet de piloter l'orientation du curseur dans la surface d'affichage par la même transformation 150.
Le calcul de l'orientation du curseur sur l'écran peut par exemple être effectué de la manière suivante:
- le vecteur r1 est donné par exemple par la deuxième ou troisième colonne de la matrice d'attitude R du pointeur mobile (p1 étant défini par la première colonne), dont la définition est détaillée plus loin dans la description ;
- alors l'angle qui détermine l'orientation du curseur dans le repère de la surface de projection peut être calculé par :
φ= Atan( r'1 .YE/r'1 .XE) où r'1 est la projection de r1 selon la direction de p1 à la surface de projection, « . » est l'opérateur de produit scalaire,
XE, YE forment un repère sur la surface de projection comme détaillé plus bas en commentaire à la figure 5.
Le calcul d'orientation du curseur peut également être effectué par intégration de la vitesse angulaire mesurée sur un axe.
Plusieurs dispositifs physiques et types d'algorithmes peuvent être utilisés pour estimer l'attitude, la vitesse angulaire de l'attitude et/ou la position et/ou la translation du pointeur.
On peut tout d'abord utiliser des dispositifs inertiels embarqués sur le pointeur comprenant des combinaisons d'accéléromètres (A), de gyromètres (G) et de magnétomètres (M). Les accéléromètres et les magnéto m êtres permettent de mesurer l'orientation du pointeur par rapport à un vecteur fixe, respectivement, la gravité et le champ magnétique terrestre. Ils sont cependant affectés de perturbations (accélération propre et perturbations magnétiques ambiantes, respectivement) qui doivent être corrigées. Les gyromètres mesurent la vitesse angulaire propre des mouvements du pointeur. Les gyromètres sont généralement affectés d'une dérive temporelle significative qui doit être régulièrement corrigée. Ces capteurs peuvent être des Micro Electro Mechanical Systems (MEMS), éventuellement intégrés, ou réalisés dans d'autres technologies non intégrées. Chaque type de capteur peut comporter un, deux ou trois axes. Dans certaines applications, un seul type de capteur (dans ce cas à trois axes) peut être utilisé, si les perturbations ou la dérive temporelle peuvent être considérées comme négligeables pour que la donnée finale d'orientation, nécessaire à l'invention soit suffisamment précise, ou être corrigées sans recours à un autre type de capteur. De manière prévilégiée, on utilisera cependant une combinaison d'au moins deux types de capteurs, AG, MG ou AM.
Il faut noter que ces trois types de capteurs amènent des informations complémentaires en vue d'une meilleure estimation de l'orientation, notamment :
- Le gyromètre en version tri axes fournit des mesures de vitesse angulaire selon trois DDL (Degrés De Liberté) et permet d'estimer l'attitude par intégration de la vitesse angulaire. Il permet donc de calculer une orientation en relatif par rapport à une orientation donnée. Ce principe d'estimation de l'orientation est sujette à dérive à cause de l'opération d'intégration, si le gyromètre est utilisé seul ;
- L'accéléromètre triaxes fournit 2 informations angulaires absolues par rapport à un repère terrestre (roll et pitch), mais est sujet à perturbations lorsque les mouvements sont non quasi-statiques puisqu'il mesure en même temps les paramètres d'accélération due au mouvement;
- Le magnétomètre tri axes fournit 2 degrés de liberté angulaires absolues (qui sont des combinaisons du lacet ou yaw avec les autres angles de pitch et roll) par rapport à un repère terrestre mais est sujet aux perturbations magnétiques de l'environnement. S'agissant des gyromètres, on peut par exemple utiliser les gyromètres fournis par Analog Devices™ de référence ADXRS300™, ou l'ITG3200™ de Invensense™ ou les gyromètres fournis par STM™
S'agissant des accéléromètres, on peut utiliser par exemple des accéléromètres de référence ADXL103 d'Analog Devices, LIS302DL de STM. FreeScale™, Kionix™ fournissent également de tels capteurs S'agissant des magnétomètres, on peut par exemple utiliser les magnétomètres de référence HMC1001™ ou HMC1052 ou HMC1053 de la société Honeywell™ ™. AKM™ fournit également des micromagnétomètres (AK8973, AK8974, AK8976).
Différents algorithmes peuvent être utilisés pour corriger les perturbations et fusionner les signaux des différents types de capteurs et estimer l'attitude, par exemple ceux divulgués par la demande internationale publiée sous le n ° WO2010/007160 dont un des titulaires est le titulaire de la présente demande.
S'agissant des modules de calcul de l'orientation à partir de ces types de capteurs, on pourra se référer aux produits de la société Movea™ ou des produits de la sté XSens™, ou Intersense™ avec par exemple la famille des produits InertiaCube™.
A partir des systèmes fondés sur des capteurs inertiels embarqués dans le pointeur mobile, il est également possible d'estimer la trajectoire et donc une position relative à un point de départ arbitraire du pointeur. Le traitement des mesures d'orientation et/ou de position pour le calcul de la position du curseur est effectué dans un module de calcul. Le calcul peut être embarqué dans le pointeur mobile ou déporté sur le calculateur lié à la surface d'affichage (par exemple un PC ou une SetTopBox). On peut citer pour les microprocesseurs, par exemple un DSP Texas Instruments™ TMS320VC5509™ pour les applications les plus exigeantes en temps de calcul, ou un microcontrôleur 32 bits à cœur ARM™, par exemple un de ceux de la famille STR9™, notamment le STR9F12FAW32™ de STM. Le module de calcul comprend également de préférence une mémoire flash nécessaire au stockage du code à exécuter et des données permanentes qui lui sont nécessaires et une mémoire dynamique de travail. Les signaux issus des capteurs ou traités à bord du pointeur mobile sont transmis à un autre microprocesseur, généralement celui qui exécute l'application et gère la surface d'affichage. L'application est commandée par le curseur dont les déplacements sont contrôlés par le pointeur. La transmission peut s'opérer par voie radiofréquence avec une forme d'onde et un protocole Bluetooth ou avec une forme d'onde et un protocole Wi-Fi (Norme 802.1 1 g) ou selon la norme RF4CE. La transmission peut également s'effectuer par voie infra-rouge. Les traitements peuvent être répartis de manière variable entre le microprocesseur de la plateforme applicative et/ou le microcontrôleur embarqué dans le pointeur.
Pour estimer la position, l'attitude ou la vitesse angulaire de l'orientation, il est également possible d'utiliser d'autres systèmes, tels que ceux cités ci- dessous :
- Systèmes optiques comprenant des Light Emitting Diodes (LED), d'autres marqueurs ou des capteurs infrarouges ; des systèmes de ce type sont commercialisés sous les marques CodaMotion™ou Vicon™; dans de tels systèmes, l'algorithmie permettant d'estimer l'attitude ou la vitesse angulaire de l'orientation peut notamment utiliser la puissance du signal détecté, l'angle d'arrivée ou sa phase ;
- Systèmes magnétiques comprenant des sources magnétiques localisées extérieures au pointeur, dans l'environnement de l'écran, ledit pointeur étant instrumenté avec un magnétomètre adapté aux sources magnétiques ;on pourra se référer aux dispositifs des sociétés Ascencion Technology™ ou Polhemus™ ;
- Systèmes à ultrasons comprenant un ou plusieurs émetteurs/récepteurs d'ultrasons, le ou les émetteurs étant embarqués sur le pointeur et le récepteur étant fixé sur l'écran ; l'algorithmie permettant d'estimer l'attitude ou la vitesse angulaire de l'orientation peut notamment utiliser une corrélation et une décorrélation des ondes sonores reçues par les récepteurs (par exemple le IS-900 System de chez Intersense);
- Systèmes à ondes radiofréquences comprenant un ou plusieurs émetteurs/récepteurs d'ondes radiofréquences, le ou les émetteurs étant embarqués sur le pointeur et le récepteur étant fixé sur ou dans le voisinage de l'écran ou le contraire; ces émetteurs/récepteurs peuvent notamment être du type UWB (Ultra Wide Band) ; l'algorithmie permettant d'estimer l'attitude ou la vitesse angulaire de l'orientation peut notamment utiliser une fusion des signaux correspondant aux angles d'arrivée, à l'amplitude des signaux reçus et à leur temps d'arrivée ou à leur phase;
- Systèmes vidéo comprenant une ou plusieurs caméras vidéo implantées sur ou dans le voisinage de l'écran ; l'algorithmie permettant d'estimer l'attitude ou la vitesse angulaire de l'orientation peut notamment utiliser une analyse et un traitement des images de mouvement du pointeur prélevées par les caméras vidéo.
Les figures 2a, 2b et 2c représentent la transformation des angles de yaw et de pitch d'un pointeur en position ou déplacement d'un curseur, en choisissant comme surface de projection une surface plane verticale, dans un mode de réalisation de l'invention.
Sur la figure, on suppose que la position du pointeur est fixée arbitrairement. Dans le cas général elle peut néanmoins être variable dans le temps. Cette illustration correspond au cas, par exemple où l'on dispose d'une mesure d'orientation, sans la mesure de position.. Seule l'orientation du pointeur mobile est mesurée. Le principe exposé reste applicable pour une position de pointeur variable mesurée et non fixée arbitrairement.
Dans le mode illustré sur la figure 2, la position du curseur sur la surface d'affichage est calculée de la manière suivante : on calcule l'intersection de la droite portée par le vecteur p (p1 , p2 par exemple) lié au pointeur avec la surface de projection qui est ici une surface plane . Le vecteur directeur de la droite est le vecteur p1 , 21 1 (respectivement p2, 212). L'intersection de la droite avec la surface de projection est matérialisée par les points 221 et 222 pour les deux vecteurs directeurs p1 et p2 correspondant à deux orientations successives du pointeur mobile.
Soit la matrice de rotation R (ou le quaternion q) qui définit l'attitude du pointeur relativement à un repère lié à la terre, qui est pris ici comme repère de référence, « Earth Frame ». R est fournie par le dispositif de mesure d'orientation du pointeur mobile. Soit le vecteur pointeur 3D, p = [px py pzf avec //p//=7. Par souci de simplification et par convention, on suppose ici que p est confondu avec le vecteur x du repère lié au pointeur, cette définition étant non restrictive et pouvant être remplacée par une autre définition adéquate, à la portée de l'homme de l'art. Relativement à l'Earth Frame, p est alors la première colonne de la matrice R.
Soit {Δχ,Δγ), 231 , 232, le déplacement du point d'intersection de 221 à 222 sur la surface de projection (ici un plan vertical) lorsque le pointeur est déplacé de l'orientation p1 à l'orientation p2. Par souci de simplification, sans restreindre la généralité, on prendra dans cette illustration une transformation identité entre le déplacement du curseur sur la surface d'affichage qu'on doit déterminer et le déplacement du point d'intersection sur la surface de projection. En général, Δχ est horizontal et Ay est dans un plan vertical ;
Dans le cas général (lorsque la surface de projection n'est pas plane), Δχ et Ay ne sont pas forcément des segments droits mais peuvent être des distances curviligne sur des éléments de courbe (par exemple, l'arc d'un cercle).
Soit les deux angles : φ (yaw) et Θ (pitch) qui sont liés à p
Figure imgf000020_0002
Sur les figures 2a, 2b et 2c est illustré le différentiel sur chaque surface en fonction d'un déplacement élémentaire selon le yaw (φ?-> φ2) et selon le pitch (θι~> θ2). Φ et Θ peuvent être déterminés à partir de p = [px py pzf comme indiqué ci-dessus.
On peut calculer les déplacements Δχ et Ay par les formules suivantes :
Figure imgf000020_0001
Lorsque le yaw ou le pitch se rapprochent de ±ττ/2 le déplacement du curseur augmente en absolu et tend vers l'infini.
G est une constante qui dépend de la distance entre le pointeur et le plan et est donc liée à la position arbitraire donnée au pointeur. Il permet de régler la proportion entre le déplacement angulaire du pointeur et le déplacement du curseur. Les figures 3a, 3b et 3c représentent une étape de la transformation des angles de yaw et de pitch d'un pointeur en mouvement d'un curseur pour une surface de projection cylindrique, dans un mode de réalisation de l'invention.
Sur la figure, on suppose que la position du pointeur est fixée arbitrairement. Dans le cas général elle peut néanmoins être variable dans le temps. Cette illustration correspond par exemple au cas où l'on dispose d'une mesure d'orientation, sans la mesure de position.. Seule l'orientation du pointeur mobile est mesurée. Le principe exposé reste applicable pour une position de pointeur variable mesurée et non fixée arbitrairement.
.On supposera par souci de simplicité que la position du pointeur est arbitrairement fixée sur l'axe du cylindre. Il sera aisé de généraliser l'invention au cas d'un pointeur mobile en position, le principe restant le même. Dans les conditions exposées, il est possible de mener le calcul analytiquement.
Le déplacement du curseur selon l'horizontale Δχ, 331 est proportionnel à la rotation du pointeur mobile selon le yaw. On peut calculer les déplacements Δχ et Ay, 331 , 332, avec les formules suivantes :
Figure imgf000021_0001
Le déplacement du curseur selon la verticale Ay, 332, augmente en absolu et tend vers l'infini lorsque le pitch se rapproche de ±ττ/2.
Dans ce cas, Δχ, 331 , est bien une longueur curviligne. L'hypothèse ici est que le pointeur est placé au centre du cylindre. G est égal à la distance entre le pointeur et le cylindre, soit égal au rayon du cylindre.
Les figures 4a, 4b et 4c représentent la transformation des angles de yaw et de pitch d'un pointeur en mouvement d'un curseur pour une surface de projection sphérique dans un mode de réalisation de l'invention.
Sur la figure, on suppose que la position du pointeur est fixée arbitrairement. Dans le cas général elle peut néanmoins être variable dans le temps. Cette illustration correspond par exemple au cas où l'on dispose d'une mesure d'orientation, sans la mesure de position.. Seule l'orientation du pointeur mobile est mesurée. Le principe exposé reste applicable pour une position de pointeur variable mesurée et non fixée arbitrairement.
On supposera par souci de simplicité que la position du pointeur est fixe, placé au centre de la sphère. Il sera aisé de généraliser l'invention au cas d'un pointeur mobile en position, le principe de calcul restant le même. Le déplacement du curseur selon l'horizontale Δχ, 431 , est proportionnel à la rotation selon le yaw et diminue et tend vers zéro lorsque le pitch se rapproche de ±ττ/2. Le déplacement du curseur selon la verticale Ay, 432, est proportionnel au pitch. On peut calculer les déplacements Δχ et Ay, 431 , 432, avec les formules suivantes :
Figure imgf000022_0001
Dans ce cas, Δχ, 431 , et ày, 432, sont toutes deux des longueurs curvilignes. L'hypothèse ici est que le pointeur est placé au centre de la sphère. G est égal à la distance entre le pointeur et la sphère, soit égal au rayon de la sphère.
Les figures 5a, 5b et 5c représentent la transformation des angles de yaw et de pitch d'un pointeur en mouvement d'un curseur pour une une surface de projection quelconque approximée par de petits éléments plans dans un mode de réalisation de l'invention.
La surface quelconque est approximée pour chaque position/orientation du pointeur par une petite surface plane pour laquelle les figures 5a, 5b et 5c présentent le principe de détermination de la position ou de déplacement du curseur.
Pour calculer la position du curseur, on calcule l'intersection d'une ligne droite portée par le vecteur p avec la surface de projection. On considère alors une surface élémentaire définie par le repère (XE ,YE), OÙ :
- XE est horizontal (càd XE // Plan(XEarth , YEarth) ) ; cela se traduit par le fait que la composante selon ZEarth est nulle, d'où XE = [cos(a) sin(a)
0]T ;
- YE est dans un plan vertical et perpendiculaire à XE; cela se traduit par le fait que la composante selon (XEarth , YEarth) est perpendiculaire à XE , d'où YE = [-cos( )sin(a) cos( )cos(a) -είη(β)]τ. Pour avoir YE vers le bas il faut que
Figure imgf000023_0002
On peut calculer les déplacements Δχ et Δν, 531 , 532, avec les formules suivantes :
Figure imgf000023_0003
Où :
- Comme indiqué plus haut, pi et p2 sont les vecteurs définis aux deux orientations successives du pointeur ;
-
Figure imgf000023_0004
est le vecteur normal à la surface pointée ;
- est un point appartenant à cette surface élémentaire
Figure imgf000023_0005
Figure imgf000023_0006
-
Figure imgf000023_0007
représentent respectivement les opérateurs de produit vectoriel et de produit scalaire. On détaille ci-dessous, à titre d'exemple de réalisation du principe de surface de projection quelconque précédent, les calculs dans le cas d'une surface de projection plane verticale perpendiculaire à
Figure imgf000023_0008
Figure imgf000023_0009
Figure imgf000023_0001
On retrouve ainsi le cas illustré par les figures 2a, 2b et 2c et les mêmes formules.
On détaille également à titre d'exemple de réalisation du principe de surface de projection quelconque précédent le cas d'une surface élémentaire plane d'un cylindre vertical selon l'axe ZEarth .
Pour : (on utilisera
Figure imgf000023_0010
l'approximation
Figure imgf000023_0012
pour le cas de petits déplacements)
Figure imgf000023_0011
Figure imgf000024_0001
Dans le cadre de l'approximation de petits déplacements
Figure imgf000024_0003
, on retrouve le cas illustré par les figures 3a, 3b et 3c.
Les figures 6a, 6b et 6c représentent la transformation des angles de yaw et de pitch d'un pointeur en mouvement d'un curseur sur une surface sphérique approximée par des surfaces planes dans un mode de réalisation de l'invention.
Pour : (on utilisera l'approximation
Figure imgf000024_0004
Figure imgf000024_0007
pour le cas de petits déplacements).
Soit alors
Figure imgf000024_0005
Figure imgf000024_0006
On peut calculer les déplacements Δχ et Δν, 631 , 632, avec les formules suivantes :
Figure imgf000024_0002
Dans le cadre de l'approximation de petits déplacements
Figure imgf000024_0008
, on retrouve le cas illustré par les figures 4a, 4b et 4c.
Le procédé décrit dans cette invention propose également d'exploiter la vitesse angulaire du pointeur. La figure 7 représente le calcul des mouvements d'un curseur à partir des composantes de vitesse angulaire de l'attitude d'un pointeur projetées dans une surface plane dans un mode de réalisation de l'invention.
Par exemple, la vitesse angulaire du pointeur peut être déterminée à partir de la vitesse angulaire mesurée dans le repère du capteur.
Nous utilisons la vitesse angulaire mesurée par le capteur et recalculée grâce à l'attitude dans le repère de la terre :
Figure imgf000025_0001
La vitesse angulaire du pointeur peut également être déterminée à partir de la donnée de l'attitude du pointeur, par une opération de dérivation :
L'attitude du pointeur étant fournie par un quaternion la
Figure imgf000025_0003
vitesse angulaire du pointeur est alors donnée par la formule :
Figure imgf000025_0002
où représente le produit de quaternions et est
Figure imgf000025_0004
Figure imgf000025_0005
le conjugué de q.
A partir de la vitesse angulaire du pointeur déterminée par exemple selon les principes précédents, il convient alors de déterminer le déplacement Δx,Δν, 731 , 732 de notre curseur et d'éviter tout déplacement dû à la composante . En effet, le roulis ne doit pas provoquer de
Figure imgf000025_0006
déplacement de curseur, ce qui serait contre naturel.
Une première solution, illustrée par la figure 7, est de mettre à zéro
Figure imgf000025_0007
puis d'effectuer une transformation dans le repère lié à la terre ; on calcule alors :
Figure imgf000025_0008
où Rx est la même que R en remplaçant la première colonne par des zéros.
On peut alors calculer le déplacement du curseur Δx,Δγ, 731 , 732 selon n'importe quelle surface élémentaire pointée par p par les formules :
Figure imgf000025_0011
Où Gx et Gy sont des gains qui peuvent être une fonction de p.
Une deuxième solution, illustrée par la figure 8, est de déterminer le déplacement sur une surface élémentaire (Δx,Δγ) qui est prise toujours perpendiculaire au pointeur p. Alors,
Figure imgf000025_0009
et
Figure imgf000025_0010
Ce choix permet d'éliminer l'effet d'une rotation de roulis du pointeur sur le
Figure imgf000026_0003
parce que la surface est perpendiculaire au pointeur. Cette surface élémentaire fait partie d'une sphère centrée au pointeur. On calcule alors le déplacement du curseur
Figure imgf000026_0005
831 , 832 avec les formules suivantes :
Figure imgf000026_0001
La figure 9 illustre une transformation possible du résultat précédent pour transformer les déplacements d'un curseur dans le modèle précédent sphérique en déplacements dans une autre surface dans un mode de réalisation de l'invention.
Notons que ce principe est général que le déplacement calculé Δχ,Δγ peut être par la suite transformé pour qu'il soit adapté à toute surface, par exemple pour un déplacement proportionnel à la vitesse angulaire comme illustré sur la figure 9. On utilise ainsi un modèle de surface cylindrique pour transformer Δχ calculé initialement sur la sphère. Ainsi :
Figure imgf000026_0002
Une fois que
Figure imgf000026_0004
est déterminée avec suppression de roulis on peut d'une manière équivalente transformer le déplacement sur une autre surface.
Les figures 10a et 10b illustrent des projections possibles pour transformer les positions/déplacements d'un curseur dans une surface en positions/déplacements dans une autre surface dans un mode de réalisation de l'invention.
Une fois que la position du curseur est déterminée pour une surface donnée, il est toujours possible de transformer/projeter le curseur vers une autre surface. Une transformation peut être composée d'une séquence de translations, rotations, réflexions/symétries, ou facteurs d'échelle.
Des transformations par projection perspective peuvent être également appliquées. Ces transformations permettent de projeter des surfaces de pointage en 3D sur un écran 2D de manière que la projection corresponde à la perception de l'œil humain depuis un angle de vision. Plusieurs types de projection perspective existent, par exemple, perspective cavalière, frontale, oblique, aérienne, isométrique, géométrique descriptive, etc. Différents outils permettent de gérer efficacement ces projections graphiques comme l'OpenGL®.
L'avantage de telles projections est de pouvoir déterminer, à partir du même pointage vers une surface 3D, le déplacement/la position du curseur sur des écrans liés à différents point de vue.
La projection n'est pas forcément orthogonale et il est possible de modifier la métrique selon le besoin. Par exemple, le déplacement donné par la vitesse angulaire ne correspond à aucune surface géométrique mais c'est une projection en perspective du déplacement sur une sphère.
Le déplacement du curseur calculé à partir de l'attitude (figures 2a, 2b, 3c, 3a, 3b, 3c, 4a, 4b, 4c, 5a, 5b, 5c, 6a, 6b, 6c) ou de la vitesse angulaire du pointeur (figures 7, 8, 9) utilise dans les deux cas le déplacement et l'orientation du pointeur.
Comme présenté précédemment, ces deux paramètres peuvent être déterminés soit :
- par une observation des deux pointeurs p1 et p2 (ou plus généralement de l'attitude sous forme de matrices R1 et R2 ou bien sous forme de quaternions q1 et q2) ;
- par une observation de la vitesse angulaire ω et de l'attitude initiale R1 / q1 (ou finale R2 /q2) ;
Ces deux méthodes sont donc équivalentes. En effet, connaissant p1 et p2 on peut déterminer la vitesse angulaire
Figure imgf000027_0007
supposée constante:
Figure imgf000027_0001
Où Λ est le produit vectoriel et dt est l'intervalle de temps.
Inversement, étant donné
Figure imgf000027_0003
et l'attitude initiale R1 / q1 (resp. finale R2 /q2), on peut déterminer le pointeur initial p1 (resp. final p2). Par exemple, pour
Figure imgf000027_0006
constante pour un intervalle de temps dt, une rotation du pointeur P1 d'un angle
Figure imgf000027_0005
autour de l'axe
Figure imgf000027_0008
(resp. p2 d'un
Figure imgf000027_0004
on peut déterminer p2 (resp. p-1)
Figure imgf000027_0002
Dans tous les modes de réalisation décrits ci-dessus, le contrôle du curseur est calculé en mode relatif. Il est également possible de contrôler le curseur en mode absolu suivant les principes indiqués en commentaire à la figure 1 et détaillé ci-dessous.
Dans certains cas, il est possible de contrôler le curseur d'un écran en utilisant les coordonnés directes de l'écran. L'écran est alors repéré dans un référentiel à deux dimensions, en utilisant par exemple les coordonnés cartésiennes (OE,XE,YE), les coordonnés cylindriques (ΟΕ,ΨΕ Ε), OU les coordonnés sphériques (ΟΕ,(ΡΕ,Θε), OU d'autres systèmes de coordonnées. Le choix du système de coordonnés dépend essentiellement de la nature de la surface de l'écran pointé, de manière à faciliter le repérage du curseur.
A titre d'exemple :
- Une surface plane est en pratique repérée par un système de
coordonnées cartésiennes 2D ;
- Une surface cylindrique est en pratique repérée par un système de
coordonnés cylindriques 2D ;
- Une surface sphérique est en pratique repérée par un système de
coordonnées sphériques 2D ;
- Une surface quelconque (définie par f(x,y,z)=0, ou f(p,cp,z)=0, ou
f(r,(p,9)=0, etc.) est repéré par un système de coordonnées
(0E,Cx(m),Cy(m)) où :
o Cx(m) est une courbe paramétrée par m appartenant à f(.)=0, par exemple Cx(m)= {f(x,y,z)=0} Π { gx(x,y,z)=z=0} est l'intersection de la surface avec le plan horizontal ;
o Cy(m) est une courbe paramétrée par m appartenant à f(.)=0, par exemple Cy(m) = {f(x,y,z)=0} Π { gy(x,y,z)=x=0} est l'intersection de la surface avec un plan vertical.
On prend à titre purement illustratif le premier exemple d'un plan
quelconque. Soit un plan quelconque défini par un repère cartésien 2D
Figure imgf000028_0001
- OE appartient au plan et est invariant dans le temps ;
- XE= [cos(a) sin(a) 0]T est horizontal (XE // Plan(XEarth , YEarth) ) ; - γΕ = [-cos(3)sin(a) cos( )cos(a) -είη(β)]τ est dans un plan vertical et perpendiculaire à XE.
Pour déterminer les coordonnés du curseur à l'écran en fonction du pointeur p=[px py pz]Ton utilise les formules suivantes :
Figure imgf000029_0001
Dans le cas d'un plan vertical, avec OE= [G 0 0]T, XE= [0 1 0]T, YE= [0 0 1 ]T, on obtient :
Figure imgf000029_0002
On prend à titre également purement illustratif, le deuxième exemple d'un cylindre vertical. Soit un cylindre quelconque défini par un repère cylindrique 2D (ΟΕ,φΕ,ΥΕ) où
- OE est au centre du cylindre
- φΕ est l'angle dans le plan qui définit la position du curseur autour de l'axe du cylindre dans l'intervalle [0 2π] ;
- YE = [0 0 1 ]T est la direction verticale du cylindre.
Pour déterminer les coordonnés du curseur à l'écran en fonction du pointeur p=[px py pz]T, on calcule alors :
Figure imgf000029_0003
On prend enfin à titre également purement illustratif, le troisième exemple d'une sphère. Soit une sphère quelconque définie par un repère sphérique 2D (ΟΕ,φΕ,ΥΕ) OÙ :
- OE est au centre de la sphère
- φΕ est l'angle dans le plan qui définit la position du curseur sur la
sphère autour de son axe vertical dans l'intervalle [0 2π] ;
- ΘΕ = [0 0 1 ]T est l'angle entre le curseur et l'axe vertical de la sphère dans l'intervalle [-π/2 π/2] ; Pour déterminer les coordonnés du curseur à l'écran en fonction du pointeur p=[px py pz]T, on calcule :
Figure imgf000030_0001
Une fois que Δχ et Ay sont déterminés, on a le choix de faire soit du pointage limité soit du pointage glissant, tels que définis ci-dessous.
Soit Ri et R2 deux repères liés à la terre dont l'origine est placée sur le pointeur. Ri reste invariant et ne subit que la translation du pointeur, alors que R2 subit la même rotation du pointeur dès que le curseur tend à sortir de l'écran.
Le pointage limité consiste à reproduire un pointage dans R-i, ainsi la région pointée ne varie pas dans l'espace.
Le pointage glissant consiste à reproduire un pointage dans R2. Avec ce pointage la région pointée glisse de façon pour qu'elle reste en face du pointeur.
Ri et R2 peuvent être à tout moment réinitialisés.
Le curseur d'un PC est généralement alimenté en entrée par le déplacement relatif. Le pointage en limité est alors possible si et seulement si on peut récupérer la position instantanée du curseur sur l'écran. Il y a deux moyens pour récupérer les coordonnées du curseur sur l'écran.
Un premier moyen est de sommer sans aucune source d'erreur l'ensemble du déplacement du curseur à l'entrée du PC, donc :
- Il faut sommer des valeurs entières ;
- Il faut interdire à un autre pointeur (par exemple une autre souris, touch pad) de déplacer le curseur.
Un deuxième moyen est de saturer le pointeur en forçant par exemple
Figure imgf000030_0002
ce qui met le curseur en haut à gauche. On replace ensuite le curseur sur le pixel désiré. Ce deuxième moyen est pratique pour réinitialiser le pointeur, mais il n'est pas pratiquement possible de l'utiliser en continu.
Avec un pointage limité, il est nécessaire d'avoir accès à l'attitude absolue du pointeur sans dérive. Le problème de dérive peut être réduit par une réinitialisation effectuée de temps en temps. A titre d'exemple, une procédure possible consiste à :
- calculer la somme du déplacement du curseur par
Figure imgf000031_0001
l'estimation d'attitude ;
- définir la dimension de l'écran par un angle solide selon le yaw et pitch ;
- il faut remettre à zéro Δχ dès que le yaw dépasse une limite, et Ay dès que le pitch dépasse une limite ; on peut également mettre Δχ et Ay à zéro dès que l'un des angles de yaw ou de pitch sort de son intervalle limite.
- Dès que l'attitude est de nouveau dans l'intervalle de l'angle solide, soit :
■ on réinitialise le pointeur en utilisant la vitesse angulaire de l'orientation, selon l'attitude actuelle ;
■ on poursuit le pointage après avoir accumulé l'ensemble du déplacement calculé, même lorsque l'attitude (yaw et/ou pitch) est en dehors de l'intervalle limite sont calculés
Figure imgf000031_0002
indépendamment du déplacement du curseur).
Pour reproduire un pointage absolu réaliste sur une surface donnée, il faut connaître la position/dimension et l'inclinaison/orientation de cette surface par rapport au pointeur. L'ajustement de ces paramètres peut être calibré au début. Par exemple, pour définir une écran plan, on pointe les deux extrémités de la diagonale ainsi que la normale à l'écran. Cet exemple de réalisation est avantageux pour des jeux vidéos où il faut cibler/viser sans montrer le pointeur sur l'écran.
Pour réaliser un pointage glissant tel que défini précédemment, il faut simplement alimenter le pointeur par Δχ et Ay. Dans ce cas on suppose que la région pointée est affichée à l'écran. Dans le cas où le curseur sur l'écran du PC risque de déborder de l'écran, la nouvelle région pointée sera affichée à l'écran.
On peut également, dans certains cas où une dérive en yaw est présente (par exemple avec une centrale d'attitude limitée à un Accéléromètre et un Gyromètre), réaliser un pointage semi-absolu dans lequel on effectue un pointage relatif selon le yaw (φ) et un pointage absolu selon pitch (Θ).
Différents modes de réalisation de l'invention peuvent être déterminés par la combinaison du mode de détermination des déplacements du curseur (par l'estimation de l'attitude ou par utilisation de la vitesse angulaire), du mode de pointage (en limité ou en glissant) et de la surface de déplacement du curseur (pointage vers une surface plane d'inclinaison donnée dans le repère terrestre, vers une surface cylindrique ou vers une sphère). Ces différentes combinaisons présentent des avantages ergonomiques pour certaines applications.
Ainsi, un pointage en absolu vers un plan est particulièrement adapté aux jeux vidéo. Un pointage en absolu vers un cylindre est bien adapté aux jeux d'entraînement exigeant rapidité et/ou réflexion. Un pointage en absolu vers une sphère peut être avantageux pour des applications de projection. L'utilisation d'un pointage en absolu vers des surfaces différentes peut être avantageux pour des exercices de simulation, par exemple à usage militaire ou pour simuler le pointage d'un spot laser sur une surface quelconque
Un pointage en glissant vers un cylindre dans lequel le déplacement du curseur est proportionnel à la vitesse de rotation du pointeur est particulièrement adapté à une application souris pour PC ou télécommande de téléviseur.
On combinera en règle générale l'utilisation de l'estimation de l'attitude avec un mode de pointage en limité et l'utilisation de la vitesse angulaire avec un mode de pointage en glissant.
On a décrit pour l'essentiel des modes de réalisation dans lesquels le pointeur a une position arbitraire dans le repère de référence. Cela nous a permis de mener les calculs analytiques complets. On peut facilement généraliser l'utilisation de l'invention lorsque le pointeur se déplace dans ledit repère. Il peut également être avantageux de changer de surface de projection au cours d'une même séquence d'utilisation lorsque le contexte de celle-ci évolue. Il peut également être avantageux de choisir des surfaces de projection différentes selon l'axe à contrôler, comme cela a été illustré et décrit sur la figure 9.
Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent.

Claims

REVENDICATIONS
1. Procédé de contrôle de premiers paramètres caractérisant un curseur (101 , 102) sur une surface d'affichage (100) à l'aide d'un pointeur (1 1 1 , 1 12) mobile dans l'espace, lesdits premiers paramètres étant choisis dans un groupe comprenant les déplacements, la position et l'orientation dudit curseur, ledit procédé comprenant une étape de détermination d'au moins un deuxième paramètre d'un repère lié au pointeur, ledit au moins un deuxième paramètre étant choisi dans un groupe comprenant l'attitude, la position et la vitesse angulaire dudit repère, un vecteur p étant lié audit repère, ledit procédé étant caractérisé en ce qu'il comprend en outre une étape de calcul desdits premiers paramètres en utilisant une ou plusieurs intersections de la droite portée par ledit vecteur p avec une surface de projection (130), ladite surface de projection (130) étant prédéterminée et distincte de la surface d'affichage (100), ladite étape de calcul recevant en entrée au moins une partie desdits deuxièmes paramètres.
2. Procédé selon la revendication 1 , caractérisé en ce que au moins une partie des premiers paramètres est calculée par une étape de description de la surface de projection (130) établie par au moins une position d'un point appartenant au plan tangent à ladite surface au point d'intersection à cette surface au point d'intersection considéré.
3. Procédé selon l'une des revendications 1 à 2, caractérisé en ce que la description de la surface de projection (130) varie en fonction de la translation du pointeur ou du contexte.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que la surface de projection (130) appartient au groupe des surfaces planes, des surfaces cylindriques et des surfaces sphériques.
5. Procédé selon la revendication 4, caractérisé en ce que la surface de projection (130) est une surface plane verticale et en ce que l'on calcule une première coordonnée, respectivement un premier déplacement, du point (120) comme étant égal(e), à une constante multiplicative près, à la tangente de l'angle de yaw du pointeur, respectivement à la différence des tangentes des angles de yaw du pointeur à la fin et au début dudit déplacement.
6. Procédé selon la revendication 4, caractérisé en ce que la surface de projection (130) est une surface plane verticale et en ce que l'on calcule une deuxième coordonnée, respectivement un deuxième déplacement, du point (120) comme étant égal(e), à une constante multiplicative près, au rapport de la tangente de l'angle de pitch au cosinus de l'angle de yaw du pointeur, respectivement à la différence des rapports de la tangente de l'angle de pitch au cosinus de l'angle de yaw du pointeur à la fin et au début dudit déplacement.
7. Procédé selon la revendication 4, caractérisé en ce que la surface de projection (130) est une surface cylindrique verticale et en ce que l'on calcule une première coordonnée, respectivement un premier déplacement, du point (120) comme étant égal(e) , à une constante multiplicative près, à l'angle de yaw du pointeur en un point de la surface, respectivement à la différence des angles de yaw du pointeur à la fin et au début dudit déplacement.
8. Procédé selon la revendication 4, caractérisé en ce que la surface de projection (130) est une surface cylindrique verticale et en ce que l'on calcule une deuxième coordonnée, respectivement un deuxième déplacement, du point (120) comme étant égal(e) , à une constante multiplicative près, à la tangente de l'angle de pitch du pointeur en un point de la surface, respectivement à la différence des tangentes des angles de pitch du pointeur à la fin et au début dudit déplacement.
9. Procédé selon la revendication 4, caractérisé en ce que la surface de projection (130) est une surface sphérique centrée sur le pointeur et en ce que l'on calcule une première coordonnée, respectivement un premier déplacement, du point (120) comme étant égal(e), à une constante multiplicative près, à l'angle de yaw multiplié par le cosinus de l'angle de pitch du pointeur en un point de la surface, respectivement à la différence des angles de yaw du pointeur à la fin et au début dudit déplacement multipliée par le cosinus de l'angle de pitch au début du déplacement.
10. Procédé selon la revendication 4, caractérisé en ce que la surface de projection (130) est une surface sphérique centrée sur le pointeur et en ce que l'on calcule une deuxième coordonnée, respectivement un deuxième déplacement du point (120) comme étant égal(e), à une constante multiplicative près, à l'angle de pitch du pointeur en un point de la surface, respectivement à la différence des angles de pitch du pointeur à la fin et au début dudit déplacement.
1 1 . Procédé selon l'une des revendications 1 à 10, caractérisé en ce que l'on calcule l'orientation du curseur en projetant selon p un vecteur perpendiculaire au vecteur p sur ladite suface.
12. Procédé selon l'une des revendications 1 à 1 1 , caractérisé en ce que l'on calcule la rotation d'un vecteur perpendiculaire à p en projetant l'intégrale de la vitesse angulaire selon l'axe du pointeur ou à partir de son orientation.
13. Procédé selon la revendication 1 , caractérisé en ce que le calcul d'au moins une partie des premiers paramètres est effectué à partir de la vitesse angulaire du pointeur mesurée dans le repère du capteur et de l'attitude.
14. Procédé selon la revendication 13, caractérisé en ce que le déplacement du curseur, à deux composantes, est calculé en effectuant la projection du vecteur vitesse angulaire du pointeur, dont la composante selon le vecteur p lié au pointeur est mise à zéro, et transformé dans le repère lié à la terre, sur les axes (Xe, Ye) du repère définissant la surface élémentaire pour la position et orientation courante du pointeur, et multiplié par des facteurs de gain.
15. Procédé selon la revendication 14, caractérisé en ce le déplacement du curseur, à deux composantes, est calculé en effectuant la projection du vecteur vitesse angulaire du pointeur exprimé dans le repère terrestre, sur les axes (Xe, Ye) du repère définissant une surface élémentaire plane et prise perpendiculaire au vecteur p défini par le pointeur et multiplié par des facteurs de gain
16. Procédé selon l'une des revendications 1 à 15, caractérisé en ce que le pointage est réalisé en mode absolu.
17 Procédé selon l'une des revendications 1 à 15, caractérisé en ce que le pointage est réalisé en mode relatif,
18. Procédé selon l'une des revendications 1 à 15, caractérisé en ce que le pointage est réalisé en mode relatif selon une direction et en mode absolu selon une autre direction.
19 Système de contrôle de premiers paramètres caractérisant un curseur (120) sur une surface d'affichage (100) à l'aide d'un pointeur (1 10) orienté dans l'espace vers ladite surface, lesdits premiers paramètres étant choisis dans un groupe comprenant les déplacements, la position et l'orientation dudit curseur, ledit système comprenant un module de détermination de deuxièmes paramètres d'un repère lié au pointeur, lesdits deuxièmes paramètres étant choisis dans un groupe comprenant l'attitude, la position et la vitesse angulaire dudit repère; un vecteur p étant lié audit repère, ledit système étant caractérisé en ce qu'il comprend en outre un module de calcul desdits premiers paramètres en utilisant une ou plusieurs intersections de la droite portée par ledit vecteur p avec une surface de projection (130), ladite surface de projection (130) étant prédéterminée et distincte de la surface d'affichage (100), ledit module de calcul recevant en entrée au moins une partie desdits deuxièmes paramètres.
PCT/EP2012/067156 2011-09-09 2012-09-04 Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede WO2013034529A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280054965.8A CN103930854B (zh) 2011-09-09 2012-09-04 借助指示器的姿态的测量控制光标的方法及实施所述方法的指示器
EP12753500.3A EP2754012B1 (fr) 2011-09-09 2012-09-04 Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
KR1020147007101A KR20140060314A (ko) 2011-09-09 2012-09-04 포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터
US14/342,590 US9201513B2 (en) 2011-09-09 2012-09-04 Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method
US14/926,113 US10093280B2 (en) 2011-09-09 2015-10-29 Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1158041 2011-09-09
FR1158041A FR2980005A1 (fr) 2011-09-09 2011-09-09 Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/342,590 A-371-Of-International US9201513B2 (en) 2011-09-09 2012-09-04 Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method
US14/926,113 Continuation US10093280B2 (en) 2011-09-09 2015-10-29 Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method

Publications (1)

Publication Number Publication Date
WO2013034529A1 true WO2013034529A1 (fr) 2013-03-14

Family

ID=46763106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/067156 WO2013034529A1 (fr) 2011-09-09 2012-09-04 Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede

Country Status (6)

Country Link
US (2) US9201513B2 (fr)
EP (1) EP2754012B1 (fr)
KR (1) KR20140060314A (fr)
CN (1) CN103930854B (fr)
FR (1) FR2980005A1 (fr)
WO (1) WO2013034529A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014198805A1 (fr) * 2013-06-14 2014-12-18 Movea Dispositif d'analyse de mouvement d'un element mobile et procede associe
US20170168081A1 (en) * 2015-12-14 2017-06-15 Movea Device for Analyzing the Movement of a Moving Element and Associated Method

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
EP2887184A1 (fr) 2013-12-23 2015-06-24 Movea Pointeur aérien avec une meilleure expérience d'utilisateur
US10222869B2 (en) * 2015-08-03 2019-03-05 Intel Corporation State machine based tracking system for screen pointing control
TW201709025A (zh) * 2015-08-26 2017-03-01 巨擘科技股份有限公司 整合位置、姿態與無線傳輸之裝置
USD797123S1 (en) 2015-11-18 2017-09-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10678337B2 (en) * 2016-01-04 2020-06-09 The Texas A&M University System Context aware movement recognition system
US9740307B2 (en) * 2016-01-08 2017-08-22 Movea Processing unit, computer program amd method to control a cursor on a screen according to an orientation of a pointing device
US10579169B2 (en) * 2016-03-08 2020-03-03 Egalax_Empia Technology Inc. Stylus and touch control apparatus for detecting tilt angle of stylus and control method thereof
EP3285148A1 (fr) * 2016-08-19 2018-02-21 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
US10097757B1 (en) * 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
TWI638288B (zh) * 2017-06-15 2018-10-11 佳世達科技股份有限公司 指標校正方法及指標校正系統
CN107907129B (zh) * 2017-09-26 2021-11-09 广州新维感信息技术有限公司 Vr手柄姿态初始化方法、vr手柄及存储介质
USD847854S1 (en) * 2017-11-03 2019-05-07 Salesforce.Com, Inc. Display screen or portion thereof with animated graphical user interface
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
EP3848918B1 (fr) * 2020-01-08 2024-10-02 Nxp B.V. Système et procédé de commande de dispositifs électroniques
CN111582187A (zh) * 2020-05-11 2020-08-25 昆明能讯科技有限责任公司 一种基于混合高斯背景建模的仪表自动读数方法
CN113805770B (zh) * 2021-08-12 2022-08-12 荣耀终端有限公司 一种光标的移动方法及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5598187A (en) 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US20040070564A1 (en) * 2002-10-15 2004-04-15 Dawson Thomas P. Method and system for controlling a display device
US7102616B1 (en) * 1999-03-05 2006-09-05 Microsoft Corporation Remote control device with pointing capacity
US7158118B2 (en) 2004-04-30 2007-01-02 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
WO2009156499A1 (fr) * 2008-06-27 2009-12-30 Movea S.A Pointeur a capture de mouvement resolue par fusion de donnees
WO2009156476A2 (fr) 2008-06-27 2009-12-30 Movea S.A Dispositif de pointage à tenue manuelle avec compensation du roulis
WO2010007160A1 (fr) 2008-07-18 2010-01-21 Movea S.A Procede d'estimation ameliore de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede
EP2219101A1 (fr) * 2007-12-07 2010-08-18 Sony Corporation Dispositif de commande, dispositif d'entrée, système de commande, procédé de commande et dispositif portatif

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0431191B1 (fr) * 1989-06-20 1999-09-01 Fujitsu Limited Procede et dispositif de mesure de la position et de la situation d'un objet
CA2040273C (fr) * 1990-04-13 1995-07-18 Kazu Horiuchi Systeme d'affichage d'images
WO1999008178A1 (fr) * 1997-08-12 1999-02-18 Matsushita Electric Industrial Co., Ltd. Dispositif d'affichage a fenetres
US7236178B2 (en) * 2001-07-19 2007-06-26 Autodesk, Inc. Dynamically adjusted brush for direct paint systems on parameterized multi-dimensional surfaces
US6791541B1 (en) * 2002-07-11 2004-09-14 Microporous Products, L.P. Three-dimensional image system
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
JP4388878B2 (ja) * 2004-10-19 2009-12-24 任天堂株式会社 入力処理プログラムおよび入力処理装置
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
JP4387429B2 (ja) * 2007-07-25 2009-12-16 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
US7826999B1 (en) * 2007-08-20 2010-11-02 Pni Corporation Magnetic tilt compensated heading compass with adaptive zoffset
TWI397838B (zh) * 2008-06-11 2013-06-01 Univ Nat Taiwan Virtual touch screen device
US9459784B2 (en) * 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
JP5111312B2 (ja) * 2008-09-16 2013-01-09 任天堂株式会社 ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法
US8451268B1 (en) * 2009-04-01 2013-05-28 Perceptive Pixel Inc. Screen-space formulation to facilitate manipulations of 2D and 3D structures through interactions relating to 2D manifestations of those structures
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5598187A (en) 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US7102616B1 (en) * 1999-03-05 2006-09-05 Microsoft Corporation Remote control device with pointing capacity
US20040070564A1 (en) * 2002-10-15 2004-04-15 Dawson Thomas P. Method and system for controlling a display device
US7158118B2 (en) 2004-04-30 2007-01-02 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
EP2219101A1 (fr) * 2007-12-07 2010-08-18 Sony Corporation Dispositif de commande, dispositif d'entrée, système de commande, procédé de commande et dispositif portatif
WO2009156499A1 (fr) * 2008-06-27 2009-12-30 Movea S.A Pointeur a capture de mouvement resolue par fusion de donnees
WO2009156476A2 (fr) 2008-06-27 2009-12-30 Movea S.A Dispositif de pointage à tenue manuelle avec compensation du roulis
WO2010007160A1 (fr) 2008-07-18 2010-01-21 Movea S.A Procede d'estimation ameliore de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014198805A1 (fr) * 2013-06-14 2014-12-18 Movea Dispositif d'analyse de mouvement d'un element mobile et procede associe
FR3007158A1 (fr) * 2013-06-14 2014-12-19 Movea Dispositif d'analyse de mouvement d'un element mobile et procede associe
US20170168081A1 (en) * 2015-12-14 2017-06-15 Movea Device for Analyzing the Movement of a Moving Element and Associated Method
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method

Also Published As

Publication number Publication date
US20140232649A1 (en) 2014-08-21
US20160077604A1 (en) 2016-03-17
EP2754012B1 (fr) 2017-03-01
US9201513B2 (en) 2015-12-01
FR2980005A1 (fr) 2013-03-15
CN103930854B (zh) 2017-01-18
CN103930854A (zh) 2014-07-16
KR20140060314A (ko) 2014-05-19
US10093280B2 (en) 2018-10-09
EP2754012A1 (fr) 2014-07-16

Similar Documents

Publication Publication Date Title
EP2754012B1 (fr) Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
EP2307943B1 (fr) Pointeur a capture de mouvement resolue par fusion de donnees
EP2354893B1 (fr) Reduction de l'erreur d'estimation du mouvement basé sur des moyens inertiel d'un contrôleur d'entrée de jeu avec une estimation du mouvement basé sur des moyens d'images
US20190212359A1 (en) Correction of Accumulated Errors in Inertial Measurement Units Attached to a User
JP6514089B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
JP3837357B2 (ja) コンピュータ用電子ペンデータ入力装置及び座標測定方法
EP1984696B1 (fr) Dispositif de capture de mouvement et procede associe
US20160098095A1 (en) Deriving Input from Six Degrees of Freedom Interfaces
TW201911133A (zh) 用於多個自由度之控制器追蹤
US20140168261A1 (en) Direct interaction system mixed reality environments
US20130027297A1 (en) 3d remote control system employing absolute and relative position detection
US20100201808A1 (en) Camera based motion sensing system
WO2016041088A1 (fr) Système et procédé de localisation de périphériques portables dans des applications de réalité augmentée et de réalité virtuelle
EP3289438B1 (fr) Procédé de contrôle d'un dispositif de calcul via un élément mobile et système de contrôle mettant en oeuvre ce procédé
US11663739B2 (en) Fiducial marker based field calibration of a device
US11423585B2 (en) Velocity-based controls
WO2005088434A1 (fr) Procede de reconnaissance de la trajectoire d’une pointe d’un corps sur un support
FR3064389A1 (fr) Dispositif de modelisation et de representation, et procede correspondant
JP2023170902A (ja) 情報処理装置、情報処理方法、プログラム
Holmberg Development of a Bluetooth controller for mobile VR headsets
KR20020085099A (ko) 펜형 컴퓨터 입력 장치
EP3671548A1 (fr) Syste me de visualisation d'un espace de contro le par rajout de frontie res graphiques au niveau d'une image prise par une came ra

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12753500

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14342590

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147007101

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012753500

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012753500

Country of ref document: EP