WO2011010037A1 - Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet - Google Patents

Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet Download PDF

Info

Publication number
WO2011010037A1
WO2011010037A1 PCT/FR2010/051369 FR2010051369W WO2011010037A1 WO 2011010037 A1 WO2011010037 A1 WO 2011010037A1 FR 2010051369 W FR2010051369 W FR 2010051369W WO 2011010037 A1 WO2011010037 A1 WO 2011010037A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
locating
waves
touch surface
vector
Prior art date
Application number
PCT/FR2010/051369
Other languages
English (en)
Inventor
Jean-Pierre Nikolovski
Yuan Liu
Moustapha Hafez
Nazih Mechbal
Michel Verge
Original Assignee
Commissariat à l'énergie atomique et aux énergies alternatives
Centre National De La Recherche Scientifique
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat à l'énergie atomique et aux énergies alternatives, Centre National De La Recherche Scientifique filed Critical Commissariat à l'énergie atomique et aux énergies alternatives
Priority to US13/386,257 priority Critical patent/US8913039B2/en
Priority to JP2012521075A priority patent/JP5768814B2/ja
Priority to EP10745674A priority patent/EP2457146A1/fr
Publication of WO2011010037A1 publication Critical patent/WO2011010037A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a method for locating at least one touch on a touch surface of an object. It also relates to a device for implementing this method.
  • touch-surface objects are known, including mobile phones or other portable digital personal assistance devices. Their touch interface is usually a flat, rectangular screen with which a user can interact with a stylus or one or more of his fingers. It will be noted, however, that the invention applies more generally to any type of object having a touch surface that is not necessarily flat or rectangular contour.
  • Each of these objects implements a method of locating at least one touch using one or more detection techniques.
  • the international patent application published under the number WO 2006/133018 discloses a method of locating a touch on a tactile surface implementing several independent detection techniques each providing a location estimate and including a step of cross-checking the estimates provided according to the different techniques to obtain a final result with improved accuracy.
  • the techniques envisaged one of them uses the repeated emission in the tactile surface of elastic mechanical waves, for example surface acoustic waves, and the detection of these elastic mechanical waves, to locate a touch by analysis of the disturbance of this touch on the waves detected.
  • the implementation of this technique envisaged in this document does not provide a very accurate estimate, it is advantageously associated with other techniques to refine the estimate. But the multiplication of localization techniques used increases the processing of the signals received.
  • a location method using only one technique for detecting and analyzing the detected signals is preferable.
  • the invention relates more precisely to a method implementing only a localization technique by analyzing the perturbation of a single or multiple touch on the propagation of elastic mechanical waves in a tactile surface which alone can provide a accurate estimate.
  • the invention thus applies to a method of locating at least one touch on a tactile surface of an object, comprising the following steps:
  • 2005/1 14369 describes for example a transparent touch screen on which the multiple touches are detected according to a principle of capacitive technology.
  • this technology has the following drawbacks: it requires a transparent electrode layer and a matrix of capacitive sensor nodes.
  • Yet another problem of this method lies in the time of establishment of a stationary state of propagation in the tactile surface, necessary to obtain the resonance figures. This time lengthens the processing time to locate a touch. It may thus be desired to provide a method of locating at least one touch on a tactile surface of an object that makes it possible to overcome at least some of the aforementioned problems and constraints.
  • the subject of the invention is therefore a method for locating at least one touch on a tactile surface of an object, comprising the following steps:
  • monitoring step comprises a measurement of the signal picked up during a time interval beginning during a transient phase of the transmitted wave propagation, for the provision of radiation information, disturbed by the at least one touch , auditing at least one receiving point.
  • the transient phase can begin from the moment of excitation marking the beginning of the emission of elastic mechanical waves until the moment of the first reflections on the edges of the tactile surface of the object.
  • the invention proceeds from a very different approach from conventional approaches using elastic mechanical wave propagation. Surprisingly, it appears that by considering, not the establishment of stationary resonance figures, but the propagation of the elastic mechanical waves in the tactile surface during the transitory preliminary phase of propagation, in particular by considering the diffraction phenomena in pulse mode, it also captures signals that can be discriminating according to the location of a single or multiple touch. Moreover, it has been observed that in proceeding in this way, we were not dependent on the eigenfrequencies of the object, so that we can overcome the problem of selectivity of the resonance peaks and that of of their stability. This also allows a much wider choice of frequencies.
  • transient radiation patterns are obtained, usually referred to as "diffraction impulse patterns", characteristic of a disturbance propagated by a simple touch or multiple.
  • these transient figures are much faster to obtain than stationary figures, so that the processing of the data captured to obtain the location of the single or multiple touch is accelerated.
  • These transient figures are also dependent on excitation frequencies, whether they are eigenfrequencies of the object or not.
  • the measurement of the sensed signal extends beyond the restoration of a stationary phase of the propagation of the transmitted waves, for the provision of an illumination information to said at least one reception point.
  • said reference characteristics correspond respectively to single and multiple touches at predetermined areas of the touch surface.
  • the transmitted waves comprise a plurality of predetermined frequency components all distinct from the vibratory eigenfrequencies of the object.
  • each frequency component of the transmitted waves is chosen so as to be at a frequency distance of more than twice the width of a resonance energy peak corresponding to any vibratory natural frequency of the object.
  • the characteristics of the sensed signal compared to the reference characteristics are spectral amplitudes of the signal captured at said predetermined frequency components forming a so-called "measured" vector and the set of reference characteristics comprises a set of reference vectors associated with each at a single or multiple touch, this reference set being constructed during a prior learning step, similar to the monitoring step, in which different single and multiple reference touches are measured.
  • the location step comprises the following sub-steps:
  • the invention also relates to a device for locating at least one touch on a tactile surface of an object, comprising at least one transducer designed to emit and pick up elastic mechanical waves propagating in the tactile surface of the object. , and an electronic central unit, connected to said at least one transducer, programmed to:
  • the electronic central unit is further programmed to measure the signal picked up during a time interval beginning during a transient phase of the propagation of the transmitted waves, for the supply of radiation information, disturbed by said least one touch, auditing at least one receiving point.
  • a device for locating at least one touch on a touch surface further comprises the object, its touch surface and means for holding the touch surface on the object arranged in the vicinity of zones. convex discontinuity of the periphery of the tactile surface.
  • the electronic central unit is further designed to:
  • FIG. 1 schematically represents in perspective a device for locating at least one touch on a touch surface of an object, according to a first embodiment of the invention
  • FIG. 2 diagrammatically shows in perspective a device for locating at least one touch on a touch surface of an object, according to a second embodiment of the invention
  • FIG. 3 diagrammatically represents the functional structure of the device of FIG. 1 or 2
  • FIG. 4 represents a front view of a touch screen of the device of FIG. 1 or 2, according to a first variant
  • FIG. 5 represents a front view of a touch screen of the device of FIG. 1 or 2, according to a second variant
  • FIG. 6 illustrates the successive steps of a method of locating at least one touch on a tactile surface of an object, according to one embodiment of the invention
  • FIG. 7 illustrates the successive steps of a method of interpreting at least one touch on a tactile surface of an object, according to another aspect of the invention
  • FIG. 8 schematically represents different symbolic interpretations of different successive locations of single touches
  • the device 10 for locating at least one touch on a tactile surface of an object, represented in FIG. 1, comprises:
  • a microcomputer 12 including in particular a screen 14 and a keyboard 16,
  • an object 18 of the interactive tablet type connected to the microcomputer 12 via a link 20, wired or radio.
  • the interactive tablet 18 comprises a frame 22 and a touch surface 24 held by the frame on at least a portion of its edges.
  • the touch surface 24 is for example in the form of a metal plate, glass or plastic, vibrating when elastic mechanical waves propagate in its thickness. It can be rectangular in shape, especially in 4/3 format. Specifically, it may have a length of 100 mm, a width of 75 mm and a relatively small thickness relative to its length and width, in particular between 100 microns and 4 mm, for example 450 microns. This thickness is also very small compared to the characteristic dimension of an area of the touch surface 24 that can be touched, a user's finger generally representing a touch of diameter close to one centimeter.
  • three piezoelectric transducers E, R1 and R2 are fixed on the inside face of the touch plate 24, that is to say that which is not accessible to the touch and facing inwards. of the frame 22. They can in particular be glued to the plate 24, by means of a conductive epoxy glue or cyanoacrylate.
  • piezoelectric transducers are, for example, ferroelectric ceramic PZT type transducers. They include:
  • an emission transducer E capable of transmitting elastic mechanical waves (ie acoustic waves in the broad sense) in bending modes, such as, for example, antisymmetric Lamb waves, such that they propagate in the touch plate 24 ,
  • These three transducers are preferably arranged outside any axis of symmetry of the touch plate 24. Moreover, they can be of small size and of any geometrical shape. In particular, for a touch plate 24 with the aforementioned dimensions (75 mm ⁇ 100 mm ⁇ 0.45 mm), they may have an area of between a few square millimeters and a square centimeter. If the emission transducer E is excited by a 10 V signal, the reception signals provided by the reception transducers R1 and R2 can reach 0.2 V without amplification.
  • the transducers E, R1 and R2 are connected to an electronic control unit, for example integrated in the microcomputer 12 and programmed to:
  • the electronic central unit of the microcomputer 12 is more precisely programmed to measure the signals picked up during a time interval beginning during a transient phase of the propagation of waves emitted from of the piezoelectric transducer E, for the provision of radiation information at the reception points materialized by the piezoelectric transducers R1 and R2, according to a method which will be detailed with reference to FIG.
  • the elastic mechanical waves emitted in the touch plate 24 from the piezoelectric transducer E are indeed locally absorbed, blocked or partially reflected when at least one finger or a stylet is in contact with the plate. This causes a disturbance of the radiation information provided to the reception points R1 and R2 in transient phase of propagation.
  • the disurbed diffraction impulse response By extracting, for example, certain amplitude and phase parameters at predetermined frequencies from this disturbed radiation information, referred to as the "disturbed diffraction impulse response", it is possible to compare them with reference parameters extracted from a parameter library.
  • a location of this single or multiple touch that can for example be displayed on the screen Of the microcomputer 12.
  • a location of this path 26 can be viewed on the screen of the microcomputer 12, under the shape of a kinematic curve 28 obtained by interpolation of the detected trace 26.
  • the touch plate 24 can be transparent and integrated into an electronic device embedded 30, such as a mobile phone or any other portable digital personal assistance device. In this case, it can also fulfill the function of a display screen of the kinematic curve 28 obtained by interpolation of the detected trace 26.
  • the device 10 or 30 may comprise a microcontroller 32 provided with an arithmetic and logic unit, possibly driven by the microcomputer 12 in the case of the device 10.
  • This microcontroller 32 has an output connected to a digital-to-analog converter 34 whose output is connected, if necessary via an amplifier 36, to the emission transducer E.
  • the two reception transducers R1 and R2 can be connected to two analog / digital converters 38 and 40, themselves connected to or integral parts of the microcontroller 32.
  • the analog / digital converters 38, 40 and the microcontroller 32 are capable to perform a sampling of the signals picked up on at least 8 bits, preferably on 10 bits, or even on 12 bits or more at a rate of at least 200 kHz.
  • analog / digital and digital / analog converters can be replaced by an acquisition card and an arbitrary function generator.
  • connections to the transducers E, R1 and R2 may consist in particular of coaxial cables of the audio type or of any other shielded connection.
  • FIG. 4 represents a front view of the touch plate 24 of the device of FIG. 1 or 2, according to a first variant embodiment. Rectangular, the plate 24 is fixed to the frame 22 in four substantially punctual areas P located at the four corners of the rectangle. These zones are the only ones to impose mechanical stresses on the plate. They are thus preferably located in the areas of the plate 24 least affected by the propagation of elastic mechanical waves, including the angular areas at the edges of the plate.
  • the plate 24 is of more complex shape than rectangular.
  • a first advantage of this more complex form is that the radiation information in the transient phase of propagation, or diffraction pulse mode with taking into account the first reflections on the edges, are likely to be more complex, therefore more discriminating according to the different locations of single or multiple touch.
  • the vibratory energy comprises longitudinal and transverse components whose proportions change as a function of frequency.
  • the conditions of reflection and of conversion of acoustic modes to the limits of the solid object depend on the nature of the vibration so that the conditions of acoustic illumination of the solid object in transient state and of vibrational energy accumulation.
  • this more complex shape has more angular areas P where the elastic mechanical wave radiation is less important and where the plate 24 can be fixed to the frame 22 without the risk of disturbing its ability to locate a single or multiple touch .
  • the touch surface of the object in a variable contour or complex shapes, for example sawtooth, and preferably shaped convex polygon for a plate, or oscillating with a variable oscillation pitch, or in three dimensions.
  • a variable contour or complex shapes for example sawtooth, and preferably shaped convex polygon for a plate, or oscillating with a variable oscillation pitch, or in three dimensions.
  • the complexity of the radiation of the transmitted waves is increased by increasing the number of transmitting and / or receiving transducers, especially when these are distributed in diametrically opposite zones,
  • the micro- computer 12 or the microcontroller 32 initiates a step 100 of monitoring the outer face of the touch plate 24 followed by a step 200 of locating a single or multiple touch.
  • elastic mechanical waves are emitted (102) in the plate 24. They propagate therein according to two distinct propagation phases: a first phase of transient propagation, extending from the instant t 0 at a time t i, during which the emitted wavefront reaches the receiver (s), either directly or indirectly after one or more reflections, without the addition of the received waves being still stable over time; a second stationary propagation phase, extending from the instant ti to a monitoring end time X 2 , during which the addition of the new waves received is compensated by the natural damping of the structure so that the amplitude peak-to-peak signal is stable over time.
  • the monitoring step 100 comprises a detection 104 of these elastic mechanical waves in at least one point of reception of the plate 24 to obtain at least one a signal picked up.
  • This detection 104 is started at a time t 3 and continues until a time t 4 end of detection 106 by measuring the signal picked up during this time interval.
  • the measurement starts during the transient phase of the propagation of the transmitted waves, for the provision of radiation information at the point (s) of reception.
  • the time t 3 for launching the measurement is between the instants t 0 and ⁇ ⁇ .
  • the time t 4 end of the measurement can also be between the times t 0 and ti so that the measurement is integrally carried out in transient phase.
  • the measurement of the signal picked up may extend beyond the establishment of the stationary phase of the propagation of the transmitted waves, for the supply, in addition to the aforementioned radiation information, of an illumination information. at the point (s) of reception.
  • the end time t 4 of the end of the measurement can be between the instants t 1 and t 2 .
  • the monitoring step 100 is followed by a step 200 of locating a single or multiple touch in the course of which a touch or several simultaneous touches on the touch plate 24 are identified and localized.
  • the microcomputer 12 or the microcontroller 32 emits by the emission transducer E, or the emission transducers E1, E2 disposed at possibly diametrically opposite points of the object (of in order to vary the radiation patterns) elastic mechanical waves, in particular Lamb waves and more particularly antisymmetric Lamb waves.
  • the emission transducer E, or the emission transducers E1, E2 emit not simultaneously, but alternately so as to contrast the radiation and illumination figures (a simultaneous emission would have the effect of homogenizing the radiation and illumination and to remove spatially discriminating features).
  • the transducer E, or the transducers E1, E2 is (are) capable of emitting waves in bending modes in homogeneous or heterogeneous flat or curved shells.
  • this step also, in one embodiment of the invention comprising several emitters, they can emit all together at least once so as to completely and uniformly illuminate the touch plate 24 to obtain a measurement whose standard is indicative of a single or multiple touch and a covering surface.
  • the transmitted waves are composed of a number Q of predetermined frequencies. They are captured directly, or indirectly after one or more reflections, by the receiving transducers R1, R2 activated in the transient propagation phase. As indicated above, after multiple reflections on the edges of the touch plate 24, there appear standing waves associated with illumination figures which can also be picked up by the receiving transducers R1, R2.
  • the number Q of these predetermined frequencies is generally greater than 10 and is preferably greater than 100, or even between 200 and 500.
  • These predetermined frequencies are not in the vicinity of a resonance peak of the object. They are even more than twice the width at mid-height (in energy) of a resonance peak, knowing that a resonance peak is located at any natural frequency of the touch plate 24 integrated in the object. They can be chosen from the spectrum of the signals picked up by the reception transducers R1, R2. They are also chosen according to the complexity of the radiation information and / or the illumination figures that they generate. For example, the more complex a pattern of radiation and / or resultant illumination that is complex and not symmetric, the more the corresponding frequency is of interest.
  • the predetermined frequencies may also be chosen on the basis of a distribution of Q frequencies in a range of frequencies covering a broad spectrum from the point of view of the spatial frequencies, in particular between 1 and 100 kHz.
  • the Q distributed frequencies Fi can be predetermined by the following formula:
  • the microcomputer 12 or the microcontroller 32 can emit by the transducer E, or the transducers E1, E2 a frame comprising Q waveforms superimposed Q predetermined frequencies.
  • This emission can be carried out during a transmission time window of sufficient duration so that stationary waves are built in the plate 24. This duration may for example be between 2 and 25 ms, and in particular be of the order of 5 ms .
  • This emission can be carried out continuously or repetitively continuously by the generation of an arbitrary signal, resulting from the superposition of the Q frequencies over a time window of 5 ms.
  • the mechanical waves can be picked up by the reception transducers R1 and R2 during a reception time window which can start after the transmission time window so as to allow the establishment of standing waves. or from the beginning of the transmission time window so as to capture the process of acoustic radiation in the object which manifests itself as soon as the direct signal is received and during the first successive reflections on the edges of the plate 24. thus consider obtaining a signal measured in milliseconds, for example 5 or even 2 ms.
  • such an acquisition window would have allowed frequency resolution by fast Fourier transform only at 500 Hz. Such a resolution would have been quite insufficient given the width of a resonance peak, close to 200 to 300 Hz.
  • the reception time window may begin after the first transmission frame.
  • the reception time window can follow the transmission time window without covering it: in this case, it may be possible to use only one piezoelectric transducer for both transmission and reception.
  • the receiving transducers are not interested in the stationary phase, in addition to the transient phase, but only detect a pure impulse phase which includes the acoustic extinction phase of the object.
  • a frequency vector can be extracted by calculating a discrete Fourier transform:
  • P m (m A1, A2 m, m ... Ai ... AN m), where m denotes an index identifying a receiving transducer among M reception transducers used.
  • N is less than 2000 and the acquisition frequency is greater than 400 kHz.
  • the vector P m comprises all the amplitudes of the spectrum of the signal received at frequencies between Fe / N and the reception sampling frequency Fe, with a frequency step of 1 / T.
  • Ai is the amplitude of the signal at a frequency Fi i Fc
  • the vector or extended vector obtained may comprise only the amplitudes of the spectrum of the signal at frequencies between 20 kHz and 80 kHz.
  • the vector or extended vector obtained may also contain only the amplitudes of Q predetermined frequencies.
  • the extracted characteristics may comprise the phases of the signal obtained by Fourier transform.
  • the measured vector for example at least one of the vectors P m , is compared with reference vectors of a set of reference vectors ⁇ P m ref (x u , y v , z w ) ⁇ bijectively associated with a set of reference positions ⁇ (x u , yv, z w ) ⁇ sampled on the surface of the touch plate 24 in a Cartesian coordinate system (u, v, w).
  • the nearest reference vector (according to a predetermined distance) of the vector measured at the monitoring step 100 is selected and thus provides the coordinates of a touch.
  • the above notations relate to the detection of a single touch, but can easily be extended to the location of a multiple touch or, in other words, the location of k simultaneous touches (k> 1). More precisely, we deduce the k positions (x1, y1, z1, ..., xi, yi, zi, ..., xk, yk, zk) of k multiple touches associated with the measured vector P m , of a search of the nearest reference vector (according to a predetermined distance) of this vector measured among a set of reference vectors ⁇ P m ref (x u i, y v i, z w i, ..., x u ,, yv ,, z w ⁇ , ..., x Uk , y v k, z wk ) ⁇ bijectively associated with a set of reference positions ⁇ (x u i, y v i, z w i, ..., x u ⁇
  • the distance function used during this location step 200 can take various known forms.
  • Minkowski's distance where p is any integer
  • the distance calculation between the measured vector and the reference vectors is similar to calculating the cross-correlation function described in the aforementioned document WO 2008/142345.
  • the distance chosen may be the one that gives the lowest location recognition error rate, this rate being evaluated during a prior step of testing the different distances on a control unit. random touches distributed on the touch surface.
  • the M receivers to validate the recognition of a single or multiple touch, the M receivers must all lead to identifying the same single or multiple position of the touch during the locating step by a search. minimum distance. The absence of simultaneous recognition on the M receivers is then sufficient to reject the position. This fusion of the measurements made by the M sensors is simple and does not require complex processing or particular synchronization.
  • the M receivers may have different degrees of priority.
  • the secondary reception points then enrich the measurement of the primary reception point and lead to several measured vectors that can be merged into a single extended vector.
  • a touch is detected and searched among the set of reference vectors if and only if the two following criteria are simultaneously checked:
  • the norm of the vector measured falls within a range of possible variations of the standards of the set of reference vectors.
  • the stability range is defined by a variation noted in the absence of touch during a number of predetermined consecutive measurements. For example, the measured norm must deviate by more than 2% in absolute value from the average value of the norm observed over a hundred consecutive measurements to consider that one leaves the range of stability.
  • the likelihood of the position identified for the single or multiple touch is tested on two or three consecutive measurements. If the consecutive measurements lead to the same position of a single or multiple touch then the identification is validated. Alternatively, to increase the reactivity of the locating step 200, the test may be more permissive and tolerate that only two or three measurements leading to the same position, out of a set of four or five consecutive measurements, be sufficient to validate a single or multiple touch location.
  • the elastic mechanical wave is propagated from several different emission points.
  • the reference set has a grouped average norm or has a range of dispersion of the vector norm P m ref (x u , y v z w ) less dependent on
  • a touch plate 24 having a rather low reverberation constant in particular less than 10 ms at 1 kHz and 1 ms at 70 kHz, is chosen, which makes it possible to have a clock rate of high measurement.
  • This reverberation constant is defined as the period after which the residual signal following a pulse in the plate only represents 36% of the initial signal, ie a damping equivalent to 1 / exp (1).
  • the locating step comprises comparing at least one measured vector with a set of reference vectors.
  • This set of reference vectors can be constructed during a preliminary learning step which will now be detailed.
  • This preliminary learning step can be carried out either for each individual touch plate or for a standard touch panel representative of a series of touch plates having the same dimensions, the same transducers bonded to the same positions and in the same way, the plates being they themselves integrated in the same way to a frame forming a support.
  • the excitation of waves at frequencies other than the resonance frequencies is then an advantage because, even in the case where the plates may appear identical, there may be small variations, for example the presence of air bubbles or a variation in thickness of the glue, responsible for a dispersion of the resonant frequencies for a series of plates supposed to be identical.
  • the preliminary learning step is performed as the monitoring step 100 described above, but under predetermined conditions of single or multiple touches to obtain the aforementioned reference vectors, then used in the localization steps in use. normal touch-screen device.
  • ⁇ P m ref (x u , y v z w ) ⁇ or ⁇ P m ref (X u , y v i, Z wi, ..., X u , y v ,, z w ,, - -, x U k, y v k, z wk ) ⁇ correspond to amplitudes of frequencies of spectra of signals picked up when there are one or more (k) touches on the touch plate 24, at predetermined locations of coordinates ⁇ (x u , y v z w ) ⁇ (single locations) or ⁇ (x u i, y v i, z w1 , ..., x u ,, yv ,, z w i , ..., x Uk , y v k, z wk ) ⁇ (multiple locations) sampled on the touch plate, (u, v, w)
  • the single or multiple reference touches may come from one or more artificial fingers, stylets, or fingers of a user.
  • C ⁇ 1 3240 reference vectors. More generally, for the location of k simultaneous touches (a priori these touches are identical and permutable) on a UxV sampling grid discretized locations, the necessary number of reference vectors is the number of combinations of k elements among a set of UxV elements be C m k v .
  • to have a more reliable final location it is possible to repeat a certain number of times the preliminary step of learning a single or multiple touch on a predetermined single or multiple position and not to retain than an average value. In particular, it is possible, for example, to retain only the average value over ten identical learnings.
  • Each reference vector can then take the form of a complex vector comprising, for each of its coefficients, a real part indicating an average damping at the frequency considered and an imaginary part indicating the standard deviation:
  • P m ref ((A1 m , ⁇ 1 m ), ... (Ai m , ⁇ i m ), ... (AN m , ⁇ N m )).
  • the reference vectors are ordered by increasing standard vectors.
  • the norm of the measured vector is indicative of the state of the coupling of the tactile surface with its environment: in particular, one or more simultaneous touches on the tactile surface generates (s) a variation of the norm of the measured vector, of so that it is strongly correlated with the number k of simultaneous touches.
  • the electronic central unit of the device described above is furthermore designed to:
  • a location of this trace 26 can be visualized on the microphone screen.
  • -computer 12 in the form of a kinematic curve 28 obtained by interpolation of the pattern 26 detected.
  • the location of a single or multiple touch comprises a set of steps whose total duration is less than 10 ms, or even 5 ms, and constitutes a continuous looping process so that the measurement rate can be high. and obtaining a simple or multiple easy route.
  • the kinematic curve 28 may also consist of several segments, the last point of a segment and the first point of the next segment being characterized by a contact break with the touch plate 24 for a predefined minimum time, for example between 50 ms and 150 ms.
  • the interpretation of successive single or multiple touches makes it possible, for example, to design an object with a tactile surface capable of:
  • - designate move graphic objects from a computer operating system (for example a computer-aided design drawing, a photograph, a document, etc.) into a computer workspace (for example the screen 14 or 24)
  • a computer operating system for example a computer-aided design drawing, a photograph, a document, etc.
  • a computer workspace for example the screen 14 or 24
  • FIG. 7 illustrates the successive steps of an example of a logical method for interpreting at least one touch on a tactile surface of an object, according to the second aspect of the invention.
  • This method firstly comprises the execution of several successive location steps 200 leading to the determination of a single or multiple plot by the electronic central unit.
  • a test step 300 it is determined whether the plot to be interpreted is simple or multiple. If it is a simple plot, it passes depending on the context and characteristics of the route at one of the steps 302, 304 or 306.
  • a simple plot such as one of the traces bearing the reference 50 in FIG. 8 is interpreted as a command traveling from this object, especially if the initial touch of the plot points to the object in question.
  • the plots illustrated in Figure 8 are plots (taken as simple examples) of moving to the right, to the left, to the top or to the bottom, the white point indicating the starting position (beginning of the plot) and the gray dot indicating the finish position (end of course).
  • a simple layout such as one of plots bearing reference numeral 52 in Fig. 8 is interpreted as an acceleration control of the displacement of the displayed object or as an advance or rewind command in the presented list.
  • a right-pointing and acceleration-oriented plot is interpreted as a fast-return while a course-oriented plot the left and undergoing acceleration is interpreted as a fast forward.
  • step 306 in a context of reading a multi-page document, a simple plot such as one of the traces bearing the reference 54 in FIG. 8 is interpreted as a return command on the previous page. or go to the next page.
  • a simple plot such as one of the traces bearing the reference 54 in FIG. 8 is interpreted as a return command on the previous page. or go to the next page.
  • not only the direction of the plot, but also its speed and / or acceleration are taken into account: thus, a quarter-circle plot followed by a rectilinear acceleration at the end of the plot is interpreted as a change of page, to the next or previous page depending on the orientation of the path.
  • step 300 If during step 300 it is determined that the plot to be interpreted is multiple, it goes to another test step 400 determining whether the plot is double or is more than two simultaneous touches. If it is a double plot, we move according to the context and characteristics of the route at one of the 402 or 404 steps.
  • a double trace such as one of the traces bearing the reference 56 in FIG. 9 is interpreted as a command to zoom in or out of this object, especially if the initial double touch of the plot points to the object in question.
  • the zoom range is determined by the variation in the distance between the two simultaneous touches during the course of the plot. Conventionally, this zoom function is interpreted and displayed as a command for homothetic deformation of the object displayed.
  • a double semicircle trace such as one of the traces bearing the reference 58 in FIG. 9 is interpreted as a rotation command of this object, especially if the initial double touch of the plot points to the object in question.
  • step 400 If during step 400 it is determined that the plot to be interpreted is more than two simultaneous touches, it proceeds to a step 500 of interpreting a path with simultaneous touches at least triple. In one embodiment of the invention, a step 502 of free deformation of the object is then carried out.
  • an at least triple plot such as the plot bearing the reference 60 in FIG. 9 is interpreted as a deformation command. free of the object.
  • the path 60 is triple: it points, for example, initially to three points of the object, and the displacement of these three respective points along the triple path defines a vectorial deformation that must be applied to the object.
  • a method for locating at least one touch on a tactile surface such as that described above makes it possible to achieve a treatment time that is significantly lower than conventional methods by analyzing the possibility of single or multiple touching as soon as the phase transient propagation of elastic mechanical waves in the tactile surface by analyzing the effect of these touches on the radiation and / or illumination of the tactile surface.
  • conventional methods imposed an acquisition time of up to 50 ms, it is divided by a factor of about ten. It is thus possible to carry out a large number of measurements per second and to determine compatible traces. with the classic function of making a "drag and drop".
  • the processing is also simple enough to be implemented in commercial microcontrollers.
  • this method is not dependent on the eigenfrequencies of the touch-surface object and therefore does not need to be very selective or stable in the frequencies studied. In particular, it does not require activating the resonant frequencies of the object when the thickness of the object is very small compared to the wavelength of the waves emitted and the characteristic dimension of a finger. It is therefore compatible with tactile plates that are thin (less than one millimeter) and strongly damped, as can be the case of the top plate (user side) of a liquid crystal display or a plastic shell. Moreover, this leaves a much larger choice of usable frequencies for the analysis of the figures of radiation and / or illumination.
  • Another advantage is to be able to obtain satisfactory results, for example millimetric localization accuracy, from a limited number of transmitters and sensors.
  • at least a single transducer, successively transmitter and receiver may suffice.
  • Two emitters and two receivers arranged unsymmetrically at the periphery of the tactile surface provide very good estimates.
  • these transmitters / receivers may be small, in particular only a few square millimeters.
  • Another advantage is also to be able to integrate the touch plate in a frame using fixing points (in particular by gluing) which participate (without harming) in the construction of discriminating radiation patterns and / or illumination.
  • the invention is not limited to flat glass surfaces, but also applies to curved surfaces and plastic or metal shells, which multiplies the possible applications. This is all the more true that the method as described above takes advantage of tactile surfaces with complex and irregular contours for the formation of radiation and illuminations discriminating according to the touch.
  • the method described above makes it possible to create a tactile language or gesture interpretable in commands functional computer as well as a keyboard shortcut, but in a more intuitive way.

Abstract

Ce procédé de localisation d'au moins un toucher sur une surface tactile d'un objet comporte les étapes suivantes; surveillance (100) d'au moins un toucher par propagation (102), dans la surface tactile de l'objet, d'ondes mécaniques élastiques à partir d'au moins un point d'émission de l'objet, et par détection (104) desdites ondes mécaniques élastiques en au moins un point de réception de l'objet pour obtenir au moins un signal capté, et localisation (200) d'au moins un toucher sur la surface tactile de l'objet par comparaison de certaines caractéristiques spectrales du signal capté à un ensemble de caractéristiques de référence. L'étape de surveillance (100) comporte une mesure (104, 106) du signal capté pendant un intervalle de temps débutant (t3) au cours d'une phase transitoire de la propagation des ondes émises, pour la fourniture d'une information de rayonnement, perturbé par ledit au moins un toucher, audit au moins un point de réception.

Description

PROCEDE ET DISPOSITIF DE LOCALISATION D'AU MOINS UN TOUCHER SUR UNE SURFACE TACTILE D'UN OBJET
La présente invention concerne un procédé de localisation d'au moins un toucher sur une surface tactile d'un objet. Elle concerne également un dispositif pour la mise en œuvre de ce procédé.
On connaît de nombreux objets à surface tactile, notamment des téléphones mobiles ou autres dispositifs portables d'assistance numérique personnelle. Leur interface tactile est en général un écran plat et rectangulaire avec lequel un utilisateur peut interagir à l'aide d'un stylet ou de l'un ou plusieurs de ses doigts. On notera cependant que l'invention s'applique plus généralement à tout type d'objet présentant une surface tactile qui n'est pas nécessairement plane, ni de contour rectangulaire.
Chacun de ces objets met en œuvre un procédé de localisation d'au moins un toucher à l'aide d'une ou plusieurs techniques de détection.
La demande de brevet internationale publiée sous le numéro WO 2006/133018 divulgue un procédé de localisation d'un toucher sur une surface tactile mettant en œuvre plusieurs techniques de détection indépendantes fournissant chacune une estimation de localisation et comportant une étape de recoupement des estimations fournies selon les différentes techniques pour obtenir un résultat final à précision améliorée. Parmi les techniques envisagées, l'une d'elles utilise l'émission répétée dans la surface tactile d'ondes mécaniques élastiques, par exemple des ondes acoustiques de surface, et la détection de ces ondes mécaniques élastiques, pour localiser un toucher par analyse de la perturbation de ce toucher sur les ondes détectées. La mise en œuvre de cette technique envisagée dans ce document ne fournissant pas une estimation très précise, elle est avantageusement associée à d'autres techniques pour affiner l'estimation. Mais la multiplication des techniques de localisation employées alourdit le traitement des signaux captés.
Un procédé de localisation n'utilisant qu'une seule technique de détection et d'analyse des signaux détectés est préférable. Notamment l'invention concerne plus précisément un procédé ne mettant en œuvre qu'une technique de localisation par analyse de la perturbation d'un toucher simple ou multiple sur la propagation d'ondes mécaniques élastiques dans une surface tactile permettant à elle seule de fournir une estimation précise. L'invention s'applique ainsi à un procédé de localisation d'au moins un toucher sur une surface tactile d'un objet, comportant les étapes suivantes :
- surveillance d'au moins un toucher par propagation, dans la surface tactile de l'objet, d'ondes mécaniques élastiques à partir d'au moins un point d'émission de l'objet, et par détection desdites ondes mécaniques élastiques en au moins un point de réception de l'objet pour obtenir au moins un signal capté, et
- localisation d'au moins un toucher sur la surface tactile de l'objet par comparaison de certaines caractéristiques du signal capté à un ensemble de caractéristiques de référence.
Un tel procédé est décrit dans la demande de brevet internationale publiée sous le numéro WO 2008/142345. Il aboutit à une localisation précise en propageant des ondes présentant une pluralité de composantes fréquentielles correspondant à des fréquences propres vibratoires de l'objet. La propagation de ces ondes pendant un certain temps dans la surface tactile permet de matérialiser des motifs de vibration à différentes longueurs d'ondes, notamment des figures de résonance de modes de flexion. Celles-ci ont la caractéristique d'être plus fortement perturbées que les figures de résonance de modes à vibrations dans la plan de la surface tactile de l'objet de sorte que l'amortissement engendré par un doigt mis en contact avec la surface, même dans le cas où celle-ci est épaisse, varie de façon mesurable d'un mode propre à l'autre et d'une position de contact à l'autre. Il est ainsi possible de localiser un toucher par une méthode d'apprentissage, dès qu'un nombre suffisant de figures de résonance est matérialisé à la surface de l'objet.
Mais plusieurs problèmes ne sont pas résolus par ce procédé, notamment la reconnaissance, la localisation et l'interprétation d'un toucher multiple. En effet, le document WO 2008/142345 enseigne que l'amortissement n'est pas forcément une fonction linéaire de la surface couvrante (sauf à choisir un sous espace de modes de résonances) et dans le cas où il serait une fonction linéaire de la surface couvrante, n'indique pas s'il est toujours possible de localiser un toucher. Par ailleurs, pour qu'un amortissement soit une fonction linéaire de la surface en contact, il faudrait que l'énergie soit uniformément distribuée à la surface de l'objet. Mais dans ce cas, il n'y aurait plus de résonance donc plus de nœuds ni de ventres de vibration. Rien ne permettrait plus alors de discriminer la position d'un toucher.
D'autres procédés sont connus pour reconnaître et/ou interpréter des touchers multiples. La demande de brevet internationale publiée sous le numéro WO
2005/1 14369 décrit par exemple un écran tactile transparent sur lequel les touchers multiples sont détectés selon un principe de technologie capacitive. Cette technologie présente cependant les inconvénients suivants : elle nécessite une couche d'électrodes transparente et une matrice de nœuds de capteurs capacitifs.
La demande de brevet internationale publiée sous le numéro WO 2008/085785 décrit un autre exemple de procédé permettant d'identifier et discriminer la nature d'un contact multiple (pouce, paume) par une analyse consistant en une segmentation de l'image tactile obtenue et identification du motif discrétisé avec des modèles prédéfinis. Ce procédé présente notamment l'inconvénient de nécessiter une interface tactile discrétisée.
La demande de brevet internationale publiée sous le numéro WO 2008/085759 décrit un autre exemple de procédé permettant de fusionner les données d'une interface à touchers multiples. Mais ce procédé nécessite au moins un dispositif secondaire et la synchronisation de données de plusieurs dispositifs.
Enfin, la demande de brevet internationale publiée sous le numéro WO 2008/085784 décrit un dispositif à écran tactile utilisant un dictionnaire de gestes associant des touchers multiples à des fonctions. Mais le procédé mis en œuvre impose de comparer tous les éléments prédéfinis pour la reconnaissance d'un mouvement et ne tient compte que de paramètres sommaires des touchers multiples.
Un autre problème du procédé décrit dans le document WO 2008/142345 réside dans la forte sélectivité des figures de résonance et dans le fait qu'il est alors nécessaire de disposer d'une bonne résolution fréquentielle pour mesurer une amplitude aux pics de résonance ou au moins pouvoir réaliser une interpolation pour extrapoler la valeur d'un pic de résonance avec ou sans contact. Or ce procédé ne fonctionne avec une bonne précision qu'avec des figures de résonance. En travaillant en dehors des fréquences propres vibratoires de l'objet, on peut aussi obtenir un état de propagation stationnaire dans la surface tactile, mais les figures obtenues sont beaucoup moins discriminantes.
Encore un autre problème de ce procédé réside dans le temps d'établissement d'un état stationnaire de propagation dans la surface tactile, nécessaire pour obtenir les figures de résonance. Ce temps allonge le temps de traitement pour localiser un toucher. II peut ainsi être souhaité de prévoir un procédé de localisation d'au moins un toucher sur une surface tactile d'un objet qui permette de s'affranchir d'au moins une partie des problèmes et contraintes précités.
L'invention a donc pour objet un procédé de localisation d'au moins un toucher sur une surface tactile d'un objet, comportant les étapes suivantes :
- surveillance d'au moins un toucher par propagation, dans la surface tactile de l'objet, d'ondes mécaniques élastiques à partir d'au moins un point d'émission de l'objet, et par détection desdites ondes mécaniques élastiques en au moins un point de réception de l'objet pour obtenir au moins un signal capté, et
- localisation d'au moins un toucher sur la surface tactile de l'objet par comparaison de certaines caractéristiques spectrales du signal capté à un ensemble de caractéristiques de référence,
dans lequel l'étape de surveillance comporte une mesure du signal capté pendant un intervalle de temps débutant au cours d'une phase transitoire de la propagation des ondes émises, pour la fourniture d'une information de rayonnement, perturbé par ledit au moins un toucher, audit au moins un point de réception.
On notera que la phase transitoire peut commencer dès l'instant d'excitation marquant le début de l'émission des ondes mécaniques élastiques jusqu'à l'instant des premières réflexions sur les bords de la surface tactile de l'objet.
L'invention procède d'une approche bien différente des approches classiques utilisant la propagation d'ondes mécaniques élastiques. En effet, étonnamment, il apparaît qu'en considérant, non pas l'établissement de figures de résonance stationnaires, mais la propagation des ondes mécaniques élastiques dans la surface tactile pendant la phase préliminaire transitoire de propagation, en particulier en considérant les phénomènes de diffraction en régime impulsionnel, on capte également des signaux qui peuvent être discriminants en fonction de la localisation d'un toucher simple ou multiple. En outre, il a été observé qu'en procédant de la sorte, on n'était pas dépendant des fréquences propres de l'objet, de sorte que l'on peut s'affranchir du problème de sélectivité des pics de résonance et de celui de leur stabilité. Cela autorise aussi un choix de fréquences beaucoup plus large.
Ainsi, au lieu d'obtenir et d'observer des figures stationnaires, notamment des figures de résonance, on obtient des figures transitoires de rayonnement, habituellement qualifiées de « figures impulsionnelles de diffraction », caractéristiques d'une propagation perturbée par un toucher simple ou multiple. On notera d'ailleurs que ces figures transitoires sont beaucoup plus rapides à obtenir que des figures stationnaires, de sorte que le traitement des données captées pour obtenir la localisation du toucher simple ou multiple s'en trouve accéléré. Ces figures transitoires sont également dépendantes de fréquences d'excitation, qu'elles soient des fréquences propres de l'objet ou non.
Par ailleurs, on notera également que ce qui est mesuré, ce n'est pas nécessairement une atténuation d'une vibration due à la présence d'un toucher sur la surface tactile, mais un signal qui augmente ou diminue selon que la présence du toucher simple ou multiple favorise ou diminue l'exposition de la zone où se trouve(nt) le ou les récepteur(s).
De façon optionnelle, la mesure du signal capté se prolonge au delà de rétablissement d'une phase stationnaire de la propagation des ondes émises, pour la fourniture d'une information d'illumination audit au moins un point de réception.
De façon optionnelle également, lesdites caractéristiques de référence correspondent respectivement à des touchers simples et multiples en des zones prédéterminées de la surface tactile.
De façon optionnelle également, les ondes émises comportent une pluralité de composantes fréquentielles prédéterminées toutes distinctes des fréquences propres vibratoires de l'objet.
De façon optionnelle également, chaque composante fréquentielle des ondes émises est choisie de manière à se situer à une distance fréquentielle de plus de deux fois la largeur d'un pic énergétique de résonance correspondant à une fréquence propre vibratoire quelconque de l'objet.
De façon optionnelle également, les caractéristiques du signal capté comparées aux caractéristiques de référence sont des amplitudes spectrales du signal capté auxdites composantes fréquentielles prédéterminées formant un vecteur dit « mesuré » et l'ensemble de caractéristiques de référence comporte un ensemble de vecteurs de référence associés chacun à un toucher simple ou multiple, cet ensemble de référence étant construit au cours d'une étape préalable d'apprentissage, similaire à l'étape de surveillance, lors de laquelle différents touchers simples et multiples de référence sont mesurés.
De façon optionnelle également, les vecteurs de référence étant ordonnés dans l'ensemble de référence selon la valeur de leur norme, l'étape de localisation comporte les sous-étapes suivantes :
- calcul de la norme du vecteur mesuré, - sélection d'un sous-ensemble de l'ensemble de référence représentant une plage de normes dans un voisinage prédéterminé de la norme du vecteur mesuré, et
- recherche du vecteur de référence le plus proche du vecteur mesuré dans ce sous-ensemble selon une fonction de distance prédéterminée.
L'invention a également pour objet un dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet, comportant au moins un transducteur conçu pour émettre et capter des ondes mécaniques élastiques se propageant dans la surface tactile de l'objet, et une unité centrale électronique, reliée audit au moins un transducteur, programmée pour :
- faire propager dans la surface tactile de l'objet des ondes mécaniques élastiques à partir dudit au moins un transducteur et faire détecter lesdites ondes mécaniques élastiques par ledit au moins un transducteur pour obtenir au moins un signal capté, et
- localiser au moins un toucher sur la surface tactile de l'objet par comparaison de certaines caractéristiques spectrales du signal capté à un ensemble de caractéristiques de référence,
dans lequel l'unité centrale électronique est en outre programmée pour mesurer le signal capté pendant un intervalle de temps débutant au cours d'une phase transitoire de la propagation des ondes émises, pour la fourniture d'une information de rayonnement, perturbé par ledit au moins un toucher, audit au moins un point de réception.
De façon optionnelle, un dispositif de localisation d'au moins un toucher sur une surface tactile selon l'invention comporte en outre l'objet, sa surface tactile et des moyens de maintien de la surface tactile sur l'objet disposés aux voisinages de zones convexes de discontinuité de la périphérie de la surface tactile.
De façon optionnelle également, l'unité centrale électronique est en outre conçue pour :
- définir au moins un tracé simple ou multiple à partir d'une pluralité de touchers localisés successivement sur la surface tactile,
- interpréter ce tracé simple ou multiple en tant que fonction prédéterminée à exécuter par comparaison de certaines caractéristiques de ce tracé à un ensemble de caractéristiques de référence. L'invention sera mieux comprise à l'aide de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés dans lesquels :
- la figure 1 représente schématiquement en perspective un dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet, selon un premier mode de réalisation de l'invention,
- la figure 2 représente schématiquement en perspective un dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet, selon un second mode de réalisation de l'invention,
- la figure 3 représente schématiquement la structure fonctionnelle du dispositif de la figure 1 ou 2,
- la figure 4 représente une vue de face d'un écran tactile du dispositif de la figure 1 ou 2, selon une première variante,
- la figure 5 représente une vue de face d'un écran tactile du dispositif de la figure 1 ou 2, selon une seconde variante,
- la figure 6 illustre les étapes successives d'un procédé de localisation d'au moins un toucher sur une surface tactile d'un objet, selon un mode de réalisation de l'invention,
- la figure 7 illustre les étapes successives d'un procédé d'interprétation d'au moins un toucher sur une surface tactile d'un objet, selon un autre aspect de l'invention,
- la figure 8 représente schématiquement différentes interprétations symboliques de différentes localisations successives de touchers simples, et
- la figure 9 représente schématiquement différentes interprétations symboliques de différentes localisations successives de touchers multiples. Le dispositif 10 de localisation d'au moins un toucher sur une surface tactile d'un objet, représenté sur la figure 1 , comporte :
- un micro-ordinateur 12 comprenant notamment un écran 14 et un clavier 16,
- un objet 18 de type tablette interactive, relié au micro-ordinateur 12 par une liaison 20, filaire ou radio.
La tablette interactive 18 comporte un châssis 22 et une surface tactile 24 maintenue par le châssis sur au moins une partie de ses bords. La surface tactile 24 se présente par exemple sous la forme d'une plaque de métal, de verre ou de plastique, vibrant lorsque des ondes mécaniques élastiques se propagent dans son épaisseur. Elle peut être de forme rectangulaire, notamment au format 4/3. Concrètement, elle peut présenter une longueur de 100 mm, une largeur de 75 mm et une épaisseur relativement faible par rapport à sa longueur et sa largeur, notamment comprise entre 100 μm et 4 mm, par exemple 450 μm. Cette épaisseur est également très faible devant la dimension caractéristique d'une zone de la surface tactile 24 susceptible d'être touchée, un doigt d'utilisateur représentant généralement un toucher de diamètre proche du centimètre.
Dans l'exemple illustré sur la figure 1 , trois transducteurs piézoélectriques E, R1 et R2 sont fixés sur la face intérieure de la plaque tactile 24, c'est-à-dire celle qui est non accessible au toucher et orientée vers l'intérieur du châssis 22. Ils peuvent en particulier être collés sur la plaque 24, au moyen d'une colle époxy conductrice ou cyanoacrylate.
Ces transducteurs piézoélectriques sont par exemple des transducteurs en céramique ferroélectrique de type PZT. Ils comportent :
- un transducteur d'émission E apte à émettre des ondes mécaniques élastiques (i.e. des ondes acoustiques au sens large) en modes de flexion, comme par exemple des ondes de Lamb antisymétriques, de telle sorte qu'elles se propagent dans la plaque tactile 24,
- deux transducteurs de réception R1 et R2 apte à capter des ondes mécaniques élastiques se propageant en modes de flexion dans la plaque tactile 24.
Ces trois transducteurs sont de préférence disposés en dehors de tout axe de symétrie de la plaque tactile 24. Par ailleurs, ils peuvent être de petite taille et de forme géométrique quelconque. En particulier, pour une plaque tactile 24 aux dimensions précitées (75 mm x 100 mm x 0,45 mm), ils peuvent présenter une surface comprise entre quelques millimètres carrés et un centimètre carré. Si le transducteur d'émission E est excité par un signal de 10 V, les signaux de réception fournis par les transducteurs de réception R1 et R2 peuvent atteindre 0,2 V sans amplification.
Les transducteurs E, R1 et R2 sont reliés à une unité centrale électronique de commande, par exemple intégrée au micro-ordinateur 12 et programmée pour :
- faire propager dans la plaque tactile 24 des ondes mécaniques élastiques à partir du transducteur piézoélectrique E et faire détecter ces ondes mécaniques élastiques par les transducteurs piézoélectriques R1 et R2 pour obtenir deux signaux captés, et
- localiser au moins un toucher sur la plaque tactile 24 par comparaison de certaines caractéristiques des signaux captés à un ensemble de caractéristiques de référence.
Conformément à un premier aspect de l'invention, l'unité centrale électronique du micro-ordinateur 12 est plus précisément programmée pour mesurer les signaux captés pendant un intervalle de temps débutant au cours d'une phase transitoire de la propagation des ondes émises à partir du transducteur piézoélectrique E, pour la fourniture d'une information de rayonnement aux points de réception matérialisés par les transducteurs piézoélectriques R1 et R2, selon un procédé qui sera détaillé en référence à la figure 6.
Les ondes mécaniques élastiques émises dans la plaque tactile 24 à partir du transducteur piézoélectrique E sont en effet localement absorbées, bloquées ou partiellement réfléchies lorsqu'au moins un doigt ou un stylet est en contact avec la plaque. Cela engendre une perturbation de l'information de rayonnement fournie aux points de réception R1 et R2 en phase transitoire de propagation. En extrayant par exemple certains paramètres d'amplitude et de phase à des fréquences prédéterminées de cette information de rayonnement perturbée, dite « réponse impulsionnelle de diffraction perturbée », il est possible de les comparer à des paramètres de référence extraits d'une bibliothèque de paramètres liés à des touchers prédéterminés ou extraits d'une fonction de modélisation de la réponse impulsionnelle de diffraction perturbée par un toucher simple ou multiple (par exemple via une formulation de type Kirchhoff-Sommerfeld en régime impulsionnel) et d'en déduire une localisation éventuelle d'un toucher simple ou multiple.
On obtient ainsi, pour chaque toucher simple ou multiple sur la plaque tactile 24, à l'aide d'un ou plusieurs doigts ou d'un stylet, une localisation de ce toucher simple ou multiple qui peut par exemple être visualisée sur l'écran du microordinateur 12. Par extension, pour une succession de touchers simples ou multiples détectés sur la plaque tactile 24, formant un tracé simple ou multiple 26, une localisation de ce tracé 26 peut être visualisée sur l'écran du micro-ordinateur 12, sous la forme d'une courbe cinématique 28 obtenue par interpolation du tracé 26 détecté.
Selon un autre mode de réalisation de l'invention illustré sur la figure 2, la plaque tactile 24 peut être transparente et intégrée dans un dispositif électronique embarqué 30, tel qu'un téléphone mobile ou tout autre dispositif portable d'assistance numérique personnelle. Dans ce cas, elle peut également remplir la fonction d'écran de visualisation de la courbe cinématique 28 obtenue par interpolation du tracé 26 détecté.
Comme représenté sur la figure 3, le dispositif 10 ou 30 peut comporter un microcontrôleur 32 doté d'une unité arithmétique et logique, éventuellement pilotée par le micro-ordinateur 12 dans le cas du dispositif 10. Ce microcontrôleur 32 comporte une sortie reliée à un convertisseur numérique/analogique 34 dont la sortie est reliée, si nécessaire via un amplificateur 36, au transducteur d'émission E.
Par ailleurs, les deux transducteurs de réception R1 et R2 peuvent être reliés à deux convertisseurs analogique/numérique 38 et 40, eux-mêmes reliés au ou parties intégrantes du microcontrôleur 32. Les convertisseurs analogique/numérique 38, 40 et le microcontrôleur 32 sont aptes à effectuer un échantillonnage des signaux captés sur au moins 8 bits, préférentiellement sur 10 bits, voire sur 12 bits ou plus à une cadence d'au moins 200 kHz.
Selon une variante de réalisation, ou plus particulièrement dans le cas d'un banc de test, les convertisseurs analogique/numérique et numérique/analogique peuvent être remplacés par une carte d'acquisition et un générateur de fonctions arbitraires.
Les liaisons vers les transducteurs E, R1 et R2 peuvent être constituées notamment de câbles coaxiaux de type audio ou de toute autre liaison blindée.
La figure 4 représente une vue de face de la plaque tactile 24 du dispositif de la figure 1 ou 2, selon une première variante de réalisation. De forme rectangulaire, la plaque 24 est fixée au châssis 22 en quatre zones sensiblement ponctuelles P situées aux quatre coins du rectangle. Ces zones sont les seules à imposer des contraintes mécaniques à la plaque. Elles sont ainsi situées de préférences dans les endroits de la plaque 24 les moins touchés par la propagation des ondes mécaniques élastiques, notamment les zones anguleuses aux bords de la plaque.
Conformément à une seconde variante de réalisation illustrée sur la figure 5, la plaque 24 est de forme plus complexe que rectangulaire. Un premier avantage de cette forme plus complexe est que les informations de rayonnement en phase transitoire de propagation, ou de diffraction en régime impulsionnel avec prise en compte des premières réflexions sur les bords, sont susceptibles d'être plus complexes, donc plus discriminantes selon les différentes localisations possibles des touchers simples ou multiples. En effet, d'une façon générale, dans un objet solide, et en particulier en propagation guidée, l'énergie vibratoire comprend des composantes longitudinales et transversales dont les proportions changent en fonction de la fréquence. Or les conditions de réflexion et de conversion de modes acoustiques aux limites de l'objet solide dépendent de la nature de la vibration de sorte que les conditions d'illumination acoustique de l'objet solide en régime transitoire et d'accumulation d'énergie vibratoire au cours des réflexions successives en certaines zones de l'objet vont dépendre de la fréquence d'excitation, et ceci d'autant plus que les contours et la découpe (notamment le dressage des chants) de l'objet sont complexes. En outre, cette forme plus complexe présente davantage de zones anguleuses P où le rayonnement des ondes mécaniques élastiques est moins important et où la plaque 24 peut être fixée au châssis 22 sans risque de perturbation de sa capacité de localisation d'un toucher simple ou multiple.
Ainsi, selon la présente invention, il peut être avantageux de découper ou mouler la surface tactile de l'objet selon un contour variable ou des formes complexes, par exemple en dents de scie, et de préférence en forme de polygone convexe pour une plaque, ou oscillant avec un pas d'oscillation variable, ou en trois dimensions.
On notera aussi que, dans le cadre de l'invention, on peut prévoir plus ou moins de transducteurs piézoélectriques d'émission et/ou réception, le minimum envisageable étant un seul transducteur successivement émetteur et récepteur. Dans l'exemple non limitatif de la figure 5, il a été choisi de prévoir deux transducteurs émetteurs E1 , E2 et deux transducteurs récepteurs R1 , R2.
Le choix du nombre de transducteurs et de leur mode de fonctionnement selon les applications envisagées est notamment guidé par les observations suivantes :
- la complexité du rayonnement des ondes émises est augmentée en augmentant le nombre de transducteurs émetteurs et /ou récepteurs, notamment lorsque ceux-ci sont répartis dans des zones diamétralement opposées,
- lorsque plusieurs transducteurs émettent alternativement les mêmes fréquences, des rayonnements différents peuvent être enregistrés. Le dispositif 10 ou 30 qui vient d'être décrit fonctionne d'une façon qui va maintenant être détaillée en référence à la figure 6.
A intervalles réguliers, par exemple à une cadence de plusieurs dizaines de mesures par seconde, notamment cinquante à cent mesures par seconde, le micro- ordinateur 12 ou le microcontrôleur 32 lance une étape 100 de surveillance de la face extérieure de la plaque tactile 24 suivie d'une étape 200 de localisation d'un toucher simple ou multiple.
Pour chaque étape de surveillance 100, à un instant t0, des ondes mécaniques élastiques sont émises (102) dans la plaque 24. Elles s'y propagent selon deux phases de propagation distinctes : une première phase de propagation transitoire, s'étendant de l'instant t0 à un instant ti, pendant laquelle le front d'onde émis parvient au(x) récepteur(s), soit directement, soit indirectement après une ou plusieurs réflexions, sans que l'addition des ondes reçues ne soit encore stable dans le temps ; une seconde phase de propagation stationnaire, s'étendant de l'instant ti à un instant X2 de fin de surveillance, pendant laquelle l'addition des nouvelles ondes reçues est compensée par l'amortissement naturel de la structure de sorte que l'amplitude du signal crête à crête est stable dans le temps. Pendant la phase transitoire, on peut ainsi parler d'une réponse impulsionnelle de diffraction ou, de façon imagée, d'une information de rayonnement reçue au(x) point(s) de réception, selon une notion « d'écoulement ». Pendant la phase stationnaire, on parlera plutôt d'une information d'illumination au(x) point(s) de réception, selon une notion de résultat stable de cet écoulement.
Suite à l'émission 102 d'ondes mécaniques élastiques dans la plaque 24, l'étape de surveillance 100 comporte une détection 104 de ces ondes mécaniques élastiques en au moins un point de réception de la plaque 24 pour l'obtention d'au moins un signal capté. Cette détection 104 est lancée à un instant t3 et se poursuit jusqu'à un instant t4 de fin de détection 106 par la mesure du signal capté pendant cet intervalle de temps. On notera que, selon l'invention, la mesure débute au cours de la phase transitoire de la propagation des ondes émises, pour la fourniture d'une information de rayonnement au(x) point(s) de réception. En d'autres termes, l'instant t3 de lancement de la mesure est compris entre les instants t0 et \λ. L'instant t4 de fin de la mesure peut lui aussi être compris entre les instants t0 et ti de sorte que la mesure est intégralement réalisée en phase transitoire. Mais en variante, la mesure du signal capté peut se prolonger au delà de l'établissement de la phase stationnaire de la propagation des ondes émises, pour la fourniture, en plus de l'information de rayonnement précitée, d'une information d'illumination au(x) point(s) de réception. En d'autres termes, l'instant t4 de fin de la mesure peut être compris entre les instants ti et t2. L'étape de surveillance 100 est suivie d'une étape 200 de localisation d'un toucher simple ou multiple au cours de laquelle on identifie et on localise un éventuel toucher ou plusieurs touchers simultanés sur la plaque tactile 24.
Ces deux étapes de surveillance 100 et de localisation 200 vont maintenant être détaillées.
ETAPE DE SURVEILLANCE 100
Au cours de chaque étape de surveillance 100, le micro-ordinateur 12 ou le microcontrôleur 32 fait émettre par le transducteur d'émission E, ou les transducteurs d'émission E1 , E2 disposés en des points éventuellement diamétralement opposés de l'objet (de façon à faire varier les figures de rayonnement) des ondes mécaniques élastiques, notamment des ondes de Lamb et plus particulièrement encore des ondes de Lamb antisymétriques. Le transducteur d'émission E, ou les transducteurs d'émission E1 , E2, émet(tent) non pas simultanément, mais alternativement de façon à contraster les figures de rayonnement et d'illumination (une émission simultanée aurait pour effet d'homogénéiser le rayonnement et l'illumination et de supprimer les caractéristiques spatialement discriminantes). Outre des ondes de Lamb dans des plaques isotropes, le transducteur E, ou les transducteurs E1 , E2, est (sont) apte(s) à émettre des ondes en modes de flexion dans des coques planes ou courbes homogènes ou hétérogènes.
Au cours de cette étape également, dans un mode de réalisation de l'invention comportant plusieurs émetteurs, ceux-ci peuvent émettre tous ensemble au moins une fois de façon à illuminer totalement et uniformément la plaque tactile 24 pour obtenir une mesure dont la norme est indicatrice d'un toucher simple ou multiple et d'une surface couvrante.
Les ondes émises sont composées d'un nombre Q de fréquences prédéterminées. Elles sont captées directement, ou indirectement après une ou plusieurs réflexions, par les transducteurs de réception R1 , R2 activés dès la phase de propagation transitoire. Comme indiqué précédemment, après de multiples réflexions sur les bords de la plaque tactile 24, il apparaît des ondes stationnaires associées à des figures d'illumination qui peuvent aussi être captées par les transducteurs de réception R1 , R2.
Le nombre Q de ces fréquences prédéterminées est généralement supérieur à 10 et est de préférence supérieur à 100, voire même compris entre 200 et 500. Ces fréquences prédéterminées ne sont pas dans le voisinage d'un pic de résonance de l'objet. Elles sont même plutôt à plus de deux fois la largeur à mi-hauteur (en énergie) d'un pic de résonance, sachant qu'un pic de résonance est situé à une fréquence propre quelconque de la plaque tactile 24 intégrée dans l'objet considéré. Elles peuvent être choisies à partir du spectre des signaux captés par les transducteurs de réception R1 , R2. Elles sont également choisies en fonction de la complexité des informations de rayonnement et/ou des figures d'illumination qu'elles engendrent. Par exemple, plus une figure de rayonnement et/ou d'illumination résultante est complexe et peu symétrique, plus la fréquence correspondante présente un intérêt.
Les fréquences prédéterminées peuvent aussi être choisies sur la base d'une répartition de Q fréquences dans une plage de fréquences couvrant un spectre large du point de vue des fréquences spatiales, notamment comprise entre 1 et 100 kHz.
Par exemple pour une plage de fréquences allant de 20 kHz à 80 kHz, les Q fréquences Fi distribuées peuvent être prédéterminées par la formule suivante :
Fi = 20 + (80 ~ 20)* , en kHz, pour 1≤i≤Q. Pour réaliser l'étape de surveillance 100 aux Q fréquences prédéterminées, le micro-ordinateur 12 ou le microcontrôleur 32 peut faire émettre par le transducteur E, ou les transducteurs E1 , E2 une trame comprenant Q formes d'ondes superposées aux Q fréquences prédéterminées. Cette émission peut être effectuée pendant une fenêtre temporelle d'émission de durée suffisante pour que des ondes stationnaires se construisent dans la plaque 24. Cette durée peut par exemple être comprise entre 2 et 25 ms, et notamment être de l'ordre de 5 ms. Cette émission peut être effectuée en continu ou répétée continûment par la génération d'un signal arbitraire, résultant de la superposition des Q fréquences sur une fenêtre temporelle de 5 ms.
Au cours de l'étape de surveillance, les ondes mécaniques peuvent être captées par les transducteurs de réception R1 et R2 pendant une fenêtre temporelle de réception qui peut débuter après la fenêtre temporelle d'émission de façon à permettre l'établissement d'ondes stationnaires ou dès le début de la fenêtre temporelle d'émission de façon à saisir le processus de rayonnement acoustique dans l'objet qui se manifeste dès la réception du signal direct et au cours des premières réflexions successives sur les bords de la plaque 24. On peut ainsi envisager d'obtenir un signal mesuré en quelques millisecondes, par exemple 5 voire 2 ms. A titre de comparaison, selon l'art antérieur divulgué dans le document WO 2008/142345, une telle fenêtre d'acquisition n'aurait permis une résolution fréquentielle par transformée de Fourier rapide que de 500 Hz. Une telle résolution aurait été bien insuffisante compte tenu de la largeur d'un pic de résonance, voisine de 200 à 300 Hz.
En variante, dans le cas où l'émission est intermittente, la fenêtre temporelle de réception peut débuter après la première trame d'émission. En outre, la fenêtre temporelle de réception peut suivre la fenêtre temporelle d'émission sans la recouvrir : dans ce cas, on peut éventuellement n'utiliser qu'un seul transducteur piézoélectrique servant à la fois en émission et en réception. Dans ce cas également, les transducteurs récepteurs ne s'intéressent pas à la phase stationnaire, en plus de la phase transitoire, mais ne détectent qu'une phase impulsionnelle pure qui comprend la phase d'extinction acoustique de l'objet.
A partir des signaux captés par les transducteurs de réception R1 , R2 et échantillonnés sur une fenêtre temporelle d'acquisition de durée T = t4 - t3 = N*Te, où N désigne le nombre de points d'acquisition et Te la période d'échantillonnage, on peut extraire par exemple un vecteur fréquentiel par calcul d'une transformée de Fourier discrète :
Pm = (A1 m, A2m, ... Aim, ... ANm), où m désigne un indice identifiant un transducteur de réception parmi M transducteurs de réception utilisés.
De préférence, N est inférieur à 2000 et la fréquence d'acquisition supérieure à 400 kHz.
Le vecteur Pm comprend toutes les amplitudes du spectre du signal reçu aux fréquences comprise entre Fe/N et la fréquence d'échantillonnage de réception Fe, avec un pas en fréquence de 1/T. Ai est l'amplitude du signal à une fréquence Fi i Fc
vérifiant la relation Fi = , pour 1≤i≤N.
Enfin, à partir des signaux captés par les transducteurs de réception R1 , R2 et échantillonnés, on peut constituer un vecteur étendu Pe = {Pi, ..., PM} résultant de la fusion des M vecteurs Pm.
En variante, le vecteur ou vecteur étendu obtenu peut ne comprendre que les amplitudes du spectre du signal à des fréquences comprises entre 20 kHz et 80 kHz.
En variante également, le vecteur ou vecteur étendu obtenu peut aussi ne contenir que les amplitudes des Q fréquences prédéterminées.
En variante également, les caractéristiques extraites peuvent comporter les phases du signal obtenu par transformée de Fourier.
ETAPE DE LOCALISATION 200 Au cours de chaque étape de localisation 200, le vecteur mesuré, par exemple au moins l'un des vecteurs Pm, est comparé à des vecteurs de référence d'un ensemble de vecteurs de référence {Pmref(xu,yv,zw)} associés bijectivement à un ensemble de positions de référence {(xu,yv,zw)} échantillonnées sur la surface de la plaque tactile 24 dans un repère cartésien (u,v,w). Le vecteur de référence le plus proche (selon une distance prédéterminée) du vecteur mesuré à l'étape de surveillance 100 est sélectionné et fournit ainsi les coordonnées d'un toucher.
Les notations précédentes sont relatives à la détection d'un toucher simple, mais on peut aisément les étendre à la localisation d'un toucher multiple ou, autrement dit, à la localisation de k touchers simultanés (k>1 ). Plus précisément, on déduit les k positions (x1 ,y1 ,z1 , ..., xi,yi,zi, ..., xk,yk,zk) de k touchers multiples associés au vecteur mesuré Pm, d'une recherche du vecteur de référence le plus proche (selon une distance prédéterminée) de ce vecteur mesuré parmi un ensemble de vecteurs de référence {Pmref(xui,yvi ,zwi , ..., xu,,yv,,zwι, ..., xUk,yvk,zwk)} associés bijectivement à un ensemble de positions de référence {(xui,yvi ,zwi , ..., xuι,yvι,zwι, ..., xUk,yvk,zwk)} échantillonnées sur la surface de la plaque tactile 24, dans un repère cartésien (u,v,w).
La fonction de distance utilisée lors de cette étape de localisation 200 peut prendre différentes formes connues.
Elle peut ainsi être définie comme distance de Manhattan : d(Pm ,Pmref) = - Aimref\ ,
Figure imgf000018_0001
ou comme distance euclidienne :
Figure imgf000018_0002
ou comme distance de Minkowski : où p est un entier quelconque,
Figure imgf000018_0003
ou comme distance de Chebyshev :
d(Pm , Pmref ) = Max(Aim - Aimref ).
Elle peut avoir tout autre type de définition. En particulier, si l'on choisit les amplitudes des spectres de signaux reçus aux Q fréquences prédéterminées pour construire le vecteur mesuré, et si l'on centre et normalise ces amplitudes, le calcul de distance entre le vecteur mesuré et les vecteurs de référence est similaire au calcul de la fonction de corrélation croisée décrite dans le document précité WO 2008/142345.
Dans un mode de réalisation de l'invention, la distance choisie peut être celle qui donne le taux d'erreur de reconnaissance de localisation le plus faible, ce taux étant évalué lors d'une étape préalable de test des différentes distances sur un ensemble témoin de touchers aléatoires distribués sur la surface tactile.
Dans un mode de réalisation de l'invention, pour valider la reconnaissance d'un toucher simple ou multiple, il faut que les M récepteurs conduisent tous à identifier la même position simple ou multiple du toucher lors de l'étape de localisation par une recherche de distance minimale. L'absence de reconnaissance simultanée sur les M récepteurs suffit alors à rejeter la position. Cette fusion des mesures réalisées par les M capteurs est simple et ne nécessite ni traitement complexe, ni synchronisation particulière.
En variante, les M récepteurs peuvent avoir des degrés de priorité différents. On peut ainsi avoir un point de réception primaire et plusieurs points de réception secondaires. Les points de réception secondaires viennent alors enrichir la mesure du point de réception primaire et conduisent à plusieurs vecteurs mesurés que l'on peut fusionner en un seul vecteur étendu.
Dans un mode de réalisation de l'invention, un toucher est détecté et recherché parmi l'ensemble des vecteurs de référence si et seulement si les deux critères suivants sont simultanément vérifiés :
- la norme du vecteur mesuré sort d'une plage de stabilité connue en l'absence de toucher, et
- la norme du vecteur mesuré entre dans une plage de variations possibles des normes de l'ensemble des vecteurs de référence.
La plage de stabilité est définie par une variation constatée en l'absence de toucher au cours d'un nombre de mesures consécutives prédéterminées. Par exemple, il faut que la norme mesurée s'écarte de plus de 2% en valeur absolue de la valeur moyenne de la norme constatée sur cent mesures consécutives pour considérer que l'on sort de la plage de stabilité.
Dans un mode de réalisation de l'invention, on teste la vraisemblance de la position identifiée pour le toucher simple ou multiple sur deux ou trois mesures consécutives. Si les mesures consécutives conduisent à une même position d'un toucher simple ou multiple alors l'identification est validée. En variante, pour augmenter la réactivité de l'étape de localisation 200, le test peut être plus permissif et tolérer que seulement deux ou trois mesures conduisant à une même position, parmi un ensemble de quatre ou cinq mesures consécutives, soit suffisant pour valider une localisation de toucher simple ou multiple.
Dans un mode de réalisation de l'invention, on fait propager l'onde mécanique élastique à partir de plusieurs points d'émission différents. La conséquence est que l'ensemble de référence présente une norme moyenne regroupée ou présente une plage de dispersion de la norme du vecteur Pmref(xu,yvzw) moins dépendante de
(xu,yvzw).
Enfin, dans un mode de réalisation de l'invention, on choisit une plaque tactile 24 présentant une constante de réverbération plutôt faible, notamment moins de 10 ms à I kHz et 1 ms à 70 kHz, ce qui permet d'avoir une cadence de mesure élevée. Cette constante de réverbération est définie comme étant la période au bout de laquelle le signal résiduel suite à une impulsion dans la plaque ne représente plus que 36% du signal initial, soit un amortissement équivalent à 1/exp(1 ).
Comme cela a été vu précédemment, l'étape de localisation comprend la comparaison d'au moins un vecteur mesuré avec un ensemble de vecteurs de référence. Cet ensemble de vecteurs de référence peut être construit lors d'une étape préalable d'apprentissage qui va maintenant être détaillée.
Cette étape préalable d'apprentissage peut être conduite soit pour chaque plaque tactile individuellement soit pour une plaque tactile étalon représentative d'une série de plaques tactiles présentant les mêmes dimensions, les mêmes transducteurs collés aux mêmes positions et de la même façon, les plaques étant elles-mêmes intégrées de la même façon à un châssis formant support. L'excitation d'ondes à des fréquences autres que les fréquences de résonance est alors un avantage car, même dans le cas où les plaques peuvent paraître identiques, il peut y avoir de petites variations, par exemple la présence de bulles d'air ou une variation d'épaisseur de la colle, responsables d'une dispersion des fréquences de résonance pour une série de plaques censées être identiques.
L'étape préalable d'apprentissage est réalisée comme l'étape de surveillance 100 décrite ci-dessus, mais dans des conditions prédéterminées de touchers simples ou multiples permettant d'obtenir les vecteurs de références précités, utilisés ensuite dans les étapes de localisation en utilisation normale du dispositif à surface tactile.
Au cours de cette étape préalable d'apprentissage, on peut déterminer les vecteurs de référence de touchers simples {Pmref(xu,yvzw)} ou multiples {Pmref(xu1,yv1,zw1, ..., xuι,yv,,zwι, ..., xUk,yvk,zwk)} de la même façon que l'on détermine le vecteur Pm dans l'étape de surveillance 100. Ces valeurs, {Pmref(xu,yvzw)} ou {Pmref(Xui,yvi,Zwi, ..., Xu,,yv,,zw,, -- -, xUk,yvk,zwk)}, correspondent à des amplitudes de fréquences de spectres de signaux captés lorsqu'il y a un ou plusieurs (k) touchers sur la plaque tactile 24, à des emplacements prédéterminés de coordonnées {(xu,yvzw)} (emplacements simples) ou {(xui,yvi ,zw1 , ..., xu,,yv,,zwι, ..., xUk,yvk,zwk)} (emplacements multiples) échantillonnés sur la plaque tactile, (u , v, w) étant des indices relatifs aux positions possibles d'un toucher sur la plaque tactile 24 exprimées dans un repère tridimensionnel.
Les touchers simples ou multiples de référence peuvent provenir d'un ou plusieurs doigts artificiels, stylets, ou encore doigts d'un utilisateur.
Dans le cas d'une surface tactile divisée en une grille de 9χ9 localisations discrétisées, on aura besoin de 81 vecteurs de référence pour la localisation d'un toucher simple. Pour la localisation d'un toucher double, on aura besoin de
C^1 = 3240 vecteurs de référence. Plus généralement, pour la localisation de k touchers simultanés (à priori ces touchers sont identiques et permutables) sur une grille d'échantillonnage de UxV localisations discrétisées, le nombre nécessaire de vecteurs de référence est le nombre de combinaisons de k éléments parmi un ensemble de UxV éléments soit Cm k v .
Selon un mode de réalisation de l'invention, pour avoir une localisation finale plus fiable, on peut répéter un certains nombre de fois l'étape préalable d'apprentissage d'un toucher simple ou multiple sur une position simple ou multiple prédéterminée et ne retenir qu'une valeur moyenne. Notamment on peut, par exemple, ne retenir que la valeur moyenne sur dix apprentissages identiques.
L'ensemble des vecteurs de référence est donc construit par une moyenne de S acquisitions successives pour chaque position de référence (S=10 par exemple), avec un certain écart type. Chaque vecteur de référence peut alors prendre la forme d'un vecteur complexe comportant, pour chacun de ses coefficients, une partie réelle indiquant un amortissement moyen à la fréquence considérée et une partie imaginaire indiquant l'écart type :
Pmref = ((A1 m, σ1 m), ... (Aim, σim), ... (ANm, σNm)).
Selon un mode de réalisation de l'invention, on peut utiliser plusieurs ensembles de vecteurs de référence correspondant chacun à une multiplicité k de touchers. Notamment, on peut prévoir k ensembles de vecteurs de référence comportant chacun CV k xV vecteurs de référence lorsque le nombre de touchers simultanés interprétables peut atteindre k.
Il est alors aussi possible d'unir ces ensembles en un seul ensemble de référence dans lequel les vecteurs de référence sont ordonnés par vecteurs de norme croissante. En ordonnant ainsi les vecteurs de référence dans l'ensemble de référence, il devient possible d'accélérer l'étape de recherche du vecteur de référence le plus proche du vecteur mesuré, en présélectionnant par exemple une plage limitée de normes possibles dans l'ensemble de référence dans un voisinage prédéterminé de la norme du vecteur mesuré. On tronque ainsi la recherche à un sous-ensemble de référence. En outre, la norme du vecteur mesuré est révélatrice de l'état du couplage de la surface tactile avec son environnement : en particulier, un ou plusieurs touchers simultanés sur la surface tactile engendre(nt) une variation de la norme du vecteur mesuré, de sorte que celle-ci est fortement corrélée au nombre k de touchers simultanés.
Selon un second aspect de l'invention, l'unité centrale électronique du dispositif décrit précédemment est en outre conçue pour :
- définir au moins un tracé simple ou multiple à partir d'une pluralité de touchers localisés successivement sur la surface tactile, et
- interpréter ce tracé simple ou multiple par comparaison de certaines caractéristiques de ce tracé à un ensemble de caractéristiques identifiant des tracés simples ou multiples de référence.
Plus précisément, comme indiqué en référence à la figure 1 , pour une succession de touchers simples ou multiples détectés sur la plaque tactile 24, formant un tracé simple ou multiple 26, une localisation de ce tracé 26 peut être visualisée sur l'écran du micro-ordinateur 12, sous la forme d'une courbe cinématique 28 obtenue par interpolation du tracé 26 détecté. La localisation d'un toucher simple ou multiple comprend en effet un ensemble d'étapes dont la durée totale est inférieure à 10 ms, voire même 5 ms, et constitue un processus tournant en boucle continue de sorte que la cadence de mesure peut être élevée et l'obtention d'un tracé simple ou multiple facilitée.
La courbe cinématique 28 peut en outre être constituée de plusieurs segments, le dernier point d'un segment et le premier point du segment suivant étant caractérisés par une rupture de contact avec la plaque tactile 24 pendant un temps minimal prédéfini, par exemple compris entre 50 ms et 150 ms. L'interprétation des touchers simples ou multiples successifs permet par exemple de concevoir un objet à surface tactile apte à :
- échantillonner un toucher mobile (i.e. un tracé),
- calculer la vitesse et l'accélération d'un toucher mobile,
- mesurer la norme d'un toucher et établir une correspondance entre cette norme et la force du toucher,
- identifier le début d'un toucher, la fin d'un toucher,
- tracer une courbe cinématique par interpolation du tracé,
- établir des signatures d'interactions dynamiques avec la surface tactile, telles que des interactions relatives à une caresse, une frappe « simple clic », une frappe « double clic », que ce soit pour un toucher simple ou multiple,
- désigner, déplacer des objets graphiques d'un système d'exploitation informatique (par exemple un dessin de conception assistée par ordinateur, une photographie, un document, ...) dans un espace de travail informatique (par exemple l'écran 14 ou 24),
- désigner, déplacer, orienter un objet dans une espace virtuel selon un sens de déplacement du toucher,
- interpréter un toucher en fonction de son tracé simple ou multiple, de sa vitesse, de son accélération, pour réaliser une fonction selon un langage gestuel prédéterminé (avance rapide, retour rapide, sélection, zoom avant, zoom arrière, rotation, déformation libre à partir de k points de déformation, ...).
La figure 7 illustre les étapes successives d'un exemple de procédé logique d'interprétation d'au moins un toucher sur une surface tactile d'un objet, selon le second aspect de l'invention.
Ce procédé comporte tout d'abord l'exécution de plusieurs étapes successives de localisation 200 aboutissant à la détermination d'un tracé simple ou multiple par l'unité centrale électronique.
Ensuite, lors d'une étape de test 300, on détermine si le tracé à interpréter est simple ou multiple. S'il s'agit d'un tracé simple, on passe selon le contexte et les caractéristiques du tracé à l'une des étapes 302, 304 ou 306.
Au cours de l'étape 302, dans un contexte de visualisation d'un objet dans un espace virtuel et/ou de travail, un tracé simple tel que l'un des tracés portant la référence 50 sur la figure 8 est interprété comme une commande de déplacement de cet objet, notamment si le toucher initial du tracé pointe sur l'objet en question. Les tracés illustrés sur la figure 8 sont des tracés (pris à titre d'exemples simples) de déplacement vers la droite, vers la gauche, vers le haut ou vers le bas, le point blanc indiquant la position de départ (début du tracé) et le point grisé indiquant la position d'arrivée (fin du tracé).
Au cours de l'étape 304, dans un contexte de visualisation d'un objet dans un espace virtuel et/ou de travail ou dans un contexte de parcours d'une liste d'objets quelconques, un tracé simple tel que l'un des tracés portant la référence 52 sur la figure 8 est interprété comme une commande d'accélération du déplacement de l'objet visualisé ou comme une commande d'avance ou de retour rapide dans la liste présentée. Dans ce contexte, non seulement le sens du tracé, mais également sa vitesse et/ou son accélération sont pris en compte : ainsi, un tracé orienté vers la droite et subissant une accélération est interprété comme un retour rapide alors qu'un tracé orienté vers la gauche et subissant une accélération est interprété comme une avance rapide.
Au cours de l'étape 306, dans un contexte de lecture d'un document comportant plusieurs pages, un tracé simple tel que l'un des tracés portant la référence 54 sur la figure 8 est interprété comme une commande de retour à la page précédente ou de passage à la page suivante. Dans ce contexte également, non seulement le sens du tracé, mais également sa vitesse et/ou son accélération sont pris en compte : ainsi, un tracé en quart de cercle suivi d'une accélération rectiligne en fin de tracé est interprété comme un changement de page, vers la page suivante ou précédente en fonction de l'orientation du tracé.
Si au cours de l'étape 300 on détermine que le tracé à interpréter est multiple, on passe à une autre étape de test 400 déterminant si le tracé est double ou est à plus de deux touchers simultanés. S'il s'agit d'un tracé double, on passe selon le contexte et les caractéristiques du tracé à l'une des étapes 402 ou 404.
Au cours de l'étape 402, dans un contexte de visualisation d'un objet dans un espace virtuel et/ou de travail, un tracé double tel que l'un des tracés portant la référence 56 sur la figure 9 est interprété comme une commande de zoom avant ou arrière de cet objet, notamment si le toucher double initial du tracé pointe sur l'objet en question. L'amplitude du zoom est déterminée en fonction de la variation de la distance entre les deux touchers simultanés au cours du tracé. De façon classique, cette fonction de zoom est interprétée et affichée comme une commande de déformation homothétique de l'objet visualisé. Au cours de l'étape 404, dans un contexte de visualisation d'un objet dans un espace virtuel et/ou de travail, un tracé double en deux demi-cercles tel que l'un des tracés portant la référence 58 sur la figure 9 est interprété comme une commande de rotation de cet objet, notamment si le toucher double initial du tracé pointe sur l'objet en question.
Si au cours de l'étape 400 on détermine que le tracé à interpréter est à plus de deux touchers simultanés, on passe à une étape 500 d'interprétation d'un tracé à touchers simultanés au moins triple. Dans un mode de réalisation de l'invention, on passe alors à une étape 502 de déformation libre de l'objet.
Au cours de cette étape 502, dans un contexte de visualisation d'un objet dans un espace virtuel et/ou de travail, un tracé au moins triple tel que le tracé portant la référence 60 sur la figure 9 est interprété comme une commande de déformation libre de l'objet. En particulier le tracé 60 est triple : il pointe par exemple initialement sur trois points de l'objet et le déplacement de ces trois points respectifs selon le tracé triple définit une déformation vectorielle qu'il convient d'appliquer à l'objet.
Suite aux étapes 302, 304, 306, 402, 404 et 502, on passe à une étape 600 d'exécution des fonctions interprétées précitées et d'affichage de leur résultat, par exemple sur l'écran 14 (cas de la figure 1 ) ou 24 (cas de la figure 2).
On notera enfin que le second aspect de l'invention, décrit en référence aux figures 7, 8, 9 et relatif à l'interprétation d'un toucher simple ou multiple détecté, bien qu'avantageusement combiné au premier aspect décrit en référence aux figures 1 à 6, est indépendant de celui-ci dans le sens ou tout autre procédé de localisation simple ou multiple d'un toucher ou d'un tracé (en tant que succession de touchers) pourrait être utilisé pour la mise en œuvre de l'interprétation du toucher.
Il apparaît clairement qu'un procédé de localisation d'au moins un toucher sur une surface tactile tel que celui décrit précédemment permet d'atteindre un temps de traitement nettement inférieur aux procédés classiques en analysant l'éventualité de touchers simples ou multiples dès la phase transitoire de propagation des ondes mécaniques élastiques dans la surface tactile par l'analyse de l'effet de ces touchers sur le rayonnement et/ou l'illumination de la surface tactile. Plus précisément, là où des procédés classiques imposaient un temps d'acquisition pouvant atteindre 50 ms, celui-ci est divisé d'un facteur voisin de dix. Il est ainsi possible de procéder à un grand nombre de mesures par seconde et de déterminer des tracés compatibles avec la fonction classique de réalisation d'un « glisser et déposer » (de l'Anglais « drag and drop »).
Le traitement est par ailleurs suffisamment simple pour pouvoir être implémenté dans des microcontrôleurs du commerce.
En outre, ce procédé n'est pas dépendant des fréquences propres de l'objet à surface tactile et n'a donc pas besoin d'être très sélectif ni stable dans les fréquences étudiées. Il ne nécessite notamment pas d'activer les fréquences de résonance de l'objet lorsque l'épaisseur de l'objet est très faible devant la longueur d'onde des ondes émises et la dimension caractéristique d'un doigt. Il est donc compatible avec des plaques tactiles de faible épaisseur (inférieure au millimètre) et fortement amorties comme cela peut être le cas de la plaque supérieure (face utilisateur) d'un afficheur à cristaux liquides ou d'une coque plastique. Par ailleurs, cela laisse un choix nettement plus important de fréquences utilisables pour l'analyse des figures de rayonnement et/ou d'illumination.
Un autre avantage est de pouvoir obtenir des résultats satisfaisants, par exemple une précision de localisation millimétrique, à partir d'un nombre limité d'émetteurs et de capteurs. Notamment, à minima, un seul transducteur, successivement émetteur et récepteur, peut suffire. Deux émetteurs et deux récepteurs disposés de façon non symétrique en périphérie de la surface tactile fournissent de très bonnes estimations. En outre, ces émetteurs/récepteurs peuvent être de petites dimensions, notamment seulement quelques millimètres carrés.
Comme cela a été vu précédemment, il est aussi possible de discriminer un toucher simple et un toucher multiple.
Un autre avantage est aussi de pouvoir intégrer la plaque tactile dans un châssis à l'aide de points de fixation (notamment par collage) qui participent (sans nuire) à la construction de figures de rayonnement et/ou d'illumination discriminantes.
On a vu également que l'invention n'est pas limitée aux surfaces planes en verre, mais s'applique aussi aux surfaces courbes et aux coques plastiques ou métalliques, ce qui multiplie les applications possibles. Ceci est d'autant plus vrai que le procédé tel que décrit précédemment tire profit des surfaces tactiles aux contours complexes et irréguliers pour la constitution de rayonnements et illuminations discriminants en fonction des touchers.
Enfin, selon le second aspect de l'invention, le procédé décrit précédemment permet de créer un langage ou gestuelle tactile interprétable en commandes fonctionnelles informatiques au même titre qu'un raccourci clavier, mais de façon plus intuitive.
Quelques applications industrielles possibles des dispositifs et du procédé décrits précédemment incluent notamment et de façon non exhaustive :
- les afficheurs tactiles à touchers multiples pour consoles de jeux, téléphones mobiles, assistants numériques personnels et écrans LCD, dans un contexte d'interface homme machine à interprétation dynamique de touchers simples ou multiples,
- les claviers tactiles plans ou courbes, les boutons de commandes tactiles aménagés sur des objets de formes complexes,
- les coques tactiles pour robots aptes à percevoir des touchers divers de type caresses, coups, etc.
On notera par ailleurs que l'invention n'est pas limitée au mode de réalisation décrit précédemment. Il apparaîtra en effet à l'homme de l'art que diverses modifications peuvent être apportées au mode de réalisation décrit ci-dessus, à la lumière de l'enseignement qui vient de lui être divulgué. Dans les revendications qui suivent, les termes utilisés ne doivent pas être interprétés comme limitant les revendications au mode de réalisation exposé dans la présente description, mais doivent être interprétés pour y inclure tous les équivalents que les revendications visent à couvrir du fait de leur formulation et dont la prévision est à la portée de l'homme de l'art en appliquant ses connaissances générales à la mise en œuvre de l'enseignement qui vient de lui être divulgué.

Claims

REVENDICATIONS
1. Procédé de localisation d'au moins un toucher sur une surface tactile (24) d'un objet (10 ; 30), comportant les étapes suivantes :
- surveillance (100) d'au moins un toucher par propagation (102), dans la surface tactile de l'objet, d'ondes mécaniques élastiques à partir d'au moins un point d'émission (E1 , E2) de l'objet, et par détection desdites ondes mécaniques élastiques en au moins un point de réception (R1 , R2) de l'objet pour obtenir au moins un signal capté, et - localisation (200) d'au moins un toucher sur la surface tactile de l'objet par comparaison de certaines caractéristiques spectrales du signal capté à un ensemble de caractéristiques de référence, caractérisé en ce que l'étape de surveillance (100) comporte une mesure (104, 106) du signal capté pendant un intervalle de temps débutant (t3) au cours d'une phase transitoire de la propagation des ondes émises, pour la fourniture d'une information de rayonnement, perturbé par ledit au moins un toucher, audit au moins un point de réception (R1 , R2).
2. Procédé de localisation d'au moins un toucher sur une surface tactile selon la revendication 1 , dans lequel la mesure (104, 106) du signal capté se prolonge (t4) au delà de l'établissement (ti) d'une phase stationnaire de la propagation des ondes émises, pour la fourniture d'une information d'illumination audit au moins un point de réception (R1 , R2).
3. Procédé de localisation d'au moins un toucher sur une surface tactile selon la revendication 1 ou 2, dans lequel lesdites caractéristiques de référence correspondent respectivement à des touchers simples et multiples en des zones prédéterminées de la surface tactile.
4. Procédé de localisation d'au moins un toucher sur une surface tactile selon l'une quelconque des revendications 1 à 3, dans lequel les ondes émises comportent une pluralité de composantes fréquentielles prédéterminées toutes distinctes des fréquences propres vibratoires de l'objet.
5. Procédé de localisation d'au moins un toucher sur une surface tactile selon la revendication 4, dans lequel chaque composante fréquentielle des ondes émises est choisie de manière à se situer à une distance fréquentielle de plus de deux fois la largeur d'un pic énergétique de résonance correspondant à une fréquence propre vibratoire quelconque de l'objet.
6. Procédé de localisation d'au moins un toucher sur une surface tactile selon la revendication 4 ou 5, dans lequel les caractéristiques du signal capté comparées aux caractéristiques de référence sont des amplitudes spectrales du signal capté auxdites composantes fréquentielles prédéterminées formant un vecteur dit « mesuré » et l'ensemble de caractéristiques de référence comporte un ensemble de vecteurs de référence associés chacun à un toucher simple ou multiple, cet ensemble de référence étant construit au cours d'une étape préalable d'apprentissage, similaire à l'étape de surveillance, lors de laquelle différents touchers simples et multiples de référence sont mesurés.
7. Procédé de localisation d'au moins un toucher sur une surface tactile selon la revendication 6, dans lequel, les vecteurs de référence étant ordonnés dans l'ensemble de référence selon la valeur de leur norme, l'étape de localisation (200) comporte les sous-étapes suivantes :
- calcul de la norme du vecteur mesuré,
- sélection d'un sous-ensemble de l'ensemble de référence représentant une plage de normes dans un voisinage prédéterminé de la norme du vecteur mesuré, et
- recherche du vecteur de référence le plus proche du vecteur mesuré dans ce sous-ensemble selon une fonction de distance prédéterminée.
8. Dispositif (10 ; 30) de localisation d'au moins un toucher sur une surface tactile (24) d'un objet (18 ; 30), comportant au moins un transducteur (E1 , E2, R1 , R2) conçu pour émettre et capter des ondes mécaniques élastiques se propageant dans la surface tactile de l'objet, et une unité centrale électronique (12, 32), reliée audit au moins un transducteur, programmée pour :
- faire propager dans la surface tactile de l'objet des ondes mécaniques élastiques à partir dudit au moins un transducteur et faire détecter lesdites ondes mécaniques élastiques par ledit au moins un transducteur pour obtenir au moins un signal capté, et
- localiser au moins un toucher sur la surface tactile de l'objet par comparaison de certaines caractéristiques spectrales du signal capté à un ensemble de caractéristiques de référence,
caractérisé en ce que l'unité centrale électronique (12, 32) est en outre programmée pour mesurer le signal capté pendant un intervalle de temps débutant au cours d'une phase transitoire de la propagation des ondes émises, pour la fourniture d'une information de rayonnement, perturbé par ledit au moins un toucher, audit au moins un point de réception.
9. Dispositif de localisation d'au moins un toucher sur une surface tactile selon la revendication 8, comportant en outre l'objet (30), sa surface tactile (24) et des moyens (P) de maintien de la surface tactile sur l'objet disposés aux voisinages de zones convexes de discontinuité de la périphérie de la surface tactile.
10. Dispositif de localisation d'au moins un toucher sur une surface tactile selon la revendication 8 ou 9, dans lequel l'unité centrale électronique (12, 32) est en outre conçue pour :
- définir au moins un tracé simple ou multiple (26 ; 50, 52, 54, 56, 58,
60) à partir d'une pluralité de touchers localisés successivement sur la surface tactile (24),
- interpréter ce tracé simple ou multiple (26 ; 50, 52, 54, 56, 58, 60) en tant que fonction prédéterminée à exécuter par comparaison de certaines caractéristiques de ce tracé à un ensemble de caractéristiques de référence.
PCT/FR2010/051369 2009-07-21 2010-06-30 Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet WO2011010037A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/386,257 US8913039B2 (en) 2009-07-21 2010-06-30 Method and device for locating at least one touch on a touch-sensitive surface of an object
JP2012521075A JP5768814B2 (ja) 2009-07-21 2010-06-30 対象物のタッチ面上の少なくとも１つのタッチ接触位置を特定する方法および装置
EP10745674A EP2457146A1 (fr) 2009-07-21 2010-06-30 Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0955065 2009-07-21
FR0955065A FR2948471B1 (fr) 2009-07-21 2009-07-21 Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet

Publications (1)

Publication Number Publication Date
WO2011010037A1 true WO2011010037A1 (fr) 2011-01-27

Family

ID=41600797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2010/051369 WO2011010037A1 (fr) 2009-07-21 2010-06-30 Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet

Country Status (5)

Country Link
US (1) US8913039B2 (fr)
EP (1) EP2457146A1 (fr)
JP (1) JP5768814B2 (fr)
FR (1) FR2948471B1 (fr)
WO (1) WO2011010037A1 (fr)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289320A (zh) * 2011-08-08 2011-12-21 刘源 可自定义显示界面范围的多点触控展示方法
EP2622441A1 (fr) * 2010-09-29 2013-08-07 BYD Company Limited Procédé pour la détection d'objet et dispositif mettant en uvre un tel procédé
EP2691841A1 (fr) * 2011-03-31 2014-02-05 Shenzhen BYD Auto R&D Company Limited Procédé d'identification d'un geste de mise à l'échelle à multiples touchers et dispositif utilisant celui-ci
EP2691839A1 (fr) * 2011-03-31 2014-02-05 Shenzhen BYD Auto R&D Company Limited Procédé d'identification de geste de translation et dispositif l'utilisant
EP2691838A1 (fr) * 2011-03-31 2014-02-05 Shenzhen BYD Auto R&D Company Limited Procédé d'identification d'un geste de rotation multicontact et dispositif utilisant ce procédé
EP2702470A2 (fr) * 2011-04-26 2014-03-05 Sentons Inc. Procédé et appareil destinés à des dispositifs tactiles à ultrasons
EP2780783A1 (fr) * 2011-11-18 2014-09-24 Sentons Inc. Détection d'une force d'entrée tactile
CN104781767A (zh) * 2012-09-14 2015-07-15 原子能及能源替代委员会 用于检测在物体的触敏表面上以预定路径形式的功能的启动的系统和方法
US9449476B2 (en) 2011-11-18 2016-09-20 Sentons Inc. Localized haptic feedback
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
US9983718B2 (en) 2012-07-18 2018-05-29 Sentons Inc. Detection of type of object used to provide a touch contact input
US10048811B2 (en) 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
US10061453B2 (en) 2013-06-07 2018-08-28 Sentons Inc. Detecting multi-touch inputs
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
US10235004B1 (en) 2011-11-18 2019-03-19 Sentons Inc. Touch input detector with an integrated antenna
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
US10386966B2 (en) 2013-09-20 2019-08-20 Sentons Inc. Using spectral control in detecting touch input
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US11009411B2 (en) 2017-08-14 2021-05-18 Sentons Inc. Increasing sensitivity of a sensor using an encoded signal
US11327599B2 (en) 2011-04-26 2022-05-10 Sentons Inc. Identifying a contact type
US11580829B2 (en) 2017-08-14 2023-02-14 Sentons Inc. Dynamic feedback for haptics

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2978570B1 (fr) 2011-07-28 2013-08-16 Commissariat Energie Atomique Systeme et procede de detection et de localisation d'une perturbation d'un milieu
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
FR2995702B1 (fr) 2012-09-14 2014-10-03 Commissariat Energie Atomique Systeme et procede de detection et de localisation d'au moins un toucher sur une surface tactile d'un objet.
US20150286341A1 (en) * 2012-11-21 2015-10-08 The Board Of Trustees Of The Leland Stanford Junior University multi-touch ultrasonic touch screen
US9618405B2 (en) * 2014-08-06 2017-04-11 Invensense, Inc. Piezoelectric acoustic resonator based sensor
US9511994B2 (en) 2012-11-28 2016-12-06 Invensense, Inc. Aluminum nitride (AlN) devices with infrared absorption structural layer
US10726231B2 (en) 2012-11-28 2020-07-28 Invensense, Inc. Integrated piezoelectric microelectromechanical ultrasound transducer (PMUT) on integrated circuit (IC) for fingerprint sensing
US10497747B2 (en) 2012-11-28 2019-12-03 Invensense, Inc. Integrated piezoelectric microelectromechanical ultrasound transducer (PMUT) on integrated circuit (IC) for fingerprint sensing
US9114977B2 (en) 2012-11-28 2015-08-25 Invensense, Inc. MEMS device and process for RF and low resistance applications
US9430098B2 (en) * 2012-12-17 2016-08-30 Apple Inc. Frequency sensing and magnification of portable device output
WO2016036427A1 (fr) * 2014-09-02 2016-03-10 Apple Inc. Dispositif électronique ayant un mécanisme d'entrée rotatif
DE202015006141U1 (de) * 2014-09-02 2015-12-14 Apple Inc. Elektronische Touch-Kommunikation
FR3035736B1 (fr) 2015-04-29 2019-08-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Systeme electronique combinable a un instrument de musique a vent pour produire des sons electroniques et instrument comprenant un tel systeme
US10139961B2 (en) 2016-08-18 2018-11-27 Microsoft Technology Licensing, Llc Touch detection using feature-vector dictionary
EP3285148A1 (fr) 2016-08-19 2018-02-21 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
EP3444016A1 (fr) * 2017-08-17 2019-02-20 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396484B1 (en) * 1999-09-29 2002-05-28 Elo Touchsystems, Inc. Adaptive frequency touchscreen controller using intermediate-frequency signal processing
US6741237B1 (en) * 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
WO2005114369A2 (fr) 2004-05-06 2005-12-01 Apple Computer, Inc. Ecran tactile multipoint
WO2006133018A2 (fr) 2005-06-08 2006-12-14 3M Innovative Properties Company Determination de localisation d'effleurement impliquant de multiples processus de localisation d'effleurement
US20070109280A1 (en) * 2005-11-15 2007-05-17 Tyco Electronics Raychem Gmbh Apparatus and method for reporting tie events in a system that responds to multiple touches
WO2008085785A2 (fr) 2007-01-03 2008-07-17 Apple Inc. Distinction entre des entrées sur un dispositif multipoint
WO2008085759A2 (fr) 2007-01-07 2008-07-17 Apple Inc. Fusion de données d'écran tactile multipoint
WO2008085784A2 (fr) 2007-01-03 2008-07-17 Apple Inc. Dictionnaire des gestes pour interface tactile multipoint
WO2008142345A2 (fr) 2007-05-23 2008-11-27 Institut Pour Le Developpement De La Science, L'education Et La Technologie - I.D.S.E.T. Procede pour localiser un toucher sur une surface et dispositif pour la mise en oeuvre de ce procede.
WO2009147398A2 (fr) * 2008-06-04 2009-12-10 Elliptic Laboratories As Localisation d'objet

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162618A (en) * 1990-11-16 1992-11-10 Exzec, Inc. Acoustic touch position sensor with first order lamb wave reflective arrays
KR940001227A (ko) * 1992-06-15 1994-01-11 에프. 제이. 스미트 터치 스크린 디바이스
JPH07306746A (ja) * 1994-03-15 1995-11-21 Fujitsu Ltd 超音波座標入力装置
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
FR2811107B1 (fr) * 2000-06-29 2002-10-18 Jean Pierre Nikolovski Plaque acoustique interactive de precision
GB0116310D0 (en) * 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US7277087B2 (en) * 2003-12-31 2007-10-02 3M Innovative Properties Company Touch sensing with touch down and lift off sensitivity
US7411584B2 (en) * 2003-12-31 2008-08-12 3M Innovative Properties Company Touch sensitive device employing bending wave vibration sensing and excitation transducers
US20060097996A1 (en) * 2004-11-10 2006-05-11 Alps Electric Co., Ltd. Input device
US20060139339A1 (en) * 2004-12-29 2006-06-29 Pechman Robert J Touch location determination using vibration wave packet dispersion
US7499039B2 (en) * 2005-01-10 2009-03-03 3M Innovative Properties Company Iterative method for determining touch location
JP2006227712A (ja) * 2005-02-15 2006-08-31 Nec Infrontia Corp 電子機器
US20080198145A1 (en) * 2007-02-20 2008-08-21 Knowles Terrence J Acoustic wave touch actuated system
FR2948787B1 (fr) * 2009-07-29 2011-09-09 Commissariat Energie Atomique Dispositif et procede de localisation d'un contact localement deformant sur une surface tactile deformable d'un objet
US8519982B2 (en) * 2010-06-21 2013-08-27 Sony Corporation Active acoustic touch location for electronic devices

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396484B1 (en) * 1999-09-29 2002-05-28 Elo Touchsystems, Inc. Adaptive frequency touchscreen controller using intermediate-frequency signal processing
US6741237B1 (en) * 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
WO2005114369A2 (fr) 2004-05-06 2005-12-01 Apple Computer, Inc. Ecran tactile multipoint
WO2006133018A2 (fr) 2005-06-08 2006-12-14 3M Innovative Properties Company Determination de localisation d'effleurement impliquant de multiples processus de localisation d'effleurement
US20070109280A1 (en) * 2005-11-15 2007-05-17 Tyco Electronics Raychem Gmbh Apparatus and method for reporting tie events in a system that responds to multiple touches
WO2008085785A2 (fr) 2007-01-03 2008-07-17 Apple Inc. Distinction entre des entrées sur un dispositif multipoint
WO2008085784A2 (fr) 2007-01-03 2008-07-17 Apple Inc. Dictionnaire des gestes pour interface tactile multipoint
WO2008085759A2 (fr) 2007-01-07 2008-07-17 Apple Inc. Fusion de données d'écran tactile multipoint
WO2008142345A2 (fr) 2007-05-23 2008-11-27 Institut Pour Le Developpement De La Science, L'education Et La Technologie - I.D.S.E.T. Procede pour localiser un toucher sur une surface et dispositif pour la mise en oeuvre de ce procede.
WO2009147398A2 (fr) * 2008-06-04 2009-12-10 Elliptic Laboratories As Localisation d'objet

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2457146A1 *

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2622441A4 (fr) * 2010-09-29 2014-09-17 Byd Co Ltd Procédé pour la détection d'objet et dispositif mettant en uvre un tel procédé
EP2622441A1 (fr) * 2010-09-29 2013-08-07 BYD Company Limited Procédé pour la détection d'objet et dispositif mettant en uvre un tel procédé
EP2691841A1 (fr) * 2011-03-31 2014-02-05 Shenzhen BYD Auto R&D Company Limited Procédé d'identification d'un geste de mise à l'échelle à multiples touchers et dispositif utilisant celui-ci
EP2691839A1 (fr) * 2011-03-31 2014-02-05 Shenzhen BYD Auto R&D Company Limited Procédé d'identification de geste de translation et dispositif l'utilisant
EP2691838A1 (fr) * 2011-03-31 2014-02-05 Shenzhen BYD Auto R&D Company Limited Procédé d'identification d'un geste de rotation multicontact et dispositif utilisant ce procédé
EP2691838A4 (fr) * 2011-03-31 2014-10-01 Shenzhen Byd Auto R & D Co Ltd Procédé d'identification d'un geste de rotation multicontact et dispositif utilisant ce procédé
EP2691839A4 (fr) * 2011-03-31 2014-09-17 Shenzhen Byd Auto R & D Co Ltd Procédé d'identification de geste de translation et dispositif l'utilisant
EP2691841A4 (fr) * 2011-03-31 2014-09-10 Shenzhen Byd Auto R & D Co Ltd Procédé d'identification d'un geste de mise à l'échelle à multiples touchers et dispositif utilisant celui-ci
US11907464B2 (en) 2011-04-26 2024-02-20 Sentons Inc. Identifying a contact type
KR20140060259A (ko) * 2011-04-26 2014-05-19 센톤스 아이엔씨. 활성 초음파 터치 디바이스들을 위한 방법 및 장치
KR101918009B1 (ko) 2011-04-26 2019-01-29 센톤스 아이엔씨. 활성 초음파 터치 디바이스들을 위한 방법 및 장치
EP2702470A2 (fr) * 2011-04-26 2014-03-05 Sentons Inc. Procédé et appareil destinés à des dispositifs tactiles à ultrasons
US11327599B2 (en) 2011-04-26 2022-05-10 Sentons Inc. Identifying a contact type
EP2702470A4 (fr) * 2011-04-26 2015-04-22 Sentons Inc Procédé et appareil destinés à des dispositifs tactiles à ultrasons
US10969908B2 (en) 2011-04-26 2021-04-06 Sentons Inc. Using multiple signals to detect touch input
US10877581B2 (en) 2011-04-26 2020-12-29 Sentons Inc. Detecting touch input force
US9477350B2 (en) 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
US10444909B2 (en) 2011-04-26 2019-10-15 Sentons Inc. Using multiple signals to detect touch input
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
CN102289320A (zh) * 2011-08-08 2011-12-21 刘源 可自定义显示界面范围的多点触控展示方法
US9099971B2 (en) 2011-11-18 2015-08-04 Sentons Inc. Virtual keyboard interaction using touch input force
US10698528B2 (en) 2011-11-18 2020-06-30 Sentons Inc. Localized haptic feedback
EP2780783A1 (fr) * 2011-11-18 2014-09-24 Sentons Inc. Détection d'une force d'entrée tactile
US10055066B2 (en) 2011-11-18 2018-08-21 Sentons Inc. Controlling audio volume using touch input force
US11829555B2 (en) 2011-11-18 2023-11-28 Sentons Inc. Controlling audio volume using touch input force
EP2780783A4 (fr) * 2011-11-18 2014-11-05 Sentons Inc Détection d'une force d'entrée tactile
US11209931B2 (en) 2011-11-18 2021-12-28 Sentons Inc. Localized haptic feedback
CN107562281A (zh) * 2011-11-18 2018-01-09 森顿斯公司 检测触摸输入力
US11016607B2 (en) 2011-11-18 2021-05-25 Sentons Inc. Controlling audio volume using touch input force
US10235004B1 (en) 2011-11-18 2019-03-19 Sentons Inc. Touch input detector with an integrated antenna
US10248262B2 (en) 2011-11-18 2019-04-02 Sentons Inc. User interface interaction using touch input force
US9449476B2 (en) 2011-11-18 2016-09-20 Sentons Inc. Localized haptic feedback
US10353509B2 (en) 2011-11-18 2019-07-16 Sentons Inc. Controlling audio volume using touch input force
CN107562281B (zh) * 2011-11-18 2020-12-22 森顿斯公司 检测触摸输入力
US10732755B2 (en) 2011-11-18 2020-08-04 Sentons Inc. Controlling audio volume using touch input force
US9594450B2 (en) 2011-11-18 2017-03-14 Sentons Inc. Controlling audio volume using touch input force
US9983718B2 (en) 2012-07-18 2018-05-29 Sentons Inc. Detection of type of object used to provide a touch contact input
US10860132B2 (en) 2012-07-18 2020-12-08 Sentons Inc. Identifying a contact type
US10466836B2 (en) 2012-07-18 2019-11-05 Sentons Inc. Using a type of object to provide a touch contact input
US10209825B2 (en) 2012-07-18 2019-02-19 Sentons Inc. Detection of type of object used to provide a touch contact input
CN104781767B (zh) * 2012-09-14 2018-02-09 原子能及能源替代委员会 用于检测在物体的触敏表面上以预定路径形式的功能的启动的系统和方法
CN104781767A (zh) * 2012-09-14 2015-07-15 原子能及能源替代委员会 用于检测在物体的触敏表面上以预定路径形式的功能的启动的系统和方法
US10061453B2 (en) 2013-06-07 2018-08-28 Sentons Inc. Detecting multi-touch inputs
US10386966B2 (en) 2013-09-20 2019-08-20 Sentons Inc. Using spectral control in detecting touch input
US10048811B2 (en) 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US10509515B2 (en) 2016-12-12 2019-12-17 Sentons Inc. Touch input detection with shared receivers
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US10444905B2 (en) 2017-02-01 2019-10-15 Sentons Inc. Update of reference data for touch input detection
US11061510B2 (en) 2017-02-27 2021-07-13 Sentons Inc. Detection of non-touch inputs using a signature
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
US11262253B2 (en) 2017-08-14 2022-03-01 Sentons Inc. Touch input detection using a piezoresistive sensor
US11009411B2 (en) 2017-08-14 2021-05-18 Sentons Inc. Increasing sensitivity of a sensor using an encoded signal
US11340124B2 (en) 2017-08-14 2022-05-24 Sentons Inc. Piezoresistive sensor for detecting a physical disturbance
US11435242B2 (en) 2017-08-14 2022-09-06 Sentons Inc. Increasing sensitivity of a sensor using an encoded signal
US11580829B2 (en) 2017-08-14 2023-02-14 Sentons Inc. Dynamic feedback for haptics

Also Published As

Publication number Publication date
EP2457146A1 (fr) 2012-05-30
FR2948471A1 (fr) 2011-01-28
JP2012533810A (ja) 2012-12-27
US8913039B2 (en) 2014-12-16
US20120120014A1 (en) 2012-05-17
FR2948471B1 (fr) 2016-02-26
JP5768814B2 (ja) 2015-08-26

Similar Documents

Publication Publication Date Title
EP2457146A1 (fr) Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet
US11017251B2 (en) Ultrasonic imaging devices and methods
EP2150882B1 (fr) Procede pour localiser un toucher sur une surface et dispositif pour la mise en oeuvre de ce procede.
EP3095071B1 (fr) Imagerie ultrasonore à cavité de résonance acoustique
US9465461B2 (en) Object detection and tracking with audio and optical signals
JP5095811B2 (ja) 移動通信装置及び該移動通信装置のための入力装置
US20170323130A1 (en) Bidirectional ultrasonic sensor system for biometric devices
FR2948787A1 (fr) Dispositif et procede de localisation d'un contact localement deformant sur une surface tactile deformable d'un objet
CN105745669A (zh) 移动装置中的用户验证生物计量技术
EP2581814A1 (fr) Procédé de détection d'un événement tactile personnalisé et dispositif correspondant
FR2995702A1 (fr) Systeme et procede de detection et de localisation d'au moins un toucher sur une surface tactile d'un objet.
FR3002052A1 (fr) Procede et dispositif pour naviguer dans un ecran d'affichage et appareil comprenant une telle navigation
FR3003964A1 (fr) Dispositif pour interagir, sans contact, avec un appareil electronique et/ou informatique, et appareil equipe d'un tel dispositif
EP3625656B1 (fr) Dispositif de saisie à base tactile
Pätzold et al. Audio-based roughness sensing and tactile feedback for haptic perception in telepresence
US20240127620A1 (en) Apparatus and method for ultrasonic fingerprint and touch sensing
EP4357947A2 (fr) Detecteur d'empreintes digitales configure pour eviter des empreintes digitales latentes
EP2737389A1 (fr) Systeme et procede de detection et de localisation d'une perturbation d'un milieu
EP2895939B1 (fr) Systeme et procede de detection de l'actionnement d'une fonction materialisee par un trajet predetermine sur une surface tactile d'un objet
EP4252101A1 (fr) Dispositif de detection d'element sans contact
EP3239901A1 (fr) Procédé d'identification des gestes élémentaires d'un mouvement et système mettant en oeuvre un tel procédé
Björn Differentiation and classification of different materials on a touch-screen using a piezoelectric contact microphone
FR2997771A1 (fr) Procede de detection sans contact d'une cible par rayonnement d'infrarouge et son dispositif de mise en oeuvre

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10745674

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010745674

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012521075

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13386257

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE