WO2009121199A1 - Procede et dispositif pour realiser une surface tactile multipoints a partir d'une surface plane quelconque et pour detecter la position d'un objet sur une telle surface - Google Patents

Procede et dispositif pour realiser une surface tactile multipoints a partir d'une surface plane quelconque et pour detecter la position d'un objet sur une telle surface Download PDF

Info

Publication number
WO2009121199A1
WO2009121199A1 PCT/CH2009/000112 CH2009000112W WO2009121199A1 WO 2009121199 A1 WO2009121199 A1 WO 2009121199A1 CH 2009000112 W CH2009000112 W CH 2009000112W WO 2009121199 A1 WO2009121199 A1 WO 2009121199A1
Authority
WO
WIPO (PCT)
Prior art keywords
plane
flat surface
identifier
visual
light
Prior art date
Application number
PCT/CH2009/000112
Other languages
English (en)
Inventor
Alain Crevoisier
Original Assignee
Heig-Vd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heig-Vd filed Critical Heig-Vd
Publication of WO2009121199A1 publication Critical patent/WO2009121199A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Definitions

  • the present invention relates to a method for producing a multi-point tactile surface from any flat surface and for detecting at least one elongated object touching said surface, and / or at least one control element or an active area of a visual medium planar input device disposed on said surface, in which a light plane substantially parallel to the plane surface is generated and in which said flat surface is filmed by means of at least one video camera for at least the time interval where the elongate object intercepts said light plane.
  • It also relates to a device for producing a multi-point tactile surface from any flat surface and for detecting at least one elongate object touching said surface, and / or at least one control element or an active zone of at least one support planar input video device disposed on said surface, said device comprising means arranged to generate a light plane substantially parallel to the planar surface, and at least one video camera overhanging said planar surface and arranged to film it for at least the interval of time when the elongated object intercepts said light plane.
  • 7,268,692 B1 discloses a method and a device for detecting the position of a person's hand on a flat surface, this device comprising lighting means located in a first edge of the two-dimensional surface and at the minus a detector disposed in front of the hand which detects the light reflected by the person's hand in order to determine its position with respect to an imaginary network associated with the surface.
  • This embodiment is complex and requires the installation of a frame around the surface with the creation of a kind of imaginary curtain disposed in front of the surface and which allows to locate the positions of the hand.
  • EP 0 982 676 A1 Another device is described by the European publication EP 0 982 676 A1 which uses two lasers performing a scan of the surface. When the rays intercept an obstacle, the angle of each of the laser beams is measured and the position is determined by triangulation. This device requires the presence of two sensors placed right next to the laser emitters to detect the rays reflected by the obstacles. It only detects one point of contact at a time.
  • the European publication EP 1 215 621 A2 relates to a device comprising a single illumination laser for illuminating a surface that is to be touched and which sweeps this surface about fifty times per second.
  • the detection of the impact of an obstacle that is to say the determination of the moment and the position of the impact, is carried out by measuring the angle and time of movement of the reflected ray.
  • This device uses an articulated mirror that allows the laser beam to perform the required scan.
  • US Pat. No. 7,215,327 B2 relates to a system with two lasers, one of which is arranged in height to draw a keyboard on a surface that it is desired to make touch, and the second of which is arranged flush with the surface to detect the virtual keys pressed.
  • the device uses articulated mirrors, in the form of multi-faceted rotary mirrors, which allow the laser beams to scan the surface. The position of the obstacles is calculated according to a method for measuring the differences between the two beams.
  • the international publication WO02 / 054169 relates to a method and a data input device comprising an illumination module generating a light plane and a camera and intended to define a virtual keyboard whose dimensions and position are well defined.
  • the detection method is based on a flow analysis in the image, in order to determine the speed of the end of the fingers.
  • the system selects the finger with the highest speed as the one hitting the surface.
  • This process relies on acoustic sensors and detects only typing movements and one point at a time.
  • the emitted acoustic signal is only used as a "switch" and there is no measurement of intensity or measurement of the x, y position of the object in the physical plane.
  • Publication US 2004/0004600 relates to a device in which, when an impact is detected by the acoustic sensor, the system measures the position at the end of a stick or a finger pointing to the surface.
  • This device can only be used to simulate a mouse.
  • the process used in this device also depends on acoustic sensors and detects only the typing movements and only one point at a time. In addition the detection of dragged movements requires typing three or four times on the surface to engage the corresponding mode.
  • the detection principle described in the publication WO 03/046706 is similar to that of the publication WO 2007/144014, namely the analysis of the speeds at the ends of the fingers, associated with a signal coming from the acoustic sensors.
  • the acoustic and visual data are synchronized with each other by the use of a "synchronizer", which involves a common temporal reference between the two types of signals.
  • Our method eliminates the need for a common temporal reference, the acoustic and visual system each having their own independent clock.
  • the present invention proposes to overcome the disadvantages of known systems by allowing to be used for larger surfaces, without using a laser that would be too powerful to be able to comply with safety standards. It also makes it possible to transform any moving plane surface into a control and data entry interface, in particular by the use of removable visual media representing virtual input interfaces.
  • the device according to the invention is simple and effective, it can be easily implemented and also makes it possible to detect several contact points at the same time (multipoint), to determine the real coordinates x and y of the object on the plane. physical, and to make any movements (slipped and struck) on the surface.
  • the information given by the acoustic sensors is optional and only serves to measure the intensity of the impacts and their degree of hardness, ie if they were caused by the end of a hard or soft object, when this is desirable and in the particular case of struck type movements.
  • the position of said object is detected at the moment of contact with said plane surface or at least one identifier of said visual medium.
  • the coordinates of the contact point or the identifier are determined to define its position, in that the position of the detected contact point or the identifier is transformed so as to establish the correspondence between the points of an image plane virtually represented by said plane surface or said input visual medium and the points of the physical plane of that surface or said input visual medium, and in that it is associated with said physical plane or visual input support of physical and / or programmed actions.
  • At least one structured light source is used to generate a light plane parallel to the plane surface and to detect the position of said elongate object when it intercepts said light plane.
  • an unstructured light source is used to detect the position of at least one identifier of the input visual medium. It also determines the orientation of said identifier of said input visual medium and the position of the contour of this support.
  • the coordinates of the detected contact point or the identifier can be determined by a geometric method called "homographic projection" or by bilinear interpolation.
  • the shutter speed of the camera is synchronized with the transmission frequency of the structured light source used to generate the light plane parallel to the plane surface.
  • at least one acoustic sensor is used to determine the moment, the intensity and the hardness of the impact of the object with said flat surface and the hardness index is determined. impact by the ratio of the energy of the acoustic signal according to two distinct frequency bands.
  • films are made by means of at least one video camera disposed behind said flat surface.
  • the device according to the invention as defined in the preamble and characterized in that it further comprises means arranged to detect the position of said object at the time of contact with said flat surface, or of at least one identifier of the input visual medium, and for determining the coordinates of the contact point or the identifier, means arranged to transform the position of the detected contact point or identifier so as to establish the correspondence between the points of an image plane virtually represented by said plane surface or said input visual medium and the points of the physical plane of this surface or of said visual input medium, and means arranged to associate with said physical plane or the visual medium physical and / or programmed actions.
  • the means arranged to generate a light plane comprise at least one fixed illumination module arranged to generate a flat beam of structured light parallel to said flat surface.
  • Said structured light beam may advantageously be formed by at least one laser beam emitter.
  • the means arranged to generate a light plane also comprise an unstructured light source illuminating the visual input medium disposed on said flat surface.
  • said unstructured light source is formed by infrared light-emitting diodes integral with the optics of the video camera.
  • Said means for transforming the position of the detected contact point so as to establish the correspondence between the point of the image plane and the point of the physical plane advantageously include a computer or a dedicated control box arranged to apply a geometric method called "projection homographic "or bilinear interpolation.
  • the means arranged to determine the moment, the intensity and the index of hardness of the impact of the object with said flat surface may comprise at least one acoustic sensor.
  • an illumination module comprises at least one structured light emitter, at least one acoustic sensor, at least one connector arranged to establish the connection with the computer or the dedicated control box and an optional adjustable micromirror arranged for reflecting the structured light beam for directing it onto a line generator arranged to generate a light plane parallel to the planar surface.
  • said at least one illumination module is fixed on said flat surface so as to ensure good acoustic coupling.
  • the means arranged to generate a light plane comprises at least two illumination modules arranged at two opposite angles of said flat surface.
  • the device comprises at least two video cameras overhanging said plane surface, said cameras are integral with an illumination module and arranged to determine the position of the contact points on said plane surface by triangulation
  • Said at least one video camera is preferably disposed in front of said planar surface.
  • the video camera can be arranged behind said flat surface.
  • said means for associating said physical plane or visual input medium with physical and / or programmed actions are arranged to associate actions of the sound, visual or any other type.
  • FIGS. 1A and 1B are flowcharts defining the main steps of the method according to the invention.
  • FIGS. 2A and 2B are diagrammatic plan and elevational views respectively of a first embodiment of the device according to the invention.
  • FIG. 3 is a diagrammatic view of a laser illumination module and components that are complementary to the device of FIG. 2,
  • FIGS. 4A, 4B and 4C are views of a second embodiment of the device according to the invention
  • FIG. 5 is a plan view of an exemplary embodiment of a visual input medium of the device of FIGS. 4,
  • FIGS. 6A and 6B are diagrammatic views respectively in plan and in elevation of a third embodiment of the device according to the invention.
  • Figure 7 is a schematic view of an illumination module equipping the device of Figures 6A and 6B.
  • the basic method by which a multi-touch surface can be made from any flat surface proceeds substantially in the manner described hereinafter.
  • the flat surface that is to be touched is illuminated by creating a light plane of small thickness parallel to this surface.
  • a user then moves an object, for example his or her fingers, into contact with the touch-touched surface, so that they intercept the light plane, the light being reflected forward by creating light spots on the end of the object or fingers.
  • a light-sensitive video camera used to illuminate the surface, such as infrared films the scene that records the position of the light spots.
  • the image is then filtered to isolate the light spots, by subtracting the background, filtering the color, applying a brightness threshold, etc.
  • a spot detection algorithm calculates their position in the image.
  • the position of the detected contact points is transformed according to a geometric method called "homography” or "homographic projection” or by bilinear interpolation so as to establish the correspondence between the points of the image plane and the points of the physical plane on the surface.
  • the binary interpolation transformation consists of the following steps: for each point in the image, the three closest calibration points determined beforehand with a calibration grid are searched for, the area of the triangle formed by these three points is then calculated, together with the area of the three sub-triangles of the pyramid formed by these three points and the current point, the ratio of the total area to the sub-triangles, we look for the three corresponding points in the calibration grid and the current real point is calculated so that the ratio of the areas of the sub-triangles is respected.
  • This transformation has the advantage not only of establishing the conversion of the image points but also of compensating the distortion of the image.
  • Software then makes it possible to configure the surface by defining zones with associated sound, visual and / or programmed actions.
  • Step 100 start of the process.
  • Step 110 Detection of transients in the signal from one or more acoustic sensors.
  • a finger or an elongated object strikes the flat surface, a sudden change in acoustic energy is discernible in the signal from the acoustic sensors, thereby detecting the moment of impact.
  • it is a reverberant material it is advantageous to perform this detection in a higher frequency band, typically between 5 and 20 KHz.
  • Step 120 Detecting an impact.
  • Step 130 calculation of the signal energy in two distinct frequency bands, one in the mid-range, for example between 200 and 600 Hz, and the other in the treble, for example between 5 and 20 KHz.
  • Step 140 calculates the ratio of the energy of the high frequency band to that of the mid band so as to determine the hardness factor impact.
  • This factor gives an indication if the impact was caused by a hard or soft object.
  • the intensity of the impact is determined as being proportional to the energy of the acoustic signal calculated for the medium frequency band.
  • This band is chosen so as to give a homogeneous measurement whatever the hardness or the softness of the object by which it was caused (for example the pulp of the finger or the nail).
  • Step 150 send to a management system the characteristics of the impact, namely the intensity and the hardness factor.
  • Step 200 start of the process.
  • Step 300 determining the position of the contact points of fingers or elongate objects with any flat surface and calculation of their positions in the physical plane, that is to say in the plane represented by this flat surface. This step may be carried out according to the techniques known from the state of the art or according to the method described above.
  • Step 310 Detecting an impact.
  • Step 320 acquisition of the impact characteristics determined in step 150 of the acoustic method. These characteristics indicate the intensity of the impact and whether it was caused by a hard or soft object. If no impact has been detected, this means that there is no point of contact on the surface or that there are a number of contact points but that these are immobile or perform movements of the type slipped on the surface, or that they approached the surface with a sufficiently low speed not to hit it.
  • Step 400 identification of the input visual medium disposed on the flat surface by means of the identifier or identifiers it carries.
  • This identification can be performed with optical or magnetic sensors according to methods known per se.
  • Optical identification methods generally provide the identity, position, and orientation of the identifier, whereas the most advanced magnetic methods only provide identity and position.
  • orientation information can be inferred if the input visual medium comprises at least two magnetic identifiers.
  • Step 410 Retrieving, from a database, the characteristics of the input visual media present on the surface, based on the list of detected identifiers, established in the previous step. These characteristics comprise the dimensions of the support, the position of the identifier relative to this support, as well as the configuration of the graphical representation of the object represented on this input support comprising the active zone position and the list of commands. , data or information that is associated with these areas.
  • Step 420 Determining the position and contour of the input medium from the identifier information.
  • the first solution is to use only the information on the position of the identifier.
  • the support contour is optically determined by a related method known per se, such as edge detection. When a contour is detected, its position is compared with that of the identifier or identifiers detected in step 400, so as to establish a correspondence. Furthermore, by virtue of the information on the relative position of the identifier with respect to the input visual medium given in step 410, it is possible to know the orientation of the medium, provided that the identifier is not not located in the center of the support.
  • the second solution is to use further information on the rotation of the identifier. In this case, the outline of the visual medium input is established solely on the basis of knowledge of the position of the identifier with respect to that medium.
  • Step 500 checking the position of each point of contact determined in step 300, to define whether this position is within the contour of the input medium, as established in step 420.
  • Step 510 Calculation of the position of the contact point with respect to the input medium.
  • Step 520 determining the correspondence of this point of contact with an active zone of the graphical representation of the input medium.
  • Step 530 checking the novelty of the contact point.
  • Step 540 association at this point of contact with the impact characteristics defined in step 320 (if available). Indeed, if the object or the finger corresponding to the detected contact point approached the surface with a low speed, a new point of contact will be established without any impact on the surface.
  • Step 550 sending to the main program of the computer, or to a programmable machine, data or commands associated with the selected active area, and triggering physical and / or programmed actions related to the object represented on the visual support 'Entrance.
  • Step 560 verification of the points of contact remaining to be treated.
  • the device 10 as shown by way of example in FIGS. 2A and 2B and intended to implement the method as described above, comprises a substantially rectangular flat surface 11 that one wants to make interactive by rendering it interactive. and associated with means arranged to generate a light plane 13 in the form of at least one and preferably at least two fixed illumination modules 12 generating a flat beam of structured light parallel to said flat surface 11.
  • illumination modules 12 are placed in the upper corners of the flat surface 11.
  • the device 10 further comprises at least one video camera 16 overhanging the planar surface 11 which is designed to film the image of the surface and objects or fingers that come into play.
  • the video camera 16 is a light-sensitive sensor which is emitted by the illumination modules 12 and which is intercepted by the moving objects coming into contact with said flat surface 11. This single camera can be replaced by two or more video cameras to reduce the problem of occlusion, one of the fingers can hide another.
  • the illumination module 12 represented, which constitutes a structured light source, whose transmission frequency is synchronized with the shutter speed of the camera 16, comprises , in addition to at least one laser beam transmitter 20, at least one acoustic sensor 21 which makes it possible to determine the precise moment of contact of an elongated object with the surface and to measure the characteristics of the impacts during this type of movement.
  • the other integrated components are at least one connector 22, arranged to establish a connection with the computer 14 or the dedicated control box 15, and an optional micromirror 23 mechanically or electronically adjustable, arranged to reflect the laser beam in order to direct it on a line generator 24 which illuminates the entire flat surface 11.
  • the illumination modules 12 placed in the upper corners of the flat surface 11 manage all the following functions: - the connection of the video camera and the second illumination module 12 by the connector 22, ie control of the power supply of the laser 20 and the adjustment of its power, safety management, in particular by the use of microcontacts (not shown) arranged under the housing of a module, the control of the alignment of the laser plane by the use of the electronic or mechanical micro-mirror 23, - the synchronization of the engagement of the laser 20 with the shutter of the camera 16, the detection of the vibrations on the interactive surface 11 by the use of the piezoelectric sensors 21, with a view to their treatment according to the method described with reference to FIG. flowchart 1A,
  • the illumination modules 12 preferably have a small footprint to be integrated in commercial products such as a touch table for example and are equipped with multiple attachment devices for temporary or permanent attachment to a surface to ensure a good acoustic coupling.
  • the presence of two illumination modules makes it possible to provide complete illumination of the flat surface 11 by illuminating it completely by means of a luminous plane.
  • the camera 16 makes it possible to detect an object on the illuminated surface and the computer 14 or the dedicated control box 15 is arranged to execute the algorithms making it possible to calculate the positions on the physical plane of the detected points which constitute tactile zones with which are associated functions.
  • the detection of the positions on the image plane is also performed by the computer 14 or the control box 15 but can also be done by the camera using a camera provided with integrated data processing.
  • FIGS. 4A, 4B and 4C show another preferred embodiment of the device according to the invention in which at least one removable input visual medium, as illustrated by FIG. 5 and representing a virtual input interface, is disposed on the flat surface of this device 100.
  • a support is used for example to introduce data into a computer or to control certain processes, especially to interact with computer programs.
  • This support 30 comprises on its upper face a graphic representation of an object 31 which represents a virtual input interface, such as for example a computer keyboard, a piano keyboard, a menu, a set of icons, a table mixer, or any image to be selected as a simple button. It further comprises an identifier 32 of the visual or magnetic type.
  • this identifier can be confused with the graphical representation of the object 31 which then acts as an identifier.
  • the graphic representation of the object 31, a musical keyboard in the illustrated example is provided with active zones 33, representing keys, buttons and a modulation wheel in this example, which are associated commands, data or information generally. intended to be sent to a computer or a programmable machine.
  • the support 30 is preferably thin and flat and arranged to be placed between the flat surface 11 and the light beam 13.
  • This device 100 is composed of the same elements as those of the device 10 described with reference to FIGS. 2A and 2B. These elements carry the same reference numbers and have the same function as those of the device 10. Consequently, this device 100 comprises a plane surface 11 associated with means arranged to generate a light plane in the form of two fixed illumination modules. 12 generating a flat beam of structured light 13 parallel to said planar surface 11.
  • the illumination modules 12 are connected to a computer 14 or to a dedicated control box 15 or the like in a manner known per se.
  • a video camera 16 overhangs the flat surface 11 and is designed to film the image of the surface and objects or fingers that come into contact with that surface.
  • the device 100 further comprises an unstructured light source 17 associated with the camera 16.
  • This unstructured light source 17 is used for the detection of the identifier 32 of the input visual medium 30 placed on the flat surface 11.
  • the two modules 12 are grouped together in a single module in the form of a bar 112 to which are fixed two video cameras 16.
  • This illumination bar 112 comprises, in the embodiment illustrated, four laser beam emitters 20 and two acoustic sensors 21.
  • the unstructured light source 17 completing the illumination means of the device is in the form of infrared light emitting diodes (LEDs) disposed on either side of the optics of the two cameras 16.
  • LEDs infrared light emitting diodes
  • the variant illustrated by the device 10 'of FIGS. 6A and 6B also comprises two video cameras integrated in the illumination modules 12', designed to film the image of the flat surface 11 and objects which come into contact with said surface.
  • the two illumination modules 12' defining the light plane 13 ' are arranged vertically and placed in the upper corners of the flat surface 11', preferably at an angle of 45 ° with respect to the edges of said surface .
  • This arrangement makes it possible to determine the position of the contact points 26 of an elongated object on said flat surface 11 'by triangulation but can also be carried out by bilinear interpolation. This calculation can be done by a personal computer or by an embedded system.
  • Each illumination module 12 'of this device 10' comprises, like the illumination module 12 described with reference to FIG. 3, a laser beam emitter 20 'and at least one an acoustic sensor 21 'disposed on the face of the illumination module in contact with the flat surface 11' to establish a good acoustic coupling.
  • This illumination module 12 ' is further provided with a camera 25 disposed in its upper part and arranged to allow a calculation of the contact positions 26 by triangulation using the angle of incidence to determine the correspondence of the points in each image, when several contact points are simultaneously present on the area.
  • the angles of incidence are given by ⁇ -1 and 02. This principle is also applicable for the device of FIG. 4C.
  • the device according to the invention can be used in many applications.
  • the touch surface can control a synthesizer.
  • the tactile areas of the flat surface or visual input media correspond to sounds reproduced by instruments.
  • the touch surface may also be associated with the projection of an image of a screen to display the correspondence between the touch zones and functions of the device, for example the generation of musical sounds.
  • a particular visual medium can be represented in the form of a grid with boxes or regions of different sizes, differentiated by lines of color or different thickness.
  • Virtual control elements displayed on the screen such as buttons, buttons, linear or rotary potentiometers, are aligned on an identical grid.
  • a single visual support is sufficient for a set of virtual control interfaces, the grid for defining the correspondence between the physical plane and the virtual plane displayed on the screen.
  • Associated software makes it possible to define the control interfaces by displaying such control elements on the screen.
  • the device can also be used without a flat surface, for example by directing the light plane vertically. In this case, the actions are triggered simply by intercepting the light plane with the fingers or elongated objects.
  • the flat surface may also be the surface of a percussion instrument, such as a timpani or drum, to create an electronically augmented percussion instrument.
  • the device according to the invention can also be used for applications in the field of games, graphics, office automation, or as a device of the virtual keyboard type or data entry device or control for computers or machines programmable.

Abstract

L'invention concerne un procédé et un dispositif pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque et pour détecter un objet sur une telle surface et/ou au moins un élément de contrôle d'au moins un support visuel d'entrée plan disposé sur cette surface, dans lequel on éclaire la surface et l'on détecte la position de l'objet ou d'un identificateur du support visuel d'entrée. Le dispositif (100) comporte une surface plane sensiblement rectangulaire (11) associée à deux modules d'illumination (12) émettant de la lumière structurée et placés dans les angles supérieurs de cette surface plane (11) pour générer un plan lumineux parallèle (13) à la surface plane (11). Une caméra vidéo (16) surplombe la surface plane et est agencée pour la filmer pendant au moins l'intervalle de temps où un objet mobile intercepte le plan lumineux (13). Cette caméra est associée à une source de lumière non structurée (17) permettant la détection de l'identificateur (32) du support d'entrée (30). La détection de la position de l'objet au moment d'un contact avec la surface plane (11) et la détermination de la position des points de contact se fait par "projection homographique" ou par interpolation bilinéaire par l'intermédiaire d'un ordinateur (14) ou d'un boîtier de contrôle dédié (15).

Description

PROCEDE ET DISPOSITIF POUR REALISER UNE SURFACE TACTILE MULTIPOINTS A PARTIR D'UNE SURFACE PLANE QUELCONQUE ET POUR DETECTER LA POSITION D'UN OBJET SUR UNE TELLE SURFACE
Domaine technique
La présente invention concerne un procédé pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque et pour détecter au moins un objet allongé touchant ladite surface, et/ou au moins un élément de contrôle ou une zone active d'un support visuel d'entrée plan disposé sur ladite surface, dans lequel on génère un plan lumineux sensiblement parallèle à la surface plane et dans lequel l'on filme ladite surface plane au moyen d'au moins une caméra vidéo pendant au moins l'intervalle de temps où l'objet allongé intercepte ledit plan lumineux.
Elle concerne également un dispositif pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque et pour détecter au moins un objet allongé touchant ladite surface, et/ou au moins un élément de contrôle ou une zone active d'au moins un support visuel d'entrée plan disposé sur ladite surface, ledit dispositif comportant des moyens agencés pour générer un plan lumineux sensiblement parallèle à la surface plane, et au moins une caméra vidéo surplombant ladite surface plane et agencée pour la filmer pendant au moins l'intervalle de temps où l'objet allongé intercepte ledit plan lumineux.
Technique antérieure La détection de la position de contact des doigts ou d'objets allongés tels que des crayons, des baguettes ou similaires avec une surface, notamment une surface plane, est généralement complexe. De surcroît, il est difficile de détecter simultanément la position de contact de plusieurs objets allongés et de suivre leur déplacement en continu. Enfin, cette détection ne peut habituellement être faite qu'avec des surfaces spécifiques et non en liaison avec n'importe quelle surface plane telle que par exemple, la surface d'une table, d'un mur, d'un écran ou similaire. On connaît par le brevet US 7 268 692 B1 un procédé et un dispositif pour détecter la position de la main d'une personne sur une surface plane, ce dispositif comportant des moyens d'éclairage localisés dans un premier bord de la surface bidimensionnelle et au moins un détecteur disposé en avant de la main et qui détecte la lumière réfléchie par la main de la personne en vue de déterminer sa position par rapport à un réseau imaginaire associé à la surface.
Cette réalisation est complexe et nécessite l'installation d'un cadre autour de 'a surface avec la création d'une sorte de rideau imaginaire disposé devant la surface et qui permet de localiser les positions de la main.
Un autre dispositif est décrit par la publication européenne EP 0 982 676 A1 qui utilise deux lasers effectuant un balayage de la surface. Lorsque les rayons interceptent un obstacle, l'angle de chacun des faisceaux laser est mesuré et la position est déterminée par triangulation. Ce dispositif nécessite la présence de deux capteurs disposés juste à côté des émetteurs laser pour détecter les rayons réfléchis par les obstacles. Il ne permet de détecter qu'un seul point de contact à la fois.
La publication européenne EP 1 215 621 A2 a pour objet un dispositif comportant un seul laser d'éclairage destiné à éclairer une surface que l'on veut rendre tactile et qui balaie cette surface environ cinquante fois par seconde. La détection de l'impact d'un obstacle, c'est-à-dire la détermination du moment et de la position de l'impact, s'effectue par la mesure de l'angle et du temps de déplacement du rayon réfléchi. Ce dispositif utilise un miroir articulé qui permet au rayon laser d'effectuer le balayage requis.
Le brevet américain US 7 215 327 B2 concerne un système à deux lasers dont l'un est disposé en hauteur pour dessiner un clavier sur une surface que l'on souhaite rendre tactile, et dont le second est disposé au ras de la surface pour détecter les touches virtuelles pressées. Comme précédemment, le dispositif utilise des miroirs articulés, sous la forme de miroirs rotatifs à facettes multiples, qui permettent aux rayons laser d'effectuer le balayage de la surface. La position des obstacles est calculée selon un procédé de mesure des différences QU temps des deux faisceaux.
La publication internationale WO02/054169 a pour objet un procédé et un dispositif d'entrée de données comportant un module d'illumination générant un plan lumineux et une caméra et destiné à définir un clavier virtuel dont les dimensions et la position sont bien définies.
Dans le dispositif objet de la publication WO 2007/144014, le procédé de détection est basé sur une analyse de flux dans l'image, afin de déterminer la vitesse de l'extrémité des doigts. Lorsqu'un impact est détecté par le système acoustique, le système sélectionne le doigt ayant la plus haute vitesse comme étant celui en train de frapper la surface. Ce procédé dépend des capteurs acoustiques et ne détecte que les mouvements de frappe et un seul point à la fois. Le signal acoustique émis est uniquement utilisé comme "switch" et il n'y a pas de mesure d'intensité ni de mesure de la position x,y de l'objet dans le plan physique.
Le procédé décrit dans la publication US 2006/0036944 est quant à lui basé sur une mesure de profondeur, par procédé stéréoscopique à l'aide de deux caméras. Ce procédé n'est utilisable qu'à travers un écran transparent. En outre il nécessite trop de ressource pour être effectué à une vitesse élevée d'images par secondes sur un ordinateur standard (bande passante double à cause des deux caméras plus procédé algorithmique nécessitant une forte puissance de calcul).
La publication US 2004/0004600 concerne un dispositif dans lequel, lorsqu'un impact est détecté par le capteur acoustique, le système mesure la position à l'extrémité d'une baguette ou d'un doigt pointant sur la surface. Ce dispositif est utilisable uniquement pour simuler une souris. Le procédé utilisé dans ce dispositif dépend également des capteurs acoustiques et ne détecte que les mouvements de frappe et un seul point à la fois. En outre la détection de mouvements glissés (dragging) nécessite de taper trois ou quatre fois sur la surface pour enclencher le mode correspondant.
Le principe de détection décrit dans la publication WO 03/046706 est similaire à celui de la publication WO 2007/144014, à savoir l'analyse des vitesses aux extrémités des doigts, associé à un signal provenant des capteurs acoustiques. En outre les données acoustiques et visuelles sont synchronisées entre elles par l'usage d'un "synchronizer", qui implique une référence temporelle commune entre les deux types de signaux. Notre méthode supprime la nécessité d'une référence temporelle commune, le système acoustique et visuel ayant chacun leur propre horloge indépendante.
Tous ces documents essayent d'apporter une solution au même problème, à savoir celui de détecter le moment et la position de contact d'un doigt ou d'un objet allongé avec une surface quelconque. Chaque invention apporte donc à sa manière une solution à ce problème mais ces solutions ne sont de loin pas comparables, même si elles utilisent toutes une ou deux caméras et au moins un capteur acoustique. En effet, en fonction du type de traitement appliqué à l'image et des caractéristiques du dispositif, certaines limitations peuvent apparaître, comme le fait de ne pouvoir détecter que des mouvements de frappes (comme sur un clavier), de ne pouvoir détecter qu'un seul point à la fois, d'être limité à de petite surface d'interaction, ou encore de nécessiter une forte puissance de calcul, incompatible avec des vitesses élevées de détection (supérieures ou égales à 100 acquisitions par seconde). D'autre part, toutes ces inventions ont pour but de réaliser un dispositif d'entrée virtuel pour un appareil complexe, généralement un ordinateur, par exemple pour introduire des données, déclencher des commandes, ou contrôler des processus. L'utilisation la plus fréquente de tels dispositifs est comme clavier virtuel. Par virtuel on entend qu'il n'y a pas d'éléments mécaniques, comme des touches ou des boutons, mais seulement une représentation graphique de tels éléments de contrôle et d'entrée d'information. Toutefois, dans tous les cas, la représentation graphique de l'interface d'entrée est fixe. Sa position, sa dimension et sa disposition sont déterminées à l'avance. Il peut être souhaitable d'avoir un dispositif plus flexible, compatible avec plusieurs interfaces d'entrées déplaçables et interchangeables en cours d'utilisation.
Exposé de l'invention
La présente invention se propose de pallier les inconvénients des systèmes connus en permettant d'être utilisée pour des surfaces plus grandes, sans utiliser un laser qui serait trop puissant pour pouvoir respecter les normes de sécurité. Elle permet en outre de transformer n'importe quelle surface plane mobile en interface de contrôle et d'entrée de données, notamment par l'utilisation de supports visuels amovibles représentants des interfaces d'entrées virtuelles.
Le dispositif selon l'invention est simple et efficace, il peut être mis en œuvre facilement et permet en outre de détecter plusieurs points de contact en même temps (multipoints), de déterminer les cordonnées x et y réelles de l'objet sur le plan physique, et de faire des mouvements quelconques (glissés et frappés) sur la surface. L'information donnée par les capteurs acoustiques est optionnelle et sert uniquement à mesurer l'intensité des impacts et leur degré de dureté, c'est à dire s'ils ont été provoqués par l'extrémité d'un objet dur ou mou, lorsque cela est désirable et dans le cas particulier de mouvements de type frappé.
Ces buts sont atteints par le procédé selon l'invention tel que défini'en préambule et caractérisé en ce que l'on détecte la position dudit objet au moment d'un contact avec ladite surface plane ou d'au moins un identificateur dudit support visuel d'entrée, en ce que l'on détermine les coordonnées du point de contact ou de l'identificateur pour définir sa position, en ce que l'on transforme la position du point de contact détecté ou de l'identificateur de façon à établir la correspondance entre les points d'un plan image virtuellement représenté par ladite surface plane ou ledit support visuel d'entrée et les points du plan physique de cette surface ou dudit support visuel d'entrée, et en ce que l'on associe audit plan physique ou au support visuel d'entrée des actions physiques et/ou programmées.
Selon un mode de réalisation avantageux, l'on utilise au moins une source lumineuse structurée pour générer un plan lumineux parallèle à la surface plane et pour détecter la position dudit objet allongé au moment où il intercepte ledit plan lumineux.
Lorsque la surface plane est un support visuel d'entrée, l'on utilise une source lumineuse non structurée pour détecter la position d'au moins un identificateur du support visuel d'entrée. L'on détermine également l'orientation dudit identificateur dudit support visuel d'entrée et la position du contour de ce support.
Pour établir la correspondance entre les points du plan image et les points du plan physique, l'on peut déterminer les coordonnées du point de contact détecté ou de l'identificateur par un procédé géométrique appelé "projection homographique" ou par une interpolation bilinéaire.
L'on peut également déterminer les coordonnées du point de contact détecté par le calcul de la position des centres de gravité des taches lumineuses dans l'image.
Lorsque l'on utilise au moins deux caméras vidéo, l'on peut effectuer le calcul des coordonnées du point de contact détecté ou de l'identificateur sur ladite surface plane par triangulation.
De façon avantageuse, l'on synchronise la vitesse d'obturation de la caméra avec la fréquence d'émission de la source lumineuse structurée utilisée pour générer le plan lumineux parallèle à la surface plane. Selon la forme de réalisation, l'on utilise au moins un capteur acoustique pour déterminer le moment, l'intensité et la dureté de l'impact de l'objet avec ladite surface plane et l'on détermine l'indice de dureté de l'impact par le rapport de l'énergie du signal acoustique selon deux bandes de fréquences distinctes.
Dans le procédé de l'invention l'on associe audit support visuel d'entrée des actions physiques et/ou programmées, notamment du type sonore, visuel ou de toute autre nature.
Dans une forme de réalisation dans laquelle ladite surface plane est transparente, l'on filme au moyen d'au moins une caméra vidéo disposée derrière ladite surface plane.
Ce but est également atteint par le dispositif selon l'invention tel que défini en préambule et caractérisé en ce qu'il comporte en outre des moyens agencés pour détecter la position dudit objet au moment d'un contact avec ladite surface plane, ou d'au moins un identificateur du support visuel d'entrée, et pour déterminer les coordonnées du point de contact ou de l'identificateur, des moyens agencés pour transformer la position du point de contact détecté ou de l'identificateur de façon à établir la correspondance entre les points d'un plan image virtuellement représenté par ladite surface plane ou ledit support visuel d'entrée et les points du plan physique de cette surface ou dudit support visuel d'entrée, et des moyens agencés pour associer audit plan physique ou au support visuel d'entrée des actions physiques et/ou programmées.
Dans la forme de réalisation préférée du dispositif, les moyens agencés pour générer un plan lumineux comportent au moins un module d'illumination fixe agencé pour générer un faisceau plat de lumière structurée parallèle à ladite surface plane. Ledit faisceau de lumière structurée peut avantageusement être formé par au moins un émetteur de faisceau laser. De façon avantageuse, les moyens agencés pour générer un plan lumineux comportent également une source de lumière non structurée éclairant le support visuel d'entrée disposé sur ladite surface plane.
De préférence, ladite source de lumière non structurée est formée par des diodes électroluminescentes infrarouges solidaires de l'optique de la caméra vidéo.
Lesdits moyens pour transformer la position du point de contact détecté de façcn à établir la correspondance entre le point du plan image et le point du plan physique comprennent de façon avantageuse un ordinateur ou un boîtier de contrôle dédié agencé pour appliquer un procédé géométrique appelé "projection homographique" ou pour faire une interpolation bilinéaire.
Suivant la forme de réalisation, les moyens agencés pour déterminer le moment, l'intensité et l'indice de dureté de l'impact de l'objet avec ladite surface plane peuvent comprendre au moins un capteur acoustique.
De façon avantageuse un module d'illumination comprend au moins un émetteur de lumière structurée, au mois un capteur acoustique, au moins un connecteur agencé pour établir la liaison avec l'ordinateur ou le boîtier de contrôle dédié et un micro-miroir réglable optionnel agencé pour réfléchir le faisceau de lumière structurée en vue de le diriger sur un générateur de ligne agencé pour générer un plan lumineux parallèle à la surface plane.
De préférence, ledit au moins un module d'illumination est fixé sur ladite surface plane de façon à assurer un bon couplage acoustique.
Dans une variante de réalisation, les moyens agencés pour générer un plan lumineux comporte au moins deux modules d'illumination disposés à deux angles opposés de ladite surface plane. Dans une autre variante où le dispositif comporte au moins deux caméras vidéo surplombant ladite surface plane, lesdites caméras sont solidaires d'un module d'illumination et agencées pour déterminer la position des points de contact sur ladite surface plane par triangulation
Ladite au moins une caméra vidéo est de préférence disposée devant ladite surface plane. Toutefois lorsque ladite surface plane est transparente la caméra vidéo peut être disposée derrière ladite surface plane.
Dans toutes !es formes de réalisation, lesdits moyens pour associer audit plan physique ou support visuel d'entrée des actions physiques et/ou programmées sont agencés pour associer des actions du type sonore, visuel ou de toute autre nature.
Description sommaire des dessins
La présente invention et ses avantages seront mieux compris à la lecture de la description détaillée d'une forme de réalisation préférée, mais non limitative, du dispositif de l'invention, en référence aux dessins annexés, donnés à titre indicatif et non limitatif, dans lesquels:
Les figures 1A et 1B sont des organigrammes définissant les principales étapes du procédé selon l'invention,
les figures 2A et 2B sont respectivement des vues schématiques en plan et en élévation d'une première forme de réalisation du dispositif selon l'invention,
la figure 3 est une vue schématique d'un module d'illumination laser et des composants annexes du dispositif de la figure 2,
les figures 4A, 4B et 4C sont des vue d'une seconde forme de réalisation du dispositif selon l'invention, la figure 5 est une vue en plan d'un exemple de réalisation d'un support visuel d'entrée du dispositif des figures 4,
les figures 6A et 6B sont des vues schématiques respectivement en plan et en élévation d'une troisième forme de réalisation du dispositif selon l'invention, et
la figure 7 est une vue schématique d'un module d'illumination équipant le dispositif des figures 6A et 6B.
Meilleures manières de réaliser l'invention
Le procédé de base par lequel il est possible de réaliser une surface tactile multipoints à partir d'une surface plane quelconque se déroule pratiquement de !a façon telle que décrit ci-après. On éclaire la surface plane que l'on souhaite rendre tactile en créant un plan lumineux de faible épaisseur parallèle à cette surface. Un utilisateur déplace alors un objet, par exemple ses doigts, en contact avec la surface rendue tactile, de sorte qu'ils interceptent le plan lumineux, la lumière étant réfléchie vers l'avant en créant des taches lumineuses sur l'extrémité de l'objet ou des doigts. Une caméra vidéo sensible à la lumière utilisée pour éclairer la surface, par exemple à l'infrarouge, filme la scène qui enregistre la position des taches lumineuses. L'image est ensuite filtrée pour isoler les taches lumineuses, par soustraction du fond, filtrage de la couleur, application d'un seuil de luminosité etc. Lorsque les taches sont isolées, un algorithme de détection des taches calcule leur position dans l'image. La position des points de contact détectés est transformée selon un procédé géométrique appelé "homographie" ou "projection homographique" ou par interpolation bilinéaire de façon à établir la correspondance entre les points du plan image et les points du plan physique sur la surface.
La transformation par interpolation binaire consiste en les étapes suivantes: - pour chaque point dans l'image on cherche les trois points de calibration les plus proches, déterminés au préalable avec une grille de calibration, on effectue ensuite le calcul de l'aire du triangle formé par ces trois points ainsi que l'aire des trois sous-triangles de la pyramide formée par ces trois points et le point courant, on calcule le rapport entre l'aire totale et celle des sous-triangles, - on cherche les trois points correspondants dans la grille de calibration et le point réel courant est calculé de façon à ce que le rapport des aires des sous-triangles soit respecté.
Cette transformation a pour avantage non seulement d'établir la conversion des points images mais également de compenser la distorsion de l'image. Un logiciel permet ensuite de configurer la surface en définissant des zones auxquelles sont associées des actions sonores, visuelles et/ou programmées.
Ce procédé sera expliqué plus en détail ci-dessous en référence à la description de l'organigramme représenté par la figure 1A dans lequel le procédé acoustique pour la caractérisation des impacts se déroule selon les étapes suivantes :
Etape 100 : début du procédé.
Etape 110 : détection des transitoires dans le signal provenant d'un ou de plusieurs capteurs acoustiques. Lorsqu'un doigt ou un objet allongé frappe la surface plane, un brusque changement de l'énergie acoustique est discernable dans le signal provenant des capteurs acoustiques, permettant ainsi de détecter le moment de l'impact. Selon la nature et la structure de la surface plane, par exemple s'il s'agit d'un matériau absorbant ou réverbérant, il peut être nécessaire d'effectuer cette détection selon des bandes de fréquences variables. Par exemple s'il s'agit d'un matériau réverbérant, il est avantageux d'effectuer cette détection dans une bande de fréquences plus élevée, typiquement entre 5 et 20 KHz.
Etape 120 : détection d'un impact.
Etape 130 : calcul de l'énergie du signal dans deux bandes de fréquences distinctes, l'une dans les médiums, par exemple entre 200 et 600 Hz, et l'autre dans les aigus, par exemple entre 5 et 20 KHz.
Etape 140 : calcule du rapport entre l'énergie de la bande de fréquences aiguës et celle de la bande médium de façon à déterminer le facteur de dureté de l'impact. Ce facteur donne une indication si l'impact a été provoqué par un objet dur ou mou. L'intensité de l'impact est déterminée comme étant proportionnelle à l'énergie du signal acoustique calculée pour la bande de fréquence médium. Cette bande est choisie de façon à donner une mesure homogène quelle que soit la dureté ou la mollesse de l'objet par lequel il a été provoqué (par exemple la pulpe du doigt ou l'ongle).
Etape 150 : envoi à un système de gestion des caractéristiques de l'impact, à savoir l'intensité et le facteur de dureté.
Lorsqu'un un support visuel d'entrée plan amovible pourvu d'au moins un identificateur et représentant une interface d'entrée virtuelle est disposé sur la surface plane, le procédé selon l'invention se déroule selon les étapes de l'organigramme représenté par la figure 1 B qui sont les suivantes : Etape 200 : début du procédé. - Etape 300 : détermination de la position des points de contact de doigts ou d'objets allongés avec une surface plane quelconque et calcul de leurs positions dans le plan physique, c'est-à-dire dans le plan représenté par cette surface plane. Cette étape peut être réalisée selon les techniques connues de l'état de l'art ou selon le procédé décrit plus haut. En cas d'impact des doigts ou d'objets allongés sur la surface, une information complémentaire sur les caractéristiques de l'impact peut être obtenue à l'aide de capteurs acoustiques agencés pour capter les vibrations qui sont générées sur la surface lors de tels impacts, selon le procédé décrit en référence à l'organigramme de la figure 1A. Il s'agit toutefois d'une étape optionnelle qui n'est pas indispensable au bon fonctionnement du procédé.
Etape 310 : détection d'un impact.
Etape 320 : acquisition des caractéristiques de l'impact déterminées à l'étape 150 du procédé acoustique. Ces caractéristiques indiquent l'intensité de l'impact et si celui-ci a été provoqué par un objet du type dur ou mou. Si aucun impact n'a été détecté, cela signifie qu'il n'y a aucun point de contact sur la surface ou alors qu'il y a un certain nombre de points de contact mais que ceux-ci sont immobiles ou effectuent des mouvements du type glissé sur la surface, ou encore qu'ils ont approché la surface avec une vitesse suffisamment faible pour ne pas frapper celle-ci.
Etape 400 : identification du support visuel d'entrée disposé sur la surface plane au moyen du ou des identificateurs qu'il porte. Cette identification peut être réalisée avec des capteurs optiques ou magnétiques selon des procédés connus en soi. Les procédés d'identification optiques fournissent généralement l'identité, la position et l'orientation de l'identificateur alors que les procédés magnétiques les plus perfectionnés ne fournissent que l'identité et la position. Dans ce cas, une information sur l'orientation peut être déduite si le support visuel d'entrée comprend au moins deux identificateurs magnétiques.
Etape 410 : récupération, à partir d'une base de données, des caractéristiques des supports visuels d'entrée présents sur la surface, sur 'a base de la liste des identificateurs détectés, établie lors de l'étape précédente. Ces caractéristiques comportent les dimensions du support, la position de l'identificateur par rapport à ce support, ainsi que la configuration de la représentation graphique de l'objet représenté sur ce support d'entrée comprenant la position de zones actives et la liste des commandes, données ou informations qui sont associées à ces zones.
Etape 420 : détermination de la position et du contour du support d'entrée à partir des informations sur l'identificateur. Deux solutions sont envisageables pour permettre cette détermination. La première solution consiste à utiliser uniquement l'information sur la position de l'identificateur. Le contour du support est déterminé de manière optique par un procédé connexe connu en soi, tel que la reconnaissance de bord "edge détection". Lorsqu'un contour est détecté, on compare sa position avec celle du ou des identificateurs détectés dans l'étape 400, de manière à établir une correspondance. En outre, grâce à l'information sur la position relative de l'identificateur par rapport au support visuel d'entrée donnée à l'étape 410, il est possible de connaître l'orientation du support, pour autant que l'identificateur ne soit pas situé au centre du support. La seconde solution consiste à utiliser en outre l'information sur la rotation de l'identificateur. Dans ce cas, le contour du support visuel d'entrée est établi uniquement sur la base de la connaissance de la position de l'identificateur par rapport à ce support.
Etape 500 : vérification de la position de chaque point de contact déterminée dans l'étape 300, pour définir si cette position se situe à l'intérieur du contour du support d'entrée, tel qu'établi lors de l'étape 420.
Etape 510 : calcul de la position du point de contact par rapport au support d'entrée.
Etape 520 : détermination de la correspondance de ce point de contact avec une zone active de la représentation graphique du support d'entrée. - Etape 530 : vérification de la nouveauté du point de contact.
Etape 540 : association à ce point de contact des caractéristiques de l'impact définies dans l'étape 320 (si elles sont disponibles). En effet, si l'objet ou le doigt correspondant au point de contact détecté a approché la surface avec une faible vitesse, un nouveau point de contact sera établi sans qu'il y ait d'impact sur la surface.
Etape 550 : envoi au programme principal de l'ordinateur, ou à une machine programmable, des données ou commandes associées à la zone active sélectionnée, et déclenchement d'actions physiques et/ou programmées liées à l'objet représenté sur le support visuel d'entrée. - Etape 560 : vérification des points de contact restant à traiter.
S'il reste des points à traiter, on recommence à l'étape 500 et dans le cas contraire on recommence la procédure à l'étape 200.
Le dispositif 10, tel que le montre à titre d'exemple les figures 2A et 2B et destiné à mettre en œuvre le procédé tel que décrit ci-dessus, comporte une surface plane sensiblement rectangulaire 11 que l'on veut rendre interactive en la rendant tactile et qui est associée à des moyens agencés pour générer un plan lumineux 13 sous la forme d'au moins un et de préférence au moins deux modules d'illumination fixes 12 générant un faisceau plat de lumière structurée parallèle à ladite surface plane 11. Ces modules d'illumination 12 sont placés dans les angles supérieurs de la surface plane 11. Les modules d'illumination
12 sont ensuite connectés à un ordinateur 14 ou à un boîtier de contrôle dédié 15 ou similaire dont (a fonction sera définie ci-après. Le dispositif 10 comporte par ailleurs au moins une caméra vidéo 16 surplombant la surface plane 11 qui est conçue pour filmer l'image de la surface et des objets ou des doigts qui entrent en contact avec cette surface. La caméra vidéo 16 est un capteur sensible à la lumière qui est émise par les modules d'illumination 12 et qui est interceptée par les objets mobiles entrant en contact avec ladite surface plane 11. Cette caméra unique peut être remplacée par deux ou plusieurs caméras vidéo pour diminuer le problème de l'occlusion, l'un des doigts pouvant en masquer un autre.
Les modules d'illumination 12 intègrent également plusieurs autres fonctions utiles pour le fonctionnement global du dispositif. A cet effet, dans la forme de réalisation représentée par la figure 3, le module d'illumination 12 représenté, qui constitue une source lumineuse structurée, dont la fréquence d'émission est synchronisée avec la vitesse d'obturation de la caméra 16, comprend, en plus d'au moins un émetteur de faisceau laser 20, au moins un capteur acoustique 21 qui permet de déterminer le moment précis du contact d'un objet allongé avec la surface et de mesurer les caractéristiques des impacts lors ce mouvements de type frappé. Ce capteur acoustique 21 , qui dans la forme de réalisation représentée est au nombre de deux, est par exemple du type piézoélectrique. Les autres composants intégrés sont au moins un connecteur 22, agencé pour établir une liaison avec l'ordinateur 14 ou le boîtier de contrôle dédié 15, et un micro-miroir optionnel 23 réglable mécaniquement ou électroniquement, agencé pour réfléchir le faisceau laser en vue de le diriger sur un générateur de ligne 24 qui permet d'éclairer toute la surface plane 11.
Dans cette forme de réalisation du dispositif 10 tel que décrit, les modules d'illumination 12 placés dans les angles supérieurs de la surface plane 11 gèrent l'ensemble des fonctions suivantes : - la connexion de la caméra vidéo et du second module d'illumination 12 par le connecteur 22, ie contrôle de l'alimentation du laser 20 et le réglage de sa puissance, la gestion de la sécurité, notamment par l'utilisation de microcontacts (non représentés) disposés sous le boîtier d'un module, le contrôle de l'alignement du plan laser par l'utilisation du micro-miroir électronique ou mécanique 23, - la synchronisation de l'enclenchement du laser 20 avec l'obturateur de la caméra 16, la détection des vibrations sur la surface interactive 11 par l'utilisation des capteurs piézo-électriques 21 , en vue de leur traitement selon le procédé décrit en référence à l'organigramme 1A,
Pour des raisons pratiques, les module d'illumination 12 ont de préférence un faible encombrement pour pouvoir être intégrés dans des produits commerciaux tels qu'une table tactile par exemple et sont équipés de dispositifs d'attache multiple permettant une fixation temporaire ou permanente sur une surface pour assurer un bon couplage acoustique.
La présence de deux modules d'illumination permet d'assurer un éclairage complet de la surface plane 11 en l'illuminant complètement au moyen d'un plan lumineux. La caméra 16 permet de détecter un objet sur la surface éclairée et l'ordinateur 14 ou le boîtier de contrôle dédié 15 est agencé pour exécuter les algorithmes permettant de calculer les positions sur le plan physique des points détectés qui constituent des zones tactiles auxquelles sont associées des fonctions. La détection des positions sur le plan image est aussi effectuée par l'ordinateur 14 ou le boîtier de contrôle 15 mais peut également se faire par la caméra en utilisant une caméra pourvue d'un traitement des données intégré.
Les figures 4A, 4B et 4C représente une autre forme de réalisation préférée du dispositif selon l'invention dans lequel au moins un support visuel d'entrée 30 amovible, tel qu'illustré par la figure 5 et représentant une interface d'entrée virtuelle, est disposé sur la surface plane de ce dispositif 100. Un tel support est utilisé par exemple pour introduire des données dans un ordinateur ou pour contrôler certain processus, notamment pour interagir avec des programmes informatiques. Ce support 30 comporte sur sa face supérieure une représentation graphique d'un objet 31 qui représente une interface d'entrée virtuelle, comme par exemple un clavier d'ordinateur, un clavier de piano, un menu, un ensemble d'icônes, une table de mixage, ou une image quelconque destinée à être sélectionnée comme un simple bouton. Il comporte en outre un identificateur 32 du type visuel ou magnétique. En cas de reconnaissance optique et selon le type de procédé mis en oeuvre, cet identificateur peut être confondu avec la représentation graphique de l'objet 31 qui fait alors office d'identificateur. La représentation graphique de l'objet 31, un clavier musical sur l'exemple illustré, est pourvue de zones actives 33, représentant des touches, des boutons et une molette de modulation dans cet exemple, auxquelles sont associées des commandes, données ou informations généralement destinées à être envoyées à un ordinateur ou à une machine programmable. Le support 30 est de préférence fin et plat et agencé de manière à se placer entre la surface plane 11 et le faisceau de lumière 13.
Ce dispositif 100 se compose des mêmes éléments que ceux du dispositif 10 décrit en référence aux figures 2A et 2B. Ces éléments portent les mêmes numéros de référence et ont la même fonction que ceux du dispositif 10. En conséquence, ce dispositif 100 comporte une surface plane 11 associée à des moyens agencés pour générer un plan lumineux sous la forme de deux modules d'illumination fixes 12 générant un faisceau plat de lumière structurée 13 parallèle à ladite surface plane 11. Les modules d'illumination 12 sont connectés à un ordinateur 14 ou à un boîtier de contrôle dédié 15 ou similaire dune façon connue en soi. Une caméra vidéo 16 surplombe la surface plane 11 et est conçue pour filmer l'image de la surface et des objets ou des doigts qui entrent en contact avec cette surface. Le dispositif 100 comporte en outre une source de lumière non structurée 17 associée à la caméra 16. Cette source de lumière non structurée 17 est utilisée pour la détection de l'identificateur 32 du support visuel d'entrée 30 posé sur la surface plane 11. Dans une forme de réalisation particulière avantageuse de ce dispositif 100 dont (es moyens d'illumination de la surface 11 sont illustrés par la figure 4C, les deux modules 12 sont regroupés en un module unique se présentant sous la forme d'une barre 112 à laquelle sont fixées deux caméras vidéos 16. Cette barre d'illumination 112 comprend, dans la forme de réalisation illustrée, quatre émetteurs de faisceau laser 20 et deux capteurs acoustiques 21. La source de lumière non structurée 17 complétant les moyens d'illumination du dispositif se présente sous la forme de diodes électroluminescentes (LED) infrarouges disposées de part et d'autre de l'optique des deux caméras 16. Cette forme de réalisation comportant au moins deux caméras vidéo surplombant la surface plane permet, grâce à l'information sur l'incidence, avec deux caméras seulement de différencier nettement plusieurs points, ce qui ne peut pas être fait lorsque les caméras sont disposées au ras de la surface plane.
La variante illustrée par le dispositif 10' des figures 6A et 6B comporte également deux caméras vidéo intégrées dans les modules d'illumination 12', conçues pour filmer l'image de la surface plane 11 et des objets qui entrent en contact avec ladite surface. Dans ce dispositif 10' les deux modules d'illumination 12' définissant le plan lumineux 13' sont disposés verticalement et placés dans les angles supérieurs de la surface plane 11' en faisant de préférence un angle de 45° par rapport aux bords de ladite surface. Cette disposition permet de déterminer la position des points de contact 26 d'un objet allongé sur ladite surface plane 11 ' par triangulation mais peut aussi s'effectuer par interpolation bilinéaire. Ce calcul peut être effectué par un ordinateur personnel ou par un système embarqué. Les caméras peuvent être placées sous la surface plane à condition que cette dernière soit transparente, par exemple une plaque en verre. La détermination temporelle du contact avec la surface plane lors d'un mouvement de type frappé peut être déterminée de façon encore plus précise en complétant la détection par l'interprétation d'un signal acoustique qui définit avec précision les caractéristiques de l'impact. Chaque module d'illumination 12' de ce dispositif 10', représenté plus en détail en coupe par la figure 7, comporte comme le module d'illumination 12 décrit en référence à la figure 3, un émetteur de faisceau laser 20' et au moins un capteur acoustique 21' disposé sur la face du module d'illumination en contact avec la surface plane 11' pour établir un bon couplage acoustique. Il comporte également un micro-miroir 23' agencé pour réfléchir le faisceau laser en vue de le diriger sur un générateur de ligne 24' qui permet d'éclairer toute la surface plane 11. Ce module d'illumination 12' est en outre pourvu d'une caméra 25 disposée dans sa partie supérieure et agencée pour permettre un calcul des positions de contact 26 par triangulation en utilisant l'angle d'incidence pour déterminer la correspondance des points dans chaque image, lorsque plusieurs points de contact sont présents simultanément sur la surface. Dans l'exemple de la figure 6B pour deux points de contact, les angles d'incidences sont donnés par θ-i et 02- Ce principe est également applicable pour le dispositif de la figure 4C.
Le dispositif selon l'invention peut être utilisé dans de nombreuses applications. A titre d'exemple d'utilisation, dans le domaine musical, la surface tactile permet de piloter un synthétiseur. Les zones tactiles de la surface plane ou des supports visuels d'entrée correspondent à des sons reproduits par des instruments. La surface tactile peut également être associée à la projection d'une image d'un écran pour visualiser la correspondance entre les zones tactiles et des fonctions du dispositif, par exemple la génération de sons musicaux. Un support visuel particulier peut être représenté sous la forme d'une grille avec des cases ou régions de différentes tailles, différenciées par des traits de couleur ou d'épaisseur différente. Des éléments de contrôle virtuels affichés à l'écran, tels que des boutons, touches, potentiomètres linéaires ou rotatifs, sont alignés sur une grille identique. De cette manière, un support visuel unique est suffisant pour un ensemble d'interfaces de contrôle virtuelles, la grille permettant de définir la correspondance entre le plan physique et le plan virtuel affiché à l'écran. Un logiciel associé permet de définir les interfaces de contrôle en disposant à l'écran de tels éléments de contrôle. Le dispositif peut également être utilisé sans surface plane, en dirigeant le plan lumineux verticalement, par exemple. Dans ce cas, les actions sont déclenchées simplement en interceptant le plan lumineux avec les doigts ou des objets allongés. La surface plane peut également se présenter comme étant la surface d'un instrument de percussion, comme une timbale ou un tambour, afin de créer un instrument de percussion augmenté électroniquement.
Le dispositif selon l'invention peut aussi être utilisé pour des applications dans le domaine des jeux, du graphisme, de la bureautique, ou encore comme périphérique du type clavier virtuel ou dispositif d'entrée de données ou de contrôle pour des ordinateurs ou des machines programmables.

Claims

REVENDICATIONS
1. Procédé pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque et pour détecter au moins un objet allongé touchant ladite surface, et/ou au moins un élément de contrôle ou une zone active d'un support visuel d'entrée plan disposé sur ladite surface, dans lequel on génère un plan lumineux sensiblement parallèle à la surface plane et dans lequel l'on filme ladite surface plane au moyen d'au moins une caméra vidéo pendant au moins l'intervalle de temps où l'objet allongé intercepte ledit plan lumineux, caractérisé en ce que l'on détecte la position dudit objet au moment d'un contact avec ladite surface plane ou d'au moins un identificateur dudit support visuel d'entrée, en ce que l'on détermine les coordonnées du point de contact ou de l'identificateur pour définir sa position, en ce que l'on transforme la position du point de contact détecté ou de l'identificateur de façon à établir la correspondance entre les points d'un plan image virtuellement représenté par ladite surface plane ou ledit support visuel d'entrée et les points du plan physique de cette surface ou dudit support visuel d'entrée, et en ce que l'on associe audit plan physique ou au support visuel d'entrée des actions physiques et/ou programmées.
2. Procédé selon la revendication 1, caractérisé en ce que l'on utilise au moins une source lumineuse structurée pour générer un plan lumineux parallèle à la surface plane et pour détecter la position dudit objet allongé au moment où il intercepte ledit plan lumineux.
3. Procédé selon la revendication 1 dans lequel la surface plane est un support visuel d'entrée, caractérisé en ce que l'on utilise une source lumineuse non structurée pour détecter la position d'au moins un identificateur du support visuel d'entrée.
4. Procédé selon la revendication 3, caractérisé en ce que l'on détermine en outre l'orientation dudit identificateur dudit support visuel d'entrée et la position du contour de ce support.
5. Procédé selon la revendication 1, caractérisé en ce quel l'on détermine les coordonnées du point de contact détecté ou de l'identificateur par un procédé géométrique appelé "projection homographique" pour établir ia correspondance entre les points du plan image et les points du plan physique.
6. Procédé selon la revendication 1 , caractérisé en ce que l'on détermine les coordonnées du point de contact détecté ou de l'identificateur par une interpolation bilinéaire pour établir la correspondance entre les points du plan image et les points du plan physique.
7. Procédé selon la revendication 1 , caractérisé en ce que l'on détermine les coordonnées du point de contact détecté par le calcul de la position des centres de gravité des taches lumineuses dans l'image.
8. Procédé selon la revendication 1 , dans lequel on utilise au moins deux caméras vidéo, caractérisé en ce que l'on effectue le calcul des coordonnées du point de contact détecté ou de l'identificateur sur ladite surface plane par triangulation.
9. Procédé selon la revendication 2, caractérisé en ce que l'on synchronise la vitesse d'obturation de la caméra avec la fréquence d'émission de la source lumineuse structurée utilisée pour générer le plan lumineux parallèle à la surface plane.
10. Procédé selon la revendication 1, caractérisé en ce que l'on utilise au moins un capteur acoustique pour déterminer le moment, l'intensité et la dureté de l'impact de l'objet avec ladite surface plane.
11. Procédé selon la revendication 10, caractérisé en ce que l'on détermine l'indice de dureté de l'impact par le rapport de l'énergie du signal acoustique selon deux bandes de fréquences distinctes.
12. Procédé selon la revendication 1 , caractérisé en ce que l'on associe audit support visuel d'entrée des actions physiques et/ou programmées, notamment du type sonore, visuel ou de toute autre nature.
13. Procédé selon l'une quelconque des revendications précédentes, dans lequel ladite surface plane est transparente, caractérisé en ce que l'on filme au moyen d'au moins une caméra vidéo disposée derrière ladite surface plane.
14. Dispositif pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque (11) et pour détecter au moins un objet allongé touchant ladite surface, et/ou au moins un élément de contrôle ou une zone active d'au moins un support visuel d'entrée plan (30) disposé sur ladite surface, pour la mise en œuvre du procédé selon les revendications précédentes, ledit dispositif comportant des moyens agencés pour générer un plf.n lumineux (13) sensiblement parallèle à la surface plane, et au moins une caméra vidéo (16) surplombant ladite surface plane et agencée pour la filmer pendant au moins l'intervalle de temps où l'objet allongé intercepte ledit plan lumineux, caractérisé en ce qu'il comporte en outre des moyens agencés pour détecter la position dudit objet au moment d'un contact avec ladite surface plane (11 ; 11'), ou d'au moins un identificateur (32) du support visuel d'entrée (30), et pour déterminer les coordonnées du point de contact ou de l'identificateur, des moyens (14, 15) agencés pour transformer la position du point de contact détecté ou de l'identificateur de façon à établir la correspondance entre les points d'un plan image virtuellement représenté par ladite surface plane (11) ou ledit support visuel d'entrée (30) et les points du plan physique de cette surface ou dudit support visuel d'entrée, et des moyens agencés pour associer audit plan physique ou au support visuel d'entrée des actions physiques et/eu programmées.
15. Dispositif selon la revendication 14, caractérisé en ce que les moyens agencés pour générer un plan lumineux (13) comportent au moins un module d'illumination fixe (12; 112; 12') agencé pour générer un faisceau plat de lumière structurée parallèle à ladite surface plane (11; 11').
16. Dispositif selon la revendication 15, caractérisé en ce que ledit faisceau de lumière structurée est formé par au moins un émetteur de faisceau laser (20).
17. Dispositif selon la revendication 14, caractérisé en ce que les moyens agencés pour générer un plan lumineux comportent une source de lumière non structurée (17) éclairant le support visuel d'entrée (30) disposé sur ladite surface plane (11).
18. Dispositif selon la revendication 17, caractérisé en ce que ladite source de lumière non structurée (17) est formée par des diodes électroluminescentes infrarouges solidaires de l'optique de la caméra vidéo (16).
19. Dispositif selon la revendication 14, caractérisé en ce que lesdits moyens pour transformer la position du point de contact détecté de façon à établir la correspondance entre le point du plan image et le point du plan physique comprennent un ordinateur (14) ou un boîtier de contrôle dédié (15) agencé pour appliquer un procédé géométrique appelé "projection homographique" ou pour faire une interpolation bilinéaire.
20. Dispositif selon la revendication 14, caractérisé en ce que les moyens agencés pour déterminer le moment, l'intensité et l'indice de dureté de l'impact de l'objet avec ladite surface plane comprennent au moins un capteur acoustique (21; 21').
21. Dispositif selon les revendications 15 et 17, caractérisé en ce que ledit au moins un module d'illumination (12; 112; 12') comprend au moins un émetteur de lumière structurée (20; 20'), au mois un capteur acoustique (21 ; 21'), au moins un connecteur (22) agencé pour établir la liaison avec l'ordinateur (14) ou le boîtier de contrôle dédié (15) et un micro-miroir réglable optionnel (23; 23') agencé pour réfléchir le faisceau de lumière structurée en vue de le diriger sur un générateur de ligne (24; 241) agencé pour générer un plan lumineux parallèle à la surface plane (11 , 11').
22. Dispositif selon la revendication 15, caractérisé en ce que ledit au moins un module d'illumination (12; 112; 12') est fixé sur ladite surface plane (11; 11') de façon à assurer un bon couplage acoustique.
23. Dispositif selon la revendication 14, caractérisé en ce que les moyens agencés pour générer un plan lumineux comporte au moins deux modules d'illumination (12') disposés à deux angles opposés de ladite surface plane (11 ; 1 1 ').
24. Dispositif selon la revendication 14, caractérisé en ce qu'il comporte au moins deux caméras vidéo (16) surplombant ladite surface plane (11), lesdites caméras étant solidaires d'un module d'illumination (112) et agencées pour déterminer la position des points de contact (26) sur ladite surface plane (11) par triangulation.
25. Dispositif selon la revendication 14, caractérisé en ce que ladite au moins une caméra vidéo (16) est disposée devant ladite surface plane (11).
26. Dispositif selon la revendication 14, caractérisé en ce que ladite surface plane (11) est transparente et en ce que ladite au moins une caméra vidéo (16) est disposée derrière ladite surface plane (11).
27. Dispositif selon la revendication 14, caractérisé en ce que lesdits moyens pour associer audit plan physique ou support visuel d'entrée (30) des actions physiques et/ou programmées sont agencés pour associer des actions du type sonore, visuel ou de toute autre nature.
PCT/CH2009/000112 2008-04-04 2009-04-03 Procede et dispositif pour realiser une surface tactile multipoints a partir d'une surface plane quelconque et pour detecter la position d'un objet sur une telle surface WO2009121199A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH00521/08A CH707346B1 (fr) 2008-04-04 2008-04-04 Procédé et dispositif pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque et pour détecter la position d'un objet sur une telle surface.
CH521/08 2008-04-04

Publications (1)

Publication Number Publication Date
WO2009121199A1 true WO2009121199A1 (fr) 2009-10-08

Family

ID=40020256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CH2009/000112 WO2009121199A1 (fr) 2008-04-04 2009-04-03 Procede et dispositif pour realiser une surface tactile multipoints a partir d'une surface plane quelconque et pour detecter la position d'un objet sur une telle surface

Country Status (2)

Country Link
CH (1) CH707346B1 (fr)
WO (1) WO2009121199A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628693A (zh) * 2012-04-16 2012-08-08 中国航空无线电电子研究所 一种用于摄像机主轴与激光束进行平行配准的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021287A1 (en) * 2000-02-11 2002-02-21 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
WO2002054169A2 (fr) * 2001-01-08 2002-07-11 Vkb Inc. Dispositif d'entree de donnees
WO2003046706A1 (fr) * 2001-11-27 2003-06-05 Canesta, Inc. Detection, classification et interpretation d'evenements d'entree
US20040004600A1 (en) * 2000-02-17 2004-01-08 Seiko Epson Corporation Input device using tapping sound detection
US6774889B1 (en) * 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US20060036944A1 (en) * 2004-08-10 2006-02-16 Microsoft Corporation Surface UI for gesture-based interaction
WO2006073898A2 (fr) * 2005-01-05 2006-07-13 Grant Isaac W Interface de designation de coordonnees
WO2007144014A1 (fr) * 2006-06-15 2007-12-21 Nokia Corporation Dispositif mobile avec clavier virtuel

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021287A1 (en) * 2000-02-11 2002-02-21 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20040004600A1 (en) * 2000-02-17 2004-01-08 Seiko Epson Corporation Input device using tapping sound detection
US6774889B1 (en) * 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
WO2002054169A2 (fr) * 2001-01-08 2002-07-11 Vkb Inc. Dispositif d'entree de donnees
WO2003046706A1 (fr) * 2001-11-27 2003-06-05 Canesta, Inc. Detection, classification et interpretation d'evenements d'entree
US20060036944A1 (en) * 2004-08-10 2006-02-16 Microsoft Corporation Surface UI for gesture-based interaction
WO2006073898A2 (fr) * 2005-01-05 2006-07-13 Grant Isaac W Interface de designation de coordonnees
WO2007144014A1 (fr) * 2006-06-15 2007-12-21 Nokia Corporation Dispositif mobile avec clavier virtuel

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALAIN CREVOISIER ET AL: "Transforming Daily Life Objects into Tactile Interfaces", SMART SENSING AND CONTEXT; [LECTURE NOTES IN COMPUTER SCIENCE], SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, vol. 5279, 29 October 2008 (2008-10-29), pages 1 - 13, XP019109422, ISBN: 978-3-540-88792-8 *
ANDREW D WILSON: "PlayAnywhere: A Compact Interactive Tabletop Projection-Vision System", CHI LETTERS, PROCEEDINGS OF THE 18TH ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY, UIST 2005, vol. 7, no. 2, 23 October 2005 (2005-10-23) - 26 October 2005 (2005-10-26), SEATTLE, WA, USA, pages 83 - 92, XP002541983 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628693A (zh) * 2012-04-16 2012-08-08 中国航空无线电电子研究所 一种用于摄像机主轴与激光束进行平行配准的方法

Also Published As

Publication number Publication date
CH707346B1 (fr) 2014-06-30

Similar Documents

Publication Publication Date Title
CN110520827A (zh) 使用扫描束和多个检测器的眼睛跟踪
US7768505B2 (en) Indicated position recognizing apparatus and information input apparatus having same
JP5693972B2 (ja) 切替え可能なディフューザを備える対話型サーフェイスコンピュータ
US7911444B2 (en) Input method for surface of interactive display
EP3312771B1 (fr) Dispositif d'acquisition d'empreintes digitales à la volée
EP0584203B1 (fr) Systeme de dessin graphique
CN104981757B (zh) 灵活的房间控制器
US9984508B2 (en) Light-based radar system for augmented reality
KR20130061147A (ko) 상호작용형 스크린 애플리케이션용 레이저 스캐닝 프로젝터
TW201220844A (en) Projector
JP2013513179A (ja) 距離に基づく検知
JPWO2014034527A1 (ja) 情報入力装置
WO2009074751A2 (fr) Procédé de numérisation tridimensionnelle
TW201235909A (en) Optical scanning-type touch apparatus and the operation method
EP1221133B1 (fr) Ensemble d'interface entre un utilisateur et un dispositif electronique
JP2005236421A (ja) 画像表示システム
KR100936666B1 (ko) 적외선 스크린 방식의 투영 영상 터치 장치
WO2009121199A1 (fr) Procede et dispositif pour realiser une surface tactile multipoints a partir d'une surface plane quelconque et pour detecter la position d'un objet sur une telle surface
FR2698191A1 (fr) Procédé et dispositif d'acquisition et de traitement d'informations graphiques.
KR101002072B1 (ko) 펄스 구동 방식의 투영 영상 터치 장치
WO2010072912A1 (fr) Dispositif de numerisation tridimensionnelle a reconstruction dense
JP6645588B2 (ja) 表示システム
CN111766949B (zh) 三维图像显示设备、显示方法、电子设备以及存储介质
US8089456B2 (en) Inputting information using holographic techniques
WO2009074750A2 (fr) Dispositif de numérisation tridimensionnelle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09726637

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09726637

Country of ref document: EP

Kind code of ref document: A1