WO2021099512A1 - Systeme pour generer un signal a partir d'une commande tactile et d'une commande optique - Google Patents

Systeme pour generer un signal a partir d'une commande tactile et d'une commande optique Download PDF

Info

Publication number
WO2021099512A1
WO2021099512A1 PCT/EP2020/082767 EP2020082767W WO2021099512A1 WO 2021099512 A1 WO2021099512 A1 WO 2021099512A1 EP 2020082767 W EP2020082767 W EP 2020082767W WO 2021099512 A1 WO2021099512 A1 WO 2021099512A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
setpoint
computer
touch
generating
Prior art date
Application number
PCT/EP2020/082767
Other languages
English (en)
Inventor
Edgar HEMERY
Mathieu FROHLICH
Original Assignee
Embodme
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Embodme filed Critical Embodme
Priority to EP20807425.2A priority Critical patent/EP4062263A1/fr
Priority to CN202080093530.9A priority patent/CN114981757A/zh
Priority to US17/778,256 priority patent/US20230005457A1/en
Publication of WO2021099512A1 publication Critical patent/WO2021099512A1/fr

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G10H1/0558—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements using variable resistors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Definitions

  • the invention relates to a system for generating a signal, in particular a sound signal.
  • the invention also relates to a method for generating a signal, in particular a sound signal.
  • the field of the invention relates to musical instruments comprising a touchpad for generating a sound instruction.
  • the field of the invention relates in particular to systems capable of being coupled to different control interfaces.
  • Electronic musical instruments offer the possibility of producing a wide range of sound sequences, in particular by combining sounds produced with different special effects or parameters aimed at modulating or modifying one or more sound (s).
  • the ability of the musician to control and adjust all of these sounds is limited by the performance of the instrument and by the limitations of the instrument's interface.
  • a similar problem may be encountered in different fields when there is a need to generate a wide variety of signals and effects possibly applicable to said signals from a signal generator controllable by an individual. This need is reflected in the definition of a new control interface to control the various parameters of said signal in real time by the user. Examples include lighting, robot control or avatar control in video games.
  • the invention aims to provide a system for generating a signal which makes it possible to modify a first signal while overcoming the drawbacks of the prior art.
  • the invention relates to a system for generating a signal comprising:
  • a touch pad comprising a plurality of touch cells and a device for touch detection of the location and intensity of at least one pressure exerted on said touch pad;
  • an optical device for detecting movement and / or a position comprising at least one lens for capturing images
  • One advantage is that it allows two setpoints or signals to be combined to produce a single signal from two devices offering different modes of interaction with a user.
  • a first device makes it possible to take into account the touch and the force of pressing a finger within cells of a keyboard and the second device makes it possible to take into account a range of gestures in space.
  • one of the generated setpoints is associated with a signal and the other generated setpoint makes it possible to produce effects, for example to modulate the first signal.
  • a single original signal can therefore be produced using the system of the invention. This combination of interactions allows for a wide range of combinations of produced signals such as the production of sound signals.
  • another advantage is that it allows great latitude in the use of an instrument, such as a musical instrument, allowing each user to configure and appropriate this instrument.
  • each of the first setpoints is associated with the production of a first signal and the system comprises a signal generator for producing a second signal from the first setpoint or from the first signal to which an effect is applied. special extract from the second setpoint.
  • each of the second setpoints is associated with the production of a first signal and the system comprises a signal generator for producing a second signal from the second setpoint or from the first signal to which an effect is applied. special extract from the first instruction.
  • the first signal and the second signal are sound signals.
  • each touch cell includes a first layer including at least one force sensor resistor and includes a second layer including a sensing cell configured to sense a change in resistivity of the force sensing resistor.
  • each detection cell comprises a printed circuit comprising at least a first portion and a second portion connected to each other by the force sensor resistor of the first layer.
  • the movement parameter is determined from the amplitude, speed, and / or direction of the hand and / or a finger of the hand.
  • the device for optical detection of movement and / or position comprises a stereocamera, preferably an infrared stereocamera and / or a depth camera.
  • a stereocamera preferably an infrared stereocamera and / or a depth camera.
  • the first signal corresponds to or includes a musical note.
  • the system includes a user interface for providing feedback data to the second computer.
  • the second computer then includes a reinforcement learning algorithm, configured to modify the mode of generation of the second setpoint according to the feedback data per iteration.
  • said system is a musical instrument and the touchpad and the optical detection device are integrated in a single housing.
  • each touch cell includes a light source for producing a light signal when pressure is exerted on said touch cell.
  • the signal generator is configured to produce the second signal as a third setpoint.
  • the invention relates to a method for generating a signal comprising:
  • the method also includes a step of generating a second signal from:
  • the first signal and the second signal are sound signals.
  • the first setpoint or the second setpoint is associated with a first signal.
  • the movement parameter is also determined from the amplitude, speed and / or direction of the hand and / or a finger of the hand.
  • the first sound signal corresponds to a musical note.
  • the generation of a second signal comprises a step of generating a third setpoint associated with the second signal.
  • determining at least one motion parameter includes detecting points of interest such as finger tips, center of mass, and / or a point of deflection.
  • the step of determining at least one movement parameter from the acquired images comprises the generation of a depth map, said movement parameter also being determined as a function of said depth map.
  • said special effect comprises one or more of the elements listed below:
  • the invention relates to a system for generating a signal comprising hardware and / or software elements implementing the method according to the second aspect of the invention, in particular hardware and / or software elements designed to implement the method according to the second aspect of the invention.
  • the material means comprise:
  • the invention relates to a computer program product downloadable from a communication network and / or recorded on a data medium readable by a computer and / or executable by a computer, comprising program code instructions. data processing for implementing the method according to the second aspect of the invention.
  • the invention relates to a data recording medium, readable by a computer, on which is recorded a computer program comprising program code instructions for implementing the method according to the second aspect of the invention. 'invention.
  • the invention relates to a system for generating a signal comprising: • a touch pad comprising a plurality of touch cells and a device for touch detection of the location and the intensity of at least one pressure exerted on said touch pad;
  • an optical device for detecting movement and / or a position comprising at least one lens for capturing images
  • a signal generator for producing a second signal from the first setpoint or from the first signal to which a special effect extracted from the second setpoint is applied.
  • the invention relates to a system for generating a signal comprising:
  • a touch pad comprising a plurality of touch cells and a device for touch detection of the location and intensity of at least one pressure exerted on said touch pad;
  • an optical device for detecting movement and / or a position comprising at least one lens for capturing images
  • a second computer for determining at least one movement parameter from the captured images and for generating at least one second setpoint from said at least one movement parameter, each of the second setpoints being associated with the production of a first signal;
  • a signal generator for producing a second signal from the second setpoint or from the first signal to which a special effect extracted from the first setpoint is applied.
  • the invention relates to a method for generating a signal comprising:
  • FIG. 1 a schematic view of a system according to one embodiment of the invention
  • FIG. 2 a schematic view of a system according to an embodiment of the invention comprising a user interface for the transmission of return data;
  • FIG. 3 a sectional view of the touch pad according to one embodiment
  • FIG. 4 a flowchart of the method for generating a signal according to an embodiment of the invention
  • FIG. 5 a flowchart of the method for generating a signal according to an embodiment of the invention further comprising a user feedback step
  • FIG. 6 a view of a housing comprising the system according to an embodiment of the present invention
  • FIG. 7A a schematic view of a detection cell according to one embodiment of the invention.
  • FIG. 7B a schematic view of a multiplexing circuit of the touch detection device according to one embodiment of the invention
  • FIG. 7C a schematic view of an electronic module for reducing the residual current according to one embodiment
  • FIG. 8 a schematic view of a the first layer of the touch pad according to one embodiment of the invention.
  • FIG. 9A [Fig. 9B] [Fig. 9C] [Fig. 9D] [Fig. 9E] [Fig. 9F] [Fig. 9G] [Fig. 9H] and [Fig. 91]: a graphic representation of types of gestures detectable by the optical detection device according to one embodiment;
  • FIG. 10 a representation of the image of a hand in which each pixel is labeled so as to generate areas of interest for the hand;
  • FIG. 11 the representation of the image of a hand including points of interest.
  • the technical problem is solved by the invention, in particular by an optical detection device for the detection of a movement and / or a position for the generation of a special effect according to the gestures of the user.
  • the special effect is intended to be applied to a first signal determined from a PT touchpad.
  • the system is preferably a musical instrument.
  • the system is described in particular by the example of a musical instrument.
  • the signal produced by the system is therefore in this case a sound sequence.
  • the present invention is not, however, limited to a musical instrument.
  • the signal produced can be a light signal, a video signal or any other type of signal capable of being produced by a signal generator and capable of being modified by the application of a special effect such as a spatial filter. or temporal, a predefined data processing, or any other digital or analog effect.
  • the description of the system describes the main components of said system, each variant of the components described can be combined with an embodiment described in the present description.
  • the system comprises on the one hand, a touchpad PT for the generation of a first instruction Ci associated with the production of a first signal, and on the other hand, an optical detection device OPT for determining a movement parameter Di and generating a second setpoint C2 associated with a special effect to be applied to the first signal.
  • the PT touchpad includes a plurality of CT touch cells.
  • the touchpad PT advantageously makes it possible to detect a pressure exerted on one or more touch cells.
  • the PT touchpad includes a DD touch sensing device.
  • the DD touch detection device advantageously makes it possible to determine on the one hand the location of the touch cell CT on which pressure has been exerted and on the other hand the intensity of said pressure exerted.
  • the PT Touchpad includes a plurality of CT touch cells.
  • Each touch cell CT comprises at least one force sensor resistor 31.
  • the first layer 3 comprises a plurality of force sensor resistors 31, called FSR in English for “Force-Sensing Resistor”.
  • a force sensor resistor 31 is an electronic sensor whose resistance varies depending on the pressure applied to it.
  • Each touch cell CT comprises at least one detection cell 41.
  • the detection cell 41 is preferably arranged in contact with the force sensor resistor 31.
  • the detection cell 41 is configured to react as a function of a change in resistivity. of the force sensor resistor 31.
  • Each force sensor resistor 31 is associated with a sensing cell 41.
  • a force sensor resistor 31 may be included in multiple CT touch cells.
  • the detection cell 41 preferably comprises a printed circuit 71.
  • the printed circuit of the detection cell comprises an electrical input 74 and an electrical output 75.
  • the printed circuit 71 comprises a first portion 73 connected to an electrical input 74 and a second portion 72 connected to the electrical output 75.
  • the first portion 73 and the second portion 72 of the printed circuit 71 are not in contact with each other. 'other: the printed circuit 71 is an open circuit.
  • the printed circuit 71 is in contact with a force sensor resistor layer 31 of the first layer 3.
  • the force sensor resistor 31 is in contact with the first portion 73 and with the second portion 72 of the printed circuit. When no pressure is exerted on the force sensor resistor 31, the force sensor resistor is insulating between the first and second portion.
  • the force sensor resistor 31 When pressure is exerted on the touchpad PT, the force sensor resistor 31 is pressured. The resistivity of the force sensor resistor 31 decreases with increasing pressure. From a certain pressure, the force sensor resistor 31 conducts electricity between the first portion 73 and the second portion 72 of the printed circuit 71.
  • the first portion comprises a plurality of branched tracks 76.
  • the plurality of branched tracks comprises a plurality of substantially parallel tracks 76 which extend from a first main track of the first portion.
  • the first main track extends from the electrical input 74.
  • the second portion also comprises a second main track XX extending from the electrical outlet 75 and a plurality of branched tracks extending from said. second main track.
  • the branched tracks 77, 76 of the first and of the second portion entangle with each other in an alternating manner without coming into contact.
  • the force sensor resistor 31 makes it possible to establish electrical contact between each adjacent branched track when pressure is exerted on said pressure sensor resistor.
  • This embodiment advantageously makes it possible to improve the conductivity between the electrical input 74 and the electrical output 75 of the cell. sensor 41 when pressure is exerted on the force sensor resistor 31.
  • the overall conductivity of the circuit board of the sensing cell 41 between the input 74 and the output 75 of the circuit board 71 increases when pressure is exerted on the force sensor resistor 31.
  • the conductivity of the detection cell 41 is therefore a function of the intensity of the pressure exerted on the resistance to the force sensor 31.
  • the length and / or width dimensions of the detection cell 41 are between 5mm and 15mm.
  • the first portion and / or the second portion comprise a number of entangled branched tracks of between 5 and 15.
  • Each branched track may extend over a length of between 5mm and 15mm and / or a width of between 0.05mm and 1mm.
  • the space between a branched track of the first portion 73 and the branched track of the adjacent second portion 72 is between 0.05 mm and 1 mm.
  • the length of each branched track is between 3 mm and 20 mm.
  • the width of the overall shape of the circuit of the detection cell 41 is between 5 mm and 15 mm.
  • the printed circuit is preferably made of copper, aluminum or very preferably gold.
  • the touchpad PT can comprise a first layer 3 intended to be superimposed on a second layer 4.
  • the first layer 3 comprises at least one force sensor resistor 31.
  • the force sensor resistor 31 preferably comprises a material. conductor whose resistivity property varies as a function of the pressure which is exerted on said material.
  • Said material preferably comprises a mixture of conductive and insulating particles in a matrix.
  • Said matrix is preferably a polymer matrix.
  • the first layer 3 comprises a force sensor resistor sheet 31.
  • the first layer 3 comprises a support sheet 32.
  • the support sheet 32 is preferably transparent.
  • the support sheet 32 is preferably deformable.
  • the force sensor resistor (s) are arranged on said backing sheet 32.
  • the force sensor resistor or resistors 31 are printed on said backing sheet 32 of the first layer 3.
  • the force sensor resistor 31 is thus obtained by printing ink on the deformable sheet.
  • Said ink comprises said material whose resistivity property varies as a function of the pressure which is exerted on said material.
  • the deformability of the support sheet 32 advantageously makes it possible to transmit the pressure forces exerted on the touchpad PT.
  • the deformability of the support sheet 32 also advantageously makes it possible to facilitate the mounting of the touchpad PT.
  • a transparent support sheet 32 advantageously makes it possible to integrate, below the touchpad PT, display means visible to the user through the first layer 3.
  • the support sheet 32 thus advantageously makes it possible to serve as a mechanical support for the device.
  • FSR ink It also makes it possible to reduce the amount of ink to be used compared to a force sensor resistor sheet 31 by decreasing the necessary thickness and allowing the regions of the first layer 3 including a force sensor resistor 31 to be selected. .
  • the backing sheet 32 comprises an array of force sensor resistors.
  • the matrix of force sensor resistors is arranged on a first surface of the support sheet 32. - Depressing layer and contact layer.
  • the touchpad PT may include a depression layer 2.
  • the depression layer 2 may be intended to receive pressure from the user.
  • the depressing layer 2 makes it possible to transmit the pressure exerted by the user to the force sensor resistor 31.
  • the depressing layer 2 is preferably made of deformable material, very preferably in plastic material. As illustrated in FIG. 3, the depression layer 2 can be divided into a plurality of keys 21, preferably in a matrix of keys 21.
  • the first layer 3 and the indentation layer 2 are arranged so that each key 21 is located with regard to a force sensor resistor 31.
  • the recess layer 2 is superimposed on the first layer 3.
  • the recess layer 2 is preferably arranged facing the second surface of the support sheet 32 of the first layer 3.
  • the second surface of the backing sheet 32 is the face opposite the first surface on which the force sensor resistors are arranged.
  • the depressing layer 2 advantageously makes it possible to serve as a protective layer for the first layer 3.
  • the depressing layer 2 advantageously makes it possible to create a first filter of the detection cell 41. Below a certain pressure, the forces are damped by the depression layer 2 and will not be transmitted to the first layer 3.
  • the depression layer 2 advantageously makes it possible to reduce the risk of detecting an involuntary press on the touchpad PT.
  • the touchpad comprises a depression layer and a contact layer 5.
  • the contact layer 5 is disposed above the depression layer 2 and is intended to be touched by the user for. exert pressure on the depressing layer 2.
  • the depressing layer is made of translucent plastic in order to allow a quantity of light coming from the touchpad PT to pass. A user may experience the sensation of lighting a key when pressed.
  • the PT touchpad further includes a DD touch sensing device.
  • the device comprises a second layer 4.
  • the second layer 4 is arranged in contact with the force sensor resistor 31 of the first layer 3.
  • the second layer 4 comprises a plurality of detection cells 41.
  • Each detection cell 41 is in contact with a force sensor resistance 31.
  • Each sensing cell 41 is positioned in contact with a force sensor resistor 31.
  • Each sensing cell 41 is designed to respond to a change in the force sensor resistance 31.
  • each touch cell CT thus comprises at least one detection cell 41 and a force sensor resistor 31.
  • the system comprises a plurality of light sources.
  • the light sources are designed to emit light when pressure is exerted by the user on a CT touch cell adjacent to said light source.
  • the user advantageously receives, when pressing on a touch cell, a light response from said touch zone on which he presses.
  • each light source is arranged between two touch cells. As illustrated in FIG. 3, each light source can be arranged on the second layer, between at least two detection cells. As illustrated in FIG. 7B, the light sources 42 can be arranged between four detection cells 41 arranged in a square. As illustrated in FIG. 8, the first layer 3 can comprise bores 33. The bores 33 are arranged opposite the light source 42 so as to pass the light coming from said light source 42 through said bore 33.
  • the recess layer 2 comprises skylights 22.
  • the skylights 22 may include a hole whose section grows away from the light source 42.
  • the skylights 22 are formed. arranged facing the light source and optionally facing the bores 33 of the first layer 3.
  • the touchpad is arranged to allow the light source to emit light to the outside of the PT touchpad through the second layer 4, the first layer 3 and the depressing layer 2.
  • the light source may include a light emitting diode.
  • the light source of the touch cell CT is configured to emit a light when pressure is exerted by the user on the touch pad.
  • a variator is associated with the light to generate an emitted power proportional to the pressure exerted. To do this, the drive can be controlled by a reference generated from the pressure exerted. The latter can be measured indirectly by the resistivity of the force sensor.
  • the PT touchpad includes a DD touch sensing device.
  • the DD tactile detection device comprises hardware and / or software means for detecting a variation in the resistivity of each detection cell 41.
  • the DD tactile detection device generates information comprising the location of the detection cell 41 having undergone a variation in resistivity and the intensity of said variation.
  • the location of the cell can then be coupled to a sound library comprising predefined location information.
  • the touch detection device DD comprises a multiplexing circuit.
  • the multiplexing circuit is connected to the detection cells 41 by a matrix of rows and columns.
  • the multiplexing circuit connects each detection cell 41 to a current source. Voltage, current or resistivity can be measured on each circuit formed by a detection cell and a conductor organized according to a row and a column of the matrix.
  • the multiplexing circuit is more particularly described below with reference to FIG. 7B.
  • the input 74 of the printed circuit 71 of each detection cell 41 is connected to a column of the multiplexing circuit and the output 75 of the printed circuit 71 of each detection cell 41 is connected to a line of the circuit. multiplexing or vice versa.
  • the second layer 4 comprises a printed circuit comprising the detection cells 41 and / or the multiplexing circuit.
  • the multiplexing circuit comprises a first switch INT 1.
  • the first switch INT1 is connected in series with a current generator.
  • the first switch INT1 has an input terminal.
  • the input terminal of the first switch INT1 is connected in series with a power supply.
  • the first switch INT1 comprises a plurality of output terminals. Each output terminal is connected in series with a column of the multiplexing circuit.
  • the first switch INT1 is designed to supply power by scanning each column of the multiplexing circuit.
  • the multiplexing circuit comprises a second switch INT2.
  • the second switch INT2 includes an output terminal connected to a voltage meter.
  • the second switch INT2 includes a plurality of input terminals. Each input terminal is connected to a line of the multiplexing circuit.
  • the second switch INT2 is designed to connect each line of the scanning multiplexing circuit to the voltage meter.
  • the multiplexing circuit makes it possible to supply each row and each column one by one independently by scanning according to the connection of the first and second switch INT2.
  • the multiplexing circuit comprises means for measuring a voltage between the first switch INT1 and the second switch INT2.
  • the multiplexing circuit thus makes it possible to supply each detection cell 41 one by one according to the connection of the first and of the second switch INT2.
  • the voltage and / or the resistivity of each detection cell 41 can thus be measured.
  • a modification of the voltage and / or of the resistivity then indicates the presence of a pressure exerted on said touch cell CT of said detection cell 41.
  • the touch detection device DD preferably comprises a memory.
  • the memory records the position of the first switch INT1 and the position of the second switch INT2 when a change in resistivity is detected.
  • the memory also records the intensity of the variation in resistivity.
  • a computer associated with the memory is then configured to generate position information from the position of the first and second switch INT 1, INT2.
  • the DD touch detection device is thus advantageously capable of determining the location of a pressure exerted on the touch pad PT.
  • Position information can thus be generated as a function of the position of the two switches when a change in resistivity is detected.
  • Information on the intensity of the pressure exerted can also be generated as a function of the measured or calculated resistivity value.
  • the multiplexing circuit comprises residual current reduction modules. The residual current could indeed increase the risk of detection of false positives.
  • the residual current reduction module may include a voltage divider bridge.
  • the residual current reduction module comprises a first resistor 79.
  • the first resistor 79 is arranged to be connected to the electrical input 74 of each detection cell 41.
  • the first resistor 79 is arranged as a upstream of the first switch INT1 as illustrated in FIG. 7B.
  • the first resistor 79 is connected in parallel to the first switch INT1 and / or is connected in series to ground.
  • the residual current reduction module comprises a feedback loop 76.
  • the feedback loop 76 advantageously makes it possible to overcome the residual voltage that may be present in the circuit.
  • the feedback loop comprises an operational amplifier 77.
  • the operational amplifier 77 is preferably connected in series with a line of the multiplexing circuit.
  • each line of the multiplexing circuit includes a feedback loop 76 in series.
  • the feedback loop 76 includes a second resistor 78.
  • the second resistor 78 is tap-connected to the operational amplifier 76.
  • Said second resistor 78 is connected to the negative input terminal and to the output terminal of the operational amplifier.
  • the positive input terminal of the operational amplifier is preferably connected to ground.
  • the impedance of the second resistor 78 is greater than the impedance of the first resistor 79.
  • the feedback loop advantageously makes it possible to increase the impedance of the circuit so as to make the impedance of the circuit caused by the first negligible. resistance 79.
  • the current reduction module thus makes it possible to reduce the residual current without influencing the measured voltage values.
  • This assembly advantageously makes it possible to reduce the residual current present in the circuit which could lead to the detection of false positives.
  • the feedback loops 76 can be included on each column of the multiplex circuit.
  • the touch pad PT can be replaced by an electronic control pad allowing the generation of a first instruction Ci associated with the production of a first signal Si.
  • the electronic control pad can include an electronic piano, synthesizer, or synthesizer controller.
  • the system according to the present invention comprises an optical detection device OPT for the detection of a movement and / or a position.
  • This device is compatible with all the variants of the tactile detection device described above.
  • the OPT optical sensing device is designed to capture images of a user, including those hands, forearms and possibly upper arms, or even the torso.
  • the OPT optical sensing device enables motion detection and / or position detection of at least part of the user's body.
  • the optical detection device OPT makes it possible to detect a movement or a position of at least one hand of a user.
  • a user can thus use a first hand to exert one or more pressures on the touchpad PT and use the second hand with the optical detection device OPT.
  • the optical detection device OPT makes it possible to capture images of a second user. Said second user is a person other than that exerting pressure on the touchpad PT.
  • the system is then used simultaneously by two users, one for the touchpad PT and one for the optical detection device OPT.
  • the optical detection device OPT and the touchpad PT are separated and connected wirelessly, for example by the Internet network.
  • the OPT optical sensing device includes at least one CAM optic for capturing images of the user.
  • the touchpad PT, the optical detection device OPT are included in a single housing.
  • the touchpad PT and the CAM optic are integrated on the same surface of the housing 1.
  • the CAM optic is for example arranged so as to be adjacent to the touchpad PT. This arrangement advantageously makes it easier to capture images with a user's hand exerting pressure on the touchpad PT with his other hand. The user's second hand is then closer to the CAM optics capture field.
  • the CAM optic may include a camera, a stereocamera system and / or a depth camera.
  • the stereocamera system generally comprises at least two cameras, the relative position of which is known. Together, the two acquisitions made make it possible to determine a depth map.
  • a depth camera is generally equipped with an emitter, for example a beam of light in the infrared range, and makes it possible to obtain time-of-flight information by measuring the reflected signal. The information is then used to determine depth data.
  • CAM optics can be designed to capture images in the visible wavelengths.
  • CAM optics can be designed to capture images in infrared wavelengths.
  • the CAM optic comprises an infrared camera or an infrared stereocamera system.
  • the CAM optic is not integrated into the housing.
  • the system of the invention includes multiple CAM optics.
  • a first CAM optic can be arranged to pick up images of at least a first part of the user's body and a second CAM optic can be arranged to pick up images of at least a second part of the user's body.
  • the first CAM optic is arranged to capture images of a user's hand and the second CAM optic is arranged to capture images of the user's upper part.
  • the second CAM optic can be arranged to capture images of a part of the body of a second user.
  • the present invention comprises hardware means and / or software means coupled to the touchpad PT for implementing a method for generating an Si signal.
  • the system according to the present invention comprises a first computer Ki.
  • the first computer Ki comprises software means for generating at least a first setpoint Ci.
  • the first setpoint Ci is associated with the production of a first signal Si.
  • Each first setpoint Ci is generated from the location and the intensity d '' pressing the PT touchpad. This setpoint can be used to generate said first signal Si.
  • the first computer Ki is connected to the touch detection device DD of the touch pad PT.
  • the first computer Ki can be connected to the memory module of the touch detection device DD.
  • the first computer Ki comprises software means for implementing the following steps: - Reception of information comprising at least the location of a pressure exerted on the touchpad PT;
  • one advantage is to use libraries on demand, that is to say, pre-established according to the instruments.
  • the setpoint can be easily associated with a library of sounds of an instrument. Thus, making an instrument compatible with the touchpad can be easily achieved.
  • the information transmitted by the touch detection device DD can include the following information: - The location of the at least one pressure exerted on the touch pad PT;
  • the first instruction Ci is generated from the information received by the tactile detection device DD.
  • the first instruction Ci is generated from the location and / or the intensity of said at least one pressure exerted on the touchpad PT.
  • the touch sensing device DD can detect at least two pressures exerted on the touch pad PT at two different locations.
  • the DD touch detection device then generates information including the location of each pressure and the intensity associated with each pressure.
  • the first computer Ki generates as many first instructions Ci as there are pressures detected by the tactile detection device DD. Each instruction is associated with the production of a signal from the location and intensity of a pressure.
  • the first signal Si associated with the first setpoint Ci generated by the first computer Ki is a sound signal.
  • each touch cell CT can be associated for example with a musical note.
  • the frequency of the first sound signal Si associated with the first setpoint Ci depends on the location of the pressure exercised on the PT touchpad. This can be configured as a preliminary step to prepare the touchpad for a specific use.
  • the frequency of a sound signal to be produced is associated with several simultaneous notes, for example when several simultaneous presses are exerted on the touchpad PT.
  • the first instruction Ci preferably includes a MIDI control message (for Anglicism "Musical Instrument Digital Interface").
  • MIDI is a communication protocol and file format dedicated to music.
  • MIDI control may include information on a frequency of a sound signal to be produced. The frequency corresponds to the note associated with the sound signal to be produced.
  • the information on the frequency of a sound signal to be produced is determined from the at least one location of the pressure exerted on the touchpad PT.
  • the MIDI command can include particular timbre information to be applied to the sound signal to be produced.
  • the timbre makes it possible, for example, to reproduce the same note produced with two different instruments.
  • the timbre can be determined based on the location of the pressure exerted on the PT touchpad.
  • the MID command can include velocity information associated with the note.
  • the velocity of the note is determined from the intensity of the pressure exerted on the touchpad PT.
  • the MIDI command of the first setpoint Ci can include information on triggering and / or stopping the production of the first sound signal Si.
  • the MIDI control message can be produced throughout the duration during which the at least one pressure is exerted on the touchpad PT.
  • Computer K 2 The system according to the present invention comprises a second computer K 2.
  • the second computer K 2 comprises software means for generating a second setpoint C 2.
  • the second setpoint C 2 is associated with the production of at least one special effect. .
  • the second computer K 2 comprises software means for implementing the following steps: - Reception of images captured by the optical detection device OPT;
  • the second computer K2 and the first computer K1 are the same computer.
  • the second computer K2 includes a supervised learning agent.
  • the supervised learning agent can understand an artificial intelligence algorithm by learning.
  • the supervised learning agent is trained using examples of actions taken by different individuals.
  • the artificial intelligence algorithm makes it possible, from a trained neural network, to classify a gesture according to a classifier. The detection of the gesture and its class then makes it possible to associate a special effect with it.
  • the system according to the invention comprises a display means.
  • the display means make it possible to represent data relating to the movement parameter D1.
  • the second calculator K2 includes a reinforcement learning agent.
  • the reinforcement agent advantageously makes it possible to provide positive or negative RET feedback from the user on the agent concerning his current or past action in an iterative manner.
  • the user can thus, during the generation of the second signal S2 by the signal generator, give a positive or negative comment on the special effect applied to the first signal Si.
  • the reinforcement learning agent thus continues to operate. the association of a movement parameter D1 to a special effect by finding out which associations are most rewarded positively or negatively.
  • the reinforcement learning agent can thus modify the method of associating a movement parameter D1 with a special effect to tend towards a method whose associations are the most rewarded.
  • the step of generating GENc2 of a second setpoint C2 and / or the step of determining DET of a movement parameter D1 can thus comprise a learning agent by reinforcement.
  • Reinforcement learning agents advantageously allow learning progressively based on user feedback.
  • the reinforcement learning agent thus enables the second K2 computer to generate second instructions including special effects which converge on effects which are more pleasing to the user.
  • the system includes an INU user interface.
  • the INU user interface makes it possible to provide the second computer K2 with feedback data Ri.
  • the second computer K2 is configured to modify the mode of generation of the second setpoint C2 from the images received as a function of the feedback data per iteration. Generation of a setpoint C 2
  • the second computer K2 comprises software means for implementing a step of generating a second setpoint C2 from said movement parameter D1.
  • the second computer K2 associates the movement parameter D1 with a special effect.
  • the second setpoint C2 is associated with a special effect.
  • the special effect is intended to be applied to the first signal Si generated first calculator Ki.
  • the special effect is selected from a library of special effects.
  • the system may include a memory comprising a library of special effects.
  • the second computer K2 selects a special effect in the library from the movement parameter D1.
  • the association between a given movement and a special effect can be preconfigured. According to one embodiment, this association is made free for the user from a configuration interface.
  • the special effect is selected from the library based on the type of motion detected.
  • the value of the intensity of the special effect to be applied can be determined as a function of the intensity and / or the amplitude of the recognized gesture.
  • the second setpoint C 2 comprises several special effects which can be combined, in particular when several gestures are recognized simultaneously.
  • the system also includes a GEN signal generator.
  • the signal generator GEN is connected to the first computer K 1 and to the second computer K 2.
  • the signal generator receives the first setpoint Ci generated by the first computer Ki.
  • the signal generator GEN receives the second setpoint C 2 generated by the second computer K 2.
  • the signal generator GEN generates a second signal S 2.
  • the second signal S 2 is produced from the first setpoint Ci and / or from the first signal Si.
  • the second signal S 2 is also produced from the second setpoint C 2.
  • the second signal S 2 comprises the first signal Si to which is applied a special effect extracted from the second setpoint C 2.
  • the GEN signal generator produces a control signal comprising the second signal S 2.
  • the GEN signal generator produces a control message, very preferably a MIDI control message.
  • the MIDI control message includes the second sound signal S2.
  • the touchpad PT, the optical detection device OPT, the first computer K 1 , the second computer K 2 and the signal generator are included in a single box.
  • the single box preferably comprises a means for transmitting the second signal S 2.
  • the single box advantageously allows the user to have only one item of equipment to transport.
  • the means for transmitting the second signal S 2 is an enclosure or an amplifier. In the latter case, the system of the invention is a musical instrument.
  • the single housing comprises means for communication with a second touch pad similar to the touch pad of the present invention.
  • the invention then allows two musicians to play together at a distance.
  • the system comprises a first box comprising the touchpad PT and a second box comprising the optical detection device OPT and means of communication between the two boxes, for example via an Internet network. The system can then be used by two remote users.
  • the two boxes When the two boxes generate instructions that can be received, for example, by a musical instrument, the latter can be associated locally with one of the boxes or can also be accessible via a data network.
  • a first user handles the first box at a first position, the data whose instructions are then sent to the musical instrument via a data network and a second user handles the second box at a second position, the data whose setpoints are sent via a data network to the musical instrument.
  • the musical instrument is then able to synthesize a note which corresponds to the product of a first instruction and a second instruction.
  • a use case could be the production of a sound sequence between different artists during a live event.
  • the present invention is intended for use in the field of lighting, in particular stage lighting.
  • the system is intended to be connected to a lighting system comprising a plurality of light sources.
  • 5 1 may include information on the light source to be activated.
  • the special effect included in the second setpoint C2 may include modulation of the intensity or wavelength emitted by the light source.
  • the second setpoint C2 can also include a change in orientation of the light source.
  • the present invention is intended for use in the field of hologram control or the field of video games.
  • the system is intended to be connected to a device for generating a hologram.
  • the first signal Si may include information comprising a form of a hologram.
  • the special effect included in the second setpoint C2 can include position information.
  • the second setpoint C2 then makes it possible to set in motion the hologram, the shape of which was determined by the first signal.
  • the invention relates to a method for generating a signal.
  • An embodiment of said method is illustrated in FIG. 4.
  • the method comprises a step of acquiring ACQ of the location and of the intensity of a pressure from the user on a touchpad PT comprising a plurality of touch cells. .
  • the method comprises a step of production PROD of the first setpoint Ci associated with the production of the first signal Si.
  • the method comprises a step of CAPT acquisition of at least one image by the CAM optics.
  • the step of CAPT acquiring at least one image comprises acquiring at least one image comprising at least a part of a user, preferably a hand of the user.
  • the method comprises a step of determining DET of at least one movement parameter D1 from the acquired images.
  • the second computer K2 comprises software means for the implementation of a step of processing the images acquired by the CAM optic.
  • the second computer K2 makes it possible to detect simple movements and / or simple positions and / or speeds of movement of the hand. This is the case for simple movements, for example of an arm going from left to right or from top to bottom.
  • the second computer K2 is configured to detect postures of the hand, movements of the fingers or complex gestures comprising a sequence of linked movements.
  • the enriched embodiment can also include detection according to the simplified mode. The two embodiments can be combined.
  • the processing of images makes it possible to result in the generation of an image comprising at least points of interest of the user.
  • the optical detection device OPT or the first computer Ki comprises a module for processing images IMGi.
  • the image processing module generates at least one second IMG2 image.
  • the second image IMG2 has at least one shape of the points of interest extracted from the first image IMG1. This could be, for example, the end of a limb such as the ends of straight lines, points of articulation, shape contours, etc.
  • the generation of the second image IMG2 follows the step of receiving a captured image IMG1 by the optical detection device OPT.
  • the generation of the second image IMG2 can include a thresholding step.
  • the thresholding step includes applying one or more filters to the captured IMG1 image.
  • the filter can include a Laplacian filter.
  • the Laplacian filter accentuates the outlines of the user's shapes.
  • the filter may include a filter to decrease the noise of the captured image.
  • the generation of the second image IMG2 may include a step of exploiting a depth map obtained from the image captured by the optical detection device OPT.
  • the depth map includes a point cloud making it possible to identify for each pixel, or for each group of pixels, a value associated with the depth.
  • the second image ING2 can then advantageously be a 3D image.
  • the generation of the second image IMG2 comprises a reinforcement of the representation of regions of interest.
  • the regions of interest are detected from the images captured by the CAM optics, optionally from the images generated by the thresholding step and / or by the step of creating a depth map.
  • the detection of regions of interest comprises labeling each pixel or each group of pixels.
  • the regions of interest may include the palm of the hand 53, the wrist 54, the first phalanges of each finger 52 (thumb, index, middle, ring finger , little finger) and the end and / or the last phalanx 51 of each finger.
  • the regions of interest can include each phalanx of the fingers of the hand.
  • the detection of the regions of interest is implemented by a classifier at the end of the implementation of an artificial intelligence algorithm, for example configured from a neural network.
  • the classifier is a classifier, for example, previously trained by means of a set of hand images.
  • the image database may include an image database of hands on which the regions of interest have been manually annotated.
  • the image database is generated from a parametric model to generate a large number of images of hands comprising different positions or poses.
  • the parametric model generates images on which the regions of interest are already labeled.
  • the region of interest detection step outputs a labeled image of the user.
  • Each pixel of the labeled image corresponding to the user is associated with a label corresponding to an area of interest.
  • the generation of the second image IMG2 further comprises a step of generating points of interest. Points of interest can be generated from the labeled image including areas of interest.
  • the points of interest can include centers of mass 103.
  • the centers of mass 103 can be generated at coordinates substantially corresponding to the center of an area of interest.
  • a point of interest can be the center of mass of the palm of the hand.
  • Points of interest may include deflection points 102. Deflection points 102 are generated at the boundary between two adjacent areas of interest.
  • a point of interest can be generated between the areas of interest corresponding to two adjacent phalanges of the same finger. The location of such a point of interest can then correspond to the location of a joint, for example between two phalanges.
  • the generation of a point of interest can comprise the creation of a point of interest substantially in the middle of a segment formed by the border between two adjacent zones of interest.
  • the points of interest can include the end or the tip of a finger 101. Such a point of interest can be generated at the distal end of the region of interest corresponding to the last phalanx of a finger, or corresponding to a center of mass of the region of interest corresponding to the last phalanx of a finger.
  • the step of generating the points of interest 103, 102, 101 comprises the generation of at least one point of interest per zone of interest.
  • the step of generating the points of interest includes generating the depth coordinates of each point of interest.
  • the point of interest generation step outputs an image or depth map including the points of interest extracted from the image generated by the area of interest detection step.
  • IMG2 can include a step of generating a skeleton.
  • the skeleton is generated by connecting the points of interest together in a predetermined way.
  • FIG. 11 illustrates a skeleton 104 obtained by connecting certain points of interest 102, 101. For example, the points of interest corresponding to the joints 102 of the same finger are linked together.
  • the step of generating a skeleton outputs an image IMG2 or a depth map IMG2 comprising the points of interest and a skeleton connecting the points of interest together so as to reproduce the shape of the user.
  • the step of generating a skeleton advantageously makes it possible to model a hand model on the points of interest.
  • the second image IMG2 may include the image and / or the depth map generated by the step of generating points of interest and / or by the step of generating a skeleton.
  • the skeleton can consist of segments connecting certain points of interest to each other.
  • determining a motion parameter D1 includes detecting at least one type of movement of a user from the captured images.
  • the detection of a type of movement of a user comprises a detection of a movement of the hand of a user.
  • Motion detection is performed from images captured by the OPT optical detection device.
  • the raw images such as they were captured by the CAM optics as well as the images generated by the processing of these images, for example the IMG2 images generated from the generation point of interest. It also includes any two-dimensional image or depth map.
  • the different types of movement are listed in a library.
  • the computer can then operate a fitting operation or an analytical regression operation to determine a particular type of movement from the captured images.
  • Figures 9A through 91 illustrate examples of types of hand movement. These types of movements are recognizable by the second computer K2.
  • the second computer K2 generates a movement parameter D1 from the type of movement detected.
  • Examples of types of hand movement may include a closed fist wrist rotational movement (Figure 9B), hand rotation along a longitudinal axis of the forearm ( Figure 9E), along an axis one perpendicular to the longitudinal axis of the forearm ( Figures 9D and 9F).
  • Another example of the type of movement may include a transverse movement of the hand ( Figures 9I, 9H and 9G).
  • the type of movement may also depend on the position and / or movement of the joints of the fingers. For example, the type of movement may be different if the wrist rotation gesture is performed with an open hand or a closed hand.
  • Certain types of movements can be associated with known gestures of personalities in the musical world or in the audiovisual world.
  • a downward closing hand type of movement performed at a speed above a threshold while simultaneously squeezing the fingers may be characteristic of an "Ardisson hand close".
  • a closing of the hand simultaneous with a transverse movement of the elbow may be characteristic of a closing movement of the hand according to the Nagui facilitator.
  • Another example of the type of movement illustrated in Figure 9A may include closing the fingers of the hand with the fingers extended.
  • Another example of the type of movement may include an oscillation of the hand so as to mimic the movement of a wave, as shown in Figure 9C.
  • the type of movement can also be a function of the direction of the gesture.
  • a movement of translational movement of the hand can be discriminated as a function of the plane and / or the direction of translation.
  • the translation is performed along the axis perpendicular to the palm of the hand.
  • Figures 9H and 9G illustrate a translational movement of the hand in the same plane but one in the direction perpendicular to the longitudinal direction of the fingers (Figure 9H) and the other in a direction parallel to the longitudinal direction of the fingers ( Figure 91 ).
  • wrist rotation can be detected in the plane.
  • the movement parameter Di also includes the determination of the speed and / or the amplitude of the movement.
  • the method comprises a step of generating GENc2 of the second setpoint C2 from the movement parameter D1.
  • the second setpoint C2 is associated with a special effect.
  • the special effect is a special effect of altering the sound signal.
  • the special effect can be selected from one or more of the following special effects:
  • ⁇ Signal reverberation effect obtained by creating repeated sounds from the first sound signal, with a time delay not exceeding 60ms, so that the brain cannot distinguish each sound separately.
  • ⁇ A distortion effect achieved by amplifying the first sound signal strongly to clip or plane it.
  • ⁇ A sustain effect produced by maintaining the first sound signal in time after having triggered it.
  • ⁇ A wha-wha effect produced by passing the first sound signal through a filter of the band-pass filter type.
  • ⁇ A vibrato effect produced by modulating the frequency of the first sound signal around its original value.
  • ⁇ A tremolo effect produced by modulating the amplitude (therefore the volume) of the first sound signal.
  • the special effect can be selected from a library that can also include sound signal phase shift, sound signal frequency transposition, timbre modification, sound signal filtering, sound signal stopping.
  • the special effect is selected from modulation of the signal strength.
  • the intensity of the signal S 2 can thus be controlled firstly by the intensity of the pressure exerted on the touchpad PT and / or by a gesture of the user captured by the optical detection device OPT.
  • the method comprises a step of generating GENs 2 of the second signal S 2 from the first setpoint Ci or from the first signal Si and from the second setpoint C 2 .
  • the method comprises a step of applying the special effect to the first signal Si.
  • the application consists, for example, of a modulation, a mixture, or even more generally of a combination of signals which can be of any type.
  • the effect is applied to a portion only of the first signal.
  • the effect is produced over a given period and applies to any first signals produced in that period of time. Transmission of the second signal S2
  • the method comprises generating and transmitting the second signal S2.
  • the second signal S2 is preferably transmitted to a device capable of applying the signal such as a control device or a sound device. It can be an enclosure, a loudspeaker or more generally any type of membrane making it possible to make the second signal S2 audible.
  • the generation of the second signal is preceded by a step of generating a third setpoint, the third setpoint being associated with the second signal.
  • the method and the system are then advantageously capable of transmitting the second generated signal, for example in the form of a MIDI message.
  • the first setpoint generated from the location and the intensity of the pressure exerted on the touchpad is associated with a special effect.
  • the second setpoint generated from the movement parameter is associated with the production of a first signal.
  • the second signal is then generated from the second setpoint (or from the first signal) to which a special effect extracted from the first setpoint is applied.
  • This variant allows, for example, the user to generate a first signal associated with a note using the optical detection device and to apply a special effect to said first signal, the special effect being selected from the location and / or intensity of pressure exerted on the touchpad.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

-La présente invention concerne un système pour générer un signal. Ledit système comprend :  un pavé tactile (PT) comprenant une pluralité de cellules tactiles et un dispositif de détection tactile (DD) de la localisation et de l'intensité d'au moins une pression exercée sur ledit pavé tactile (PT);  un premier calculateur (K1) générant au moins une première consigne (C1) à partir de la localisation et de l'intensité de ladite au moins une pression; un dispositif de détection optique (OPT) d'un mouvement et/ou une position comportant au moins une optique (CAM) pour la capture d'images;  un second calculateur (K2) pour déterminer au moins un paramètre de mouvement (D1) à partir des images capturées et pour générer une seconde consigne (C2) à partir dudit au moins un paramètre de mouvement (D1); et  un générateur de signal (GEN) pour produire un second signal (S2) à partir : • de la première consigne (C1) ou d'un premier signal (S1) extrait à partir de la première consigne (C1) auquel est appliqué un effet spécial extrait de la seconde consigne (C2); ou • de la seconde consigne (C2) ou d'un premier signal (S1) extrait à partir de la seconde consigne (C2) auquel est appliqué un effet spécial extrait de la première consigne (C1).

Description

Description
Titre : SYSTEME POUR GENERER UN SIGNAL A PARTIR D’UNE COMMANDE TACTILE ET D’UNE COMMANDE OPTIQUE
Domaine de l’invention
L’invention concerne un système pour générer un signal, notamment un signal sonore. L’invention concerne également un procédé pour générer un signal, notamment un signal sonore. En particulier, le domaine de l’invention se rapporte aux instruments de musique comportant un pavé tactile pour générer une consigne sonore. Le domaine de l’invention concerne notamment les systèmes capables d’être couplés à différentes interfaces de commande.
État de la technique
Les instruments de musique électronique offrent la possibilité de produire une large gamme de séquences sonores, notamment en combinant des sons produits avec différents effets spéciaux ou paramètres visant à moduler ou modifier un ou des son(s). Cependant, l’aptitude du musicien pour contrôler et ajuster l’ensemble de ces sons est limitée par la performance de l’instrument et par les limites de l’interface de l’instrument. Il existe un besoin d’étendre les capacités de commande et donc les capacités de l’interface d’un instrument de musique pour permettre une exploration et une exploitation de la production sonore de l’instrument.
Une problématique similaire peut être rencontrée dans différents domaines lorsqu’il existe un besoin de générer une grande variété de signaux et des effets possiblement applicables auxdits signaux d’un générateur de signal commandable par un individu. Ce besoin se traduit par la définition d’une nouvelle interface de commande pour contrôler les différents paramètres dudit signal en temps réel par l’utilisateur. On peut citer par exemple le domaine de l’éclairage, la commande d’un robot ou le contrôle d’avatar dans les jeux vidéo.
Il existe ainsi un réel besoin d’augmenter les moyens d’interface afin d’augmenter les possibilités à l’utilisateur susceptible de générer une grande variété d’effets sur des signaux à partir d’un instrument ou d’un générateur de signal. Parmi les instruments de musique existants offrant des dispositifs de commande enrichis, on connaît notamment la solution décrite dans le document FR3008217. Cette solution décrit un module de détection, tel qu’un gyroscope, pour modifier les sons produits par un instrument de musique. Le gyroscope est fixé sur l’instrument de musique ou sur le musicien. Cependant, un inconvénient de ce système est qu’il implique la fixation d’un module de détection en plus de l’instrument de musique qui est susceptible d’introduire une imprécision des mesures ou qui nécessite de configurer le matériel à chaque utilisation. Un second inconvénient ressort de la compatibilité de l’instrument de musique avec le module de détection. En effet, il est nécessaire dans cette solution de passer par un ordinateur et d’utiliser un logiciel rassemblant les signaux de l’instrument de musique d’une part et les signaux acquis par le module de détection d’autre part afin de générer le signal de sortie. Le musicien doit mettre en oeuvre au moins trois éléments : l’instrument, l’ordinateur et le module de détection et doit procéder à une configuration pour chaque appareil.
L’invention vise à fournir un système de génération d’un signal qui permette de modifier un premier signal en s’affranchissant des inconvénients de l’art antérieur.
Résumé de l’invention
Selon un premier aspect, l’invention concerne un système pour générer un signal comprenant :
• un pavé tactile comprenant une pluralité de cellules tactiles et un dispositif de détection tactile de la localisation et de l’intensité d’au moins une pression exercée sur ledit pavé tactile ;
• un premier calculateur générant au moins une première consigne à partir de la localisation et de l’intensité de ladite au moins une pression ;
• un dispositif de détection optique d’un mouvement et/ou une position comportant au moins une optique pour la capture d’images ;
• un second calculateur pour déterminer au moins un paramètre de mouvement à partir des images capturées et pour générer une seconde consigne à partir dudit au moins un paramètre de mouvement.
Un avantage est de permettre de combiner deux consignes ou de signaux pour produire un unique signal à partir de deux équipements offrant des modes d’interaction différents avec un utilisateur. En effet, un premier équipement permet de prendre en compte le toucher et la force d’enfoncement d’un doigt au sein de cellules d’un clavier et le second équipement permet de prendre en compte une amplitude de gestes dans l’espace. Un intérêt est que l’une des consignes générées est associée à un signal et l’autre consigne générée permet de produire des effets par exemple pour moduler le premier signal. Un unique signal original peut donc être produit grâce au système de l’invention. Cette combinaison d’interactions permet d’offrir une large gamme de combinaisons de signaux produits tels que la production de signaux sonores. Enfin, un autre avantage est de permettre une grande latitude d’usages d’un instrument, tel qu’un instrument de musique, permettant à chaque utilisateur de configurer et de s’approprier cet instrument.
Dans un premier mode de réalisation alternatif, chacune des premières consignes est associée à la production d’un premier signal et le système comprend un générateur de signal pour produire un second signal à partir de la première consigne ou du premier signal auquel est appliqué un effet spécial extrait de la seconde consigne.
Dans un second mode de réalisation alternatif, chacune des secondes consignes est associée à la production d’un premier signal et le système comprend un générateur de signal pour produire un second signal à partir de la seconde consigne ou du premier signal auquel est appliqué un effet spécial extrait de la première consigne.
Dans un mode de réalisation, le premier signal et le second signal sont des signaux sonores.
Dans un mode de réalisation, chaque cellule tactile comprend une première couche comprenant au moins une résistance à capteur de force et comprend une deuxième couche comprenant une cellule de détection conçue pour détecter une variation de la résistivité de la résistance à capteur de force.
Dans un mode de réalisation, chaque cellule de détection comprend un circuit imprimé comprenant au moins une première portion et une seconde portion connectée l’une à l’autre par la résistance à capteur de force de la première couche.
Dans un mode de réalisation, le paramètre de mouvement est déterminé à partir de l’amplitude, de la vitesse et/ou de la direction de la main et/ou d’un doigt de la main.
Dans un mode de réalisation, le dispositif de détection optique d’un mouvement et/ou une position comprend une stéréocaméra, préférentiellement une stéréocaméra infrarouge et/ou une caméra de profondeur. Un avantage est de permettre de détecter une large gamme de mouvement et de caractériser des gestes finement pour produire des effets sonores sur un premier signal généré.
Dans un mode de réalisation, le premier signal correspond à ou comprend une note de musique. Dans un mode de réalisation, le système comprend une interface utilisateur permettant de fournir au second calculateur une donnée de retour. Le second calculateur comprend alors un algorithme d’apprentissage par renforcement, configuré pour modifier le mode de génération de la seconde consigne en fonction de la donnée de retour par itération. Dans un mode de réalisation, ledit système est un instrument de musique et le pavé tactile et le dispositif de détection optique sont intégrés dans un unique boîtier.
Dans un mode de réalisation, le premier calculateur et le second calculateur sont intégrés dans ledit boîtier. Dans un mode de réalisation, chaque cellule tactile comprend une source d’éclairage pour produire un signal lumineux lorsqu’une pression est exercée sur ladite cellule tactile.
Dans un mode de réalisation, le générateur de signal est configuré pour produire le second signal sous forme d’une troisième consigne. Selon un second aspect, l’invention concerne un procédé pour générer un signal comprenant :
• une acquisition de la localisation et de l’intensité d’une pression sur un pavé tactile comportant une pluralité de cellules tactiles ; • une production d’une première consigne associée à la production d’un premier signal ;
• une acquisition d’au moins d’une image par au moins une optique ;
• une détermination d’au moins un paramètre de mouvement à partir des images acquises ;
• une génération d’une seconde consigne à partir du paramètre de mouvement.
Le procédé comprend aussi une étape de génération d’un second signal à partir de :
• la première consigne ou d’un premier signal associé à la première consigne auquel est appliqué un effet spécial extrait de la seconde consigne ; ou
• la seconde consigne ou d’un premier signal associé à la seconde consigne auquel est appliqué un effet spécial extrait de la première consigne.
Dans un mode de réalisation, le premier signal et le second signal sont des signaux sonores.
Dans un mode de réalisation, la première consigne ou la seconde consigne est associée à un premier signal.
Dans un mode de réalisation, le paramètre de mouvement est aussi déterminé à partir de l’amplitude, de la vitesse et/ou de la direction de la main et/ou d’un doigt de la main.
Dans un mode de réalisation, le premier signal sonore correspond à une note de musique.
Dans un mode de réalisation, la génération d’un second signal comprend une étape de génération d’une troisième consigne associée au second signal.
Dans un mode de réalisation, la détermination d’au moins un paramètre de mouvement comprend la détection de points d’intérêt tels que l’extrémité des doigts, le centre de masse et/ou un point de déflexion.
Dans un mode de réalisation, l’étape de détermination d’au moins un paramètre de mouvement à partir des images acquises comprend la génération d’une carte de profondeur, ledit paramètre de mouvement étant déterminé aussi en fonction de ladite carte de profondeur. Dans un mode de réalisation, ledit effet spécial comprend un ou plusieurs des éléments listés ci-dessous :
• une réverbération,
• un écho, · une distorsion,
• un sustain,
• un wha-wha,
• un vibrato,
• un déphasage. Selon un troisième aspect, l’invention concerne un système pour générer un signal comprenant des éléments matériels et/ou logiciel mettant en oeuvre le procédé selon le deuxième aspect de l’invention, notamment des éléments matériels et/ou logiciels conçus pour mettre en oeuvre le procédé selon le deuxième aspect de l’invention. Dans un mode de réalisation, les moyens matériels comprennent :
• un pavé tactile ;
• un dispositif de détection tactile ;
• un dispositif de détection optique ;
• un premier calculateur ; · un second calculateur ; et
• un générateur de signal.
Selon un quatrième aspect, l’invention concerne un produit- programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support de données lisible par un ordinateur et/ou exécutable par un ordinateur, comprenant des instructions de code de programme informatique de mise en oeuvre du procédé selon le deuxième aspect de l’invention.
Selon un cinquième aspect, l’invention concerne un support d’enregistrement de données, lisible par un ordinateur, sur lequel est enregistré un programme d’ordinateur comprenant des instructions de code de programme de mise en oeuvre du procédé selon le deuxième aspect de l’invention.
Selon un sixième aspect, l’invention concerne un système pour générer un signal comprenant : • un pavé tactile comprenant une pluralité de cellules tactiles et un dispositif de détection tactile de la localisation et de l’intensité d’au moins une pression exercée sur ledit pavé tactile ;
• un premier calculateur générant au moins une première consigne à partir de la localisation et de l’intensité de ladite au moins une pression, chacune des premières consignes étant associée à la production d’un premier signal ;
• un dispositif de détection optique d’un mouvement et/ou une position comportant au moins une optique pour la capture d’images ;
• un second calculateur pour déterminer au moins un paramètre de mouvement à partir des images capturées et pour générer une seconde consigne à partir dudit au moins un paramètre de mouvement ; et
• un générateur de signal pour produire un second signal à partir de la première consigne ou du premier signal auquel est appliqué un effet spécial extrait de la seconde consigne.
Selon un sixième aspect, l’invention concerne un système pour générer un signal comprenant :
• un pavé tactile comprenant une pluralité de cellules tactiles et un dispositif de détection tactile de la localisation et de l’intensité d’au moins une pression exercée sur ledit pavé tactile ;
• un dispositif de détection optique d’un mouvement et/ou une position comportant au moins une optique pour la capture d’images ;
• un premier calculateur générant une première consigne à partir de la localisation et de l’intensité de ladite au moins une pression ;
• un second calculateur pour déterminer au moins un paramètre de mouvement à partir des images capturées et pour générer au moins une seconde consigne à partir dudit au moins un paramètre de mouvement, chacune des secondes consignes étant associée à la production d’un premier signal ; et
• un générateur de signal pour produire un second signal à partir de la seconde consigne ou du premier signal auquel est appliqué un effet spécial extrait de la première consigne.
Selon un huitième aspect, l’invention concerne un procédé pour générer un signal comprenant :
• une acquisition de la localisation et de l’intensité d’une pression sur un pavé tactile comportant une pluralité de cellules tactiles ;
• une production d’une première consigne associée à la production d’un premier signal ;
• une acquisition d’au moins d’une image par au moins une optique ;
• une détermination d’au moins un paramètre de mouvement à partir des images acquises ;
• une génération d’une seconde consigne à partir du paramètre de mouvement ;
• une génération d’un second signal à partir de la première consigne ou du premier signal auquel est appliqué un effet spécial extrait de la seconde consigne.
Brève description des figures
D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées, qui illustrent :
[Fig. 1] : une vue schématique d’un système selon un mode de réalisation de l’invention ;
[Fig. 2] : une vue schématique d’un système selon un mode de réalisation de l’invention comprenant une interface utilisateur pour la transmission d’une donnée de retour ;
[Fig. 3] : une vue de coupe du pavé tactile selon un mode de réalisation ;
[Fig. 4] : un logigramme du procédé de génération d’un signal selon un mode d’exécution de l’invention ; [Fig. 5] : un logigramme du procédé de génération d’un signal selon un mode d’exécution de l’invention comprenant en outre une étape de retour de l’utilisateur ;
[Fig. 6] : une vue d’un boîtier comprenant le système selon un mode de réalisation de la présente invention ;
[Fig. 7A] : une vue schématique d’une cellule de détection selon un mode de réalisation de l’invention ;
[Fig. 7B] : une vue schématique d’un circuit de multiplexage du dispositif de détection tactile selon un mode de réalisation de l’invention ; [Fig. 7C] : une vue schématique d’un module électronique de réduction du courant résiduel selon un mode de réalisation ;
[Fig. 8] : une vue schématique d’un la première couche du pavé tactile selon un mode de réalisation de l’invention ;
[Fig. 9A] [Fig. 9B] [Fig. 9C] [Fig. 9D] [Fig. 9E] [Fig. 9F] [Fig. 9G] [Fig. 9H] et [Fig. 91] : une représentation graphique de types de gestes détectables par le dispositif de détection optique selon un mode de réalisation ;
[Fig. 10] : une représentation de l’image d’une main dans laquelle chaque pixel est labélisé de manière à générer des zones d’intérêt de la main ;
[Fig. 11] : la représentation de l’image d’une main comprenant des points d’intérêt.
Description détaillée
Le problème technique est résolu par l’invention, notamment par un dispositif de détection optique pour la détection d’un mouvement et/ou d’une position pour la génération d’un effet spécial en fonction des gestes de l’utilisateur. L’effet spécial est destiné à être appliqué à un premier signal déterminé à partir d’un pavé tactile PT.
Le système est préférentiellement un instrument de musique. Dans la suite de la description, le système est décrit notamment par l’exemple d’un instrument de musique. Le signal produit par le système est donc dans ce cas une séquence sonore. La présente invention ne se limite cependant pas à un instrument de musique. En effet, le signal produit peut être un signal lumineux, un signal vidéo ou tout autre type de signal susceptible d’être produit par un générateur de signaux et pouvant être modifié par l’application d’un effet spécial tel qu’un filtre spatial ou temporel, un traitement de données prédéfini, ou tout autre effet numérique ou analogique. La description du système décrit les principaux composants dudit système, chaque variante des composants décrite peut être combinée avec un mode de réalisation décrit dans la présente description.
Le système comprend d’une part, un pavé tactile PT pour la génération d’une première consigne Ci associé à la production d’un premier signal, et d’autre part, un dispositif de détection optique OPT pour déterminer un paramètre de mouvement Di et générer une seconde consigne C2 associée à un effet spécial à appliquer au premier signal.
Pavé tactile Le pavé tactile PT comprend une pluralité de cellules tactiles CT.
Le pavé tactile PT permet avantageusement de détecter une pression exercée sur une ou plusieurs cellules tactiles. À cet effet, le pavé tactile PT comprend un dispositif de détection tactile DD. Le dispositif de détection tactile DD permet avantageusement de déterminer d’une part la localisation de la cellule tactile CT sur laquelle une pression a été exercée et d’autre part l’intensité de ladite pression exercée.
Le Pavé tactile PT comprend une pluralité de cellules tactiles CT. Chaque cellule tactile CT comprend au moins une résistance à capteur de force 31. Préférentiellement, la première couche 3 comprend une pluralité de résistances à capteur de force 31, appelé en anglais FSR pour « Force- Sensing Resistor ». Une résistance à capteur de force 31 est un capteur électronique dont la résistance varie en fonction de la pression qui lui est appliquée.
Chaque cellule tactile CT comprend au moins une cellule de détection 41. La cellule de détection 41 est préférentiellement agencée au contact de la résistance à capteur de force 31. La cellule de détection 41 est configurée pour réagir en fonction d’une modification de la résistivité de la résistance à capteur de force 31.
Chaque résistance à capteur de force 31 est associée à une cellule de détection 41. Dans un mode de réalisation, une résistance à capteur de force 31 peut être incluse dans plusieurs cellules tactiles CT.
Cellules de détection
La cellule de détection 41 comprend préférentiellement un circuit imprimé 71. Le circuit imprimé de la cellule de détection comprend une entrée électrique 74 et une sortie électrique 75. Le circuit imprimé 71 comprend une première portion 73 connectée à une entrée électrique 74 et une seconde portion 72 connectée à la sortie électrique 75. La première portion 73 et la seconde portion 72 du circuit imprimé 71 ne sont pas en contact l’une avec l’autre : le circuit imprimé 71 est un circuit ouvert.
Le circuit imprimé 71 est en contact avec une couche de résistance à capteur de force 31 de la première couche 3. La résistance à capteur de force 31 est en contact avec la première portion 73 et avec la seconde portion 72 du circuit imprimé. Lorsqu’aucune pression n’est exercée sur la résistance à capteur de force 31 , la résistance à capteur de force est isolante entre la première et seconde portion.
Lorsqu’une pression est exercée sur le pavé tactile PT, la résistance à capteur de force 31 subit la pression. La résistivité de la résistance à capteur de force 31 diminue avec l’augmentation de la pression subie. À partir d’une certaine pression, la résistance à capteur de force 31 conduit l’électricité entre la première portion 73 et la seconde portion 72 du circuit imprimé 71.
Dans un mode de réalisation illustré sur la figure 7A la première portion comprend une pluralité de pistes ramifiées 76. Préférentiellement, la pluralité de pistes ramifiées comprenne une pluralité de pistes sensiblement parallèles 76 qui s’étendent depuis une première piste principale de la première portion. La première piste principale s’étend depuis l’entrée électrique 74. Dans ce même mode de réalisation, la seconde portion comprend également une seconde piste principale XX s’étendant depuis la sortie électrique 75 et une pluralité de pistes ramifiées s’étendant depuis ladite seconde piste principale.
Préférentiellement, les pistes ramifiées 77, 76 de la première et de la seconde portion s’enchevêtrent les unes avec les autres de manière alternative sans entrer en contact. La résistance à capteur de force 31 permet d’établir un contact électrique entre chaque piste ramifiée adjacente lorsqu’une pression est exercée sur ladite résistance à capteur de pression.
Ce mode de réalisation permet avantageusement d’améliorer la conductivité entre l’entrée électrique 74 et la sortie électrique 75 de la cellule de détection 41 lorsqu’une pression est exercée sur la résistance à capteur de force 31.
La conductivité globale du circuit imprimé de la cellule de détection 41 entre l’entrée 74 et la sortie 75 du circuit imprimé 71 augmente lorsqu’une pression est exercée sur la résistance à capteur de force 31.
Plus l’intensité de la pression exercée sur la résistance à capteur de force 31 est importante, plus la résistivité de ladite résistance à capteur de force 31 diminue et donc la conductivité de la cellule de détection 41 augmente. La conductivité de la cellule de détection 41 est donc fonction de l’intensité de la pression exercée sur la résistance à capteur de force 31.
Dans un mode de réalisation, les dimensions de longueur et/ou de largeur de la cellule de détection 41 sont comprises entre 5mm et 15 mm.
Dans un mode de réalisation, la première portion et/ou la seconde portion comprennent un nombre de pistes ramifiées enchevêtrées comprises entre 5 et 15.
Chaque piste ramifiée peut s’étendre sur une longueur comprise entre 5 mm et 15 mm et/ou une largeur comprise entre 0,05 mm et 1 mm. L’espace entre une piste ramifiée de la première portion 73 et la piste ramifiée de la seconde portion 72 adjacente est compris entre 0,05 mm et 1 mm. Dans un mode de réalisation, la longueur de chaque piste ramifiée est comprise entre 3 mm et 20 mm. Dans un mode de réalisation, la largeur de la forme globale du circuit de la cellule de détection 41 est comprise entre 5 mm et 15 mm. Le circuit imprimé est préférentiellement en cuivre, en aluminium ou très préférentiellement en or. - Première couche
Dans un mode, le pavé tactile PT peut comprendre une première couche 3 destinée à être superposée à une deuxième couche 4. La première couche 3 comprend au moins une résistance à capteur de force 31. La résistance à capteur de force 31 comprend préférentiellement un matériau conducteur dont la propriété de résistivité varie en fonction de la pression qui est exercée sur ledit matériau. Ledit matériau comprend préférentiellement un mélange de particules conductrices et isolantes dans une matrice. Ladite matrice est préférentiellement une matrice polymère. Lorsqu’une pression est exercée, les charges conductrices entrent en contact les unes les autres, modifiant les propriétés de résistivité du matériau. Dans un mode de réalisation non représenté, la première couche 3 comprend une feuille de résistance à capteur de force 31.
Selon un mode de réalisation alternatif illustré sur la figure 3, la première couche 3 comprend une feuille de support 32. La feuille de support 32 est préférentiellement transparente. La feuille de support 32 est préférentiellement déformable. La ou les résistances à capteur de force sont agencée(s) sur ladite feuille de support 32.
Préférentiellement, la ou les résistances à capteur de force 31 sont imprimées sur ladite feuille de support 32 de la première couche 3. La résistance à capteur de force 31 est ainsi obtenue en imprimant sur la feuille déformable une encre. Ladite encre comprend ledit matériau dont la propriété de résistivité varie en fonction de la pression qui est exercée sur ledit matériau.
La déformabilité de la feuille de support 32 permet avantageusement de transmettre les forces de pression exercées sur le pavé tactile PT. La déformabilité de la feuille de support 32 permet aussi avantageusement de faciliter le montage du pavé tactile PT. Une feuille de support 32 transparente permet avantageusement d’intégrer en dessous du pavé tactile PT des moyens d’affichage visibles par l’utilisateur à travers la première couche 3. La feuille de support 32 permet ainsi avantageusement de servir de support mécanique à l’encre FSR. Elle permet également de réduire la quantité d’encre à utiliser par rapport à une feuille de résistance à capteur de force 31 en diminuant l’épaisseur nécessaire et en permettant de sélectionner les régions de la première couche 3 comprenant une résistance à capteur de force 31.
Dans un mode de réalisation préférentiel illustré sur la figure 8, la feuille de support 32 comprend une matrice de résistances à capteur de force. Très préférentiellement, la matrice de résistances à capteur de force est agencée sur une première surface de la feuille de support 32. - Couche d’enfoncement et couche de contact.
Le pavé tactile PT peut comprendre une couche d’enfoncement 2. La couche d’enfoncement 2 peut être destinée à recevoir la pression de l’utilisateur. La couche d’enfoncement 2 permet de transmettre la pression exercée par l’utilisateur à la résistance à capteur de force 31. La couche d’enfoncement 2 est préférentiellement en matériau déformable, très préférentiellement en matériau plastique. Comme illustré sur la figure 3, la couche d’enfoncement 2 peut être divisée en une pluralité de touches 21, préférentiellement en une matrice de touches 21.
La première couche 3 et la couche d’enfoncement 2 sont agencées de manière que chaque touche 21 soit localisée au regard d’une résistance à capteur de force 31.
Dans un mode de réalisation, la couche d’enfoncement 2 est superposée sur la première couche 3. La couche d’enfoncement 2 est préférentiellement agencée face à la seconde surface de la feuille de support 32 de la première couche 3. La seconde surface de la feuille de support 32 est la face opposée à la première surface sur laquelle sont agencées les résistances à capteur de force.
La couche d’enfoncement 2 permet avantageusement de servir de couche de protection à la première couche 3. La couche d’enfoncement 2 permet avantageusement de créer un premier filtre de la cellule de détection 41. En dessous d’une certaine pression, les efforts sont amortis par la couche d’enfoncement 2 et ne seront pas transmis à la première couche 3. La couche d’enfoncement 2 permet avantageusement de réduire le risque de détection d’un appui involontaire sur le pavé tactile PT. Dans un mode de réalisation, le pavé tactile comprend une couche d’enfoncement et une couche de contact 5. La couche de contact 5 est disposée au-dessus de la couche d’enfoncement 2 et est destinée à être touchée par l’utilisateur pour exercer une pression sur la couche d’enfoncement 2. Selon un exemple, la couche d’enfoncement est en plastique translucide afin de laisser passer une quantité de lumière provenant du pavé tactile PT. Un utilisateur peut avoir la sensation d’un éclairage d’une touche lors d’une pression exercée sur cette dernière.
- Deuxième couche Le pavé tactile PT comprend en outre un dispositif de détection tactile DD. Le dispositif comprend une deuxième couche 4. La deuxième couche 4 est agencée au contact de la résistance à capteur de force 31 de la première couche 3.
La deuxième couche 4 comprend une pluralité de cellules de détection 41. Chaque cellule de détection 41 est en contact avec une résistance capteur de force 31. Chaque cellule de détection 41 est positionnée en contact avec une résistance à capteur de force 31. Chaque cellule de détection 41 est conçue pour réagir à une variation de la résistance à capteur de force 31. Comme illustré sur la figure 3, chaque cellule tactile CT comprend ainsi au moins une cellule de détection 41 et une résistance à capteur de force 31.
- Sources de lumière
Dans un mode de réalisation non représenté, le système comprend une pluralité de sources de lumière. Les sources de lumière sont conçues pour émettre une lumière lorsqu’une pression est exercée par l’utilisateur sur une cellule tactile CT adjacente à ladite source de lumière. De cette manière, l’utilisateur reçoit avantageusement, lors d’une pression sur une cellule tactile, une réponse lumineuse de ladite zone tactile sur laquelle il appuie.
Dans un mode de réalisation, chaque source de lumière est agencée entre deux cellules tactiles. Comme illustré sur la figure 3, chaque source de lumière peut être disposée sur la deuxième couche, entre au moins deux cellules de détection. Comme illustré sur la figure 7B, les sources de lumière 42 peuvent être disposées entre quatre cellules de détection 41 disposées en carré. Comme illustré sur la figure 8, la première couche 3 peut comprendre des alésages 33. Les alésages 33 sont agencés en regard de la source de lumière 42 de manière à faire passer la lumière issue de ladite source de lumière 42 à travers ledit alésage 33.
Comme illustré sur la figure 3, la couche d’enfoncement 2 comprend des puits de lumière 22. Les puits de lumière 22 peuvent comprendre un trou dont la section croit en s’éloignant de la source de lumière 42. Les puits de lumière 22 sont agencés en regard de la source de lumière et optionnellement en regard des alésages 33 de la première couche 3.
Les puits de lumière permettent de diffuser la lumière de manière plus homogène à travers la couche de contact 5.
Le pavé tactile est disposé pour permettre à la source de lumière d’émettre une lumière vers l’extérieur du pavé tactile PT à travers la deuxième couche 4, la première couche 3 et la couche d’enfoncement 2. La source de lumière peut comprendre une diode à électroluminescence. Dans un mode de réalisation, la source de lumière de la cellule tactile CT est conçue pour émettre une lumière lorsqu’une pression est exercée par l’utilisateur sur le pavé tactile. Selon un exemple, un variateur est associé à la lumière pour générer une puissance émise proportionnelle à la pression exercée. Pour cela, le variateur peut être piloté par une consigne générée à partir de la pression exercée. Cette dernière peut être mesurée indirectement par la résistivité du capteur de force.
Dispositif de détection
Le pavé tactile PT comprend un dispositif de détection tactile DD. Le dispositif de détection tactile DD comprend des moyens matériels et/ou logiciels pour la détection d’une variation de la résistivité de chaque cellule de détection 41. Le dispositif de détection tactile DD génère une information comprenant la localisation de la cellule de détection 41 ayant subi une variation de résistivité et l’intensité de ladite variation. La localisation de la cellule peut ensuite être couplée à une librairie de sons comportant des informations de localisation prédéfinies.
Dans un mode de réalisation, le dispositif de détection tactile DD comprend un circuit de multiplexage. Le circuit de multiplexage est connecté aux cellules de détection 41 par une matrice de lignes et de colonnes. Le circuit de multiplexage connecte chaque cellule de détection 41 à une source de courant. La tension, le courant ou la résistivité peuvent être mesurés sur chaque circuit formé d’une cellule de détection et d’un conducteur organisé selon une ligne et une colonne de la matrice.
Le circuit de multiplexage est plus particulièrement décrit ci- dessous en référence à la figure 7B.
Dans un mode de réalisation, l’entrée 74 du circuit imprimé 71 de chaque cellule de détection 41 est connectée à une colonne du circuit de multiplexage et la sortie 75 du circuit imprimé 71 de chaque cellule de détection 41 est connectée à une ligne du circuit de multiplexage ou inversement.
Ce mode de réalisation permet avantageusement, par balayage des lignes et des colonnes du circuit de multiplexage, de mesurer la résistivité de chaque cellule de détection 41 l’une après l’autre. La fréquence de balayage peut être configurée de sorte que l’intégralité des colonnes et des lignes soit sondée pendant l’appui d’une touche. Préférentiellement, la deuxième couche 4 comprend un circuit imprimé comprenant les cellules de détection 41 et/ou le circuit de multiplexage.
Le circuit de multiplexage comprend un premier interrupteur INT 1. Le premier interrupteur INT1 est connecté en série avec un générateur de courant. Le premier interrupteur INT1 comprend une borne d’entrée. La borne d’entrée du premier interrupteur INT1 est connectée en série avec une alimentation. Le premier interrupteur INT1 comprend une pluralité de bornes de sortie. Chaque borne de sortie est connectée en série avec une colonne du circuit de multiplexage. Le premier interrupteur INT1 est conçu pour alimenter par balayage chaque colonne du circuit de multiplexage.
Le circuit de multiplexage comprend un deuxième interrupteur INT2. Le deuxième interrupteur INT2 comprend une borne de sortie connectée à un mesureur de tension. Le deuxième interrupteur INT2 comprend une pluralité de bornes d’entrées. Chaque borne d’entrée est connectée à une ligne du circuit de multiplexage. Le deuxième interrupteur INT2 est conçu pour connecter au mesureur de tension chaque ligne du circuit de multiplexage par balayage.
Le circuit de multiplexage permet d’alimenter une à une chaque ligne et chaque colonne indépendamment par balayage en fonction du branchement du premier et du deuxième interrupteur INT2. Le circuit de multiplexage comprend des moyens pour mesurer une tension entre le premier interrupteur INT1 et le deuxième interrupteur INT2.
Le circuit de multiplexage permet ainsi d’alimenter une à une chaque cellule de détection 41 en fonction du branchement du premier et du deuxième interrupteur INT2. La tension et/ou la résistivité de chaque cellule de détection 41 peuvent ainsi être mesurées. Une modification de la tension et/ou de la résistivité indique alors la présence d’une pression exercée sur ladite cellule tactile CT de ladite cellule de détection 41. Le dispositif de détection tactile DD comprend préférentiellement une mémoire. La mémoire enregistre la position du premier interrupteur INT1 et la position du deuxième interrupteur INT2 lorsqu’une variation de résistivité est détectée. Préférentiellement, la mémoire enregistre également l’intensité de la variation de la résistivité. Un calculateur associé à la mémoire est alors configuré pour générer une information de position à partir de la position du premier et du deuxième interrupteur INT 1 , INT2.
Le dispositif de détection tactile DD est ainsi avantageusement capable de déterminer la localisation d’une pression exercée sur le pavé tactile PT.
Une information de position peut est ainsi générée en fonction de la position des deux interrupteurs lorsqu’un changement de résistivité est détecté. Une information d’intensité de la pression exercée peut également être générée en fonction de la valeur de résistivité mesurée ou calculée. Dans un mode de réalisation, le circuit de multiplexage comprend des modules de réduction du courant résiduel. Le courant résiduel pourrait en effet augmenter le risque de détection de faux positifs.
Le module de réduction de courant résiduel peut comprendre un pont diviseur de tension. Dans un mode de réalisation, le module de réduction du courant résiduel comprend une première résistance 79. La première résistance 79 est agencée pour être connectée à l’entrée électrique 74 de chaque cellule de détection 41. Préférentiellement, la première résistance 79 est agencée en amont du premier interrupteur INT1 comme illustré sur la figure 7B. Dans un mode de réalisation, la première résistance 79 est connectée en parallèle au premier interrupteur INT1 et/ou est connectée en série à la masse.
Dans un mode de réalisation illustré sur la figure 7C, le module de réduction du courant résiduel comprend une boucle de rétroaction 76. La boucle de rétroaction 76 permet avantageusement de s’affranchir de la tension résiduelle pouvant être présente dans le circuit.
Selon un exemple, la boucle de rétroaction comprend un amplificateur opérationnel 77. L’amplificateur opérationnel 77 est préférentiellement connecté en série avec une ligne du circuit de multiplexage. Dans un mode de réalisation, chaque ligne du circuit de multiplexage comprend une boucle de rétroaction 76 en série.
La boucle de rétroaction 76 comprend une deuxième résistance 78. La deuxième résistance 78 est connectée en dérivation à l’amplificateur opérationnel 76. Ladite deuxième résistance 78 est connectée à la borne d’entrée négative et à la borne de sortie de l’amplificateur opérationnel 77. La borne d’entrée positive de l’amplificateur opérationnel est préférentiellement connectée à la masse.
Préférentiellement, l’impédance de la deuxième résistance 78 est supérieure à l’impédance de la première résistance 79. La boucle de rétroaction permet avantageusement d’augmenter l’impédance du circuit de manière à rendre négligeable l’impédance du circuit causée par la première résistance 79.
Le module de réduction de courant permet ainsi de diminuer le courant résiduel sans influer sur les valeurs de tensions mesurées. Ce montage permet avantageusement de diminuer le courant résiduel présent dans le circuit qui pourrait amener la détection de faux positifs.
Dans un mode de réalisation alternatif, les boucles de rétroactions 76 peuvent être incluses sur chaque colonne du circuit de multiplexage.
Variantes au pavé tactile Dans un mode de réalisation alternatif, on peut remplacer le pavé tactile PT par un pavé de commande électronique permettant la génération d’une première consigne Ci associée à la production d’un premier signal Si. Le pavé de commande électronique peut comprendre un piano électronique, un synthétiseur ou un contrôleur de synthétiseur. Dispositif de détection optique
Le système selon la présente invention comprend un dispositif de détection optique OPT pour la détection d’un mouvement et/ou d’une position. Ce dispositif est compatible de toutes les variantes du dispositif de détection tactile précédemment exposées. Le dispositif de détection optique OPT est conçu pour capturer des images d’un utilisateur, notamment de ces mains, avant-bras et éventuellement haut des bras, voire le buste. Le dispositif de détection optique OPT permet la détection d’un mouvement et/ou la détection d’une position d’au moins une partie du corps de l’utilisateur. Préférentiellement, le dispositif de détection optique OPT permet de détecter un mouvement ou une position d’au moins une main d’un utilisateur.
Avantageusement, un utilisateur peut ainsi utiliser une première main pour exercer une ou plusieurs pressions sur le pavé tactile PT et utiliser la seconde main avec le dispositif de détection optique OPT. Dans un mode de réalisation alternatif, le dispositif de détection optique OPT permet de capturer des images d’un deuxième utilisateur. Ledit deuxième utilisateur est une autre personne que celle exerçant une pression sur le pavé tactile PT. Dans ce cas, le système est alors utilisé simultanément par deux utilisateurs, un pour le pavé tactile PT et un pour le dispositif de détection optique OPT.
Dans un autre mode de réalisation, le dispositif de détection optique OPT et le pavé tactile PT sont séparés et connectés sans fils, par exemple par le réseau internet. Le dispositif de détection optique OPT comprend au moins une optique CAM pour capturer des images de l’utilisateur.
Dans un mode de réalisation illustré sur la figure 6, le pavé tactile PT, le dispositif de détection optique OPT sont inclus dans un unique boîtier. Selon un mode de réalisation, le pavé tactile PT et l’optique CAM sont intégrés sur la même surface du boîtier 1. Dans ce cas, l’optique CAM est par exemple agencée de manière à être adjacente au pavé tactile PT. Cette disposition permet avantageusement de capter plus facilement des images d’une main de l’utilisateur exerçant une pression sur le pavé tactile PT avec son autre main. La deuxième main de l’utilisateur est alors plus proche du champ de capture de l’optique CAM.
Optique
L’optique CAM peut comprendre une caméra, un système de stéréocaméra et/ou une caméra de profondeur. Le système de stéréocaméra comporte généralement au moins deux caméras dont la position relative est connue. L’ensemble des deux acquisitions réalisées permet de déterminer une carte de profondeur. Une caméra de profondeur est généralement équipée d’un émetteur, par exemple un faisceau de lumière dans la gamme infrarouge, et permet d’obtenir une information de temps de vol par la mesure du signal réfléchi. L’information est ensuite utilisée pour déterminer une donnée de profondeur.
L’optique CAM peut être conçue pour capturer des images dans les longueurs d’ondes du visible. L’optique CAM peut être conçue pour capturer des images dans les longueurs d’onde infrarouges. Préférentiellement, l’optique CAM comprend une caméra infrarouge ou un système de stéréocaméra infrarouge. Dans un mode de réalisation alternatif non représenté, l’optique CAM n’est pas intégrée dans le boîtier.
Dans un mode de réalisation, le système de l’invention comprend plusieurs optiques CAM. Une première optique CAM peut être agencée pour capter des images d’au moins une première partie du corps de l’utilisateur et une deuxième optique CAM peut être agencée pour capter des images d’au moins une deuxième partie du corps de l’utilisateur.
Dans un premier exemple, la première optique CAM est agencée pour capter des images d’une main de l’utilisateur et la deuxième optique CAM est agencée pour capter des images de la partie supérieure de l’utilisateur.
Dans un deuxième exemple, la deuxième optique CAM peut être agencée pour capter des images d’une partie du corps d’un deuxième utilisateur.
Procédé de génération d’un signal Dans un mode de réalisation, la présente invention comprend des moyens matériels et/ou des moyens logiciels couplés au pavé tactile PT pour la mise en oeuvre d’un procédé de génération d’un signal Si.
Dans un mode de réalisation, le système selon la présente invention comprend un premier calculateur Ki. Le premier calculateur Ki comprend des moyens logiciels pour générer au moins une première consigne Ci. La première consigne Ci est associée à la production d’un premier signal Si. Chaque première consigne Ci est générée à partir de la localisation et de l’intensité d’une pression exercée sur le pavé tactile PT. Cette consigne peut être utilisée pour générer ledit premier signal Si. Un avantage est que lorsque l’instrument de musique n’est pas intégré au système de l’invention, la consigne peut être transférée vers l’entrée de l’instrument de musique pour qu’il génère un son. Lorsque l’instrument est intégré au système, la consigne peut être directement exploitée par le système pour produire le signal Si.
Calculateur K Le premier calculateur Ki est connecté au dispositif de détection tactile DD du pavé tactile PT. Le premier calculateur Ki peut être connecté au module de mémoire du dispositif de détection tactile DD.
Dans un mode de réalisation, le premier calculateur Ki comprend des moyens logiciels pour la mise en oeuvre des étapes suivantes : - La réception d’une information comprenant au moins la localisation d’une pression exercée sur le pavé tactile PT ;
- L’association de ladite localisation à un premier signal S-i, par exemple à partir d’une librairie ou d’une base de données stockant des données préenregistrées ; et
- La génération d’une première consigne Ci associée à la production dudit premier signal Si.
Si l’instrument n’est pas intégré dans le système, un intérêt est d’utiliser des librairies à la demande, c’est-à-dire préétabli selon les instruments. La consigne peut être facilement associée à une librairie de sons d’un instrument. Ainsi, rendre compatible un instrument avec le pavé tactile peut être aisément réalisé.
Les informations transmises par le dispositif de détection tactile DD peuvent comprendre les informations suivantes : - La localisation de la au moins une pression exercée sur le pavé tactile PT ;
- L’intensité de la au moins une pression exercée sur le pavé tactile PT.
La première consigne Ci est générée à partir des informations reçues par le dispositif de détection tactile DD. La première consigne Ci est générée à partir de la localisation et/ou de l’intensité de ladite au moins une pression exercée sur le pavé tactile PT.
Le dispositif de détection tactile DD peut détecter au moins deux pressions exercées sur le pavé tactile PT à deux localisations différentes. Le dispositif de détection tactile DD génère alors une information comprenant la localisation de chaque pression et l’intensité associée à chaque pression.
Dans un mode de réalisation, le premier calculateur Ki génère autant de premières consignes Ci que de pressions détectées par le dispositif de détection tactile DD. Chaque consigne est associée à la production d’un signal à partir de la localisation et de l’intensité d’une pression.
Préférentiellement, le premier signal Si associé à la première consigne Ci générée par le premier calculateur Ki est un signal sonore. Dans ce mode de réalisation, chaque cellule tactile CT peut être associée par exemple à une note de musique. La fréquence du premier signal Si sonore associée à la première consigne Ci dépend de la localisation de la pression exercée sur le pavé tactile PT. Cela peut être configuré dans une étape préalable visant à préparer le pavé tactile pour un usage spécifique.
Dans un mode de réalisation, la fréquence d’un signal sonore à produire est associée à plusieurs notes simultanées, par exemple quand plusieurs pressions simultanées sont exercées sur le pavé tactile PT.
La première consigne Ci comprend préférentiellement un message de commande MIDI (pour l’anglicisme « Musical Instrument Digital Interface »). Le protocole MIDI est un protocole de communication et un format de fichiers dédiés à la musique. La commande MIDI peut comprendre l’information d’une fréquence d’un signal sonore à produire. La fréquence correspond à la note associée au signal sonore à produire.
Préférentiellement, l’information de la fréquence d’un signal sonore à produire est déterminée à partir de la au moins une localisation de la pression exercée sur le pavé tactile PT. La commande MIDI peut comprendre une information de timbre particulier à appliquer au signal sonore à produire. Le timbre permet par exemple de reproduire la même note produite avec deux instruments différents. Le timbre peut être déterminé en fonction de la localisation de la pression exercée sur le pavé tactile PT. La commande MID peut comprendre une information de la vélocité associée à la note. Préférentiellement, la vélocité de la note est déterminée à partir de l’intensité de la pression exercée sur le pavé tactile PT.
La commande MIDI de la première consigne Ci peut comprendre une information de déclenchement et/ou d’arrêt de la production du premier signal Si sonore.
Préférentiellement, le message de commande MIDI peut être produit pendant toute la durée pendant laquelle la au moins une pression est exercée sur le pavé tactile PT.
Calculateur K2 Le système selon la présente invention comprend un second calculateur K2. Le second calculateur K2 comprend des moyens logiciels pour générer une seconde consigne C2. La seconde consigne C2 est associée à la production d’au moins un effet spécial.
Le second calculateur K2 comprend des moyens logiciels pour la mise en œuvre des étapes suivantes : - La réception d’images capturées par le dispositif de détection optique OPT ;
- La détermination d’au moins un paramètre de mouvement D1 à partir des images capturées ; et - La génération d’une seconde consigne C2 à partir dudit paramètre de mouvement D1.
Dans un mode de réalisation, le second calculateur K2 et le premier calculateur K1 sont le même calculateur.
Algorithme d’intelligence artificielle par apprentissage Dans un mode de réalisation, le second calculateur K2 comprend un agent d’apprentissage supervisé. L’agent d’apprentissage supervisé peut comprendre un algorithme d’intelligence artificielle par apprentissage.
L’agent d’apprentissage supervisé est entraîné à partir d’exemples de gestes réalisés par différents individus. Selon un exemple de réalisation, l’algorithme d’intelligence artificielle permet, à partir d’un réseau de neurones entraîné, de classifier un geste selon un classificateur. La détection du geste et de sa classe permet alors de lui associer un effet spécial.
Dans un mode de réalisation, le système selon l’invention comprend un moyen d’affichage. Le moyen d’affichage permet de représenter des données relatives au paramètre de mouvement D1.
Agent d’apprentissage par renforcement
Dans un mode de réalisation, le second calculateur K2 comprend un agent d’apprentissage par renforcement. L’agent de renforcement permet avantageusement d’effectuer une rétroaction RET positive ou négative de l’utilisateur sur l’agent concernant son action actuelle ou passée de manière itérative.
L’utilisateur peut ainsi, lors de la génération du second signal S2 par le générateur de signal, donner un commentaire positif ou négatif sur l’effet spécial appliqué au premier signal Si. L’agent d’apprentissage par renforcement continue ainsi d’opérer l’association d’un paramètre de mouvement D1 à un effet spécial en découvrant quelles associations sont le plus récompensées positivement ou négativement. L’agent d’apprentissage par renforcement peut ainsi modifier la méthode d’association d’un paramètre de mouvement D1 à un effet spécial pour tendre vers une méthode dont les associations sont le plus récompensées. L’étape de génération GENc2 d’une seconde consigne C2 et/ou l’étape de détermination DET d’un paramètre de mouvement D1 peuvent ainsi comprendre un agent d’apprentissage par renforcement.
Les agents d’apprentissage par renforcement permettent avantageusement d’apprendre progressivement en fonction du retour de l’utilisateur. L’agent d’apprentissage par renforcement permet ainsi au second calculateur K2 de générer des secondes consignes comprenant des effets spéciaux qui convergent vers des effets qui plaisent plus à l’utilisateur.
Dans ce mode réalisation, le système comprend une interface utilisateur INU. L’interface utilisateur INU permet de fournir au second calculateur K2 une donnée de retour Ri.
Le second calculateur K2 est configuré pour modifier le mode de génération de la seconde consigne C2 à partir des images reçues en fonction de la donnée de retour par itération. Génération d’une consigne C2
Le second calculateur K2 comprend des moyens logiciels pour la mise en oeuvre d’une étape de génération d’une seconde consigne C2 à partir dudit paramètre de mouvement D1. Préférentiellement, le second calculateur K2 associe le paramètre de mouvement D1 à un effet spécial. La seconde consigne C2 est associée à un effet spécial. L’effet spécial est destiné à être appliqué au premier signal Si généré premier calculateur Ki.
Dans un mode de réalisation, l’effet spécial est sélectionné parmi une librairie d’effets spéciaux. Le système peut comprendre une mémoire comprenant une librairie d’effets spéciaux. Le second calculateur K2, sélectionne alors un effet spécial dans la librairie à partir du paramètre de mouvement D1. L’association entre un mouvement donné et un effet spécial peut être préconfigurée. Selon un mode de réalisation, cette association est rendue libre pour l’utilisateur à partir d’une interface de configuration. Dans un mode de réalisation, l’effet spécial est sélectionné parmi la librairie en fonction du type de mouvement détecté. La valeur de l’intensité de l’effet spécial à appliquer peut être déterminée en fonction de l’intensité et/ou de l’amplitude du geste reconnu. Dans un mode de réalisation, la seconde consigne C2 comprend plusieurs effets spéciaux qui peuvent être combinés, notamment lorsque plusieurs gestes sont reconnus simultanément.
Générateur de signal Le système comprend également un générateur de signal GEN. Le générateur de signal GEN est connecté au premier calculateur K1 et au second calculateur K2. Le générateur de signal reçoit la première consigne Ci générée par le premier calculateur Ki. Le générateur de signal GEN reçoit la seconde consigne C2 générée par le second calculateur K2. Le générateur de signal GEN génère un second signal S2. Le second signal S2 est produit à partir de la première consigne Ci et/ou du premier signal Si. Le second signal S2 est produit également à partir de la seconde consigne C2. Préférentiellement, le second signal S2 comprend le premier signal Si auquel est appliqué un effet spécial extrait de la seconde consigne C2.
Dans un mode de réalisation, le générateur de signal GEN produit un signal de commande comprenant le second signal S2. Préférentiellement, le générateur de signal GEN produit un message de commande, très préférentiellement un message de commande MIDI. Le message de commande MIDI comprend le second signal sonore S2.
Boîtier unique
Dans un mode de réalisation, le pavé tactile PT, le dispositif de détection optique OPT, le premier calculateur K1, le second calculateur K2 et le générateur de signal sont inclus dans un unique boîtier. Le boîtier unique comprend préférentiellement un moyen de transmission du second signal S2. Le boîtier unique permet avantageusement à l’utilisateur de n’avoir qu’un équipement à transporter. Préférentiellement, le moyen de transmission du second signal S2 est une enceinte ou un amplificateur. Dans ce dernier cas, le système de l’invention est un instrument de musique.
Dans un mode de réalisation, le boîtier unique comprend des moyens de communication avec un deuxième pavé tactile similaire au pavé tactile de la présente invention. L’invention permet alors à deux musiciens de jouer ensemble à distance. Dans un mode de réalisation non représenté, le système comprend un premier boîtier comprenant le pavé tactile PT et un second boîtier comprenant le dispositif de détection optique OPT et des moyens de communication entre les deux boîtiers, par exemple par l’intermédiaire d’un réseau internet. Le système peut alors être utilisé par deux utilisateurs distants.
Lorsque les deux boîtiers génèrent des consignes qui peuvent être reçues, par exemple, par un instrument de musique, ce dernier peut être associé localement à l’un des boîtiers ou peut être également accessible via un réseau de données. Ainsi selon un cas d’exemple, un premier utilisateur manipule le premier boîtier à une première position, les données dont les consignes sont alors émises vers l’instrument de musique via un réseau de données et un second utilisateur manipule le second boîtier à une seconde position, les données dont les consignes sont envoyées via un réseau de données à l’instrument de musique. L’instrument de musique est alors capable de synthétiser une note qui correspond au produit d’une première consigne et d’une seconde consigne. Un cas d’usage peut être la production d’une séquence sonore entre différents artistes lors d’un évènement en direct.
Autres domaines d’application de l’invention autres que le domaine de la musique La présente invention peut trouver son application dans d’autres domaines que le domaine de la musique.
Dans un premier mode de réalisation alternatif, la présente invention est destinée à être utilisée dans le domaine de l’éclairage, notamment de l’éclairage scénique. Par exemple, le système est destiné à être connecté à un système d’éclairage comprenant une pluralité de sources de lumière. Le premier signal
51 peut comprendre une information de la source de lumière à activer.
L’effet spécial compris dans la seconde consigne C2 peut comprendre une modulation de l’intensité ou de la longueur d’onde émise par la source de lumière. La seconde consigne C2 peut également comprendre un changement d’orientation de la source de lumière.
L’invention permet avantageusement de produire un second signal
52 permettant de commander un dispositif d’éclairage scénique. Dans un deuxième mode de réalisation alternatif, la présente invention est destinée à être utilisée dans le domaine de contrôle l’hologramme ou le domaine des jeux vidéo.
Par exemple, le système est destiné à être connecté à un dispositif de génération d’un hologramme. Le premier signal Si peut comprendre une information comprenant une forme d’un hologramme.
L’effet spécial compris dans la seconde consigne C2 peut comprendre une information de position. La seconde consigne C2 permet alors de mettre en mouvement l’hologramme dont la forme a été déterminée par le premier signal.
Procédé de génération d’un signal
Selon un deuxième aspect, l’invention concerne un procédé pour générer un signal. Un mode d’exécution dudit procédé est illustré sur la figure 4. Le procédé comprend une étape d’acquisition ACQ de la localisation et de l’intensité d’une pression de l’utilisateur sur un pavé tactile PT comportant une pluralité de cellules tactiles.
Le procédé comprend une étape de production PROD de la première consigne Ci associée à la production du premier signal Si. Le procédé comprend une étape d’acquisition CAPT d’au moins une image par l’optique CAM.
Dans un mode de réalisation, l’étape d’acquisition CAPT d’au moins une image comprend l’acquisition d’au moins une image comprenant au moins une partie d’un utilisateur, préférentiellement une main de l’utilisateur. Le procédé comprend une étape de détermination DET d’au moins un paramètre de mouvement D1 à partir des images acquises.
Traitement de l’image
Dans un mode de réalisation, le second calculateur K2 comprend des moyens logiciels pour la mise en oeuvre d’une étape de traitement des images acquises par l’optique CAM.
Dans un mode de réalisation simplifié de l’invention, le second calculateur K2 permet de détecter des mouvements simples et/ou des positions simples et/ou des vitesses de déplacement de la main. C’est le cas pour des mouvements simples par exemple d’un bras allant de la gauche vers la droite ou de haut en bas. Dans un mode de réalisation enrichi de l’invention, le second calculateur K2 est configuré pour détecter des postures de la main, des mouvements des doigts ou des gestes complexes comportant une séquence de mouvements enchaînés. Le mode de réalisation enrichi peut comprendre également une détection selon le mode simplifié. Les deux modes de réalisation peuvent se combiner.
Selon un mode de réalisation, le traitement d’images permet d’aboutir à la génération d’une image comprenant au moins des points d’intérêt de l’utilisateur. Dans un mode de réalisation, le dispositif de détection optique OPT ou le premier calculateur Ki comprend un module de traitement des images IMGi. Le module de traitement d’image génère au moins une deuxième image IMG2. La seconde image IMG2 comporte une forme au moins des points d’intérêts extraits de la première image IMG1. Il peut s’agir par exemple d’extrémité d’un membre telles les extrémités des droits, des points d’articulation, des contours de forme, etc.
Seuil adaptatif
La génération de la deuxième image IMG2 succède à l’étape de réception d’une image capturée IMG1 par le dispositif de détection optique OPT.
La génération de la deuxième image IMG2 peut comprendre une étape de seuillage. L’étape de seuillage comprend l’application d’un ou plusieurs filtres sur l’image IMG1 capturée.
Le filtre peut comprendre un filtre Laplacien. Le filtre Laplacien permet d’accentuer les contours des formes de l’utilisateur. Le filtre peut comprendre un filtre pour diminuer le bruit de l’image captée.
La génération de la deuxième image IMG2 peut comprendre une étape d’exploitation d’une carte de profondeur obtenue à partir de l’image capturée par le dispositif de détection optique OPT. La carte de profondeur comprend un nuage de points permettant d’identifier pour chaque pixel, ou pour chaque groupe de pixels, une valeur associée à la profondeur. La seconde image ING2 peut alors avantageusement être une image 3D.
Détection des régions d’intérêt
Selon un mode de réalisation, la génération de la deuxième image IMG2 comprend un renforcement de la représentation de régions d’intérêt. La détection des régions d’intérêts est réalisée à partir des images captées par l’optique CAM, éventuellement à partir des images générées par l’étape de seuillage et/ou par l’étape de création d’une carte de profondeur. La détection des régions d’intérêts comprend la labélisation de chaque pixel ou de chaque groupe de pixels.
Dans l’exemple de la main de l’utilisateur illustré sur la figure 10, les régions d’intérêt peuvent comprendre la paume de la main 53, le poignet 54, les premières phalanges de chaque doigt 52 (pouce, index, majeur, annulaire, auriculaire) et l’extrémité et/ou la dernière phalange 51 de chaque doigt. Dans un mode de réalisation non représenté, les régions d’intérêt peuvent comprendre chaque phalange des doigts de la main.
Dans un mode de réalisation, la détection des régions d’intérêts est mise en œuvre par un classificateur à l’issue de la mise en œuvre d’un algorithme d’intelligence artificiel par exemple configuré à partir d’un réseau de neurones. Le classificateur est un classificateur par exemple préalablement entraîné au moyen d’un ensemble d’images de main. La base de données d’images peut comprendre une base de données d’images de mains sur lesquelles les régions d’intérêt ont été annotées manuellement.
Dans un mode de réalisation alternatif, la base de données d’images est générée à partir d’un modèle paramétrique afin de générer un nombre important d’images de mains comprenant des positions ou des poses différentes. Le modèle paramétrique génère des images sur lesquelles les régions d’intérêt sont déjà labélisées.
L’étape de détection des régions d’intérêt génère en sortie une image labellisée de l’utilisateur. Chaque pixel de l’image labellisée correspondant à l’utilisateur est associé à un label correspondant à une zone d’intérêt.
Génération des points d’intérêt
La génération de la deuxième image IMG2 comprend en outre une étape de génération de points d’intérêt. Les points d’intérêt peuvent être générés à partir de l’image labélisée comprenant les zones d’intérêts.
Les points d’intérêt peuvent comprendre des centres de masse 103. Les centres de masses 103 peuvent être générés aux coordonnées correspondant sensiblement au centre d’une zone d’intérêt. Par exemple, un point d’intérêt peut correspondre au centre de masse de la paume de la main. Les points d’intérêt peuvent comprendre des points de déflexion 102. Les points de déflexion 102 sont générés à la frontière entre deux zones d’intérêts adjacentes. Par exemple, un point d’intérêt peut être généré entre les zones d’intérêt correspondant à deux phalanges adjacentes du même doigt. La localisation d’un tel point d’intérêt peut correspondre alors à la localisation d’une articulation, par exemple entre deux phalanges. Préférentiellement, la génération d’un point d’intérêt peut comprendre la création d’un point d’intérêt sensiblement au milieu d’un segment formé par la frontière entre deux zones d’intérêt adjacentes. Les points d’intérêt peuvent comprendre l’extrémité ou le bout d’un doigt 101. Un tel point d’intérêt peut être généré à l’extrémité distale de la région d’intérêt correspondant à la dernière phalange d’un doigt, ou correspondant à un centre de masse de la région d’intérêt correspondant à la dernière phalange d’un doigt. Dans un mode de réalisation, l’étape de génération des points d’intérêt 103, 102, 101 comprend la génération d’au moins un point d’intérêt par zone d’intérêt.
Dans un mode de réalisation, l’étape de génération des points d’intérêt comprend la génération des coordonnées de profondeur de chaque point d’intérêt.
L’étape de génération des points d’intérêts génère en sortie une image ou une carte de profondeur comprenant les points d’intérêts extraits à partir de l’image générée par l’étape de détection des zones d’intérêt.
Génération d’un squelette Dans un mode de réalisation, la génération de la deuxième image
IMG2 peut comprendre une étape de génération d’un squelette. Le squelette est généré en reliant ensemble les points d’intérêt de manière prédéterminée.
La figure 11 illustre un squelette 104 obtenu à en reliant certains points d’intérêt 102, 101. Par exemple, les points d’intérêt correspondant aux articulations 102 d’un même doigt sont reliés entre eux.
L’étape de génération d’un squelette génère en sortie une image IMG2 ou une carte de profondeur IMG2 comprenant les points d’intérêt et un squelette reliant ensemble les points d’intérêt de manière à reproduire la forme de l’utilisateur. L’étape de génération d’un squelette permet avantageusement de calquer un modèle de main sur les points d’intérêt.
La deuxième image IMG2 peut comprendre l’image et/ou la carte de profondeur générée par l’étape de génération des points d’intérêt et/ou par l’étape de génération d’un squelette.
Le squelette peut comprendre des segments reliant certains points d’intérêt entre eux.
Paramètre de mouvement
Dans un mode de réalisation, la détermination d’un paramètre de mouvement D1 comprend la détection d’au moins un type de mouvement d’un utilisateur à partir des images capturées.
Préférentiellement, la détection d’un type de mouvement d’un utilisateur comprend une détection d’un mouvement de la main d’un utilisateur. La détection d’un mouvement est réalisée à partir des images capturées par le dispositif de détection optique OPT.
Par « à partir des images capturées », on inclut ici les images brutes telles qu’elles ont été capturées par l’optique CAM ainsi que les images générées par le traitement de ces images, par exemple les images IMG2 générées à partir de la génération de point d’intérêt. On inclut également toute image en deux dimensions ou toute carte de profondeur.
Préférentiellement, les différents types de mouvement sont listés dans une librairie. Le calculateur peut alors opérer une opération de fitting ou une opération de régression analytique pour déterminer un type de mouvement particulier à partir des images capturées. Les figures 9A à 91 illustrent des exemples de types de mouvement de la main. Ces types de mouvements sont reconnaissables par le second calculateur K2. Le second calculateur K2 génère un paramètre de mouvement D1 à partir du type de mouvement détecté.
Des exemples de types de mouvement de la main peuvent comprendre un mouvement de rotation du poignet poing fermé (figure 9B), une rotation de la main selon un axe longitudinal de l’avant-bras (figure 9E), selon un axe un perpendiculaire à l’axe longitudinal de l’avant-bras (figures 9D et 9F). Un autre exemple de type de mouvement peut comprendre un déplacement transversal de la main (figures 9I, 9H et 9G). Le type de mouvement peut aussi dépendre de la position et/ou du mouvement des articulations des doigts. Par exemple, le type de mouvement peut être différent si le geste de rotation du poignet est effectué main ouverte ou main fermée. Certains types de mouvements peuvent être associés à des gestes connus de personnalités dans le monde musical ou dans le monde audiovisuel. Par exemple, un type de mouvement de type fermeture de la main vers le bas exécuté à une vitesse au-delà d’un seuil tout en resserrant les doigts simultanément peut être caractéristique d’une « fermeture de main selon Ardisson ». Selon un autre exemple, une fermeture de la main simultanée à un mouvement transversal du coude peut être caractéristique d’un mouvement de fermeture de main selon l’animateur Nagui. Un autre exemple de type de mouvement illustré sur la figure 9A peut comprendre une fermeture des doigts de la main les doigts tendus. Un autre exemple de type de mouvement peut comprendre une oscillation de la main de manière à reproduire le mouvement d’une vague, tel que représenté à la figure 9C.
Le type de mouvement peut aussi être fonction de la direction du geste. Par exemple, un geste de déplacement en translation de la main peut être discriminé en fonction du plan et/ou de la direction de translation. Par exemple sur la figure 9G, la translation est effectuée selon l’axe perpendiculaire à la paume de la main. Les figures 9H et 9G illustrent un mouvement de translation de la main dans le même plan mais un dans la direction perpendiculaire à la direction longitudinale des doigts (figure 9H) et l’autre dans une direction parallèle à la direction longitudinale des doigts (figure 91). Dans un autre exemple, une rotation du poignet peut être détectée dans le plan.
Préférentiellement, le paramètre de mouvement Di comprend également la détermination de la vitesse et/ou de l’amplitude du mouvement.
Seconde consigne
Le procédé comprend une étape de génération GENc2 de la seconde consigne C2 à partir du paramètre de mouvement D1. La seconde consigne C2 est associée à un effet spécial.
Effets spéciaux sonores
Dans le mode de réalisation où le premier signal Si est un signal sonore, l’effet spécial est un effet spécial d’altération du signal sonore. L’effet spécial peut être sélectionné parmi un ou plusieurs des effets spéciaux suivants :
■ Une réverbération du signal : effet obtenu en créant des sons répétés à partir du premier signal sonore, avec un retard dans le temps n’excédant pas 60ms, de manière que le cerveau ne puisse distinguer chaque son séparément.
■ Un écho : effet réalisé en répétant le premier signal sonore avec un temps de retard suffisamment important pour que le cerveau humain perçoive les deux sons séparément.
■ Une distorsion : effet réalisé en amplifiant le premier signal sonore fortement pour l’écrêter ou le raboter.
■ Un sustain : effet réalisé en maintenant le premier signal sonore dans le temps après l’avoir déclenché.
■ Un wha-wha : effet réalisé en faisant passer le premier signal sonore à travers un filtre de type filtre passe-bande.
■ Un vibrato : effet réalisé en modulant la fréquence du premier signal sonore autour de sa valeur d’origine.
■ Un trémolo : effet réalisé par la modulation de l’amplitude (donc du volume) du premier signal sonore.
L’effet spécial peut être sélectionné parmi une librairie pouvant comprendre également le déphasage du signal sonore, une transposition de fréquence du signal sonore, une modification du timbre, un filtrage du signal sonore, un arrêt du signal sonore.
Dans un mode de réalisation, l’effet spécial est sélectionné parmi une modulation de l’intensité du signal. L’intensité du signal S2 peut ainsi être contrôlée premièrement par l’intensité de la pression exercée sur le pavé tactile PT et/ou par un geste de l’utilisateur capté par le dispositif de détection optique OPT.
Second signal
Le procédé comprend une étape de génération GENs2 du second signal S2 à partir de la première consigne Ci ou du premier signal Si et à partir de la seconde consigne C2.
Dans un mode de réalisation, le procédé comprend une étape d’application de l’effet spécial au premier signal Si. L’application consiste par exemple en une modulation, un mélange, ou encore plus généralement en une combinaison de signaux pouvant être de tout type. Selon un exemple, l’effet est appliqué à une portion uniquement du premier signal. Selon un autre exemple, l’effet est produit sur une période donnée et s’applique à tous premiers signaux produits dans cette période de temps. Transmission du second signal S2
Dans un mode de réalisation, le procédé comprend une génération et une transmission du second signal S2. Le second signal S2 est préférentiellement transmis à un dispositif apte à appliquer le signal comme un dispositif de commande ou un dispositif sonore. Il peut s’agir d’une enceinte, un haut-parleur ou plus généralement tout type de membrane permettant de rendre audible le second signal S2.
Préférentiellement, la génération du second signal est précédée d’une étape de génération d’une troisième consigne, la troisième consigne étant associée au second signal. Le procédé et le système sont alors avantageusement capables de transmettre le second signal généré, par exemple sous la forme d’un message MIDI.
Variante
Alternativement, la première consigne générée à partir de la localisation et de l’intensité de la pression exercée sur le pavé tactile est associée à un effet spécial. La seconde consigne générée à partir du paramètre de mouvement est associée à la production d’un premier signal.
Le second signal est alors généré à partir de la seconde consigne (ou du premier signal) auquel est appliqué un effet spécial extrait de la première consigne. Cette variante permet, par exemple, à l’utilisateur de générer un premier signal associé à une note à l’aide du dispositif de détection optique et d’appliquer un effet spécial audit premier signal, l’effet spécial étant sélectionné à partir de la localisation et/ou de l’intensité de la pression exercée sur le pavé tactile.

Claims

REVENDICATIONS
1. Système pour générer un signal comprenant :
■ un pavé tactile (PT) comprenant une pluralité de cellules tactiles et un dispositif de détection tactile (DD) de la localisation et de l’intensité d’au moins une pression exercée sur ledit pavé tactile (PT) ;
■ un dispositif de détection optique (OPT) d’un mouvement et/ou une position comportant au moins une optique (CAM) pour la capture d’images ;
■ un premier calculateur (Ki) générant au moins une première consigne (Ci) à partir de la localisation et de l’intensité de ladite au moins une pression,
■ un second calculateur (K2) pour déterminer au moins un paramètre de mouvement (D1) à partir des images capturées et pour générer une seconde consigne (C2) à partir dudit au moins un paramètre de mouvement (D1) ; et
■ un générateur de signal (GEN) pour produire un second signal (S2) à partir :
• de la première consigne (Ci) ou d’un premier signal (Si) extrait à partir de la première consigne (Ci) auquel est appliqué un effet spécial extrait de la seconde consigne (C2) ; ou 23
• de la seconde consigne (C2) ou d’un premier signal (Si) extrait à partir de la seconde consigne (C2) auquel est appliqué un effet spécial extrait de la première consigne (Ci).
2. Système selon la revendication 1 caractérisé en ce que le premier signal (Si, Su) et le second signal (S2) sont des signaux sonores.
3. Système selon la revendication 2, caractérisé en ce que le générateur de signal (GEN) est configuré pour produire le second signal sous forme d’une troisième consigne.
4. Système selon l’une des revendications 1 à 3, caractérisé en ce que chaque cellule tactile CT comprend : ■ une première couche (3) comprenant au moins une résistance à capteur de force (31 ) ; et
■ une deuxième couche (4) comprenant une cellule de détection (41) conçue pour détecter une variation de la résistivité de la résistance à capteur de force (31 ).
5. Système selon la revendication 4, caractérisé en ce que chaque cellule de détection (41) comprend un circuit imprimé (71) comprenant au moins une première portion (73) et une seconde portion (72) connectée l’une à l’autre par la résistance à capteur de force (31 ) de la première couche (3).
6. Système selon l’une des revendications précédentes, caractérisé en ce que le paramètre de mouvement (Di) est déterminé à partir de l’amplitude, de la vitesse et/ou de la direction de la main et/ou d’un doigt de la main.
7. Système selon l’une des revendications précédentes, caractérisé en ce le dispositif de détection optique (OPT) d’un mouvement et/ou une position comprend une stéréocaméra, préférentiellement une stéréocaméra infrarouge et/ou une caméra de profondeur.
8. Système selon l’une des revendications 1 à 7, caractérisé en ce qu’il comprend une interface utilisateur (INU) permettant de fournir au second calculateur (K2) une donnée de retour (Ri) et en ce que le second calculateur (K2) comprend un algorithme d’apprentissage par renforcement, configuré pour modifier le mode de génération de la seconde consigne (C2) en fonction de la donnée de retour (Ri) par itération.
9. Système selon l’une des revendications 1 à 8, caractérisé en ce que ledit système est un instrument de musique et en ce que le pavé tactile (PT) et le dispositif de détection optique (OPT) sont intégrés dans un unique boîtier (1).
10. Système selon l’une des revendications 1 à 9, caractérisé en ce que chaque cellule tactile (CT) comprend une source d’éclairage pour produire un signal lumineux lorsqu’une pression est exercée sur ladite cellule tactile (CT).
11. Procédé pour générer un signal comprenant : ■ une acquisition (ACQ) de la localisation et de l’intensité d’une pression sur un pavé tactile comportant une pluralité de cellules tactiles ;
■ une production (PROD) d’une première consigne (Ci) à partir de la localisation et de l’intensité acquises ;
■ une acquisition (CAPT) d’au moins d’une image par au moins une optique (CAM) ;
■ une détermination (DET) d’au moins un paramètre de mouvement (Di) à partir des images acquises ;
■ une génération (GENc2) d’une seconde consigne (C2) à partir du paramètre de mouvement (Di) ;
■ une génération (GENs2) d’un second signal (S2) à partir de :
• la première consigne (Ci) ou d’un premier signal (Si) associé à la première consigne (Ci) auquel est appliqué un effet spécial extrait de la seconde consigne (C2) ; ou
• la seconde consigne (C2) ou d’un premier signal (Si) associé à la seconde consigne (C2) auquel est appliqué un effet spécial extrait de la première consigne (Ci).
12. Procédé selon la revendication 11 , caractérisé en ce que le paramètre de mouvement (D1) est aussi déterminé à partir de l’amplitude, de la vitesse et/ou de la direction de la main et/ou d’un doigt de la main.
13. Procédé selon la revendication 11 ou 12, caractérisé en ce que le premier signal (Si) sonore correspond à une note de musique.
14. Procédé selon l’une des revendications 11 à 13, caractérisé en ce que la détermination (DET) d’au moins un paramètre de mouvement (D1) comprend la détection de points d’intérêt tels que l’extrémité des doigts, le centre de masse et/ou un point de déflexion.
15. Procédé selon l’une des revendications 11 à 14, caractérisé en ce que l’étape de détermination (DET) d’au moins un paramètre de mouvement (D1) à partir des images acquises comprend la génération d’une carte de profondeur, ledit paramètre de mouvement étant déterminé aussi en fonction de ladite carte de profondeur.
16. Procédé selon l’une des revendications 11 à 15, caractérisé en ce que ledit effet spécial comprend un ou plusieurs des éléments listés ci- dessous : ■ une réverbération,
■ un écho,
■ une distorsion,
■ un sustain, ■ un wha-wha,
■ un vibrato,
■ un déphasage.
17. Produit programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support de données lisible par un ordinateur et/ou exécutable par un ordinateur, caractérisé en ce qu’il comprend des instructions de code de programme informatique de mise en oeuvre du procédé selon l’une des revendications 11 à 16.
18. Support d’enregistrement de données, lisible par un ordinateur, sur lequel est enregistré un programme d’ordinateur comprenant des instructions de code de programme de mise en oeuvre du procédé selon l’une des revendications 11 à 16.
PCT/EP2020/082767 2019-11-20 2020-11-19 Systeme pour generer un signal a partir d'une commande tactile et d'une commande optique WO2021099512A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20807425.2A EP4062263A1 (fr) 2019-11-20 2020-11-19 Système pour générer un signal a partir d'une commande tactile et d'une commande optique
CN202080093530.9A CN114981757A (zh) 2019-11-20 2020-11-19 用于基于触摸命令和光学命令生成信号的系统
US17/778,256 US20230005457A1 (en) 2019-11-20 2020-11-19 System for generating a signal based on a touch command and on an optical command

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1912935A FR3103341B1 (fr) 2019-11-20 2019-11-20 Systeme pour generer un signal a partir d’une commande tactile et d’une commande optique
FRFR1912935 2019-11-20

Publications (1)

Publication Number Publication Date
WO2021099512A1 true WO2021099512A1 (fr) 2021-05-27

Family

ID=70154489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/082767 WO2021099512A1 (fr) 2019-11-20 2020-11-19 Systeme pour generer un signal a partir d'une commande tactile et d'une commande optique

Country Status (5)

Country Link
US (1) US20230005457A1 (fr)
EP (1) EP4062263A1 (fr)
CN (1) CN114981757A (fr)
FR (1) FR3103341B1 (fr)
WO (1) WO2021099512A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3133688A1 (fr) 2022-03-18 2023-09-22 Embodme Dispositif et procede de generation d’un nuage de points d’un objet au-dessus d’une surface de detection
WO2023175162A1 (fr) 2022-03-18 2023-09-21 Embodme Dispositif et procede de detection d'un objet au-dessus d'une surface de detection
FR3133687B1 (fr) 2022-03-18 2024-03-15 Embodme Dispositif et procede de detection d’un objet au-dessus d’une surface de detection
FR3136057A1 (fr) * 2022-05-24 2023-12-01 Embodme Unite de mesure de pression comprenant une pluralite de capteurs de pression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005108A1 (en) * 1998-05-15 2002-01-17 Ludwig Lester Frank Tactile, visual, and array controllers for real-time control of music signal processing, mixing, video, and lighting
US20040200338A1 (en) * 2003-04-12 2004-10-14 Brian Pangrle Virtual instrument
FR3008217A1 (fr) 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
US20170047053A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Sound providing method and electronic device for performing the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875931A (zh) * 2017-04-07 2017-06-20 壹零（北京）乐器有限公司 音效控制装置及智能乐器
CN207731635U (zh) * 2017-12-14 2018-08-14 深圳市柔宇科技有限公司 电子乐器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005108A1 (en) * 1998-05-15 2002-01-17 Ludwig Lester Frank Tactile, visual, and array controllers for real-time control of music signal processing, mixing, video, and lighting
US20040200338A1 (en) * 2003-04-12 2004-10-14 Brian Pangrle Virtual instrument
FR3008217A1 (fr) 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
US20170047053A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Sound providing method and electronic device for performing the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Musical Haptics", 1 January 2018, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-319-58316-7, ISSN: 2192-2977, article M. ERCAN ALTINSOY ET AL: "Touchscreens and Musical Interaction", pages: 239 - 255, XP055695112, DOI: 10.1007/978-3-319-58316-7_12 *
JAMES VINCENT: "Feeling the music with Roli's squishy, pressure-sensitive keyboard - The Verge", 23 September 2015 (2015-09-23), XP055695117, Retrieved from the Internet <URL:https://www.theverge.com/2015/9/23/9372961/roli-seaboard-rise-grand-hands-on> [retrieved on 20200513] *

Also Published As

Publication number Publication date
FR3103341A1 (fr) 2021-05-21
EP4062263A1 (fr) 2022-09-28
FR3103341B1 (fr) 2022-07-22
US20230005457A1 (en) 2023-01-05
CN114981757A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2021099512A1 (fr) Systeme pour generer un signal a partir d&#39;une commande tactile et d&#39;une commande optique
CA2557063C (fr) Controleur par manipulation d&#39;objets virtuels sur un ecran tactile multi-contact
Wright Open Sound Control: an enabling technology for musical networking
EP1405416B1 (fr) Procede et dispositif de detection optique de la position d&#39;un objet
EP0309632A1 (fr) Dispositif de commande d&#39;un synthétiseur de fréquences par un instrument de musique à cordes frottées
CA2709696A1 (fr) Circuit electronique d&#39;analyse a alternance de mesure capacitive/ resistive pour capteur tactile multicontacts a matrice passive
JP2017529562A (ja) 行分割光学モジュール、及びそれを利用した電子鍵盤
FR3004831A1 (fr) Controle numerique des effets sonores d&#39;un instrument de musique.
EP2769290B1 (fr) Procède d&#39;acquisition de données d&#39;un capteur tactile matriciel, notamment pour un écran tactile
FR2547093A1 (fr) Ensemble musical electronique
EP1047044B1 (fr) Dispositif d&#39;acquisition et de traitement de signaux pour la commande d&#39;un appareil ou d&#39;un processus
Nymoen Methods and technologies for analysing links between musical sound and body motion
FR3068803A1 (fr) Procede et dispositif de traitement de donnees d&#39;un environnement de realite virtuelle.
BE1023596B1 (fr) Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection
Boyt Gesture-Sensing Technology for the Bow: A Relevant and Accessible Digital Interface for String Instruments
FR3133687A1 (fr) Dispositif et procede de detection d’un objet au-dessus d’une surface de detection
Thelle Making sensors make sense: challenges in the development of digital musical instruments
FR3133688A1 (fr) Dispositif et procede de generation d’un nuage de points d’un objet au-dessus d’une surface de detection
EP3351007B1 (fr) Procédé de visualisation de données relatives à un événement et système associé
FR2773894A1 (fr) Interface interactive
Nagashima Untouchable Instruments and Performances
Arslan Doing more without more: Data fusion in human-computer interaction
FR3142637A1 (fr) Matériau et système triboélectriques
WO2023175162A1 (fr) Dispositif et procede de detection d&#39;un objet au-dessus d&#39;une surface de detection
WO2009121199A1 (fr) Procede et dispositif pour realiser une surface tactile multipoints a partir d&#39;une surface plane quelconque et pour detecter la position d&#39;un objet sur une telle surface

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20807425

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020807425

Country of ref document: EP

Effective date: 20220620