WO2019207813A1 - 楽器用コントローラおよび電子楽器システム - Google Patents

楽器用コントローラおよび電子楽器システム Download PDF

Info

Publication number
WO2019207813A1
WO2019207813A1 PCT/JP2018/025602 JP2018025602W WO2019207813A1 WO 2019207813 A1 WO2019207813 A1 WO 2019207813A1 JP 2018025602 W JP2018025602 W JP 2018025602W WO 2019207813 A1 WO2019207813 A1 WO 2019207813A1
Authority
WO
WIPO (PCT)
Prior art keywords
musical instrument
signal
reference position
sensor
control
Prior art date
Application number
PCT/JP2018/025602
Other languages
English (en)
French (fr)
Inventor
純一 三木
明寛 武田
横山　浩之
Original Assignee
ローランド株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ローランド株式会社 filed Critical ローランド株式会社
Priority to US17/049,964 priority Critical patent/US11688375B2/en
Priority to EP18916925.3A priority patent/EP3786941B1/en
Publication of WO2019207813A1 publication Critical patent/WO2019207813A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0083—Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G10H2210/221—Glissando, i.e. pitch smoothly sliding from one note to another, e.g. gliss, glide, slide, bend, smear, sweep
    • G10H2210/225—Portamento, i.e. smooth continuously variable pitch-bend, without emphasis of each chromatic pitch during the pitch change, which only stops at the end of the pitch shift, as obtained, e.g. by a MIDI pitch wheel or trombone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/331—Ring or other finger-attached control device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/321—Bluetooth

Definitions

  • the present invention relates to control of an electronic musical instrument.
  • a mechanism for players to adjust musical tone parameters such as pitch bend and expression is widely used.
  • the musical tone parameters can be changed while playing using an operator such as a wheel or a lever provided in the housing.
  • Patent Document 1 discloses a controller that detects the movement of a player's head and controls musical tone parameters based on the detected movement of the head.
  • the controller it may be possible to downsize the controller so that it can be worn on a fingertip or the like.
  • a musical instrument for example, a keyboard musical instrument
  • the controller since the posture of the finger that presses the keyboard can change every time, the musical tone parameter may change with each pronunciation.
  • the present invention has been made in consideration of the above problems, and an object of the present invention is to provide a musical instrument controller that can accurately control musical tone parameters.
  • the musical instrument controller is a device that transmits a control signal to a sound generation device that produces a sound based on a performance signal acquired from a performance device.
  • the sound generation device is a device that processes or generates sound based on a performance signal transmitted from a performance device.
  • the sound generation device may be a sound source or an effect applying device such as an effector.
  • the performance device is a device that outputs a signal (performance signal) corresponding to a performance operation to the sound generation device.
  • the performance signal may be a sound generation start signal or a sound generation stop signal, or when the sound source is built in the performance device and the sound generation device is an effector or the like, the performance signal is an audio signal.
  • the musical instrument controller according to the present invention is a device that transmits a control signal to a sound generation device.
  • the control signal is typically a signal for controlling the state of sound generation, such as a signal for designating pitch bend or expression.
  • the present invention can be applied to a system in which a performance operation is performed by a performance device and a tone generation state of a musical tone is controlled by a controller.
  • the controller for a musical instrument is A receiving means for receiving a sound generation start signal transmitted from the performance device based on the performance operation, a sensor for detecting a displacement amount from the reference position, and a control signal based on the displacement amount from the reference position And a control means for transmitting to the sound generating device, wherein the control means sets the reference position based on the sounding start signal received from the performance device.
  • the sensor is a sensor for detecting the amount of displacement from the reference position.
  • the sensor may be anything as long as it can detect displacement from a certain position.
  • an acceleration sensor, an angular velocity sensor, a distance sensor, or the like may be used.
  • the sensor may be provided separately from the controller.
  • the control means generates a control signal corresponding to the amount of displacement from the reference position. For example, a control signal is generated such that the pitch of the musical sound is increased as the displacement increases in the positive direction, and the musical sound pitch is decreased as the displacement increases in the negative direction, and is transmitted to the sound generation device.
  • the control means in the present invention sets the reference position based on the sound generation start signal transmitted by the performance device.
  • the transmission of the sound generation start signal means that a performance operation for sound generation has been performed. Therefore, an appropriate amount of displacement for generating the control signal can be acquired by setting the reference position each time based on the sound generation start signal.
  • control means may generate the control signal according to a displacement amount from the reference position.
  • control means may generate the control signal when a displacement amount from the reference position satisfies a predetermined condition.
  • the gesture performed by the player can be detected by determining whether or not the displacement amount satisfies a predetermined condition. That is, a control signal can be generated by a gesture.
  • the condition determination may be performed using a plurality of displacement amounts.
  • the receiving means further receives a sound generation stop signal transmitted based on a performance operation, and the control means performs a transition from the soundless state to the sound generation state based on the sound generation start signal and the sound generation stop signal. It may be characterized that the occurrence of the occurrence is determined and the reference position is set when the transition occurs. Further, the control means determines that a transition from the sound generation state to the soundless state has occurred based on the sound generation start signal and the sound generation stop signal, and initializes the reference position when the transition has occurred. It is good also as performing.
  • the reference position is set at the timing when the sound is generated, and the reference position does not change until the next sound is not generated. Therefore, a more stable control method can be provided.
  • the sensor may stop the sensing operation in a state where a performance operation is not performed on the performance device.
  • That the performance operation is not performed may be determined based on the sensing result, or may be determined based on information acquired from the performance device.
  • the stop of the sensing operation may be a stop of power supply to the sensor or a stop of output of sensor data.
  • the senor may be a triaxial acceleration sensor, and the displacement amount from the reference position may be a value representing an inclination amount from a predetermined posture.
  • the displacement amount corresponds to a first displacement amount corresponding to an inclination having a first direction as a rotation axis and a inclination corresponding to an inclination having a second direction orthogonal to the first direction as a rotation axis.
  • the control means generates a first control signal based on the first displacement amount, and generates a second control signal based on the second displacement amount. Also good.
  • Each rotation axis may correspond to any of the pitch direction, the roll direction, and the yaw direction.
  • the first parameter can be changed by tilting the sensor in the pitch direction
  • the second parameter can be changed by tilting the sensor in the roll direction.
  • the first control signal and the second control signal may be signals for controlling a sound generation state.
  • it may be a signal for designating volume, pitch, fluctuation and the like.
  • the first control signal may be a signal designating an expression
  • the second control signal may be a signal designating a pitch bend
  • the control means may generate the control signal having a predetermined value when the amount of displacement from the reference position is equal to or less than a threshold value.
  • the threshold value may be smaller when the absolute value of the tilt amount when the reference position is set is larger.
  • the musical tone parameter When performing while wearing the sensor, the musical tone parameter may slightly fluctuate due to the movement required for the performance operation (for example, the movement of the finger pressing the keyboard). Therefore, in order to prevent this, it is preferable to provide a certain amount of play. For example, when the amount of displacement is within the range of play, a control signal designating a default value may be generated.
  • the play range may be uniform, or may be a range according to the amount of inclination when the reference position is set. For example, when the absolute value of the tilt amount when the reference position is set is larger than a predetermined value, it may be determined that the operation is more sensitive information, and the play may be reduced.
  • the performance device may be a performance device having a keyboard
  • the sensor may be a sensor attached to a finger.
  • the sound generation start signal may be a note-on signal
  • the sound generation stop signal may be a note-off signal.
  • the note-on signal and the note-off signal in the MIDI message can be suitably used.
  • the electronic musical instrument system includes a performance device and a controller, and the performance device has a transmission means for transmitting a sound generation start signal to the controller based on a performance operation, and the controller detects a displacement amount from a reference position. And a control means for generating a control signal based on the amount of displacement from the reference position and transmitting the control signal to the sound generation device, wherein the control means starts the sound generation received from the performance device.
  • the reference position is set based on a signal.
  • the present invention can be specified as a musical instrument controller and an electronic musical instrument system including at least a part of the above means. It can also be specified as a control method for the musical instrument controller or electronic musical instrument system. It can also be specified as a program for executing the control method.
  • the above processes and means can be freely combined and implemented as long as no technical contradiction occurs.
  • FIG. 1 is an overall configuration diagram of an electronic musical instrument system.
  • 2 is a hardware configuration diagram of the sensor device 10.
  • FIG. It is a figure explaining rotation of a candidate for detection.
  • 2 is a hardware configuration diagram of a control device 20.
  • FIG. 2 is a hardware configuration diagram of an electronic musical instrument 30.
  • FIG. It is a module block diagram of an electronic musical instrument system. It is a figure explaining the relationship of the component of a system. It is a figure explaining a reference value.
  • It is a flowchart figure of the process which the sensor apparatus 10 performs.
  • It is a flowchart figure (1) of the processing which a control device performs.
  • It is a flowchart figure (2) of the processing which a control device performs.
  • the electronic musical instrument system includes a sensor device 10 that transmits sensor data to the control device 20, a control device 20 that controls the electronic musical instrument 30, and the electronic musical instrument 30.
  • FIG. 1 shows a configuration diagram of an electronic musical instrument system according to the present embodiment.
  • the sensor device 10 is a ring-type sensor device worn by a player of the electronic musical instrument 30.
  • the sensor data acquired by the sensor device 10 is transmitted to the control device 20.
  • the control device 20 generates and transmits a control signal for controlling the electronic musical instrument 30 based on the sensor data acquired from the sensor device 10. Thereby, the parameter of the musical tone output from the electronic musical instrument 30 can be changed, or various effects can be imparted to the musical tone.
  • the sensor device 10, the control device 20, and the electronic musical instrument 30 are connected to each other wirelessly.
  • the electronic musical instrument 30 is a synthesizer including a performance operator as a keyboard and a sound source.
  • the electronic musical instrument 30 generates a musical sound corresponding to a performance operation performed on the keyboard and outputs it from a speaker (not shown).
  • the electronic musical instrument 30 changes the musical sound parameter based on the control signal transmitted from the control device 20.
  • FIG. 2 is a diagram illustrating a hardware configuration of the sensor device 10.
  • the sensor device 10 is a sensor for detecting a displacement amount from a reference position (reference position) by detecting a posture in a three-dimensional space.
  • the sensor device 10 includes a control unit 101, an acceleration sensor 102, and a wireless transmission unit 103. These means are driven by electric power supplied from a rechargeable battery (not shown).
  • a target whose posture is detected by the sensor device 10 is a human finger.
  • the control unit 101 is an arithmetic unit that performs control performed by the sensor device 10.
  • the control unit 101 is configured by a one-chip microcomputer, and includes a processing device that executes a program, a main storage device that is used when executing the program, an auxiliary storage device that stores the program, and the like in the same hardware. ing.
  • the acceleration sensor 102 is a three-axis acceleration sensor that can acquire acceleration (m / s 2 ) in each of three directions of the X axis, the Y axis, and the Z axis.
  • the value output from the acceleration sensor 102 is acquired by the control unit 101.
  • Three values acquired by the acceleration sensor 102 are referred to as sensor data.
  • the X axis, the Y axis, and the Z axis represent axes based on the sensor device 10.
  • the axes in the global coordinate system are expressed as an X ′ axis, a Y ′ axis, and a Z ′ axis.
  • FIG. 3 is a diagram illustrating the sensor device 10 attached to a finger.
  • the control device 20 which will be described later, detects an inclination with the X ′ axis as the rotation axis and an inclination with the Y ′ axis as the rotation axis.
  • the pitch direction represents an inclination direction with the X ′ axis as a rotation axis
  • the roll direction represents an inclination direction with the Y ′ axis as a rotation axis.
  • the acceleration in the X-axis direction and the acceleration in the Y-axis direction are both 0 [m / s 2 ]. Further, when the hand is rotated 90 degrees in the pitch direction from this state, the acceleration in the Y-axis direction becomes ⁇ 9.8 [m / s 2 ]. When the hand is rotated 90 degrees in the roll direction, the acceleration in the X-axis direction becomes ⁇ 9.8 [m / s 2 ].
  • the control device 20 recognizes the tilt in the pitch direction and the tilt in the roll direction of the sensor device 10 by acquiring the acceleration in the X-axis direction and the acceleration in the Y-axis direction output from the sensor device 10. be able to.
  • the wireless transmission unit 103 is a wireless communication interface that transmits a signal wirelessly.
  • the wireless transmission unit 103 transmits the value acquired by the acceleration sensor 102 (measurement value of acceleration for each axis) to the control device 20.
  • the wireless transmission unit 103 performs data communication according to the Bluetooth (registered trademark) Low Energy standard (hereinafter, BLE).
  • BLE is a low-power communication standard based on Bluetooth.
  • BLE is exemplified, but other wireless communication standards can be used.
  • NFC Near Field Communication
  • Wi-Fi registered trademark
  • other wireless communication systems including original wireless communication systems
  • Each means mentioned above is communicably connected by a bus.
  • FIG. 2 is an example, and all or part of the illustrated functions may be executed using a circuit designed exclusively. Further, the program may be stored or executed by a combination of a main storage device and an auxiliary storage device other than those shown in the drawing.
  • FIG. 4 is a diagram illustrating a hardware configuration of the control device 20.
  • the control device 20 is a small computer such as a smartphone, a mobile phone, a tablet computer, a personal information terminal, a notebook computer, or a wearable computer (smart watch or the like).
  • the control device 20 includes a CPU (Central Processing Unit) 201, a ROM 202, a RAM 203, and a wireless transmission / reception unit 204.
  • CPU Central Processing Unit
  • the CPU 201 is an arithmetic device that controls the control performed by the control device 20.
  • the auxiliary storage device 202 is a rewritable nonvolatile memory.
  • the auxiliary storage device 202 stores a program executed by the CPU 201 and data used by the control program.
  • the auxiliary storage device 202 may store a program executed by the CPU 201 packaged as an application. In addition, an operating system for executing these applications may be stored.
  • the main storage device 203 is a memory in which a program executed by the CPU 201 and data used by the control program are expanded.
  • the program stored in the auxiliary storage device 202 is loaded into the main storage device 203 and executed by the CPU 201, whereby processing described below is performed.
  • the wireless transmission / reception unit 204 is a wireless communication interface that transmits / receives signals to / from the sensor device 10 and the electronic musical instrument 30.
  • the wireless transmission / reception unit 204 (1) acquires sensor data from the sensor device 10, (2) transmits a control signal generated based on the sensor data to the electronic musical instrument 30, and (3 ) A note-on signal and a note-off signal are received from the electronic musical instrument 30. Detailed contents of each data will be described later.
  • the wireless communication method may be the above-described BLE or another method. Further, the method used for communication with the sensor device 10 and the method used for communication with the electronic musical instrument 30 may be different. When BLE is used for connection between the control device 20 and the electronic musical instrument 30, the MIDI over Bluetooth Low Energy (BLE-MIDI) standard may be used.
  • BLE-MIDI MIDI over Bluetooth Low Energy
  • FIG. 4 is an example, and all or part of the illustrated functions may be executed using a circuit designed exclusively. Further, the program may be stored or executed by a combination of a main storage device and an auxiliary storage device other than those shown in the drawing.
  • the electronic musical instrument 30 is a device that synthesizes, amplifies, and outputs a musical sound based on an operation performed on a performance operator (keyboard).
  • the electronic musical instrument 30 includes a wireless transmission / reception unit 301, a CPU 302, a ROM 303, a RAM 304, a performance operator 305, a DSP 306, a D / A converter 307, an amplifier 308, and a speaker 309.
  • the wireless transmission / reception unit 301 is a wireless communication interface that transmits and receives signals to and from the control device 20.
  • the wireless transmission / reception unit 301 is wirelessly connected to the wireless transmission / reception unit 204 included in the control device 20, and (1) a control signal generated from the control device 20 based on the result of sensing performed by the sensor device 10.
  • (2) A note-on signal and a note-off signal are transmitted to the control device 20. Detailed contents of each data will be described later.
  • the CPU 302 is an arithmetic unit that performs control performed by the electronic musical instrument 30. Specifically, processing described in this specification, scanning of the performance operator 305, processing for synthesizing a musical tone using a DSP 306 described later, and the like are performed based on the performed operation.
  • the ROM 303 is a rewritable nonvolatile memory.
  • the ROM 303 stores a control program executed by the CPU 302 and data used by the control program.
  • the RAM 304 is a memory in which a control program executed by the CPU 302 and data used by the control program are expanded.
  • the program stored in the ROM 303 is loaded into the RAM 304 and executed by the CPU 302, whereby the processes described below are performed.
  • the configuration illustrated in FIG. 5 is an example, and all or part of the illustrated functions may be executed using a circuit designed for exclusive use. Further, the program may be stored or executed by a combination of a main storage device and an auxiliary storage device other than those shown in the drawing.
  • the performance operator 305 is an interface for accepting a performance operation by a player.
  • the performance operator 305 includes a keyboard for performing a performance and an input interface (for example, a knob or a push button) for designating musical tone parameters.
  • the DSP 306 is a microprocessor specialized in digital signal processing.
  • the DSP 306 performs processing specialized for processing audio signals under the control of the CPU 302. Specifically, a musical sound is synthesized or an effect is applied to the musical sound based on a performance operation, and an audio signal is output.
  • the audio signal output from the DSP 306 is converted into an analog signal by the D / A converter 307, amplified by the amplifier 308, and then output from the speaker 309.
  • FIG. 6 is a diagram illustrating the configuration of the electronic musical instrument 30, the control device 20, and the sensor device 10 using functional modules.
  • the sensor information transmission unit 1011 transmits the sensor data acquired by the acceleration sensor 102 to the control device 20.
  • the sensor information transmission unit 1011 is realized by the control unit 101.
  • the control unit 2011 acquires sensor data from the sensor device 10 and receives a note-on signal and a note-off signal from the electronic musical instrument 30. Further, a control signal is generated based on the sensor data acquired from the sensor device 10 and transmitted to the electronic musical instrument 30.
  • the control unit 2011 is realized by the CPU 201.
  • the performance signal transmitting means 3021 transmits a note-on signal and a note-off signal to the control device 20 in accordance with the performance operation.
  • the control signal receiving unit 3022 receives a control signal from the control device 20 and performs a process according to a parameter included in the control signal.
  • the performance signal transmitting unit 3021 and the control signal receiving unit 3022 are realized by the CPU 302.
  • the control means 2011 corresponds to the “control means” in the present invention.
  • the performance signal transmission means 3021 corresponds to the “transmission means” in the present invention.
  • the sensor device 10 and the control device 20 correspond to the “controller” in the present invention.
  • the electronic musical instrument 30 corresponds to the “performance device” and the “sound generation device” in the present invention.
  • FIG. 7 is a schematic diagram illustrating data and processing transmitted / received between the components.
  • the electronic musical instrument 30 (performance signal transmission unit 3021) transmits a note-on signal and a note-off signal to the control device 20 in response to a performance operation, and the control device 20 (control unit 2011) Based on the signal and the note-off signal, it is detected that the electronic musical instrument 30 is sounding.
  • the note-on signal is a signal indicating that the key has been pressed
  • the note-off signal is a signal indicating that the key has been released.
  • note-on signals and note-off signals are generally added with information indicating channels, note numbers, velocities, etc., but in the present embodiment, such information is not used.
  • control device 20 acquires sensor data from the sensor device 10 (sensor information transmission unit 1011) at the timing when the sound generation of the electronic musical instrument 30 starts, and stores a reference value based on the sensor data.
  • the reference value is a value that represents the acceleration in the X-axis direction and the acceleration in the Y-axis direction of the sensor device 10.
  • the step of determining the reference value corresponds to “setting of the reference position” in the present invention.
  • FIG. 8 is a diagram illustrating the posture of the sensor device 10 at the timing when the keyboard is pressed.
  • ⁇ that is, the rotation angle in the pitch direction
  • the acceleration in the Y-axis direction is cos 30 ° ⁇ 9.8 ⁇ 1.5 [m / s 2 ] (hereinafter, necessary)
  • this value is stored as a reference value in the pitch direction.
  • the reference value is stored for the roll direction.
  • the control device 20 calculates a displacement amount from the reference value based on the sensor data acquired from the sensor device 10 (sensor information transmission unit 1011), and the displacement amount Is generated and transmitted to the electronic musical instrument 30 (control signal receiving means 3022) (S2). For example, when the reference value in the pitch direction is +1.5 and the acceleration in the Y-axis direction indicated by the sensor data is +2.5, a control signal corresponding to the difference value (+1.0) is generated, and the electronic Transmit to instrument 30. When the reference value in the pitch direction is +1.5 and the acceleration in the Y-axis direction indicated by the sensor data is 0, a control signal corresponding to the difference value ( ⁇ 1.5) is generated, and the electronic musical instrument 30.
  • a signal designating an expression and a signal designating pitch bend are generated as control signals.
  • a signal designating an expression corresponds to the inclination in the pitch direction
  • a signal designating the pitch bend corresponds to the inclination in the roll direction.
  • the set reference position is cleared when all the sounds of the electronic musical instrument 30 are stopped (S3). It can be determined by counting the note-on signal and the note-off signal that all the sounds of the electronic musical instrument 30 have been stopped. For example, if the note-on signal is transmitted three times and then the note-off signal is transmitted three times, it can be determined that the sound generation has stopped. In this embodiment, in this way, the reference position is cleared at the timing when all the sounds are stopped, and a new reference position is set at the time when the sound generation is started again. As a result, the expression and pitch bend can be appropriately changed regardless of the posture of the player who plays the keyboard.
  • FIG. 9 is a flowchart of processing performed by the sensor device 10. The process shown in FIG. 9 is repeatedly executed by the control unit 101 (sensor information transmission unit 1011) while the power of the sensor device 10 is turned on.
  • step S11 it is determined whether or not the sensor data needs to be transmitted to the control device 20. For example, when the sensor device 10 is not used, it is not necessary to transmit sensor data. Therefore, when it is determined that it is not necessary to transmit sensor data, the control unit 101 shifts its own device to the sleep mode. In the sleep mode, the sensor device 10 leaves a minimum function necessary for determining whether to return from the sleep mode and stops the function. When returning from the sleep mode, the processing in FIG. 9 is resumed.
  • the sensor device 10 is not being used can be determined, for example, by detecting that sensor data (acceleration of all three axes) acquired by the acceleration sensor has not changed over a predetermined period. .
  • other conditions may be used.
  • the power supply of the acceleration sensor 102 itself may be shut off, or only wireless transmission of sensor data may be stopped while sensor data acquisition is continued. Further, only the generation of transmission data may be stopped while the wireless transmission is continued.
  • step S12 sensor data is acquired from the acceleration sensor 102, and in step S13, the acquired sensor data is transmitted to the control device 20 via the wireless transmission unit 103.
  • control device 20 control unit 2011
  • the processing performed by the control device 20 is roughly divided into processing when a note-on signal and note-off signal are received from the electronic musical instrument 30 and processing when sensor data is received from the sensor device 10.
  • processing performed when a note-on signal and a note-off signal are received from the electronic musical instrument 30 will be described with reference to FIG.
  • step S21 based on the received signal, it is determined whether or not the number of notes currently being sounded is one or more. If the number of notes that are currently sounding is 1 or more, it is determined in step S22 whether the number of notes determined by the control signal received immediately before (hereinafter, the number of immediately preceding notes) is 0. judge. Here, if the number of immediately preceding notes is 1 or more (S22-No), it means that sound generation is continued, so that no special processing is performed and the process waits for the next cycle. If the determination in step S22 is affirmative, it means that sound generation has been newly started, and the process proceeds to step S23, where a reference value is generated and stored based on the latest sensor data. Specifically, the acceleration in the Y-axis direction is stored as a reference value in the pitch direction, and the acceleration in the X-axis direction is stored as a reference value in the roll direction.
  • step S21 If it is determined in step S21 that the number of currently sounding notes is zero (S21-No), the process proceeds to step S24, where it is determined whether the number of previous notes is zero.
  • the number of previous notes is 0 (S24-Yes)
  • the number of immediately preceding notes is 1 or more (S24-No)
  • step S25 where the reference value is cleared (both in the pitch direction and roll direction) (initialized to a predetermined value).
  • FIG. 11 is a diagram illustrating processing for transmitting a control signal for changing an expression value
  • FIG. 12 is a diagram illustrating processing for transmitting a control signal for changing a pitch bend value. The processes shown in FIGS. 11 and 12 are executed in parallel every time sensor data is received from the sensor device 10.
  • step S31 it is determined whether or not a reference value in the pitch direction has been set.
  • the electronic musical instrument 30 is in a state of not generating a sound, and thus waits for the next cycle. If the reference value in the pitch direction is set, it is determined in step S32 whether the operation condition is satisfied (whether the expression value is to be set).
  • Step S32 will be described in detail.
  • the acceleration acquired by the sensor device 10 is compared with a preset acceleration (reference value), and an expression value and a pitch bend value are set according to the amount of displacement.
  • the expression value and the pitch bend value may change depending on the movement of the finger performing the performance operation itself. Therefore, in step S32, the set reference value (reference value in the pitch direction) is compared with the current acceleration (acceleration in the Y-axis direction) to obtain a displacement amount, and whether the displacement amount is within the play range. If it is within the range of play, it is determined that the operating condition is not satisfied (the expression value is not in a condition to be set).
  • the range of play varies depending on the absolute value of the reference value.
  • the horizontal axis of the graph shown in FIG. 13 is the absolute value of the set reference value, and the vertical axis is the range of play.
  • the play range is set to “ ⁇ 1.0”, and when the absolute value is 4.0 or more and less than 7.0, the play is set. Is set to “ ⁇ 0.2”.
  • step S32 when the reference value in the pitch direction is +3.0, a range of +2.0 to +4.0 is play. In other words, if the current acceleration is within this range, step S32 is negative.
  • the reference value in the pitch direction is +5.0, a range of +4.8 to +5.2 becomes play.
  • control is performed to reduce the play range as the reference value increases. This makes it possible to switch between a more sensitive operation and a normal operation.
  • the range of play is set in two stages, but the range of play may be multi-stage or may be changed linearly.
  • a MIDI message is generated according to the calculated displacement amount. Specifically, as shown in FIG. 14, an expression value is determined based on the amount of displacement from the reference value, and a MIDI message designating the expression value is generated (step S33). The generated message is transmitted to the electronic musical instrument 30 in step S34.
  • step S32 determines whether or not the current expression is a median value (for example, 64) (step S35).
  • a MIDI message for designating the median value is generated (step S36). If the current expression value is already the median value, the process ends and waits for the next cycle.
  • the process shown in FIG. 12 is the same.
  • the process shown in FIG. 12 is described in FIG. 11 in that the reference value in the roll direction is used in step S41 and the reference value in the roll direction is compared with the acceleration in the X-axis direction in step S42. It is different from processing. Further, the difference is that a MIDI message for designating a pitch bend value ( ⁇ 8192 to 8191) instead of the expression value (0 to 127) is generated in step S43.
  • step S42 determines whether or not the current pitch bend value is a median value (for example, 0) (step S45).
  • a MIDI message designating the median value is generated (step S46). If the current pitch bend value is already the median value, the process ends and waits until the next cycle. It is also possible to vary the range of play for expression and pitch bend.
  • the MIDI message for designating the expression value and the pitch bend value is generated according to the tilt angle of the sensor device 10, so that the player can control the musical tone with natural movement.
  • the reference value of acceleration is stored at the timing when the electronic musical instrument 30 starts sounding, and the same reference value is used until sounding stops, it is possible to perform natural control without depending on how to play. Become. Furthermore, by providing play in the amount of acceleration displacement, it is possible to suppress unnecessary fluctuations in the musical sound parameters.
  • step S11 the sensor device 10 detects that there is no change in acceleration, and shifts to the sleep mode.
  • the second embodiment is an embodiment in which the control device 20 determines that there is no sound from the electronic musical instrument 30 and sleeps the sensor device 10 based on the determination.
  • the control device 20 transmits a sleep signal to the sensor device 10 at the timing of step S25 illustrated in FIG.
  • a negative determination is made in step S11, and a transition is made to the sleep mode.
  • the functions of the sensor device 10 are stopped except for the functions necessary for the return from sleep (wake-up) determination.
  • control device 20 transmits a wakeup signal to the sensor device 10 at the timing when an affirmative determination is made in step S22.
  • the process shown in FIG. 9 is resumed. Note that after transmitting the wake-up signal, it is preferable to wait until sensor data is received, and then proceed to step S23.
  • the second embodiment it is possible to determine that it is not necessary to transmit sensor data even when the player is wearing the sensor device 10 and to shift to the power saving mode. . That is, a greater power saving effect can be obtained.
  • the sensor device 10 has the acceleration sensor 102.
  • the third embodiment is an embodiment in which the sensor device 10 further includes an angular velocity sensor and a geomagnetic sensor.
  • FIG. 15 is a diagram illustrating a hardware configuration of the sensor device 10 according to the third embodiment.
  • the sensor device 10 further includes an angular velocity sensor 104 and a geomagnetic sensor 105.
  • the angular velocity sensor 104 is a three-axis angular velocity sensor that can acquire angular velocities (deg / s) about axes that are centered on the X axis, the Y axis, and the Z axis (in the sensor coordinate system).
  • the value output by the angular velocity sensor 104 is acquired by the control unit 101.
  • the geomagnetic sensor 105 is a three-axis geomagnetic sensor that can acquire the value of magnetic force in the corresponding direction with respect to the X axis, the Y axis, and the Z axis (in the sensor coordinate system).
  • the value output by the geomagnetic sensor 105 is acquired by the control unit 101.
  • any one of the acceleration sensor 102, the angular velocity sensor 104, and the geomagnetic sensor 105 can be selected as a sensor used for controlling the electronic musical instrument 30.
  • the selection may be performed, for example, by switching a switch provided in the sensor device 10, or may be performed by rewriting a parameter set in the control unit 101 by wireless communication.
  • the control device 20 can acquire the rotation amount of the sensor device 10 from the timing when the integration is started by integrating the angular velocity acquired every unit time. For example, integration is started at the timing at which the reference value is set in step S1, and a control signal corresponding to the integrated rotation amount is generated in step S2. Further, the integration is stopped in step S3. Thereby, the effect similar to 1st embodiment can be acquired.
  • Such setting of timing for starting integration is also included in “setting of reference position” in the present invention.
  • the control device 20 can acquire the attitude of the sensor device 10 in the three-dimensional space based on the detected magnetic north direction.
  • the detected acceleration is used as it is.
  • the acceleration may be replaced with a magnetic force or an inclination angle.
  • a gesture is detected by combining two or more of an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor, and a control signal for the electronic musical instrument 30 is generated based on the detection result.
  • the hardware configuration of the sensor device 10 according to the fourth embodiment is the same as that of the third embodiment.
  • a plurality of sensor data respectively corresponding to a plurality of sensors is periodically transmitted to the control device 20 in step S13.
  • the reference value is set for each sensor and each axis in the reference value setting process (step S23).
  • the X, Y, and Z axis direction acceleration values output from the acceleration sensor and the X, Y, and Z axis direction magnetic force values output from the geomagnetic sensor are set as the reference values.
  • the output value is not stored, but the integration start timing is determined.
  • the posture of each sensor in the three-dimensional space is acquired. That is, the reference position in the present invention is set.
  • the processing shown in FIG. 16 is executed by the control device 20 (control means 2011).
  • step S51 it is determined whether or not a reference position has been set for each sensor.
  • the reference position has not been set (including the case where the reference position has been cleared)
  • the electronic musical instrument 30 is in a state of not generating a sound, and thus waits until the next cycle. If the reference value is set for all the sensors, it is determined in step S52 whether or not the operation condition is satisfied.
  • step S52 it is determined whether the sensor data acquired from each sensor is within the range of play.
  • the play range may be set as appropriate according to the type of sensor.
  • step S53 it is determined whether or not a predetermined gesture has been performed with reference to a plurality of sensor data.
  • the gesture will be explained.
  • (1) the right hand used for playing the keyboard instrument is rotated 90 degrees to the right with the forearm as an axis
  • the operation of rotating the direction in which the finger is facing 90 degrees is a predetermined gesture.
  • the reference value is set in a state where the sensor device 10 is worn on the right hand, the palm is turned down, and the fingertip faces 0 degrees (north), (1) the thumb is directed upward
  • a predetermined gesture a gesture to pay off
  • the acceleration sensor or the angular velocity sensor that the thumb is directed upward
  • the geomagnetic sensor can be detected that the fingertip is directed in the direction of 90 degrees. In this way, it is possible to determine what kind of gesture has been performed based on the sensor data output from the plurality of sensors. In this step, it may be determined whether or not all the conditions (values) to be satisfied by the plurality of sensor data are satisfied at the same time, or whether or not the plurality of sensor data is satisfied in a predetermined order. Good.
  • a MIDI message corresponding to the gesture is generated in step S54 and transmitted in step S55.
  • a MIDI message such as “set expression value to 0” can be assigned to the gesture described above. In this case, the volume becomes zero by performing the above-described gesture.
  • a gesture can be detected using a plurality of sensors, and a control signal can be generated and transmitted based on the detected gesture.
  • the value is changed in real time based on the value output from the sensor.
  • an arbitrary control signal can be assigned to an arbitrary gesture.
  • a plurality of control signals can be assigned to a plurality of different gestures.
  • a synthesizer is exemplified as the electronic musical instrument 30, but other musical instruments may be connected.
  • a musical instrument in which a performance operator and a sound source are separated may be used.
  • a configuration may be adopted in which a note-on signal or a note-off signal is received from a device including a performance operator, and a control signal (MIDI message) is transmitted to a device including a sound source.
  • the target device that transmits the control signal may not be a device with a built-in sound source.
  • it may be a device (effector) that gives an effect to the input voice.
  • the note-on signal and the note-on signal in the MIDI standard are used. However, any other standard message may be used as long as it is a signal for notifying the start and stop of sound generation.
  • the sensor device 10 only transmits sensor data and the control device 20 generates a control signal based on the sensor data.
  • the present invention is not limited to this configuration.
  • the functions of the sensor device 10 and the control device 20 may be stored in one piece of hardware so that it can be worn on the player's hand.
  • the sensor device 10 has acquired a value (acceleration in a predetermined axial direction) representing the tilt of the device, but the information to be acquired may represent information other than the tilt.
  • information representing the relative position of the player or instrument and the sensor, or the absolute position of the sensor may be used.
  • the distance between the instrument and the sensor may be used as a reference value, and the difference between the distances may be used as the displacement amount.
  • the expression and the pitch bend are exemplified as the musical tone parameters.
  • other musical tone parameters may be controlled as long as the musical tone parameters are controlled. For example, a control signal designating modulation, pan, sustain, etc. may be generated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

楽音パラメータの制御を精度よく行える楽器用コントローラを提供する。演奏装置から、演奏操作に基づいて送信された発音開始信号を受信する受信手段と、基準位置からの変位量を検出するためのセンサと、前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御手段と、を有し、前記制御手段は、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置を設定する。

Description

楽器用コントローラおよび電子楽器システム
　本発明は、電子楽器の制御に関する。
　電子楽器の分野において、ピッチベンドやエクスプレッションといった楽音パラメータの調整を奏者が行うための機構が広く用いられている。例えば、筐体に設けられたホイールやレバー等の操作子を用いて、演奏しながら楽音パラメータを変化させることができる。
　一方で、演奏中にホイールやレバーを操作すると、奏者の片手が占有されてしまうという問題がある。この問題は、特にライブ演奏などにおいて顕著になる。このような背景により、より操作が行いやすい楽器用コントローラの研究が進められている。
　これに関する発明として、特許文献１には、奏者の頭部の動きを検出し、検出した頭部の動きに基づいて楽音パラメータの制御を行うコントローラが開示されている。
特開平３－２８８８９７号公報
　特許文献１に記載のコントローラによると、両手で演奏をしながら楽音パラメータの調整を行うことが可能になる。しかし、かかる発明では、頭の動きを利用するため、俊敏な操作を行うことができない。
　一方で、当該コントローラを小型化し、指先などに装着できるようにすることも考えられる。しかし、コントローラを指先に装着した場合、指先の動きによって演奏を行う楽器（例えば鍵盤楽器など）と組み合わせることが難しくなる。鍵盤楽器においては、鍵盤を押下する指の姿勢が毎回変化しうるため、発音ごとに楽音パラメータが変わってしまうおそれがあるためである。
　本発明は上記の課題を考慮してなされたものであり、楽音パラメータの制御を精度よく行える楽器用コントローラを提供することを目的とする。
　本発明に係る楽器用コントローラは、演奏装置から取得した演奏信号に基づいて発音を行う音生成装置に対して制御信号を送信する装置である。
　音生成装置は、演奏装置から送信された演奏信号に基づいて音声を処理ないし発生させる装置である。音生成装置は、音源であってもよいし、エフェクターなどの効果付与装置であってもよい。
　演奏装置は、演奏操作に応じた信号（演奏信号）を音生成装置に出力する装置である。音生成装置が音源である場合、演奏信号は発音開始信号や発音停止信号であってもよいし、音源が演奏装置に内蔵されており、音生成装置がエフェクター等である場合、演奏信号は音声信号そのものであってもよい。
　本発明に係る楽器用コントローラは、音生成装置に対して制御信号を送信する装置である。制御信号とは、典型的には、ピッチベンドやエクスプレッションを指定する信号など、発音の状態を制御するための信号である。
　このように、本発明は、演奏装置によって演奏操作を行い、コントローラによって楽音の発音状態を制御するシステムに適用することができる。
　本発明に係る楽器用コントローラは、
　演奏装置から、演奏操作に基づいて送信された発音開始信号を受信する受信手段と、基準位置からの変位量を検出するためのセンサと、前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御手段と、を有し、前記制御手段は、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置を設定することを特徴とする。
　センサは、基準位置からの変位量を検出するためのセンサである。センサは、ある位置からの変位を検出することができれば、どのようなものであってもよい。例えば、加速度センサであってもよいし、角速度センサ、距離センサなどであってもよい。また、センサは、コントローラと別体で提供されてもよい。
　制御手段は、基準位置からの変位量に応じた制御信号を生成する。例えば、変位が正の方向に大きいほど楽音のピッチを高くし、変位が負の方向に大きいほど楽音のピッチを低くするといった制御信号を生成し、音生成装置に送信する。
　本発明における制御手段は、基準位置を、演奏装置が送信した発音開始信号に基づいて設定する。発音開始信号が送信されたことは、発音を行うための演奏操作が行われたことを意味する。よって、発音開始信号に基づいて基準位置を都度設定することで、制御信号を生成するための適切な変位量を取得できるようになる。
　また、前記制御手段は、前記基準位置からの変位量に応じた前記制御信号を生成することを特徴としてもよい。
　かかる形態によると、音量やピッチといった、値を指定する制御信号を用いる場合において、変位量に応じた値を連続的に指定できるようになる。
　また、前記制御手段は、前記基準位置からの変位量が所定の条件を満たした場合に前記制御信号を生成することを特徴としてもよい。
　変位量が所定の条件を満たしたか否かを判定することで、奏者によって行われたジェスチャを検出することができる。すなわち、ジェスチャによって制御信号を生成できるようになる。なお、センサが複数である場合、複数の変位量を用いて条件判定を行ってもよい。
　また、前記受信手段は、演奏操作に基づいて送信された発音停止信号をさらに受信し、前記制御手段は、前記発音開始信号および発音停止信号に基づいて、無発音状態から発音状態への遷移が発生したことを判定し、前記遷移が発生した場合に、前記基準位置の設定を行うことを特徴としてもよい。
　また、前記制御手段は、前記発音開始信号および発音停止信号に基づいて、発音状態から無発音状態への遷移が発生したことを判定し、前記遷移が発生した場合に、前記基準位置の初期化を行うことを特徴としてもよい。
　かかる構成によると、発音が発生したタイミングで基準位置が設定され、次に無発音状態となるまで、基準位置が変動しない。よって、より安定した制御方法を提供することができる。
　また、前記センサは、前記演奏装置に対して演奏操作が行われていない状態においてセンシング動作を停止することを特徴としてもよい。
　演奏操作が行われていないことは、センシングの結果に基づいて判定してもよいし、演奏装置から取得した情報に基づいて判定してもよい。
　演奏操作が行われていない場合、センサ情報の送信は無益となる。よって、センシング動作を停止することで、電力消費を抑制することができる。なお、センシング動作の停止とは、センサへの電源供給の停止であってもよいし、センサデータの出力停止であってもよい。
　また、前記センサは、３軸加速度センサであり、前記基準位置からの変位量は、所定の姿勢からの傾斜量を表す値であることを特徴としてもよい。
　３軸加速度センサを利用することで、傾斜量を取得できるようになる。よって、このようなセンサを奏者が身につけることで、直感的な操作を行うことができるようになる。
　また、前記変位量は、第一の方向を回転軸とする傾斜に対応する第一の変位量と、前記第一の方向と直交する第二の方向を回転軸とする傾斜に対応する第二の変位量からなり、前記制御手段は、前記第一の変位量に基づいて第一の制御信号を生成し、前記第二の変位量に基づいて第二の制御信号を生成することを特徴としてもよい。
　各回転軸は、ピッチ方向、ロール方向、ヨー方向のいずれかに対応するものであってもよい。例えば、センサをピッチ方向に傾斜させることで第一のパラメータを変更することができ、ロール方向に傾斜させることで第二のパラメータを変更することができるようになる。
　また、前記第一の制御信号および前記第二の制御信号は、発音の状態を制御するための信号であることを特徴としてもよい。
　例えば、音量、ピッチ、揺らぎなどを指定するための信号であってもよい。
　また、前記第一の制御信号はエクスプレッションを指定する信号であり、前記第二の制御信号はピッチベンドを指定する信号であることを特徴としてもよい。
　センサの傾斜量に応じてこれらの制御を可能にすることで、より豊かな表現を行うことが可能になる。
　また、前記制御手段は、前記基準位置からの変位量が閾値以下である場合に、所定の値を持つ前記制御信号を生成することを特徴としてもよい。
　また、前記閾値は、前記基準位置が設定された際の前記傾斜量の絶対値がより大きい場合においてより小さくなることを特徴としてもよい。
　センサを身につけて演奏する場合、演奏操作に必要な動き（例えば、鍵盤を押下する指の動き）によって楽音パラメータがわずかに変動してしまうことがある。よって、これを防ぐため、ある程度の遊びを設けることが好ましい。例えば、変位量が遊びの範囲内にある場合、デフォルト値を指定する制御信号を生成するようにしてもよい。
　遊びの範囲は一律であってもよいが、基準位置が設定された際の傾斜量に応じた範囲としてもよい。例えば、基準位置が設定された際の傾斜量の絶対値が所定値よりも大きい場合、よりセンシティブ情報な操作をしていると判定し、遊びを小さくするようにしてもよい。
　また、前記演奏装置は、鍵盤を有する演奏装置であり、前記センサは、指に装着するセンサであることを特徴としてもよい。
　鍵盤を操作する指にセンサを装着することで、より直感的な操作が可能になる。
　また、前記発音開始信号はノートオン信号であることを特徴としてもよく、前記発音停止信号はノートオフ信号であることを特徴としてもよい。
　発音開始信号および発音停止信号として、ＭＩＤＩメッセージにおけるノートオン信号およびノートオフ信号を好適に利用することができる。
　また、本発明に係る電子楽器システムは、
　演奏装置と、コントローラと、を含み、前記演奏装置は、演奏操作に基づいて、前記コントローラに対して発音開始信号を送信する送信手段を有し、前記コントローラは、基準位置からの変位量を検出するためのセンサと、前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御手段と、を有し、前記制御手段は、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置を設定することを特徴とする。
　なお、本発明は、上記手段の少なくとも一部を含む楽器用コントローラ、電子楽器システムとして特定することができる。また、前記楽器用コントローラまたは電子楽器システムの制御方法として特定することもできる。また、前記制御方法を実行させるためのプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
電子楽器システムの全体構成図である。 センサ装置１０のハードウェア構成図である。 検出対象の回転を説明する図である。 制御装置２０のハードウェア構成図である。 電子楽器３０のハードウェア構成図である。 電子楽器システムのモジュール構成図である。 システムの構成要素の関連を説明する図である。 基準値を説明する図である。 センサ装置１０が行う処理のフローチャート図である。 制御装置が行う処理のフローチャート図（１）である。 制御装置が行う処理のフローチャート図（２）である。 制御装置が行う処理のフローチャート図（３）である。 遊びの設定基準を示した図である。 基準値からの変位量と制御信号との関係を示した図である。 第三の実施形態におけるセンサ装置のハードウェア構成図である。 第四の実施形態における処理のフローチャート図である。
（第一の実施形態）
　本実施形態に係る電子楽器システムは、制御装置２０に対してセンサデータを送信するセンサ装置１０と、電子楽器３０を制御する制御装置２０と、電子楽器３０と、を含んで構成される。
　図１に、本実施形態に係る電子楽器システムの構成図を示す。
　センサ装置１０は、電子楽器３０の奏者が装着する指輪型のセンサデバイスである。センサ装置１０によって取得されたセンサデータは、制御装置２０に送信される。制御装置２０は、センサ装置１０から取得したセンサデータに基づいて、電子楽器３０を制御するための制御信号を生成し、送信する。これにより、電子楽器３０から出力される楽音のパラメータを変化させ、または、楽音に対して様々な効果を付与することができる。センサ装置１０と、制御装置２０と、電子楽器３０は、互いに無線によって接続される。
　電子楽器３０は、鍵盤である演奏操作子と、音源を含むシンセサイザーである。本実施形態では、電子楽器３０は、鍵盤に対して行われた演奏操作に応じた楽音を生成し、不図示のスピーカから出力する。また、電子楽器３０は、制御装置２０から送信された制御信号に基づいて、楽音のパラメータを変更する。
　まず、センサ装置１０の構成について説明する。図２は、センサ装置１０のハードウェア構成を示した図である。
　センサ装置１０は、三次元空間中における姿勢を検出することで、基準となる位置（基準位置）からの変位量を検出するためのセンサである。センサ装置１０は、制御部１０１、加速度センサ１０２、無線送信部１０３を有して構成される。これらの手段は、充電式のバッテリ（不図示）から供給される電力によって駆動される。
　本実施形態では、センサ装置１０が姿勢を検出する対象は人の指である。
　制御部１０１は、センサ装置１０が行う制御を司る演算装置である。本実施形態では、制御部１０１はワンチップマイコンで構成され、プログラムを実行する処理装置、プログラムの実行時に利用される主記憶装置、プログラムを記憶する補助記憶装置等を同一のハードウェアに内蔵している。
　加速度センサ１０２は、Ｘ軸，Ｙ軸，Ｚ軸のそれぞれ３方向について加速度（ｍ／ｓ2）を取得可能な３軸加速度センサである。加速度センサ１０２が出力した値は、制御部１０１によって取得される。加速度センサ１０２が取得した３つの値をセンサデータと称する。
　なお、以降の説明において、Ｘ軸，Ｙ軸，Ｚ軸とは、センサ装置１０を基準とした軸を表す。また、グローバル座標系における軸は、Ｘ’軸，Ｙ’軸，Ｚ’軸と表記する。
　本実施形態では、電子楽器３０の奏者が、センサ装置１０を指に装着した状態で演奏を行う。図３は、指に装着されたセンサ装置１０を示した図である。本実施形態では、センサ装置１０が出力したセンサデータに基づいて、後述する制御装置２０が、Ｘ’軸を回転軸とする傾斜と、Ｙ’軸を回転軸とする傾斜を検知する。
　なお、以下の説明において、ピッチ方向とはＸ’軸を回転軸とする傾斜方向を表し、ロール方向とはＹ’軸を回転軸とする傾斜方向を表す。
　図３に示した状態においては、Ｘ軸方向の加速度と、Ｙ軸方向の加速度はともに０［ｍ／ｓ2］となる。また、この状態からピッチ方向に手を９０度回転させると、Ｙ軸方向の加速度は±９．８［ｍ／ｓ2］となる。また、ロール方向に手を９０度回転させると、Ｘ軸方向の加速度は±９．８［ｍ／ｓ2］となる。
　このように、制御装置２０は、センサ装置１０が出力した、Ｘ軸方向の加速度と、Ｙ軸方向の加速度を取得することで、センサ装置１０のピッチ方向における傾きとロール方向における傾きを認識することができる。
　無線送信部１０３は、信号を無線によって送信する無線通信インタフェースである。本実施形態では、無線送信部１０３は、制御装置２０に対して、加速度センサ１０２が取得した値（軸ごとの加速度の測定値）を送信する。
　本実施形態では、無線送信部１０３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ規格（以下、ＢＬＥ）によるデータ通信を行う。ＢＬＥとは、Ｂｌｕｅｔｏｏｔｈによる低電力通信規格である。
　なお、本実施形態ではＢＬＥを例示するが、他の無線通信規格も利用可能である。例えば、ＮＦＣ（Near Field Communication）、Ｗｉ－Ｆｉ（登録商標）などを利用することもできる。また他の無線通信方式（独自の無線通信方式を含む）を利用することもできる。
　上述した各手段は、バスによって通信可能に接続される。
　なお、図２に示した構成は一例であり、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。また、図示した以外の、主記憶装置および補助記憶装置の組み合わせによってプログラムの記憶ないし実行を行ってもよい。
　次に、制御装置２０の構成について説明する。図４は、制御装置２０のハードウェア構成を示した図である。
　制御装置２０は、例えばスマートフォン、携帯電話、タブレットコンピュータ、個人情報端末、ノートブックコンピュータ、ウェアラブルコンピュータ（スマートウォッチ等）といった小型のコンピュータである。制御装置２０は、ＣＰＵ（中央処理装置）２０１、ＲＯＭ２０２、ＲＡＭ２０３、無線送受信部２０４を有して構成される。
　ＣＰＵ２０１は、制御装置２０が行う制御を司る演算装置である。
　補助記憶装置２０２は、書き換え可能な不揮発性メモリである。補助記憶装置２０２には、ＣＰＵ２０１において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される。補助記憶装置２０２は、ＣＰＵ２０１で実行されるプログラムをアプリケーションとしてパッケージ化したものを記憶してもよい。また、これらのアプリケーションを実行するためのオペレーティングシステムを記憶してもよい。
　主記憶装置２０３は、ＣＰＵ２０１によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置２０２に記憶されたプログラムが主記憶装置２０３にロードされ、ＣＰＵ２０１によって実行されることで、以降に説明する処理が行われる。
　無線送受信部２０４は、センサ装置１０および電子楽器３０に対して信号を送受信する無線通信インタフェースである。本実施形態では、無線送受信部２０４は、（１）センサ装置１０からセンサデータを取得し、（２）電子楽器３０に対して、センサデータに基づいて生成された制御信号を送信し、（３）電子楽器３０から、ノートオン信号およびノートオフ信号を受信する。各データの詳細な内容については後述する。
　なお、無線通信の方式は、前述したＢＬＥであってもよいし、他の方式であってもよい。また、センサ装置１０との通信に用いる方式と、電子楽器３０との通信に用いる方式は異なっていてもよい。制御装置２０と電子楽器３０との間の接続にＢＬＥを用いる場合、MIDI over Bluetooth Low Energy（ＢＬＥ－ＭＩＤＩ）規格を用いてもよい。
　なお、図４に示した構成は一例であり、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。また、図示した以外の、主記憶装置および補助記憶装置の組み合わせによってプログラムの記憶ないし実行を行ってもよい。
　次に、図５を参照して、電子楽器３０のハードウェア構成について説明する。
　電子楽器３０は、演奏操作子（鍵盤）に対して行われた操作に基づいて楽音を合成し、増幅して出力する装置である。電子楽器３０は、無線送受信部３０１、ＣＰＵ３０２、ＲＯＭ３０３、ＲＡＭ３０４、演奏操作子３０５、ＤＳＰ３０６、Ｄ／Ａコンバータ３０７、増幅器３０８、スピーカ３０９を有して構成される。
　無線送受信部３０１は、制御装置２０に対して信号を送受信する無線通信インタフェースである。本実施形態では、無線送受信部３０１は、制御装置２０が有する無線送受信部２０４と無線接続され、（１）制御装置２０から、センサ装置１０が行ったセンシングの結果に基づいて生成された制御信号を受信し、（２）制御装置２０に対して、ノートオン信号およびノートオフ信号を送信する。各データの詳細な内容については後述する。
　ＣＰＵ３０２は、電子楽器３０が行う制御を司る演算装置である。具体的には、本明細書で説明する処理、および、演奏操作子３０５のスキャンや、行われた操作に基づいて、後述するＤＳＰ３０６を用いて楽音を合成する処理等を行う。
　ＲＯＭ３０３は、書き換え可能な不揮発性メモリである。ＲＯＭ３０３には、ＣＰＵ３０２において実行される制御プログラムや、当該制御プログラムが利用するデータが記憶される。
　ＲＡＭ３０４は、ＣＰＵ３０２によって実行される制御プログラムや、当該制御プログラムが利用するデータが展開されるメモリである。ＲＯＭ３０３に記憶されたプログラムがＲＡＭ３０４にロードされ、ＣＰＵ３０２によって実行されることで、以降に説明する処理が行われる。
　なお、図５に示した構成は一例であり、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。また、図示した以外の、主記憶装置および補助記憶装置の組み合わせによってプログラムの記憶ないし実行を行ってもよい。
　演奏操作子３０５は、奏者による演奏操作を受け付けるためのインタフェースである。本実施形態では、演奏操作子３０５は、演奏を行うための鍵盤や、楽音パラメータ等を指定するための入力インタフェース（例えば、ツマミや押しボタン等）を含んで構成される。
　ＤＳＰ３０６は、デジタル信号処理に特化したマイクロプロセッサである。本実施形態では、ＤＳＰ３０６は、ＣＰＵ３０２の制御下で、音声信号の処理に特化した処理を行う。具体的には、演奏操作に基づいて楽音の合成や、楽音に対する効果の付与などを行い、音声信号を出力する。ＤＳＰ３０６から出力された音声信号は、Ｄ／Ａコンバータ３０７によってアナログ信号に変換され、増幅器３０８によって増幅された後、スピーカ３０９から出力される。
　図６は、電子楽器３０、制御装置２０、センサ装置１０の構成を機能モジュールによって示した図である。
　センサ情報送信手段１０１１は、加速度センサ１０２が取得したセンサデータを制御装置２０に送信する。センサ情報送信手段１０１１は、制御部１０１によって実現される。
　制御手段２０１１は、センサ装置１０からセンサデータを取得し、電子楽器３０からノートオン信号およびノートオフ信号を受信する。また、センサ装置１０から取得したセンサデータに基づいて制御信号を生成し、電子楽器３０に送信する。制御手段２０１１は、ＣＰＵ２０１によって実現される。
　演奏信号送信手段３０２１は、演奏操作に応じてノートオン信号およびノートオフ信号を制御装置２０に送信する。
　制御信号受信手段３０２２は、制御装置２０から制御信号を受信し、当該制御信号に含まれるパラメータに応じた処理を行う。
　演奏信号送信手段３０２１および制御信号受信手段３０２２は、ＣＰＵ３０２によって実現される。
　制御手段２０１１が、本発明における「制御手段」に該当する。また、演奏信号送信手段３０２１が、本発明における「送信手段」に該当する。また、センサ装置１０および制御装置２０が、本発明における「コントローラ」に該当する。また、電子楽器３０が、本発明における「演奏装置」および「音生成装置」に該当する。
　次に、本実施形態において電子楽器３０、制御装置２０、センサ装置１０が行う処理の概要について説明する。図７は、各構成要素間で送受信されるデータと処理を説明する概要図である。
　本実施形態では、電子楽器３０（演奏信号送信手段３０２１）が、演奏操作に応じてノートオン信号およびノートオフ信号を制御装置２０に送信し、制御装置２０（制御手段２０１１）が、当該ノートオン信号およびノートオフ信号に基づいて、電子楽器３０が発音していることを検出する。ノートオン信号とは、鍵盤が押下されたことを示す信号であり、ノートオフ信号とは、鍵盤が離されたことを示す信号である。電子楽器の分野において、ノートオン信号およびノートオフ信号は、一般的にチャンネル、ノート番号、ベロシティ等を表す情報が付加されているが、本実施形態では、当該情報は利用しない。
　また、制御装置２０（制御手段２０１１）は、電子楽器３０の発音が始まったタイミングで、センサ装置１０（センサ情報送信手段１０１１）からセンサデータを取得し、当該センサデータに基づいて基準値を記憶する（Ｓ１）。本実施形態では、基準値は、センサ装置１０のＸ軸方向の加速度、および、Ｙ軸方向の加速度を表す値である。
　基準値を決定するステップが、本発明における「基準位置の設定」に対応する。
　図８は、鍵盤を押下したタイミングにおけるセンサ装置１０の姿勢を説明する図である。本例においてθ（すなわち、ピッチ方向における回転角）が３０度であった場合、Ｙ軸方向の加速度はｃｏｓ３０°×９．８≒１．５［ｍ／ｓ2］となる（以下、必要が無い限り、加速度の単位は省略）。よって、この値が、ピッチ方向における基準値として記憶される。ロール方向についても同様に基準値が記憶される。
　基準値が設定されると、制御装置２０（制御手段２０１１）は、センサ装置１０（センサ情報送信手段１０１１）から取得したセンサデータに基づいて、基準値からの変位量を算出し、当該変位量に応じた制御信号を生成し、電子楽器３０（制御信号受信手段３０２２）へ送信する（Ｓ２）。
　例えば、ピッチ方向における基準値が＋１．５であり、センサデータが示す、Ｙ軸方向の加速度が＋２．５であった場合、差分値（＋１．０）に相当する制御信号を生成し、電子楽器３０へ送信する。また、ピッチ方向における基準値が＋１．５であり、センサデータが示す、Ｙ軸方向の加速度が０であった場合、差分値（－１．５）に相当する制御信号を生成し、電子楽器３０へ送信する。
　本実施形態では、制御信号として、エクスプレッションを指定する信号と、ピッチベンドを指定する信号を生成する。エクスプレッションを指定する信号がピッチ方向の傾斜に対応し、ピッチベンドを指定する信号がロール方向の傾斜に対応する。これにより、手の姿勢に応じた楽音の制御が可能になる。
　設定された基準位置は、電子楽器３０の発音が全て停止したタイミングでクリアされる（Ｓ３）。電子楽器３０の発音が全て停止したことは、ノートオン信号とノートオフ信号をカウントすることで判断することができる。例えば、ノートオン信号が３回送信され、続いてノートオフ信号が３回送信された場合、発音が停止したことが判断できる。本実施形態では、このように、発音が全て停止したタイミングで基準位置をクリアし、再度発音が開始されたタイミングで新しい基準位置を設定する。これにより、鍵盤を弾く奏者の手がどのような姿勢になっても、適切にエクスプレッションおよびピッチベンドを変更することができるようになる。
　次に、各構成要素が行う処理フローについて、詳細な内容を説明する。
　図９は、センサ装置１０が行う処理のフローチャート図である。図９に示した処理は、センサ装置１０の電源が投入されている間、制御部１０１（センサ情報送信手段１０１１）によって反復して実行される。
　まず、ステップＳ１１で、センサデータを制御装置２０に送信する必要があるか否かを判定する。例えば、センサ装置１０が使用されていない場合、センサデータを送信する必要がない。そこで、センサデータを送信する必要がないと判定した場合は、制御部１０１が自装置をスリープモードへ移行させる。なお、スリープモードにおいては、センサ装置１０は、スリープモードからの復帰判定に必要な最小限の機能を残し、その機能を停止する。スリープモードから復帰した場合、図９の処理が再開される。
　なお、センサ装置１０が使用されていないことは、例えば、加速度センサが取得したセンサデータ（３軸全ての加速度）が、所定の期間にわたって変化していないことを検出することで判定することができる。もちろん、これ以外の条件を用いてもよい。
　また、スリープモードでは、加速度センサ１０２自体の電源を遮断してもよいし、センサデータの取得は続けたままで、センサデータの無線送信のみを停止するようにしてもよい。また、無線送信は続けたままで、送信データの生成のみを停止するようにしてもよい。
　ステップＳ１２では、加速度センサ１０２からセンサデータを取得し、ステップＳ１３で、取得したセンサデータを、無線送信部１０３を介して制御装置２０に送信する。
　次に、制御装置２０（制御手段２０１１）が行う処理のフローについて説明する。
　制御装置２０が行う処理は、電子楽器３０からノートオン信号およびノートオフ信号を受信した際の処理と、センサ装置１０からセンサデータを受信した際の処理に大別される。まず、電子楽器３０からノートオン信号およびノートオフ信号を受信した際に行う処理について、図１０を参照して説明する。
　まず、ステップＳ２１で、受信した信号に基づいて、現在発音中のノート数が１以上であるか否かを判定する。ここで、現在発音中のノート数が１以上であった場合、ステップＳ２２で、１つ前に受信した制御信号によって判定されたノート数（以下、直前ノート数）が０であるか否かを判定する。ここで、直前ノート数が１以上であった場合（Ｓ２２－Ｎｏ）、発音が継続していることを意味するため、特段の処理は行わず、次の周期まで待機する。
　ステップＳ２２で肯定判定であった場合、発音が新たに開始されたことを意味するため、ステップＳ２３に遷移し、最新のセンサデータに基づいて基準値を生成し、記憶する。具体的には、Ｙ軸方向の加速度をピッチ方向における基準値として記憶し、Ｘ軸方向の加速度をロール方向における基準値として記憶する。
　ステップＳ２１で、現在発音中のノート数が０であった場合（Ｓ２１－Ｎｏ）、ステップＳ２４へ遷移し、直前ノート数が０であるか否かを判定する。ここで、直前ノート数が０であった場合（Ｓ２４－Ｙｅｓ）、発音されていない状態が継続していることを意味するため、特段の処理は行わず、次の周期まで待機する。直前ノート数が１以上であった場合（Ｓ２４－Ｎｏ）、発音が停止したことを意味するため、ステップＳ２５に遷移し、（ピッチ方向、ロール方向ともに）基準値をクリア（所定の値に初期化）する。
　次に、制御装置２０（制御手段２０１１）が、センサ装置１０からセンサデータを受信した際の処理について、図１１および図１２を参照して説明する。図１１は、エクスプレッション値を変更するための制御信号を送信する処理を表した図であり、図１２は、ピッチベンド値を変更するための制御信号を送信する処理を表した図である。図１１および図１２に示した処理は、センサ装置１０からセンサデータを受信するたびに平行して実行される。
　ここでは、図１１から説明する。
　まず、ステップＳ３１で、ピッチ方向の基準値が設定済みであるか否かを判定する。ここで、ピッチ方向の基準値が設定済みでない場合（クリアされている場合を含む）、電子楽器３０が発音していない状態であるため、次の周期まで待機する。ピッチ方向の基準値が設定されている場合、ステップＳ３２で、動作条件を満たすか（エクスプレッション値を設定すべき条件下にあるか）否かを判定する。
　ステップＳ３２について詳しく説明する。
　本実施形態では、センサ装置１０が取得した加速度と、予め設定された加速度（基準値）とを比較し、その変位量に応じてエクスプレッション値やピッチベンド値を設定するが、この手法を用いると、演奏操作を行う指の動きそのものによってエクスプレッション値やピッチベンド値が変わってしまう場合がある。
　そこで、ステップＳ３２では、設定された基準値（ピッチ方向の基準値）と現在の加速度（Ｙ軸方向の加速度）を比較して変位量を取得し、当該変位量が遊びの範囲内にあるか否かを判断し、遊びの範囲内にある場合に、動作条件を満たさない（エクスプレッション値を設定すべき条件下に無い）と判断する。
　遊びの範囲は、基準値の絶対値によって異なる値を取る。
　図１３に示したグラフの横軸は設定された基準値の絶対値であり、縦軸は遊びの範囲である。本例では、設定された基準値の絶対値が４．０未満である場合に、遊びの範囲を「±１．０」に設定し、４．０以上７．０未満である場合に、遊びの範囲を「±０．２」に設定する。
　例えば、ピッチ方向の基準値が＋３．０である場合、＋２．０～＋４．０の範囲が遊びとなる。換言すると、現在の加速度がこの範囲にある場合、ステップＳ３２は否定判定となる。また、ピッチ方向の基準値が＋５．０である場合、＋４．８～＋５．２の範囲が遊びとなる。このように、本実施形態では、基準値が大きいほど、遊びの範囲を小さくする制御を行う。このようにすることで、よりセンシティブな操作と通常の操作を切り替えることが可能になる。
　なお、本例では、遊びの範囲を二段階で設定したが、遊びの範囲は多段階であってもよいし、線形に変化させてもよい。
　ステップＳ３２において肯定判定となった場合、算出した変位量に応じてＭＩＤＩメッセージを生成する。具体的には、図１４に示したように、基準値からの変位量に基づいてエクスプレッション値を決定し、当該エクスプレッション値を指定するＭＩＤＩメッセージを生成する（ステップＳ３３）。生成したメッセージは、ステップＳ３４において電子楽器３０へ送信される。
　ステップＳ３２で否定判定となった場合、すなわち、取得した変位量が遊びの範囲内にある場合、現在のエクスプレッションが中央値（例えば６４）であるか否かを判定する（ステップＳ３５）。ここで、現在のエクスプレッション値が中央値以外であった場合、中央値を指定するＭＩＤＩメッセージを生成する（ステップＳ３６）。現在のエクスプレッション値が既に中央値であった場合、処理は終了し、次の周期まで待機する。
　図１２に示した処理も同様である。
　図１２に示した処理は、ステップＳ４１において、ロール方向における基準値を用いるという点と、ステップＳ４２において、ロール方向の基準値とＸ軸方向の加速度を比較するという点において、図１１で説明した処理と相違する。また、ステップＳ４３において、エクスプレッション値（０～１２７）の代わりにピッチベンド値（－８１９２～８１９１）を指定するＭＩＤＩメッセージを生成するという点において相違する。
　ステップＳ４２で否定判定となった場合、すなわち、取得した変位量が遊びの範囲内にある場合、現在のピッチベンド値が中央値（例えば０）であるか否かを判定する（ステップＳ４５）。ここで、現在のピッチベンド値が中央値以外であった場合、中央値を指定するＭＩＤＩメッセージを生成する（ステップＳ４６）。現在のピッチベンド値が既に中央値であった場合、処理は終了し、次の周期まで待機する。
　なお、エクスプレッションとピッチベンドで、遊びの範囲をそれぞれ異ならせることも可能である。
　第一の実施形態によると、センサ装置１０の傾斜角に応じて、エクスプレッション値およびピッチベンド値を指定するＭＩＤＩメッセージを生成するため、奏者が自然な動きで楽音を制御できるようになる。また、電子楽器３０が発音を開始したタイミングで加速度の基準値を記憶し、発音が停止するまで同一の基準値を利用するため、弾き方に依存せず、自然な制御を行うことが可能になる。さらに、加速度の変位量に遊びを設けることで、楽音パラメータの無用な変動を抑制することができる。
（第二の実施形態）
　第一の実施形態では、ステップＳ１１において、センサ装置１０が、加速度の変化が無くなったことを検出し、スリープモードへの移行を行った。これに対し、第二の実施形態は、制御装置２０が、電子楽器３０からの発音が無くなったことを判定し、当該判定に基づいてセンサ装置１０をスリープさせる実施形態である。
　第二の実施形態では、図１０に示したステップＳ２５のタイミングで、制御装置２０が、センサ装置１０に対してスリープ信号を送信する。センサ装置１０がスリープ信号を受信すると、ステップＳ１１で否定判定となり、スリープモードへ移行する。これにより、スリープからの復帰（ウェイクアップ）判定に必要な機能を除き、センサ装置１０の機能が停止する。
　また、ステップＳ２２で肯定判定を行ったタイミングで、制御装置２０が、センサ装置１０に対してウェイクアップ信号を送信する。センサ装置１０がウェイクアップ信号を受信すると、図９に示した処理が再開される。なお、ウェイクアップ信号を送信した後は、センサデータを受信するまで待機し、ステップＳ２３の実行に移ることが好ましい。
　第二の実施形態によると、奏者がセンサ装置１０を装着したままの状態であっても、センサデータを送信する必要がないことを判定し、省電力モードへの移行をさせることが可能になる。すなわち、より大きい省電力効果を得ることができる。
（第三の実施形態）
　第一ないし第二の実施形態では、センサ装置１０が加速度センサ１０２を有している形態を述べた。これに対し、第三の実施形態は、センサ装置１０が、角速度センサおよび地磁気センサをさらに含んで構成される実施形態である。
　図１５は、第三の実施形態におけるセンサ装置１０のハードウェア構成を示した図である。第三の実施形態では、センサ装置１０が、角速度センサ１０４および地磁気センサ１０５をさらに含んで構成される。
　角速度センサ１０４は、（センサ座標系における）Ｘ軸，Ｙ軸，Ｚ軸をそれぞれ中心とする軸について角速度（ｄｅｇ／ｓ）を取得可能な３軸角速度センサである。角速度センサ１０４が出力した値は、制御部１０１によって取得される。
　地磁気センサ１０５は、（センサ座標系における）Ｘ軸，Ｙ軸，Ｚ軸について、対応する方向の磁力の値を取得可能な３軸地磁気センサである。地磁気センサ１０５が出力した値は、制御部１０１によって取得される。
　第三の実施形態では、電子楽器３０の制御に用いるセンサとして、加速度センサ１０２、角速度センサ１０４、地磁気センサ１０５のいずれかを選択することができる。選択は、例えば、センサ装置１０に設けられたスイッチを切り替えることで行ってもよいし、無線通信によって制御部１０１に設定されたパラメータを書き換えることで行ってもよい。
　角速度センサ１０４を利用する場合、制御装置２０は、単位時間ごとに取得した角速度を積分することで、積分を開始したタイミングからのセンサ装置１０の回転量を取得することができる。例えば、ステップＳ１で基準値を設定するタイミングで積分を開始し、ステップＳ２で、積算した回転量に応じた制御信号を生成する。また、ステップＳ３で積分を停止する。これにより、第一の実施形態と同様の効果を得ることができる。
　このような、積分を開始するタイミングの設定も、本発明における「基準位置の設定」に含まれる。
　地磁気センサ１０５を利用する場合、制御装置２０は、検出した磁北の方向に基づいて、センサ装置１０の三次元空間における姿勢を取得することができる。なお、第一の実施形態では、検出した加速度をそのまま用いたが、地磁気センサを利用する場合、加速度を磁力または傾斜角に置き換えればよい。
（第四の実施形態）
　第四の実施形態は、加速度センサ、角速度センサ、地磁気センサのうちの二つ以上を組み合わせてジェスチャの検出を行い、検出結果に基づいて、電子楽器３０に対する制御信号を生成する実施形態である。第四の実施形態に係るセンサ装置１０のハードウェア構成は、第三の実施形態と同様である。第四の実施形態では、複数のセンサにそれぞれ対応する複数のセンサデータが、ステップＳ１３で周期的に制御装置２０に送信される。
　第四の実施形態では、基準値の設定処理（ステップＳ２３）において、基準値がセンサごと、および、軸ごとに設定される。例えば、加速度センサが出力したＸ，Ｙ，Ｚ軸方向の加速度、地磁気センサが出力したＸ，Ｙ，Ｚ軸方向の磁力の値がそれぞれ基準値として設定される。なお、角速度センサについては、出力値を記憶するのではなく、積分の開始タイミングが決定される。
　このように、第四の実施形態では、ステップＳ２３において、各センサの三次元空間内における姿勢を取得する。すなわち、本発明における基準位置が設定される。
　第四の実施形態では、図１１および図１２に示した処理の代わりに、図１６に示した処理が制御装置２０（制御手段２０１１）によって実行される。
　まず、ステップＳ５１で、各センサに対して基準位置が設定済みであるか否かを判定する。ここで、基準位置が設定済みでない場合（クリアされている場合を含む）、電子楽器３０が発音していない状態であるため、次の周期まで待機する。全てのセンサについて基準値が設定されている場合、ステップＳ５２で、動作条件を満たすか否かを判定する。
　ステップＳ５２では、各センサから取得したセンサデータが、遊びの範囲内にあるかを判定する。遊びの範囲は、センサの種類に応じて適宜設定すればよい。
　次に、ステップＳ５３で、複数のセンサデータを参照して、既定のジェスチャが行われたか否かを判定する。
　ここで、ジェスチャについて説明する。ここでは、（１）鍵盤楽器の演奏に用いている右手を、前腕を軸として右に９０度回転させ、（２）指が向いている方角を９０度回転させる動作を既定のジェスチャとする。例えば、右手にセンサ装置１０を装着し、手のひらを伏せ、指先が０度（北）の方角を向いた状態で基準値が設定された場合、（１）親指が上方向を向き、（２）指先が９０度（東）の方角を向いた場合に、既定のジェスチャ（払いのけるジェスチャ）がされたと判定される。なお、親指が上方向を向いたことは、加速度センサまたは角速度センサによって検出することができ、指先が９０度の方角を向いたことは、地磁気センサによって検出することができる。このように、複数のセンサが出力したセンサデータに基づいて、どのようなジェスチャが行われたかを判定することができる。なお、本ステップでは、複数のセンサデータが満たすべき条件（値）が同時に全て満たされたか否かを判定してもよいし、複数のセンサデータが所定の順番で満たされたかを判定してもよい。
既定のジェスチャが行われたと判定されると、ステップＳ５４で、当該ジェスチャに対応するＭＩＤＩメッセージを生成し、ステップＳ５５で送信する。例えば、前述したジェスチャに「エクスプレッション値を０に設定する」といったＭＩＤＩメッセージを割り当てることができる。この場合、前述したジェスチャを行うことで音量がゼロになる。
　以上説明したように、第四の実施形態によると、複数のセンサを用いてジェスチャを検出し、検出したジェスチャに基づいて制御信号を生成および送信することができる。第一の実施形態では、センサが出力した値に基づいてリアルタイムに値を変化させたが、本実施形態では、任意のジェスチャに任意の制御信号を割り当てることができるようになる。また、異なる複数のジェスチャに複数の制御信号を割り当てることが可能になる。
（変形例）
　上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
　例えば、実施形態の説明では、電子楽器３０としてシンセサイザーを例示したが、これ以外の楽器を接続してもよい。
　また、演奏操作子と音源が分離した楽器を利用してもよい。この場合、演奏操作子を含む装置からノートオン信号やノートオフ信号を受信し、音源を含む装置に対して制御信号（ＭＩＤＩメッセージ）を送信する構成としてもよい。
　また、制御信号を送信する対象の装置は、音源を内蔵した装置でなくてもよい。例えば、入力された音声に対して効果の付与を行う装置（エフェクター）等であってもよい。
　また、実施形態の説明では、ＭＩＤＩ規格におけるノートオン信号およびノートオン信号を利用したが、発音開始および発音停止を通知する信号であれば、他規格のメッセージを利用してもよい。
　また、実施形態の説明では、センサ装置１０がセンサデータの送信のみを行い、制御装置２０が、センサデータに基づいて制御信号を生成する構成としたが、この形態に限られない。例えば、センサ装置１０と制御装置２０が有する機能を一つのハードウェアに収め、奏者の手に装着できるようにしてもよい。
　また、実施形態の説明では、センサ装置１０が、装置の傾きを表す値（所定の軸方向の加速度）を取得したが、取得する情報は、傾き以外を表すものであってもよい。例えば、奏者や楽器と、センサとの相対位置、またはセンサの絶対位置を表す情報を用いてもよい。例えば、楽器とセンサとの間の距離を基準値とし、距離の差分を変位量としてもよい。
　また、実施形態の説明では、楽音パラメータとしてエクスプレッションとピッチベンドを例示したが、発音の状態を制御するためのものであれば、これ以外の楽音パラメータを制御するようにしてもよい。例えば、モジュレーション、パン、サスティン等を指定する制御信号を生成してもよい。
　１０：センサ装置
　２０：制御装置
　３０：電子楽器
　１０１：制御部
　１０２：加速度センサ
　１０３：無線送信部
　２０１，３０２：ＣＰＵ
　２０２：補助記憶装置
　２０３：主記憶装置
　２０４，３０１：無線送受信部
　３０３：ＲＯＭ
　３０４：ＲＡＭ
　３０５：演奏操作子
　３０６：ＤＳＰ
　３０７：Ｄ／Ａコンバータ
　３０８：増幅器
　３０９：スピーカ

Claims (18)

  1. 　演奏装置から、演奏操作に基づいて送信された発音開始信号を受信する受信手段と、
    　基準位置からの変位量を検出するためのセンサと、
    　前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御手段と、
    　を有し、
    　前記制御手段は、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置を設定する
    　ことを特徴とする、楽器用コントローラ。
  2. 　前記制御手段は、前記基準位置からの変位量に応じた前記制御信号を生成する
    　ことを特徴とする、請求項１に記載の楽器用コントローラ。
  3. 　前記制御手段は、前記基準位置からの変位量が所定の条件を満たした場合に前記制御信号を生成する
    　ことを特徴とする、請求項１に記載の楽器用コントローラ。
  4. 　前記発音開始信号はノートオン信号である
    　ことを特徴とする、請求項１から３のいずれかに記載の楽器用コントローラ。
  5. 　前記受信手段は、演奏操作に基づいて送信された発音停止信号をさらに受信し、
    　前記制御手段は、前記発音開始信号および発音停止信号に基づいて、無発音状態から発音状態への遷移が発生したことを判定し、当該遷移が発生した場合に、前記基準位置の設定を行う
    　ことを特徴とする、請求項１から４のいずれかに記載の楽器用コントローラ。
  6. 　前記制御手段は、前記発音開始信号および発音停止信号に基づいて、発音状態から無発音状態への遷移が発生したことを判定し、当該遷移が発生した場合に、前記基準位置を所定の値に初期化する
    　ことを特徴とする、請求項５に記載の楽器用コントローラ。
  7. 　前記発音停止信号はノートオフ信号である
    　ことを特徴とする、請求項５または６に記載の楽器用コントローラ。
  8. 　前記センサは、前記演奏装置に対して演奏操作が行われていない状態においてセンシング動作を停止する
    　ことを特徴とする、請求項１から７のいずれかに記載の楽器用コントローラ。
  9. 　前記センサは、３軸加速度センサであり、
    　前記基準位置からの変位量は、所定の姿勢からの傾斜量を表す値である
    　ことを特徴とする、請求項１から８のいずれかに記載の楽器用コントローラ。
  10. 　前記変位量は、第一の方向を回転軸とする傾斜に対応する第一の変位量と、前記第一の方向と直交する第二の方向を回転軸とする傾斜に対応する第二の変位量からなり、
    　前記制御手段は、前記第一の変位量に基づいて第一の制御信号を生成し、前記第二の変位量に基づいて第二の制御信号を生成する、
    　ことを特徴とする、請求項９に記載の楽器用コントローラ。
  11. 　前記第一の制御信号および前記第二の制御信号は、発音の状態を制御するための信号である
    　ことを特徴とする、請求項１０に記載の楽器用コントローラ。
  12. 　前記第一の制御信号はエクスプレッションを指定する信号であり、
    　前記第二の制御信号はピッチベンドを指定する信号である
    　ことを特徴とする、請求項１０または１１に記載の楽器用コントローラ。
  13. 　前記制御手段は、前記基準位置からの変位量が閾値以下である場合に、所定の値を持つ前記制御信号を生成する
    　ことを特徴とする、請求項９から１２のいずれかに記載の楽器用コントローラ。
  14. 　前記閾値は、前記基準位置が設定された際の前記傾斜量の絶対値がより大きい場合においてより小さくなる
    　ことを特徴とする、請求項１３に記載の楽器用コントローラ。
  15. 　前記演奏装置は、鍵盤を有する演奏装置であり、
    　前記センサは、指に装着するセンサである
    　ことを特徴とする、請求項１から１４のいずれかに記載の楽器用コントローラ。
  16. 　演奏装置と、コントローラと、を含み、
    　前記演奏装置は、
    　演奏操作に基づいて、前記コントローラに対して発音開始信号を送信する送信手段を有し、
    　前記コントローラは、
    　基準位置からの変位量を検出するためのセンサと、
    　前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御手段と、を有し、
    　前記制御手段は、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置を設定する
    　ことを特徴とする、電子楽器システム。
  17. 　楽器用コントローラが行う制御方法であって、
    　演奏装置から、演奏操作に基づいて送信された発音開始信号を受信する受信ステップと、
    　基準位置からの変位量を検出するための情報を取得する取得ステップと、
    　前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御ステップと、を含み、
    　前記制御ステップでは、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置の設定を行う
    　ことを特徴とする、制御方法。
  18. 　演奏装置と、コントローラと、が行う制御方法であって、
    　前記演奏装置が、演奏操作に基づいて、前記コントローラに対して発音開始信号を送信する送信ステップを実行し、
    　前記コントローラが、基準位置からの変位量を検出するための情報を取得し、前記基準位置からの変位量に基づいて制御信号を生成し、音生成装置に送信する制御ステップを実行し、
    　前記制御ステップでは、前記演奏装置から受信した前記発音開始信号に基づいて、前記基準位置の設定を行う
    　ことを特徴とする、制御方法。
     
PCT/JP2018/025602 2018-04-25 2018-07-05 楽器用コントローラおよび電子楽器システム WO2019207813A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/049,964 US11688375B2 (en) 2018-04-25 2018-07-05 Musical instrument controller, electronic musical instrument system, and control method thereof
EP18916925.3A EP3786941B1 (en) 2018-04-25 2018-07-05 Musical instrument controller and electronic musical instrument system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-084489 2018-04-25
JP2018084489A JP2021107843A (ja) 2018-04-25 2018-04-25 電子楽器システムおよび楽器用コントローラ

Publications (1)

Publication Number Publication Date
WO2019207813A1 true WO2019207813A1 (ja) 2019-10-31

Family

ID=68295227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025602 WO2019207813A1 (ja) 2018-04-25 2018-07-05 楽器用コントローラおよび電子楽器システム

Country Status (4)

Country Link
US (1) US11688375B2 (ja)
EP (1) EP3786941B1 (ja)
JP (1) JP2021107843A (ja)
WO (1) WO2019207813A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6987225B2 (ja) * 2018-04-19 2021-12-22 ローランド株式会社 電気楽器システム
JP2021107843A (ja) * 2018-04-25 2021-07-29 ローランド株式会社 電子楽器システムおよび楽器用コントローラ
JP7432347B2 (ja) * 2019-12-04 2024-02-16 ローランド株式会社 楽音制御装置、及び楽音制御方法
GB2611021B (en) * 2021-08-27 2024-06-26 Little People Big Noise Ltd Gesture-based audio syntheziser controller

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03288897A (ja) 1990-04-06 1991-12-19 Yamaha Corp ヘッドコントローラ
JPH04100097A (ja) * 1990-08-18 1992-04-02 Casio Comput Co Ltd 電子楽器
JP2011123248A (ja) * 2009-12-10 2011-06-23 Yamaha Corp 音量制御装置、楽音制御装置、再生装置及びプログラム
JP2012237866A (ja) * 2011-05-11 2012-12-06 Nintendo Co Ltd 音楽演奏プログラム、音楽演奏装置、音楽演奏システム、および音楽演奏方法
JP2014178482A (ja) * 2013-03-14 2014-09-25 Casio Comput Co Ltd 演奏システム、演奏方法及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738109B2 (ja) * 1989-03-31 1995-04-26 ヤマハ株式会社 電子楽器
US5119709A (en) * 1989-04-14 1992-06-09 Yamaha Corporation Initial touch responsive musical tone control device
US5489922A (en) * 1993-12-08 1996-02-06 Hewlett-Packard Company Hand worn remote computer mouse
JP3355743B2 (ja) * 1993-12-28 2002-12-09 ヤマハ株式会社 電子鍵盤楽器
US5949012A (en) * 1995-12-27 1999-09-07 Kabushiki Kaisha Kawai Gakki Seisakusho Electronic musical instrument and music performance information inputting apparatus capable of inputting various music performance information with simple operation
US5920024A (en) * 1996-01-02 1999-07-06 Moore; Steven Jerome Apparatus and method for coupling sound to motion
JP3646599B2 (ja) * 2000-01-11 2005-05-11 ヤマハ株式会社 演奏インターフェイス
FR2821201B1 (fr) * 2001-02-16 2003-05-02 Gilbert Javelle Dispositif pour piloter un instrument de musique electronique du type boite a sons
JP3812387B2 (ja) * 2001-09-04 2006-08-23 ヤマハ株式会社 楽音制御装置
JP2006134066A (ja) 2004-11-05 2006-05-25 Kopeck Japan:Kk ウェアラブルスイッチ
JP2006293210A (ja) 2005-04-14 2006-10-26 Sony Corp 電子機器およびデータ処理方法
JP2006337505A (ja) * 2005-05-31 2006-12-14 Sony Corp 音楽再生装置および処理制御方法
JP2007041770A (ja) 2005-08-02 2007-02-15 Nec Tokin Corp 使用者識別システム
JP4720563B2 (ja) 2006-03-22 2011-07-13 ヤマハ株式会社 楽音制御装置
JP2008122644A (ja) 2006-11-13 2008-05-29 Casio Comput Co Ltd 演奏教習システムおよび演奏教習方法
JP5099176B2 (ja) * 2010-06-15 2012-12-12 カシオ計算機株式会社 演奏装置および電子楽器
JP5029732B2 (ja) * 2010-07-09 2012-09-19 カシオ計算機株式会社 演奏装置および電子楽器
WO2013090831A2 (en) * 2011-12-14 2013-06-20 Smule, Inc. Synthetic multi-string musical instrument with score coded performance effect cues and/or chord sounding gesture capture
JP6044099B2 (ja) * 2012-04-02 2016-12-14 カシオ計算機株式会社 姿勢検出装置、方法及びプログラム
GB201315228D0 (en) * 2013-08-27 2013-10-09 Univ London Queen Mary Control methods for expressive musical performance from a keyboard or key-board-like interface
JP2017168060A (ja) 2016-03-14 2017-09-21 明久 松園 スマートインターフェースリング
JP2021107843A (ja) * 2018-04-25 2021-07-29 ローランド株式会社 電子楽器システムおよび楽器用コントローラ
WO2020100671A1 (ja) * 2018-11-15 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7307906B2 (ja) * 2019-02-01 2023-07-13 後藤ガット有限会社 楽器用調律器
WO2021033593A1 (ja) * 2019-08-22 2021-02-25 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP7480749B2 (ja) * 2021-05-21 2024-05-10 カシオ計算機株式会社 電子楽器、電子楽器の制御方法及びプログラム
CN114974185A (zh) * 2021-12-27 2022-08-30 王贺新 迷你电子键盘乐器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03288897A (ja) 1990-04-06 1991-12-19 Yamaha Corp ヘッドコントローラ
JPH04100097A (ja) * 1990-08-18 1992-04-02 Casio Comput Co Ltd 電子楽器
JP2011123248A (ja) * 2009-12-10 2011-06-23 Yamaha Corp 音量制御装置、楽音制御装置、再生装置及びプログラム
JP2012237866A (ja) * 2011-05-11 2012-12-06 Nintendo Co Ltd 音楽演奏プログラム、音楽演奏装置、音楽演奏システム、および音楽演奏方法
JP2014178482A (ja) * 2013-03-14 2014-09-25 Casio Comput Co Ltd 演奏システム、演奏方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3786941A4

Also Published As

Publication number Publication date
EP3786941A4 (en) 2022-01-19
EP3786941A1 (en) 2021-03-03
US20210241737A1 (en) 2021-08-05
EP3786941B1 (en) 2023-02-15
JP2021107843A (ja) 2021-07-29
US11688375B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
WO2019207813A1 (ja) 楽器用コントローラおよび電子楽器システム
US9207781B2 (en) Input apparatus, control system, handheld apparatus, and calibration method
US10175784B2 (en) Control device, input device, control system, handheld device, and control method
US20170220176A1 (en) Electronic device and method of controlling electronic device using grip sensing
US9154870B2 (en) Sound generation device, sound generation method and storage medium storing sound generation program
WO2019105351A1 (zh) 确定k歌分值的方法和装置
US9269340B2 (en) Modular wireless sensor network for musical instruments and user interfaces for use therewith
JP4626671B2 (ja) 入力装置及び制御システム
US20120183156A1 (en) Microphone system with a hand-held microphone
US9223405B2 (en) Apparatus and method for inputting information based on events
US20200103972A1 (en) Multi-modal haptic feedback for an electronic device using a single haptic actuator
US20080280641A1 (en) Methods and devices for generating multimedia content in response to simultaneous inputs from related portable devices
KR20090008047A (ko) 동작 및 위치를 검출하는 음성 입력장치와 노래 반주기 및이를 적용한 노래반주방법
WO2022111168A1 (zh) 视频的分类方法和装置
CN110796918A (zh) 一种训练方法、装置及移动终端
WO2017179423A1 (ja) 運動計測装置、情報処理装置及び運動計測方法
US9958902B2 (en) Input device, input method, and program
JP2010152587A (ja) 入力装置、制御システム、ハンドヘルド装置及び校正方法
KR101752320B1 (ko) 장갑 컨트롤러 시스템
JP5412812B2 (ja) 入力装置、制御装置、制御システム、及びハンドヘルド装置
US11040284B2 (en) Information processing system, storage medium having stored therein information processing program, information processing apparatus, and information processing method
JP2010160551A (ja) 入力装置および方法、並びにプログラム
US20220021962A1 (en) In-ear wireless audio monitor system with integrated interface for controlling devices
JP2019211210A (ja) 電子機器、時刻報知システムおよび時刻報知方法
KR20070039693A (ko) 음악의 제작, 편집 및 연주 기능을 구비한 이동통신 단말기및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18916925

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018916925

Country of ref document: EP

Effective date: 20201125

NENP Non-entry into the national phase

Ref country code: JP