WO2020054145A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020054145A1
WO2020054145A1 PCT/JP2019/022099 JP2019022099W WO2020054145A1 WO 2020054145 A1 WO2020054145 A1 WO 2020054145A1 JP 2019022099 W JP2019022099 W JP 2019022099W WO 2020054145 A1 WO2020054145 A1 WO 2020054145A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
feedback
information
data
processing device
Prior art date
Application number
PCT/JP2019/022099
Other languages
English (en)
French (fr)
Inventor
雄司 北澤
直樹 澁谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/250,759 priority Critical patent/US20210319715A1/en
Priority to DE112019004528.8T priority patent/DE112019004528T5/de
Publication of WO2020054145A1 publication Critical patent/WO2020054145A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/061—LED, i.e. using a light-emitting diode as indicator
    • G10H2220/066—Colour, i.e. indications with two or more different colours
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/326—Control glove or other hand or palm-attached control device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Literature 1 describes an automatic performance piano that can change the strength of keying.
  • One object of the present disclosure is to provide an information processing apparatus, an information processing method, and a program that can provide appropriate feedback to a student in a system in which lessons such as musical instruments are performed.
  • An information processing apparatus including a control unit that generates feedback information for performing feedback in accordance with information based on the strength of a keystroke of a musical instrument.
  • the present disclosure for example, An information processing method in an information processing device detachable from a human body, wherein a control unit generates feedback information for performing feedback according to information based on the strength of keying of a musical instrument.
  • a control program that causes a computer to execute an information processing method in an information processing device that is detachably attachable to a human body, in which a control unit generates feedback information for performing feedback according to information based on the strength of keying of an instrument.
  • FIG. 1 is a diagram referred to when describing an outline of an embodiment.
  • FIG. 2 is a perspective view illustrating an example of an appearance of the information processing apparatus according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of an internal configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a functional block of the control unit according to the embodiment.
  • FIG. 5 is a diagram for explaining an example of arrangement of a plurality of vibration devices included in the vibration unit according to the embodiment.
  • FIG. 6 is a diagram for explaining a processing example performed in the remote lesson system according to the first embodiment.
  • 7A and 7B are diagrams for explaining an operation example of the vibration feedback information generation unit according to the embodiment.
  • FIG. 8A shows an example of time series data based on a teacher's performance
  • FIG. 8B shows an example of time series data based on a student's performance
  • FIG. 8C shows an example of difference data.
  • FIG. 9 is a diagram illustrating an example of the difference data.
  • FIG. 10 is a flowchart illustrating a flow of a process of performing feedback based on vibration feedback information according to the first embodiment.
  • FIG. 11 is a flowchart illustrating a flow of a process of performing feedback based on difference feedback information according to the first embodiment.
  • FIG. 12 is a diagram for explaining a processing example performed in the remote lesson system according to the second embodiment.
  • FIG. 13 is a flowchart illustrating a flow of a process of performing feedback based on difference feedback information according to the second embodiment.
  • FIG. 14 is a diagram for explaining a processing example performed in the remote lesson system according to the third embodiment.
  • FIGS. 15A to 15C are diagrams referred to when describing a process of calculating a difference between acceleration data in the third embodiment.
  • FIG. 16 is a diagram illustrating an example of the difference data regarding the posture change.
  • FIG. 17 is a flowchart illustrating a flow of a process of performing feedback based on posture change feedback information according to the third embodiment.
  • a remote lesson of such an instrument has the advantages of lower cost, no need to go to the lesson site where the teacher is present, and thus saves time. Further, the student can efficiently learn the performance regarding the desired instrument without going to the lesson venue by the remote lesson. In some cases, it is possible to take lessons from renowned teachers. It is expected that the number of remote lessons of musical instruments having such various advantages will increase in the future.
  • the video chat tool for example, signal processing such as normalization, noise reduction, and gain control is performed on sound data corresponding to the performance of the teacher, so that the way that students hear sound is not constant. There can be. For this reason, the sound heard from the video chat tool is often not appropriate as a sample for learning how to apply a keystroke. Also, since the level of effort is subjective for each person, it is often difficult for students to understand even if they are explained verbally to the teacher. Such a problem can also occur when the student reviews and plays alone. As described above, the remote lesson is excellent in convenience, but has disadvantages compared to the face-to-face lesson. Embodiments of the present disclosure made in view of the above points will be described in detail below.
  • a remote lesson of a musical instrument specifically, a piano will be described as an example.
  • a remote lesson system for performing a remote lesson on a piano
  • one student S1 exists for one teacher T1, but a plurality of students S1 may exist.
  • the teacher T1 and the student S1 use information processing devices having the same configuration.
  • the information processing device used by the teacher T1 is referred to as an information processing device 2A.
  • the information processing device used by the student S1 is referred to as an information processing device 2B. Note that there may be a difference in configuration between the information processing apparatuses 2A and 2B.
  • the teacher T1 and the student S1 wear the gloves having the same configuration and play the piano.
  • the glove used by the teacher T1 is called a glove GA.
  • the glove used by the student S1 is called glove GB. Note that there may be a difference in configuration between the gloves GA and GB.
  • the glove GA has, for example, a displacement sensor provided for each finger.
  • the displacement sensor includes, for example, a strain gauge that outputs a voltage corresponding to the movement (displacement) of the finger. The same applies to the glove GB.
  • the information processing apparatuses 2A and 2B are connected via a network NT and can transmit and receive various data (in FIG. 1, the information processing apparatuses 2A and 2B are connected via the network NT). Is schematically shown).
  • Network NT assumes a wireless transmission path, but may be a wired transmission path.
  • Specific examples of the network NT include a public line network such as the Internet, various LANs (Local Area Network) including Ethernet (registered trademark), and a wide area network (WAN).
  • the network NT may be a dedicated line network such as an IP-VPN (Internet Protocol Virtual Private Network) or a short-range wireless communication network such as Bluetooth (registered trademark).
  • the teacher T1 and the student S1 may not always need to wear the information processing devices 2A and 2B and the gloves GA and GB. These will be described in individual embodiments.
  • FIG. 2 is a perspective view illustrating an example of an appearance of the information processing apparatus 2A according to the embodiment.
  • the information processing device 2A is a wearable device that is detachable from a human body.
  • the information processing apparatus 2A is, for example, a so-called neckband-type wearable device used by being worn on the neck of the user.
  • the information processing device 2A includes a housing 21A having a ring-like shape (C-shape) that is partially open.
  • C-shape ring-like shape
  • the information processing device 2A is mounted on the user such that the vicinity of the center of the housing 21A extends behind the neck of the user, in other words, the open portion is positioned in front of the user. .
  • the housing 21A has some flexibility so that the open part can be expanded, and can accommodate various neck thicknesses.
  • a microphone and a speaker as a sound collecting unit are provided at appropriate places on the housing 21A of the information processing device 2A.
  • a microphone and a speaker are provided near both ends of the housing 21A.
  • the information processing apparatus 2A according to the embodiment is capable of collecting sound with a microphone and reproducing sound with a speaker.
  • FIG. 3 is a block diagram illustrating an example of the internal configuration of the information processing device 2A.
  • the information processing apparatus 2A includes, for example, a control unit 201A, a storage unit 202A, an angular velocity sensor 203A, an acceleration sensor 204A, a geomagnetic sensor 205A, a GPS (Global Positioning System) 206A, and a speaker.
  • a control unit 201A controls the information processing apparatus 2A
  • storage unit 202A controls the information processing apparatus 2A
  • an angular velocity sensor 203A controls the information processing apparatus 2A
  • an acceleration sensor 204A controls the acceleration sensor 204A
  • a geomagnetic sensor 205A for example, a GPS (Global Positioning System) 206A.
  • GPS Global Positioning System
  • the control unit 201A is configured by, for example, a CPU (Central Processing Unit) or the like, and controls each unit of the information processing apparatus 2A. Specific examples of the functional blocks of the control unit 201A and the processing performed by the control unit 201A will be described later.
  • a CPU Central Processing Unit
  • the storage unit 202A includes a non-volatile memory in which various programs and various data are fixedly stored, and a volatile memory used as a work area of the control unit 201A.
  • the program may be read from a portable recording medium such as an optical disk or a semiconductor device, or may be downloaded from a server device on a network.
  • the angular velocity sensor 203A detects angular velocities around three axes (XYZ axes) of the information processing device 2A, and outputs information on the detected angular velocities around three axes to the control unit 201A.
  • the acceleration sensor 204A detects three-axis acceleration of the information processing device 2A, and outputs information of the detected three-axis acceleration to the control unit 201A.
  • the geomagnetic sensor 205A detects angles (azimuths) around three axes of the information processing device 2A, and outputs information on the detected angles (azimuths) to the control unit 201A.
  • the number of detection axes of each sensor is three, but the number of detection axes may be one or two.
  • the GPS 206A receives radio waves from GPS satellites, detects position information of the information processing device 2A, and outputs this position information to the control unit 201A.
  • One speaker 207A is provided at a position below an opening (not shown) provided in the housing 21A. These speakers 207A reproduce sound according to control by the control unit 201A. Although the number of the speakers 207A is two, the number of the speakers 207A is not particularly limited.
  • the communication unit 208A performs wireless or wired communication with another device.
  • the communication unit 208A has an antenna, a modulation / demodulation circuit, and the like according to the communication method.
  • the microphone 209A collects sounds around the information processing device 2A. For example, the performance sound of the piano of the teacher T1 is collected.
  • the sound data of the collected performance sound (hereinafter, appropriately referred to as performance data) is supplied to the control unit 201A.
  • the vibration unit 210A is a device that is housed inside the housing 21A and vibrates under the control of the control unit 201A.
  • the information processing device 2A is configured to be able to acquire the output of the displacement sensor included in the glove GA.
  • the information processing device 2A is connected to the globe GA by wire or wirelessly, and the output of the displacement sensor is supplied to the information processing device 2A via communication.
  • FIG. 4 is a diagram illustrating an example of a functional block of the control unit 201A.
  • the control unit 201A according to the embodiment has, as functional blocks, for example, a vibration feedback information generation unit 221A, a difference calculation unit 222A, a difference feedback information generation unit 223A, and a feedback control unit 224A. Specific operation examples of the vibration feedback information generation unit, the difference calculation unit, the difference feedback information generation unit, and the feedback control unit will be described later.
  • the control unit 201A has a configuration for executing an appropriate function such as A / D (Analog to Digital) conversion in addition to the above-described functional blocks.
  • a / D Analog to Digital
  • the vibration unit 210A has, for example, a plurality of vibration devices.
  • the vibration device is configured by, for example, an actuator that is displaced according to an applied voltage.
  • FIG. 5 is a diagram illustrating an example of the arrangement of a plurality of vibration devices included in the vibration unit 210A.
  • the vibration unit 210A has, for example, a plurality of vibration devices arranged corresponding to the arrangement of the fingers. More specifically, the vibration unit 210A has ten vibration devices (vibration devices 210Aa, 210Ab, 210Ac... 210Aj) corresponding to ten fingers.
  • the vibration devices 210Aa, 210Ab, 210Ac,... 210Aj are sequentially arranged from the left side to the right side of the housing 21A.
  • Each vibrating device corresponds to a finger.
  • the vibration device 210Aa corresponds to the little finger of the left hand.
  • the vibration device 210Ab corresponds to the ring finger of the left hand.
  • other vibration devices correspond to a predetermined finger. Since the position of the finger and the arrangement direction of the vibration device correspond to each other, it is possible for the user to easily understand which finger corresponds to which vibration when the vibration device vibrates.
  • the information processing device 2B has the same configuration in the embodiment.
  • the reference code which replaced "A" with "B” in the reference code attached to the structure of the information processing apparatus 2A is attached.
  • the control unit of the information processing device 2A is the control unit 201A
  • the control unit of the information processing device 2B is the control unit 201B.
  • the performance data PD and the sensor data SD1 are supplied to the communication unit 208A.
  • the communication unit 208A operates according to the control of the control unit 201A, and the performance data PD and the sensor data SD1 are transmitted to the system of the student S1 by operating the communication unit 208A.
  • the sensor data SD1 is transmitted via the information processing device 2A, but the sensor data SD1 is transmitted to the student S1 side system by a device different from the information processing device 2A. Is also good.
  • the performance data PD and the sensor data SD1 transmitted from the system on the teacher T1 side are received by the communication unit 208B of the information processing device 2B on the student S1 side.
  • the performance data PD is supplied to the speaker 207B after being D / A (Digital to Analog) by the control unit 201B, and is reproduced from the speaker 207B.
  • the performance data PD may be stored in the storage unit 202B, and can be reproduced at an appropriate timing (for example, when the student S1 reviews the piano performance alone).
  • the sensor data SD1 received by the communication unit 208B is supplied to the vibration feedback information generation unit 221B of the control unit 201B.
  • the vibration feedback information generation unit 221B generates vibration feedback information for performing feedback by vibration based on information based on the keying of the musical instrument.
  • the information based on the keying of the musical instrument includes information indicating the strength of keying of the musical instrument.
  • vibration feedback information generation unit 221B An operation example of the vibration feedback information generation unit 221B will be described with reference to FIGS. 7A and 7B.
  • the operation example of the vibration feedback information generation unit 221B described below can be applied to the vibration feedback information generation unit 221A.
  • the strength of the keystroke of the musical instrument is set to the speed of the finger struck to produce a sound.
  • the displacement data based on the strength of the key stroke of each finger on the teacher T1 side is converted into vibration data.
  • the sensor data SD1 which is the value of the displacement sensor of the glove GA, is arranged in time series and differentiated, treated as a value representing the speed of the finger, and the time series data is obtained (see FIG. 7A).
  • the time-series data representing the speed of the finger corresponds to an example of information indicating the strength of keying of the musical instrument.
  • the time series data of the magnitude of the vibration is generated from the time series data of the obtained speed (see FIG. 7B).
  • the speed and the magnitude of the vibration are, for example, in a proportional relationship, and are normalized based on the approximate maximum value of the speed and the vibration maximum value due to the limitation of the vibration device of the vibration unit 210B.
  • the vibration feedback information generation unit 221B performs these processes for each finger (10 fingers) to generate time-series data of the magnitude of vibration corresponding to each finger. This time-series data corresponds to an example of the vibration feedback information.
  • the vibration feedback information is supplied to the feedback control unit 224B.
  • the feedback control unit 224B performs necessary control so that feedback based on the vibration feedback information is performed. Specifically, the feedback control unit 224B drives and vibrates an appropriate vibration device of the vibration unit 210B based on the vibration feedback information. For example, when the vibration feedback information indicates a vibration of a predetermined magnitude of the little finger of the right hand, the feedback control unit 224B transmits a voltage of a predetermined magnitude to the vibration device so that the vibration has the magnitude indicated by the vibration feedback information. 210Bj. Thereby, the vibration device 210Bj vibrates at the strength indicated by the vibration feedback information.
  • the student S1 acquires performance data PD and sensor data SD1 from the system on the teacher T1 side.
  • the student S1 instructs the reproduction of the performance data PD at an appropriate timing with the information processing device 2B mounted.
  • the control unit 201B of the information processing device 2B worn by the student S1 performs a reproduction process of the performance data PD and a process of vibrating the vibration unit 210B.
  • the performance sound of the teacher T1 is reproduced from the speaker 207B in accordance with the reproduction processing of the performance data PD, and the appropriate vibration device vibrates. This vibration is transmitted to the body of the student S1 wearing the information processing device 2B.
  • the student S1 can not only hear the performance sound of the teacher T1, but also recognize (feel) the finger used by the teacher T1 and the strength of the keying when the sound is hit.
  • the strength of a keystroke that is difficult to understand only with sound is fed back by vibration, so that the student S1 can understand the appropriate strength of the keystroke.
  • a sound effect proportional to the magnitude of the vibration may be reproduced together with the vibration.
  • the student S1 wears the glove GB and plays the piano. During the performance, the student S1 may or may not be wearing the information processing device 2B.
  • the sensor data SD2 which is the output of the displacement sensor of the glove GB and is generated by A / D conversion by the control unit 201B, is transmitted to the control unit 201B of the information processing device 2B, more specifically, to the difference calculation unit 222B. Is entered. Further, the sensor data SD1 received via the communication unit 208B is also input to the difference calculation unit 222B.
  • the difference calculator 222B converts the sensor data SD1 into speed data.
  • the conversion method is the same as the above-described method.
  • the values of the sensor data SD1 are arranged in time series and differentiated, and the time series data is obtained as the speed.
  • Time-series data at this speed is referred to as time-series data TD1.
  • the strength of the keystroke of the musical instrument is set to the speed of the finger struck to produce a sound. Therefore, the time-series data TD1 of the finger speed is based on the strength of the keystroke of the musical instrument. This corresponds to an example of the first data.
  • FIG. 8A schematically illustrates a specific example of the time-series data TD1 (for example, time-series data related to the speed of keying of the little finger of the left hand).
  • the difference calculator 222B converts the sensor data SD2 into speed data.
  • the conversion method is the same as the method performed for the sensor data SD1 described above.
  • the values of the sensor data SD2 are arranged in time series and differentiated, and the time series data is obtained as the speed.
  • Time-series data at this speed is referred to as time-series data TD2.
  • the strength of the keystroke of the musical instrument is set to the speed of the finger struck to produce a sound, so that the time-series data TD2 of the finger speed is different from the first data.
  • FIG. 8B schematically shows a specific example of the time-series data TD2 (for example, time-series data relating to the speed of tapping of the little finger of the left hand).
  • the difference calculation unit 222B compares the time-series data TD1 and the time-series data TD2, and when the teacher T1 and the student S1 are typing with the same finger at substantially the same speed within a certain period of time, the difference between the teacher T1 and the student S1. It is considered that the student S1 is tapping at the same speed, that is, the same strength, and it is determined that the keying strength of the student S1 is appropriate. For example, in the case of the time series data TD1 and TD2 shown in FIGS.
  • the difference calculation unit 222B determines that the timing deviation is within a predetermined threshold tht (
  • the difference calculation unit 222B continuously performs the above-described processing, and obtains information based on the strength of keying of the musical instrument, specifically, difference data DD which is time-series data of a place where keying is not performed at the same speed. Generate.
  • the difference calculator 222B outputs the generated difference data DD to the difference feedback information generator 223B.
  • the difference feedback information generation unit 223B generates difference feedback information for performing feedback according to the difference, that is, the difference data DD.
  • the difference data DD indicates that a pulse is output when the difference between the time-series data TD1 and TD2 is equal to or greater than a certain value.
  • the greater the number of pulses in the difference data DD for all fingers the greater the difference in keying strength between the teacher T1 and the student S1, and the greater the number of student mistakes in keying strength.
  • the smaller the number of pulses in the difference data DD for all the fingers the smaller the difference in keying strength between the teacher T1 and the student S1 and the less student mistakes in keying strength.
  • the difference feedback information generation unit 223B outputs difference feedback information according to the number of pulses, in other words, the number of mistakes on the student side, and the output timing of the pulses. Then, the feedback control unit 224B performs control for performing specific feedback indicated in the difference feedback information. In the present embodiment, feedback by at least one of reproduction and vibration of a message (TTS (Text to Speech)) is performed according to the difference feedback information.
  • TTS Text to Speech
  • feedback is performed in the following manner.
  • the system of the student S1 acquires the performance data PD and the sensor data SD1 in the system of the teacher T1.
  • the student S1 plays the piano once.
  • the difference calculation section 222B and the difference feedback information generation section 223B operate as described above to generate difference feedback information.
  • the difference feedback information generation unit 223B may determine the content of the feedback according to the number of times the difference exceeds the threshold, and generate difference feedback information corresponding to the determined content of the feedback.
  • the feedback control unit 224B generates and reproduces a predetermined message according to the difference feedback information. For example, when the number of pulses in the difference data DD is equal to or less than the threshold, the difference feedback information generation unit 223B generates and reproduces a compliment message such as “You're good, well done” after the end of the song. Generate difference feedback information.
  • the difference feedback information generation unit 223B outputs the words “Let's practice more” or “Let's do our best” Generate difference feedback information for generating and playing an encouraging message such as "Let's do our best”.
  • the feedback control unit 224B performs control for performing feedback according to the difference feedback information (for example, the above-described message generation and playback processing).
  • the difference feedback information generation unit 223B generates difference feedback information for causing the vibration unit 210B to vibrate with a predetermined strength after the end of the music.
  • the difference feedback information generation unit 223B generates difference feedback information such that the vibration unit 210B vibrates more strongly as the number of pulses increases, that is, as the number of errors increases.
  • the feedback control unit 224B performs control for causing the vibration unit 210B to vibrate at the strength indicated by the difference feedback information.
  • the timing of the vibration is set so that the vibration of the vibrating section 210B based on the above-described vibration feedback information and the vibration of the vibrating section 210B based on the difference feedback information are not mixed. Are appropriately set so as not to overlap.
  • a threshold (threshold tht or threshold thv) for generating the difference data DD may be dynamically changed according to the performance level. For example, when the performance level has improved, the threshold value tht or the threshold value thv may be reduced to increase the difficulty level. Further, the threshold (number of times) of the number of pulses in the difference data DD may be dynamically changeable.
  • the performance is based on the strength of the appropriate keying, but if the number of mistakes is 3 or less, the appropriate keying is performed.
  • the performance may be determined based on the strength.
  • a threshold for generating the difference data DD and a threshold for the number of pulses in the difference data DD may be set by the information processing device 2A in the system on the teacher T1 side. Then, the settings made in the information processing device 2A on the teacher T1 side may be supplied to the information processing device 2A on the student S1 side and used.
  • the differential feedback information generation unit 223B may generate, for example, a differential feedback for generating and reproducing a message that gives more praise. Information may be generated.
  • the connection between the system on the teacher T1 side and the system on the student S1 side enables data and commands to be transmitted and received between the two systems, and the remote lesson system 1 is constructed.
  • the remote lesson system 1 a conversation similar to the conversation performed during the face-to-face lesson such as "Let's start a piano lesson now" is made.
  • the conversation made by the teacher T1 is picked up by the information processing device 2A and reproduced by the information processing device 2B on the student S1 side.
  • the conversation made by the student S1 is picked up by the information processing device 2B and reproduced by the information processing device 2A on the teacher T1 side.
  • the teacher T1 performs a sample piano performance with the information processing device 2A and the glove GA mounted, for example.
  • Performance sound accompanying the piano performance of teacher T1 is collected by microphone 209A, and performance data PD is generated (step ST11).
  • the displacement sensor of the glove GA outputs the sensor data SD1, and the sensor data SD1 is acquired by the information processing device 2A (step ST12).
  • the processing of steps ST11 and ST12 is processing performed in parallel with the performance of the teacher T1.
  • the performance data PD and the sensor data SD1 are transmitted to the information processing device 2B via the communication unit 208A, and received by the communication unit 208B.
  • the performance data PD is converted into analog data by the control unit 201B, then amplified as appropriate, and reproduced from the speaker 207B (step ST13).
  • the sensor data SD1 received by the communication unit 208B is supplied to the vibration feedback information generation unit 221B.
  • the vibration feedback information generation unit 221B arranges and differentiates the sensor data SD1 of each finger in time series to generate time series data of the magnitude of vibration (step ST14).
  • the feedback control unit 224B causes the corresponding vibration device of the vibration unit 210B to vibrate based on the time-series data D1 indicating the magnitude of the vibration (step ST15).
  • the strength of the keystroke of the teacher T1 is reproduced on the student S1 side.
  • the student S1 can experience the strength of the keying of the teacher T1.
  • the control unit 201B determines whether or not the music (the performance of the teacher T1) has ended (step ST16). For example, if there is no input of the performance data PD for a certain period, the control unit 201B determines that the music has ended. If the song has not ended, the process returns to steps ST11 and ST12. If the song has ended, the process ends.
  • the performance sound corresponding to the performance data PD is reproduced in real time with the transmission of the performance data PD and the sensor data SD1 from the information processing device 2A, and the vibration based on the sensor data SD1 is generated by the student.
  • the performance data PD and the sensor data SD1 may be temporarily stored in the storage unit 202B. Then, at an appropriate timing (for example, a timing instructed by the teacher T1 or a review of the student S1), the performance data PD and the sensor data SD1 are read from the storage unit 202B, and the performance sound corresponding to the performance data PD is stored.
  • the reproduced vibration may be fed back to the student S1 based on the sensor data SD1.
  • the student S1 plays the piano in accordance with the instruction of the teacher T1, such as "Please play now.”
  • the student S1 plays the piano, for example, with the glove GB and the information processing device 2B mounted.
  • the displacement sensor of the glove GB outputs sensor data SD2 of each finger according to the movement of the finger of the student S1 accompanying the performance of the piano.
  • the sensor data SD2 is obtained by the information processing device 2B (step ST21).
  • the control unit 201B determines whether or not the music (the performance of the student S1) has ended (step ST22). The control unit 201B determines that the music has ended, for example, when there is no input of performance data accompanying the performance of the student S1 for a certain period. If the song has not ended, the process returns to step ST21. If the song has ended, the process proceeds to step ST23.
  • the difference between the strength of the keystroke in the performance of the student S1 and the reference is calculated by the difference calculator 222B (step ST23). Specifically, the difference calculation unit 222B calculates a difference between the data obtained by arranging the sensor data SD1 of each finger as reference data in time series and differentiated, and the data obtained by arranging the sensor data SD2 of each finger in time series and differentiated. By doing so, the difference data DD is generated. The difference calculator 222B outputs the difference data DD to the difference feedback information generator 223B.
  • the difference feedback information generation unit 223B generates difference feedback information based on the difference data DD (step ST24). Then, based on the generated difference feedback information, the feedback control unit 224B performs feedback to the student S1 (step ST25). As described above, the feedback based on the difference feedback information is performed by reproduction or vibration of the message.
  • the strength of the keystroke can be fed back to the user (for example, a student in a remote lesson system) by vibration. Therefore, the user can recognize the appropriate keystroke strength. Further, it is possible to perform feedback according to a difference which is a result of comparing the strength of the teacher's tapping with the strength of the student's tapping. Therefore, the user (for example, a student) can recognize whether or not his / her keystroke strength is appropriate.
  • FIG. 12 is a diagram for explaining an example of processing performed in the remote lesson system (remote lesson system 1A) according to the second embodiment.
  • the second embodiment for example, when the teacher T1 and the student S1 play the piano at substantially the same time, difference feedback information is generated in real time, and feedback based on the difference feedback information is performed in real time.
  • the performance performed substantially simultaneously means that the transmission delay and the delay of the processing performed by the information processing devices 2A and 2B are appropriately corrected, and the teacher T1 and the student S1 are perceived as playing simultaneously at the same time.
  • the timing shift means a performance less than or equal to a predetermined value.
  • the feedback based on the differential feedback information is performed by at least one of a message and a vibration.
  • feedback is provided by a message and vibration. Therefore, as shown in FIG. 12, in the present embodiment, the feedback based on the vibration feedback information is not performed so that the vibration based on the vibration feedback information and the vibration based on the difference feedback information are not mixed.
  • the feedback based on the vibration feedback information may be performed.
  • the teacher T1 and the student S1 play the piano in response to the instruction of the teacher T1, such as "Let's play together.”
  • the teacher T1 plays a piano, for example, with the glove GA and the information processing device 2A mounted.
  • the student S1 plays the piano, for example, with the glove GB and the information processing device 2B mounted.
  • the displacement sensor of the glove GA outputs the sensor data SD1 of each finger according to the finger movement of the teacher T1 (in this example, the reference side) accompanying the piano performance.
  • the sensor data SD1 is obtained by the information processing device 2A (step ST31).
  • the sensor data SD1 is transmitted to the information processing device 2B by the communication unit 208A of the information processing device 2A.
  • the sensor data SD1 is supplied to the control unit 201B after being received by the communication unit 208B of the information processing device 2B.
  • the displacement sensor of the glove GB outputs sensor data SD2 of each finger according to the movement of the finger of the student S1 accompanying the piano performance.
  • the sensor data SD2 is obtained by the information processing device 2B (step ST32).
  • the difference calculator 222B calculates the difference between the strength of the keystroke in the performance of the teacher T1 and the strength of the keystroke in the performance of the student S1 (step ST33). Specifically, the difference calculation unit 222B calculates a difference between data obtained by arranging the sensor data SD1 of each finger as reference data in a time series and differentiated, and data obtained by arranging the sensor data SD2 of each finger in a time series and differentiated. I do.
  • the vibration device corresponding to the finger on which the key is made provides feedback that vibrates shortly and weakly. , Etc., is generated.
  • the vibration device corresponding to the finger on which the key is made provides feedback that vibrates shortly and strongly, and “here is more.
  • Difference feedback information for reproducing a message such as "weakly" is generated. Feedback based on the difference feedback information is performed by the feedback control unit 224B.
  • the control unit 201B determines whether or not the music (the performance of the teacher T1 and the student S1) has ended (step ST36). The control unit 201B determines that the music has ended, for example, when there is no input of performance data for a certain period. If the song has not ended, the process returns to steps ST31 and ST32. If the song has ended, the process ends.
  • the third embodiment In general, when playing a musical instrument, the more advanced, the richer the performance sound is made by playing the instrument using the whole body, not just the movement of playing the instrument. .
  • the movement of the whole body is also referred to as glue, and in a performance contest or the like, the movement of the whole body may be an evaluation target.
  • Information processing apparatuses 2A and 2B according to the embodiment have acceleration sensors 204A and 204B. Therefore, in the third embodiment, the acceleration sensors 204A and 204B are used as a posture change detection unit that detects a change in the posture of the player, and for example, the change in the posture of the teacher T1 and the change in the posture of the student S1 during the performance. , And performs feedback according to the difference. This allows the student S1 to recognize not only the strength of the keystroke but also the appropriate body movement during the performance.
  • the third embodiment will be described in detail.
  • FIG. 14 is a diagram for describing an example of processing performed in the remote lesson system (remote lesson system 1B) according to the third embodiment. The following description focuses on the differences from the above-described embodiment.
  • a change in posture when the teacher T1 plays the piano is detected by the acceleration sensor 204A.
  • the control unit 201A converts the sensor data output from the acceleration sensor 204A into digital data, thereby generating acceleration data AD1.
  • the acceleration data AD1 is transmitted to the information processing device 2B via the communication unit 208A.
  • the acceleration data AD1 is received by the communication unit 208B of the information processing device 2B, and is supplied to the control unit 201B.
  • the change in posture when the student S1 plays the piano is detected by the acceleration sensor 204B.
  • the control unit 201B converts the sensor data output from the acceleration sensor 204B into digital data, thereby generating acceleration data AD2.
  • the acceleration data AD1 and AD2 are input to the difference calculator 222B of the controller 201B.
  • the difference calculator 222B calculates the difference between the acceleration data AD1 and AD2.
  • FIG. 15A schematically shows acceleration data AD1 acquired on the teacher T1 side.
  • FIG. 15B schematically shows acceleration data AD2 acquired on the student S1 side.
  • Acceleration is treated as a representative value representing a change in body posture, and a difference between the acceleration data AD1 and AD2 on the teacher T1 side and the acceleration data AD2 on the student S1 side is compared with a reference (in this example, change in body posture of the teacher).
  • acceleration data of the three axes in time series can be represented by the following equation 1.
  • the time series data ⁇ of the magnitude of the vector is obtained by the following equation 2. Note that the time series data of the magnitude of the vector on the teacher T1 side is ⁇ 1, and the time series data of the magnitude of the vector on the student S1 side is ⁇ 2.
  • the difference calculation unit 222B compares the time-series data ⁇ 1 and the time-series data ⁇ 2, finds that the timing difference is within a predetermined threshold tht (
  • tht a predetermined threshold
  • the teacher T1 and the student S1 are almost equal.
  • ⁇ th ⁇ it is considered that the teacher T1 and the student S1 are performing with the same posture change, that is, the same body movement, and the body of the student S1 at the time of performance is considered. Is determined to be appropriate.
  • the difference data DD1 corresponds to an example of information based on a posture change accompanying the performance of the musical instrument.
  • the difference calculator 222B outputs the generated difference data DD1 to the difference feedback information generator 223B.
  • the difference feedback information generation unit 223B generates posture change feedback information for performing feedback according to the difference, that is, the difference data DD1.
  • the difference data DD1 indicates that a pulse is output.
  • the smaller the number of pulses in the difference data DD1 the smaller the difference in posture change, and the student S1 is playing the piano with an appropriate posture change.
  • the difference feedback information generation unit 223B outputs posture change feedback information according to the number of pulses, the timing of pulse generation, and the like.
  • the posture change feedback information includes the content of the feedback and the timing at which the feedback is performed.
  • the feedback control unit 224B performs feedback based on the posture change feedback information using a TTS or the like.
  • feedback is performed in the following manner. After the performance by the student S1, feedback according to the posture change feedback information is provided. For example, the performance by the student S1 is recorded, and the recorded performance is reproduced, and the feedback according to the posture change feedback information is performed.
  • a message corresponding to the number of pulses in the difference data DD1 may be reproduced.
  • the feedback control unit 224B reproduces a compliment such as “You played well because you did well”.
  • the feedback control unit 224B reproduces words of encouragement such as “Let's work together”.
  • the feedback based on the posture change feedback information may be made by vibration.
  • vibration For example, when the number of pulses is equal to or less than the threshold value, feedback is performed in such a manner that the vibration of the vibration device continuously changes from one end to the other end. If the number of pulses is larger than the threshold, feedback is provided in a manner in which all the vibration devices vibrate.
  • a threshold value or the like may be set so that the difficulty level changes according to the student's level.
  • the student S1 plays the piano in accordance with the instruction of the teacher T1, such as "Please play now.”
  • the student S1 plays the piano, for example, with the glove GB and the information processing device 2B mounted.
  • the acceleration sensor 204B outputs acceleration data according to the movement of the body of the student S1 accompanying the performance of the piano. This acceleration data is converted into digital data by the control unit 201B, and acceleration data AD2 is generated (step ST41).
  • the control unit 201B determines whether or not the music (the performance of the student S1) has ended (step ST42). The control unit 201B determines that the music has ended, for example, when there is no input of performance data for a certain period. If the song has not ended, the process returns to step ST41. If the song has ended, the process proceeds to step ST43.
  • the difference between the posture change and the reference during the performance of the student S1 is calculated by the difference calculation unit 222B (step ST43). Specifically, the difference calculation unit 222B generates difference data DD1 by calculating a difference between the time series data ⁇ 1 based on the acceleration data AD1 and the time series data ⁇ 2 based on the acceleration data AD2. The difference calculator 222B outputs the difference data DD1 to the difference feedback information generator 223B.
  • the difference feedback information generation unit 223B generates posture change feedback information based on the difference data DD1 (step ST44). Then, based on the generated posture change feedback information, the feedback control unit 224B performs feedback to the student S1 (step ST45). As described above, the feedback based on the posture change feedback information is performed by reproduction of a message, vibration, or the like.
  • the information processing device on the student side calculates the difference, but the present invention is not limited to this.
  • the difference may be calculated by a smart phone of the student or a server device existing on the cloud.
  • a configuration in which the control unit of the information processing device does not include the difference calculation unit may be used.
  • the configuration of the information processing apparatus is not limited to the configuration illustrated in the embodiment, and can be appropriately changed.
  • the embodiments described above can be combined as appropriate.
  • the content to be fed back may be set as a mode. For example, when a predetermined mode is set, feedback is performed according to the difference in keystroke strength, and when another mode is set, feedback is performed according to a difference in posture change. May be.
  • the present invention is not limited to this.
  • the device is not necessarily limited to the information processing device described in the embodiment as long as the device can transmit performance data and sensor data to the information processing device on the student side.
  • feedback by display may be made.
  • the display is performed using, for example, a display provided on the piano.
  • a display may be provided in the information processing device described in the embodiment.
  • a light emitting unit such as an LED (Light Emitting Diode) is provided in the information processing apparatus described in the embodiment, and feedback is performed by light emission (one mode of display) in which the light emission color or light emission intensity of the light emission unit is changed. You may do it.
  • the LED may emit green light when the keystroke intensity in the student performance is appropriate, and may emit red light when the keystroke intensity in the student performance is not appropriate.
  • the feedback control based on the vibration feedback information and the difference feedback information generated by the control unit of the information processing device is performed by a device different from the information processing device (for example, a smartphone capable of performing short-range wireless communication of the information processing device, Game equipment).
  • reference data that is, various data obtained by the teacher's system is transmitted via the network
  • data for example, sensor data SD1
  • data obtained by the system on the teacher side
  • a recording medium examples include a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device.
  • the recording medium may be an accessory such as a book.
  • a recording medium may be attached to a book on a music lesson.
  • data obtained by the system on the teacher side may be made downloadable from a predetermined server device.
  • only the user who has performed the processing such as charging may be able to download the above data, or the above data is prepared for each of a plurality of teachers, and the user can selectively download the data of the desired teacher. You may be able to.
  • the performance data and the sensor data may be transmitted separately.
  • an example in which the movement (speed) of the finger is acquired by the displacement sensor included in the glove has been described.
  • other than the displacement sensor included in the glove may be used.
  • the movement of the finger may be obtained.
  • An example of such an apparatus is a camera that captures the movement of a finger.
  • the camera may be provided in the information processing device. Further, the camera provided in the information processing apparatus may be configured to be movable by a mechanism such as a hinge so as to be able to capture the movement of a finger.
  • the remote lesson system may be performed while the student watches video information on the teacher's state, specifically, video information on the teacher's performance and posture. Then, feedback of vibration or the like may be performed while the student watches the video information.
  • the remote lesson system may be performed while the teacher watches the video information on the state of the student.
  • the exchange of video information in the remote lesson system may be performed using a known video chat tool, or a dedicated video chat tool or system suitable for the present technology may be constructed and then used to perform the exchange. May be. By using the video information, the situation of the partner, for example, the student can be visually confirmed by the teacher, so that a more effective remote lesson can be performed.
  • the shape of the information processing device described in the embodiment is not limited to a ring shape (neckband type). Other shapes, for example, a belt type, a watch type, etc. may be used.
  • a musical instrument whose tone can change depending on the strength of the performance operation (keystroke or breathing), such as a drum or a guitar, may be used.
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, and the like.
  • a program that performs the function described in the above-described embodiment can be downloaded, and a device that does not have the function described in the embodiment downloads and installs the program. Control can be performed.
  • the present disclosure can also be realized by a server that distributes such a program.
  • the items described in each of the embodiments and the modified examples can be appropriately combined.
  • the present disclosure may have the following configurations. (1) It is removable to the human body, An information processing apparatus having a control unit that generates feedback information for performing feedback according to information based on the strength of a keystroke of a musical instrument. (2) The information based on the strength of the key of the musical instrument is information indicating a difference between first data based on the strength of the key of the musical instrument and second data different from the first data and based on the strength of the key of the musical instrument. Including The information processing device according to (1), wherein the control unit generates difference feedback information for performing feedback according to the difference. (3) The information processing device according to (2), wherein the control unit calculates a difference between the first data and the second data.
  • the first data is obtained based on the strength of keying of the first musical instrument when the first musical instrument is played, and the second data based on the strength of keying of the second musical instrument when playing the second musical instrument. Is obtained, The information processing apparatus according to (3), wherein the control unit calculates the difference in real time as the performance of the first instrument and the second instrument performed substantially simultaneously. (5) The information processing device according to (2), wherein the control unit determines the content of the feedback according to the number of times the difference exceeds a threshold. (6) The information processing apparatus according to (5), wherein at least one of the threshold and the number of times is changeable. (7) The information processing device according to any one of (2) to (6), wherein the control unit performs control for performing feedback according to the difference feedback information.
  • the information processing apparatus according to (7), wherein feedback is provided by at least one of reproduction, vibration, and display of the message.
  • the information processing apparatus according to any one of (2) to (8), wherein the first data is supplied via a recording medium.
  • the information based on the strength of the key of the musical instrument includes information indicating the strength of the key of the musical instrument,
  • the information processing device according to any one of (1) to (10), wherein the control unit generates vibration feedback information for performing feedback by vibration based on information indicating the strength of keying of the musical instrument.
  • the information processing apparatus according to (11), further including a vibration unit that vibrates based on the vibration feedback information.
  • the information processing apparatus (13) The information processing apparatus according to (12), wherein the vibration unit includes a plurality of vibration devices arranged corresponding to an arrangement of fingers. (14) The information processing device according to any one of (1) to (13), wherein the control unit generates posture change feedback information that performs feedback according to information based on a posture change accompanying performance of a musical instrument. (15) The information processing device according to (14), further comprising a posture change detection unit that detects a posture change accompanying performance of the musical instrument. (16) The information processing apparatus according to any one of (1) to (15), having a neckband shape. (17) The information processing apparatus according to any one of (1) to (16), including a sound collection unit. (18) The information processing apparatus according to any one of (1) to (17), including a speaker.
  • An information processing method in an information processing apparatus detachable from a human body wherein a control unit generates feedback information for performing feedback according to information based on the strength of a keystroke of an instrument.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

人体に着脱可能とされ、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する情報処理装置である。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　打鍵の強弱を変更できる楽器が知られている。例えば、下記の特許文献１には、打鍵の強弱を変更できる自動演奏ピアノが記載されている。
特開２０１１－２２５９９号公報
　例えば特許文献１に記載の楽器の演奏に関して、プロや上級者から生徒がレッスンを受ける際には、生徒に対して適切なフィードバックがなされることが望まれる。
　本開示は、楽器等のレッスンが行われるシステムにおいて、生徒に対して適切なフィードバックを行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　人体に着脱可能とされ、
　楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する
　情報処理装置である。
　本開示は、例えば、
　制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
　人体に着脱可能とされる情報処理装置における情報処理方法である。
　本開示は、例えば、
　制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
　人体に着脱可能とされる情報処理装置における情報処理方法を、コンピュータに実行させるプログラムである。
図１は、実施の形態の概要を説明する際に参照される図である。 図２は、実施の形態に係る情報処理装置の外観例を示す斜視図である。 図３は、実施の形態に係る情報処理装置の内部構成例を示すブロック図である。 図４は、実施の形態に係る制御部の機能ブロックの一例を示す図である。 図５は、実施の形態に係る振動部が有する複数の振動デバイスの配置例を説明するための図である。 図６は、第１の実施の形態に係る遠隔レッスンシステムで行われる処理例を説明するための図である。 図７Ａ及び図７Ｂは、実施の形態に係る振動フィードバック情報生成部の動作例を説明するための図である。 図８Ａは先生の演奏に基づく時系列データの一例を示し、図８Ｂは生徒の演奏に基づく時系列データの一例を示し、図８Ｃは相違データの一例を示す図である。 図９は、相違データの一例を示す図である。 図１０は、第１の実施の形態に係る、振動フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。 図１１は、第１の実施の形態に係る、差分フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。 図１２は、第２の実施の形態に係る遠隔レッスンシステムで行われる処理例を説明するための図である。 図１３は、第２の実施の形態に係る、差分フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。 図１４は、第３の実施の形態に係る遠隔レッスンシステムで行われる処理例を説明するための図である。 図１５Ａから図１５Ｃは、第３の実施の形態において、加速度データの差分を算出する処理を説明する際に参照される図である。 図１６は、姿勢変化に関する相違データの一例を示す図である。 図１７は、第３の実施の形態に係る、姿勢変化フィードバック情報に基づくフィードバックがなされる処理の流れを示すフローチャートである。
　以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜背景＞
＜第１の実施の形態＞
＜第２の実施の形態＞
＜第３の実施の形態＞
＜変形例＞
　以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
＜背景＞
　始めに、本開示の背景について説明する。近年、インターネットの高速化、ビデオチャットツールの高画質化、高音質化、スマートホン等のデバイスの普及に伴って、ビデオチャットツールを用いた、遠隔レッスンが普及してきている。遠隔レッスンの内容は、初期には英会話がほとんどであったが、近年は英会話のみならず、例えば、楽器のレッスンも行われるようになってきている。楽器の種類も、ピアノなどの鍵盤楽器だけでなく、ギターなどの弦楽器、フルートなどの管楽器に至るまで、様々な楽器の遠隔レッスンが行われるようになっている。
　係る楽器の遠隔レッスンは、先生と生徒が顔を合わせてレッスンを行う対面レッスンに比べて、費用が安く、且つ、先生の居るレッスン会場へ通うが必要なく、時間が節約できるという利点がある。また、生徒は、遠隔レッスンにより、所望の楽器に関する演奏をレッスン会場に通うこと無く効率的に習得することができる。場合によっては、著名な先生のレッスンを受けることも可能になる。このような様々な利点を有する楽器の遠隔レッスンは、今後も増加していくことが予想される。
　ところで、楽器の遠隔レッスンの際には、ヘッドホンやイヤホンを用いて先生の指示を聞き、ディスプレイやスクリーンに映し出される先生の弾き方を真似して、演奏の練習を進めていく。また、生徒が、一人で演奏を復習する際には、先生の演奏の録音を聞いたり、指示を思い出したりしながら演奏の練習を進めていく。
　ピアノに代表される打鍵を伴う楽器を弾くことを練習する際には、適切な指の力の入れ具合（強弱の付け方）を習得することが重要である。音の強弱がそのまま曲の表情となるからである。強弱の付け方が適切であることが、曲への表情付けの上手さにつながる。通常の対面レッスン時には、先生に指を直接ガイドしてもらったり、先生の指を間近で注意深く見たりするなどして、どの指でどれくらいの力の入れ具合で打鍵しているのかを習得する。
　一方で、遠隔レッスンにおいては、生徒から見て、先生が行っている打鍵の強弱がわかりにくく、打鍵の強弱の習得がしづらいという問題がある。生徒は遠隔地にいるために、当然ながら先生に直接指をガイドして強弱を教えてもらうことはできないし、間近で先生の手をみることもできない。従って、先生が演奏した際の演奏音の大小を聞いたり、先生の口頭の説明を聞いたりして、打鍵の強弱を習得しなければならない。
　しかしながら、ビデオチャットツールでは、例えば、先生の演奏に対応する音データに対して、ノーマライズやノイズリダクション、ゲインコントロール等の信号処理が施されるため、生徒にとっての音の聞こえ方は一定ではないことがあり得る。このため、ビデオチャットツールから聞こえてくる音は打鍵の強弱の付け方を習得するための見本としては適切でない場合が多い。また、力の入れ具合は人それぞれの主観的なものなので、先生に口頭で説明されても生徒にとってはわかりにくいことが多々ある。係る問題は、生徒が一人で復習を行い演奏する際にも、同様に生じ得る。このように遠隔レッスンは、利便性に優れる反面、対面レッスンと比較して欠点も存在する。以上の点に鑑みてなされた本開示の実施の形態について、以下、詳細に説明する。
＜第１の実施の形態＞
［概要］
　始めに、図１を参照して実施の形態の概要について説明する。実施の形態では、楽器、具体的にはピアノの遠隔レッスンを例にして説明する。図１に示すように、ピアノの遠隔レッスンを行う遠隔レッスンシステム（遠隔レッスンシステム１）では、先生一人に対して少なくとも一人の生徒が存在する。図１に示される例では、一人の先生Ｔ１に対して一人の生徒Ｓ１が存在しているが、複数の生徒Ｓ１が存在しても良い。
　遠隔レッスンシステム１では、先生Ｔ１及び生徒Ｓ１が同一の構成を有する情報処理装置を使用する。先生Ｔ１が使用する情報処理装置を情報処理装置２Ａと称する。生徒Ｓ１が使用する情報処理装置を情報処理装置２Ｂと称する。なお、情報処理装置２Ａ、２Ｂとの間に構成上の差異があっても構わない。
　また、遠隔レッスンシステム１では、先生Ｔ１及び生徒Ｓ１が同一の構成を有するグローブを装着してピアノを演奏する。先生Ｔ１が使用するグローブをグローブＧＡと称する。生徒Ｓ１が使用するグローブをグローブＧＢと称する。なお、グローブＧＡ、ＧＢとの間に構成上の差異があっても構わない。
　グローブＧＡは、例えば、指毎に設けられた変位センサを有している。変位センサは、例えば、指の動き（変位）に応じた電圧を出力する歪ゲージ等により構成されている。グローブＧＢについても同様である。
　情報処理装置２Ａ、２Ｂは、ネットワークＮＴを介して接続されており、種々のデータの送受信が可能とされている（なお、図１では、情報処理装置２Ａ、２ＢがネットワークＮＴを介して接続されている様子が模式的に示されている。）。実施の形態に係るネットワークＮＴは、無線の伝送路を想定しているが有線の伝送路であっても構わない。ネットワークＮＴとしては、具体的には、インターネットなどの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などが挙げられる。また、ネットワークＮＴは、ＩＰ－ＶＰＮ（Internet Protocol Virtual Private Network）などの専用回線網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信網であっても良い。
　なお、実施の形態の内容によっては、先生Ｔ１や生徒Ｓ１が、情報処理装置２Ａ、２ＢやグローブＧＡ、ＧＢを必ずしも装着しなくて良い場合もあり得る。これらについては、個々の実施の形態の中で説明する。
［情報処理装置］
（情報処理装置の外観例）
　次に、実施の形態に係る情報処理装置について説明する。図２は、実施の形態に係る情報処理装置２Ａの外観例を示す斜視図である。情報処理装置２Ａは、人体に着脱自在とされるウェアラブルデバイスである。情報処理装置２Ａは、例えば、ユーザの首に装着されて使用される所謂ネックバンド型のウェアラブルデバイスである。具体的には、情報処理装置２Ａは、一部が開放されたリング状の形状（Ｃ字形状）を有する筐体２１Ａを備えている。情報処理装置２Ａは、筐体２１Ａの中央付近がユーザの首部の後方にかかるように、換言すれば、開放されている部分がユーザの前方に位置する状態となるように、ユーザに装着される。筐体２１Ａは、開放箇所が拡開できるように若干の可撓性を有しており、様々な首の太さに対応できるようになっている。
　情報処理装置２Ａの筐体２１Ａの適宜な箇所には、収音部としてのマイクロホン及びスピーカが設けられている。例えば、筐体２１Ａの両端部付近に、マイクロホン及びスピーカが設けられている。実施の形態に係る情報処理装置２Ａは、マイクロホンにより収音可能とされており、また、スピーカにより音の再生が可能とされている。
（情報処理装置の内部構成例）
　図３は、情報処理装置２Ａの内部構成例を示すブロック図である。図３に示すように、情報処理装置２Ａは、例えば、制御部２０１Ａと、記憶部２０２Ａと、角速度センサ２０３Ａと、加速度センサ２０４Ａと、地磁気センサ２０５Ａと、ＧＰＳ（Global Positioning System）２０６Ａと、スピーカ２０７Ａと、通信部２０８Ａと、マイクロホン２０９Ａと、振動部２１０Ａとを有している。
　制御部２０１Ａは、例えば、ＣＰＵ（Central Processing Unit）などにより構成されており、情報処理装置２Ａの各部を統括的に制御する。制御部２０１Ａが有する機能ブロック及び制御部２０１Ａにより行われる処理の具体例については、後述する。
　記憶部２０２Ａは、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリと、制御部２０１Ａの作業領域として用いられる揮発性のメモリとを含む。上記プログラムは、光ディスクや、半導体デバイスなどの可搬性の記録媒体から読み取られても良いし、ネットワーク上のサーバ装置からダウンロードされても良い。
　角速度センサ２０３Ａは、情報処理装置２Ａの３軸（ＸＹＺ軸）回りの角速度を検出し、検出した３軸回りの角速度の情報を制御部２０１Ａに出力する。加速度センサ２０４Ａは、情報処理装置２Ａの３軸方向の加速度を検出し、検出した３軸方向の加速度の情報を制御部２０１Ａに出力する。地磁気センサ２０５Ａは、情報処理装置２Ａの３軸回りの角度（方位）を検出し、検出した角度（方位）の情報を制御部２０１Ａに出力する。本実施の形態では、各センサの検出軸が３軸とされているが、この検出軸は、１軸、あるいは、２軸であっても良い。
　ＧＰＳ２０６Ａは、ＧＰＳ衛星からの電波を受信して、情報処理装置２Ａの位置情報を検出し、この位置情報を制御部２０１Ａに出力する。
　スピーカ２０７Ａは、筐体２１Ａに設けられた開口部（不図示）の下側の位置にそれぞれ１つずつ設けられている。これらのスピーカ２０７Ａは、制御部２０１Ａによる制御に応じて音を再生する。なお、スピーカ２０７Ａの数が２つとされているが、スピーカ２０７Ａの数については特に限定されることはない。
　通信部２０８Ａは、他の機器との間で、無線又は有線により通信を行う。通信部２０８Ａは、通信方式に応じたアンテナ、変復調回路等を有している。
　マイクロホン２０９Ａは、情報処理装置２Ａの周囲の音を収音する。例えば、先生Ｔ１のピアノの演奏音を収音する。収音された演奏音の音データ（以下、演奏データと適宜、称する）が制御部２０１Ａに供給される。
　振動部２１０Ａは、筐体２１Ａの内部に収納され、制御部２０１Ａの制御に応じて振動するデバイスである。
　なお、実施の形態では、情報処理装置２Ａが、グローブＧＡが有する変位センサの出力を取得できるように構成されている。例えば、情報処理装置２ＡがグローブＧＡと有線又は無線により接続されており、通信を介して変位センサの出力が情報処理装置２Ａに供給されるように構成されている。
（制御部の機能ブロック）
　図４は、制御部２０１Ａの機能ブロックの一例を示す図である。実施の形態に係る制御部２０１Ａは、機能ブロックとして例えば、振動フィードバック情報生成部２２１Ａと、差分算出部２２２Ａと、差分フィードバック情報生成部２２３Ａと、フィードバック制御部２２４Ａとを有している。振動フィードバック情報生成部、差分算出部、差分フィードバック情報生成部及びフィードバック制御部の具体的な動作例については後述する。なお、制御部２０１Ａは、上述した機能ブロック以外にもＡ／Ｄ(Analog to Digital)変換等の適宜な機能を実行する構成を有している。
（振動部）
　ここで振動部２１０Ａの具体例について説明する。振動部２１０Ａは、例えば、複数の振動デバイスを有している。振動デバイスは、例えば、印加電圧に応じて変位するアクチュエータ等により構成される。図５は、振動部２１０Ａが有する複数の振動デバイスの配置例を説明するための図である。振動部２１０Ａは、例えば、指の配列に対応して配置された複数の振動デバイスを有している。より具体的には、振動部２１０Ａは、１０本の指に応じた１０個の振動デバイス（振動デバイス２１０Ａａ、２１０Ａｂ、２１０Ａｃ・・・２１０Ａｊ）を有している。図５に示すように、情報処理装置２Ａの装着状態において、筐体２１Ａの左側から右側に向かって振動デバイス２１０Ａａ、２１０Ａｂ、２１０Ａｃ・・・２１０Ａｊが順に配置されている。
　個々の振動デバイスが指に対応している。例えば、振動デバイス２１０Ａａは、左手の小指に対応している。また、振動デバイス２１０Ａｂは、左手の薬指に対応している。同様に、他の振動デバイスも所定の指に対応している。指の位置と振動デバイスの配置方向とが対応していることにより、振動デバイスが振動した際にどの指に対応する振動であるのかをユーザがわかりやすいようにすることができる。
　以上、情報処理装置２Ａの構成例について説明したが、実施の形態では、情報処理装置２Ｂも同様の構成を有している。なお、情報処理装置２Ｂの構成については、情報処理装置２Ａの構成に付した参照符号における「Ａ」を「Ｂ」に置き換えた参照符号を付す。例えば、情報処理装置２Ａが有する制御部は、制御部２０１Ａであるのに対して、情報処理装置２Ｂが有する制御部は、制御部２０１Ｂとなる。
［遠隔レッスンシステムで行われる処理例］
　次に、図６から図９までを参照して、第１の実施の形態に係る遠隔レッスンシステム１で行われる処理例について説明する。
（先生側のシステムにおける処理例）
　始めに、先生Ｔ１側のシステムで行われる処理例について説明する。図６に示すように、先生Ｔ１側のシステムにおいて、先生Ｔ１がピアノを演奏する。ピアノの演奏音がマイクロホン２０９Ａにより収音され、収音された音データが例えば制御部２０１ＡによりＡ／Ｄ変換されることで演奏データＰＤが生成される。一方、演奏の進行に伴ってグローブＧＡが有する変位センサからセンサデータが出力され、係るセンサ出力が情報処理装置２Ａに供給される。そして、センサデータが情報処理装置２Ａの制御部２０１ＡによりＡ／Ｄ変換されることでセンサデータＳＤ１が生成される。
　演奏データＰＤ及びセンサデータＳＤ１が通信部２０８Ａに供給される。制御部２０１Ａの制御に応じて通信部２０８Ａが動作し、通信部２０８Ａが動作することにより演奏データＰＤ及びセンサデータＳＤ１が生徒Ｓ１側のシステムに送信される。なお、本実施の形態では、センサデータＳＤ１が情報処理装置２Ａを介して送信されているが、情報処理装置２Ａとは異なる装置によりセンサデータＳＤ１が生徒Ｓ１側のシステムに送信されるようにしても良い。
（生徒側のシステムにおける処理例）
　次に、生徒Ｓ１側のシステムにおける処理例について説明する。生徒Ｓ１側の情報処理装置２Ｂの通信部２０８Ｂにより、先生Ｔ１側のシステムから送信された演奏データＰＤ及びセンサデータＳＤ１が受信される。受信されたデータのうち、演奏データＰＤが制御部２０１ＢによりＤ／Ａ(Digital to Analog)された後にスピーカ２０７Ｂに供給され、スピーカ２０７Ｂから再生される。なお、演奏データＰＤは、記憶部２０２Ｂに記憶されても良く、適宜なタイミング（例えば、生徒Ｓ１が一人でピアノの演奏を復習するとき）に再生することも可能である。
　一方、通信部２０８Ｂにより受信されたセンサデータＳＤ１は、制御部２０１Ｂの振動フィードバック情報生成部２２１Ｂに供給される。振動フィードバック情報生成部２２１Ｂは、楽器の打鍵に基づく情報に基づいて、振動によるフィードバックを行う振動フィードバック情報を生成する。ここでの楽器の打鍵に基づく情報は、楽器の打鍵の強弱を示す情報を含む。
　振動フィードバック情報生成部２２１Ｂの動作例について、図７Ａ及び図７Ｂを参照して説明する。なお、以下説明する振動フィードバック情報生成部２２１Ｂの動作例は、振動フィードバック情報生成部２２１Ａにも適用することができる。
　実施の形態では、楽器の打鍵の強弱を、音を出すために打鍵した指の速さとしている。図７Ａ及び図７Ｂに示すように、先生Ｔ１側のそれぞれの指の打鍵の強弱による変位データを振動データに変換する。まず、グローブＧＡが有する変位センサの値であるセンサデータＳＤ１を時系列に並べて微分し、指の速さを表す値として扱い、その時系列データを求める（図７Ａ参照）。指の速さを表す時系列のデータが、楽器の打鍵の強弱を示す情報の一例に対応する。求めた速さの時系列データから、振動の大きさの時系列データを生成する（図７Ｂ参照）。速さと振動の大きさは、例えば比例の関係とし、速さの取り得るおおよその最大値と振動部２１０Ｂの振動デバイスの制限からくる振動最大値を基に正規化する。振動フィードバック情報生成部２２１Ｂは、これらの処理を各指（１０本）の分、行うことにより、各指に対応する振動の大きさの時系列データを生成する。この時系列データが、振動フィードバック情報の一例に対応する。振動フィードバック情報がフィードバック制御部２２４Ｂに供給される。
　フィードバック制御部２２４Ｂは、振動フィードバック情報に基づくフィードバックが行われるように、必要な制御を行う。具体的には、フィードバック制御部２２４Ｂは、振動フィードバック情報に基づいて振動部２１０Ｂの適宜な振動デバイスを駆動し振動させる。例えば、振動フィードバック情報により、右手小指の所定の大きさの振動が示される場合は、フィードバック制御部２２４Ｂは、振動フィードバック情報で示される振動の大きさとなるように所定の大きさの電圧を振動デバイス２１０Ｂｊに印加する。これにより振動デバイス２１０Ｂｊが、振動フィードバック情報で示された強さで振動する。
　上述した処理により、例えば、以下の遠隔レッスンの態様を実現することができる。生徒Ｓ１は、先生Ｔ１側のシステムから演奏データＰＤ及びセンサデータＳＤ１を取得する。生徒Ｓ１は、情報処理装置２Ｂを装着した状態で、適宜なタイミングで演奏データＰＤの再生を指示する。再生指示に応じて、生徒Ｓ１が装着している情報処理装置２Ｂの制御部２０１Ｂが、演奏データＰＤの再生処理及び振動部２１０Ｂを振動させる処理を行う。
　演奏データＰＤの再生処理に応じてスピーカ２０７Ｂから先生Ｔ１の演奏音が再生されると共に、適宜な振動デバイスが振動する。この振動が情報処理装置２Ｂを装着している生徒Ｓ１の体に伝達される。これにより、生徒Ｓ１は、先生Ｔ１の演奏音を聴取できるのに加え、音を打鍵した際に先生Ｔ１が使用した指及びその打鍵の強さを認識（体感）することができる。従来、音のみでは理解しづらかった打鍵の強さが振動によりフィードバックされるので、生徒Ｓ１は適切な打鍵の強弱を理解することができる。なお、振動とともに、振動の大きさに比例するような効果音が再生されるようにしても良い。
　このように、生徒Ｓ１は適切な打鍵の強弱を認識することができるものの、実際に自身が演奏した際の打鍵の強弱が適切であるのか否かが認識しづらい。そこで、本実施の形態では、更に、実際に自身が演奏した際の打鍵の強弱が適切であるか否かに関するフィードバックがなされるようにしている。以下、この点について説明する。
　例えば、図６の生徒Ｓ１側のシステムに示すように、生徒Ｓ１がグローブＧＢを装着してピアノを演奏する。なお、演奏の際、生徒Ｓ１は、情報処理装置２Ｂを装着していても良いし、装着していなくても良い。グローブＧＢが有する変位センサの出力であり、制御部２０１ＢによりＡ／Ｄ変換されることで生成されたセンサデータＳＤ２が情報処理装置２Ｂの制御部２０１Ｂ、より具体的には、差分算出部２２２Ｂに入力される。また、通信部２０８Ｂを介して受信されたセンサデータＳＤ１も差分算出部２２２Ｂに入力される。
　図８Ａ～図８Ｃを参照して、差分算出部２２２Ｂの動作例について説明する。差分算出部２２２Ｂは、センサデータＳＤ１を速さのデータに変換する。変換方法は上述した方法と同様であり、センサデータＳＤ１の値を時系列に並べて微分し、速さとしてその時系列データを求める。この速さの時系列データを時系列データＴＤ１と称する。上述したように、実施の形態では、楽器の打鍵の強弱を、音を出すために打鍵した指の速さとしていることから指の速さの時系列データＴＤ１が、楽器の打鍵の強弱に基づく第１のデータの一例に対応する。時系列データＴＤ１の具体例（例えば、左手小指の打鍵の速さに関する時系列データ）が図８Ａに模式的に示されている。
　また、差分算出部２２２Ｂは、センサデータＳＤ２を速さのデータに変換する。変換方法は、上述したセンサデータＳＤ１に対して行った方法と同様であり、センサデータＳＤ２の値を時系列に並べて微分し、速さとしてその時系列データを求める。この速さの時系列データを時系列データＴＤ２と称する。上述したように、実施の形態では、楽器の打鍵の強弱を、音を出すために打鍵した指の速さとしていることから指の速さの時系列データＴＤ２が、第１のデータとは異なる、楽器の打鍵の強弱に基づく第２のデータの一例に対応する。時系列データＴＤ２の具体例（例えば、左手小指の打鍵の速さに関する時系列データ）が図８Ｂに模式的に示されている。
　差分算出部２２２Ｂは、時系列データＴＤ１と時系列データＴＤ２とを比較し、ある一定時間内に先生Ｔ１と生徒Ｓ１とが同じ指でほぼ同じ速さで打鍵している場合に、先生Ｔ１と生徒Ｓ１とが同じ速さ、即ち同じ強さで打鍵しているとみなし、生徒Ｓ１の打鍵の強さが適切であると判断する。例えば、図８Ａ及び図８Ｂにより示される時系列データＴＤ１、ＴＤ２の場合は、差分算出部２２２Ｂは、タイミングのずれが所定の閾値ｔｈｔ内（｜ｔ１－ｔ２｜＜ｔｈｔ）であり、且つ、先生Ｔ１と生徒Ｓ１が同じ指で、閾値ｔｈｖ内でほぼ同じ速さで打鍵している（｜ｖ１－ｖ２｜＜ｔｈｖ）場合に、先生Ｔ１と生徒Ｓ１とが同じ速さで打鍵しているとみなし、生徒Ｓ１の打鍵の強さが適切であると判断する。
　差分算出部２２２Ｂは、上述した処理を連続的に行い、楽器の打鍵の強弱に基づく情報、具体的には、打鍵が同じ速さで行われていない箇所の時系列データである相違データＤＤを生成する。相違データＤＤは、全ての指の分だけ生成される。例えば、差分算出部２２２Ｂは、図８Ｃに示すように、同じ速さでの打鍵でないとき、具体的には、生徒Ｓ１のほうが先生Ｔ１より指の速度が大きい時はｄ＝１、生徒Ｓ１のほうが先生Ｔ１より指の速度が小さい時にはｄ＝－１、それ以外の時はｄ＝０として、相違データＤＤを生成する。差分算出部２２２Ｂは、生成した相違データＤＤを差分フィードバック情報生成部２２３Ｂに出力する。
　差分フィードバック情報生成部２２３Ｂは、差分即ち相違データＤＤに応じたフィードバックを行う差分フィードバック情報を生成する。図９に示すように、時系列データＴＤ１、ＴＤ２の違いが一定以上の場合にパルスが出力されることが相違データＤＤにより示される。全ての指に関する相違データＤＤにおけるパルスの回数が多いほど、先生Ｔ１と生徒Ｓ１とにおける打鍵の強弱の相違が多いことになり、打鍵の強弱に関する生徒のミスが多いことになる。反対に、全ての指に関する相違データＤＤにおけるパルスの回数が少ないほど、先生Ｔ１と生徒Ｓ１とにおける打鍵の強弱の相違が少ないことになり、打鍵の強弱に関する生徒のミスが少ないことになる。
　差分フィードバック情報生成部２２３Ｂは、パルスの回数、換言すれば、生徒側のミスの回数や、パルスの出力タイミングに応じた差分フィードバック情報を出力する。そして、フィードバック制御部２２４Ｂが、差分フィードバック情報に示された具体的なフィードバックを行うための制御を実行する。本実施の形態では、差分フィードバック情報に応じてメッセージ（ＴＴＳ(Text to Speech)）の再生及び振動の少なくとも一方によるフィードバックがなされる。
　例えば、以下のような態様でフィードバックがなされる。
　生徒Ｓ１側のシステムで、先生Ｔ１側のシステムにおける演奏データＰＤ及びセンサデータＳＤ１を取得する。生徒Ｓ１は、一度、ピアノを演奏する。このとき、差分算出部２２２Ｂ及び差分フィードバック情報生成部２２３Ｂが上述したように動作することで、差分フィードバック情報が生成される。
　生徒Ｓ１による演奏の終了後、フィードバック制御部２２４Ｂによる差分フィードバック情報に応じたフィードバックがなされる。差分フィードバック情報には、例えば、メッセージの内容及び当該メッセージの再生タイミングが規定されている。具体例としては、生徒Ｓ１による演奏を録音しておき、その後、録音した演奏を再生する。差分フィードバック情報に示される内容に応じてフィードバック制御部２２４Ｂは、例えば、再生中の演奏の進行において、相違データＤＤによりｄ＝－１が出力されたタイミングで「最初から数えて５秒目あたりをもう少し力強く弾いてみましょう。」等のメッセージを生成し、当該メッセージをスピーカ２０７Ｂから再生する制御を行う。
　差分フィードバック情報生成部２２３Ｂは、差分が閾値を超えた回数に応じてフィードバックの内容を決定し、決定したフィードバックの内容に対応する差分フィードバック情報を生成しても良い。差分フィードバック情報に応じてフィードバック制御部２２４Ｂは、所定のメッセージを生成し再生する制御を行う。例えば、相違データＤＤにおけるパルスの回数が閾値以下の場合は、差分フィードバック情報生成部２２３Ｂは、曲の終了後に「上手ですね、よく頑張りましたね」のような褒めるメッセージを生成及び再生するための差分フィードバック情報を生成する。また、例えば、相違データＤＤにおけるパルスの回数が閾値より多い場合は、差分フィードバック情報生成部２２３Ｂは、曲の終了後に「もっと練習しましょう」との言葉や「今度は頑張りましょうね」「一緒に頑張りましょう」のような励ましのメッセージを生成及び再生するための差分フィードバック情報を生成する。フィードバック制御部２２４Ｂは、差分フィードバック情報に応じたフィードバックを行うための制御（例えば、上述したメッセージの生成及び再生処理）を行う。
　差分フィードバック情報に応じて振動によるフィードバックが行われるようにしても良い。例えば、相違データＤＤにおけるパルスの回数に応じて、差分フィードバック情報生成部２２３Ｂは、曲の終了後に振動部２１０Ｂが所定の強さで振動するための差分フィードバック情報を生成する。例えば、パルスの回数が多いほど、即ち、間違いが多いほど振動部２１０Ｂが強く振動するような差分フィードバック情報を、差分フィードバック情報生成部２２３Ｂが生成する。差分フィードバック情報に応じて、フィードバック制御部２２４Ｂは、差分フィードバック情報で示された強さで振動部２１０Ｂを振動させる制御を行う。
　なお、差分フィードバック情報に応じて振動部２１０Ｂを振動させる場合には、上述した振動フィードバック情報に基づく振動部２１０Ｂの振動と差分フィードバック情報に基づく振動部２１０Ｂの振動とが混在しないように振動のタイミング等が重複しないように適宜設定される。
　なお、レッスンに応じて生徒Ｓ１の演奏レベルが上達する場合もあり得る。反対に、レッスンを怠ることにより生徒Ｓ１の演奏レベルが下がる場合もあり得る。そこで、相違データＤＤを生成する際の閾値（閾値ｔｈｔや閾値ｔｈｖ）を演奏レベルに応じて動的に変更できるようにしても良い。例えば、演奏レベルが上達した場合には、閾値ｔｈｔや閾値ｔｈｖを小さくして難度を上げるようにしても良い。また、相違データＤＤにおけるパルスの回数に対する閾値（回数）を動的に変更可能としても良い。例えば、パルスの回数、即ち、ミスの回数が５回以下で有る場合に適切な打鍵の強弱に基づく演奏と判断されていたものが、ミスの回数が３回以下で有る場合に適切な打鍵の強弱に基づく演奏と判断されるようにしても良い。相違データＤＤを生成する際の閾値や、相違データＤＤにおけるパルスの回数に対する閾値の設定が、先生Ｔ１側のシステムにおける情報処理装置２Ａでできるようにしても良い。そして、先生Ｔ１側の情報処理装置２Ａにおいてなされた設定が、生徒Ｓ１側の情報処理装置２Ａに供給されて用いられるようにしても良い。更に、難度が高く設定されている場合に適切な打鍵の強弱による演奏がなされた場合には、差分フィードバック情報生成部２２３Ｂが、例えば、より多く褒めるようなメッセージを生成及び再生するための差分フィードバック情報を生成しても良い。
［処理の流れ］
　次に、遠隔レッスンシステム１において行われる処理の流れについて説明する。始めに、図１０のフローチャートを参照して、振動フィードバック情報に基づくフィードバックがなされる処理の流れについて説明する。
　処理の前提として、先生Ｔ１側のシステムと生徒Ｓ１側のシステムとが接続されることで両システム間におけるデータ、コマンド等の送受信が可能となり、遠隔レッスンシステム１が構築されている。遠隔レッスンシステム１では「さぁ、これからピアノのレッスンを始めましょう」等の対面レッスン時になされる会話と同様の会話がなされる。先生Ｔ１が発した会話は情報処理装置２Ａで収音され、生徒Ｓ１側の情報処理装置２Ｂで再生される。一方、生徒Ｓ１が発した会話は情報処理装置２Ｂで収音され、先生Ｔ１側の情報処理装置２Ａで再生される。
　始めに、先生Ｔ１が、例えば情報処理装置２Ａ及びグローブＧＡを装着した状態で、見本のピアノ演奏を行う。先生Ｔ１のピアノ演奏に伴う演奏音がマイクロホン２０９Ａにより収音され、演奏データＰＤが生成される（ステップＳＴ１１）。また、演奏に伴う先生Ｔ１の指の動きに応じて、グローブＧＡが有する変位センサがセンサデータＳＤ１を出力し、センサデータＳＤ１が情報処理装置２Ａにより取得される（ステップＳＴ１２）。ステップＳＴ１１、ＳＴ１２の処理は、先生Ｔ１の演奏に伴って並列的に行われる処理である。
　演奏データＰＤ及びセンサデータＳＤ１が、通信部２０８Ａを介して情報処理装置２Ｂに送信され、通信部２０８Ｂにより受信される。演奏データＰＤは、制御部２０１Ｂによりアナログデータに変換された後、適宜増幅されてスピーカ２０７Ｂから再生される（ステップＳＴ１３）。
　通信部２０８Ｂで受信されたセンサデータＳＤ１は、振動フィードバック情報生成部２２１Ｂに供給される。振動フィードバック情報生成部２２１Ｂは、各指のセンサデータＳＤ１を時系列に並べて微分し、振動の大きさの時系列データを生成する（ステップＳＴ１４）。そして、フィードバック制御部２２４Ｂが、振動の大きさを示す時系列データＤ１に基づいて、対応する振動部２１０Ｂの振動デバイスを振動させる（ステップＳＴ１５）。これにより、先生Ｔ１の打鍵の強弱が生徒Ｓ１側で再現される。情報処理装置２Ｂを利用することにより、先生Ｔ１の打鍵の強弱を生徒Ｓ１が体感することができる。
　そして、曲（先生Ｔ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ１６）。制御部２０１Ｂは、例えば、一定期間、演奏データＰＤの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ１１、ＳＴ１２に戻る。曲が終了した場合には、処理が終了する。
　なお、上述した処理は、情報処理装置２Ａから演奏データＰＤ及びセンサデータＳＤ１が送信されることに伴って、演奏データＰＤに対応する演奏音がリアルタイムに再生され、センサデータＳＤ１に基づく振動が生徒Ｓ１にリアルタイムにフィードバックされる例を説明したが、これに限定されるものではない。演奏データＰＤ及びセンサデータＳＤ１が一旦、記憶部２０２Ｂに記憶されても良い。そして、適宜なタイミング（例えば、先生Ｔ１から指示されたタイミングや、生徒Ｓ１の復習時）に、演奏データＰＤ及びセンサデータＳＤ１が記憶部２０２Ｂから読み出され、演奏データＰＤに対応する演奏音が再生され、センサデータＳＤ１に基づく振動が生徒Ｓ１にフィードバックされるようにしても良い。
　次に、図１１のフローチャートを参照して、差分フィードバック情報に基づくフィードバックがなされる処理の流れについて説明する。なお、前提として、センサデータＳＤ１が既に情報処理装置２Ｂに送信されているものとして説明する。
　例えば先生Ｔ１の「それでは、演奏してください。」等の指示に応じて、生徒Ｓ１がピアノを演奏する。生徒Ｓ１は、例えば、グローブＧＢ及び情報処理装置２Ｂを装着した状態でピアノを演奏する。ピアノの演奏に伴う生徒Ｓ１の指の動きに応じて、グローブＧＢが有する変位センサが、各指のセンサデータＳＤ２を出力する。センサデータＳＤ２が情報処理装置２Ｂにより取得される（ステップＳＴ２１）。
　そして、曲（生徒Ｓ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ２２）。制御部２０１Ｂは、例えば、一定期間、生徒Ｓ１の演奏に伴う演奏データの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ２１に戻る。曲が終了した場合には、処理がステップＳＴ２３に進む。
　生徒Ｓ１の演奏が終了した後、生徒Ｓ１の演奏における打鍵の強弱とリファレンスとの差分が、差分算出部２２２Ｂにより算出される（ステップＳＴ２３）。具体的には、差分算出部２２２Ｂは、リファレンスデータとしての各指のセンサデータＳＤ１を時系列に並べて微分したデータと、各指のセンサデータＳＤ２を時系列に並べて微分したデータとの差分を演算することにより、相違データＤＤを生成する。差分算出部２２２Ｂは、相違データＤＤを差分フィードバック情報生成部２２３Ｂに出力する
　差分フィードバック情報生成部２２３Ｂは、相違データＤＤに基づいて、差分フィードバック情報を生成する（ステップＳＴ２４）。そして、生成された差分フィードバック情報に基づいて、フィードバック制御部２２４Ｂが、生徒Ｓ１に対するフィードバックを行う（ステップＳＴ２５）。上述したように、差分フィードバック情報に基づくフィードバックは、メッセージの再生や振動等によりなされる。
［効果の一例］
　以上説明した第１の実施の形態によれば、打鍵の強弱を振動によりユーザ（例えば、遠隔レッスンシステムにおける生徒）にフィードバックすることができる。従って、当該ユーザは、適切な打鍵の強さを認識することができる。
　また、先生の打鍵の強弱と生徒の打鍵の強弱とを比較した結果である差分に応じたフィードバックを行うことができる。従って、ユーザ（例えば、生徒）は、自身の打鍵の強さが適切であるか否かを認識することができる。
＜第２の実施の形態＞
　次に、第２の実施の形態について説明する。なお、特に断らない限り、第１の実施の形態で説明した事項は、第２の実施の形態に対しても適用することができる。また、第２の実施の形態において、第１の実施の形態で説明した事項と同一若しくは同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。
　図１２は、第２の実施の形態に係る遠隔レッスンシステム（遠隔レッスンシステム１Ａ）で行われる処理例を説明するための図である。第２の実施の形態では、例えば、略同時になされる先生Ｔ１と生徒Ｓ１とのピアノ演奏時に、リアルタイムに差分フィードバック情報が生成され、リアルタイムに差分フィードバック情報に基づくフィードバックがなされる。なお、略同時になされる演奏とは、伝送遅延や情報処理装置２Ａ、２Ｂで行われる処理の遅延等が適切に補正され、先生Ｔ１及び生徒Ｓ１が聴感的に同時に演奏しているように聞こえる、タイミングのずれが所定以下の演奏を意味する。
　上述したように、差分フィードバック情報に基づくフィードバックは、メッセージ及び振動の少なくとも一方によりなされる。本実施の形態では、メッセージ及び振動によりフィードバックがなされる。従って、図１２に示すように、振動フィードバック情報による振動と差分フィードバック情報に基づく振動とが混在しないように、本実施の形態では、振動フィードバック情報によるフィードバックがなされないように構成されている。勿論、生徒Ｓ１が一人でピアノの演奏の復習を行う際等に、第１の実施の形態で説明したように、振動フィードバック情報によるフィードバックが行われるようにしても良い。
［処理の流れ］
　次に、図１３のフローチャートを参照して、第２の実施の形態に係る、差分フィードバック情報に基づくフィードバックがなされる処理の流れについて説明する。なお、先生Ｔ１及び生徒Ｓ１が略同時に行うピアノの演奏音は、情報処理装置２Ａ、２Ｂのマイクロホン２０９Ａ、２０９Ｂで収音され、相手の情報処理装置に送信される。そして、相手のピアノの演奏音は情報処理装置２Ａ、２Ｂのスピーカ２０７Ａ、２０７Ｂからそれぞれ再生される。
　例えば先生Ｔ１の「それでは、一緒に演奏しましょう。」等の指示に応じて、先生Ｔ１及び生徒Ｓ１がピアノを演奏する。先生Ｔ１は、例えば、グローブＧＡ及び情報処理装置２Ａを装着した状態でピアノを演奏する。また、生徒Ｓ１は、例えば、グローブＧＢ及び情報処理装置２Ｂを装着した状態でピアノを演奏する。
　ピアノ演奏に伴う先生Ｔ１（本例ではリファレンス側）の指の動きに応じて、グローブＧＡが有する変位センサが、各指のセンサデータＳＤ１を出力する。センサデータＳＤ１が情報処理装置２Ａにより取得される（ステップＳＴ３１）。センサデータＳＤ１は、情報処理装置２Ａの通信部２０８Ａにより情報処理装置２Ｂに送信される。センサデータＳＤ１は、情報処理装置２Ｂの通信部２０８Ｂにより受信された後、制御部２０１Ｂに供給される。
　また、ピアノ演奏に伴う生徒Ｓ１の指の動きに応じて、グローブＧＢが有する変位センサが、各指のセンサデータＳＤ２を出力する。センサデータＳＤ２が情報処理装置２Ｂにより取得される（ステップＳＴ３２）。
　差分算出部２２２Ｂは、先生Ｔ１の演奏における打鍵の強弱と生徒Ｓ１の演奏における打鍵の強弱との差分を算出する（ステップＳＴ３３）。具体的には、差分算出部２２２Ｂは、リファレンスデータとしての各指のセンサデータＳＤ１を時系列に並べて微分したデータと、各指のセンサデータＳＤ２を時系列に並べて微分したデータとの差分を算出する。
　そして、差分フィードバック情報生成部２２３Ｂは、閾値以上の差分（例えば、上述した相違データＤＤにおけるｄ＝１やｄ＝－１に対応する差分）があったか否かを判断する（ステップＳＴ３４）。この判断で、閾値以上の差分があった場合には、差分フィードバック情報生成部２２３Ｂより差分フィードバック情報が生成され、差分フィードバック情報に基づくフィードバックが、フィードバック制御部２２４Ｂにより行われる（ステップＳＴ３５）。閾値以上の差分がない場合は、フィードバックはなされず、先生及び生徒による演奏が進行する。
　例えば、生徒Ｓ１の打鍵が先生Ｔ１の打鍵に比べて一定以上弱い場合には、当該打鍵がなされる指に対応する振動デバイスが、短く且つ弱く振動するフィードバックがなされると共に、「ここはもっと強く」等のメッセージが再生される差分フィードバック情報が生成される。一方で、生徒Ｓ１の打鍵が先生Ｔ１の打鍵に比べて一定以上強い場合には、当該打鍵がなされる指に対応する振動デバイスが、短く且つ強く振動するフィードバックがなされると共に、「ここはもっと弱く」等のメッセージが再生される差分フィードバック情報が生成される。差分フィードバック情報に基づくフィードバックがフィードバック制御部２２４Ｂにより行われる。
　そして、曲（先生Ｔ１及び生徒Ｓ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ３６）。制御部２０１Ｂは、例えば、一定期間、演奏データの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ３１、３２に戻る。曲が終了した場合には、処理が終了する。
［効果］
　以上説明した第２の実施の形態では、生徒のピアノの演奏時に、打鍵の強さがリファレンス（例えば、先生の打鍵の強さ）と一定以上相違する場合に、そのことをリアルタイムにフィードバックすることができる。
＜第３の実施の形態＞
　次に、第３の実施の形態について説明する。なお、特に断らない限り、第１、第２の実施の形態で説明した事項は、第３の実施の形態に対しても適用することができる。また、第３の実施の形態において、第１、第２の実施の形態で説明した事項と同一若しくは同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。
［概要］
　始めに、第３の実施の形態の概要について説明する。一般に、楽器の演奏の際には、上級者になればなるほど、単に楽器を演奏する動きだけでなく、体全体をつかって楽器を演奏することにより、より豊かな演奏音を奏でることが行われる。体全体の動きは、ノリなどとも称され、演奏のコンクールなどでは、体全体の動きが評価の対象にもなり得る。実施の形態に係る情報処理装置２Ａ、２Ｂは、加速度センサ２０４Ａ、２０４Ｂを有している。そこで、第３の実施の形態では、加速度センサ２０４Ａ、２０４Ｂを、演奏者の姿勢変化を検出する姿勢変化検出部として使用し、例えば、演奏時における先生Ｔ１の姿勢変化と生徒Ｓ１の姿勢変化との差分を検出し、差分に応じたフィードバック行う。これにより、打鍵の強さだけなく、演奏時における適切な体の動きを生徒Ｓ１が認識できるようにする。以下、第３の実施の形態について詳細に説明する。
［処理例］
　図１４は、第３の実施の形態に係る遠隔レッスンシステム（遠隔レッスンシステム１Ｂ）で行われる処理例を説明するための図である。上述した実施の形態と異なる点を中心に説明する。
　先生Ｔ１がピアノを演奏する際の姿勢変化が加速度センサ２０４Ａにより検出される。加速度センサ２０４Ａから出力されるセンサデータが制御部２０１Ａによりデジタルデータに変換されることで、加速度データＡＤ１が生成される。加速度データＡＤ１が、通信部２０８Ａを介して情報処理装置２Ｂに送信される。加速度データＡＤ１は、情報処理装置２Ｂの通信部２０８Ｂにより受信され、制御部２０１Ｂに供給される。
　また、生徒Ｓ１がピアノを演奏する際の姿勢変化が加速度センサ２０４Ｂにより検出される。加速度センサ２０４Ｂから出力されるセンサデータが制御部２０１Ｂによりデジタルデータに変換されることで、加速度データＡＤ２が生成される。加速度データＡＤ１、ＡＤ２が制御部２０１Ｂの差分算出部２２２Ｂに入力される。
　第３の実施の形態に係る差分算出部２２２Ｂは、加速度データＡＤ１、ＡＤ２の差分を算出する。図１５Ａに、先生Ｔ１側で取得される加速度データＡＤ１が模式的に示されている。図１５Ｂに、生徒Ｓ１側で取得される加速度データＡＤ２が模式的に示されている。加速度データから体の姿勢変化を表す値を求める事を考える。加速度の極大/極小地点が、速度の変化が一番大きい点であり、体の姿勢変化の拍部分にあたるとする。
　加速度を体の姿勢変化を表す代表値として扱い、先生Ｔ１側と生徒Ｓ１側のそれぞれの加速度データＡＤ１、ＡＤ２を比べることでリファレンス(本例では先生の体の姿勢変化)との差分を求める。
　ここで、３軸の時系列の加速度データは、下記の数式１によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　上述した加速度データから、ベクトルの大きさの時系列データαを下記の数式２により求める。なお、先生Ｔ１側のベクトルの大きさの時系列データをα１とし、生徒Ｓ１側のベクトルの大きさの時系列データをα２とする。
Figure JPOXMLDOC01-appb-M000002
　差分算出部２２２Ｂは、時系列データα１と時系列データα２とを比較し、タイミングのずれが所定の閾値ｔｈｔ内（｜ｔ１－ｔ２｜＜ｔｈｔ）であり、且つ、先生Ｔ１と生徒Ｓ１がほぼ同じ姿勢変化を行っている（｜α１－α２｜＜ｔｈα）場合に、先生Ｔ１と生徒Ｓ１とが同じ姿勢変化、即ち同じ体の動きで演奏しているとみなし、生徒Ｓ１の演奏時における体の動きが適切であると判断する。
　差分算出部２２２Ｂは、上述した処理を連続的に行い、体の姿勢変化が相違する箇所の時系列データである相違データＤＤ１を生成する。例えば、差分算出部２２２Ｂは、図１５Ｃに示すように、同じ姿勢変化でないとき、具体的には、生徒Ｓ１の姿勢変化が先生Ｔ１の姿勢変化より大きい時はｄ＝１、生徒Ｓ１の姿勢変化が先生Ｔ１の姿勢変化より小さい時にはｄ＝－１、それ以外の時はｄ＝０として、相違データＤＤ１を生成する。本例では、相違データＤＤ１が、楽器の演奏に伴う姿勢変化に基づく情報の一例に対応する。差分算出部２２２Ｂは、生成した相違データＤＤ１を差分フィードバック情報生成部２２３Ｂに出力する。
　差分フィードバック情報生成部２２３Ｂは、差分即ち相違データＤＤ１に応じたフィードバックを行う姿勢変化フィードバック情報を生成する。図１６に示すように、先生Ｔ１と生徒Ｓ１における姿勢変化に一定以上の違いがある場合には、パルスが出力されることが相違データＤＤ１により示される。全ての指に関する相違データＤＤ１におけるパルスの回数が多いほど、姿勢変化の相違が多いことになり、生徒Ｓ１側の姿勢変化が適切でない回数が多いことになる。反対に、相違データＤＤ１におけるパルスの回数が少ないほど、姿勢変化の相違が少ないことになり、生徒Ｓ１が適切な姿勢変化でピアノを演奏していることになる。
　差分フィードバック情報生成部２２３Ｂは、パルスの回数やパルスの発生タイミング等に応じた姿勢変化フィードバック情報を出力する。姿勢変化フィードバック情報には、フィードバックの内容やフィードバックを行うタイミングが含まれている。フィードバック制御部２２４Ｂは、姿勢変化フィードバック情報に基づくフィードバックをＴＴＳ等により行う。
　例えば、以下のような態様でフィードバックがなされる。
　生徒Ｓ１による演奏の終了後、姿勢変化フィードバック情報に応じたフィードバックがなされる。例えば、生徒Ｓ１による演奏を録音しておき、録音した演奏を再生しつつ、姿勢変化フィードバック情報に応じたフィードバックがなされる。フィードバック制御部２２４Ｂは、例えば、ある曲の進行において、相違データＤＤ１でｄ＝－１が出力されたタイミングで例えば「最初から数えて５秒目あたりをもっとノってみましょう（大きく体を動かしましょう）」等のメッセージを生成し、当該メッセージをスピーカ２０７Ｂから再生する。また、例えば、フィードバック制御部２２４Ｂは、ある曲の進行において、相違データＤＤ１でｄ＝１が出力されたタイミングで例えば「最初から数えて５秒目あたりはもっと落ち着いて弾いてみましょう」等のメッセージを生成し、当該メッセージをスピーカ２０７Ｂから再生する。
　相違データＤＤ１におけるパルスの回数に応じたメッセージが再生されても良い。パルスの回数が閾値以下の場合は、例えば、フィードバック制御部２２４Ｂは「うまくノって演奏していましたね」等の褒め言葉を再生する。パルスの回数が閾値より大きい場合は、例えば、フィードバック制御部２２４Ｂは「一緒に頑張りましょう」等の励ましの言葉を再生する。
　姿勢変化フィードバック情報に基づくフィードバックが振動によりなされても良い。例えば、パルスの回数が閾値以下の場合は、振動デバイスの振動が一端側から他端側に連続的に変化する態様のフィードバックがなされる。また、パルスの回数が閾値より大きい場合は、全部の振動デバイスが振動する態様のフィードバックがなされる。勿論、どのような振動でフィードバックを行うかは適宜、設定することができる。また、第１の実施の形態で説明したように、生徒のレベルに応じて難易度が変わるように、閾値等の設定ができるようにしても良い。
［処理の流れ］
　次に、図１７のフローチャートを参照して、姿勢変化フィードバック情報に基づいてフィードバックがなされる処理の流れについて説明する。なお、前提として、加速度データＡＤ１が既に情報処理装置２Ｂに送信されているものとして説明する。
　例えば先生Ｔ１の「それでは、演奏してください。」等の指示に応じて、生徒Ｓ１がピアノを演奏する。生徒Ｓ１は、例えば、グローブＧＢ及び情報処理装置２Ｂを装着した状態でピアノを演奏する。ピアノの演奏に伴う生徒Ｓ１の体の動きに応じて、加速度センサ２０４Ｂが加速度データを出力する。この加速度データが制御部２０１Ｂによりデジタルデータに変換され、加速度データＡＤ２が生成される（ステップＳＴ４１）。
　そして、曲（生徒Ｓ１の演奏）が終了したか否かが制御部２０１Ｂにより判断される（ステップＳＴ４２）。制御部２０１Ｂは、例えば、一定期間、演奏データの入力がない場合に、曲が終了したものと判断する。曲が終了していない場合は、処理がステップＳＴ４１に戻る。曲が終了した場合には、処理がステップＳＴ４３に進む。
　生徒Ｓ１の演奏が終了した後、生徒Ｓ１の演奏時における姿勢変化とリファレンスとの差分が、差分算出部２２２Ｂにより算出される（ステップＳＴ４３）。具体的には、差分算出部２２２Ｂは、加速度データＡＤ１に基づく時系列データα１と加速度データＡＤ２に基づく時系列データα２との差分を演算することにより、相違データＤＤ１を生成する。差分算出部２２２Ｂは、相違データＤＤ１を差分フィードバック情報生成部２２３Ｂに出力する。
　差分フィードバック情報生成部２２３Ｂは、相違データＤＤ１に基づいて、姿勢変化フィードバック情報を生成する（ステップＳＴ４４）。そして、生成された姿勢変化フィードバック情報に基づいて、フィードバック制御部２２４Ｂが、生徒Ｓ１に対するフィードバックを行う（ステップＳＴ４５）。上述したように、姿勢変化フィードバック情報に基づくフィードバックは、メッセージの再生や振動等によりなされる。
［効果］
　以上説明した第３の実施の形態によれば、演奏時における体の動きが適切であるか否かに関するフィードバックを行うことができる。従って、ユーザ（例えば、生徒）は、適切な体の動きで楽器を演奏することが可能となる。
＜変形例＞
　以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
　上述した実施の形態では、生徒側の情報処理装置が差分を計算するようにしたが、これに限定されるものではない。例えば、生徒が有するスマートホンやクラウド上に存在するサーバ装置が差分を計算するようにしても良い。係る場合は、情報処理装置の制御部が差分算出部を有しない構成でも良い。このように、情報処理装置の構成は、実施の形態で例示された構成に限定されるものではなく、適宜、変更することができる。
　上述した各実施の形態は、適宜、組み合わせることが可能である。また、フィードバックする内容を、モードとして設定できるようにしても良い。例えば、所定のモードが設定された場合には、打鍵の強さの相違に応じたフィードバックがなされ、他のモードが設定された場合には、姿勢変化の相違に応じたフィードバックがなされるようにしても良い。
　上述した実施の形態では、先生も情報処理装置を装着した構成について説明したがこれに限定されるものではない。例えば、演奏データやセンサデータを生徒側の情報処理装置に送信できる装置であれば、当該装置は必ずしも実施の形態で説明した情報処理装置に限定されるものではない。
　上述した実施の形態では、主に、先生側から生徒側に各種のデータが送信される例について説明したが、生徒側から先生側に各種のデータが送信されることも可能である。例えば、生徒側の情報処理装置から先生側の情報処理装置にセンサデータが送信され、先生側の情報処理装置における振動デバイスが生徒の打鍵の強さに対応する強さで振動するようにしても良い。即ち、先生が生徒の打鍵の強さ等を確認できるようにしても良い。
　上述した実施の形態では、フィードバックがメッセージの再生及び振動の少なくとも一方によりなされる例について説明したが、これに限定されるものではない。例えば、表示によるフィードバックがなされても良い。表示は、例えば、ピアノに設けられたディスプレイを使用してなされる。実施の形態で説明した情報処理装置にディスプレイが設けられても良い。また、実施の形態で説明した情報処理装置にＬＥＤ(Light Emitting Diode)等の発光部が設けられ、発光部の発光色や発光強度を変化させた発光（表示の一態様）によりフィードバックが行われるようにしても良い。例えば、生徒の演奏における打鍵の強さが適切である場合はＬＥＤが緑で発光し、生徒の演奏における打鍵の強さが適切でない場合はＬＥＤが赤で発光するようにしても良い。また、情報処理装置の制御部が生成した振動フィードバック情報や差分フィードバック情報に基づくフィードバックの制御が、情報処理装置と異なる装置（例えば、情報処理装置の近距離無線を行うことが可能なスマートホンやゲーム機器）で行われても良い。
　上述した実施の形態では、リファレンスされるデータ、即ち、先生側のシステムで得られた各種のデータがネットワークを介して伝送される例について説明したが、これに限定されるものではない。例えば、先生側のシステムで得られるデータ（例えば、センサデータＳＤ１）が記録メディアに記憶されており、当該記録メディアを介して供給されるようにしても良い。係る記録メディアとしては、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。記録メディアは、書籍等の付属物であっても良い。例えば、音楽のレッスンに関する書籍に記録メディアが付属していても良い。また、先生側のシステムで得られるデータが、所定のサーバ装置からダウンロード可能とされても良い。この場合、例えば、課金等の処理を行ったユーザのみが上述したデータをダウンロード可能としても良いし、複数の先生毎に上述したデータが用意され、ユーザが所望の先生のデータを選択的にダウンロードできるようにしても良い。
　上述した実施の形態において、演奏データとセンサデータとが別々に送信されるようにしても良い。また、上述した実施の形態では、グローブが有する変位センサにより指の動き（速さ）が取得される例について説明したが、指の動きをセンシングできるものであれば、グローブが有する変位センサ以外で指の動きが取得されても良い。係る装置としては指の動きを撮像するカメラを挙げることができる。カメラは、情報処理装置に設けられていても良い。また、情報処理装置に設けられるカメラは、ヒンジ等の機構により可動とされ、指の動きを撮像できるように構成されても良い。
　上述した各実施の形態の遠隔レッスンシステムが、生徒が先生の様子に関する映像情報、具体的には、先生の演奏姿、姿勢等に関する映像情報を視聴しながら行われても良い。そして、生徒が映像情報を視聴しつつ、振動のフィードバック等が行われても良い。勿論、先生が生徒の様子に関する映像情報を視聴しながら、遠隔レッスンシステムが行われても良い。遠隔レッスンシステムにおける映像情報のやり取りは、公知のビデオチャットツールを利用して行われても良いし、本技術に適した専用のビデオチャットツールやシステムを構築した上で、それらを利用して行われても良い。映像情報を利用することにより、相手の様子、例えば、生徒が先生の様子を視覚的に確認できるので、より効果的な遠隔レッスンを行うことができる。
　実施の形態で説明した情報処理装置の形状は、リング形状（ネックバンド型）に限定されるものではない。他の形状、例えば、ベルト型、時計型等であっても良い。
　実施の形態では、楽器の一例としてピアノを用いた説明をしたが、演奏操作（打鍵や息づかい）の強弱により音色が変わり得る楽器、例えば、太鼓やギターであっても構わない。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
　なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　人体に着脱可能とされ、
　楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する
　情報処理装置。
（２）
　前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱に基づく第１のデータと、前記第１のデータとは異なる、楽器の打鍵の強弱に基づく第２のデータとの差分を示す情報を含み、
　前記制御部は、前記差分に応じたフィードバックを行う差分フィードバック情報を生成する
　（１）に記載の情報処理装置。
（３）
　前記制御部は、前記第１のデータと前記第２のデータとの差分を算出する
　（２）に記載の情報処理装置。
（４）
　第１の楽器の演奏時に当該第１の楽器の打鍵の強弱に基づく前記第１のデータが取得され、第２の楽器の演奏時に当該第２の楽器の打鍵の強弱に基づく前記第２のデータが取得され、
　前記制御部は、略同時になされる前記第１の楽器及び前記第２の楽器の演奏の進行に伴って、前記差分をリアルタイムに算出する
　（３）に記載の情報処理装置。
（５）
　前記制御部は、前記差分が閾値を超えた回数に応じて前記フィードバックの内容を決定する
　（２）に記載の情報処理装置。
（６）
　前記閾値及び前記回数の少なくとも一方が変更可能とされている
　（５）に記載の情報処理装置。
（７）
　前記制御部は、前記差分フィードバック情報に応じたフィードバックを行うための制御を行う
　（２）から（６）までの何れかに記載の情報処理装置。
（８）
　メッセージの再生、振動及び表示の少なくとも一方によるフィードバックがなされる
　（７）に記載の情報処理装置。
（９）
　前記第１のデータがネットワークを介して供給される
　（２）から（８）までの何れかに記載の情報処理装置。
（１０）
　前記第１のデータが記録メディアを介して供給される
　（２）から（８）までの何れかに記載の情報処理装置。
（１１）
　前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱を示す情報を含み、
　前記制御部は、前記楽器の打鍵の強弱を示す情報に基づいて、振動によるフィードバックを行う振動フィードバック情報を生成する
　（１から（１０）までの何れかに記載の情報処理装置。
（１２）
　前記振動フィードバック情報に基づいて振動する振動部を有する
　（１１）に記載の情報処理装置。
（１３）
　前記振動部は、指の配列に対応して配置された複数の振動デバイスを有する
　（１２）に記載の情報処理装置。
（１４）
　前記制御部は、楽器の演奏に伴う姿勢変化に基づく情報に応じたフィードバックを行う姿勢変化フィードバック情報を生成する
　（１）から（１３）までの何れかに記載の情報処理装置。
（１５）
　楽器の演奏に伴う姿勢変化を検出する姿勢変化検出部を有する
　（１４）に記載の情報処理装置。
（１６）
　ネックバンド型の形状を有する
　（１）から（１５）までの何れかに記載の情報処理装置。
（１７）
　収音部を有する
　（１）から（１６）までの何れかに記載の情報処理装置。
（１８）
　スピーカを有する
　（１）から（１７）までの何れかに記載の情報処理装置。
（１９）
　制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
　人体に着脱可能とされる情報処理装置における情報処理方法。
（２０）
　制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
　人体に着脱可能とされる情報処理装置における情報処理方法を、コンピュータに実行させるプログラム。
２Ａ，２Ｂ・・・情報処理装置
２０１Ａ，２０１Ｂ・・・制御部
２０４Ａ，２０４Ｂ・・・加速度センサ
２０７Ａ，２０７Ｂ・・・スピーカ
２０９Ａ，２０９Ｂ・・・マイクロホン
２１０Ａ，２１０Ｂ・・・振動部
２１０Ａａ～２１０Ａｊ・・・振動デバイス

Claims (20)

  1. 　人体に着脱可能とされ、
    　楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する制御部を有する
    　情報処理装置。
  2. 　前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱に基づく第１のデータと、前記第１のデータとは異なる、楽器の打鍵の強弱に基づく第２のデータとの差分を示す情報を含み、
    　前記制御部は、前記差分に応じたフィードバックを行う差分フィードバック情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記第１のデータと前記第２のデータとの差分を算出する
    　請求項２に記載の情報処理装置。
  4. 　第１の楽器の演奏時に当該第１の楽器の打鍵の強弱に基づく前記第１のデータが取得され、第２の楽器の演奏時に当該第２の楽器の打鍵の強弱に基づく前記第２のデータが取得され、
    　前記制御部は、略同時になされる前記第１の楽器及び前記第２の楽器の演奏の進行に伴って、前記差分をリアルタイムに算出する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記差分が閾値を超えた回数に応じて前記フィードバックの内容を決定する
    　請求項２に記載の情報処理装置。
  6. 　前記閾値及び前記回数の少なくとも一方が変更可能とされている
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記差分フィードバック情報に応じたフィードバックを行うための制御を行う
    　請求項２に記載の情報処理装置。
  8. 　メッセージの再生、振動及び表示の少なくとも一方によるフィードバックがなされる
    　請求項７に記載の情報処理装置。
  9. 　前記第１のデータがネットワークを介して供給される
    　請求項２に記載の情報処理装置。
  10. 　前記第１のデータが記録メディアを介して供給される
    　請求項２に記載の情報処理装置。
  11. 　前記楽器の打鍵の強弱に基づく情報は、楽器の打鍵の強弱を示す情報を含み、
    　前記制御部は、前記楽器の打鍵の強弱を示す情報に基づいて、振動によるフィードバックを行う振動フィードバック情報を生成する
    　請求項１に記載の情報処理装置。
  12. 　前記振動フィードバック情報に基づいて振動する振動部を有する
    　請求項１１に記載の情報処理装置。
  13. 　前記振動部は、指の配列に対応して配置された複数の振動デバイスを有する
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、楽器の演奏に伴う姿勢変化に基づく情報に応じたフィードバックを行う姿勢変化フィードバック情報を生成する
    　請求項１に記載の情報処理装置。
  15. 　楽器の演奏に伴う姿勢変化を検出する姿勢変化検出部を有する
    　請求項１４に記載の情報処理装置。
  16. 　ネックバンド型の形状を有する
    　請求項１に記載の情報処理装置。
  17. 　収音部を有する
    　請求項１に記載の情報処理装置。
  18. 　スピーカを有する
    　請求項１に記載の情報処理装置。
  19. 　制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
    　人体に着脱可能とされる情報処理装置における情報処理方法。
  20. 　制御部が、楽器の打鍵の強弱に基づく情報に応じたフィードバックを行うフィードバック情報を生成する
    　人体に着脱可能とされる情報処理装置における情報処理方法を、コンピュータに実行させるプログラム。
PCT/JP2019/022099 2018-09-11 2019-06-04 情報処理装置、情報処理方法及びプログラム WO2020054145A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/250,759 US20210319715A1 (en) 2018-09-11 2019-06-04 Information processing apparatus, information processing method, and program
DE112019004528.8T DE112019004528T5 (de) 2018-09-11 2019-06-04 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-169321 2018-09-11
JP2018169321A JP2020042161A (ja) 2018-09-11 2018-09-11 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020054145A1 true WO2020054145A1 (ja) 2020-03-19

Family

ID=69776666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022099 WO2020054145A1 (ja) 2018-09-11 2019-06-04 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20210319715A1 (ja)
JP (1) JP2020042161A (ja)
DE (1) DE112019004528T5 (ja)
WO (1) WO2020054145A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021239951A1 (de) * 2020-05-29 2021-12-02 Silanfa Gmbh Handgerät, auswertungssystem sowie verfahren zur auswertung des spiels eines tasteninstruments und computerprogramm dazu

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130755A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242863A (ja) * 1999-12-24 2001-09-07 Yamaha Corp 演奏評価装置およびサーバ装置
JP2007078724A (ja) * 2005-09-09 2007-03-29 Kawai Musical Instr Mfg Co Ltd 電子楽器
JP2008122644A (ja) * 2006-11-13 2008-05-29 Casio Comput Co Ltd 演奏教習システムおよび演奏教習方法
JP2012128152A (ja) * 2010-12-15 2012-07-05 Casio Comput Co Ltd 演奏練習装置およびプログラム
JP2017062347A (ja) * 2015-09-24 2017-03-30 ヤマハ株式会社 データ処理装置及びプログラム
JP2017138992A (ja) * 2015-08-17 2017-08-10 日本テレビ放送網株式会社 プログラム、表示装置、表示方法、放送システム及び放送方法
WO2018068203A1 (en) * 2016-10-11 2018-04-19 Sunland Information Technology Co., Ltd. A smart detecting and feedback system for smart piano

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130755A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2021090817A1 (ja) * 2019-11-07 2021-05-14

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242863A (ja) * 1999-12-24 2001-09-07 Yamaha Corp 演奏評価装置およびサーバ装置
JP2007078724A (ja) * 2005-09-09 2007-03-29 Kawai Musical Instr Mfg Co Ltd 電子楽器
JP2008122644A (ja) * 2006-11-13 2008-05-29 Casio Comput Co Ltd 演奏教習システムおよび演奏教習方法
JP2012128152A (ja) * 2010-12-15 2012-07-05 Casio Comput Co Ltd 演奏練習装置およびプログラム
JP2017138992A (ja) * 2015-08-17 2017-08-10 日本テレビ放送網株式会社 プログラム、表示装置、表示方法、放送システム及び放送方法
JP2017062347A (ja) * 2015-09-24 2017-03-30 ヤマハ株式会社 データ処理装置及びプログラム
WO2018068203A1 (en) * 2016-10-11 2018-04-19 Sunland Information Technology Co., Ltd. A smart detecting and feedback system for smart piano

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021239951A1 (de) * 2020-05-29 2021-12-02 Silanfa Gmbh Handgerät, auswertungssystem sowie verfahren zur auswertung des spiels eines tasteninstruments und computerprogramm dazu

Also Published As

Publication number Publication date
US20210319715A1 (en) 2021-10-14
DE112019004528T5 (de) 2021-06-02
JP2020042161A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6807924B2 (ja) リード楽器用装置
US8383925B2 (en) Sound collector, sound signal transmitter and music performance system for remote players
WO2020054145A1 (ja) 情報処理装置、情報処理方法及びプログラム
RU2673599C2 (ru) Способ передачи информации музыкального исполнения и система передачи информации музыкального исполнения
EP3381032B1 (en) Apparatus and method for dynamic music performance and related systems and methods
Bhagwati Elaborate audio scores: Concepts, affordances and tools
JP4748568B2 (ja) 歌唱練習システムおよび歌唱練習システム用プログラム
WO2006011342A1 (ja) 楽音生成装置および楽音生成システム
KR20120034486A (ko) 음악교습에 사용되는 건반장치
JOHANNSEN et al. Conductors’ gestures and their mapping to sound synthesis
JP3879583B2 (ja) 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体
WO2022163137A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20080000345A1 (en) Apparatus and method for interactive
KR20120131695A (ko) 청각장애인용 음향 청취는 장치
JP2021128252A (ja) 音源分離プログラム、音源分離装置、音源分離方法及び生成プログラム
KR20100056603A (ko) 다양한 감각 기관을 통한 음향 청취를 제공하는 장치
KR101818008B1 (ko) 바람의 세기를 이용한 음향장치
JP3912210B2 (ja) 楽器及び演奏補助装置
KR102634347B1 (ko) 사용자와의 인터랙션을 이용한 인지 기능 훈련 및 검사 장치
CN216412665U (zh) 一种乐器跟弹系统
Yoder Performance practice of interactive music for clarinet and computer with an examination of five works by American composers
US12008892B2 (en) Vibrotactile control systems and methods
WO2023243293A1 (ja) 演奏モーション推定方法および演奏モーション推定装置
JP4716192B2 (ja) 語学学習システム及び語学学習用プログラム
JP6653840B1 (ja) 発音練習システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19861081

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19861081

Country of ref document: EP

Kind code of ref document: A1