WO2015105091A1 - 演奏情報伝達方法、演奏情報伝達システム - Google Patents

演奏情報伝達方法、演奏情報伝達システム Download PDF

Info

Publication number
WO2015105091A1
WO2015105091A1 PCT/JP2015/050115 JP2015050115W WO2015105091A1 WO 2015105091 A1 WO2015105091 A1 WO 2015105091A1 JP 2015050115 W JP2015050115 W JP 2015050115W WO 2015105091 A1 WO2015105091 A1 WO 2015105091A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
performance
signal
musical instrument
information transmission
Prior art date
Application number
PCT/JP2015/050115
Other languages
English (en)
French (fr)
Inventor
健次 又平
上原　春喜
陽 前澤
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to EP15735419.2A priority Critical patent/EP3093840B1/en
Priority to RU2016127416A priority patent/RU2673599C2/ru
Priority to US15/039,466 priority patent/US9953545B2/en
Priority to KR1020167015198A priority patent/KR20160082703A/ko
Publication of WO2015105091A1 publication Critical patent/WO2015105091A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/02—Pianofortes with keyboard
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/011—Hybrid piano, e.g. combined acoustic and electronic piano with complete hammer mechanism as well as key-action sensors coupled to an electronic sound generator
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295—Packet switched network, e.g. token ring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs

Definitions

  • the present invention relates to a performance information transmission method and a performance information transmission system.
  • a method for remote lessons using an automatic piano has been proposed for remote lessons using an automatic piano.
  • a controller connected to the automatic playing piano on the transmission side and a controller connected to the automatic playing piano on the receiving side are connected via a network.
  • the model performance is performed by the instructor on the transmission-side automatic performance piano
  • the model performance is reproduced on the reception-side automatic performance piano.
  • performance data in MIDI (Musical Instrument Digital Interface) format representing performance sound is generated according to the performance of the instructor
  • the generated performance data is transferred from the transmitting controller to the receiving controller.
  • the receiving controller outputs the performance data to the automatic performance piano.
  • the automatic performance piano Based on this performance data, the automatic performance piano generates a sound by hammering and performs an automatic performance.
  • the instructor performs voice guidance as necessary while performing the model performance with the automatic performance piano.
  • the voice of the instructor is collected by the microphone connected to the controller on the transmission side, transmitted to the controller on the reception side via the network, and emitted from the speaker connected to the controller.
  • the practitioner can receive guidance by the voice of the instructor while listening to the model performance.
  • Patent Document 1 proposes a method of blocking a communication path of sound collected by a transmitting microphone when an instructor is playing a piano.
  • the present invention has been made in view of such circumstances, and its purpose is to reduce the difficulty in listening to the performance sound on the other side while transmitting the content uttered during performance on the one side to the other side.
  • Performance information transmission method and performance information transmission system are provided.
  • a first musical instrument that generates a sound according to a user's performance and generates performance data corresponding to the sound, and a sound generated by receiving the performance data via a communication unit.
  • a performance information transmission method using two musical instruments wherein a mixed sound signal corresponding to a sound obtained by mixing a sound produced by the first musical instrument and a sound different from the sound produced by the first musical instrument Generating a reference signal corresponding to the sound produced by the first musical instrument, generating a separated signal by removing the reference signal from the mixed sound signal, and emitting sound based on the separated signal.
  • a first system having a first musical instrument that generates sound according to a user's performance and generates performance data according to the sound, and sounds are generated based on the performance data.
  • a sound mixed with different sounds is generated as a mixed sound signal, a reference signal corresponding to a sound generated from the first musical instrument is generated, and the reference signal is removed from the mixed sound signal to generate a separated signal.
  • a first system having a first musical instrument that generates sound according to a user's performance and generates performance data according to the sound, and sounds are generated based on the performance data.
  • a performance information transmission method using a second system having a second musical instrument, wherein the second system includes a sound generated from the first musical instrument and a sound generated from the first musical instrument. Receives a separated signal from which a reference signal corresponding to a sound produced by the first musical instrument is removed from a mixed sound signal corresponding to a sound mixed with different sounds, and emits a sound based on the separated signal.
  • a sound is generated by receiving the performance data via a communication unit and a first musical instrument that generates sound according to the performance of the user and generates performance data according to the sound.
  • An audio signal acquisition unit that generates a sound signal
  • a sound source unit that generates a reference signal corresponding to the sound produced by the first musical instrument
  • a separation signal that generates the separated signal by removing the reference signal from the mixed sound signal
  • a performance information transmission system including a signal processing unit and a sound emitting unit that emits sound based on the separated signal.
  • FIG. 1 is a block diagram of a performance information transmission system according to the first embodiment.
  • the performance information transmission system includes a system 1 (first system) and a system 2 (second system).
  • the system 1 and the system 2 are connected by a network 30 such as the Internet or a LAN (Local Area Network).
  • the network 30 may be wired such as a communication cable, may be wireless, or may be a combination of both wired and wireless.
  • the system 1 includes a piano 11, a controller 12, a sound source unit 13, a microphone 14, a signal processing unit 15, and a transmission unit 16.
  • the system 1 is used by, for example, an instructor 10 who instructs performance.
  • the system 2 includes an automatic performance piano 22, a controller 21, a sound emitting unit 23, and a receiving unit 24. This system 2 is used, for example, by a practitioner 20 who practices performance while receiving guidance from the leader 10.
  • the piano 11 (first musical instrument) generates performance data representing the performance sound according to the performance of the instructor 10.
  • the performance data is, for example, MIDI format data (electronic musical instrument performance data).
  • the piano 11 supplies the generated performance data to the controller 12 and the sound source unit 13.
  • the controller 12 is a communication device that transmits performance data.
  • the controller 12 converts the performance data supplied from the piano 11 into data that conforms to the communication protocol of the network 30.
  • the controller 12 transmits the converted data to the controller 21 via the network 30.
  • the sound source unit 13 is, for example, an electronic sound source.
  • the sound source unit 13 transmits a musical tone waveform of a piano tone color corresponding to a pitch specified by performance data acquired from the piano 11 to the signal processing unit 15 as a reference signal.
  • the microphone (sound signal acquisition unit) 14 collects sound and outputs a signal representing the collected sound to the signal processing unit 15. For example, the directivity, frequency characteristics, and sensitivity of the microphone 14 are adjusted on the assumption that sound is collected near the mouth of the instructor 10. However, when the instructor 10 is performing verbal instruction to the practitioner 20 while playing the piano 11, the microphone 14 is added to the sound emitted from the instructor 10's mouth (hereinafter referred to as “sound”). Thus, performance sounds (hereinafter referred to as “performance sounds”) generated by hammering the piano 11 are also collected. The microphone 14 picks up a sound (hereinafter referred to as “mixed sound”) in which the voice of the instructor 10 and the performance sound of the piano 11 are mixed. Therefore, the microphone 14 outputs the mixed sound obtained by mixing the sound and the performance sound to the signal processing unit 15 as a mixed sound signal.
  • mixed sound hereinafter referred to as “mixed sound”
  • the signal processing unit 15 is connected to the sound source unit 13 and the microphone 14.
  • the signal processing unit 15 is mounted on a personal computer (PC) together with the transmission unit 16.
  • the signal processing unit 15 acquires a reference signal from the sound source unit 13.
  • the signal processing unit 15 acquires a mixed sound signal from the microphone 14.
  • the signal processing unit 15 Based on the acquired reference signal and the mixed sound signal, the signal processing unit 15 separates the mixed sound signal into a signal representing a sound and a signal representing a performance sound.
  • the signal processing unit 15 uses the mixed sound signal and the reference signal to remove a reference signal corresponding to the performance sound of the piano 11 from the mixed sound signal and separate a signal representing the sound.
  • a semi-blind sound source separation technique can be used as a method of separating a mixed sound obtained by mixing two sounds into one sound.
  • any one of a plurality of sounds mixed by the mixed sound signal is input to the signal processing unit 15 as a reference (reference signal).
  • an electronic sound music waveform
  • the signal processing unit 15 can cancel the signal representing the performance sound of the mixed sound and extract only the signal representing the voice of the instructor by using the electronic sound.
  • the signal processing unit 15 outputs a signal representing sound obtained by separating the mixed sound signal to the transmission unit 16 as a separated signal.
  • the transmission unit 16 converts the separated signal into digital sound data, and transmits the converted sound data to the reception unit 24 of the system 2 via the network 30.
  • the piano 11 when the piano 11 is an automatic performance piano, the piano 11 includes the controller 12 and the sound source unit 13 and may be used.
  • the piano 11 may include not only the controller 12 and the sound source unit 13 but also all or part of the microphone 14, the signal processing unit 15, and the transmission unit 16.
  • the controller 21 is a communication device that receives performance data.
  • the controller 21 converts performance data received via the network 30 into a format that can be interpreted by the automatic performance piano 22.
  • the controller 21 supplies the converted performance data to the automatic performance piano 22.
  • the automatic performance piano 22 (second musical instrument) is a piano having an automatic performance function, and performs automatic performance based on performance data transmitted from the controller 21. This automatic performance is performed by the automatic performance piano 22 controlling a key driving solenoid based on performance data and generating a piano sound by striking a string, but the technique itself is well known. Therefore, detailed description is omitted.
  • the receiving unit 24 D / A converts the digital sound data received from the transmitting unit 16 into an analog sound signal and supplies the analog sound signal to the sound emitting unit 23.
  • the sound emitting unit 23 emits sound according to the analog sound signal supplied from the receiving unit 24.
  • the sound emitting unit is, for example, a speaker.
  • the automatic performance piano 22 may integrally include all or part of the controller 21, the sound emitting unit 23, and the receiving unit 24.
  • FIG. 2 is a sequence diagram illustrating an operation example in the present embodiment.
  • the instructor 10 performs the instruction verbally to the trainer 20 through the microphone 14 while performing by playing the piano 11 according to the music to be instructed.
  • the piano 11 generates performance data according to the performance of the instructor 10.
  • the piano 11 transmits the generated performance data to the controller 12 and the sound source unit 13.
  • the controller 12 outputs the performance data to the controller 21 via the network 30.
  • the microphone 14 collects a mixed sound of the voice of the instructor 10 and the performance sound of the piano 11.
  • the microphone 14 supplies the collected mixed sound to the signal processing unit 15 as a mixed sound signal.
  • step S ⁇ b> 102 the sound source unit 13 generates a music waveform (piano tone sound corresponding to the designated pitch) based on the performance data acquired from the piano 11.
  • the sound source unit 13 transmits a reference signal corresponding to the music waveform to the signal processing unit 15.
  • step S ⁇ b> 103 the signal processing unit 15 acquires the reference signal of the piano 11 from the sound source unit 13. Further, the signal processing unit 15 acquires a mixed sound signal from the microphone 14. The signal processing unit 15 separates the mixed sound signal into a signal representing the voice of the instructor 10 and a signal representing the performance sound of the piano 11. That is, the signal processing unit 15 cancels the performance sound of the piano 11 included in the mixed sound signal using the reference signal. Thereby, the signal processing unit 15 extracts only a signal representing sound from the mixed sound signal. The signal processing unit 15 outputs a signal representing the extracted voice of the instructor to the transmission unit 16 as a separated signal.
  • step S104 the transmission unit 16 converts the separated signal into digital sound data, and transmits the sound data of the separated signal to the receiving unit 24 of the system 2 via the network 30.
  • step S ⁇ b> 201 the controller 21 receives performance data received via the network 30.
  • the controller 21 supplies the received performance data to the automatic performance piano 22.
  • step S202 the automatic performance piano 22 receives performance data and adjusts the timing for performing automatic performance (piano pronunciation timing). This timing adjustment is performed using a value (for example, a wait time) preset by the user so as to be the same timing as the sound emission in step S204 described later.
  • step S203 the receiving unit 24 D / A converts the sound data of the received separated signal into an analog sound signal and supplies the analog sound signal to the sound emitting unit 23.
  • step S204 the sound emitting unit 23 emits sound according to the analog sound signal supplied from the receiving unit 24.
  • the automatic performance piano 22 performs an automatic performance at an adjusted piano sounding timing based on performance data supplied from the controller 21.
  • the system 1 uses the network 30 to transmit performance data generated when the instructor 10 plays the piano 11. Is transmitted to the automatic performance piano 22. Therefore, the automatic performance piano 22 performs automatic performance by string striking based on the received performance data. Thereby, the practitioner 20 can listen to the performance of the instructor 10 (including how to play the keyboard and how to use the pedal) with the automatic performance piano 22.
  • the system 1 extracts only the voice of the instructor 10 from the mixed sound of the instructor 10 and the performance sound collected by the microphone 14 by using the musical tone waveform of the piano tone generated from the performance data as a reference signal.
  • the system 1 transmits the extracted voice to the system 2 as a separated signal.
  • the system 2 emits the received separated signal by the sound emitting unit 23 such as a speaker. Therefore, from the sound emitting unit 23, the performance sound is reduced and the voice of the instructor 10 is emitted.
  • the trainer 20 can listen to the performance of the instructor 10 on the piano 11 by the trainer's automatic performance piano 22 striking the string, and the sound of the instructor 10 in a state where the performance sound is reduced. Can be heard from the sound emitting unit 23.
  • the instructor 10 can give voice instruction to the trainee 20 while playing the piano 11.
  • the performance information transmission method of the present embodiment even if the performance sound and the voice of the instructor 10 are collected by the microphone 14, the performance sound included in the mixed sound is canceled and the voice of the instructor 10 is obtained. Sound can be emitted from the sound emitting unit 23. Thereby, both the performance sound collected by the microphone 14 and the performance sound of the piano 11 transmitted via the controller 12 can be prevented from being reproduced in the system 2. Further, according to the present embodiment, when the instructor 10 is playing the piano 11, the sound emitted from the sound emitting unit 23 can be emitted without blocking the communication path of the sound collected by the microphone 14. On the other hand, it is possible to prevent the piano performance sound from being mixed.
  • the piano 11 further includes the function of the automatic performance piano 22
  • the controller 12 further includes the function of the controller 21
  • the controller 21 further includes the function of the controller 12
  • the automatic performance piano 22 includes the piano 11.
  • the system 1 not only cancels the performance sound of the instructor 10 collected by the microphone 14, but also plays a piano that is played by performance data transmitted from the automatic performance piano 22 of the system 2 via the network 30. 11 performance sounds, that is, “the performance sound of the trainer 20 on the piano 11” can be canceled.
  • the system 1 cancels the performance sound of the trainee 20 will be described.
  • the controller 21 transmits performance data when the practitioner 20 plays the automatic performance piano 22 to the controller 12 via the network 30.
  • the controller 12 transmits the performance data to the piano 11 and the sound source unit 13 simultaneously.
  • the sound source unit 13 generates a musical tone waveform of a piano tone based on the performance data of the practitioner 20, and transmits this to the signal processing unit 15 as a reference signal.
  • the piano 11 performs automatic performance by the performance of the practitioner 20 based on the received performance data.
  • the performance sound at this time is collected by the microphone 14 and transmitted to the signal processing unit 15 as a mixed sound signal.
  • the signal processing unit 15 can cancel the performance sound by receiving the mixed sound signal from the microphone 14 and the reference signal from the sound source unit 13.
  • the signal The processing unit 15 can cancel only the performance sound and extract only the voice of the instructor 10.
  • the extracted voice is transmitted from the transmission unit 16 to the reception unit 24 via the network 30 and emitted from the sound emission unit 23.
  • the practitioner 20 can clearly hear the voice of the instructor 10 during his performance from the sound emitting unit 23.
  • the system 2 includes a microphone 25 and a transmission unit 26 that transmits a sound signal collected by the microphone 25.
  • the system 1 also includes a receiving unit 17 that receives a sound signal collected by the microphone 25 and supplies the sound signal to the signal processing unit 15.
  • the signal processing unit 15 cancels the performance sound of the automatic performance piano 11 ′ collected by the microphone 14 as in the second embodiment.
  • the signal processing unit 15 can cancel the performance sound of the trainer 20 from the mixed sound of the utterance content of the trainer 20 and the performance sound of the trainer 20 collected through the microphone 25.
  • an operation in which the system 1 cancels the performance sound of the trainee 20 will be described.
  • performance data when the practitioner 20 plays the automatic performance piano 22 is sent to the controller 21 and sent to the controller of the system 1 via the network 30.
  • the performance data is supplied to the automatic performance piano 11 ′ and played on the automatic performance piano 11 ′, and is also transmitted to the sound source unit 13.
  • the system 2 transmits the mixed sound collected by the microphone 25 in the vicinity of the automatic performance piano 22 of the practitioner 20 as a mixed sound signal to the signal processing unit 15 of the system 1 via the transmission unit 26 and the reception unit 17.
  • the mixed sound is a sound in which the sound of the practitioner 20 and the performance sound generated when the practitioner 20 plays the automatic performance piano 22 are mixed.
  • the sound source unit 13 transmits to the signal processing unit 15 a musical tone waveform of a piano tone corresponding to a pitch specified by performance data generated by the automatic performance piano 22 as a reference signal.
  • the signal processing unit 15 uses the reference signal to cancel the performance sound of the automatic performance piano 22 included in the mixed sound signal and extract the sound of the practitioner 20.
  • the signal processing unit 15 emits the extracted voice (separated signal) of the practitioner 20 by the sound emitting unit 18 such as a speaker of the system 1.
  • the present invention can also be applied to a system in which the instructor and the practitioner are not one-to-one but have various numbers such as one-to-many, many-to-one, or many-to-many. Also, for example, the present invention may be applied to those intended for remote concerts.
  • the sound source unit 13 transmits a musical tone waveform of a piano tone generated from performance data transmitted from the piano 11 or the automatic performance piano 22 to the signal processing unit 15 as a reference signal.
  • a reference signal generating microphone 19 is provided in the vicinity of the piano 11, and the performance sound of the piano 11 collected by the microphone 19 is transmitted to the signal processing unit 15 as a reference signal. Also good. It is desirable that the microphone 19 has a characteristic that the directivity is narrow and the sound is collected specifically for the performance sound of the piano 11. Moreover, the microphone 19 is arrange
  • a physical quantity sensor such as a piezo sensor, an acceleration sensor, or a speed sensor may be provided in the piano 11 and a signal obtained from these sensors may be transmitted to the signal processing unit 15 as a reference signal.
  • the physical quantity sensor is attached to a piece or a soundboard, which is a place where vibration occurs when the piano 11 is struck.
  • the signal processing unit 15 is provided in the system 1, but the present invention is not limited to this.
  • the signal processing unit 15 may be mounted on a server or the system 2 on the network 30.
  • the system 1 transmits the mixed sound signal and the reference signal to the system 2 via the network 30 or a server on the network 30.
  • the reference signal may be generated from performance data of the controller 21 of the system 2 or the automatic performance piano 22.
  • the case where the piano 11 is used as the first musical instrument and the automatic performance piano 22 is used as the second musical instrument has been described.
  • the first musical instrument and the second musical instrument are the same kind of musical instruments.
  • the sound source unit 13 may transmit the tone waveform of the timbre of the musical instrument to the signal processing unit 15 as a reference signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

　ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第２の楽器とを用いた演奏情報伝達方法であって、この演奏情報伝達方法は、前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号を生成し、前記第１の楽器から発音される音に応じた参照信号を生成し、前記混合音信号および前記参照信号に基づいて、前記混合音信号から前記参照信号を除去して分離信号を生成し、前記分離信号に基づいて放音する。

Description

演奏情報伝達方法、演奏情報伝達システム
　本発明は、演奏情報伝達方法、演奏情報伝達システムに関する。
　本願は、２０１４年１月１０日に、日本に出願された特願２０１４－３６９５号に基づき優先権を主張し、その内容をここに援用する。
　自動演奏ピアノを用いて遠隔レッスンを行う方法が提案されている。この種の方法は、送信側の自動演奏ピアノに接続されたコントローラと、受信側の自動演奏ピアノに接続されたコントローラとがネットワークを介して接続される。そして、送信側の自動演奏ピアノにおいて指導者によって模範演奏が行われると、受信側の自動演奏ピアノにおいて、その模範演奏が再現される。具体的には、指導者の演奏に応じて演奏音を表すＭＩＤＩ（Musical Instrument Digital Interface）形式の演奏データが生成されると、生成された演奏データは、送信側のコントローラから受信側のコントローラに送信される。受信側のコントローラは、その演奏データを自動演奏ピアノに出力する。自動演奏ピアノは、この演奏データに基づき、ハンマの打弦により音を発生させ、自動演奏を行う。また、指導者は自動演奏ピアノによって模範演奏を行いながら、必要に応じて音声による指導を行う。その指導者の音声は、送信側のコントローラに接続されたマイクによって収音され、上記ネットワークを介して受信側のコントローラに送信され、コントローラに接続されたスピーカから放音される。これにより、練習者は模範演奏を聞きながら、指導者の音声による指導を受けることができる。
　ところで、送信側のマイクにおいては、指導者の音声収音に適したように、指向性、周波数特性及び感度などが調整されてはいるが、それでも、指導者の模範演奏中にはその自動演奏ピアノから放音される演奏音も収音してしまうことがある。このため、受信側においては、伝送されてきた演奏データに基づく演奏音と、送信側のマイクによって収音されて受信側に伝送されてきた演奏音との両方が再生される。自動演奏ピアノから出力された演奏データに基づく演奏音とマイクで収音された演奏音との再生タイミングがずれた場合に、受信側の練習者にとっては非常に聞きづらいという問題が発生する。この問題を解決するために、特許文献１には、指導者がピアノを演奏している場合、送信側のマイクによって収音された音の通信経路を遮断する方法が提案されている。
特開２００８－１７２４０９号公報
　しかしながら、上述の方法では、指導者が自動演奏ピアノを演奏している場合、マイクによって収音されたピアノの音が受信側に伝わらなくなるが、指導のために演奏中に発話された音声も受信側（練習者）に伝わらなくなる。よって、指導者は、演奏しながら、発話による指導ができない場合がある。
　本発明は、このような事情に鑑みてなされたもので、その目的は、一方側において演奏中に発話された内容を他方側へ伝えつつ、他方側における演奏音の聞きにくさを低減することができる演奏情報伝達方法、演奏情報伝達システムを提供することである。
　本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第２の楽器とを用いた演奏情報伝達方法であって、前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号を生成し、前記第１の楽器から発音される音に応じた参照信号を生成し、前記混合音信号から前記参照信号を除去して分離信号を生成し、前記分離信号に基づいて放音する演奏情報伝達方法である。
　また、本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器を有する第１のシステムと、前記演奏データに基づいて音を発音する第２の楽器とを有する第２のシステムを用いた演奏情報伝達方法であって、前記第１のシステムは、前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音を混合音信号として生成し、前記第１の楽器から発音される音に応じた参照信号を生成し、前記混合音信号から前記参照信号を除去して分離信号を生成し、前記分離信号を前記第２のシステムに送信する演奏情報伝達方法である。
　また、本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器を有する第１のシステムと、前記演奏データに基づいて音を発音する第２の楽器とを有する第２のシステムとを用いた演奏情報伝達方法であって、前記第２のシステムは、前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号から、前記第１の楽器によって発音される音に応じた参照信号が除去された分離信号を受信し、前記分離信号に基づいて放音する演奏情報伝達方法である。
　また、本発明の一態様は、ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第２の楽器とを用いた演奏情報伝達システムであって、前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号を生成する音声信号取得部と、前記第１の楽器から発音される音に応じた参照信号を生成する音源部と、前記混合音信号から前記参照信号を除去して分離信号を生成する信号処理部と、前記分離信号に基づいて放音する放音部と、を含む演奏情報伝達システムである。
　以上説明したように、本発明によれば、一方側において演奏中に発話された内容を他方側へ伝えつつ、他方側における演奏音の聞きにくさを低減することができる。
本発明の第１の実施形態による演奏情報伝達システムを示すブロック図である。 第１の実施形態の動作を説明するシーケンス図である。 本発明の第３の実施形態による演奏情報伝達システムを示すブロック図である。 本発明の実施形態の変形例による演奏情報伝達システムを示すブロック図である。
　以下、本実施形態における演奏情報伝達システムを、図面を参照して説明する。
（第１の実施形態）
　図１は、第１の実施形態における演奏情報伝達システムのブロック図である。図１に示すように、この演奏情報伝達システムは、システム１（第１のシステム）とシステム２（第２のシステム）とを備えている。システム１とシステム２との間は、それぞれインターネットやＬＡＮ（Local Area Network）等のネットワーク３０によって接続されている。このネットワーク３０は、通信ケーブルなどの有線であってもよいし、無線であってもよいし、有線と無線との両方を組み合わせてもよい。
　システム１は、ピアノ１１、コントローラ１２、音源部１３、マイクロフォン１４、信号処理部１５、送信部１６を備えている。システム１は、例えば演奏を指導する指導者１０によって利用される。システム２は、自動演奏ピアノ２２、コントローラ２１、放音部２３、受信部２４を備えている。このシステム２は、例えば、指導者１０の指導を受けながら演奏を練習する練習者２０によって利用される。
　ピアノ１１（第１の楽器）は、指導者１０の演奏に応じて、その演奏音を表す演奏データを生成する。演奏データは、例えばＭＩＤＩ形式のデータ（電子楽器用演奏データ）である。ピアノ１１は、生成した演奏データをコントローラ１２と音源部１３に供給する。
　コントローラ１２は、演奏データを送信する通信装置である。コントローラ１２は、ピアノ１１から供給された演奏データをネットワーク３０の通信プロトコルに適合したデータに変換する。また、コントローラ１２は、変換したデータをネットワーク３０経由でコントローラ２１へと送信する。
　音源部１３は、例えば電子音源である。音源部１３は、ピアノ１１から取得した演奏データで指定される音高に応じたピアノ音色の楽音波形を参照信号として信号処理部１５に送信する。
　マイクロフォン（音声信号取得部）１４は、音声を収音し、収音した音声を表す信号を信号処理部１５に出力する。マイクロフォン１４は、例えば、指導者１０の口の近傍で収音を行うことを前提にして、指向性、周波数特性及び感度が調整されている。しかしながら、指導者１０がピアノ１１を演奏しながら練習者２０に口頭で指導を行っている場合、マイクロフォン１４は、指導者１０の口から放たれた音声（以下、「音声」という。）に加えて、ピアノ１１に備わるハンマの打弦によって発生する演奏音（以下、「演奏音」という。）も収音してしまう。マイクロフォン１４は、この指導者１０の音声と、ピアノ１１の演奏音とが混合された音（以下、「混合音」という。）を収音する。よって、マイクロフォン１４は、音声と演奏音とが混合された混合音を混合音信号として信号処理部１５に出力する。
　信号処理部１５は、音源部１３とマイクロフォン１４に接続されている。この信号処理部１５は、例えば送信部１６とともにパーソナルコンピュータ（ＰＣ）に実装されている。
　信号処理部１５は、音源部１３から参照信号を取得する。また、信号処理部１５は、マイクロフォン１４から混合音信号を取得する。信号処理部１５は、取得した参照信号と混合音信号とに基づいて、混合音信号を、音声を表す信号と演奏音を表す信号とに分離する。具体的には、信号処理部１５は、混合音信号および参照信号を用いて、混合音信号からピアノ１１の演奏音に応じた参照信号を除去して音声を表す信号を分離する。
　このような２つの音が混合した混合音を１つずつの音に分離する方法は、例えば、セミブラインド音源分離技術を用いることができる。セミブラインド音源分離技術では、混合音信号にて混合された複数の音のいずれか１つをリファレンス（参照信号）として、信号処理部１５に入力する。本実施形態では、演奏音を表す信号と音声を表す信号とを含む混合音信号から音声を表す信号を分離するのに、参照信号として電子音（音楽波形）を用いることができる。つまり、信号処理部１５は、電子音を用いることで、混合音の演奏音を表す信号をキャンセルし、指導者の音声を表す信号のみを抽出することができる。
　信号処理部１５は、混合音信号を分離することで得られた音声を表す信号を分離信号として送信部１６に出力する。
　送信部１６は、分離信号をデジタルの音データに変換し、変換した音データをネットワーク３０経由でシステム２の受信部２４に送信する。
　なお、ピアノ１１を自動演奏ピアノとした場合には、ピアノ１１はコントローラ１２および音源部１３を備えているので、それを利用すればよい。また、ピアノ１１は、コントローラ１２および音源部１３だけでなく、マイクロフォン１４や信号処理部１５および送信部１６の全てまたは一部を一体に備えていてもよい。
　コントローラ２１は、演奏データを受信する通信装置である。コントローラ２１は、ネットワーク３０経由で受信した演奏データを自動演奏ピアノ２２が解釈可能な形式に変換する。また、コントローラ２１は、変換した演奏データを自動演奏ピアノ２２に供給する。
　自動演奏ピアノ２２（第２の楽器）は、自動演奏機能を有するピアノであり、コントローラ２１から送信された演奏データに基づいて自動演奏を行う。なお、この自動演奏は、自動演奏ピアノ２２が演奏データに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することにより行われるものであるが、その技術自体は公知であるので、詳細な説明は省略する。
　受信部２４は、送信部１６から受信したデジタルの音データをアナログの音信号にＤ／Ａ変換して放音部２３に供給する。
　放音部２３は、受信部２４から供給されたアナログの音信号に応じて放音する。放音部は、例えばスピーカである。
　なお、自動演奏ピアノ２２は、コントローラ２１、放音部２３および受信部２４の全てまたは一部を一体に備えていてもよい。
　次に、システム１が混合音信号から指導者１０の音声を表す信号を抽出し、抽出した音声を表す信号に基づいてシステム２で放音するまでの動作について図２を用いて説明する。図２は、本実施形態における動作例を説明するシーケンス図である。
　指導者１０は、指導する対象の曲に応じてピアノ１１を弾くことで演奏しつつ、マイクロフォン１４を介して練習者２０に対して口頭で指導を行う。
　ステップＳ１０１において、ピアノ１１は、指導者１０の演奏に応じて演奏データを生成する。ピアノ１１は、生成した演奏データをコントローラ１２と音源部１３とに送信する。コントローラ１２は、演奏データをネットワーク３０を介してコントローラ２１に出力する。また、マイクロフォン１４は、指導者１０の音声とピアノ１１の演奏音との混合音を収音する。そして、マイクロフォン１４は、収音した混合音を混合音信号として信号処理部１５に供給する。
　ステップＳ１０２において、音源部１３は、ピアノ１１から取得した演奏データに基づいて楽曲波形（指定される音高に応じたピアノ音色の音）を生成する。音源部１３は、楽曲波形に応じた参照信号を信号処理部１５に送信する。
　ステップＳ１０３において、信号処理部１５は、音源部１３からピアノ１１の参照信号を取得する。また、信号処理部１５は、マイクロフォン１４から混合音信号を取得する。
信号処理部１５は、混合音信号を指導者１０の音声を表す信号とピアノ１１の演奏音を表す信号とに分離する。つまり、信号処理部１５は、参照信号を用いて混合音信号に含まれるピアノ１１の演奏音をキャンセルする。これにより、信号処理部１５は、混合音信号から音声を表す信号のみを抽出する。信号処理部１５は、抽出した指導者の音声を表す信号を分離信号として送信部１６に出力する。
　ステップＳ１０４において、送信部１６は、分離信号をデジタルの音データに変換し、その分離信号の音データをネットワーク３０経由でシステム２の受信部２４に送信する。
　ステップＳ２０１において、コントローラ２１は、ネットワーク３０経由で受信した演奏データを受信する。コントローラ２１は、受信した演奏データを自動演奏ピアノ２２に供給する。
　ステップＳ２０２において、自動演奏ピアノ２２は、演奏データを受信し、自動演奏を行うタイミング（ピアノ発音タイミング）を調整する。このタイミングの調整は、後述するステップＳ２０４の放音と同じタイミングになるように予めユーザが設定した値（例えば、ウエイト時間）を用いて行われる。
　ステップＳ２０３において、受信部２４は、受信した分離信号の音データをアナログの音信号にＤ／Ａ変換して放音部２３に供給する。
　ステップＳ２０４において、放音部２３は、受信部２４から供給されたアナログの音信号に応じて放音する。また、自動演奏ピアノ２２は、コントローラ２１から供給された演奏データに基づいて、調整されたピアノ発音タイミングで自動演奏を行う。
　上述したように、本実施形態によると、自動演奏ピアノを用いて遠隔レッスンを行う演奏情報伝達方法において、システム１は、指導者１０がピアノ１１を演奏した際に生成される演奏データをネットワーク３０を介して自動演奏ピアノ２２に送信する。よって、自動演奏ピアノ２２は、受信した演奏データに基づいて打弦による自動演奏を行う。これにより、練習者２０は、指導者１０の演奏（鍵盤の弾き方やペダルの使い方などを含む）を自動演奏ピアノ２２で聴くことができる。
　また、システム１は、演奏データから生成したピアノ音色の楽音波形を参照信号として、マイクロフォン１４で収音した指導者１０の音声と演奏音との混合音から指導者１０の音声のみを抽出する。システム１は、抽出した音声を分離信号としてシステム２に送信する。システム２は、受信した分離信号をスピーカなどの放音部２３で放音する。よって、放音部２３からは、演奏音を低減して指導者１０の音声が放音される。これにより、練習者２０は、指導者１０のピアノ１１の演奏を練習者の自動演奏ピアノ２２が打弦することにより聴くことができるとともに、演奏音が低減された状態での指導者１０の音声を放音部２３から聴くことができる。一方、指導者１０は、ピアノ１１を演奏しながら、練習者２０に対して声による指導を行うことができる。
　このように、本実施形態の演奏情報伝達方法では、マイクロフォン１４に演奏音と指導者１０の音声が収音されたとしても、混合音に含まれる演奏音をキャンセルして指導者１０の音声を放音部２３から放音することができる。これにより、マイクロフォン１４で収音された演奏音とコントローラ１２を介して送信されたピアノ１１の演奏音との両方がシステム２において再生されないようにすることができる。
　また、本実施形態によれば、指導者１０がピアノ１１を演奏している場合、マイクロフォン１４によって収音された音声の通信経路を遮断することなく、放音部２３から放音される音に対してピアノの演奏音が混入されることを防ぐことができる。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　上述した実施形態において、自動演奏ピアノの遠隔レッスンを目的とした例を挙げて説明したが、本発明を適用する目的はこれに限定されない、例えば「指導」と「練習」という立場ではなく、同等の立場で演奏を行う２人の演奏者同士がこのシステムを利用してもよい。以下に第２の実施形態および第３の実施形態を示す。
（第２の実施形態）
　第１の実施形態において、ピアノ１１が自動演奏ピアノ２２の機能をさらに備え、コントローラ１２がコントローラ２１の機能をさらに備え、コントローラ２１がコントローラ１２の機能をさらに備え、自動演奏ピアノ２２が、ピアノ１１の機能をさらに備えることとしてもよい。この場合、システム１は、マイクロフォン１４に収音される指導者１０の演奏音をキャンセルするだけでなく、システム２の自動演奏ピアノ２２からネットワーク３０を介して送信される演奏データによって演奏されるピアノ１１の演奏音、いわば「ピアノ１１における練習者２０の演奏音」をキャンセルすることもできる。以下に、システム１が練習者２０の演奏音をキャンセルする場合について説明する。
　本実施形態の演奏情報伝達方法において、練習者２０が自動演奏ピアノ２２を演奏したときの演奏データを、コントローラ２１がネットワーク３０を介してコントローラ１２に送信する。コントローラ１２はこの演奏データをピアノ１１及び音源部１３に同時に送信する。音源部１３は練習者２０の演奏データに基づくピアノ音色の楽音波形を生成し、これを参照信号として信号処理部１５へと送信する。一方、ピアノ１１は受信した演奏データに基づいて練習者２０の演奏による自動演奏を行う。この時の演奏音はマイクロフォン１４によって収音され、混合音信号として信号処理部１５へと送信される。
　信号処理部１５はマイクロフォン１４からの混合音信号および音源部１３からの参照信号を受信することによって、演奏音をキャンセルすることが可能となる。すなわち、練習者２０の演奏によるピアノ１１の自動演奏中に、指導者１０が口から音声を発して（発話して）マイクロフォン１４が演奏音と音声の混合音とを収音したとしても、信号処理部１５が演奏音のみをキャンセルし指導者１０の音声のみを抽出することが可能である。抽出された音声は送信部１６からネットワーク３０を介して受信部２４へ送信され、放音部２３から放音される。これによって、練習者２０は自分の演奏中になされた指導者１０の音声を、放音部２３から明瞭に聞くことが可能となる。
（第３の実施形態）
　図３に示すように、第３の実施形態においては、第２の実施形態に加えて、システム２は、マイクロフォン２５およびマイクロフォン２５で収音した音信号を送信する送信部２６を備える。また、システム１は、マイクロフォン２５で収音した音信号を受信し、信号処理部１５へその音信号を供給する受信部１７を備える。この場合、システム１において、信号処理部１５は、第２の実施形態と同様に、マイクロフォン１４に収音される自動演奏ピアノ１１’の演奏音をキャンセルする。さらに、信号処理部１５は、マイクロフォン２５を介して収音された練習者２０の発話内容と練習者２０の演奏音との混合音から練習者２０の演奏音をキャンセルすることができる。以下に、システム１が練習者２０の演奏音をキャンセルする操作について説明する。
　本実施形態の演奏情報伝達方法において、練習者２０が自動演奏ピアノ２２を演奏したときの演奏データはコントローラ２１に送られ、ネットワーク３０を介してシステム１のコントローラに送られる。この演奏データは、自動演奏ピアノ１１’に供給されて自動演奏ピアノ１１’で演奏されるとともに、音源部１３にも送信される。システム２は、練習者２０の自動演奏ピアノ２２近傍にあるマイクロフォン２５で収音した混合音を、送信部２６および受信部１７を介してシステム１の信号処理部１５に混合音信号として送信する。ここで、混合音とは、練習者２０の音声と練習者２０が自動演奏ピアノ２２を演奏することで発生した演奏音とが混合された音である。
　音源部１３は、自動演奏ピアノ２２で生成された演奏データで指定される音高に応じたピアノ音色の楽音波形を参照信号として信号処理部１５に送信する。
　信号処理部１５は参照信号を用いて、混合音信号に含まれる自動演奏ピアノ２２の演奏音をキャンセルし、練習者２０の音声を抽出する。信号処理部１５は、抽出した練習者２０の音声（分離信号）をシステム１のスピーカなどの放音部１８で放音する。
　なお、上述した実施形態を次のように変形してもよい。
　上述した実施形態において、指導者と練習者とが１対１ではなく、１対多、多対１あるいは、多対多等、様々な人数によって構成されたシステムにも適用し得る。また、例えば遠隔コンサートなどを目的としたものに適用してもよい。
　また、上述した実施形態において、音源部１３は、ピアノ１１または自動演奏ピアノ２２から送信された演奏データから生成したピアノ音色の楽音波形を参照信号として信号処理部１５に送信した。これに代えて、図４に示すように、ピアノ１１近傍に参照信号生成用のマイクロフォン１９を設けて、マイクロフォン１９が収音したピアノ１１の演奏音を参照信号として信号処理部１５に送信してもよい。マイクロフォン１９は、指向性が狭く、ピアノ１１の演奏音に特化して収音する特性を持つことが望ましい。また、マイクロフォン１９は、指導者１０が発声する音声を収音しにくい位置に配置される。
　なお、上述のマイクロフォン１９に代えて、ピエゾセンサ、加速度センサ、速度センサ等の物理量センサをピアノ１１に設け、これらセンサから得られた信号を参照信号として信号処理部１５に送信してもよい。この場合、物理量センサは、ピアノ１１の打弦により振動が生じる箇所である、駒や響板に取り付けることが好ましい。
　また、上述した実施形態において、信号処理部１５は、システム１に備わっているものとしたが本発明は、これに限定されない。例えば、信号処理部１５は、ネットワーク３０上のサーバやシステム２に実装されてもよい。この場合、システム１は、混合音信号と参照信号をネットワーク３０、またはネットワーク３０上のサーバを介してシステム２に送信する。この場合、参照信号は、システム２のコントローラ２１や自動演奏ピアノ２２の演奏データから生成されてもよい。
　また、上述した実施形態において、第１の楽器としてピアノ１１を、第２の楽器として自動演奏ピアノ２２を用いる場合について説明したが、第１の楽器と第２の楽器が同種の種類の楽器、かつ第２の楽器が自動演奏機能を有する楽器であれば他の楽器でもよい。この場合、音源部１３は当該楽器の音色の楽音波形を参照信号として信号処理部１５に送信すればよい。
　以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の請求の範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
　１、２…システム　
１０…指導者　
１１…ピアノ　
１１’、２２…自動演奏ピアノ　
１２、２１…コントローラ　
１３…音源部　
１４…マイクロフォン　
１５…信号処理部　
１６…送信部　
１７…受信部
１８…放音部　
２０…練習者　
２３…放音部　
２４…受信部
２５…マイクロフォン　
２６…送信部　

Claims (16)

  1. 　ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第２の楽器とを用いた演奏情報伝達方法であって、
    　前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号を生成し、
    　前記第１の楽器から発音される音に応じた参照信号を生成し、
    　前記混合音信号から前記参照信号を除去して分離信号を生成し、
    　前記分離信号に基づいて放音する演奏情報伝達方法。
  2. 　前記参照信号は、前記第１の楽器が生成する前記演奏データで指定される音高に応じた楽音波形である請求項１に記載の演奏情報伝達方法。
  3. 　前記参照信号は、前記第１の楽器の近傍に配置されたマイクロフォンが収音した信号である請求項１に記載の演奏情報伝達方法。
  4. 　前記第１の楽器からの発音とは異なる音は、前記第１の楽器を演奏する前記ユーザが発生する音声である請求項１に記載の演奏情報伝達方法。
  5. 　ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器を有する第１のシステムと、前記演奏データに基づいて音を発音する第２の楽器とを有する第２のシステムを用いた演奏情報伝達方法であって、
    　前記第１のシステムにおいて、
    　前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音を混合音信号として生成し、
    　前記第１の楽器から発音される音に応じた参照信号を生成し、
    　前記混合音信号から前記参照信号を除去して分離信号を生成し、
    　前記分離信号を前記第２のシステムに送信する演奏情報伝達方法。
  6. 　前記参照信号は、前記第１の楽器が生成する前記演奏データで指定される音高に応じた楽音波形である請求項５に記載の演奏情報伝達方法。
  7. 　前記参照信号は、前記第１の楽器の近傍に配置されたマイクロフォンが収音した信号である請求項５に記載の演奏情報伝達方法。
  8. 　前記第１の楽器からの発音とは異なる音は、前記第１の楽器を演奏する前記ユーザが発生する音声である請求項５に記載の演奏情報伝達方法。
  9. 　ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器を有する第１のシステムと、前記演奏データに基づいて音を発音する第２の楽器とを有する第２のシステムとを用いた演奏情報伝達方法であって、
    　前記第２のシステムにおいて、
    　前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号から、前記第１の楽器によって発音される音に応じた参照信号が除去された分離信号を受信し、
    　前記分離信号に基づいて放音する演奏情報伝達方法。
  10. 　前記参照信号は、前記第１の楽器が生成する前記演奏データで指定される音高に応じた楽音波形である請求項９に記載の演奏情報伝達方法。
  11. 　前記参照信号は、前記第１の楽器の近傍に配置されたマイクロフォンが収音した信号である請求項９に記載の演奏情報伝達方法。
  12. 　前記第１の楽器からの発音とは異なる音は、前記第１の楽器を演奏する前記ユーザが発生する音声である請求項９に記載の演奏情報伝達方法。
  13. 　ユーザの演奏に応じて発音し、前記発音に応じた演奏データを生成する第１の楽器と、通信手段を介して前記演奏データを受信することによって音を発音する第２の楽器とを用いた演奏情報伝達システムであって、
    　前記第１の楽器から発音される音と前記第１の楽器からの発音とは異なる音とが混合された音に応じた混合音信号を生成する音声信号取得部と、
    　前記第１の楽器から発音される音に応じた参照信号を生成する音源部と、
    　前記混合音信号から前記参照信号を除去して分離信号を生成する信号処理部と、
    　前記分離信号に基づいて放音する放音部と、
    を含む演奏情報伝達システム。
  14. 　前記参照信号は、前記第１の楽器が生成する前記演奏データで指定される音高に応じた楽音波形である請求項１３に記載の演奏情報伝達システム。
  15. 　前記参照信号は、前記第１の楽器の近傍に配置されたマイクロフォンが収音した信号である請求項１３に記載の演奏情報伝達システム。
  16. 　前記第１の楽器からの発音とは異なる音は、前記第１の楽器を演奏する前記ユーザが発生する音声である請求項１３に記載の演奏情報伝達システム。
PCT/JP2015/050115 2014-01-10 2015-01-06 演奏情報伝達方法、演奏情報伝達システム WO2015105091A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15735419.2A EP3093840B1 (en) 2014-01-10 2015-01-06 Musical-performance-information transmission method and musical-performance-information transmission system
RU2016127416A RU2673599C2 (ru) 2014-01-10 2015-01-06 Способ передачи информации музыкального исполнения и система передачи информации музыкального исполнения
US15/039,466 US9953545B2 (en) 2014-01-10 2015-01-06 Musical-performance-information transmission method and musical-performance-information transmission system
KR1020167015198A KR20160082703A (ko) 2014-01-10 2015-01-06 연주 정보 전달 방법, 연주 정보 전달 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014003695A JP2015132695A (ja) 2014-01-10 2014-01-10 演奏情報伝達方法、演奏情報伝達システム
JP2014-003695 2014-01-10

Publications (1)

Publication Number Publication Date
WO2015105091A1 true WO2015105091A1 (ja) 2015-07-16

Family

ID=53523916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050115 WO2015105091A1 (ja) 2014-01-10 2015-01-06 演奏情報伝達方法、演奏情報伝達システム

Country Status (6)

Country Link
US (1) US9953545B2 (ja)
EP (1) EP3093840B1 (ja)
JP (1) JP2015132695A (ja)
KR (1) KR20160082703A (ja)
RU (1) RU2673599C2 (ja)
WO (1) WO2015105091A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071188A1 (ja) * 2020-10-02 2022-04-07 ヤマハ株式会社 音響処理方法および音響処理システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015132695A (ja) * 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6326822B2 (ja) 2014-01-14 2018-05-23 ヤマハ株式会社 録音方法
WO2018068316A1 (en) * 2016-10-14 2018-04-19 Sunland Information Technology Co. , Ltd. Methods and systems for synchronizing midi file with external information
CN111816146A (zh) * 2019-04-10 2020-10-23 蔡佳昱 一种电子琴的示教方法、系统、示教电子琴及存储介质
IT202100020282A1 (it) * 2021-07-29 2023-01-29 Claudio Miello Un sistema per provare uno strumento musicale da remoto

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195058A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏装置
JP2008172409A (ja) 2007-01-10 2008-07-24 Yamaha Corp 収音装置及び音声伝送システム

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140637A (en) 1989-12-01 1992-08-18 Arnold Kaplan Device and method for removing vocal signals
EP0962097A4 (en) 1997-01-29 2006-08-09 Digital Advertising And Market METHOD FOR TRANSFERRING DATA SUPPORT FILES TO A COMMUNICATIONS NETWORK
US6038324A (en) 1997-02-21 2000-03-14 Ambourn; Paul R. Automotive surround sound circuit background of the invention
US6148086A (en) 1997-05-16 2000-11-14 Aureal Semiconductor, Inc. Method and apparatus for replacing a voice with an original lead singer's voice on a karaoke machine
JP3381219B2 (ja) 1999-06-09 2003-02-24 日本マランツ株式会社 ステレオ信号処理装置
US6640257B1 (en) 1999-11-12 2003-10-28 Applied Electronics Technology, Inc. System and method for audio control
US8868023B2 (en) 2008-01-04 2014-10-21 3D Radio Llc Digital radio systems and methods
US6969797B2 (en) 2001-11-21 2005-11-29 Line 6, Inc Interface device to couple a musical instrument to a computing device to allow a user to play a musical instrument in conjunction with a multimedia presentation
US7030311B2 (en) 2001-11-21 2006-04-18 Line 6, Inc System and method for delivering a multimedia presentation to a user and to allow the user to play a musical instrument in conjunction with the multimedia presentation
US6740803B2 (en) 2001-11-21 2004-05-25 Line 6, Inc Computing device to allow for the selection and display of a multimedia presentation of an audio file and to allow a user to play a musical instrument in conjunction with the multimedia presentation
US6653545B2 (en) * 2002-03-01 2003-11-25 Ejamming, Inc. Method and apparatus for remote real time collaborative music performance
BR0202561A (pt) 2002-07-04 2004-05-18 Genius Inst De Tecnologia Dispositivo e método de avaliação de desempenho de canto
JP2005084253A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd 音響処理装置、方法、プログラム及び記憶媒体
JP4001091B2 (ja) 2003-09-11 2007-10-31 ヤマハ株式会社 演奏システム及び楽音映像再生装置
US7288712B2 (en) * 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
JPWO2005111997A1 (ja) 2004-05-14 2008-03-27 パイオニア株式会社 オーディオ再生装置
JP2006100869A (ja) 2004-09-28 2006-04-13 Sony Corp 音声信号処理装置および音声信号処理方法
JP2006114174A (ja) 2004-10-18 2006-04-27 Sony Corp コンテンツ再生方法およびコンテンツ再生装置
US7297858B2 (en) * 2004-11-30 2007-11-20 Andreas Paepcke MIDIWan: a system to enable geographically remote musicians to collaborate
KR100644717B1 (ko) 2005-12-22 2006-11-10 삼성전자주식회사 다채널 오디오 신호 생성 장치 및 그 방법
KR100750148B1 (ko) 2005-12-22 2007-08-17 삼성전자주식회사 음성신호 제거 장치 및 그 방법
US7705231B2 (en) * 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
JP4591391B2 (ja) 2006-03-27 2010-12-01 ヤマハ株式会社 オーディオデータ再生装置および携帯端末装置
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
CN101149918B (zh) 2006-09-22 2012-03-28 鸿富锦精密工业（深圳）有限公司 具练唱功能的声音处理装置
JP4315180B2 (ja) * 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
US20080184870A1 (en) 2006-10-24 2008-08-07 Nokia Corporation System, method, device, and computer program product providing for a multiple-lyric karaoke system
US8138409B2 (en) * 2007-08-10 2012-03-20 Sonicjam, Inc. Interactive music training and entertainment system
US7772480B2 (en) 2007-08-10 2010-08-10 Sonicjam, Inc. Interactive music training and entertainment system and multimedia role playing game platform
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
US8572487B2 (en) 2007-10-09 2013-10-29 International Business Machines Corporation Application of ratings to digital music and playback of digital music conforming to a rating level
JP5119932B2 (ja) 2008-01-11 2013-01-16 ヤマハ株式会社 鍵盤楽器、ピアノおよび自動演奏ピアノ
JP2010062663A (ja) 2008-09-01 2010-03-18 Sony Ericsson Mobilecommunications Japan Inc 音声信号処理装置、音声信号処理方法、及び、通信端末
US20100089223A1 (en) 2008-10-14 2010-04-15 Waichi Ting Microphone set providing audio and text data
US8204755B2 (en) 2009-05-22 2012-06-19 Universal Music Group, Inc. Advanced encoding of music files
CN102687536B (zh) 2009-10-05 2017-03-08 哈曼国际工业有限公司 用于音频信号的空间提取的系统
US20110146476A1 (en) * 2009-12-18 2011-06-23 Edward Zimmerman Systems and methods of instruction including viewing lessons taken with hands-on training
US8541676B1 (en) 2010-03-06 2013-09-24 Alexander Waldman Method for extracting individual instrumental parts from an audio recording and optionally outputting sheet music
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
KR20120132342A (ko) 2011-05-25 2012-12-05 삼성전자주식회사 보컬 신호 제거 장치 및 방법
US20130065213A1 (en) 2011-09-13 2013-03-14 Harman International Industries, Incorporated System and method for adapting audio content for karaoke presentations
US8957297B2 (en) 2012-06-12 2015-02-17 Harman International Industries, Inc. Programmable musical instrument pedalboard
US9071900B2 (en) 2012-08-20 2015-06-30 Nokia Technologies Oy Multi-channel recording
WO2014103336A1 (ja) * 2012-12-29 2014-07-03 Tunogai Tomohide ギター演奏教習データ作成装置、ギター演奏教習システム、ギター演奏教習データ作成方法及びギター演奏教習データ作成プログラム
US9373320B1 (en) 2013-08-21 2016-06-21 Google Inc. Systems and methods facilitating selective removal of content from a mixed audio recording
JP2015132695A (ja) * 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6326822B2 (ja) 2014-01-14 2018-05-23 ヤマハ株式会社 録音方法
US10564923B2 (en) 2014-03-31 2020-02-18 Sony Corporation Method, system and artificial neural network
US20160139775A1 (en) 2014-11-14 2016-05-19 Touchcast LLC System and method for interactive audio/video presentations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195058A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏装置
JP2008172409A (ja) 2007-01-10 2008-07-24 Yamaha Corp 収音装置及び音声伝送システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3093840A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071188A1 (ja) * 2020-10-02 2022-04-07 ヤマハ株式会社 音響処理方法および音響処理システム

Also Published As

Publication number Publication date
RU2673599C2 (ru) 2018-11-28
EP3093840A1 (en) 2016-11-16
RU2016127416A (ru) 2018-02-16
JP2015132695A (ja) 2015-07-23
US9953545B2 (en) 2018-04-24
EP3093840B1 (en) 2019-03-13
US20160379514A1 (en) 2016-12-29
KR20160082703A (ko) 2016-07-08
EP3093840A4 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
WO2015105091A1 (ja) 演奏情報伝達方法、演奏情報伝達システム
JP4940956B2 (ja) 音声伝送システム
WO2016017577A1 (ja) 端末装置、情報提供システム、情報提示方法および情報提供方法
US20070168415A1 (en) Music performance system, music stations synchronized with one another and computer program used therein
JP6514874B2 (ja) リファレンスの音高差と歌唱音声の音高差を比較して採点を行うカラオケ採点装置
WO2020054145A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5151401B2 (ja) 音声処理装置
JP3879583B2 (ja) 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体
JP4052029B2 (ja) 楽音発生装置、撥弦楽器、演奏システム、楽音発生制御方法及び楽音発生制御プログラム
US9343051B2 (en) Performance information output control apparatus, keyboard instrument and control method thereof
JP7434083B2 (ja) カラオケ装置
Mirza Snared, Wired, Crashed
WO2023195333A1 (ja) 制御装置
JP7117229B2 (ja) カラオケ装置
KR20100106795A (ko) 성부 음악파일 전송 시스템
US10679593B2 (en) Modular percussion instrument device and method
JP7033466B2 (ja) マイクロフォン
KR20210007748A (ko) 디지털 기반 악기 복합연주 시스템
WO2023007054A1 (es) Instrumento de cuerda de funcionamiento bimodal
PL1903738T3 (pl) Sposób i urządzenie powiadamiania dla sesji
JP6631005B2 (ja) 情報送信装置、音響通信システムおよび音響透かし重畳方法
KR20120069887A (ko) 몸을 통해 음향 청취를 할 수 있는 장치
WO2012115417A2 (ko) 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2022007182A (ja) カラオケ装置、電子打楽器装置
CN116438790A (zh) 通信方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15735419

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15039466

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20167015198

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015735419

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015735419

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016127416

Country of ref document: RU

Kind code of ref document: A