WO2022249251A1 - 演奏表現学習支援装置、演奏表現学習支援方法およびプログラム - Google Patents

演奏表現学習支援装置、演奏表現学習支援方法およびプログラム Download PDF

Info

Publication number
WO2022249251A1
WO2022249251A1 PCT/JP2021/019656 JP2021019656W WO2022249251A1 WO 2022249251 A1 WO2022249251 A1 WO 2022249251A1 JP 2021019656 W JP2021019656 W JP 2021019656W WO 2022249251 A1 WO2022249251 A1 WO 2022249251A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
performance
data
expression learning
learning support
Prior art date
Application number
PCT/JP2021/019656
Other languages
English (en)
French (fr)
Inventor
十季 武田
良輔 青木
有信 新島
幸生 小池
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/019656 priority Critical patent/WO2022249251A1/ja
Publication of WO2022249251A1 publication Critical patent/WO2022249251A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music

Definitions

  • the present invention relates to a performance expression learning support device, a performance expression learning support method, and a program.
  • Non-Patent Document 1 discloses a device that vibrates a vibrator and lights an LED when sound is detected by a microphone.
  • the disclosed technology aims to support learning of performance expressions in music through vibration presentation.
  • the disclosed technology includes a performance information acquisition unit that acquires performance information, a vibration processing unit that processes vibration waveform data that has been generated in advance based on the performance information, and a performance that uses the processed vibration waveform data. and a vibration data generation unit that applies and synthesizes sounds included in information to generate vibration data.
  • Vibration presentation can support the learning of performance expressions in music.
  • FIG. 1 is a diagram showing an example of the appearance of a performance expression learning support device;
  • FIG. 10 is a diagram showing an example of how to hold the performance expression learning support device;
  • 1 is a diagram showing an example of a hardware configuration of a performance expression learning support device;
  • FIG. 1 is a functional configuration diagram of a performance expression learning support device according to Example 1.
  • FIG. 5 is a flow chart showing an example of the flow of performance expression learning support processing according to the first embodiment;
  • FIG. 4 is a diagram for explaining a vibration waveform; It is a figure for demonstrating the generation method of vibration data.
  • FIG. 1 is a diagram showing an example of the appearance of a performance expression learning support device.
  • the musical performance expression learning support device 10 is a device that allows the user to perceive vibration while being gripped by the user's fingers.
  • FIG. 2 is a diagram showing an example of how to hold the performance expression learning support device.
  • the user holds the performance expression learning support device 10 with the thumb, middle finger and little finger of the right hand.
  • the musical performance expression learning support apparatus 10 causes the user to perceive the vibrations by generating vibrations through the process described later.
  • the gripping method described above is just an example, and the part of the body to be contacted may be other than the finger, and may be contacted via a medium. Also, the user does not need to hold the performance expression learning support device 10, and may touch the performance expression learning support device 10 installed on a wall, desk, or the like.
  • the performance expression learning support device 10 may not be the dedicated device shown in FIG. 1 or 2, and may be, for example, a smartphone having a vibration function.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the performance expression learning support device.
  • the performance expression learning support device 10 includes a CPU 101, a memory 102, a communication device 103, and a vibration speaker 104, which are interconnected via a bus.
  • the memory 102 stores programs and the like that describe the processing details described in this embodiment.
  • the CPU 101 executes processing described in programs stored in the memory 102 .
  • the communication device 103 is a device for communicating with other devices and transmitting and receiving signals.
  • the vibration speaker 104 is a device that receives a vibration signal and generates vibration, such as a vibro transducer. Vibration speaker 104 may be composed of one transducer, or may be composed of a plurality of transducers.
  • FIG. 4 is a functional configuration diagram of the performance expression learning support device according to the first embodiment.
  • the performance expression learning support device 10 includes a performance information acquisition section 11 , a vibration waveform storage section 12 , a vibration processing section 13 , a vibration data generation section 14 and a vibration reproduction section 15 .
  • the performance information acquisition unit 11 acquires performance information from the musical instrument 20 or another device (not shown).
  • the performance information is information relating to the pitch, intensity, length, etc. of sound, and is data conforming to the MIDI (Musical Instrument Digital Interface) standard, for example.
  • the performance information specifically includes information indicating the start time, end time and velocity value (strength of sound) of each sound.
  • the musical instrument 20 has a function of recording a performance as MIDI data.
  • An example of the musical instrument 20 is a MIDI-equipped piano that can record a performance as MIDI data by measuring the speed at which the keys are pressed by sensors built into the keyboard.
  • the performance expression learning support device 10 may receive performance information recorded in the musical instrument 20 or another device, or may receive live performance information from the musical instrument 20 in real time.
  • the performance expression learning support device 10 When the performance expression learning support device 10 receives performance information recorded on the musical instrument 20 or another device, the performance information recorded separately may be converted into sound source data and played back by an audio device or the like.
  • the performance expression learning support device 10 when the performance expression learning support device 10 receives performance information of a live performance of the musical instrument 20 from the musical instrument 20 in real time, it may output vibrations in real time in time with the live sound.
  • the vibration waveform storage unit 12 stores previously generated vibration waveform data.
  • Vibration waveform data is data that is the basis of vibration data, and is assigned to each sound. A specific example of the vibration waveform data will be described later.
  • the vibration processing unit 13 processes vibration waveform data based on performance information. Specifically, the vibration processing unit 13 reads information indicating the length of sound and the velocity value for each sound included in the performance information, and processes the waveform data for vibration. For example, the vibration processing unit 13 processes vibration waveform data corresponding to a sound having a length of L sec so that the length of the vibration waveform data also becomes L sec .
  • the vibration processing unit 13 calculates the amplitude d to adjust.
  • d d max ⁇ (v i /v max )+((v i ⁇ v i ⁇ 1 ) ⁇ c)
  • c is an arbitrary constant
  • d max is the maximum amplitude
  • v max is the maximum velocity value.
  • the above formula shows that it is a processing method that increases or decreases the amplitude d according to the amount of change in the velocity values of a plurality of consecutive sounds. That is, the vibration processing unit 13 increases the amplitude d as the velocity value of the sound increases compared to the previous sound, and decreases the amplitude d as the velocity value decreases compared to the previous sound. do.
  • the vibration data generation unit 14 generates vibration data by applying the processed vibration waveform data to each sound included in the performance information and synthesizing them.
  • the vibration reproduction unit 15 reproduces vibration based on the generated vibration data.
  • the performance expression learning support apparatus 10 executes a performance expression learning support process upon receiving an operation or the like from the user.
  • FIG. 5 is a flowchart showing an example of the flow of performance expression learning support processing according to the first embodiment.
  • the performance information acquisition unit 11 acquires performance information such as MIDI data from the musical instrument 20 (step S11).
  • the vibration processing unit 13 reads vibration waveform data from the vibration waveform storage unit 12 (step S12).
  • the vibration processing unit 13 processes the vibration waveform data (step S13). Then, the vibration data generator 14 generates vibration data in which the timing of the sound and the vibration are synchronized (step S14). Then, the vibration reproduction unit 15 reproduces vibration based on the generated vibration data (step S15).
  • FIG. 6 is a diagram for explaining the vibration waveform.
  • the vibration waveform data stored in the vibration waveform storage unit 12 is data representing a sine wave of about 100 Hz to 200 Hz.
  • the waveform for vibration may be a wave other than a sine wave, and may be a rectangular wave, a sawtooth wave, or the like.
  • a specific vibration waveform is a waveform that decays within a certain period of time and then maintains a constant amplitude.
  • Each parameter in FIG. 6 is, for example, A (Attack) is 0 sec, D (Delay) is 300 msec, S (Sustain) is 20%, and R (Release) is 0 sec.
  • vibration waveform data may be sound source data.
  • amplitude described above should be read as volume.
  • FIG. 7 is a diagram for explaining a method of generating vibration data.
  • the vibration data generation unit 14 in step S14 of the performance expression learning support process described above processes and synthesizes vibration waveform data along the time axis for each note included in the performance information shown in the musical score 901. Vibration data 902 is thus generated. Note that chords with the same timing and length may be regarded as one note.
  • vibration waveform data generated in advance is processed and synthesized based on the performance information to generate vibration data capable of reproducing the performance expression of the performance information. do. Reproducing vibrations based on this vibration data can assist the learning of performance expressions in music.
  • Passive tactile learning is a phenomenon in which motor skills can be learned through passive tactile stimulation, even if the user is not paying attention to learning. Previous studies for performance training have shown that using this passive tactile learning and giving vibrations to each finger corresponding to the melody promotes memory retention of the performance (reference [1]). ]).
  • musical performance expression learning support device 10 it is possible to promote the learning of musical performance expression skills by reproducing musical performance expressions with vibrations and perceiving them as tactile sensations.
  • Performance expression skills include strength of sound, legato, staccato, and the like.
  • a sound source for vibration is prepared in advance in order to generate vibration that reproduces the performance expression.
  • This vibrating sound source is processed so that it attenuates to a constant volume within an arbitrary time from the start of the sound.
  • the sound source for vibration is synchronized with one sound of the performance and reproduced once. Further, the intensity change of the sound source for vibration is emphasized according to the amount of change in intensity of the sound of the player.
  • Example 2 A second embodiment will be described below with reference to the drawings.
  • the second embodiment differs from the first embodiment in that a device for outputting vibration and a device for generating vibration data are separate devices. Therefore, in the following description of the second embodiment, the differences from the first embodiment will be mainly described. Reference numerals are assigned and descriptions thereof are omitted.
  • FIG. 8 is a functional configuration diagram of the performance expression learning support device according to the second embodiment.
  • the performance expression learning support device 30 according to the present embodiment acquires performance information from the musical instrument 20 or the like, generates vibration data, and transmits the generated vibration data to the vibration reproduction device 40 .
  • the performance expression learning support device 30 includes a performance information acquisition unit 31, a vibration waveform storage unit 32, a vibration processing unit 33, a vibration data generation unit 34, and a vibration data output unit 35. Prepare.
  • the performance information acquisition unit 31, vibration waveform storage unit 32, vibration processing unit 33, and vibration data generation unit 34 are the same as those in the first embodiment.
  • the vibration data output unit 35 transmits the generated vibration data to the vibration reproduction device 40 .
  • the vibration reproduction device 40 includes a vibration data acquisition section 41 and a vibration reproduction section 42 .
  • the vibration data acquisition unit 41 acquires vibration data from the performance expression learning support device 30 .
  • the vibration reproduction unit 42 reproduces vibration based on the acquired vibration data.
  • the vibration reproduction device 40 is the same hardware as the performance expression learning support device 10 according to the first embodiment described with reference to FIGS. Further, the performance expression learning support device 30 according to the present embodiment is, for example, a server device or the like that is communicably connected to the musical instrument 20 and the vibration reproduction device 40 via a communication network. A hardware configuration example of the performance expression learning support device 30 will be described later.
  • FIG. 9 is a flowchart showing an example of the flow of performance expression learning support processing according to the second embodiment.
  • the performance information acquisition unit 31 acquires performance information such as MIDI data from the musical instrument 20 (step S21).
  • the vibration processing unit 33 reads vibration waveform data from the vibration waveform storage unit 32 (step S22).
  • the vibration processing unit 33 processes the vibration waveform data (step S23). Then, the vibration data generator 34 generates vibration data in which the timing of the sound and the vibration are synchronized (step S24).
  • the vibration data output unit 35 outputs the generated vibration data to the vibration reproduction device 40 (step S25).
  • the performance expression learning support device 30 can be realized, for example, by causing a computer to execute a program describing the processing details described in the present embodiment.
  • this "computer” may be a physical machine or a virtual machine on the cloud.
  • the "hardware” described here is virtual hardware.
  • the above program can be recorded on a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 10 is a diagram showing a hardware configuration example of the computer.
  • the computer of FIG. 10 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., which are connected to each other via a bus B, respectively.
  • a program that implements the processing in the computer is provided by a recording medium 1001 such as a CD-ROM or memory card, for example.
  • a recording medium 1001 such as a CD-ROM or memory card
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000 .
  • the program does not necessarily need to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores installed programs, as well as necessary files and data.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when a program activation instruction is received.
  • the CPU 1004 implements functions related to the device according to programs stored in the memory device 1003 .
  • the interface device 1005 is used as an interface for connecting to the network.
  • a display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • An input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions.
  • the output device 1008 outputs the calculation result.
  • the performance expression learning support device 30 it is possible to output vibration data and control the vibration reproduction device 40 at a remote location or the like. As a result, it is possible to support the learning of performance expressions without introducing a new program into the vibration reproduction device 40 .
  • the vibration reproducing device 40 may be a smartphone or the like having a vibration function.
  • the application program to be introduced into the vibration reproduction device 40 can be implemented by defining a simple processing content of simply causing vibration based on the received vibration data.
  • This specification describes at least the performance expression learning support device, the performance expression learning support method, and the program described in the following items.
  • (Section 1) a performance information acquisition unit that acquires performance information; a vibration processing unit for processing vibration waveform data generated in advance based on the performance information; a vibration data generation unit that generates vibration data by applying the processed vibration waveform data to sounds included in performance information and synthesizing the data; Performance expression learning support device.
  • the performance information includes a velocity value for each note, The vibration processing unit performs processing so as to change the amplitude of the vibration waveform data according to the amount of change in velocity value for each note included in the performance information.
  • a performance expression learning support device according to item 1.
  • the vibration processing unit increases the amplitude as the velocity value of the sound increases compared to the previous sound, and decreases the amplitude as the velocity value decreases compared to the previous sound.
  • a performance expression learning support device according to item 2.
  • the vibration waveform data is data representing a waveform that attenuates within a certain period of time and then maintains a certain amplitude.
  • a performance expression learning support device according to any one of items 1 to 3.
  • (Section 5) further comprising a vibration reproduction unit that reproduces vibrations based on the generated vibration data;
  • a performance expression learning support device according to any one of items 1 to 4.
  • (Section 6) further comprising a vibration data output unit that outputs the generated vibration data; A performance expression learning support device according to any one of items 1 to 4.
  • (Section 7) A computer-executed performance expression learning support method comprising: obtaining performance information; processing vibration waveform data generated in advance based on the performance information; applying the processed waveform data for vibration to the sound included in the performance information and synthesizing it to generate vibration data; A performance expression learning support method.
  • (Section 8) A program for causing a computer to function as each unit in the performance expression learning support device according to any one of items 1 to 6.
  • vibration reproduction unit 10 performance expression learning support device 11 performance information acquisition unit 12 vibration waveform storage unit 13 vibration processing unit 14 vibration data generation unit 15 vibration reproduction unit 20 musical instrument 30 performance expression learning support device 31 performance information acquisition unit 32 vibration waveform storage unit 33 vibration processing unit 34 vibration data generation unit 35 vibration data output unit 40 vibration reproduction device 41 vibration data acquisition unit 42 vibration reproduction unit 1000 drive device 1001 recording medium 1002 auxiliary storage device 1003 memory device 1004 CPU 1005 interface device 1006 display device 1007 input device 1008 output device

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

演奏情報を取得する演奏情報取得部と、前記演奏情報に基づいて、あらかじめ生成された振動用波形データを加工する振動加工処理部と、加工された前記振動用波形データを演奏情報に含まれる音に当てはめて合成し、振動データを生成する振動データ生成部と、を備える演奏表現学習支援装置である。

Description

演奏表現学習支援装置、演奏表現学習支援方法およびプログラム
　本発明は、演奏表現学習支援装置、演奏表現学習支援方法およびプログラムに関する。
　振動提示による受動的訓練によって、ピアノのメロディ演奏やリズムの記憶定着に貢献する技術が開発されている。
　例えば、非特許文献１には、マイクで音を感知するとバイブレータを振動させ、ＬＥＤを光らせる装置が開示されている。
勝見 明，リクルートワークス研究所，「成功の本質」，「第１０６回　Ｏｎｔｅｎｎａ（オンテナ）／富士通」，［online］，［令和３年５月１４日検索］，インターネット＜ＵＲＬ：https://www.works-i.com/works/series/seikou/detail029.html＞
　従来の技術では、レガート、スタッカートなどのような音楽における演奏表現を、振動として再現させることはできず、演奏表現の学習を支援することができないという問題がある。
　開示の技術は、振動提示によって、音楽における演奏表現の学習を支援することを目的とする。
　開示の技術は、演奏情報を取得する演奏情報取得部と、前記演奏情報に基づいて、あらかじめ生成された振動用波形データを加工する振動加工処理部と、加工された前記振動用波形データを演奏情報に含まれる音に当てはめて合成し、振動データを生成する振動データ生成部と、を備える演奏表現学習支援装置である。
　振動提示によって、音楽における演奏表現の学習を支援することができる。
演奏表現学習支援装置の外観の一例を示す図である。 演奏表現学習支援装置の把持方法の一例を示す図である。 演奏表現学習支援装置のハードウェア構成の一例を示す図である。 実施例１に係る演奏表現学習支援装置の機能構成図である。 実施例１に係る演奏表現学習支援処理の流れの一例を示すフローチャートである。 振動用波形について説明するための図である。 振動データの生成方法について説明するための図である。 実施例２に係る演奏表現学習支援装置の機能構成図である。 実施例２に係る演奏表現学習支援処理の流れの一例を示すフローチャートである。 コンピュータのハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　以下、本実施の形態の実施例として、実施例１および実施例２について説明する。
　（実施例１）
　図１は、演奏表現学習支援装置の外観の一例を示す図である。演奏表現学習支援装置１０は、ユーザが指で把持した状態で、ユーザに振動を知覚させるための装置である。
　図２は、演奏表現学習支援装置の把持方法の一例を示す図である。図２の例では、ユーザは、演奏表現学習支援装置１０を、右手の親指と中指と小指とで把持している。演奏表現学習支援装置１０は、後述する処理によって振動を発することによって、ユーザに振動を知覚させる。
　なお、上述した把持方法は一例であって、接触する体の部位は指以外でも良く、また媒介物を介して接触しても良い。また、ユーザが演奏表現学習支援装置１０を把持しなくても良く、例えば、壁、机等に設置された演奏表現学習支援装置１０に接触しても良い。
　演奏表現学習支援装置１０は、図１または図２に示した専用のデバイスでなくても良く、例えば、バイブレーション機能を有するスマートフォン等であっても良い。
　図３は、演奏表現学習支援装置のハードウェア構成の一例を示す図である。演奏表現学習支援装置１０は、それぞれバスで相互に接続されているＣＰＵ１０１と、メモリ１０２と、通信装置１０３と、振動スピーカ１０４と、を備える。
　メモリ１０２は、本実施例で説明する処理内容を記述したプログラム等を記憶する。ＣＰＵ１０１は、メモリ１０２に記憶されたプログラムに記述された処理を実行する。
　通信装置１０３は、他の装置との間で通信し、信号を送受信するための装置である。
　振動スピーカ１０４は、振動信号を受信して、振動を発生させる装置であって、例えばバイブロトランスデューサである。振動スピーカ１０４は、１つの振動子から構成されていても良く、また複数の振動子から構成されていても良い。
　図４は、実施例１に係る演奏表現学習支援装置の機能構成図である。演奏表現学習支援装置１０は、演奏情報取得部１１と、振動用波形記憶部１２と、振動加工処理部１３と、振動データ生成部１４と、振動再生部１５と、を備える。
　演奏情報取得部１１は、楽器２０または図示しない他の装置から演奏情報を取得する。演奏情報は、音の高さ、強さ、長さ等に関する情報であって、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠したデータである。演奏情報は、具体的には、１音ごとの開始時刻、終了時刻およびベロシティ値（音の強弱）を示す情報を含む。
　楽器２０は、演奏をＭＩＤＩデータとして記録する機能を有する。楽器２０の一例は、鍵盤に組み込まれたセンサが鍵盤を押す速さを計測することによって、演奏をＭＩＤＩデータとして記録することができるＭＩＤＩ機能付きピアノである。
　なお、演奏表現学習支援装置１０は、楽器２０または他の装置に記録された演奏情報を受信しても良く、楽器２０の生演奏による演奏情報をリアルタイムに楽器２０から受信しても良い。
　演奏表現学習支援装置１０は、楽器２０または他の装置に記録された演奏情報を受信する場合は、別途録音された演奏情報を音源データに変換し、音響装置等によって再生させても良い。
　また、演奏表現学習支援装置１０は、楽器２０の生演奏による演奏情報をリアルタイムに楽器２０から受信する場合、生音に合わせて、リアルタイムに振動を出力しても良い。
　振動用波形記憶部１２は、あらかじめ生成された振動用波形データを記憶する。振動用波形データは、振動データの元になるデータであって、１音ごとに割り当てられる。振動用波形データの具体例については後述する。
　振動加工処理部１３は、演奏情報に基づいて振動用波形データを加工する。具体的には、振動加工処理部１３は、演奏情報に含まれる１音ごとに、音の長さとベロシティ値とを示す情報を読み込み、振動用波形データを加工する。例えば、振動加工処理部１３は、１音の長さがＬｓｅｃの音に対応する振動用波形データの長さもＬｓｅｃとなるように加工する。
　また、振動加工処理部１３は、ｉ番目の音のベロシティ値をｖｉとした場合、ベロシティ値の変化量ｖｉ－ｖｉ－１に基づき、次の式のように振動用波形の振幅ｄを調整する。
　ｄ＝ｄｍａｘ×（ｖｉ／ｖｍａｘ）＋（（ｖｉ－ｖｉ－１）×ｃ）
　ここで、ｃは任意の定数、ｄｍａｘは最大振幅、ｖｍａｘはベロシティ値の最大値である。
　上述した式は、連続する複数の音のベロシティ値の変化量に応じて、振幅ｄを大きくしたり小さくしたりする加工方法であることを示している。すなわち、振動加工処理部１３は、音のベロシティ値が前の音に比較して大きくなればなるほど振幅ｄを大きくし、前の音に比較して小さくなればなるほど振幅ｄを小さくするように加工する。
　振動データ生成部１４は、加工された振動用波形データを演奏情報に含まれる音に１音ごとに当てはめて合成し、振動データを生成する。
　振動再生部１５は、生成された振動データに基づいて、振動を再生する。
　次に、演奏表現学習支援装置１０の動作について説明する。演奏表現学習支援装置１０は、ユーザの操作等を受けると、演奏表現学習支援処理を実行する。
　図５は、実施例１に係る演奏表現学習支援処理の流れの一例を示すフローチャートである。演奏情報取得部１１は、楽器２０等からＭＩＤＩデータ等の演奏情報を取得する（ステップＳ１１）。次に、振動加工処理部１３は、振動用波形記憶部１２から振動用波形データを読み出す（ステップＳ１２）。
　続いて、振動加工処理部１３は、振動用波形データを加工する（ステップＳ１３）。そして、振動データ生成部１４は、音と振動のタイミングを同期した振動データを生成する（ステップＳ１４）。そして、振動再生部１５は、生成された振動データに基づいて振動を再生する（ステップＳ１５）。
　図６は、振動用波形について説明するための図である。振動用波形記憶部１２に格納される振動用波形データは、１００Ｈｚから２００Ｈｚ程度のサイン波を示すデータである。振動用波形は、サイン波以外でも良く、矩形波、ノコギリ波等であっても良い。具体的な振動用波形は、一定の時間内に減衰し、その後一定の振幅を維持する波形である。図６における各パラメータは、例えば、Ａ（Ａｔｔａｃｋ）は０ｓｅｃ、Ｄ（Ｄｅｌａｙ）は３００ｍｓｅｃ、Ｓ（Ｓｕｓｔａｉｎ）は２０％、Ｒ（Ｒｅｌｅａｓｅ）は０ｓｅｃである。
　なお、振動用波形データは音源データであっても良い。その場合、上述した振幅を音量と読み替えれば良い。
　図７は、振動データの生成方法について説明するための図である。上述した演奏表現学習支援処理のステップＳ１４における振動データ生成部１４は、譜面９０１に示されるような演奏情報に含まれる１音ごとに、振動用波形データを加工して時間軸に沿って合成することによって、振動データ９０２を生成する。なお、同一のタイミングおよび長さの和音は１音とみなして良い。
　本実施例に係る演奏表現学習支援装置１０によれば、あらかじめ生成された振動用波形データを、演奏情報に基づいて加工して合成することによって演奏情報の演奏表現を再現可能な振動データを生成する。この振動データに基づく振動を再生することによって、音楽における演奏表現の学習を支援することができる。
　受動的触覚学習は、ユーザが学習に注意が向いていなくても、受動的な触覚刺激によって運動技能を学ぶことができる現象である。演奏訓練のための従来研究では、この受動的触覚学習を利用し、メロディに対応する各指に振動を与えることで、演奏の記憶定着が促進されることが示されている（参考文献［１］）。
　しかし、この受動的触覚学習を用いた演奏訓練における表現技法に着目した研究は行われていない。また、この手法実現のために、演奏表現を再現する振動刺激が必要であるが、この点に着目した再現手法は十分に取り組まれていない。
　本実施例に係る演奏表現学習支援装置１０によれば、演奏の表現を振動で再現し、触覚として知覚させることで演奏表現スキルの学習を促進させることができる。演奏表現スキルには音の強弱やレガート、スタッカートなどのスキルである。
　演奏表現を再現する振動生成のために、振動用音源を事前に用意する。この振動用音源は、音の開始から任意の時間以内に一定音量まで減衰するよう加工される。演奏の1音に対して振動用音源が同期して1回再生されるものである。また、演奏者の音の強弱変化量に応じて、振動用音源の強弱変化の強調加工をする。
　これにより、演奏表現において、視覚と聴覚のみによる学習よりも学習スピードを早めることができる。つまり強弱やスタッカート、レガート等の位置を正しく記憶、再現するまでの時間を早める効果が期待される。また上記振動加工により、滑らかな速い連続音でも１音ずつ明確に振動を知覚でき、強さの変化を分かりやすく伝えることができる。
　（実施例２）
　以下に図面を参照して、実施例２について説明する。実施例２は、振動を出力する装置と振動データを生成する装置が別の装置となっている点が、実施例１と相違する。よって、以下の実施例２の説明では、実施例１との相違点を中心に説明し、実施例１と同様の機能構成を有するものには、実施例１の説明で用いた符号と同様の符号を付与し、その説明を省略する。
　図８は、実施例２に係る演奏表現学習支援装置の機能構成図である。本実施例に係る演奏表現学習支援装置３０は、楽器２０等から演奏情報を取得して振動データを生成し、生成した振動データを振動再生装置４０に送信する。
　具体的には、演奏表現学習支援装置３０は、演奏情報取得部３１と、振動用波形記憶部３２と、振動加工処理部３３と、振動データ生成部３４と、振動データ出力部３５と、を備える。
　演奏情報取得部３１、振動用波形記憶部３２、振動加工処理部３３および振動データ生成部３４は、実施例１と同様である。
　振動データ出力部３５は、生成された振動データを振動再生装置４０に送信する。
　振動再生装置４０は、振動データ取得部４１と、振動再生部４２と、を備える。振動データ取得部４１は、演奏表現学習支援装置３０から振動データを取得する。振動再生部４２は、取得した振動データに基づく振動を再生する。
　なお、本実施例においては、振動再生装置４０は、図１から図３までに説明した実施例１に係る演奏表現学習支援装置１０と同様のハードウェアである。また、本実施例に係る演奏表現学習支援装置３０は、例えば通信ネットワークを介して楽器２０および振動再生装置４０と通信可能に接続されたサーバ装置等である。演奏表現学習支援装置３０のハードウェア構成例については後述する。
　図９は、実施例２に係る演奏表現学習支援処理の流れの一例を示すフローチャートである。演奏情報取得部３１は、楽器２０等からＭＩＤＩデータ等の演奏情報を取得する（ステップＳ２１）。次に、振動加工処理部３３は、振動用波形記憶部３２から振動用波形データを読み出す（ステップＳ２２）。
　続いて、振動加工処理部３３は、振動用波形データを加工する（ステップＳ２３）。そして、振動データ生成部３４は、音と振動のタイミングを同期した振動データを生成する（ステップＳ２４）。
　ここまでの処理は、実施例１に係る演奏表現学習支援処理と同様である。そして、振動データ出力部３５は、生成された振動データを振動再生装置４０に出力する（ステップＳ２５）。
　本実施例に係る演奏表現学習支援装置３０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。
　上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図１０は、上記コンピュータのハードウェア構成例を示す図である。図１０のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　本実施例に係る演奏表現学習支援装置３０によれば、振動用データを出力して、遠隔地等にある振動再生装置４０を制御することができる。これによって、振動再生装置４０に新たにプログラムを導入しなくても、演奏表現の学習を支援することができる。
　例えば、本実施例に係る振動再生装置４０は、バイブレーション機能を有するスマートフォン等であっても良い。本実施例では、振動再生装置４０に導入するアプリケーションプログラムは、単に受信した振動データに基づいてバイブレーションさせるという簡単な処理内容を規定したもので実現可能である。
　参考文献［１］:C. Seim, T. Estes, and T. Starner. Towards Passive Haptic Learning of piano songs. In 2015 IEEE World Haptics Conference
　（実施の形態のまとめ）
　本明細書には、少なくとも下記の各項に記載した演奏表現学習支援装置、演奏表現学習支援方法およびプログラムが記載されている。
（第１項）
　演奏情報を取得する演奏情報取得部と、
　前記演奏情報に基づいて、あらかじめ生成された振動用波形データを加工する振動加工処理部と、
　加工された前記振動用波形データを演奏情報に含まれる音に当てはめて合成し、振動データを生成する振動データ生成部と、を備える、
　演奏表現学習支援装置。
（第２項）
　前記演奏情報は、１音ごとのベロシティ値を含み、
　前記振動加工処理部は、前記演奏情報に含まれる１音ごとのベロシティ値の変化量に応じて、前記振動用波形データの振幅の大きさを変化させるように加工する、
　第１項に記載の演奏表現学習支援装置。
（第３項）
　前記振動加工処理部は、音のベロシティ値が前の音に比較して大きくなればなるほど振幅を大きくし、前の音に比較して小さくなればなるほど振幅を小さくするように加工する、
　第２項に記載の演奏表現学習支援装置。
（第４項）
　前記振動用波形データは、一定の時間内に減衰し、その後一定の振幅を維持する波形を示すデータである、
　第１項から第３項のいずれか１項に記載の演奏表現学習支援装置。
（第５項）
　生成された振動データに基づいて振動を再生する振動再生部をさらに備える、
　第１項から第４項のいずれか１項に記載の演奏表現学習支援装置。
（第６項）
　生成された振動データを出力する振動データ出力部をさらに備える、
　第１項から第４項のいずれか１項に記載の演奏表現学習支援装置。
（第７項）
　コンピュータが実行する演奏表現学習支援方法であって、
　演奏情報を取得するステップと、
　前記演奏情報に基づいて、あらかじめ生成された振動用波形データを加工するステップと、
　加工された前記振動用波形データを演奏情報に含まれる音に当てはめて合成し、振動データを生成するステップと、を備える、
　演奏表現学習支援方法。
（第８項）
　コンピュータを第１項から第６項のいずれか１項に記載の演奏表現学習支援装置における各部として機能させるためのプログラム。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　演奏表現学習支援装置
１１　演奏情報取得部
１２　振動用波形記憶部
１３　振動加工処理部
１４　振動データ生成部
１５　振動再生部
２０　楽器
３０　演奏表現学習支援装置
３１　演奏情報取得部
３２　振動用波形記憶部
３３　振動加工処理部
３４　振動データ生成部
３５　振動データ出力部
４０　振動再生装置
４１　振動データ取得部
４２　振動再生部
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (8)

  1. 　演奏情報を取得する演奏情報取得部と、
    　前記演奏情報に基づいて、あらかじめ生成された振動用波形データを加工する振動加工処理部と、
    　加工された前記振動用波形データを演奏情報に含まれる音に当てはめて合成し、振動データを生成する振動データ生成部と、を備える、
    　演奏表現学習支援装置。
  2. 　前記演奏情報は、１音ごとのベロシティ値を含み、
    　前記振動加工処理部は、前記演奏情報に含まれる１音ごとのベロシティ値の変化量に応じて、前記振動用波形データの振幅の大きさを変化させるように加工する、
    　請求項１に記載の演奏表現学習支援装置。
  3. 　前記振動加工処理部は、音のベロシティ値が前の音に比較して大きくなればなるほど振幅を大きくし、前の音に比較して小さくなればなるほど振幅を小さくするように加工する、
    　請求項２に記載の演奏表現学習支援装置。
  4. 　前記振動用波形データは、一定の時間内に減衰し、その後一定の振幅を維持する波形を示すデータである、
    　請求項１から３のいずれか１項に記載の演奏表現学習支援装置。
  5. 　生成された振動データに基づいて振動を再生する振動再生部をさらに備える、
    　請求項１から４のいずれか１項に記載の演奏表現学習支援装置。
  6. 　生成された振動データを出力する振動データ出力部をさらに備える、
    　請求項１から４のいずれか１項に記載の演奏表現学習支援装置。
  7. 　コンピュータが実行する演奏表現学習支援方法であって、
    　演奏情報を取得するステップと、
    　前記演奏情報に基づいて、あらかじめ生成された振動用波形データを加工するステップと、
    　加工された前記振動用波形データを演奏情報に含まれる音に当てはめて合成し、振動データを生成するステップと、を備える、
    　演奏表現学習支援方法。
  8. 　コンピュータを請求項１から６のいずれか１項に記載の演奏表現学習支援装置における各部として機能させるためのプログラム。
PCT/JP2021/019656 2021-05-24 2021-05-24 演奏表現学習支援装置、演奏表現学習支援方法およびプログラム WO2022249251A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019656 WO2022249251A1 (ja) 2021-05-24 2021-05-24 演奏表現学習支援装置、演奏表現学習支援方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019656 WO2022249251A1 (ja) 2021-05-24 2021-05-24 演奏表現学習支援装置、演奏表現学習支援方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022249251A1 true WO2022249251A1 (ja) 2022-12-01

Family

ID=84229722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019656 WO2022249251A1 (ja) 2021-05-24 2021-05-24 演奏表現学習支援装置、演奏表現学習支援方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2022249251A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52112313A (en) * 1976-03-17 1977-09-20 Nippon Gakki Seizo Kk Electronic musical instrument
JPH04308896A (ja) * 1991-04-05 1992-10-30 Yamaha Corp 電子楽器
US20110228962A1 (en) * 2008-09-19 2011-09-22 National University Of Singapore Haptic Chair Sound Enhancing System With Audiovisual Display
WO2016152219A1 (ja) * 2015-03-24 2016-09-29 ヤマハ株式会社 付加的振動音を発生可能な楽器及び方法
WO2017126281A1 (ja) * 2016-01-20 2017-07-27 ヤマハ株式会社 付加的振動音を発生可能な楽器及び方法
JP2021056294A (ja) * 2019-09-27 2021-04-08 ヤマハ株式会社 楽器用椅子、駆動信号生成方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52112313A (en) * 1976-03-17 1977-09-20 Nippon Gakki Seizo Kk Electronic musical instrument
JPH04308896A (ja) * 1991-04-05 1992-10-30 Yamaha Corp 電子楽器
US20110228962A1 (en) * 2008-09-19 2011-09-22 National University Of Singapore Haptic Chair Sound Enhancing System With Audiovisual Display
WO2016152219A1 (ja) * 2015-03-24 2016-09-29 ヤマハ株式会社 付加的振動音を発生可能な楽器及び方法
WO2017126281A1 (ja) * 2016-01-20 2017-07-27 ヤマハ株式会社 付加的振動音を発生可能な楽器及び方法
JP2021056294A (ja) * 2019-09-27 2021-04-08 ヤマハ株式会社 楽器用椅子、駆動信号生成方法、プログラム

Similar Documents

Publication Publication Date Title
JP6344578B2 (ja) 電子楽器を演奏する方法
Overholt et al. Advancements in actuated musical instruments
US10325581B2 (en) Singing voice edit assistant method and singing voice edit assistant device
JP2011048335A (ja) 歌声合成システム、歌声合成方法及び歌声合成装置
US20190237048A1 (en) System and method for musical performance
Meneses et al. GuitarAMI and GuiaRT: two independent yet complementary augmented nylon guitar projects
CN112203114A (zh) 协同演奏方法、系统、终端设备及存储介质
Jensenius An action–sound approach to teaching interactive music
US10497347B2 (en) Singing voice edit assistant method and singing voice edit assistant device
WO2006011342A1 (ja) 楽音生成装置および楽音生成システム
KR20100125219A (ko) 진동 저작 도구와 진동 저작 방법 및 이를 수록한 저장매체
WO2022249251A1 (ja) 演奏表現学習支援装置、演奏表現学習支援方法およびプログラム
Bongers Tactual display of sound properties in electronic musical instruments
Howard et al. Real-time gesture-controlled physical modelling music synthesis with tactile feedback
Lyons et al. Creating new interfaces for musical expression
EP3518230B1 (en) Generation and transmission of musical performance data
JP2018063315A (ja) 演奏システムおよび自動演奏方法
Dannenberg Human computer music performance
Wöllner Anticipated sonic actions and sounds in performance
Lopes et al. Tumaracatu: an ubiquitous digital musical experience of maracatu
WO2022264537A1 (ja) 触覚信号生成装置、触覚信号生成方法、プログラム
KR102656091B1 (ko) 촉각 음악 학습 장치 및 촉각 음악 학습 방법
WO2022101968A1 (ja) 信号処理装置、信号処理システム、及び信号処理方法
JP7476501B2 (ja) 共鳴音信号発生方法、共鳴音信号発生装置、共鳴音信号発生プログラムおよび電子音楽装置
US10805475B2 (en) Resonance sound signal generation device, resonance sound signal generation method, non-transitory computer readable medium storing resonance sound signal generation program and electronic musical apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942908

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21942908

Country of ref document: EP

Kind code of ref document: A1