JP6443093B2

JP6443093B2 - Signal processing apparatus and signal processing system

Info

Publication number: JP6443093B2
Application number: JP2015018279A
Authority: JP
Inventors: 右士三浦; 寺田　佳樹; 佳樹寺田; 田佳子伊藤; 広宣刑部
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2015-02-02
Filing date: 2015-02-02
Publication date: 2018-12-26
Anticipated expiration: 2035-02-02
Also published as: JP2016142893A

Description

この発明は、楽器演奏を評価する技術に関する。 The present invention relates to a technique for evaluating musical instrument performance.

楽器演奏の上達には、客観的な評価の元に苦手とする演奏パートや演奏法の練習を繰り返すことが重要であり、特許文献１には、このような演奏練習を可能にする演奏評価装置の発明が記載されている。 In order to improve the performance of musical instruments, it is important to repeat the practice of performance parts and performance methods that are not good at objective evaluation. Patent Document 1 discloses a performance evaluation apparatus that enables such performance practice. The invention is described.

特開２００９−１５７０６３号公報JP 2009-157063 A

楽器演奏の評価では、演奏音の良否で評価が下されることが一般的であり、この点は特許文献１に開示の技術も同様である。しかし、演奏音による評価のみでは不十分な場合がある。その理由は、以下の通りである。一般に演奏の良否は演奏者の身体の姿勢や身体の動き、力の入り具合（以下、姿勢、動きおよび力の入り具合をまとめて「身体状態」と呼ぶ）にも依存することが知られており、脱力した状態で演奏することが理想とされている。演奏音の良否のみで評価を下したのでは、不適切な身体状態での演奏であったとしても、演奏音が一定の水準を超えていれば良好な演奏であるとの評価が下され、姿勢等を矯正すればより高いレベルへの向上が見込めるような場合であっても、その向上の芽を摘んでしまう虞があるからである。このような不具合を回避するには、楽器を演奏中の演奏者の身体状態を評価できることが望ましいが、従来このような技術はなかった。 In the evaluation of musical instrument performance, the evaluation is generally made based on the quality of the performance sound. This is also the case with the technique disclosed in Patent Document 1. However, there are cases where evaluation based on performance sound alone is insufficient. The reason is as follows. In general, it is known that the quality of performance depends on the posture, movement, and strength of the performer (hereinafter referred to as “body state”). It is ideal to play in a weak state. Even if the performance sound was evaluated based only on the quality of the performance sound, even if the performance sound was in an inappropriate physical state, it was evaluated as a good performance if the performance sound exceeded a certain level. This is because even if the posture or the like is corrected, even if an improvement to a higher level can be expected, there is a possibility that the improvement buds may be picked. In order to avoid such problems, it is desirable to be able to evaluate the physical condition of the player who is playing the instrument, but there has been no such technique in the past.

本発明は上記課題に鑑みて為されたものであり、楽器を演奏中の演奏者の身体状態の評価を可能にする技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that makes it possible to evaluate the physical condition of a player who is playing a musical instrument.

上記課題を解決するために本発明は、演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号と前記演奏者の身体状態を表す第２の信号とを取得する信号取得手段と、前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、を有することを特徴とする信号処理装置を提供する。 In order to solve the above-described problems, the present invention provides a signal acquisition for acquiring a first signal representing a performance sound emitted from a musical instrument in response to a performance action of a performer and a second signal representing the physical state of the performer. Means, a specifying means for specifying a timing at which a performance operation is performed from the first signal, a feature quantity of the waveform of the first signal in the time interval including the timing specified by the specifying means, and the second A signal processing apparatus comprising: a comparison unit configured to compare a feature amount of a waveform of the signal and generate a signal corresponding to the comparison result.

本発明によれば、上記第１および第２の信号の波形の特徴量（ピークの高さ、ピークとなるタイミング、ピークとなるまでの傾斜、半値幅など）の比較により楽器を演奏中の演奏者の身体状態が客観的に評価される。前記比較手段により生成した信号に応じた報知を行う報知手段を設けるようにすれば、当該報知手段による報知内容を通じて身体状態の良否を演奏者に把握させつつ演奏練習を行わせることが可能になる。また、別の好ましい態様においては、上記比較手段により生成された信号を第１の信号と対応付けて記憶する記憶手段を設けても良い。このような態様によれば、記憶手段の記憶内容を通じて、楽曲を演奏し終えた後に、演奏中の身体状態の時間変化を演奏者に把握させることが可能になる。 According to the present invention, the performance while playing the musical instrument by comparing the waveform feature values (peak height, peak timing, slope until peak, half width, etc.) of the first and second signals. The physical condition of the person is evaluated objectively. By providing notification means for performing notification according to the signal generated by the comparison means, it is possible to perform performance practice while allowing the player to grasp the quality of the physical state through the notification contents by the notification means. . In another preferable aspect, a storage unit that stores the signal generated by the comparison unit in association with the first signal may be provided. According to such an aspect, it is possible to allow the player to grasp the temporal change of the physical condition during the performance after the music has been played through the stored contents of the storage means.

上記信号取得手段の具体例としては、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサと演奏動作を検出し当該演奏者の身体状態を表す第２の信号を出力する第２のセンサとが接続される外部機器インタフェース（以下、Ｉ／Ｆ）部が挙げられる。したがって、当該外部機器Ｉ／Ｆ部と上記特定手段と上記比較手段とを有する信号処理装置の上記外部機器Ｉ／Ｆ部に上記第１および第２のセンサを接続して楽器演奏の評価のための信号処理システムを構築しても良い。また、上記外部機器Ｉ／Ｆ部と当該外部機器Ｉ／Ｆ部に接続された第１および第２のセンサとにより上記信号取得手段を構成しても良い。 As a specific example of the signal acquisition means, a first sensor for detecting a performance sound emitted from a musical instrument in accordance with a performance action of a performer and outputting a first signal representing the performance sound and a performance action are detected. An external device interface (hereinafter referred to as I / F) unit connected to a second sensor that outputs a second signal representing the physical state of the performer is exemplified. Therefore, the first and second sensors are connected to the external device I / F unit of the signal processing apparatus having the external device I / F unit, the specifying unit, and the comparing unit to evaluate the musical instrument performance. A signal processing system may be constructed. Further, the signal acquisition means may be configured by the external device I / F unit and the first and second sensors connected to the external device I / F unit.

より好ましい態様においては、上記信号処理装置は、前記比較手段により生成された比較結果に応じた信号に基づいて、演奏音の音量を調整する調整手段を有することを特徴とする。調整手段による音量の調整態様の具体例としては、演奏動作の大きさに比較して音量が低い場合には音量を補填する（増加させる）一方、演奏動作の大きさに比較して音量が高い場合には音量を抑制する（低減させる）態様が考えられる。このような態様によれば、演奏者の疲労や演奏技術の未熟さにより十分に大きな動作で演奏を行っているにも拘らず演奏音の音量が不足するような場合に演奏音の音量を補填するなどの演奏補助を行うことができる。 In a more preferred aspect, the signal processing device includes an adjusting unit that adjusts the volume of the performance sound based on a signal corresponding to the comparison result generated by the comparing unit. As a specific example of the volume adjustment mode by the adjusting means, the volume is compensated (increased) when the volume is low compared to the size of the performance action, while the volume is high compared to the magnitude of the performance action. In this case, a mode in which the volume is suppressed (reduced) can be considered. According to such an aspect, the volume of the performance sound is compensated when the performance sound volume is insufficient even though the performance is performed with a sufficiently large motion due to the fatigue of the performer or imperfection of the performance technique. Performing assistance such as playing can be performed.

また、上記課題を解決するために本発明は、ＣＰＵ（Central Processing Unit）などのコンピュータを、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサの出力信号から演奏動作の為されたタイミングを特定する特定手段と、前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記演奏者の身体状態を検出しその身体状態を表す第２の信号を出力する第２のセンサの出力信号の前記時間区間における波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段として機能させることを特徴とするプログラム、を提供する。このようなプログラムにしたがって一般的なコンピュータを作動させることで、当該コンピュータを本発明の信号処理装置として機能させることができる。なお、このようなプログラムの具体的な配布態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disc）などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。 In order to solve the above-described problem, the present invention provides a computer such as a CPU (Central Processing Unit) that detects a performance sound emitted from a musical instrument in accordance with a performance performance of a performer and represents a first signal representing the performance sound. Specifying means for specifying the timing of the performance action from the output signal of the first sensor that outputs, the feature quantity of the waveform of the first signal in the time interval including the timing specified by the specifying means, and the The player's physical condition is detected and the second sensor output signal that outputs the second signal representing the physical condition is compared with the waveform feature quantity in the time interval, and a signal corresponding to the comparison result is generated. A program characterized by functioning as a comparing means is provided. By operating a general computer in accordance with such a program, the computer can function as the signal processing device of the present invention. As a specific distribution mode of such a program, a mode in which the program is written and distributed on a computer-readable recording medium such as a CD-ROM (Compact Disk-Read Only Memory) or a DVD (Digital Versatile Disc), or the Internet It may be distributed by downloading via a telecommunication line.

本発明の第１実施形態の信号処理システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the signal processing system of 1st Embodiment of this invention. 同システムに含まれる信号処理装置１０の制御部１００が信号処理プログラム１３４ａにしたがって実行する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which the control part 100 of the signal processing apparatus 10 included in the system performs according to the signal processing program 134a. 同実施形態の動作を説明するための図である。It is a figure for demonstrating the operation | movement of the embodiment. 本発明の第２実施形態の信号処理システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the signal processing system of 2nd Embodiment of this invention. 同実施形態の動作を説明するための図である。It is a figure for demonstrating the operation | movement of the embodiment. 本発明の第３実施形態の信号処理システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the signal processing system of 3rd Embodiment of this invention. 同実施形態の動作を説明するための図である。It is a figure for demonstrating the operation | movement of the embodiment.

以下、図面を参照しつつ、本発明の実施形態について説明する。
（Ａ：第１実施形態）
図１は、本発明の第１実施形態の信号処理システムの構成例を示す図である。
この信号処理システムは、楽器演奏の評価のためのシステムであり、より正確には、楽器を演奏中の演奏者の身体状態の評価を可能にするシステムである。図１に示すように、この信号処理システムは、２つのセンサ（本実施形態では、センサ２０およびセンサ３０Ａ）と、これら２つのセンサに接続された信号処理装置１０とを含んでいる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(A: 1st Embodiment)
FIG. 1 is a diagram showing a configuration example of a signal processing system according to the first embodiment of the present invention.
This signal processing system is a system for evaluating musical instrument performance, and more precisely, is a system that enables evaluation of the physical condition of a player who is playing the musical instrument. As shown in FIG. 1, this signal processing system includes two sensors (in this embodiment, a sensor 20 and a sensor 30A) and a signal processing device 10 connected to these two sensors.

本実施形態では、演奏対象の楽器はアコースティックドラム（図１では図示略）である。センサ２０は、演奏者の演奏動作に応じて上記演奏対象の楽器から発せられる演奏音を検出し、当該演奏音を表す第１の信号（本実施形態では、当該演奏音の時間波形を示すデジタル信号）を出力するセンサである。なお、センサ２０の出力信号がアナログ信号である場合にはＡ／Ｄ変換器を介してセンサ２０を信号処理装置１０に接続すれば良い。本実施形態では、センサ２０として、演奏対象の楽器の近傍に配置されたマイクロフォンが採用されている。これに対して、センサ３０Ａは、演奏者の演奏動作に応じて当該演奏者の身体状態を表すデジタル信号（以下、第２の信号）を出力するセンサである。本実施形態では、センサ３０Ａとして、演奏者の腕（スティック等を持つ腕）に巻きつけられ、当該腕の筋肉の径の変化（すなわち、筋肉の張）に応じた信号を出力する歪みセンサが採用されている。センサ３０Ａについても、その出力がアナログ信号である場合にはＡ／Ｄ変換器を介して信号処理装置１０に接続するようにすれば良い。 In the present embodiment, the musical instrument to be played is an acoustic drum (not shown in FIG. 1). The sensor 20 detects a performance sound emitted from the musical instrument to be performed in accordance with the performance operation of the performer, and a first signal representing the performance sound (in this embodiment, a digital signal indicating a time waveform of the performance sound). Signal). In addition, what is necessary is just to connect the sensor 20 to the signal processing apparatus 10 via an A / D converter, when the output signal of the sensor 20 is an analog signal. In the present embodiment, a microphone disposed near the musical instrument to be played is used as the sensor 20. On the other hand, the sensor 30A is a sensor that outputs a digital signal (hereinafter referred to as a second signal) representing the physical state of the performer in accordance with the performer's performance. In the present embodiment, the sensor 30A is a distortion sensor that is wound around the performer's arm (an arm having a stick or the like) and outputs a signal corresponding to a change in the muscle diameter of the arm (ie, muscle tension). It has been adopted. The sensor 30A may also be connected to the signal processing device 10 via an A / D converter when the output is an analog signal.

信号処理装置１０は、例えばパーソナルコンピュータであり、演奏対象の楽器を演奏中の演奏者（信号処理装置１０のユーザ）の身体状態の評価を行い、その評価結果を報知する処理を行う。信号処理装置１０は、図１に示すように、制御部１００、ユーザＩ／Ｆ部１１０、外部機器Ｉ／Ｆ部１２０、記憶部１３０、およびこれら構成要素間のデータ授受を仲介するバス１４０を有している。 The signal processing device 10 is, for example, a personal computer, and performs a process of evaluating a physical state of a performer (a user of the signal processing device 10) playing a musical instrument to be played and notifying the evaluation result. As shown in FIG. 1, the signal processing apparatus 10 includes a control unit 100, a user I / F unit 110, an external device I / F unit 120, a storage unit 130, and a bus 140 that mediates data exchange between these components. Have.

制御部１００は例えばＣＰＵである。制御部１００は、記憶部１３０（より正確には不揮発性記憶部１３４）に記憶されている信号処理プログラム１３４ａを実行することにより信号処理装置１０の制御中枢として機能する。制御部１００が信号処理プログラム１３４ａにしたがって実行する処理の詳細については後に明らかにする。 The control unit 100 is a CPU, for example. The control unit 100 functions as a control center of the signal processing device 10 by executing the signal processing program 134a stored in the storage unit 130 (more precisely, the nonvolatile storage unit 134). Details of processing executed by the control unit 100 in accordance with the signal processing program 134a will be clarified later.

ユーザＩ／Ｆ部１１０は、操作部と表示部とを含んでいる（図１では、何れも図示略）。操作部は、テンキーやカーソルキーを備えたキーボードである。操作部は、各種キーの押下などの入力操作がユーザによって為されるとその操作内容を表すデータを制御部１００に与える。これによりユーザの操作内容が制御部１００に伝達される。表示部は例えば液晶ディスプレイ装置である。表示部には、制御部１００による制御の下、各種画面が表示される。表示部に表示される画面の一例としては、信号処理装置１０の使用を促すメニュー画面や演奏動作についての評価結果をユーザに報知するための画面が挙げられる。 The user I / F unit 110 includes an operation unit and a display unit (both not shown in FIG. 1). The operation unit is a keyboard having a numeric keypad and cursor keys. When an input operation such as pressing various keys is performed by the user, the operation unit gives data representing the operation content to the control unit 100. Thereby, the user's operation content is transmitted to the control unit 100. The display unit is, for example, a liquid crystal display device. Various screens are displayed on the display unit under the control of the control unit 100. Examples of the screen displayed on the display unit include a menu screen that prompts the user to use the signal processing device 10 and a screen for notifying the user of the evaluation result of the performance operation.

外部機器Ｉ／Ｆ部１２０は、ＵＳＢ（Universal Serial Bus）インタフェースやパラレルインタフェースなど、各種外部機器を接続するためのインタフェースの集合体である。本実施形態では、センサ２０およびセンサ３０Ａの各々は信号線を介して外部機器Ｉ／Ｆ部１２０に接続される。センサ２０および３０Ａの各々の出力信号は外部機器Ｉ／Ｆ部１２０を介して信号処理装置１０に入力される。つまり、外部機器Ｉ／Ｆ部１２０は、センサ２０およびセンサ３０Ａの各々の出力信号を取得する信号取得手段の役割を果たす。 The external device I / F unit 120 is a collection of interfaces for connecting various external devices such as a USB (Universal Serial Bus) interface and a parallel interface. In the present embodiment, each of the sensor 20 and the sensor 30A is connected to the external device I / F unit 120 via a signal line. The output signals of the sensors 20 and 30A are input to the signal processing apparatus 10 via the external device I / F unit 120. That is, the external device I / F unit 120 serves as a signal acquisition unit that acquires output signals of the sensor 20 and the sensor 30A.

記憶部１３０は、図１に示すように揮発性記憶部１３２と不揮発性記憶部１３４とを含んでいる。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、信号処理プログラム１３４ａを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１３４は、例えばフラッシュＲＯＭ（Read Only Memory）やハードディスクである。不揮発性記憶部１３４には、信号処理プログラム１３４ａが格納されている。 As shown in FIG. 1, the storage unit 130 includes a volatile storage unit 132 and a nonvolatile storage unit 134. The volatile storage unit 132 is, for example, a RAM (Random Access Memory). The volatile storage unit 132 is used by the control unit 100 as a work area when the signal processing program 134a is executed. The nonvolatile storage unit 134 is, for example, a flash ROM (Read Only Memory) or a hard disk. The nonvolatile storage unit 134 stores a signal processing program 134a.

制御部１００は、信号処理装置１０の電源（図示略）の投入またはリセットを契機として信号処理プログラム１３４ａを不揮発性記憶部１３４から揮発性記憶部１３２に読み出し、当該信号処理プログラム１３４ａの実行を開始する。信号処理プログラム１３４ａは、図２に示すフローチャートにおける特定処理ＳＡ１００と比較処理ＳＡ１１０とを制御部１００に実行させるプログラムである。つまり、信号処理プログラム１３４ａにしたがって作動している制御部１００は、特定処理ＳＡ１００を実行する特定手段１００ａ（図１参照）および比較処理ＳＡ１１０を実行する比較手段１００ｂ（図１参照）として機能する。これら各手段の役割（換言すれば、特定処理ＳＡ１００および比較処理ＳＡ１１０の処理内容）は以下の通りである。 The control unit 100 reads the signal processing program 134a from the nonvolatile storage unit 134 to the volatile storage unit 132 when the power (not shown) of the signal processing apparatus 10 is turned on or reset, and starts executing the signal processing program 134a. To do. The signal processing program 134a is a program that causes the control unit 100 to execute the specific processing SA100 and the comparison processing SA110 in the flowchart illustrated in FIG. That is, the control unit 100 operating according to the signal processing program 134a functions as a specifying unit 100a (see FIG. 1) that executes the specifying process SA100 and a comparing unit 100b (see FIG. 1) that executes the comparison process SA110. The roles of these means (in other words, the contents of the specific process SA100 and the comparison process SA110) are as follows.

特定手段１００ａは、信号取得手段（外部機器Ｉ／Ｆ部１２０）により取得された第１の信号（すなわち、センサ２０の出力信号）を解析して演奏動作の為されたタイミング（以下、演奏タイミング）を特定する。特定手段１００ａにおける演奏タイミングの特定態様については種々の態様が考えられる。例えば、第１の信号のエンベロープ（包絡線）の振幅が第１の閾値未満である場合を無音状態とし、当該振幅が当該第１の閾値以上となった時刻を演奏タイミングとする態様や、上記エンベロープがピークとなった時刻（すなわち、上記エンベロープの振幅が増加から減少に転じた時刻）を演奏タイミングとする態様が考えられる。なお、第１の信号のエンベロープの算出アルゴリズムについては、ローパスフィルタ処理などの既存のアルゴリズムを用いれば良く、上記第１の閾値やローパスフィルタ処理におけるカットオフ周波数については、演奏対象の楽器の音域等に応じて定めるようにすれば良い。 The specifying unit 100a analyzes the first signal (that is, the output signal of the sensor 20) acquired by the signal acquisition unit (external device I / F unit 120) and performs a performance operation (hereinafter, performance timing). ). Various modes can be considered for the specific mode of the performance timing in the specifying unit 100a. For example, when the amplitude of the envelope (envelope) of the first signal is less than the first threshold value, the silent state is set, and the time when the amplitude is equal to or higher than the first threshold value is set as the performance timing, A mode in which the time at which the envelope reaches a peak (that is, the time at which the amplitude of the envelope changes from increasing to decreasing) is used as the performance timing is conceivable. The algorithm for calculating the envelope of the first signal may be an existing algorithm such as low-pass filter processing. The cut-off frequency in the first threshold value or low-pass filter processing may be the sound range of the musical instrument to be played. It may be determined according to.

比較手段１００ｂは、特定手段１００ａにより特定された演奏タイミングを含む所定時間長の時間区間（当該演奏タイミングを始点または終点とする区間、或いは当該演奏タイミングを中点とするなど当該演奏タイミングを内包する時間区間）における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較し、その比較結果を示す信号（以下、比較結果信号）を生成する。ここで比較対象の特徴量としてどのようなものを用いるかなど、比較手段１００ｂにおける比較態様については種々の態様が考えられる。具体的には、以下の（ａ）〜（ｄ）の各態様が挙げられる。 The comparison unit 100b includes the performance timing including the performance timing identified by the identification unit 100a (a section having the performance timing as a start point or an end point, or having the performance timing as a midpoint). The feature quantity of the waveform of the first signal in the time interval) is compared with the feature quantity of the waveform of the second signal, and a signal indicating the comparison result (hereinafter referred to as a comparison result signal) is generated. Here, various modes can be considered for the comparison mode in the comparison unit 100b, such as what is used as the feature quantity to be compared. Specifically, the following aspects (a) to (d) are exemplified.

（ａ）第１に、上記時間区間内の各時刻における第１の信号の振幅と第２の信号の振幅を上記特徴量とし、両者の比（第１の信号の振幅を第２の信号の振幅で除した値）を算出して所定の閾値と比較する態様が考えられる。本実施形態では、この態様（ａ）が採用されている。本実施形態の比較手段１００ｂは、第１の信号の振幅と第２の信号の振幅の比が上記閾値を上回っている場合には値が１の比較結果信号を生成し、上記閾値以下である場合には値が０の比較結果信号を生成する。そして、制御部１００は、値が０の比較結果信号が上記比較手段により生成された場合には、力んでいる（或いは疲れている）旨を演奏者に報知するメッセージ（或いはリラックスを促すメッセージ）を表示部に表示させる一方、値が１の比較結果信号が生成された場合にはメッセージの表示を行わない。つまり、制御部１００は比較手段１００ｂにより生成された比較結果信号に応じた報知を行う報知手段としても機能する。 (A) First, the amplitude of the first signal and the amplitude of the second signal at each time in the time interval are used as the feature amount, and the ratio between them (the amplitude of the first signal is the second signal's amplitude). A mode in which the value divided by the amplitude is calculated and compared with a predetermined threshold value is conceivable. In this embodiment, this aspect (a) is adopted. The comparison unit 100b of the present embodiment generates a comparison result signal having a value of 1 when the ratio of the amplitude of the first signal and the amplitude of the second signal exceeds the threshold value, and is equal to or less than the threshold value. In this case, a comparison result signal having a value of 0 is generated. Then, when a comparison result signal having a value of 0 is generated by the comparison means, the control unit 100 notifies the player that he / she is working (or tired) (or a message prompting relaxation). Is displayed on the display unit, but when a comparison result signal having a value of 1 is generated, no message is displayed. That is, the control unit 100 also functions as a notification unit that performs notification according to the comparison result signal generated by the comparison unit 100b.

第１の信号の振幅と第２の信号の振幅の比が上記閾値以下となる要因としては演奏音の音量が小さい割に演奏者の筋肉が張っていることが挙げられる。そして、筋肉の張の原因としては力みや疲労が考えられる。このため本実施形態では、第１の信号の振幅と第２の信号の振幅の比が上記閾値以下となっている場合に、リラックスを促すメッセージ等の出力が行われるのである。なお、上記閾値の具体的な値については適宜実験を行って定めるようにすれば良い。また、値が０の比較結果信号が生成された場合にメッセージ出力を行うのではなく、値が１の比較結果信号が生成された場合にメッセージ出力（例えば、演奏音が必要以上に大きいことを報知するメッセージの出力）を行うようにしても良い。 A factor that causes the ratio of the amplitude of the first signal to the amplitude of the second signal to be equal to or less than the above threshold is that the performer's muscles are stretched even though the volume of the performance sound is small. And the cause of muscle tension may be strength and fatigue. For this reason, in this embodiment, when the ratio between the amplitude of the first signal and the amplitude of the second signal is equal to or less than the threshold value, a message or the like for prompting relaxation is output. It should be noted that the specific value of the threshold value may be determined by performing experiments as appropriate. In addition, when a comparison result signal with a value of 0 is generated, a message is not output, but when a comparison result signal with a value of 1 is generated, a message is output (for example, the performance sound is louder than necessary). (Output of a message to be notified) may be performed.

（ｂ）比較手段１００ｂにおける比較態様の第２の具体例としては、第１の信号がピークとなった時刻と第２の信号がピークとなった時刻を比較対象の特徴量とし、両者の時間差（後者に対する前者の遅れ）を所定の閾値と比較してその比較結果に応じた比較結果信号を生成する態様が挙げられる。具体的には比較手段１００ｂは、上記時間差が所定の閾値を上回っている場合には値が１の比較結果信号を生成し、上記時間差が所定の閾値以下であれば値が０の比較結果信号を生成する。この態様において値が１の比較結果信号が生成された場合には、制御部１００は、筋肉の動きに対して発音が遅れていること（すなわち、演奏の効率が悪いこと）を報知するメッセージを表示部に表示させる。本態様における閾値の具体的な値についても適宜実験を行って定めるようにすれば良い。 (B) As a second specific example of the comparison mode in the comparison unit 100b, the time when the first signal reaches the peak and the time when the second signal reaches the peak are used as feature quantities to be compared, and the time difference between the two A mode in which (the former delay with respect to the latter) is compared with a predetermined threshold value and a comparison result signal corresponding to the comparison result is generated. Specifically, the comparison unit 100b generates a comparison result signal having a value of 1 when the time difference exceeds a predetermined threshold value, and a comparison result signal having a value of 0 when the time difference is equal to or less than the predetermined threshold value. Is generated. When a comparison result signal having a value of 1 is generated in this aspect, the control unit 100 issues a message notifying that the pronunciation is delayed with respect to the movement of the muscle (that is, the performance efficiency is poor). Display on the display. The specific value of the threshold value in this aspect may be determined by performing an appropriate experiment.

（ｃ）比較手段１００ｂにおける比較態様の第３の具体例としては、第１の信号の傾斜（第１の信号の振幅がピークに達するまでの当該第１の信号の振幅についての時間勾配）と第２の信号の傾斜を比較対象の特徴量とし、両者の比（すなわち、前者を後者で除した値）を所定の閾値と比較してその比較結果に応じた比較結果信号を生成する態様が挙げられる。この態様においても、比較手段１００ｂは、上記比が所定の閾値を上回っている場合には値が１の比較結果信号を生成し、上記比が所定の閾値以下であれば値が０の比較結果信号を生成する。本態様における閾値の具体的な値についても適宜実験を行って定めるようにすれば良い。 (C) As a third specific example of the comparison mode in the comparison unit 100b, the slope of the first signal (time gradient with respect to the amplitude of the first signal until the amplitude of the first signal reaches the peak) and A mode in which the slope of the second signal is used as a feature quantity to be compared, the ratio between the two (that is, the value obtained by dividing the former by the latter) is compared with a predetermined threshold value, and a comparison result signal corresponding to the comparison result is generated. Can be mentioned. Also in this aspect, the comparison unit 100b generates a comparison result signal having a value of 1 when the ratio exceeds a predetermined threshold value, and compares the result of 0 when the ratio is equal to or less than the predetermined threshold value. Generate a signal. The specific value of the threshold value in this aspect may be determined by performing an appropriate experiment.

上記比が大きくなる要因としては、演奏音のメリハリに比較して演奏動作のメリハリが欠けること（すなわち、演奏動作がシャープさに欠け、鈍っていること）が挙げられる。また、上記比が小さくなる要因としては、楽器そのものの調整ができていないなど楽器に不具合があることが想定される。そこで、本態様において値が１の比較結果信号が生成された場合に演奏動作が鈍っていることを報知するメッセージを表示部に表示させる処理を制御部１００に実行させるようにしても良く、逆に、値が０の比較結果信号が生成された場合に楽器の不具合を報知するメッセージを表示部に表示させる処理を制御部１００に実行させても良い。なお、演奏音のメリハリと演奏動作のメリハリの比較評価の他の態様としては、信号の傾斜に代えて信号の半値幅（信号の振幅値がピーク値の半分となった時から、ピークとなって、再び振幅値がピーク値の半分へ戻るまでの時間間隔）を用いる態様や、波形の面積（ピーク値付近の面積、具体的には、ピークを挟む所定時間の面積、或いはピーク直前の所定時間の面積）を用いる態様が考えられる。 As a factor that increases the ratio, there is a lack of sharpness in performance performance compared to sharpness in performance sound (that is, performance performance is not sharp and dull). In addition, as a factor for the reduction of the ratio, it is assumed that the musical instrument has a problem such as that the musical instrument itself cannot be adjusted. Therefore, in this aspect, when a comparison result signal having a value of 1 is generated, the control unit 100 may be caused to execute a process of displaying a message for notifying that the performance operation is dull on the display unit. In addition, when the comparison result signal having a value of 0 is generated, the control unit 100 may execute a process of displaying a message for notifying the malfunction of the musical instrument on the display unit. In addition, as another aspect of the comparative evaluation of the sharpness of the performance sound and the sharpness of the performance action, instead of the slope of the signal, the half width of the signal (from the time when the amplitude value of the signal becomes half of the peak value, the peak is reached. Thus, an aspect using a time interval until the amplitude value returns to half of the peak value again, an area of the waveform (an area near the peak value, specifically, an area for a predetermined time sandwiching the peak, or a predetermined time immediately before the peak) An embodiment using the area of time) is conceivable.

（ｄ）上記（ａ）〜（ｃ）の各態様では、第１の信号の波形と第２の信号の波形を時間軸上で比較したが、両信号の波形の比較を周波数軸で行っても勿論良い。例えば、周波数帯域を区切って（例えば低域だけに区切って)、ピーク値、傾斜、面積等を比較するといった具合である。演奏対象の楽器がバスドラムとスネアドラムとを含むドラムセットである場合、演奏音の音高を特定できれば演奏動作を推測できるので、演奏動作についての推測結果から閾値、分析帯域等を変化させるようにしても良い。バスドラムとスネアドラムとでは演奏動作が大きく異なるので、各々に適した比較評価態様（或いは閾値）を採用することが好ましいからである。また、演奏者の身体の複数の箇所にセンサ３０Ａを装着し、演奏動作に関連する部位（スネアドラムに対する演奏動作であると推測された場合には腕、バスドラムに対する演奏動作であると推測された場合には脚など）に装着されたセンサ３０Ａの出力信号の波形と演奏音の波形との比較を行うようにしても良い。また、演奏動作とは無関係な部位に装着されたセンサ３０Ａの出力波形を評価対象とし、演奏動作とは無関係な部位に余分な力が入っていないかを評価するようにしても良い。
以上が信号処理装置１０の構成である。 (D) In each of the above aspects (a) to (c), the waveform of the first signal and the waveform of the second signal are compared on the time axis, but the waveforms of both signals are compared on the frequency axis. Is of course good. For example, the frequency band is divided (for example, divided only into the low band), and the peak value, inclination, area, and the like are compared. If the musical instrument to be played is a drum set including a bass drum and a snare drum, the performance action can be estimated if the pitch of the performance sound can be specified, so that the threshold, analysis band, etc. are changed from the estimation result of the performance action. Anyway. This is because the performance performance is greatly different between the bass drum and the snare drum, and it is preferable to adopt a comparative evaluation mode (or threshold value) suitable for each. Further, the sensors 30A are attached to a plurality of locations on the performer's body, and if related to the performance operation (when it is estimated that the performance operation is performed on the snare drum, it is estimated that the performance operation is performed on the arm and bass drum). In this case, the waveform of the output signal of the sensor 30A attached to a leg or the like may be compared with the waveform of the performance sound. Further, the output waveform of the sensor 30A attached to a part unrelated to the performance operation may be used as an evaluation target, and it may be evaluated whether an extra force is applied to the part unrelated to the performance action.
The above is the configuration of the signal processing apparatus 10.

図３（Ａ）は、本実施形態の動作例を示す図である。前述したように、本実施形態における演奏対象の楽器はアコースティックドラムであり、当該アコースティックドラムに対する演奏動作（すなわち、スティック等によるヘッドの打撃）が為されると、その演奏音がセンサ２０によって検出される。特定手段１００ａは、信号取得手段により取得した第１の信号（センサ２０の出力信号）から演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較し、比較結果信号を生成する。 FIG. 3A is a diagram illustrating an operation example of the present embodiment. As described above, the musical instrument to be played in the present embodiment is an acoustic drum, and when a performance operation is performed on the acoustic drum (that is, the head is hit with a stick or the like), the performance sound is detected by the sensor 20. The The specifying unit 100a specifies the performance timing from the first signal (the output signal of the sensor 20) acquired by the signal acquisition unit, and the comparison unit 100b determines the first signal in a predetermined time length including the performance timing. The feature quantity of the waveform is compared with the feature quantity of the waveform of the second signal, and a comparison result signal is generated.

前述したように本実施形態では、比較手段１００ｂにおける比較態様として（ａ）の態様が採用されており、制御部１００は、値が０の比較結果信号が比較手段１００ｂにより生成された場合に、力んでいる旨等を報知するメッセージ（或いはリラックスを促すメッセージ）を表示部に表示させる。演奏者は、このメッセージを視認することで、無意識のうちに力んでいること（或いは疲労していること）を把握し、リラックスを心がけるなど身体状態をより好ましい状態にすることができる。なお、上記メッセージの出力に加えて（或いは、メッセージの出力に代えて）、第１の信号と第２の信号の波形を時間軸を揃えて表示部に表示させても良く、この場合、図３（Ｂ）に示すように、各波形を各々のピーク値で正規化して（すなわち、ピーク値が１などの所定値となるように各波形の振幅を調整して）表示部に表示させても良い。演奏タイミングの前後において、どのように筋肉の張り具合が変化しているかを表示することでインパクトの瞬間にだけ力がはいっているか、緊張して力がはいっていないか、疲れていないかを視覚を通じて演奏者に把握させることが可能になるからである。 As described above, in the present embodiment, the aspect (a) is adopted as the comparison aspect in the comparison unit 100b, and the control unit 100 is configured such that when the comparison result signal having a value of 0 is generated by the comparison unit 100b, A message (or a message prompting relaxation) notifying that the user is working is displayed on the display unit. By visually recognizing this message, the performer can grasp that he / she is unconsciously struggling (or is tired) and can make his / her physical condition more favorable, such as trying to relax. In addition to the output of the message (or in place of the output of the message), the waveforms of the first signal and the second signal may be displayed on the display unit with the time axis aligned. As shown in FIG. 3B, each waveform is normalized by its peak value (ie, the amplitude of each waveform is adjusted so that the peak value becomes a predetermined value such as 1) and displayed on the display unit. Also good. By showing how the muscle tension changes before and after the performance timing, you can see whether the force is applied only at the moment of impact, whether you are nervous and not tired, or you are not tired It is because it becomes possible to make a performer grasp through.

本実施形態では、演奏者の演奏動作に応じて演奏対象の楽器から発せられる演奏音を検出し、その演奏音の時間波形を示す信号を出力する第１のセンサとして、マイクロフォンを用いたがその楽器の発音機構（打楽器であればヘッド、弦楽器であれば弦）の振動を検出する振動センサを用いても良い。また、演奏対象の楽器が電子楽器であれば、その電子楽器に搭載されたキースイッチ（感圧センサなど）を用いた速度センサを上記演奏音検出用のセンサとして用い、当該センサに割り当てられたノート番号および当該センサの出力するベロシティ値を、演奏音を表す信号として用いても良い。また、演奏対象の楽器がアコースティックピアノであれば、光学式センサによる速度センサ（グレースケール板にレーザを透過させる）等を演奏音検出用のセンサとして用いることが考えられる。演奏動作に応じて演奏者の身体状態を示す第２の信号を出力する第２のセンサについても同様に、演奏者の腕の筋肉の張を検出する歪みセンサに代えて、演奏者の腕の加速度を検出する加速度センサや、スティック等に内蔵された加速度センサ、又は衝撃センサを用いても良く、演奏者の姿勢やその変化を検出するために演奏者の身体の１または複数の部位に装着されるジャイロセンサであっても良い。 In the present embodiment, a microphone is used as a first sensor that detects a performance sound emitted from a musical instrument to be performed in accordance with a performance action of a performer and outputs a signal indicating a time waveform of the performance sound. You may use the vibration sensor which detects the vibration of the sound generation mechanism of a musical instrument (a head for a percussion instrument, a string for a stringed instrument). Further, if the musical instrument to be played is an electronic musical instrument, a speed sensor using a key switch (such as a pressure-sensitive sensor) mounted on the electronic musical instrument is used as the sensor for detecting the performance sound and assigned to the sensor. You may use a note number and the velocity value which the said sensor outputs as a signal showing a performance sound. If the musical instrument to be played is an acoustic piano, it is conceivable to use a speed sensor by an optical sensor (transmitting a laser through a gray scale plate) or the like as a sensor for detecting a performance sound. Similarly, the second sensor that outputs the second signal indicating the player's physical state in accordance with the performance action similarly replaces the strain sensor that detects the muscle tension of the player's arm. An acceleration sensor that detects acceleration, an acceleration sensor built in a stick, etc., or an impact sensor may be used, and it is attached to one or more parts of the player's body to detect the player's posture and changes. It may be a gyro sensor.

このように本実施形態によれば、楽器を演奏中の演奏者の身体状態（筋肉の張として現れる疲労や緊張）の評価を行い、適切な身体状態で演奏できているかを評価することが可能になる。 As described above, according to the present embodiment, it is possible to evaluate the physical condition (fatigue and tension appearing as muscle tension) of the performer who is playing the musical instrument, and to evaluate whether or not the performance is performed in an appropriate physical condition. become.

（Ｂ：第２実施形態）
図４は、本発明の第２実施形態の信号処理システムの構成例を示す図である。
本実施形態における演奏対象の楽器は第１実施形態と同様にアコースティックドラムである。図４と図１とを対比すれば明らかなように、本実施形態では、センサ３０Ａに代えてセンサ３０Ｂが信号処理装置１０の外部機器Ｉ／Ｆ部１２０に接続されており、この点が第１実施形態と異なる。センサ３０Ｂは、第１実施形態におけるセンサ３０Ａと同様に、上記アコースティックドラムに対する演奏動作に応じて演奏者の身体状態を表す第２の信号を出力するセンサである。センサ３０Ｂは、上記アコースティックドラムのヘッドを打撃するためのスティックに内蔵された加速度センサである。 (B: Second embodiment)
FIG. 4 is a diagram illustrating a configuration example of a signal processing system according to the second embodiment of the present invention.
The musical instrument to be played in this embodiment is an acoustic drum as in the first embodiment. As is clear from the comparison between FIG. 4 and FIG. 1, in this embodiment, the sensor 30B is connected to the external device I / F unit 120 of the signal processing device 10 instead of the sensor 30A. Different from one embodiment. Similar to the sensor 30A in the first embodiment, the sensor 30B is a sensor that outputs a second signal representing the player's physical state in response to a performance operation on the acoustic drum. The sensor 30B is an acceleration sensor built in the stick for hitting the head of the acoustic drum.

演奏対象の楽器（アコースティックドラム）に対して演奏動作（すなわち、スティックによるヘッドの打撃）が為されると、その演奏音がセンサ２０によって検出される。特定手段１００ａは、第１の信号（センサ２０の出力信号）から演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較して比較結果信号を生成する。制御部１００は、比較結果信号に応じた報知（例えば、メッセージ出力）を行うとともに、第１の信号および第２の信号の波形を表示部に表示させる。 When a performance operation (that is, hitting the head with a stick) is performed on the musical instrument (acoustic drum) to be performed, the performance sound is detected by the sensor 20. The specifying unit 100a specifies the performance timing from the first signal (the output signal of the sensor 20), and the comparison unit 100b and the characteristic amount of the waveform of the first signal in the time interval of the predetermined time length including the performance timing. The comparison result signal is generated by comparing the feature amount of the waveform of the second signal. The control unit 100 performs notification (for example, message output) according to the comparison result signal, and displays the waveforms of the first signal and the second signal on the display unit.

図５は、表示部に表示される第１の信号および第２の信号の波形の一例を示す図である。なお、図５では鉛直下向きの加速度を正の加速度としている。図５に示すように、スティックの加速度は打撃直後に反転する。ドラム演奏の良し悪しを評価する１つの観点として、打撃前後のスティックの動きが挙げられる。例えば、スティックのリバウンドを最大限に利用する演奏（すなわち、打撃前後の加速度の山の高さと谷の深さがほぼ等しくなるような演奏）は、脱力の観点から良いとされている。本実施形態によれば、演奏タイミング前後のスティックの加速度の大きさを視覚化することで上記評価を行い易くなる。また、演奏者は演奏タイミング前後のスティックの加速度の大きさを視覚を通じて把握することで、自身の身体状態を把握することができる。 FIG. 5 is a diagram illustrating an example of waveforms of the first signal and the second signal displayed on the display unit. In FIG. 5, the vertical downward acceleration is defined as a positive acceleration. As shown in FIG. 5, the acceleration of the stick is reversed immediately after hitting. One aspect of evaluating the quality of drum performance is the movement of the stick before and after hitting. For example, a performance that makes full use of stick rebound (that is, a performance in which the height of the acceleration peaks and the depth of the valleys before and after hitting are substantially equal) is considered good from the viewpoint of weakness. According to this embodiment, it becomes easy to perform the evaluation by visualizing the magnitude of the stick acceleration before and after the performance timing. Also, the performer can grasp his / her physical condition by visually grasping the magnitude of the stick acceleration before and after the performance timing.

このように本実施形態によっても、前述した第１実施形態と同様に、楽器を演奏中の演奏者の身体状態の評価を行うことが可能になる。なお、スティックの加速度の大きさ（絶対値）は、打撃後のほうが大きい場合もあるので、打撃前後の加速度の絶対値を比較することで打撃の仕方を解析するようにしても良い。また、本実施形態では、演奏者の身体状態を検出するためのセンサ（演奏動作に伴ってスティックに生じる加速度を検出するためのセンサ）としてスティックに内蔵された加速度センサを用いたが、演奏者の手首や手の甲等に装着される加速度センサを用いても勿論良い。 As described above, according to the present embodiment, it is possible to evaluate the physical condition of a player who is playing a musical instrument, as in the first embodiment described above. In addition, since the magnitude (absolute value) of the acceleration of the stick may be larger after the impact, the manner of impact may be analyzed by comparing the absolute values of the acceleration before and after the impact. In the present embodiment, the acceleration sensor built in the stick is used as a sensor for detecting the physical state of the performer (a sensor for detecting acceleration generated in the stick in accordance with the performance operation). Of course, an acceleration sensor attached to the wrist or back of the hand may be used.

（Ｃ：第３実施形態）
図６は、本発明の第３実施形態の信号処理システムの構成例を示す図である。
図６と図１とを対比すれば明らかなように、本実施形態では、センサ２０およびセンサ３０Ａの他に調整手段４０が信号処理装置１０の外部機器Ｉ／Ｆ部１２０に接続されており、この点が第１実施形態と異なる。調整手段４０は、演奏動作の大きさと演奏音の音量が釣り合ってないこと（具体的には演奏動作の大きさの割に演奏音の音量が低いこと、或いはその逆）を示す比較結果信号を比較手段１００ｂから受け取ったことを契機として、以降の演奏音の音量を調整する。例えば、演奏動作の大きさに比較して音量が低い場合には調整手段４０は演奏音の音量を増加させ、逆に、演奏動作の大きさに比較して音量が高い場合には調整手段４０は演奏音の音量を低減させる、といった具合である。なお、演奏音を増加（或いは低減）させる際の調整量については、適宜実験等を行って定めるようにすれば良い。 (C: Third embodiment)
FIG. 6 is a diagram illustrating a configuration example of a signal processing system according to the third embodiment of the present invention.
As apparent from a comparison between FIG. 6 and FIG. 1, in the present embodiment, in addition to the sensor 20 and the sensor 30 </ b> A, the adjusting means 40 is connected to the external device I / F unit 120 of the signal processing device 10. This is different from the first embodiment. The adjustment means 40 outputs a comparison result signal indicating that the performance performance volume and the performance sound volume are not balanced (specifically, the performance sound volume is low for the performance performance volume, or vice versa). The volume of subsequent performance sounds is adjusted with the reception from the comparison means 100b as an opportunity. For example, the adjusting means 40 increases the volume of the performance sound when the volume is low compared to the magnitude of the performance action, and conversely, the adjustment means 40 when the volume is high compared to the magnitude of the performance action. Is to reduce the volume of the performance sound. Note that the adjustment amount for increasing (or decreasing) the performance sound may be determined by performing experiments or the like as appropriate.

調整手段４０としてどのようなものを用いるかについては、演奏対象の楽器に応じて定めれば良い。例えば演奏対象の楽器がアコースティックピアノである場合には、ハンマーの動きを補填或いは抑制するアクチュエータや、響板の振動を補填或いは抑圧するアクチュエータを調整手段４０として用いるようにすれば良い。また、演奏対象の楽器がＭＩＤＩ音源などの電子音源を利用した電子楽器である場合には、当該電子音源から出力されるオーディオ信号の振幅を増幅或いは抑制するアンプを調整手段４０として用いるようにすれば良い。以下、演奏対象の楽器がアコースティックピアノであり、調整手段４０が響板の振動を補填或いは抑制するアクチュエータであるとともに、比較手段１００ｂにおける比較態様として（ａ）の態様が採用されている場合を例にとって、本実施形態の動作を説明する。 What is used as the adjusting means 40 may be determined according to the musical instrument to be played. For example, when the musical instrument to be played is an acoustic piano, an actuator that compensates or suppresses the movement of the hammer or an actuator that compensates or suppresses the vibration of the soundboard may be used as the adjusting means 40. When the musical instrument to be played is an electronic musical instrument using an electronic sound source such as a MIDI sound source, an amplifier that amplifies or suppresses the amplitude of the audio signal output from the electronic sound source is used as the adjusting means 40. It ’s fine. Hereinafter, an example in which the musical instrument to be played is an acoustic piano, the adjustment means 40 is an actuator that compensates or suppresses vibrations of the soundboard, and the aspect (a) is adopted as a comparison aspect in the comparison means 100b. Therefore, the operation of this embodiment will be described.

演奏対象の楽器に対して演奏動作（すなわち、鍵の押下）が為されると、その演奏操作に応じて放射された音がセンサ２０によって検出される。特定手段１００ａは、第１の信号（センサ２０の出力信号）を解析して演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較して比較結果信号を生成する。本実施形態では比較手段１００ｂにおける比較態様として、第１実施形態と同様に（ａ）の態様が採用されている。一般に、「演奏音の音量」と「歪みセンサによる検出出力」の比（前者を後者で除した値）は、演奏者が疲労することで徐々に小さい方へシフトする等、長い演奏の間で徐々に変化すると考えられる。したがって、上記比較結果信号の値は演奏開始当初は１で、演奏の継続に伴って何れかのタイミングで０に変化すると考えられる。 When a performance action is performed on the musical instrument to be played (that is, a key is pressed), a sound emitted in response to the performance operation is detected by the sensor 20. The specifying unit 100a analyzes the first signal (the output signal of the sensor 20) to specify the performance timing, and the comparison unit 100b is a characteristic of the waveform of the first signal in a time section having a predetermined time length including the performance timing. The comparison result signal is generated by comparing the quantity and the feature quantity of the waveform of the second signal. In the present embodiment, the aspect (a) is employed as the comparison aspect in the comparison means 100b, as in the first embodiment. In general, the ratio of “performance sound volume” to “detection output by distortion sensor” (the value obtained by dividing the former by the latter) is gradually changed to a smaller value as the player becomes tired. It seems to change gradually. Therefore, it is considered that the value of the comparison result signal is 1 at the beginning of the performance and changes to 0 at any timing as the performance is continued.

比較結果信号の値が１から０に変化すると、制御部１００は、演奏者の身体に加わった力の大きさの割に演奏音の音量が小さいと判定し、以降の演奏音の音量を補填するように調整手段４０の作動制御を行う。このような音量の補填と並列に、制御部１００は、疲労が見受けられることを報知するメッセージを表示部に表示させても良い。演奏者の疲労により充分な音量が得られていないと考えられるからである。なお、演奏技術の未熟さや演奏者の非力さ等に起因して演奏者が指先の関節を充分に固めることができない場合も同様の現象が発生するので、演奏技術の未熟さや演奏者の非力さを指摘するメッセージを出力するようにしても良く、また、図７に示すように打鍵強度を示すグラフを表示部に表示させても良い。なお、演奏の音量が高くなってきた場合（演奏者の演奏が復帰してきた場合）には、演奏音の補填を停止するように調整手段４０の作動制御を行えば良いことは言うまでもない。また、ユーザＩ／Ｆ部１１０に対する操作（以下、停止指示操作）に応じて、調整手段４０による調整を停止しても良い。このような停止指示操作を行う前後の音量を比較することで、演奏者は自身の疲労（或いは未熟さ）を把握することができるからである。 When the value of the comparison result signal changes from 1 to 0, the control unit 100 determines that the volume of the performance sound is small relative to the magnitude of the force applied to the performer's body, and compensates for the volume of the subsequent performance sound. Thus, the operation of the adjusting means 40 is controlled. In parallel with such volume compensation, the control unit 100 may display a message notifying that fatigue is found on the display unit. This is because it is considered that sufficient volume is not obtained due to the fatigue of the performer. Note that the same phenomenon occurs when the performer cannot sufficiently tighten the joints of the fingertips due to imperfection of the performance technique or the weakness of the performer. A message indicating the keystroke strength may be output, and a graph indicating the keystroke strength may be displayed on the display unit as shown in FIG. Needless to say, when the volume of the performance is increased (when the performance of the performer is restored), the operation of the adjusting means 40 may be controlled so as to stop the compensation of the performance sound. Further, the adjustment by the adjusting unit 40 may be stopped in accordance with an operation (hereinafter referred to as a stop instruction operation) on the user I / F unit 110. This is because the performer can grasp his / her fatigue (or immaturity) by comparing the volume before and after performing the stop instruction operation.

このように本実施形態によれば、楽器を演奏中の演奏者の身体状態を評価することが可能になるとともに、その評価結果に応じた演奏補助を行うことが可能になる。本実施形態では、楽器を演奏中の演奏者の身体状態の評価結果に応じて演奏音の音量を補填する場合について説明した。しかし、演奏対象の楽器が電子楽器である場合には、アタック感が少ない場合にアタック感を高める（或いはアタック感が過剰である場合にアタック感を弱める）調整を調整手段４０に行わせても良い。具体的には、調整手段４０として、演奏操作に応じて生成されたベロシティ値を比較手段１００ｂの出力信号に応じてより大きな値（或いは小さな値）に補正する手段を用いるようにすれば良い。 As described above, according to the present embodiment, it is possible to evaluate the physical condition of a player who is playing a musical instrument, and to perform performance assistance according to the evaluation result. In the present embodiment, the case where the volume of the performance sound is compensated according to the evaluation result of the physical condition of the performer who is playing the musical instrument has been described. However, when the musical instrument to be played is an electronic musical instrument, the adjustment means 40 may be adjusted to increase the attack feeling when the attack feeling is small (or to weaken the attack feeling when the attack feeling is excessive). good. Specifically, a means for correcting the velocity value generated according to the performance operation to a larger value (or a smaller value) according to the output signal of the comparison means 100b may be used as the adjusting means 40.

（Ｃ：変形）
以上本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上記各実施形態の信号処理装置１０はユーザＩ／Ｆ部１１０を有していたが、ユーザＩ／Ｆ部１１０の役割を果たす入力装置や表示装置を外部機器Ｉ／Ｆ部１２０に接続し、ユーザＩ／Ｆ部１１０を省略しても良い。また、上記各実施形態では、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサ（センサ２０）と、演奏者の演奏動作に応じて当該演奏者の身体状態を表す第２の信号を出力する第２のセンサ（センサ３０Ａ或いはセンサ３０Ｂ）とが各々信号線を介して信号処理装置１０に接続されていた。しかし、外部機器Ｉ／Ｆ部１２０に代えてＮＩＣ（Network Interface Card）などの通信Ｉ／Ｆ部を信号取得手段として用い、この信号取得手段をインターネットなどの電気通信回線に接続しておくとともに、第１および第２のセンサを当該電気通信回線に接続しておいても良い。つまり、電気通信回線経由で第１および第２のセンサの出力信号を信号処理装置１０に入力するようにしても良い。この場合、比較手段１００ｂにより生成された比較結果信号を上記電気通信回線を介して他の表示装置へ送信し、その表示装置に評価画面を表示させても良い。このような態様によれば、楽器の演奏者の身体状態の評価を電気通信回線経由で行うＡＳＰ（Application Service Provider）方式のサービスを提供することが可能になる。なお、上記電気通信回線は有線の通信回線に限られず、無線通信回線であっても勿論良い。 (C: deformation)
Although each embodiment of the present invention has been described above, it goes without saying that the following modifications may be added to these embodiments.
(1) Although the signal processing device 10 of each of the above embodiments has the user I / F unit 110, an input device or a display device that plays the role of the user I / F unit 110 is used as the external device I / F unit 120. The user I / F unit 110 may be omitted by connecting. In each of the above embodiments, a first sensor (sensor 20) that detects a performance sound emitted from a musical instrument in accordance with a performance performance of the performer and outputs a first signal representing the performance sound, and the performer's performance. A second sensor (sensor 30A or sensor 30B) that outputs a second signal representing the physical state of the performer in accordance with the performance action is connected to the signal processing device 10 via a signal line. However, instead of the external device I / F unit 120, a communication I / F unit such as a NIC (Network Interface Card) is used as a signal acquisition unit, and the signal acquisition unit is connected to an electric communication line such as the Internet. The first and second sensors may be connected to the telecommunications line. That is, the output signals of the first and second sensors may be input to the signal processing device 10 via the telecommunication line. In this case, the comparison result signal generated by the comparison unit 100b may be transmitted to another display device via the telecommunication line, and the evaluation screen may be displayed on the display device. According to such an aspect, it is possible to provide an ASP (Application Service Provider) type service that performs an evaluation of the physical condition of a musical instrument player via an electric communication line. The electric communication line is not limited to a wired communication line, but may be a wireless communication line.

（２）上記各実施形態では、本発明の信号処理装置の具体例としてパーソナルコンピュータを挙げたが、第１および第２のセンサを直接（或いは電気通信回線経由）で接続可能で、かつプログラム実行機能を有するハードウェアであれば良く、具体的には家庭用ゲーム機でも良く、携帯型ゲーム機やプログラム実行機能を備えた携帯電話機（例えばスマートフォンなど）などの携帯端末であっても良い。また、上記各実施形態では、上記第１および第２のセンサと信号処理装置１０とが夫々別個のハードウェアであったが、上記第１および第２のセンサの何れか一方或いは両方と信号処理装置１０とが一体のハードウェアであっても良い。この場合、当該ハードウェアの内部Ｉ／Ｆ部（制御部と他の構成要素のデータ授受を仲介するＩ／Ｆ部）と当該内部Ｉ／Ｆ部に接続された第１および第２のセンサとが信号取得手段の役割を果たす。このようなハードウェアの具体例としては、加速度センサを備え、信号処理プログラム１３４ａがインストールされたスマートフォンが挙げられる。このようなスマートフォンを信号処理装置１０として利用する場合には、当該スマートフォンのマイクロフォンを上記第１のセンサとして用い、上記加速度センサを上記第２のセンサとして用いるようにすれば良い。 (2) In each of the above embodiments, a personal computer is given as a specific example of the signal processing apparatus of the present invention. However, the first and second sensors can be connected directly (or via a telecommunication line) and the program is executed. It may be hardware having a function, specifically, a home game machine, or a portable terminal such as a portable game machine or a mobile phone (for example, a smartphone) having a program execution function. In each of the above embodiments, the first and second sensors and the signal processing device 10 are separate hardware, but either one or both of the first and second sensors and signal processing are used. Hardware integrated with the apparatus 10 may be used. In this case, the internal I / F unit (I / F unit that mediates data exchange between the control unit and other components) of the hardware and the first and second sensors connected to the internal I / F unit Serves as a signal acquisition means. A specific example of such hardware is a smartphone that includes an acceleration sensor and in which the signal processing program 134a is installed. When such a smartphone is used as the signal processing device 10, the microphone of the smartphone may be used as the first sensor and the acceleration sensor may be used as the second sensor.

（３）上記第１および第２実施形態では、楽器を演奏中の演奏者の身体状態の評価を演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号及び当該演奏者の身体状態を表す第２の信号の両方をリアルタイムで取得して行う場合について説明したが、第１の信号と第２の信号のどちらか一方をハードディスク等の記憶装置に記憶させておき、記憶装置に記憶されていない方の信号を演奏中にリアルタイムで取得して評価してもよい。演奏によって発せられる音や演奏時の体の使い方はユーザの癖のようになっているケースもあり、どちらか一方を予め取得しておいても本願の効果を得ることができる。具体的には、予めドラムの打音のデータを取得しておき、その打音に合わせながら演奏をし、その際の演奏者の身体状態をリアルタイムに取得して、評価は予め取得したドラムの打音のデータとリアルタイムの身体状態のデータで行うものである。予め取得していたデータを用いるので、リアルタイムでの処理の負担を軽減できる。その逆に身体状態のデータを予め取得しておいてもよい。その際には演奏のどの段階であるかをユーザへ示す指標があることが好ましい。また、第１の信号と第２の信号の両方を記憶装置に記憶させておき、演奏終了後に当該記憶装置を外部機器Ｉ／Ｆ部１２０に接続し、外部機器Ｉ／Ｆ部１２０を介して当該記憶装置から第１および第２の信号を読み出して上記身体状態の評価を行うようにしても良い。この場合、第１の信号と第２の信号を同時に取得してもよいし、別々に取得してもよい。上述のように、ユーザの演奏には癖があることもあり、別々に取得しても評価をすることも可能である。このような態様では、外部機器Ｉ／Ｆ部１２０は、第１および第２の信号を記憶装置から取得する信号取得手段の役割を果たす。また、上記の要領で記憶装置に記憶された第１の信号を音として再生する際の音量調整に上記第３実施形態を利用することも勿論可能である。この場合、第１の信号を音として再生する際に当該第１の信号を増幅するアンプが調整手段４０の役割を果たす。 (3) In the first and second embodiments, the first signal representing the performance sound emitted from the musical instrument according to the performance action of the performer is evaluated for the evaluation of the physical condition of the performer performing the musical instrument and the performer. The case where both of the second signals representing the physical condition of the person are acquired and performed in real time has been described. However, either the first signal or the second signal is stored in a storage device such as a hard disk, and stored. The signal that is not stored in the apparatus may be acquired and evaluated in real time during the performance. There are cases where the sound produced by the performance and how to use the body during the performance are like a user's habit, and the effects of the present application can be obtained even if either one is acquired in advance. Specifically, the drum hitting data is acquired in advance, the performance is performed in accordance with the hitting sound, the player's physical condition at that time is acquired in real time, and the evaluation of the drums acquired in advance is performed. This is done with the sound data and real-time physical condition data. Since data acquired in advance is used, the processing load in real time can be reduced. Conversely, physical condition data may be acquired in advance. In that case, it is preferable that there is an index indicating to the user which stage of the performance. In addition, both the first signal and the second signal are stored in the storage device, and after the performance is completed, the storage device is connected to the external device I / F unit 120 and the external device I / F unit 120 is connected. The first and second signals may be read from the storage device and the physical condition may be evaluated. In this case, the first signal and the second signal may be acquired simultaneously or separately. As described above, the user's performance may have a habit and can be evaluated even if acquired separately. In such an aspect, the external device I / F unit 120 serves as a signal acquisition unit that acquires the first and second signals from the storage device. Of course, it is possible to use the third embodiment for volume adjustment when reproducing the first signal stored in the storage device as a sound as described above. In this case, an amplifier that amplifies the first signal plays the role of the adjusting unit 40 when the first signal is reproduced as sound.

（４）上記各実施形態では、制御部１００を特定手段１００ａおよび比較手段１００ｂとして機能させる信号処理プログラム１３４ａ（すなわち、図２に示すフローチャートにしたがって特定処理ＳＡ１００と比較処理ＳＡ１１０をＣＰＵなどのコンピュータに実行させるプログラム）が信号処理装置１０の不揮発性記憶部１３４に予め記憶されていた。しかし、ＣＤ−ＲＯＭやＤＶＤなどのコンピュータ読み取り可能な記録媒体に上記信号処理プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより上記信号処理プログラムを配布しても良い。このようにして配布されるプログラムにしたがって一般的なコンピュータを作動させることで当該コンピュータを上記各実施形態の信号処理装置１０として機能させることが可能になるからである。例えば、マイクロフォンと加速度センサとを有するスマートフォン向けのアプリケーションプログラムとして上記信号処理プログラム１３４ａを配布すれば、マイクロフォンを上記第１のセンサ、加速度センサを上記第２のセンサとして用いるとともに、当該スマートフォンの制御部を上記アプリケーションプログラムにしたがって作動させることで当該スマートフォンを本発明の信号処理装置として機能させることができる。 (4) In each of the embodiments described above, the signal processing program 134a that causes the control unit 100 to function as the specifying unit 100a and the comparing unit 100b (that is, the specific process SA100 and the comparison process SA110 are performed on a computer such as a CPU according to the flowchart shown in FIG. The program to be executed is stored in advance in the nonvolatile storage unit 134 of the signal processing device 10. However, the signal processing program may be written and distributed on a computer-readable recording medium such as a CD-ROM or DVD, or the signal processing program may be distributed by downloading via a telecommunication line such as the Internet. This is because by operating a general computer according to the program distributed in this way, it becomes possible to cause the computer to function as the signal processing device 10 of each of the above embodiments. For example, if the signal processing program 134a is distributed as an application program for a smartphone having a microphone and an acceleration sensor, the microphone is used as the first sensor and the acceleration sensor is used as the second sensor, and the control unit of the smartphone Can be operated as the signal processing device of the present invention by operating according to the application program.

（５）上記各実施形態では本発明の信号処理装置に特有な各手段（特定手段および比較手段）をソフトウェアモジュールで実現したが、これら各手段を電子回路などのハードウェアモジュールで実現しても勿論良い。 (5) In each of the above embodiments, each means (specific means and comparison means) peculiar to the signal processing apparatus of the present invention is realized by a software module. However, each means may be realized by a hardware module such as an electronic circuit. Of course it is good.

１０…信号処理装置、１００…制御部、１１０…ユーザＩ／Ｆ部、１２０…外部機器Ｉ／Ｆ部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１４０…バス、２０、３０Ａ、３０Ｂ…センサ、４０…調整手段。 DESCRIPTION OF SYMBOLS 10 ... Signal processing apparatus, 100 ... Control part, 110 ... User I / F part, 120 ... External apparatus I / F part, 130 ... Memory | storage part, 132 ... Volatile memory part, 134 ... Nonvolatile memory part, 140 ... Bus 20, 30A, 30B ... sensors, 40 ... adjusting means.

Claims

Signal acquisition means for acquiring a first signal representing a performance sound emitted from a musical instrument in accordance with a performance operation of the performer and a second signal representing the physical state of the performer;
A specifying means for specifying a timing at which a performance operation is performed from the first signal;
Comparing means for comparing the feature quantity of the waveform of the first signal and the feature quantity of the waveform of the second signal in a time interval including the timing specified by the specifying means, and generating a signal according to the comparison result When,
A signal processing apparatus comprising:

The signal processing apparatus according to claim 1, further comprising a notification unit that performs notification according to the signal generated by the comparison unit.

The signal processing apparatus according to claim 1, further comprising an adjusting unit that adjusts the volume of the performance sound based on a signal corresponding to the comparison result generated by the comparing unit.

A first sensor for detecting a performance sound emitted from the musical instrument in accordance with a performance operation of the performer and outputting a first signal representing the performance sound;
A second sensor for detecting a performance action and outputting a second signal representing the physical state of the performer;
A signal processing device having signal acquisition means for acquiring the output signals of the first and second sensors,
The signal processing device includes:
A specifying means for specifying a timing at which a performance operation is performed from the first signal;
Comparing means for comparing the feature quantity of the waveform of the first signal and the feature quantity of the waveform of the second signal in a time interval including the timing specified by the specifying means, and generating a signal according to the comparison result And a signal processing system for evaluation of musical instrument performance.