JP6754243B2 - 楽音評価装置 - Google Patents

Description

この発明は、楽器を演奏した際の楽音を評価する技術に関する。

楽器が正規のピッチに調律されているかを確認するために、楽音の周波数と各音名に割り当てられた基準周波数とのずれを視覚的に表示する調律器が用いられている（例えば、特許文献１参照）。特許文献１の調律器は、入力された楽音信号の基本周期により音名を特定し、特定された音名に従って各音名に割当てた色を多色発光素子で発光させると共に、楽音信号の基準周波数からのピッチ誤差値に従って多色発光素子の発光量を制御する。したがって、特許文献１の調律器によれば、調律しようとしている楽音の音名とピッチ誤差の大きさを視覚的に確認することができる。

楽器の演奏音が良い音であるかどうかはピッチの正確性のみでは評価できない。そこで、楽器の演奏音を様々な要素について総合的に評価する楽音評価装置が利用されている（例えば、特許文献２参照）。特許文献２の楽音評価装置は、予め評価基準となる参考楽音信号から抽出した特徴量を記憶しておき、入力された楽音信号から抽出した特徴量と参考楽音信号から抽出した特徴量とを比較することで、リッチネスやアタック明瞭度などの評価値を算出し、それらの評価値から総合的な評価をグラフ化して表示する。したがって、特許文献２の楽音評価装置によれば、入力された楽器の演奏音が良い音であるかどうかを様々な視点から評価することができる。

特許第４４７３４７８号公報 特開２０１６−８５３０９号公報

特許文献２に記載された楽音評価装置では、評価値の算出に際して周波数スペクトルを求めている。しかしながら、周波数スペクトルを求めるためには、演算量の多い高速フーリエ変換（FFT: Fast Fourier Transform）を行う必要がある。特許文献２ではスマートフォンやパーソナルコンピュータなどの高速なマイクロプロセッサを搭載したコンピュータにソフトウェアをインストールして楽音評価装置を実現することが記載されているが、低価格な組み込み機器で実現するためには計算リソースが制限されるため、負荷が大きい高速フーリエ変換を実行することは困難である。

この発明は、上述のような点に鑑みて、計算リソースが限定された計算機環境であっても楽音の評価値を算出することができる楽音評価装置を提供することを目的とする。

上記の課題を解決するために、この発明の楽音評価装置は、入力された楽音信号を複数のバンドパスフィルタを用いて複数の周波数帯域に分割し、各周波数帯域の楽音信号それぞれの音量レベルから楽音信号の評価値を算出する評価値算出部と、その評価値に基づいて楽音信号の評価結果を算出する評価結果算出部と、その評価結果を出力する評価結果出力部と、を含む。

この発明の楽音評価装置によれば、演算量の多い高速フーリエ変換を行わないため、計算リソースが限定された計算機環境であっても楽音の評価値を算出することができる。

図１は、楽音評価装置の機能構成を例示する図である。 図２は、ブライトネス算出部の機能構成を例示する図である。 図３は、楽音信号とバンドパスフィルタの周波数特性の一例を示す図である。 図４は、評価結果を表示する形態の一例を示す図である。 図５は、音色安定度を算出する処理手続きを例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

この発明の実施形態は、比較的安価なチップを用いて実現することを目的として設計された組み込み機器の楽音評価装置である。例えば、携帯可能なサイズで設計された小型の組み込み機器に対して評価対象の楽音信号が入力され、その評価結果が筺体上に備えられた表示画面に出力される形態が挙げられる。ただし、従来の楽音評価装置のように、例えばスマートフォンやパーソナルコンピュータなどの汎用の情報処理端末に専用のソフトウェアをインストールして実現する場合であっても、演算量の低下による消費電力や発熱量の低減などの効果が期待できるため、この発明の実施形態は組み込み機器に限定されるものではない。

実施形態の楽音評価装置は、例えば、図１に示すように、入力端子１０、Ａ／Ｄ変換部１１、ピッチ検出部１２、ラウドネス算出部１３、ブライトネス算出部１４、発音区間検出部１５、音高安定度算出部１６、音量安定度算出部１７、音色安定度算出部１８、グラフ化部１９、および評価結果出力部２０を含む。この楽音評価装置が、後述の各ステップの処理を行うことにより実施形態の楽音評価方法が実現される。

楽音評価装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。楽音評価装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。楽音評価装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、楽音評価装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

楽音評価装置の入力端子１０には、評価の対象とする楽音信号（以下、入力楽音信号という。）が入力される。入力楽音信号は各種の楽器を演奏した際の演奏音が収録された音響信号である。演奏される楽器の種類は限定されず、例えばバイオリンやチェロのような弦楽器であってもよいし、トランペットやクラリネット、フルートのような管楽器であってもよい。入力楽音信号は、マイクロホン等の収音手段を入力端子１０へ接続してリアルタイムに楽器の演奏音を収音したものであってもよいし、あらかじめ楽器の演奏音をICレコーダーやスマートフォンの録音機能のような録音手段で不揮発性メモリやハードディスクドライブのような記録媒体へ録音し、入力端子１０へ接続した再生手段により再生することで入力してもよい。

楽音評価装置でリアルタイムに演奏している楽音の評価をする場合には、評価対象の楽音を収音可能な位置に楽音評価装置を設置する必要があるため、楽音評価装置は携帯可能な装置として構成するとよい。具体的には、例えば、マイクロコンピュータを内蔵した小型の専用機器として構成してもよいし、例えば、携帯電話やスマートフォン、タブレット端末、モバイルコンピュータ等のようにマイクロホンを内蔵した汎用の情報処理装置に楽音評価装置の機能を実装したアプリケーションプログラムをインストールして構成してもよい。

Ａ／Ｄ変換部１１は、入力端子１０から入力されたアナログの入力楽音信号をパルス符号変調（PCM: Pulse Code Modulation）などによりデジタル信号に変換する。以降の処理は、特に記載しない限り、複数のサンプルをまとめたフレーム毎に行われるものとする。サンプリング周波数やフレーム長は任意に定めればよい。入力端子１０からの入力楽音信号がデジタル信号である場合にはＡ／Ｄ変換部１１は備えなくともよい。デジタル信号である入力楽音信号は、ラウドネス算出部１３およびブライトネス算出部１４へ入力される。

ピッチ検出部１２は、入力端子１０から入力された入力楽音信号の周期を計測し、ピッチを検出する。検出したピッチの情報は、ブライトネス算出部１４および音高安定度算出部１６へ入力される。

ラウドネス算出部１３は、入力楽音信号から音量レベルを算出する。音量レベルの算出方法は周知のいかなる方法をも適用することができる。利用可能な音量算出方法としては、例えば、「特開２００８−０９６６９８号公報」に記載のものが挙げられる。算出した音量レベルの情報は、発音区間検出部１５および音量安定度算出部１７へ入力される。

ブライトネス算出部１４は、Ａ／Ｄ変換部１１から入力される入力楽音信号と、ピッチ検出部１２から入力されるピッチの情報とから、入力楽音信号のブライトネス（音の明るさ）を算出する。ブライトネスは、音の基本周波数成分に対して倍音成分が多いほど音が明るいと評価され、音の基本周波数成分に対して倍音成分が少ないほど音が暗いと評価される指標である。算出したブライトネスは、音色安定度算出部１８へ入力される。

以下、図２を参照して、ブライトネス算出部１４の詳細な構成を説明する。ブライトネス算出部１４は、図２に示すように、ピッチの情報と入力楽音信号とを入力とし、ブライトネスの値を出力する。ブライトネス算出部１４は、例えば、フィルタ係数設計部１４０、２個のバンドパスフィルタ１４２−１，１４２−２、２個のラウドネス算出部１４４−１，１４４−２、およびレベル比算出部１４６を含む。

フィルタ係数設計部１４０は、ピッチ検出部１２から入力されたピッチの情報を参照し、バンドパスフィルタ１４２−１，１４２−２それぞれに設定するフィルタ係数を設計する。バンドパスフィルタ１４２−１のフィルタ係数は、入力楽音信号の基本周波数成分を含み、所定の次数以上の高次の倍音成分を含まない周波数帯域（以下、第一の周波数帯域という。）の信号を抽出するように設計される。バンドパスフィルタ１４２−２のフィルタ係数は、入力楽音信号の基本周波数成分を含まず、所定の次数以上の高次の倍音成分を含む周波数帯域（以下、第二の周波数帯域という。）の信号を抽出するように設計される。所定の次数未満の低次の倍音成分については、第一の周波数帯域に含んでもよいし、第二の周波数帯域に含んでもよい。高次と低次とを分ける所定の次数は、楽器の種類等を考慮して任意に定めることができる。

バンドパスフィルタ１４２−１は、入力楽音信号から第一の周波数帯域の信号を抽出する。同様に、バンドパスフィルタ１４２−２は、入力楽音信号から第二の周波数帯域の信号を抽出する。第一の周波数帯域と第二の周波数帯域とは、入力楽音信号のピッチにより変動するため、バンドパスフィルタ１４２−１およびバンドパスフィルタ１４２−２は、遮断周波数が可変である必要がある。

図３に、入力楽音信号とバンドパスフィルタの周波数特性を示す。第一のバンドパスフィルタ（ＢＰＦ１、２３）は基本周波数成分（２１）を通過し、倍音成分（２２）を遮断するようにフィルタ係数が設計されており、第二のバンドパスフィルタ（ＢＰＦ２、２４）は基本周波数成分（２１）を遮断し、倍音成分（２２）を通過するようにフィルタ係数が設計されていることがわかる。

ラウドネス算出部１４４−１は、バンドパスフィルタ１４２−１が出力する第一の周波数帯域の信号の音量レベルを算出する。ラウドネス算出部１４４−２は、バンドパスフィルタ１４２−２が出力する第二の周波数帯域の信号の音量レベルを算出する。音量レベルの算出方法は、ラウドネス算出部１３と同様の方法を用いればよい。

レベル比算出部１４６は、ラウドネス算出部１４４−１により算出された第一の周波数帯域の信号（すなわち、基本周波数成分）の音量レベルとラウドネス算出部１４４−２により算出された第二の周波数帯域の信号（すなわち、倍音成分）の音量レベルとの比を計算し、入力楽音信号のブライトネスとして出力する。

発音区間検出部１５は、ラウドネス算出部１３から入力される入力楽音信号の音量レベルを参照し、発音区間を検出する。発音区間の検出は周知のいかなる方法をも適用することができる。例えば、入力楽音信号の音量レベルが規定のレベルを超えたら発音区間の始点とし、入力楽音信号の音量レベルが規定のレベルを下回ったら発音区間の終点として検出すればよい。検出した発音区間の情報は、音高安定度算出部１６、音量安定度算出部１７、および音色安定度算出部１８へ入力される。

音高安定度算出部１６は、ピッチ検出部１２から入力されたピッチの情報と、発音区間検出部１５から入力された発音区間の情報とを参照し、直前の発音区間における音高安定度を算出する。音高安定度とは、評価対象の楽音におけるピッチの変化の度合いを表す評価指標である。一般的に楽器の演奏はピッチのふらつきが少ない方が良い音であると感じられる。したがって、ピッチの変化の度合いが小さい方が高い音高安定度を与えられるようにする。算出した音高安定度は、グラフ化部１９へ入力される。

音量安定度算出部１８は、ラウドネス算出部１３から入力された音量レベルの情報と、発音区間検出部１５から入力された発音区間の情報とを参照し、直前の発音区間における音量安定度を算出する。音量安定度とは、評価対象の楽音における音量の変化の度合いを表す評価指標である。一般的に楽器の演奏は音量が安定している方が良い音であると感じられる。したがって、音量の変化の度合いが小さい方が高い音量安定度を与えられるようにする。算出した音量安定度は、グラフ化部１９へ入力される。

音色安定度算出部１８は、ブライトネス算出部１４から入力されたブライトネスの情報と、発音区間検出部１５から入力された発音区間の情報とを参照し、直前の発音区間における音色安定度を算出する。音色安定度は、周波数スペクトルの変化の度合いを表す評価指標である。上述のように、ブライトネスは基本周波数成分を含む周波数帯域と倍音成分を含む周波数帯域との音量レベルの比であり、音色の一種である。一般的に楽器の演奏は音色のふらつきが少ない方が良い音であると感じられる。したがって、ブライトネスの値の変化の度合いが小さい方が高い音色安定度を与えられるようにする。算出した音色安定度は、グラフ化部１９へ入力される。

グラフ化部１９は、音高安定度、音量安定度、および音色安定度をグラフ化し、評価結果出力部２０へ出力する。グラフの表示形態は任意に設計できる。

評価結果出力部２０は、グラフ化部１９から入力されるグラフ化された各評価指標を入力楽音信号の評価結果として出力する。評価結果出力部２０は、例えば各評価指標に対応するＬＥＤを色別に配列した専用の表示装置であってもよいし、液晶ディスプレイや有機ＥＬディスプレイのような汎用的な表示装置であってもよい。

図４に、評価結果の表示形態の具体例を示す。例えば、検出したピッチから推測される音名を画面上部中央（３１）に表示し、その音名の基準周波数と入力楽音信号のピッチとの誤差を音名の下（３２）に表示する。ピッチ誤差は左右に並べられたインジケータのうち点灯する位置により表され、中央はピッチが合っている状態であり、左右にずれるとピッチがずれている状態を表している。ピッチ誤差の下（３３）には、音量および音色の現在の値を表示する。音量の値は左端から中央へ並べられたインジケータの点灯する位置により表され、中央に近いほど値が高いことを表している。音色の値は中央から右へ並べられたインジケータの点灯する位置により表され、右端に近いほど音色が明るいことを表している。各安定度は画面下部（３４、「STABILITY」）に表示され、画面左から音量安定度（３５、「DYNAMICS」）、音高安定度（３６、「PITCH」）、音色安定度（３７、「BRIGHTNESS」）が表示されている。各安定度は上下に並べられたインジケータのうち下から上へ向けて点灯する範囲が伸びることで表示され、より高い位置まで点灯すると安定度が高い（すなわち、ぶれが小さい）状態を表している。各安定度は発音区間の終了を契機として算出されるため、各安定度の表示は発音区間の開始を検出するとクリアされ、発音区間の終了を検出すると表示される。また、その表示は次の発音区間の開始を検出するまで継続する。なお、音名とピッチ誤差と音量および音色の現在の値は発音区間の検出に関係なくリアルタイムに表示する。

図５を参照して、楽音評価装置が音色安定度を表示する処理手続きの流れを説明する。ステップＳ１において、入力端子１０から１フレーム分の楽音信号を取り込む。楽音信号の１フレームは、例えば、1024サンプルである。ステップＳ２において、発音区間検出部１５は楽音信号の入力があったか否かを判定する。入力がなかった場合（Ｎｏ）にはステップＳ１へ処理を戻し、次の１フレーム分の楽音信号を取り込む。入力があった場合（Ｙｅｓ）にはステップＳ３へ処理を進める。ステップＳ３において、ピッチ検出部１２は、入力楽音信号のピッチを検出する。ステップＳ４−１において、フィルタ係数設計部１４０は、バンドパスフィルタ１４２−１のフィルタ係数を設計する。同様に、ステップＳ４−２において、フィルタ係数設計部１４０は、バンドパスフィルタ１４２−２のフィルタ係数を設計する。ステップＳ５−１において、ラウドネス算出部１４４−１は、バンドパスフィルタ１４２−１の出力する信号の音量レベルを算出する。同様に、ステップＳ５−２において、ラウドネス算出部１４４−２は、バンドパスフィルタ１４２−２の出力する信号の音量レベルを算出する。ステップＳ６において、レベル比算出部１４６は、各信号の音量レベルの比を計算する。ステップＳ７において、入力端子１０から次の１フレーム分の楽音信号を取り込む。ステップＳ８において、発音区間検出部１５は楽音信号の入力があったか否かを判定する。入力があった場合（Ｙｅｓ）にはステップＳ５−１，Ｓ５−２へ処理を戻し、次の１フレーム分の楽音信号の音量レベルを算出する。入力がなかった場合（Ｎｏ）にはステップＳ９へ処理を進める。ステップＳ９において、音色安定度算出部１８は、発音区間中に算出されたブライトネスの時系列から音色安定度を算出する。ステップＳ１０において、グラフ化部１９は音色安定度の表示形態を決定し、評価結果出力部２０へ音色安定度を表示する。

上述の実施形態では、楽音の評価指標のうちブライトネス（音の明るさ）について複数のバンドパスフィルタを用いて算出する構成を説明した。しかしながら、この発明の楽音評価技術により算出することができる評価指標はブライトネスに限定されない。例えば、下記参考文献１に記載された三刺激値による音色の評価方法であっても、同様にして、高速フーリエ変換を用いずに複数のバンドパスフィルタを組み合わせる構成により類似した効果を実現することが可能である。
〔参考文献１〕Pollard, H. F., Jansson, E. V., “A Tristimulus Method for the Specification of Musical Timbre”, Acustica, vol. 51, No. 3, pp. 162-171, 1982.

このように他の評価指標を求める構成とした場合、ブライトネス算出部１４は、例えば、評価値算出部と呼び、音色安定度を算出する音色安定度算出部１８は、例えば、評価結果生成部と呼ぶこともある。

上記のように構成することにより、この発明の楽音評価装置の利用者は、楽器を演奏しながら、自らの演奏する楽音の音高安定度、音量安定度、および音色安定度などの評価指標を確認することができる。これにより、利用者は自らの演奏手法がどの程度の習熟度にあるのかを容易に把握することができる。したがって、楽音評価装置は利用者がより良い楽音を発する演奏手法を習得することを支援することができる。

従来の楽音評価装置では、楽音の評価指標を算出するために、演算量の多い高速フーリエ変換を行って周波数スペクトルを求める必要があった。そのため、高速なマイクロプロセッサを搭載したスマートフォンやパーソナルコンピュータでないと実現することが困難であった。この発明の楽音評価装置では、高速フーリエ変換を用いずに複数のバンドパスフィルタを組み合わせることで楽音の評価値を得ることができる。そのため、計算リソースが制限された低価格な組み込み機器であっても実現することが可能である。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１０ 入力部
１１ Ａ／Ｄ変換部
１２ ピッチ検出部
１３ ラウドネス検出部
１４ ブライトネス検出部
１５ 発音区間検出部
１６ 音高安定度算出部
１７ 音量安定度算出部
１８ 音色安定度算出部
１９ グラフ化部
２０ 評価結果出力部
１４１ フィルタ係数設計部
１４２ バンドパスフィルタ
１４３ ラウドネス算出部
１４４ レベル比算出部

Claims (2)

1. 入力された楽音信号を複数のバンドパスフィルタを用いて複数の周波数帯域に分割し、各周波数帯域の楽音信号それぞれの音量レベルから楽音信号の評価値を算出する評価値算出部と、
   上記評価値に基づいて上記楽音信号の評価結果を算出する評価結果算出部と、
   上記評価結果を出力する評価結果出力部と、
   を含み、
   上記評価値算出部は、上記楽音信号の基本周波数成分を含み、高次の倍音成分を含まない周波数帯域と、上記楽音信号の基本周波数成分を含まず、高次の倍音成分を含む周波数帯域とに上記楽音信号を分割し、各周波数帯域の楽音信号それぞれの音量レベルの比であるブライトネスを上記評価値として算出するものであり、
   上記評価結果算出部は、所定の時間区間における上記ブライトネスの変化の度合いを表す音色安定度を上記評価結果として算出するものである、
   楽音評価装置。
2. 請求項１に記載の楽音評価装置であって、
   上記評価値算出部は、
   上記楽音信号から第一の周波数帯域の信号を抽出する第一のバンドパスフィルタと、
   上記楽音信号から第二の周波数帯域の信号を抽出する第二のバンドパスフィルタと、
   上記第一の周波数帯域が上記楽音信号の基本周波数成分を含み、高次の倍音成分を含まない周波数帯域となるように上記第一のバンドパスフィルタのフィルタ係数を設計し、上記第二の周波数帯域が上記楽音信号の基本周波数成分を含まず、高次の倍音成分を含む周波数帯域となるように上記第二のバンドパスフィルタのフィルタ係数を設計するフィルタ係数設計部と、
   上記第一のバンドパスフィルタが出力する第一の周波数帯域の信号の音量レベルを検出する第一のラウドネス検出部と、
   上記第二のバンドパスフィルタが出力する第二の周波数帯域の信号の音量レベルを検出する第二のラウドネス検出部と、
   上記第一の周波数帯域の信号の音量レベルと上記第二の周波数帯域の信号の音量レベルとの比を計算するレベル比算出部と、
   を含むものである、
   楽音評価装置。

Images