JP4900017B2 - ビブラート検出装置、ビブラート評価装置、ビブラート検出方法、ビブラート評価方法およびプログラム - Google Patents

Description

本発明は、音データからビブラート技法が用いられている箇所を特定する技術、および音データにおけるビブラート技法の巧拙を評価する技術に関する。

カラオケ装置においては、歌唱者の歌唱の巧拙を採点したり、歌唱の指導内容を表すメッセージを表示して歌唱指導を行ったりする装置が提案されている。このようなカラオケ装置において、例えばビブラート技法について採点や指導を行う場合には、まずお手本となる歌唱音声からビブラート技法が用いられている区間（以下、ビブラート区間）を特定し、ビブラート区間について採点や指導を行う方法が考えられる。なお、ビブラート技法とは、音を伸ばしながらピッチをわずかに上下させ震えるような音色を出すことにより、音に豊かな響きを与える歌唱技法である。
ビブラート区間を特定する方法として、例えば、特許文献１には、入力データのピッチが振動する区間をビブラート区間として特定する方法が提案されている。
特開２００６−１９５４４９号公報

さて、上記特許文献１に記載の技術によれば、ピッチが振動することを指標としてビブラート区間を特定しようとすると、例えばトレモロなどビブラートとは異なる技法が含まれる区間をビブラート区間として特定してしまうという問題点があった。なお、トレモロにおいては、ビブラートに比べピッチの変化の幅が大きくピッチの変動パターンは不安定であるのが一般的である。
また、上記特許文献１は、ビブラート区間を特定する技術について開示されているが、特定された区間におけるビブラート技法の巧拙を評価する技術については開示されていない。

本発明は上述した背景の下になされたものであり、音データからビブラート技法が用いられている区間を検出し、更には該検出された区間におけるビブラート技法の巧拙を評価する技術を提供することを目的とする。

本発明の好適な態様であるビブラート検出装置は、メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データの値を算出し、前記ピッチ差分データが負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定手段と、前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が所定の態様になっている区間を特定する特定手段と、前記ピッチ差分データにおいて、ピッチの値が極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、前記特定手段により特定された区間において、前記ピッチ振動幅データが所定の態様になっている場合に前記特定手段が特定した区間を示す情報を出力する出力手段とを備えることを特徴とする。

本発明の好適な態様であるビブラート検出装置において、前記特定手段は、前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を特定しても良い。

本発明の好適な態様であるビブラート検出装置において、前記出力手段は、前記特定手段により特定された区間における前記ピッチ変動幅データの時間変化を近似する直線を算出し、算出された前記直線の傾きの絶対値が所定の閾値より小さい場合に、前記特定手段が特定した区間を示す情報を出力しても良い。

本発明の好適な態様であるビブラート検出装置において、前記出力手段は、前記特定手段により特定された区間における前記ピッチ変動幅データの時間平均を算出し、算出された前記時間平均が所定の範囲にある場合に、前記特定手段が特定した区間を示す情報を出力しても良い。

本発明の好適な態様であるビブラート評価装置は、メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、ビブラート区間を示すデータを受取る受取手段と、前記受取手段が受取ったデータが示すビブラート区間において、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データのピッチの値を算出し、前記ピッチ差分データが極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、前記受取手段が受取ったデータが示すビブラート区間において、前記ピッチ振動幅データが所定の態様になっている場合に高い評価を算出し、該評価を出力する出力手段とを備えることを特徴とする。

本発明の好適な態様であるビブラート評価装置において、前記出力手段は、前記ピッチ変動幅データの時間変化を近似する直線を算出し、算出された前記直線の傾きの絶対値が小さいほど高い評価を算出しても良い。

本発明の好適な態様であるビブラート評価装置において、前記出力手段は、前記ピッチ変動幅データの値からその標準偏差または標準誤差を算出し、算出された前記標準偏差または標準誤差が小さいほど高い評価を算出しても良い。

本発明の好適な態様であるビブラート評価装置において、前記ビブラート区間において、前記ピッチ差分値データの値が、負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定手段と、前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔の標準偏差または標準誤差を算出する算出手段とを更に有し、前記出力手段は、前記算出手段が算出した標準偏差または標準誤差が小さいほど高い評価を算出しても良い。

本発明の好適な態様であるビブラート検出方法は、メロディのピッチを表すメロディピッチデータを記憶装置に記憶する記憶段階と、音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出段階と、前記ピッチ検出段階において生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理段階と、前記記憶装置に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理段階においてフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データの値を算出し、前記ピッチ差分データが負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定段階と、前記ゼロクロス箇所特定段階において特定されたゼロクロス箇所が所定の態様になっている区間を特定する特定段階と、前記ピッチ差分データにおいて、ピッチの値が極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成段階と、前記特定段階において特定された区間において、前記ピッチ振動幅データが所定の態様になっている場合に前記特定段階において特定した区間を示す情報を出力する出力段階とを備えることを特徴とする。

本発明の好適な態様であるビブラート評価方法は、メロディのピッチを表すメロディピッチデータを記憶装置に記憶する記憶段階と、音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出段階と、前記ピッチ検出段階において生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理段階と、ビブラート区間を示すデータを受取る受取段階と、前記受取段階において受取ったデータが示すビブラート区間において、前記記憶装置に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理段階においてフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データのピッチの値を算出し、前記ピッチ差分データが極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成段階と、前記受取段階において受取ったデータが示すビブラート区間において、前記ピッチ振動幅データが所定の態様になっている場合に高い評価を算出し、該評価を出力する出力段階とを備えることを特徴とする。

本発明の好適な態様であるプログラムは、コンピュータを、メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データの値を算出し、前記ピッチ差分データが負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定手段と、前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が所定の態様になっている区間を特定する特定手段と、前記ピッチ差分データにおいて、ピッチの値が極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、前記特定手段により特定された区間において、前記ピッチ振動幅データが所定の態様になっている場合に前記特定手段が特定した区間を示す情報を出力する出力手段として機能させることを特徴とする。

本発明の好適な態様であるプログラムの別の態様は、コンピュータを、メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、ビブラート区間を示すデータを受取る受取手段と、前記受取手段が受取ったデータが示すビブラート区間において、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データのピッチの値を算出し、前記ピッチ差分データが極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、前記受取手段が受取ったデータが示すビブラート区間において、前記ピッチ振動幅データが所定の態様になっている場合に高い評価を算出し、該評価を出力する出力手段として機能させることを特徴とする。

本発明によれば、音データからビブラート技法が用いられている区間を検出し、更には該区間におけるビブラート技法の巧拙を評価することができる。

本発明に係るカラオケ装置１は、お手本となる歌唱音声（以下、お手本音声）に基づいてビブラート技法を用いて歌唱すべき区間を楽曲において特定する機能を有する。またカラオケ装置１は、歌唱を練習する者（以下、練習者）の歌唱において、特にビブラート技法の巧拙を評価する機能を有する。
以下、図面を参照して、本発明の実施形態について説明する。

（Ａ：構成）
図１は、本実施形態であるカラオケ装置１のハードウェア構成の一例を示すブロック図である。
図において、制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を備え、上記ＲＯＭに記憶されている制御プログラムを読み出して実行することにより、カラオケ装置１の各部を制御する。

表示部１３は、液晶パネルを備え、制御部１１による制御の下でカラオケの歌詞テロップなどの各種の画像を表示する。
操作部１４は各種の操作子を備え、操作者による操作内容を表す操作信号を制御部１１に出力する。

マイクロホン１５は、収音した音声を表すアナログの音声信号を出力する。
音声処理部１６は、Ａ／Ｄコンバータを有し、マイクロホン１５が出力した音声信号をデジタルの音声データに変換して制御部１１に出力する。また、音声処理部１６は、Ｄ／Ａコンバータを有し、制御部１１から受取ったデジタルの音声データをアナログの音声信号に変換してスピーカ１７に出力する。
スピーカ１７は、音声処理部１６から受取った音声信号を放音する。

記憶部１２は、各種のデータを記憶するための記憶手段であり、例えばハードディスク装置である。記憶部１２は、以下に説明する各種の記憶領域を備えている。

伴奏データ記憶領域１２１には、各楽曲の伴奏の楽音を表す伴奏データが記憶されている。該伴奏データは、例えばＭＩＤＩ（Musical Instrument Digital Interface）形式などのデータ形式で、上記各楽曲の伴奏を行う各種楽器の音高（ピッチ）を示す情報が楽曲の進行に伴って記されている。また、この伴奏データには、楽曲のガイドメロディのノート（音符）毎のピッチを示すメロディピッチデータが含まれている。
歌詞データ記憶領域１２２には、各楽曲の歌詞を示す歌詞データが記憶されている。歌詞データは、カラオケ歌唱の際に楽曲の進行に伴い歌詞テロップとして表示部１３に表示される。
お手本音声データ記憶領域１２３には、各楽曲の歌唱のお手本として予め収録された音声を表すお手本音声データが記憶されている。お手本音声データは、ＷＡＶＥ形式やＭＰ３（MPEG1 Audio Layer-3）形式などの音声データである。

練習者音声データ記憶領域１２４には、各楽曲について、練習者の歌唱がマイクロホン１５によって収音されて音声処理部１６でデジタルデータに変換されることで生成された音声データ（以下、練習者音声データ）が記憶される。この練習者音声データも、ＷＡＶＥ形式やＭＰ３形式などの音声データである。
ビブラート区間データ記憶領域１２５には、各楽曲のお手本音声データにおいてビブラート技法が用いられている区間を示すデータ（以下、ビブラート区間データ）が記憶される。このビブラート区間データは、後述するように制御部１１によって生成されるデータである。
パラメータ記憶領域１２６には、各楽曲について、お手本音声データまたは練習者音声データから抽出されたピッチや、該ピッチから抽出された各種パラメータが記憶される。

（Ｂ：実施形態の動作）
次に、本発明に係るカラオケ装置１の動作について説明する。なお、以下の説明においては、カラオケ装置１の制御部１１が、お手本音声からビブラート区間を特定し、練習者音声データの上記特定した区間において、ビブラート技法の巧拙を評価する動作について説明する。

（Ｂ−１；カラオケ伴奏）
練習者が、カラオケ装置１の操作部１４を操作して歌唱する楽曲を選択すると、選択された楽曲を特定する操作信号が操作部１４から制御部１１に出力される。制御部１１は、操作部１４から供給された操作信号に応じて楽曲を選択し、選択した楽曲について図２に示すフローチャートに示すビブラート区間特定処理を行う。

ステップＳＡ１００において、制御部１１は、歌詞テロップを表示部１３に表示させるとともに、カラオケ伴奏を行わせる。すなわち、制御部１１は、伴奏データ記憶領域１２１から伴奏データを読み出して音声処理部１６に供給する。音声処理部１６は、伴奏データをアナログの音声信号に変換し、スピーカ１７に出力する。スピーカ１７は、音声処理部１６から受取った音声信号を放音する。また、制御部１１は、歌詞データ記憶領域１２２から歌詞データを読み出して、該歌詞データに従って歌詞テロップを表示部１３に表示させる。
練習者は、表示部１３に表示された歌詞テロップを見ながら、スピーカ１７から放音されるカラオケ伴奏にあわせて歌唱を行う。練習者の歌唱は収音され、練習者音声データが生成される（ステップＳＡ１１０）。生成された練習者音声データは記憶部１２の練習者音声データ記憶領域１２４に書き込まれる。

制御部１１は、楽曲の進行に伴いお手本音声データおよび練習者音声データのピッチを解析し、解析結果を表すお手本ピッチデータおよび練習者ピッチデータを生成する（ステップＳＡ１２０）。すなわち、選択した楽曲に対応するお手本音声データをお手本音声データ記憶領域１２３から読み出し、読み出したお手本音声データから所定時間長（例えば、１０msec）のフレーム単位でピッチを検出する。そして制御部１１は、該検出されたピッチからメロディピッチデータに含まれるノートのピッチをゼロ基準値とした場合の相対値を算出し、お手本ピッチデータを生成する。生成されたお手本ピッチデータは、記憶部１２のパラメータ記憶領域１２６に書き込まれる。
また、制御部１１は、練習者音声データ記憶領域１２４に書き込まれた練習者音声データから、所定時間長（例えば、１０msec）のフレーム単位でピッチを検出する。そして制御部１１は、該検出されたピッチからメロディピッチデータに含まれるノートのピッチをゼロ基準値とした場合の相対値を算出し、練習者ピッチデータを生成する。生成された練習者ピッチデータは、記憶部１２のパラメータ記憶領域１２６に書き込まれる。

図３には、上述のようにして生成されたお手本ピッチデータの一部（時刻１２ｓ０００ｍｓ〜１８ｓ０００ｍｓ）をグラフＡ１で示す。図３において、横軸は時刻（楽曲が開始されてからの経過時間）を表す。また、縦軸には、各時刻におけるお手本ピッチデータの値が示されている。練習者ピッチデータについても、お手本ピッチデータと同様にデータが生成されるが、ここではその内容の図示は省略する。

ステップＳＡ１３０において、制御部１１は、楽曲の演奏が一曲分終了したか否かを判定する。ステップＳＡ１３０の判定結果が“Ｙｅｓ”である場合には、ステップＳＡ１４０以下の処理を行う。一方、ステップＳＡ１３０の判定結果が“Ｎｏ”である場合には、楽曲の残りの部分についてステップＳＡ１００ないしステップＳＡ１２０の処理を行う。

（Ｂ−２；ビブラート区間の特定）
制御部１１は、楽曲の演奏が終了すると、お手本ピッチデータを用いてビブラート区間の特定を行う。
ステップＳＡ１４０において、制御部１１は、ステップＳＡ１２０において生成したお手本ピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施す。すなわち、制御部１１は、お手本ピッチデータを６Ｈｚより低い周波数の成分を抽出するローパスフィルタで処理し、新たなピッチデータ（以下、フィルタお手本ピッチデータ）を生成する。図３におけるグラフＡ２は、お手本ピッチデータを上記ローパスフィルタにより処理したフィルタお手本ピッチデータを示している。

図３に示されるように、フィルタをかける前のピッチデータ（例えばお手本ピッチデータ；Ａ１）には、波形に細かい乱れがある。このような波形の乱れは例えばリバーブによるものであり、リバーブのかかった音声データからピッチを検出した場合には、その検出結果は正弦波にならず波形の乱れたものとなる。そのため、リバーブのかかったお手本音声からは、ビブラート区間を正確に検出することが困難であった。更には、お手本音声にリバーブがかかっているか否かをお手本音声データから判定することも困難であった。それに対して、ローパスフィルタで処理されたピッチデータにおいては音声にかけられたリバーブの影響は取り除かれており、本処理によって、後述の処理において適切にビブラート区間を特定することが可能になる。

ステップＳＡ１５０において、制御部１１は、お手本音声データにおいてビブラート区間の特徴を示す区間（以下、ビブラート候補区間）を以下の条件で特定する。すなわち、制御部１１は、ステップＳＡ１４０においてローパスフィルタをかけ生成されたフィルタお手本ピッチデータの表すピッチが、負から正又は正から負に変化する（ゼロクロスする）箇所をゼロクロス箇所として特定する。具体的には、例えば、図３に示す例においては、フィルタお手本ピッチデータを表すグラフＡ２がゼロクロスする時刻すなわち、時刻Ｐ１，Ｐ２，Ｐ３，Ｐ４などが、ゼロクロス箇所として特定される。

次いで、制御部１１は、ゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔が予め定められた範囲内であり、かつ、その時間間隔が連続して所定回数以上検出された区間を、ビブラート候補区間として特定する。この処理によって、図３に示した例では、ゼロクロス箇所がほぼ等間隔で現れる区間Ａ３がビブラート候補区間として特定される。なお、図３に示された区間においては、ビブラート候補区間として１つの区間が特定されたが、図３に含まれない楽曲部分においてもビブラート候補区間が特定される。

そして、制御部１１は、ステップＳＡ１５０において特定されたビブラート候補区間のそれぞれについて、該区間においてビブラート技法が実際に用いられていることを更に厳密に解析するため、以下のパラメータを抽出する（ステップＳＡ１６０）。なお、以下の説明において、例えば図３の区間Ａ３のようにフィルタお手本ピッチデータの値が周期的に変動している場合に、単位時間あたりの振動の回数を「ビブラートの振動数」と呼ぶ。

（１）ビブラートの振動数の平均値（Ａｆ；Average of frequency）
パラメータＡｆは各ビブラート候補区間におけるビブラートの振動数の平均値であり、上記フィルタお手本ピッチデータが横軸とゼロクロスする時間間隔の逆数の平均値として算出される。
（２）ビブラートの振動数の標準偏差（Ｄｆ；Deviation of frequency）
パラメータＤｆは、上記フィルタお手本ピッチデータが横軸とゼロクロスする時間間隔の逆数の分布の標準偏差として算出される。本パラメータから、ビブラートの振動数の「ばらつき」の大きさを推定することができる。すなわち、本パラメータの値が０に近いほど均一な振動数を持つ、優れたビブラートであることを示す。

ここで、以下のパラメータの説明において用いられる「ピッチ振動幅」について説明する。図４は、図３におけるフィルタお手本ピッチデータ（Ａ２）を取り出して示したグラフである。図４において、制御部１１は、以下のようにして上記ビブラート候補区間の「ピッチ振動幅」を算出する。まず、制御部１１は、フィルタお手本ピッチデータを時間で微分することにより、該データのグラフから極大値および極小値を特定する。例えば、図中Ｑ２、Ｑ４、Ｑ６、Ｑ８、およびＱ１０は極大値を示し、Ｑ１、Ｑ３、Ｑ５、Ｑ７、およびＱ９は極小値を示す。制御部１１は、特定された１つの極小値と、時間的に後ろに隣接する極大値との差分をピッチ振動幅とし、該ピッチ振動幅を、該値の算出に用いた極小値と極大値との中間の時刻に位置付ける。例えば極小値Ｑ１と極大値Ｑ２とからはピッチ振動幅Ｗ１が生成される。図４には、そのようにして生成されたピッチ振動幅Ｗ１〜５が書き込まれている。

さて、ステップＳＡ１６０で抽出されるパラメータの説明に戻る。
（３）ピッチ振動幅の平均値（Ａｐ；Average of pitch）
パラメータＡｐは、各ビブラート候補区間において見出されたピッチ振動幅の平均値を示す。本パラメータから、ビブラート区間におけるピッチの振動幅を推定することができる。
（４）ピッチ振動幅の標準偏差（Ｄｐ；Deviation of pitch）
パラメータＤｐは、各ビブラート候補区間において見出されたピッチ振動幅の標準偏差を示す。本パラメータから、ビブラート区間におけるピッチの振動幅の「ばらつき」の大きさを推定することができる。すなわち、本パラメータの値が０に近いほど均一の振動幅でピッチが振動する、優れたビブラートであることを示す。

（５）ピッチ振動幅の線形近似直線の傾き（Ｓｐ；Slope of pitch）
パラメータＳｐは、上記ピッチ振動幅のグラフにおける線形近似直線の傾きを示す。図５は、上記ピッチ振動幅のグラフを取り出して示している。制御部１１は、ビブラート候補区間（図中Ａ３）におけるピッチ振動幅の点について、線形近似直線を決定する。例えば、図５に示す区間Ａ３においては、線形近似直線のグラフは直線Ｌ１のように決定され、（式１）として表される。
（式１）Ｐ＝１５ｔ＋１５０
このように線形近似直線を算出することにより直線の傾きＳｐが決定される。上記の例では、ピッチ振動幅の線形近似直線の傾きＳｐは、１５である。
本パラメータから、ビブラート区間を通したピッチの振動幅の安定性を推定することができる。すなわち、Ｓｐが０に近似しているほど、ビブラート区間を通してピッチの変動幅が均一に保たれた、優れたビブラートであることを表す。

ステップＳＡ１７０において、制御部１１は、以下のような基準で、ステップＳＡ１５０において特定されたビブラート候補区間をビブラート区間と最終的に決定するか否かを判定する。すなわち、
（１）Ｄｆが所定の閾値より小さい
（２）Ａｐが所定の範囲内にある
（３）Ｄｐが所定の閾値より小さい
（４）Ｓｐの絶対値が所定の閾値より小さい
上記（１）ないし（４）の全ての条件を満たす区間をビブラート区間として最終決定する。

上記（１）ないし（４）の条件は、ビブラート区間を特定するのに最適な条件である。なぜなら、一般に理想的なビブラートにおいては、ビブラートの振動数、ピッチの振動幅はばらつかず均一であり、また、その振動幅は所定の大きさの範囲内（例えば５００セント以内など）にあり、ピッチの変動幅はビブラート区間を通して一定となるからである。なお、「セント」とは、ピッチの相対的な音程差を示す単位であり、例えば＋１００セントが示すピッチは基準となるピッチから半音分上の音程を示す。制御部１１は、特定した区間を表すビブラート区間データを、ビブラート区間データ記憶領域１２５に記憶する。以上で、ビブラート区間特定処理は終了する。

以上のように、ステップＳＡ１５０において、ピッチの振動の時間間隔が予め定められた範囲内であり、かつ、その時間間隔が連続して所定回数以上検出されたことを条件として、一旦ビブラート区間の候補を絞り込み、ステップＳＡ１６０において抽出されたパラメータに基づいて上記ビブラート候補区間がビブラート区間として適切であるか厳密に判定することで、正確にビブラート区間を判定することができる。

（Ｂ−３；歌唱の評価）
以下では、上述のようにしてお手本音声データから特定されたビブラート区間について、対応する練習者音声データのビブラート技法の巧拙を判定する方法について説明する。

図６は、練習者の歌唱におけるビブラート評価処理の流れを示したフローチャートである。
ステップＳＢ１００において、制御部１１は、パラメータ記憶領域１２６から練習者ピッチデータを読み出し、上述したフィルタお手本ピッチデータの生成の手順と同様に、特定の周波数成分を抽出するフィルタ処理を施す。すなわち制御部１１は、練習者ピッチデータを６Ｈｚより低い周波数領域の成分を抽出するローパスフィルタで処理し、新たなピッチデータ（以下、フィルタ練習者ピッチデータと呼ぶ）を生成する。

次に制御部１１は、記憶部１２のビブラート区間データ記憶領域１２５から、上記ビブラート区間特定処理により生成されたビブラート区間データを読出す（ステップＳＢ１１０）。
制御部１１は、フィルタ練習者ピッチデータの上記ビブラート区間の各々において、以下に挙げるパラメータを抽出する（ステップＳＢ１２０）。なお、上述のビブラート区間特定処理において説明したパラメータと同様の手順で算出されるため、その詳細な説明は省略する。

（１）ビブラートの振動数の平均値Ａｆ
（２）ビブラートの振動数の標準偏差Ｄｆ
（３）ピッチ振動幅の平均値Ａｐ
（４）ピッチ振動幅の標準偏差Ｄｐ
（５）ピッチ振動幅の線形近似直線の傾きＳｐ

制御部は、ステップＳＢ１１０で読み出したビブラート区間ごとに以上に示した５つのパラメータを抽出し、抽出されたパラメータをパラメータ記憶領域１２６に書き込む。
ステップＳＢ１３０において、制御部１１は、パラメータ記憶領域１２６に書き込まれたパラメータに基づいて、該ビブラート区間におけるビブラート技法の巧拙を評価する。本実施例においては、Ｄｆ、Ｄｐ、およびＳｐを用いて評価する。なお、評価結果は、例えば満点（１００点）から上記パラメータの値に応じて減点をする場合について説明する。

制御部１１は、Ｄｆの値が大きいほど歌唱評価に大きな減点をする。なぜなら、Ｄｆはビブラートの振動数のばらつきを表し、Ｄｆの値が０に近いほど均一な振動数を示す、優れたビブラートであると考えられるからである。
また、制御部１１は、Ｄｐの値が大きいほど歌唱評価に大きな減点をする。Ｄｐは、ビブラート区間におけるピッチの変動幅のばらつきを意味し、Ｄｐの値が０に近いほど均一な変動幅でピッチが振動する、優れたビブラートであることを示すからである。
また、制御部１１は、Ｓｐの絶対値が大きいほど歌唱評価に大きな減点をする。Ｓｐは、ビブラート区間を通したピッチの振動幅の安定性を意味し、Ｓｐの絶対値が０に近いほどビブラート区間を通してピッチの振動幅が均一に保たれた、優れたビブラートであることを意味するからである。

制御部１１は、以上のように、特定されたビブラート区間の各々について、練習者音声データのビブラート技法の巧拙を評価する。ビブラート技法においては、ピッチの振動幅が規則的でしかもある範囲のものであると、聴覚印象的に音の響きは豊かで望ましいものとなることが知られている。従って、ビブラートの振動数の均一性を反映するパラメータであるＤｆや、ピッチの変動幅の均一性を反映するパラメータであるＤｐや、ビブラート区間を通したピッチの振動幅の均一性を反映するパラメータであるＳｐを元にしてビブラート技法の巧拙を適切に評価することが可能である。

（Ｃ：変形例）
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。

（１）上述した実施形態においては、カラオケの演奏の進行に伴ってお手本音声データおよび練習者音声データからピッチを検出し、お手本ピッチデータおよび練習者ピッチデータを生成する場合について説明した。しかし、該処理は必ずしもカラオケの演奏に伴って行われる必要はない。例えば、練習者音声データを一旦楽曲の初めから終わりまで蓄積し、カラオケの演奏が終了した段階で、お手本音声データおよび練習者音声データからピッチを検出するようにしても良い。

（２）上記実施形態においては、ビブラート区間をお手本音声データから特定する場合について説明した。しかし、ビブラート区間を予め上記実施形態に説明した方法でお手本音声データから生成し、特定した区間を示すデータを含むカラオケ用楽曲データを作成してもよい。従って、本発明は、上記の方法を用いてビブラート区間を特定するカラオケ楽曲データの生成装置としても実施可能である。

（３）上述した実施形態では、制御部１１は、フィルタお手本ピッチデータにおいてゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔が予め定められた範囲内であり、かつ、その時間間隔が連続して所定回数以上検出された区間を、ビブラート候補区間として特定する場合について説明した。しかし、上述のゼロクロス箇所が現れる時間間隔に代えて、ピッチが極大または極小を示す時間間隔に基づいてビブラート候補区間を特定するようにしても良い。要は、ピッチの振動の周期を検出することができる方法であれば良い。

（４）上述した実施形態においては、カラオケ装置１の制御部１１は、カラオケ伴奏が終了した後にビブラート区間を特定し、抽出した区間について歌唱の評価を行った。しかし、制御部１１は、カラオケ伴奏の開始前に上記実施形態に説明した方法でビブラート区間を特定し、該特定した区間を示す情報を表示部１３やスピーカ１７に出力し、表示部１３やスピーカ１７から視覚的または聴覚的な信号を練習者に提示してビブラート区間であることを報知しても良い。そのようにすれば、練習者はビブラート区間が差し掛かった際により注意深く歌唱することができる。

（５）上述した実施形態では、ステップＳＡ１５０においてビブラート候補区間を特定し、ステップＳＡ１７０において該特定されたビブラート候補区間の各々についてのパラメータに基づいてビブラート区間を特定する場合について説明した。しかし、上述のように２段階でビブラート区間を絞り込まず、ステップＳＡ１５０ないしステップＳＡ１７０において用いられた条件を一度に用いてビブラート区間を特定しても良い。

（６）上述した実施形態では、楽曲のガイドメロディのノート（音符）毎のピッチを示すメロディピッチデータを用いたが、メロディピッチデータはガイドメロディを表すデータに限らず、例えば、歌唱の巧拙を採点するために予め用意されたメロディピッチデータであってもよく、要するに、楽曲のメロディのピッチを表すデータであればどのようなものであってもよい。

（７）上述した実施形態では、制御部１１が、特定の周波数以下の周波数成分を抽出するローパスフィルタ処理を行ったが、制御部１１が行うフィルタ処理はこれに限らず、例えば、所定の周波数幅の周波数成分を取り出すフィルタを用いてもよい。要するに、特定の周波数成分を抽出するフィルタ処理であればどのようなものであってもよい。

（８）上述した実施形態においては、お手本の音声を表すお手本音声データや、練習者の歌唱を表す練習者音声データについて、ビブラート区間の特定や歌唱の評価を行う場合について説明した。しかし、処理の対象となる音声データは、歌唱音声を表すデータに限らず、例えばバイオリンやフルートなどの楽器の演奏音を表す音声データであってもよい。

（９）上記実施形態におけるカラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。

（１０）上記実施形態においては、お手本音声データを用いて楽曲からビブラート区間を特定する方法を用いた。なぜなら練習者のビブラートの巧拙によっては、練習者の練習者音声データからはビブラート区間が特定されないおそれがあるからである。しかし、お手本音声データからではなく練習者音声データからビブラート区間を特定するようにしても良い。そのようにすることで、練習者が意図的にビブラート技法を用いて歌唱した部分についてのみ歌唱評価が行われるとの効果を奏する。

（１１）上記実施形態においては、リバーブのかかったお手本音声からビブラート区間を特定したが、制御部１１は、リバーブのかかっていないお手本音声からもビブラート区間を特定することができるのは勿論である。すなわち、上述の実施形態によれば、お手本音声にリバーブがかかっているか否かに関わらず、また、お手本音声にリバーブがかかっているか否かを判定する必要もなく、お手本音声からビブラート区間を特定することができる。

（１２）上記実施形態においては、Ａｆ、Ｄｆ、Ａｐ、Ｄｐ、およびＳｐの各パラメータを算出してビブラート区間の特定および歌唱の評価を行う場合について説明した。更に、以下のようなパラメータを算出することにより、上述の処理に反映させても良い。例えば、パラメータを抽出する区間におけるピッチの最大値と最小値の比の値（Ｍａｘ／Ｍｉｎ）を求めても良い。そして、算出された比の値が所定の閾値（ｋ）よりも小さいか否か、すなわち、
１＜Ｍａｘ／Ｍｉｎ＜ｋ
となるか否かを判定し、上述のビブラート区間の特定処理においては、判定結果が肯定的である場合に該区間はビブラート区間の条件を満たすと判定しても良い。また、上述のビブラート評価処理においては、判定結果が肯定的である場合に該区間におけるビブラートの評価に加点したり、判定結果が否定的である場合に該区間におけるビブラートの評価に減点したりしても良い。

（１３）上記実施形態においては、フィルタ練習者ピッチデータから抽出された各種パラメータに基づいて、満点（１００点）から減点してビブラート技法の巧拙を評価する場合について説明した。しかし、上記各種パラメータの値に応じて加点することにより評価をしても良い。

（１４）ビブラート技法において、望ましい振動数はビブラートがなされた楽曲部分のピッチによって異なることが知られている。例えば、低い音では、１秒間に３〜５周期程度であり高い音では６〜１０周期程度が望ましいといわれている。そのように、ピッチによって望ましい振動数が変わるような場合には、ピッチと望ましいビブラートの振動数を対応づけたテーブルを設け、該テーブルにおいて練習者音声データから抽出したピッチの絶対的な値に対応付けられた振動数と、練習者音声データのビブラートの振動数との差分に基づいて歌唱評価を行うとしても良い。

（１５）上記実施形態においては、フィルタ練習者ピッチデータから各種のパラメータを算出し、算出されたパラメータを上述のような組み合わせで用いて、ビブラート区間特定処理およびビブラート評価処理を行う場合について説明した。しかし、それぞれの処理に用いるパラメータの組み合わせの方法はあくまでも一例であり、上述の実施形態のような組み合わせで必ずしも用いる必要はない。例えば、上述の実施形態に用いたパラメータのうち１つまたは複数のパラメータを用いないで処理をしても良いし、更に他のパラメータを組み合わせて用いても良い。

（１６）上記実施形態においては、パラメータの算出において、ビブラートの振動数の標準偏差Ｄｆ、およびピッチ振動幅の標準偏差Ｄｐを算出する場合について説明した。しかし、該パラメータは、それぞれビブラートの振動数のばらつきの度合い、およびピッチ振動幅のばらつきの度合いを反映したパラメータであれば良い。従って、それらのパラメータの算出に標準偏差に代えて標準誤差を用いるとしても良い。

（１７）上記実施形態においては、各楽曲におけるビブラート区間を特定し、該特定されたビブラート区間について歌唱を評価する場合について説明した。しかし、ビブラート区間を示すデータが別途得られる場合には、上記ビブラート区間の特定を行わなくても良い。ビブラート区間を示すデータが別途得られる場合とは、例えば、各楽曲データにビブラート区間を示すデータが予め含まれている場合などである。そのような場合、上記ビブラート区間を示すデータが示すビブラート区間をビブラート区間データ記憶領域１２５に書き込んでおき、ビブラート評価処理の際に該書き込まれたビブラート区間データを読み出して用いれば良い。

（１８）上記実施形態においては、図２のフローチャートに示されているように、カラオケ伴奏および歌唱(ステップＳＡ１００ないし１２０)が終了してからビブラート区間が特定される（ステップＳＡ１４０ないし１７０）場合について説明した。しかし、カラオケの伴奏および歌唱の進行に伴いリアルタイムにビブラート区間を特定するようにしても良い。その場合の制御部１１の処理手順を以下に示す。すなわち、制御部１１は、カラオケ伴奏の進行に伴いお手本音声データを読み出し、読み出した部分のお手本音声データについて、お手本ピッチデータを生成する。制御部１１は、そのように順次生成されるお手本ピッチデータについてステップＳＡ１４０ないし１７０の処理を行うことにより、カラオケ伴奏が済んだ楽曲部分のビブラート区間を特定する。その結果、カラオケ伴奏の終了の時点で楽曲の全ての部分についてビブラート区間が特定される。

カラオケ装置１のハードウェア構成を示すブロック図である。 ビブラート区間特定処理の流れを示すフローチャートである。 ピッチデータの内容の一例を示す図である。 ピッチ振動幅の算出法を説明するための図である。 ピッチ振動幅の線形近似直線の算出法を説明するための図である。 ビブラート評価処理の流れを示すフローチャートである。

符号の説明

１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１２１…伴奏データ記憶領域、１２２…歌詞データ記憶領域、１２３…お手本音声データ記憶領域、１２４…練習者音声データ記憶領域、１２５…ビブラート区間データ記憶領域、１２６…パラメータ記憶領域。

Claims (12)

1. メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、
   音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、
   前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、
   前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データの値を算出し、前記ピッチ差分データが負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定手段と、
   前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が所定の態様になっている区間を特定する特定手段と、
   前記ピッチ差分データにおいて、ピッチの値が極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、
   前記特定手段により特定された区間において、前記ピッチ振動幅データが所定の態様になっている場合に前記特定手段が特定した区間を示す情報を出力する出力手段と
   を備えることを特徴とするビブラート検出装置。
2. 前記特定手段は、前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を特定する
   ことを特徴とする請求項１に記載のビブラート検出装置。
3. 前記出力手段は、前記特定手段により特定された区間における前記ピッチ変動幅データの時間変化を近似する直線を算出し、算出された前記直線の傾きの絶対値が所定の閾値より小さい場合に、前記特定手段が特定した区間を示す情報を出力することを特徴とする請求項１に記載のビブラート検出装置。
4. 前記出力手段は、前記特定手段により特定された区間における前記ピッチ変動幅データの時間平均を算出し、算出された前記時間平均が所定の範囲にある場合に、前記特定手段が特定した区間を示す情報を出力することを特徴とする請求項１に記載のビブラート検出装置。
5. メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、
   音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、
   前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、
   ビブラート区間を示すデータを受取る受取手段と、
   前記受取手段が受取ったデータが示すビブラート区間において、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データのピッチの値を算出し、前記ピッチ差分データが極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、
   前記受取手段が受取ったデータが示すビブラート区間において、前記ピッチ振動幅データが所定の態様になっている場合に高い評価を算出し、該評価を出力する出力手段と
   を備えることを特徴とするビブラート評価装置。
6. 前記出力手段は、前記ピッチ変動幅データの時間変化を近似する直線を算出し、算出された前記直線の傾きの絶対値が小さいほど高い評価を算出することを特徴とする請求項５に記載のビブラート評価装置。
7. 前記出力手段は、前記ピッチ変動幅データの値からその標準偏差または標準誤差を算出し、算出された前記標準偏差または標準誤差が小さいほど高い評価を算出することを特徴とする請求項５に記載のビブラート評価装置。
8. 前記ビブラート区間において、前記ピッチ差分値データの値が、負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定手段と、
   前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔の標準偏差または標準誤差を算出する算出手段とを更に有し、
   前記出力手段は、前記算出手段が算出した標準偏差または標準誤差が小さいほど高い評価を算出することを特徴とする請求項５に記載のビブラート評価装置。
9. メロディのピッチを表すメロディピッチデータを記憶装置に記憶する記憶段階と、
   音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出段階と、
   前記ピッチ検出段階において生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理段階と、
   前記記憶装置に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理段階においてフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データの値を算出し、前記ピッチ差分データが負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定段階と、
   前記ゼロクロス箇所特定段階において特定されたゼロクロス箇所が所定の態様になっている区間を特定する特定段階と、
   前記ピッチ差分データにおいて、ピッチの値が極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成段階と、
   前記特定段階において特定された区間において、前記ピッチ振動幅データが所定の態様になっている場合に前記特定段階において特定した区間を示す情報を出力する出力段階と
   を備えることを特徴とするビブラート検出方法。
10. メロディのピッチを表すメロディピッチデータを記憶装置に記憶する記憶段階と、
    音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出段階と、
    前記ピッチ検出段階において生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理段階と、
    ビブラート区間を示すデータを受取る受取段階と、
    前記受取段階において受取ったデータが示すビブラート区間において、前記記憶装置に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理段階においてフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データのピッチの値を算出し、前記ピッチ差分データが極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成段階と、
    前記受取段階において受取ったデータが示すビブラート区間において、前記ピッチ振動幅データが所定の態様になっている場合に高い評価を算出し、該評価を出力する出力段階と
    を備えることを特徴とするビブラート評価方法。
11. コンピュータを、
    メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、
    音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、
    前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、
    前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データの値を算出し、前記ピッチ差分データが負から正又は正から負に変化する箇所をゼロクロス箇所として特定するゼロクロス箇所特定手段と、
    前記ゼロクロス箇所特定手段により特定されたゼロクロス箇所が所定の態様になっている区間を特定する特定手段と、
    前記ピッチ差分データにおいて、ピッチの値が極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、
    前記特定手段により特定された区間において、前記ピッチ振動幅データが所定の態様になっている場合に前記特定手段が特定した区間を示す情報を出力する出力手段
    として機能させるためのプログラム。
12. コンピュータを、
    メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、
    音データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、
    前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、
    ビブラート区間を示すデータを受取る受取手段と、
    前記受取手段が受取ったデータが示すビブラート区間において、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値とし、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータと前記ゼロ基準値との相対的な値を表すピッチ差分データのピッチの値を算出し、前記ピッチ差分データが極大および極小となる時刻を特定すると共に、隣接する極大値と極小値との間の差分からピッチ振動幅データを生成するピッチ振動幅データ生成手段と、
    前記受取手段が受取ったデータが示すビブラート区間において、前記ピッチ振動幅データが所定の態様になっている場合に高い評価を算出し、該評価を出力する出力手段
    として機能させるためのプログラム。

Images