JP5131130B2 - 追従性評価システム，カラオケシステムおよびプログラム - Google Patents

Description

本発明は、ユーザが対象楽曲を歌唱した際の歌唱音声につき、その対象楽曲に対する歌唱の追従性を評価するための追従性評価システムに関する。

近年、対象楽曲を歌唱してなる歌唱音声から抽出されたピッチ変化の傾向と、その対象楽曲におけるピッチ変化の傾向とに基づいて、その対象楽曲に対する歌唱の遅速を判定する、といった技術が提案されている（特許文献１参照）。
特開平１０−１４９１８０号公報

ただ、上記技術では、対象楽曲に対して「歌唱が遅れている」，「歌唱が速すぎる」または「丁度良い」ことを判定することしかできないため、その歌唱がどの程度対象楽曲に追従できているか，より具体的にいえばどの程度そのテンポに合わせて歌唱できているのかといったことまで判定することはできなかった。

本発明は、このような課題を解決するためになされたものであり、その目的は、どの程度テンポに合わせて歌唱できているのかといったことを判定するための技術を提供することである。

上記課題を解決するためには、追従性評価システムとして以下に示す第１の構成（請求項１）のようなものを考えることができる。
この構成においては、ユーザが対象楽曲を歌唱した際の歌唱音声を示す歌唱データに基づき、その対象楽曲を適切に歌唱した場合における模範音声を示す模範データを取得する模範データ取得手段と、該模範データ取得手段により取得された模範データで示される模範音声，および，前記歌唱データで示される歌唱音声を照合することで、前記模範音声において連続する構成音が変化する変化タイミング（以降「模範変化タイミング」という）それぞれが、前記歌唱音声において連続する構成音の変化する変化タイミング（以降「歌唱変化タイミング」という）のいずれに対応するのかを特定するタイミング特定手段と、前記模範変化タイミング毎に、該模範変化タイミングと該模範変化タイミングに対応するものとして前記タイミング特定手段が特定した歌唱変化タイミングとの時間差を算出する時間差算出手段と、該時間差算出手段により算出された時間差それぞれを、該算出に際して参照された前記変化タイミングの到来する順に分布させた場合における時間差の系列に基づいて、該系列における時間差の変化パターンに含まれる周期性が低いほど、前記対象楽曲に対する歌唱の追従性として高い評価値を出力する評価出力手段と、を備えている。

このように構成された追従性評価システムでは、模範音声および歌唱音声を照合することにより、歌唱変化タイミングと模範変化タイミングとの時間差がそれぞれ算出され、この時間差の系列における時間差の変化パターンに含まれる周期性が低いほど、対象楽曲に対する歌唱の追従性として高い評価値を出力する。

歌唱変化タイミングと模範変化タイミングとの時間差の系列は、対象楽曲に対する歌唱に追従できている，つまりテンポに合わせて適切に歌唱できていれば、その時間差の変化パターンに含まれる周期性が大きくなることはない。

それは、歌唱変化タイミングと模範変化タイミングとの時間差が、模範楽曲における構成音の変化タイミングに対する歌唱時のズレだからであり、対象楽曲のテンポに合わせて適切に歌唱できていれば、その時間差が大きくなることはなく、時間差の系列における各時間差が大きな周期性を示すこともないからである。

一方、対象楽曲のテンポに合わせて適切に歌唱できず、実際のテンポから遅れて歌唱したり速く歌唱してしまう場合には、模範変化タイミングにおける構成音の変化タイミングに対する歌唱時のズレ（時間差）が大きくなった後、そのズレに気付いた歌唱者が模範変化タイミングに合わせて構成音を変化させる、といった歌唱行動を繰り返すことが予想される。

この場合、時間差の系列における各時間差が、大きくなった後それまでよりも小さくなるといった変化パターンを繰り返すようになり、これが周期的な変化となる。そして、この変化の周期性は、対象楽曲に対する歌唱に追従できていない，つまりテンポに合わせて歌唱できていないほど大きくなる。

そのため、上述のように、歌唱変化タイミングと模範変化タイミングとの時間差の系列における変化パターンに含まれる周期性が低いほど、対象楽曲をそのテンポに合わせて適切に歌唱できているといえ、歌唱に対する追従性が高いということができる。

つまり、上記構成のように、周期性が低いほど対象楽曲に対する歌唱の追従性として高い評価値を出力するようにすることで、その評価値を、その歌唱がどの程度対象楽曲に追従できているか，つまりどの程度そのテンポに合わせて歌唱できているのかといったことを判定した結果とすることができる。

この構成において「評価値を出力する」とは、例えば、表示部やスピーカから評価値を示すメッセージを出力させたり、後述するカラオケ装置など別の装置にその評価値を渡して表示させたり、といったことである。

また、この構成において、模範音声おける模範変化タイミングが、歌唱音声における歌唱変化タイミングのいずれに対応するのかを特定するに際しては、どのような手法により模範音声および歌唱音声を照合することとしてもよい。具体的な例としては、例えば、模範音声および歌唱音声それぞれの時間軸に沿った音声レベルの推移パターン（具体的な例としては、音声レベルの推移を示す波形など）を照合して変化タイミングを特定することが考えられる。

このためには、上記第１の構成を以下に示す第１−１の構成のようにするとよい。
この構成において、前記タイミング特定手段は、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音声レベルの推移パターンを照合することで、前記模範音声において連続する構成音が変化する模範変化タイミングそれぞれが、前記歌唱音声において連続する構成音が変化する歌唱変化タイミングのいずれに対応するのかを特定する。

この構成であれば、模範音声および歌唱音声それぞれにおける音声レベルの推移パターンを照合することで、模範音声の時間軸に沿った音声レベルの推移パターンのうち、歌唱音声における構成音の歌唱変化タイミングにおける音声レベルの変化度合に所定のしきい値以上近似している模範変化タイミングを特定し、これを、その近似する歌唱変化タイミングに対応する模範変化タイミングであると特定することができる。

この構成において照合に用いられる模範音声における音声レベルの推移パターンとしては、時間軸に沿った実際の音声レベルの推移を示す波形などを用いればよく、模範音声となる構成音それぞれの音声レベル，音価を示す情報列（具体的な例としては楽譜データ）などを用いてもよい。

また、模範音声および歌唱音声を照合するに際しては、模範音声および歌唱音声それぞれの時間軸に沿った音高の推移パターン（具体的な例としては、音高の推移を示す波形など）を照合して変化タイミングを特定することが考えられる。

このためには、上記第１の構成を以下に示す第２の構成（請求項２）のようにするとよい。
この構成において、前記タイミング特定手段は、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音高の推移パターンを照合することで、前記模範音声において連続する構成音の音高が変化する模範変化タイミングそれぞれが、前記歌唱音声において連続する構成音の音高が変化する歌唱変化タイミングのいずれに対応するのかを特定する。

この構成であれば、模範音声および歌唱音声それぞれにおける音高の推移パターンを照合することで、模範音声の時間軸に沿った音高の推移パターンのうち、歌唱音声における構成音の歌唱変化タイミングにおける音高の変化度合に所定のしきい値以上近似している模範変化タイミングを特定し、これを、その近似する歌唱変化タイミングに対応する模範変化タイミングであると特定することができる。

この構成において照合に用いられる模範音声における音高の推移パターンとしては、時間軸に沿った実際の音高の推移を示す波形などを用いればよく、模範音声となる構成音それぞれの音高，音価を示す情報列（具体的な例としては楽譜データ）などを用いてもよい。

なお、この構成では、模範音声において同一音高で連続する構成音が含まれていると、その模範変化タイミングが、歌唱音声における歌唱変化タイミングのいずれに対応する模範変化タイミングかを特定することが難しくなるため、上述した音声レベルの推移パターンによる照合方法を併用することが望ましい。

このためには、上記第２の構成を以下に示す第３の構成（請求項３）のようにするとよい。
この構成において、前記タイミング特定手段は、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音高の推移パターンを照合することで、前記模範音声において連続する構成音の音高が変化する模範変化タイミングそれぞれが、前記歌唱音声において連続する構成音の音高が変化する歌唱変化タイミングのいずれに対応する模範変化タイミングかを特定すると共に、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音声レベルの推移パターンを照合することで、前記模範音声において同一音高で連続する構成音の模範変化タイミングそれぞれが、前記歌唱音声における歌唱変化タイミングのいずれに対応するのかを特定する。

この構成であれば、模範音声および歌唱音声それぞれにおける音高の推移パターンを照合することで変化タイミングの対応関係を特定した後、音声レベルの推移パターンを照合することにより、模範音声において同一音高で連続する構成音の模範変化タイミングが、歌唱音声における歌唱変化タイミングのいずれに対応する模範変化タイミングかを特定することができる。

そのため、模範音声において同一音高で連続する構成音が含まれていたとしても、その模範変化タイミングが、歌唱音声における歌唱変化タイミングのいずれに対応するのかを適切に特定することができるようになる。

また、上記各構成において、歌唱の追従性を示す評価値を決定するに際しては、「時間差の系列」における時間差の変化パターンに含まれる周期性を特定する必要があるところ、その特定は、評価値を決定するタイミングで行うこととすればよく、また、その決定に先立って行うこととしてもよい。

この後者のためには、上記各構成を以下に示す第４の構成（請求項４）のようにするとよい。
この構成においては、前記時間差算出手段により算出された時間差それぞれを、該算出に際して参照された前記変化タイミングの到来する順に分布させた場合における時間差の系列に基づいて、該系列における時間差の変化パターンに含まれる周期性を特定する周期特定手段，を備えている。そして、前記評価出力手段は、前記周期特定手段により特定された周期性が低いほど、前記対象楽曲に対する歌唱の追従性として高い評価値を出力する。

この構成であれば、歌唱の追従性を示す評価値を決定するのに先立ち、時間差の系列における時間差の変化パターンに含まれる周期性を特定しておくことができる。
この構成における周期性の特定方法については、特に限定されないが、例えば、時間差の系列を、時間差の大きさを振幅として変化する波形とみなし、その波形の周波数成分の分布で規定される周期性を特定できるようにする、ことが考えられる。

このための構成としては、上記第４の構成を以下に示す第５の構成（請求項５）のようにすることが考えられる。
この構成において、前記周期特定手段は、前記時間差の系列を、その算出に際して参照された前記変化タイミングの到来する順に時間差の大きさを振幅として変化する波形とみなし、該波形の周波数成分の分布を算出することにより、該分布で規定される周期性を特定して、前記評価出力手段は、前記周期特定手段により算出された周波数成分の分布に基づき、該分布している周波数成分の尖鋭度が小さいほど、前記時間差の変化パターンに含まれる周期性が低いものとして高い評価値を出力する。

この構成であれば、「時間差の系列」を、時間差の大きさが振幅として変化する波形とみなし、その波形の周波数成分の分布を算出したうえで、その周波数成分における尖鋭度（いわゆるＱ値）が小さいほど時間差の変化パターンに含まれる周期性が低いものとして、そのような場合に高い評価値を出力することしている。

上記周波数成分の分布は、時間差の系列における周期性が大きければ、当然、特定の周波数成分のスペクトル強度が大きくなっているはずであり、周波数成分の分布においてピークが現れる。この場合、そのようにスペクトル強度が大きくなっている周波数成分については、その尖鋭度として大きな値を示すものとなっているはずである。逆に，時間差の系列における周期性が小さければ，尖鋭度は小さな値を示す．
そのため、上記構成のように、尖鋭度が小さいほど時間差の変化パターンに含まれる周期性が低いものとして、そのような場合に高い評価値を出力する構成であれば、その評価値を、対象楽曲に対する歌唱の追従性としての高い評価とすることができる。

また、この構成においては、周波数成分の分布においてスペクトル強度が大きくなっているものであれば、いずれの周波数成分の尖鋭度に基づいて評価値を決定することとしてもよいが、そのスペクトル強度が最も大きい周波数成分の尖鋭度に基づいて決定するようにすればよい。

この構成において、前記評価出力手段は、前記周期特定手段により算出された周波数成分の分布に基づき、該分布においてスペクトル強度が最も大きい周波数成分について、該周波数成分の尖鋭度が小さいほど、前記時間差の変化パターンに含まれる周期性が低いものとして高い評価値を決定する。

この構成であれば、周波数成分の分布においてスペクトル強度が最も大きくなっている周波数成分の尖鋭度に基づいて評価値を決定することができる。
また、上記各構成は、以下に示す第７の構成（請求項７）のようにするとよい。

この構成においては、ユーザによる対象楽曲の歌唱時における歌唱音声を示す歌唱データを、該歌唱された対象楽曲を識別可能な識別情報と共に取得する歌唱データ取得手段を備えており、前記模範データ取得手段は、前記歌唱データ取得手段により歌唱データと共に取得された識別情報で識別される対象楽曲につき、その対象楽曲を適切に歌唱した場合における模範音声を示す模範データを取得する。

この構成であれば、ユーザによる対象楽曲の歌唱毎に、歌唱データを生成，取得すると共に、その歌唱データに基づいて評価値を決定して出力することができる。
なお、上記各構成における追従性評価システムは、１つの装置として構成してもよいし、それぞれ通信可能に接続された複数の装置が協調して動作するように構成してもよい。

また、上記課題を解決するための構成としては、カラオケシステムを以下に示す第８の構成（請求項８）のようにしてもよい。
この構成においては、第１〜第７のいずれかの構成に係る追従性評価システムと、前記歌唱データで示される歌唱音声を時系列に沿って所定の区間毎に分割した単位区間それぞれについて、該単位区間の音声に関する歌唱パラメータを、該単位区間において発声すべき正しい音声に基づく理想パラメータと対比することにより、その歌唱楽曲を採点する歌唱採点手段と、該歌唱採点手段により採点された採点結果を報知する結果報知手段と、を備えている。そして、歌唱採点手段は、前記歌唱パラメータと前記理想パラメータとの対比による採点結果を、前記評価出力手段により出力された評価値に応じて加減点させることにより、最終的な採点結果を決定する。

この構成であれば、上記各構成と同様の作用，効果を得ることができる。
さらに、上述したように出力された評価値を考慮した採点結果を報知することができる。

また、上記課題を解決するためには、上記第１〜第８のいずれかにおける全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム（請求項９）としてもよい。

このプログラムを実行するコンピュータシステムであれば、上記第１〜第８のいずれかに係る追従性評価システムの一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して追従性評価システム，カラオケシステムや、これを利用するユーザ等に提供されるものである。

以下に本発明の実施形態を図面と共に説明する。
（１）全体構成
追従性評価システム１は、周知のコンピュータシステムからなるサーバ２と、１以上のカラオケ装置３それぞれとが、ネットワーク１００を介して通信可能に接続されてなるものである。

サーバ２は、サーバ全体を制御する制御部２１，各種情報を記憶する記憶部２３，ネットワーク１００を介した通信を制御する通信部２５，キーボードやディスプレイなどからなるユーザインタフェース（Ｕ／Ｉ）部２７，記録メディアを介して情報を入出力するメディアドライブ２９などを備えている。

カラオケ装置３は、装置全体を制御する制御部３１，演奏楽曲の伴奏内容および歌詞を示す楽曲データや映像データなどを記憶する記憶部３３，ネットワーク１００を介した通信を制御する通信部３５，各種映像の表示を行う表示部４１，複数のキー・スイッチなどからなる操作部４３，マイク４５からの音声の入力とスピーカ４７からの音声の出力とを制御する音声入出力部４９などを備えている。
（２）サーバ２による追従性評価処理
以下に、サーバ２の制御部２１が、内蔵メモリまたは記憶部２３に記憶されているプログラムに従って実行する追従性評価処理の処理手順を図２に基づいて説明する。この追従性評価処理は、いずれかのカラオケ装置３から歌唱データを受信する（ｓ１１０）ことにより開始される。

この歌唱データは、ユーザがカラオケ装置３を使用して楽曲を歌唱した後で送信されてくるデータであり、その歌唱に係る音声の時系列に沿った音声信号をデジタル信号として示すものである。また、この歌唱データは、その歌唱に係る楽曲の識別情報（楽曲番号）が付加された状態で送信されてくるものである。なお、この歌唱データは、カラオケ装置３による歌唱とは無関係に取得されることとしてもよい。

この追従性評価処理が起動されると、まず、その起動に際して受信した歌唱データで示される音声波形に基づいて、この音声波形が離散周波数スペクトルに変換される（ｓ１２０）。

ここでは、まず、音声波形ｖ［ｉ］（ｉ：時間インデックス）（図３（ａ）参照）を、デジタル信号としてのサンプリングのポイントを所定数ｎ₀ずつズラして時間長Ｎ₀（例えば、数十ｍｓ）の時間窓ｗ［ｎ］で順番に切り出してなる波形素片ｖ_w［ｐ］（ｐ＝１，２，…，Ｎ₀）が、下記の式１により求められる。

なお、この時間素片ｖ_w［ｐ］は、時間窓ｗ［ｎ］の順番（番号）ｍ，および，デジタル信号におけるサンプリング周波数Ｆ_sに基づいて下記の式２により決められる時間領域ｔ［ｍ］の音声波形を示すものである。

そして、こうして求められた波形素片ｖ_w［ｐ］が、以下の式３により離散フーリエ変換されることにより、音声波形ｖ［ｉ］を変換してなる離散周波数スペクトルＶ［ｉ’］が求められる。

次に、上記ｓ１２０で変換された離散周波数スペクトルＶ［ｉ’］に基づいて、この離散周波数スペクトルに含まれている調波構造の成分における基本周波数が推定される（ｓ１３０）。

ここでは、基本周波数Ｆ₀とその高調波成分（倍音成分）からなる調波構造モデルＶ_HM［ｉ’］（下記の式４）を用いて、このモデルＶ_HM［ｉ’］と、上記ｓ１２０にて変換された離散周波数スペクトルＶ［ｉ’］（ｉ’：周波数インデックス）と、の相関関係が最大になるＦ₀が、上述した時間領域ｔ［ｍ］について求められ、こうして求められるＦ₀が基本周波数ｖｆ０［ｍ］として推定される。

こうして推定された基本周波数ｖｆ０［ｍ］は、各時間窓に対応する周波数を分布させると、図３（ｂ）に示すように、歌唱データで示される音声波形に含まれる基本周波数の推移，つまり音高の推移パターンを示すものとなる。

次に、上記ｓ１１０にて受信した歌唱データに付加された楽曲（以降「歌唱楽曲」という）の識別情報（楽曲番号）に基づき、その楽曲において発声すべき正しい音声（以降「模範音声」という）を示す模範データが、記憶部２３における模範データ用の記憶領域にあらかじめ記憶されている複数種類の模範データの中から読み出される（ｓ１４０）。

この模範データは、歌唱楽曲における模範音声の時間軸に沿った音高の推移パターンを、その模範音声となる構成音それぞれの発声開始タイミングｃｓｔ［ｋ］，音高ｃｆ０［ｋ］，音価ｃｌｅｎ［ｋ］および音声レベルｃｖｏｌ［ｋ］にて規定したものであり、本実施形態では、各構成音を音符として表した楽譜データである。

次に、上記ｓ１４０にて読み出された模範データで示される模範音声，および，上記ｓ１１０にて受信した歌唱データで示される歌唱音声それぞれの時間軸に沿った音高の推移パターンを照合することで、模範音声において連続する構成音が変化する変化タイミング（以降「模範変化タイミング」という）それぞれが、歌唱音声において連続する構成音の変化する変化タイミング（以降「歌唱変化タイミング」という）のいずれに対応するのかが特定される（ｓ１５０）。

ここでは、まず、上記ｓ１４０にて読み出された模範データで示される模範音声における音高の推移パターンに基づき、模範音声において連続する構成音の変化が開始されてから終了するまでの間の所定タイミング（本実施形態では中間地点）それぞれが模範変化タイミングとして特定される。

続いて、歌唱音声および模範音声それぞれにおいて各模範変化タイミングを中心とする基準期間（例えば、隣接する構成音それぞれまでの期間）分の音高の推移パターンそれぞれが同一基準期間同士で照合される（図３（ｃ）参照）。ここでは、模範音声における各基準期間の推移パターンに対し、歌唱音声における同一基準区間の推移パターンを時間軸に沿って移動させ、両推移パターンの類似度（相関関係）が最大となった際の類似度および時間軸に沿った時間差が算出される。なお、ここでの類似度（相関関係）および時間差を算出するための手法については特に限定されないが、例えば、特開２００５−１０７３３０号公報に記載されている手法を用いることが考えられる。

そして、上記照合により類似度および時間差が算出された模範変化タイミングそれぞれが、この模範変化タイミングとの照合の対象となった歌唱音声の基準期間に含まれる歌唱変化タイミングに対応するものとして特定される。

次に、上記ｓ１１０にて受信した歌唱データで示される音声波形に基づいて、この音声波形が音声レベルの推移を示すレベル波形に変換される（ｓ１６０）。
ここでは、まず、上記ｓ１２０と同様に、音声波形ｖ［ｉ］（図４（ａ）参照）を、デジタル信号としてのサンプリングのポイントを所定数ｎ₀ずつズラして時間長Ｎ₀の時間窓ｗ［ｎ］で順番に切り出してなる波形素片ｖ_w［ｐ］が上記の式１により求められる。

そして、こうして求められた波形素片ｖ_w［ｐ］が、以下の式５により、音声レベルの推移を示すレベル波形ｖ_p［ｍ］に変換される。

こうして変換されたレベル波形ｖ_p［ｍ］は、各時間窓に対応する音声レベルを分布させると、図４（ｂ）に示すように、歌唱データで示される音声波形における音声レベルの推移パターンを示すものとなる。

次に、上記ｓ１４０にて読み出された模範データで示される模範音声，および，上記ｓ１１０にて受信した歌唱データで示される歌唱音声それぞれの時間軸に沿った音声レベルの推移パターンを照合することで、模範音声において同一音高で連続する構成音の模範変化タイミングそれぞれが、歌唱音声における歌唱変化タイミングのいずれに対応するのかが特定される（ｓ１７０）。

ここでは、まず、上記ｓ１４０にて読み出された模範データで示される音声レベルの推移パターンのうち、同一音高で連続する構成音に対応する区間の推移パターンに基づき、この推移パターンにおいて連続する構成音の変化が開始されてから終了するまでの間の所定タイミング（本実施形態では中間）それぞれが模範変化タイミングとして特定される。

続いて、歌唱音声および模範音声それぞれにおいて各模範変化タイミングを中心とする基準期間（例えば、隣接する構成音それぞれを含む期間）分の音声レベルの推移パターンそれぞれが同一基準期間同士で照合される（図４（ｃ）参照）。ここでは、上記と同様、模範音声における各基準期間の推移パターンに対し、歌唱音声における同一基準区間の推移パターンを時間軸に沿って移動させ、両推移パターンの類似度（相関関係）が最大となった際の類似度および時間軸に沿った時間差が算出される。

そして、上記照合により類似度および時間差が算出された模範変化タイミングそれぞれが、この模範変化タイミングとの照合の対象となった歌唱音声の基準期間に含まれる歌唱変化タイミングに対応するものとして特定し直される。

なお、ここでは、同一音高で連続する構成音に対応する区間の推移パターンについてのみの照合を行っているが、この区間であるか否かに拘わらず照合を行うこととしてもよい。この場合、このｓ１７０にて類似度および時間差が算出された模範変化タイミングのうち、上記ｓ１５０にて同様に算出がなされた模範変化タイミングよりも、その類似度として大きな値が算出された模範変化タイミングのみを、この模範変化タイミングとの照合の対象となった歌唱音声の基準期間に含まれる歌唱変化タイミングに対応するものとして特定し直すこととすればよい。

次に、上記ｓ１４０にて読み出された模範データで示される模範音声の模範変化タイミング毎に、その模範変化タイミングと、この模範変化タイミングに対応するものとして上記ｓ１５０またはｓ１７０で特定された歌唱変化タイミングとの時間差の系列が生成される（ｓ１８０）。ここでは、上記ｓ１５０，ｓ１７０における特定の過程で算出された時間差が、その変化タイミングが到来する順に配列され、こうして分布されてなる時間差の系列ｖｄｔ［ｋ］（ｋ：変化タイミングのインデックス）が生成される。

この時間差の系列は、対象楽曲に対する歌唱の追従性が高い区間に対応する時間差が小さい値を示し、追従性が低い区間に対応する時間差が大きくなる。このように追従性が低い区間は、追従性の高低を規定する時間差が大きくなり、歌唱者が歌唱に伴って違和感を持つ結果、その時間差をリセットすべく早口でまたはゆっくりと歌唱するといった行動をとることが一般的である。

そして、このような行動は、対象楽曲のテンポに追従して歌唱することができていれば、繰り返し生じることはないが、対象楽曲のテンポに追従できていないほど、繰り返し生じることになる。つまり、時間差の系列は、対象楽曲のテンポに追従できていない場合に時間差が小さくなる区間が生じ、そのテンポに追従できていない度合いが大きくなるほど、そのように時間差が小さくなる区間の発生頻度が高くなり、そのような区間が系列全体でみた場合に周期的に繰り返されたものとなる。

次に、上記ｓ１８０にて生成された時間差の系列に基づいて、この系列における時間差の変化パターンに含まれる周期性が特定される（ｓ１９０）。
ここでは、時間差の系列を、その算出に際して参照された変化タイミングの到来する順に時間差の大きさを振幅として変化する波形とみなし（図５（ａ）参照）、その波形の周波数スペクトルの分布ＶＤＴ［ｋ］を下記の式６にて算出することにより、この分布で規定される周期性が特定される。

こうして特定された周波数スペクトルの分布ＶＴＤ［ｋ］は、各変化タイミングについてスペクトル強度を分布させると、図５（ｂ）に示すように、時間差の変化パターンに含まれる周期性が高いほど、その周期性に応じた周波数成分のスペクトル強度が大きくなる。つまり、この周波数スペクトルの分布ＶＴＤ［ｋ］は、スペクトル強度が大きいほど、そのスペクトル強度に対応する周波数成分についての周期性が高いということを示す。

そして、上記ｓ１９０にて特定された周期性に基づいて、上記ｓ１１０で受信された歌唱データで示される歌唱音声における歌唱の追従性を評価してなる評価値が決定される（ｓ２００）。

ここでは、上記ｓ１９０にて特定された周波数スペクトルの分布ＶＴＤ［ｋ］において、その分布している所定の周波数成分（例えば、最もスペクトル強度の大きい周波数成分）の尖鋭度Ｑが小さいほど、時間差の変化パターンに含まれる周期性が低いものとして高い評価値を決定する。

具体的には、上記周波数成分におけるピークとなる時間インデックスｋを「ｋ₀」とし、そのピークから１／２の大きさになる時間インデックスｋの幅を「Δｋ」とした場合にｋ₀とΔｋとの比（ｋ₀／Δｋ）により尖鋭度Ｑが求められ、この尖鋭度Ｑの逆数が評価値ＳＣ（＝１／Ｑ）として決定される。

なお、このｓ２００では、上述した評価値ＳＣの決定だけでなく、歌唱データに基づいて周知の採点を行い、その採点結果を、評価値ＳＣに応じて加減点させることにより、最終的な採点結果を決定することとしてもよい。ここでの採点は、例えば、歌唱データで示される歌唱音声を時系列に沿って所定の区間毎に分割した単位区間それぞれについて、その単位区間の音声に関する歌唱パラメータを、その単位区間において発声すべき正しい音声に基づく理想パラメータと対比することにより、単位区間それぞれにおけるパラメータの誤差に応じた値を採点結果とすればよい。

そして、このｓ２００にて決定された評価値ＳＣ（または評価値と採点結果；以降「評価値等」という）が、楽曲データの送信元であるカラオケ装置３へと返信された後（ｓ２１０）、本追従性評価処理が終了する。

この評価値等を受信したカラオケ装置３では、後述する楽曲演奏処理により、その評価値等の表示部４１への表示を行うこととなる。
（３）カラオケ装置３による楽曲演奏処理
以下に、カラオケ装置３の制御部３１が内蔵メモリまたは記憶部３３に記憶されたプログラムに従って実行する楽曲演奏処理の処理手順を図６に基づいて説明する。この楽曲演奏処理は、カラオケ装置３が起動した以降、繰り返し実行される。

この楽曲演奏処理が起動されると、まず、ユーザにより歌唱すべき楽曲を選択するための操作が行われるまで待機状態となる（ｓ３１０：ＮＯ）。
その後、楽曲を選択するための操作が行われたら（ｓ３１０：ＹＥＳ）、そうして選択された楽曲（指定楽曲）の楽曲番号が取得される（ｓ３２０）。

次に、上記ｓ３２０にて取得された楽曲番号に基づき、この楽曲番号で識別される指定楽曲を演奏するための楽曲データをカラオケ装置３に要求するための情報として、その楽曲番号，および，これと共に取得されたユーザＩＤを伴う通知要求が生成され（ｓ３３０）、これがサーバ２に送信される（ｓ３４０）。

この通知要求を受信したサーバ２は、この通知要求に伴う楽曲番号で識別される指定楽曲を演奏するための楽曲データを返信してくるように構成されている。
こうして、上記ｓ３４０で通知要求を送信した後、サーバ２から返信されてくる楽曲データが受信されたら（ｓ３５０）、この楽曲データが記憶部３３に記憶される（ｓ３６０）。

次に、上記ｓ３６０にて記憶部３３に記憶された楽曲データに基づく指定楽曲の演奏が開始されると共に（ｓ３８０）、その演奏に際してマイク４５から入力された音声，つまり指定楽曲を歌唱してなる音声を示す歌唱データの生成が開始される（ｓ３９０）。

こうして、指定楽曲の演奏が開始された以降、その演奏が終了するまで待機状態となった後（ｓ４００：ＮＯ）、演奏が終了したら（ｓ４００：ＹＥＳ）、上記ｓ３９０にて開始された歌唱データの生成が終了され、その時点までに生成された歌唱データが取得される（ｓ４１０）。

次に、上記ｓ４１０にて取得された歌唱データがサーバ２へと送信される（ｓ４２０）。この歌唱データを受信したサーバ２は、上述した追従性評価処理により追従性の評価を行った後、その評価結果である評価値または採点結果（評価値等）を返信してくる。

なお、ここでは、歌唱データそのものをサーバ２へと送信しているが、サーバ２側で評価値等を決定するために必要なパラメータのみをサーバ２へと送信することとしてもよい。

そして、上記ｓ４２０により歌唱データがサーバ２へと送信されてから、このサーバ２から送信されてくる評価値等が受信され（ｓ４３０）、この評価値等が表示部４１に表示された後（ｓ４４０）、本楽曲演奏処理が終了する。
（４）作用，効果
このように構成された追従性評価システム１では、模範音声および歌唱音声を照合することにより、歌唱変化タイミングと模範変化タイミングとの時間差が算出され（図２のｓ１７０，ｓ１８０）、この時間差の系列における時間差の変化パターンに含まれる周期性が低いほど、対象楽曲に対する歌唱の追従性として高い評価値を決定し（同図ｓ１９０，ｓ２００）、この評価値をカラオケ装置３側で表示させている（図６のｓ４４０）。

歌唱変化タイミングと模範変化タイミングとの時間差の系列は、対象楽曲に対する歌唱に追従できている，つまりテンポに合わせて適切に歌唱できていれば、その時間差の変化パターンに含まれる周期性が大きくなることはない。

それは、歌唱変化タイミングと模範変化タイミングとの時間差が、模範変化タイミングにおける構成音の変化タイミングに対する歌唱時のズレだからであり、対象楽曲のテンポに合わせて適切に歌唱できていれば、その時間差が大きくなることはなく、時間差の系列における各時間差が周期的に変化することもないからである。

一方、対象楽曲のテンポに合わせて適切に歌唱できず、実際のテンポから遅れて歌唱したり速く歌唱してしまう場合には、模範変化タイミングにおける構成音の変化タイミングに対する歌唱時のズレ（時間差）が大きくなった後、そのズレに気付いた歌唱者が模範変化タイミングに合わせて構成音を変化させる、といった歌唱行動を繰り返すことが予想される。

この場合、時間差の系列における各時間差が、大きくなった後それまでよりも小さくなるといった変化パターンを繰り返すようになり、これが周期的な変化となる。そして、この変化の周期性は、対象楽曲に対する歌唱に追従できていない，つまりテンポに合わせて歌唱できていないほど大きくなる。

そのため、上述のように、歌唱変化タイミングと模範変化タイミングとの時間差の系列における変化パターンに含まれる周期性が低いほど、対象楽曲をそのテンポに合わせて適切に歌唱できているといえ、歌唱に対する追従性が高いということができる。

つまり、上記構成のように、周期性が低いほど対象楽曲に対する歌唱の追従性として高い評価値を出力するようにすることで、その評価値を、その歌唱がどの程度対象楽曲に追従できているか，つまりどの程度そのテンポに合わせて歌唱できているのかといったことを判定した結果とすることができる。

また、上記実施形態においては、模範音声および歌唱音声それぞれにおける音高の推移パターンを照合することで、模範音声の時間軸に沿った音高の推移パターンのうち、歌唱音声における構成音の歌唱変化タイミングにおける音高の変化度合に所定のしきい値以上近似している模範変化タイミングを特定し、これを、その近似する歌唱変化タイミングに対応する模範変化タイミングであると特定することができる（図２のｓ１５０）。

また、上記実施形態においては、模範音声および歌唱音声それぞれにおける音高の推移パターンを照合することで変化タイミングの対応関係を特定した後（図２のｓ１５０）、音声レベルの推移パターンを照合することにより、模範音声において同一音高で連続する構成音の模範変化タイミングが、歌唱音声における歌唱変化タイミングのいずれに対応する模範変化タイミングかを特定することができる（同図ｓ１７０）。

そのため、模範音声において同一音高で連続する構成音が含まれていたとしても、その模範変化タイミングが、歌唱音声における歌唱変化タイミングのいずれに対応するのかを適切に特定することができるようになる（図４参照）。

また、上記実施形態においては、歌唱の追従性を示す評価値を決定するのに先立ち、時間差の系列における時間差の変化パターンに含まれる周期性を特定しておくことができる（図２のｓ１９０）。

また、上記実施形態においては、「時間差の系列」を、時間差の大きさが振幅として変化する波形とみなし（図５（ａ）参照）、その波形における周波数スペクトルの分布ＶＴＤ［ｋ］を算出したうえで（図２のｓ１９０）、その周波数成分における尖鋭度（いわゆるＱ値）が小さいほど時間差の変化パターンに含まれる周期性が低いものとして、そのような場合に高い評価値を決定することしている（同図ｓ２００）。

上記周波数スペクトルの分布ＶＴＤ［ｋ］は、時間差の系列における周期性が大きければ、当然、特定の周波数成分のスペクトル強度が大きくなっているはずであり（図５（ｂ）参照）、この場合、そのようにスペクトル強度が大きくなっている周波数成分については、その尖鋭度として大きな値を示すものとなっているはずである。逆に，時間差の系列における周期性が低い場合には，尖鋭度は小さな値となる。

そのため、上記構成のように、尖鋭度が小さいほど時間差の変化パターンに含まれる周期性が低いものとして、そのような場合に高い評価値を出力する構成であれば、その評価値を、対象楽曲に対する歌唱の追従性としての高い評価とすることができる。

また、上記実施形態においては、周波数成分の分布においてスペクトル強度が最も大きくなっている周波数成分の尖鋭度に基づいて評価値を決定することができる（図５（ｂ）参照）。

また、上記実施形態においては、カラオケ装置３側でユーザによる歌唱が行われる毎に、その歌唱に係る歌唱データを取得したうえで（図２のｓ１１０）、この歌唱データに基づいて評価値を決定，出力することができる（同図ｓ２００，図６のｓ４４０）。

また、上記実施形態において、歌唱についての採点を行ったうえで、その採点結果を評価値に応じて加減点するように構成した場合であれば、上述したように決定された評価値を考慮した採点結果を報知することができる（図６のｓ４４０）。
（５）変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施形態においては、カラオケ装置３の表示部４１への表示という態様で評価値を出力するように構成されている（図６のｓ４４０）。しかし、この評価値の出力は、例えば、評価値を示すメッセージをサーバ２の表示部やスピーカなどで出力することで実現してもよい。

また、上記実施形態においては、模範音声および歌唱音声それぞれにおける音高の推移パターンの照合を行ったうえで（図２のｓ１５０）、模範音声および歌唱音声それぞれにおける音声レベルの推移パターンを照合するように構成されている（同図ｓ１７０）。

しかし、この音高の推移パターンの照合を行うことなく、音声レベルの推移パターンのみの照合により、変化タイミングの対応関係を特定するように構成してもよい。
また、上記実施形態においては、周波数成分の分布においてスペクトル強度が最も大きくなっている周波数成分の尖鋭度を参照して評価値を決定している（図５（ｂ）参照）。しかし、この評価値を決定する際の周波数成分の尖鋭度としては、他の周波数成分の尖鋭度を参照することとしてもよい。

また、上記実施形態においては、模範データが、模範音声の構成音それぞれを音符として表した楽譜データである場合を例示した。しかし、この模範データは、模範音声における音高または音声レベルの波形を示すデータとしてもよい。

また、上記実施形態では、追従性評価システム１として、サーバ２およびカラオケ装置３が協調して動作するように構成された場合を例示した。しかし、この追従性評価システム１は、カラオケ装置３側に実装された機能をサーバ２に実装させることにより、このサーバ２単体からなる構成としてもよい。

また、上記実施形態におけるサーバ２は、このサーバ２による処理の一部，例えば履歴蓄積処理の一部または全部を他の装置と協調して実施することにより、全体としてサーバ２として機能するようにできることはいうまでもない。

また、上記実施形態においては、模範変化タイミングと歌唱変化タイミングとの時間差を算出するにあたり、推移パターンを照合するように構成されているものを例示した。しかし、この対応関係を特定するにあたっては、両変化タイミングの時間差を算出するにあたっては、歌唱音声を音声認識してなる文字およびその歌唱されたタイミングを、対象楽曲の歌詞を構成する文字およびその歌唱されるタイミングと対比することにより、その時間差を算出することとしてもよい。

また、上記実施形態においては、図２のｓ１３０で基本周波数を推定するにあたり、上記式４のモデルＶ_HM［ｉ’］を用いるように構成されたものを例示した。しかし、この基本周波数を推定する際に用いるモデルは、このモデルに限られない。例えば、下記に示す式７のモデルを用いることが考えられる。

なお、この式７における「σ」は、スペクトルの広がりを調整するためのパラメータであり、分布のピーク値から所定割合Ｘ％（数十％；本実施形態の条件では約３７％）の値に小さくなるまでの周波数インデックスｉのズレを示す。この値が小さいほど調波構造の各成文は細く尖った形状となり、逆に大きいほど太くなめらかな形状となる。そして、この「σ」の値としては、上記所定割合Ｘ％よりも小さい値（具体的な例としては１０〜２０％程度）に設定しておけばよい。
（６）本発明との対応関係
以上説明した実施形態において、図２のｓ１４０が本発明における模範データ取得手段であり、同図ｓ１５０，ｓ１７０が本発明におけるタイミング特定手段であり、同図ｓ１５０，ｓ１７０，ｓ１８０が本発明における時間差算出手段であり、同図ｓ２００が本発明における歌唱採点手段であり、同図ｓ２００，ｓ２１０，図６のｓ４４０が本発明における評価出力手段であり、同図ｓ１９０が本発明における周期特定手段であり、図６のｓ３９０，ｓ４１０が本発明における歌唱データ取得手段であり、同図ｓ４４０が本発明における結果報知手段である。

追従性評価システムの全体構成を示すブロック図 履歴蓄積処理を示すフローチャート 音高の推移パターンに基づいて変化タイミングの対応関係を特定する様子を示す図 音声レベルの推移パターンに基づいて変化タイミングの対応関係を特定する様子を示す図 時間差の系列における変化パターンの周期性を特定する様子を示す図 楽曲演奏処理を示すフローチャート

符号の説明

１…追従性評価システム、２…サーバ、２１…制御部、２３…記憶部、２５…通信部、２７…ユーザインタフェース部、２９…メディアドライブ、３…カラオケ装置、３１…制御部、３３…記憶部、３５…通信部、４１…表示部、４３…操作部、４５…マイク、４７…スピーカ、４９…音声入出力部、１００…ネットワーク。

Claims (9)

1. ユーザが対象楽曲を歌唱した際の歌唱音声を示す歌唱データに基づき、その対象楽曲を適切に歌唱した場合における模範音声を示す模範データを取得する模範データ取得手段と、
   該模範データ取得手段により取得された模範データで示される模範音声，および，前記歌唱データで示される歌唱音声を照合することで、前記模範音声において連続する構成音が変化する変化タイミング（以降「模範変化タイミング」という）それぞれが、前記歌唱音声において連続する構成音の変化する変化タイミング（以降「歌唱変化タイミング」という）のいずれに対応するのかを特定するタイミング特定手段と、
   前記模範変化タイミング毎に、該模範変化タイミングと該模範変化タイミングに対応するものとして前記タイミング特定手段が特定した歌唱変化タイミングとの時間差を算出する時間差算出手段と、
   該時間差算出手段により算出された時間差それぞれを、該算出に際して参照された前記変化タイミングの到来する順に分布させた場合における時間差の系列に基づいて、該系列における時間差の変化パターンに含まれる周期性が低いほど、前記対象楽曲に対する歌唱の追従性として高い評価値を出力する評価出力手段と、を備えている
   ことを特徴とする追従性評価システム。
2. 前記タイミング特定手段は、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音高の推移パターンを照合することで、前記模範音声において連続する構成音の音高が変化する模範変化タイミングそれぞれが、前記歌唱音声において連続する構成音の音高が変化する歌唱変化タイミングのいずれに対応するのかを特定する
   ことを特徴とする請求項１に記載の追従性評価システム。
3. 前記タイミング特定手段は、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音高の推移パターンを照合することで、前記模範音声において連続する構成音の音高が変化する模範変化タイミングそれぞれが、前記歌唱音声において連続する構成音の音高が変化する歌唱変化タイミングのいずれに対応する模範変化タイミングかを特定すると共に、前記模範音声および前記歌唱音声それぞれの時間軸に沿った音声レベルの推移パターンを照合することで、前記模範音声において同一音高で連続する構成音の模範変化タイミングそれぞれが、前記歌唱音声における歌唱変化タイミングのいずれに対応するのかを特定する
   ことを特徴とする請求項２に記載の追従性評価システム。
4. 前記時間差算出手段により算出された時間差それぞれを、該算出に際して参照された前記変化タイミングの到来する順に分布させた場合における時間差の系列に基づいて、該系列における時間差の変化パターンに含まれる周期性を特定する周期特定手段，を備え、
   前記評価出力手段は、前記周期特定手段により特定された周期性が低いほど、前記対象楽曲に対する歌唱の追従性として高い評価値を出力する
   ことを特徴とする請求項１から３のいずれかに記載の追従性評価システム。
5. 前記周期特定手段は、前記時間差の系列を、その算出に際して参照された前記変化タイミングの到来する順に時間差の大きさを振幅として変化する波形とみなし、該波形の周波数成分の分布を算出することにより、該分布で規定される周期性を特定して、
   前記評価出力手段は、前記周期特定手段により算出された周波数成分の分布に基づき、該分布している周波数成分の尖鋭度が小さいほど、前記時間差の変化パターンに含まれる周期性が低いものとして高い評価値を出力する
   ことを特徴とする請求項４に記載の追従性評価システム。
6. 前記評価出力手段は、前記周期特定手段により算出された周波数成分の分布に基づき、該分布においてスペクトル強度が最も大きい周波数成分について、該周波数成分の尖鋭度が小さいほど、前記時間差の変化パターンに含まれる周期性が低いものとして高い評価値を決定する
   ことを特徴とする請求項５に記載の追従性評価システム。
7. ユーザによる対象楽曲の歌唱時における歌唱音声を示す歌唱データを、該歌唱された対象楽曲を識別可能な識別情報と共に取得する歌唱データ取得手段を備えており、
   前記模範データ取得手段は、前記歌唱データ取得手段により歌唱データと共に取得された識別情報で識別される対象楽曲につき、その対象楽曲を適切に歌唱した場合における模範音声を示す模範データを取得する
   ことを特徴とする請求項１から６に記載の追従性評価システム。
8. 請求項１から７のいずれかに記載の追従性評価システムと、
   前記歌唱データで示される歌唱音声を時系列に沿って所定の区間毎に分割した単位区間それぞれについて、該単位区間の音声に関する歌唱パラメータを、該単位区間において発声すべき正しい音声に基づく理想パラメータと対比することにより、その歌唱楽曲を採点する歌唱採点手段と、
   該歌唱採点手段により採点された採点結果を報知する結果報知手段と、を備えており、
   該歌唱採点手段は、前記歌唱パラメータと前記理想パラメータとの対比による採点結果を、前記評価出力手段により出力された評価値に応じて加減点させることにより、最終的な採点結果を決定する
   ことを特徴とするカラオケシステム。
9. 請求項１から８のいずれかに記載の全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。