JP6304650B2 - 歌唱評価装置 - Google Patents

Description

本発明は、歌唱者の歌唱内容を評価する歌唱評価装置に関する。

現在普及しているカラオケ装置に用いられる歌唱評価装置においては、各種の歌唱評価方法が採用されている。これら従来の歌唱評価装置では、基本的な歌唱評価項目として、歌唱データと楽譜データとを比較する、歌唱データとは、歌唱者の歌唱を収音して得られる音声データである。楽譜データとは、歌唱者が歌唱している曲における各音の音高、音量、および発音タイミング等を設定するデータである。従来の歌唱評価装置は、歌唱データの各音の音高、音量、および発音タイミングが、楽譜データの各音の音高、音量、および発音タイミングに対して、どれだけ一致しているかによって、歌唱を評価している。例えば、従来の歌唱評価装置は、歌唱データの各音の音高、音量、および発音タイミングが、楽譜データの各音の音高、音量、および発音タイミングに一致している度合いが高いほど、高得点になるように評価する。

また、特許文献１に記載のカラオケ装置では、歌唱データのリズムを検出し、歌唱している楽曲データに含まれるリズムを一致しているかどうかを検出することで、歌唱を評価している。

特開２００７−１１４４９２号公報

しかしながら、特許文献１に記載のカラオケ装置を含む従来の歌唱評価装置では、歌唱者の躍動感、特にノリを評価することができない。このような歌唱における躍動感は、歌唱者や聴者によって気持ちの良いものであるにも関わらず、上述のように、単純な楽譜データとの比較だけでは評価することができない。すなわち、歌唱者や聴者が「歌唱者は躍動感があって上手く歌えている」と思っているのにも関わらず、評価が低い（例えば、点数が低い）と判断されることある。

本発明の目的は、単純な楽譜データや楽曲データとの比較だけでは評価できない歌唱の躍動感、特にノリを反映して評価する歌唱評価装置を提供することにある。

この発明の歌唱評価装置は、子音長分布作成部および判定部を備える。子音長分布作成部は、歌唱を示す音である歌唱音の子音長の分布を作成する。判定部は、子音長の分布を用いて子音長の分布の広がり度合いである子音長のバラツキを検出し、該子音長のバラツキを用いて歌唱を判定する。

この構成では、躍動感がある歌唱と躍動感がない歌唱、特に、ノリが良い歌唱とノリが悪い歌唱とでは、子音長のバラツキが異なることを利用している。したがって、子音長のバラツキを検出して用いることで、歌唱のノリを正確に判定している。

また、この発明の歌唱評価装置は、歌唱者の歌唱音から得られる歌唱データの子音長を測定し、子音長分布作成部に出力する子音長測定部を備える。

この構成では、ユーザによって歌唱された歌唱音から歌唱データの子音長を測定することができる。

この発明の歌唱評価装置は、子音長測定部、子音長分布作成部、および、判定部を備える。子音長測定部は、歌唱者の歌唱音から得られる歌唱データの子音長を測定する。子音長分布作成部は、子音長の分布を作成する。判定部は、子音長の分布を用いて子音長の分布の広がり度合いである子音長のバラツキを検出し、該子音長のバラツキを用いて歌唱を判定する。

この構成では、躍動感がある歌唱と躍動感がない歌唱、特に、ノリが良い歌唱とノリが悪い歌唱とでは、子音長のバラツキが異なることを利用している。したがって、子音長のバラツキを検出して用いることで、歌唱のノリを正確に判定している。

また、この発明の歌唱評価装置は、歌唱される曲の楽譜データおよび楽曲データから判定対象の子音を検出する判定対象検出部を備える。子音長分布作成部は、判定対象とされた子音に対して子音長の分布を作成する。

この構成では、特定の音型やリズムにおいて、特に子音長のバラツキ度合いがノリの良い歌唱とノリの悪い歌唱で異なることを利用している。したがって、特定の判定対象の子音に対して子音長のバラツキを検出して用いることで、歌唱のノリを、より正確に判定している。

また、この発明の歌唱評価装置の判定対象検出部は、音型分析部、リズム分析部、および特定区間抽出部の少なくとも一つを備える。音型分析部は、楽譜データから歌唱される音型を分析する。リズム分析部は、楽譜データから歌唱されるリズムを分析する。特定区間抽出部は、楽曲データから歌唱される曲の特定区間を抽出する。判定対象検出部は、音型、リズム、および特定区間の少なくとも一つから判定対象を決定する。

この構成では、判定対象検出部のより具体的な好ましい態様例を示している。このように、音型、リズム、および特定区間を判定対象とすることで、より正確な判定が可能になる。

また、この発明の歌唱評価装置は、母音発音タイミング取得部、および、母音発音タイミング分布作成部と、を備える。母音発音タイミング取得部は、歌唱データを用いて母音発音タイミングを検出する。母音発音タイミング分布作成部は、母音発音タイミングと楽曲の拍のタイミングとのタイミング差を検出し、母音発音タイミング差の分布を作成する。判定部は、母音発音タイミング差の分布を前記歌唱の判定に利用する。

この構成では、母音の発音タイミングは、ノリの良い歌唱でもノリの悪い歌唱でも拍のタイミングと略一致しており、母音の発音タイミングが拍からずれる回数が多いと歌唱が下手に聞こえることを利用している。したがって、母音の発音タイミングと拍との差を検出して利用することで、歌唱の上手下手をさらに正確に判定することができる。

また、この発明の歌唱評価装置では、判定部は、子音長の分布の広がり度合い（子音長のバラツキ）が大きいほどノリが良いと判断して歌唱を高評価する。

この構成では、歌唱評価の一例を示しており、後述の図２に示すように、ノリが良い歌唱は子音長のバラツキが大きく、ノリの悪い歌唱、例えば、機械的に楽譜通り歌った歌唱は子音長のバラツキが少ないことを利用している。したがって、子音長のバラツキが大きいほどノリが良いと判断することで、歌唱者や聴者における歌唱の上手下手の感覚により近い評価を行うことができる。

この発明によれば、歌唱者や聴者による上手下手の感覚により近い歌唱評価を実現することができる。

本発明の第１の実施形態に係る歌唱評価装置の主要構成を示すブロック図 本発明の第１の実施形態に係る歌唱評価装置の歌唱評価の基準概念を示す図 本発明の第１の実施形態に係る歌唱評価方法のフローチャート 本発明の第２の実施形態に係る歌唱評価装置の主要構成を示すブロック図 本発明の第２の実施形態に係る母音の発音開始タイミングと拍のタイミングとを関連付けする概念を示す図 本発明の第２の実施形態に係る母音の発音開始タイミングと拍のタイミングとの時間差の分布と歌唱の上手下手との関係を示す度数分布図 本発明の第２の実施形態に係る歌唱評価方法のフローチャート 本発明の第３の実施形態に係る歌唱評価装置の主要構成を示すブロック図 本発明の第３の実施形態に係る拍毎の子音長分布を示す度数分布図 本発明の第３の実施形態に係る歌唱評価方法のフローチャート 本発明の第４の実施形態に係る歌唱評価装置の主要構成を示すブロック図 本発明の第４の実施形態に係る子音長の判定に利用する子音の設定概念の具体例を示す図である。 本発明の第４の実施形態に係る歌唱評価方法のフローチャート

本発明の第１の実施形態に係る歌唱評価装置について、図を参照して説明する。図１は、本発明の第１の実施形態に係る歌唱評価装置の主要構成を示すブロック図である。図２は、本発明の第１の実施形態に係る歌唱評価装置の歌唱評価の基準概念を示す図である。図２は横軸が子音長であり、縦軸が度数である。すなわち、図２は、歌唱された曲の所定の時間区間に含まれる子音長の度数分布を示す図である。

本発明に係る歌唱評価装置では、歌唱の躍動感、特に、歌唱の「ノリ」を評価可能にするものである。

本願発明における歌唱の「ノリ」とは、主に小節を時間的に等分した位置（タイミング）からのズレを音楽的にコントロールする高度な技法で、
・歌唱者の歌唱曲に対する入れ込み具合や高揚感、
・聞いているだけで一緒に歌唱したり踊ったりしたくなるようなリズム感、
・人間的で、自由な、または、生き生きとした躍動感、
等の効果を得る歌唱表現である。「グルーブ」または「グルーブ感」と呼ばれることもある。

まず、図２を用いて、本発明の第１の実施形態に係る歌唱評価装置の歌唱評価の基準概念を説明する。図２におけるノリが悪い歌唱は、楽譜通りの音高、音量、発音タイミングにしたがって機械的に歌唱が行われた場合を示している。ノリが良い歌唱は、上述の歌唱者の歌唱時の感情に依存する部分から感じ取れる歌唱が行われた場合を示している。

図２に示すように、ノリが良い歌唱では、子音長のバラツキが大きく、子音長の平均値も大きい（子音長が平均的に長い）。ノリの悪い歌唱では、子音長のバラツキが小さく、平均値も小さい（子音長が平均的に短い）。

したがって、子音長のバラツキに基づく指標を算出することで、ノリの良し悪しを判定することができる。具体的には、例えば、子音長の分散や標準偏差を算出する。子音長の分散や標準偏差が大きい時には、ノリが良く歌唱が上手であると判定し、子音長の分散や標準偏差が小さい時にはノリが悪く歌唱が下手であると判定する。また、分散や標準偏差が大きいほど歌唱に対する得点が高くなり、分散や標準偏差が小さいほど得点が低くなるように判定する。

また、子音長の平均値に基づく指標を算出することで、ノリの良し悪しを判定することができる。具体的には、例えば、子音長の平均値を算出する。子音長の平均値が大きい時にはノリが良く歌唱が上手であると判定し、子音長の平均値が小さい時にはノリが悪く歌唱が下手であると判定する。また、平均値が大きいほど歌唱に対する得点が高くなり、平均値が小さいほど得点が低くなるように判定する。

また、図２に示すように、ノリが良い歌唱では、度数の最大値（最頻値）を取る子音長が長い。ノリが悪い歌唱では、度数の最大値（最頻値）を取る子音長が短い。したがって、最頻値となる子音長の長さに基づく指標を算出することで、ノリの良し悪しを判定することができる。

具体的には、例えば、最頻値となる子音長の値を算出する。最頻値となる子音長の値が大きい時（子音長が長い時）にはノリが良く歌唱が上手であると判定し、最頻値となる子音長の値が小さい時（子音長が短い時）にはノリが悪く歌唱が下手であると判定する。また、最頻値となる子音長の値が大きいほど歌唱に対する得点が高くなり、最頻値となる子音長の値が小さいほど得点が低くなるように判定する。

さらに、バラツキに基づく指標、平均値に基づく指標、および最頻値に基づく指標の少なくとも二つを加味してノリを判定し、歌唱を評価してもよい。例えば、バラツキに基づく指標を数値化し、平均値に基づく指標を数値化し、これらの四則演算結果を用いて、ノリの判定および歌唱の評価を行ってもよい。この際、具体的な一例として、バラツキも平均値も大きくなるほど、それらの指標を表す数値が大きくなるように設定し、これら指標の平均や、加重平均を用いてもよい。

このような歌唱評価を実現するため、本発明の実施形態に係る歌唱評価装置は、図１に示す構成を備える。歌唱評価装置１０は、子音長測定部１１、子音長分布作成部１２、および判定部１３を備える。

子音長測定部１１には、歌唱者の歌唱を収音して得られる歌唱データが入力される。子音長測定部１１は、歌唱データから既知の方法を用いて子音を検出する。子音長測定部１１は、各子音の音長である子音長を測定する。子音長測定部１１は、測定した子音長を、子音長分布作成部１２に出力する。

子音長分布作成部１２は、入力された各子音長を、予め設定された時間区間に亘り記憶する。この記憶する時間区間は、例えば一曲全体であってもよく、決められたワンフレーズであってもよい。決められたワンフレーズを用いる場合には、別途楽譜データを取得し、当該楽譜データを参照して用いればよい。子音長分布作成部１２は、子音長の度数分布を作成する。子音長分布作成部１２は、子音長の度数分布を、判定部１３に出力する。

判定部１３は、子音長の度数分布からノリの良し悪しを判定し、当該ノリに基づく歌唱評価を行う。ノリの判定基準は上述のものであり、具体的には、判定部１３は、子音長の度数分布から、子音長のバラツキに基づく指標（例えば、分散や標準偏差）を算出する。判定部１３は、子音長のバラツキに基づく指標から、上述のようにノリの良し悪しを判定する。なお、判定部１３は、上述のように、子音長の平均値や、度数が最大となる子音長（最頻値）を用いてノリの良し悪しを判定してもよい。

以上のように、本実施形態に構成を用いることで、歌唱のノリの良し悪しを正確に判定して、当該ノリの良し悪しを加味した歌唱評価を行うことができる。すなわち、歌唱者や聴者による上手下手の感覚により近い歌唱評価を実現することができる。

なお、上述の説明では、各機能部を個別に備える場合を示したが、これらをプログラム化して記憶しておき、当該プログラムをＣＰＵ等の演算処理素子で実行するようにしてもよい。この場合、次に示す処理フローを用いればよい。図３は、本発明の第１の実施形態に係る歌唱評価方法のフローチャートである。

まず、歌唱評価装置１０は、歌唱データを取得し、歌唱データに含まれる各子音の子音長を測定する（Ｓ１０１）。次に、歌唱評価装置１０は、取得した子音長の分布を作成する（Ｓ１０２）。次に、歌唱評価装置１０は、子音長の分布から子音長のバラツキに基づく指標を算出し、該指標を用いてノリの良し悪しを判定して、歌唱評価を行う。なお、図３では、子音長のバラツキに基づいてノリの良し悪しを判定しているが、上述のように、子音長の平均値や最頻値を用いてノリの良し悪しを判定することもできる。

次に、本発明の第２の実施形態に係る歌唱評価装置について、図を参照して説明する。図４は、本発明の第２の実施形態に係る歌唱評価装置の主要構成を示すブロック図である。

本実施形態の歌唱評価装置１０Ａは、第１の実施形態に示した歌唱評価装置１０に対して、母音発音タイミング取得部２１、および母音発音タイミング分布作成部２２を追加したものであり、他の構成は、第１の実施形態に示した歌唱評価装置１０と同じである。したがって、第１の実施形態に係る歌唱評価装置１０と異なる箇所のみを、以下に具体的に説明する。

母音発音タイミング取得部２１には、子音長測定部１１と同じ歌唱データが入力される。母音発音タイミング取得部２１は、既知の方法で母音を検出し、当該母音の発音開始タイミングを検出する。具体的には、母音タイミング検出部２１は、子音付きの母音の場合には、子音から母音に切り替わるタイミングを検出する。母音タイミング検出部２１は、母音が連続する場合には、母音が切り替わるタイミングを検出する。母音タイミング検出部２１は、無音から母音を発音する場合には、無音状態から母音が発生されるタイミングを検出する。母音発音タイミング取得部２１は、検出した各母音の発音開始タイミングを、母音発音タイミング分布作成部２２に出力する。

母音発音タイミング分布作成部２２には、各母音の発音開始タイミングが入力されるとともに、歌唱されている曲の拍のタイミングが入力されている。母音発音タイミング分布作成部２２は、拍のタイミングと母音の発音開始タイミングとの差を比較する。この際、母音発音タイミング分布作成部２２は、それぞれの母音の発音開始タイミングに最も近い拍のタイミングを、各母音の発音開始タイミングに対して関連づけする。図５は、母音の発音開始タイミングと拍のタイミングとを関連付けする概念を示す図である。図５の場合では、例えば、母音Ｖ０１の発音開始タイミングは、第１拍のタイミングに最も近い。したがって、母音発音タイミング分布作成部２２は、母音Ｖ０１の発音開始タイミングに対応する拍を第１拍に設定する。同様に、図５の場合では、母音発音タイミング分布作成部２２は、母音Ｖ０２の発音開始タイミングに対応する拍を第３拍に設定する。また、図５の場合では、母音発音タイミング分布作成部２２は、母音Ｖ０３の発音開始タイミングに対応する拍を第４拍に設定し、母音Ｖ０４の発音開始タイミングに対応する拍を第５拍に設定し、母音Ｖ０５の発音開始タイミングに対応する拍を第７拍に設定し、母音Ｖ０６の発音開始タイミングに対応する拍を第８拍に設定する。

母音発音タイミング分布作成部２２は、それぞれに対応する母音の発音開始タイミングと拍のタイミングとの時間差を算出する。母音発音タイミング分布作成部２２は、この時間差の分布を作成する。母音発音タイミング分布作成部２２は、時間差の分布を、判定部１３に出力する。

判定部１３は、母音の発音開始タイミングと拍のタイミングとの時間差の分布を用いて、歌唱の上手下手を判定する。図６は、母音の発音開始タイミングと拍のタイミングとの時間差の分布と歌唱の上手下手との関係を示す度数分布図である。図６に示すように、歌唱が上手な場合、母音の発音開始タイミングと拍のタイミングとの時間差のバラツキは小さく、歌唱が下手な場合、母音の発音開始タイミングと拍のタイミングとの時間差のバラツキは大きい。また、歌唱が上手な場合、母音の発音開始タイミングと拍のタイミングとの時間差の最頻値は略０となり、歌唱が下手な場合、母音の発音開始タイミングと拍のタイミングとの時間差の最頻値は０から大きくずれている。

この特性を利用し、判定部１３は、時間差のバラツキを検出して、時間差のバラツキが小さくなるほど歌唱が上手であると判定する。また、判定部１３は、時間差の最頻値を検出して、当該最頻値が０に近いほど歌唱が上手であると判定する。また、判定部１３は、時間差のバラツキと時間差の最頻値との両方を用いて、歌唱の上手下手を判定してもよい。

判定部１３は、母音の発音開始タイミングと拍のタイミングとの時間差に基づく歌唱判定結果を、上述の子音長による歌唱判定結果に反映させ、統合的に歌唱判定を行う。これにより、さらに正確に歌唱の上手下手を判定することができる。

なお、判定部１３は、母音の発音開始タイミングと拍のタイミングとの時間差に基づく歌唱判定結果により、歌唱が上手であると判定した場合のみに、子音長による歌唱判定を行うようにしてもよい。この場合、判定部１３は、子音長による歌唱判定が不必要と思われる時に、子音長による歌唱判定を行わないので、歌唱判定の処理負荷を軽減することができる。

なお、本実施形態の処理もプログラム化して記憶しておき、当該プログラムをＣＰＵ等の演算処理素子で実行するようにしてもよい。この場合、次に示す処理フローを用いればよい。図７は、本発明の第２の実施形態に係る歌唱評価方法のフローチャートである。なお、図７では、母音発音タイミングと拍のタイミングとの時間差に基づく歌唱評価結果によって、子音長による歌唱評価を行うか行わないかを切り替える場合を示している。

まず、歌唱評価装置１０Ａは、歌唱データを取得し、歌唱データに含まれる各子音の子音長を測定する（Ｓ２０１）。この子音長の測定とは別に、歌唱評価装置１０Ａは、歌唱データに含まれる各母音の発音開始タイミングを検出する（Ｓ２０２）。次に、歌唱評価装置１０Ａは、各母音の発音開始タイミングとそれぞれに対応する拍のタイミングとの時間差の分布を作成する（Ｓ２０３）。歌唱評価装置１０Ａは、時間差が０近傍に大きく分布していることを検出すると（Ｓ２０４：ＹＥＳ）、子音長の分布から子音長のバラツキに基づく指標を算出し、該指標を用いてノリの良し悪しを判定して、歌唱評価を行う（Ｓ２０５）。歌唱評価装置１０Ａは、時間差が０近傍に大きく分布していないことを検出すると（Ｓ２０４：ＮＯ）、子音長による歌唱評価を行わず、歌唱は下手であると評価する。

次に、第３の実施形態に係る歌唱評価装置について、図を参照して説明する。図８は、本発明の第３の実施形態に係る歌唱評価装置の主要構成を示すブロック図である。

本実施形態の歌唱評価装置１０Ｂは、第２の実施形態に示した歌唱評価装置１０Ａに対して、母音発音タイミング取得部２１、および母音発音タイミング分布作成部２２に対する接続構成が異なるものであり、他の構成は第２の実施形態に示した歌唱評価装置１０Ａと同じである。したがって、第２の実施形態に係る歌唱評価装置１０Ａと異なる箇所のみを具体的に説明する。

母音発音タイミング取得部２１は、検出した母音発音開始タイミングを、母音発音タイミング分布作成部２２とともに、子音長分布作成部１２にも出力する。

母音発音タイミング分布作成部２２は、各母音発音開始タイミングに対応する拍を、子音長分布作成部１２に出力する。

子音長分布作成部１２は、入力された母音発音タイミングと、これに対応する拍とから、各子音に対応する拍を検出する。具体的には、図５の場合であれば、子音長分布作成部１２は、母音Ｖ０１につく子音Ｃ０１に対応する拍を第１拍であると検出する。同様に、子音長分布作成部１２は、母音Ｖ０２につく子音Ｃ０２に対応する拍を第３拍であると検出し、母音Ｖ０４つく子音Ｃ０４に対応する拍を第５拍であると検出し、母音Ｖ０５につく子音Ｃ０５に対応する拍を第７拍であると検出し、母音Ｖ０６につく子音Ｃ０６に対応する拍を第８拍であると検出する。

子音長分布作成部１２は、拍毎に子音長分布を作成する。図９は、本発明の第３の実施形態に係る拍毎の子音長分布を示す度数分布図である。子音長分布作成部１２は、拍毎の子音長分布を、判定部１３に出力する。

判定部１３は、拍毎の子音長分布を用いて、ノリの良し悪しを判定し、歌唱評価を行う。具体的な一例としては、判定部１３は、子音長のバラツキが最小の拍における子音長の分散や標準偏差と、子音長のバラツキが最大の拍における子音長の分散や標準偏差の差をもって、ノリの良し悪しを判定する。具体的な図９に示す例であれば、第１拍目の分散や標準偏差と第６拍目の分散や標準偏差との差をもって、ノリの良し悪しを判定する。この際、判定部１３は、差として、分散や標準偏差の算術的な差だけでなく、子音長のバラツキが最小の拍における子音長の分散や標準偏差と、子音長のバラツキが最大の拍における子音長の分散や標準偏差との算術的な比などを用いてもよい。そして、判定部１３は、この差が大きいほどノリが良く、この差が小さいほどノリが悪いと判定する。

このように、拍毎のバラツキに基づいてノリの良し悪しを判定することで、より正確にノリの良し悪しを判定することができ、歌唱者や聴者による上手下手の感覚にさらに近い歌唱評価を実現することができる。

なお、本実施形態の処理もプログラム化して記憶しておき、当該プログラムをＣＰＵ等の演算処理素子で実行するようにしてもよい。この場合、次に示す処理フローを用いればよい。図１０は、本発明の第３の実施形態に係る歌唱評価方法のフローチャートである。なお、図１０では、母音発音タイミングと拍のタイミングとの時間差に基づく歌唱評価を行わない場合を示している。このように、本実施形態では、母音発音タイミングと拍のタイミングとの時間差に基づく歌唱評価を行ってもよく、行わなくてもよい。

まず、歌唱評価装置１０Ｂは、歌唱データを取得し、歌唱データに含まれる各子音の子音長を測定する（Ｓ３０１）。この子音長の測定とは別に、歌唱評価装置１０Ｂは、歌唱データに含まれる各母音の発音開始タイミングを検出する（Ｓ３０２）。次に、歌唱評価装置１０Ｂは、各母音の発音開始タイミングとそれぞれに対応する拍のタイミングとの関連付けを検出する（Ｓ３０３）。歌唱評価装置１０Ｂは、拍毎に子音長の分布を作成する（Ｓ３０４）。歌唱評価装置１０Ｂは、拍毎の子音長の分布のバラツキを用いて、ノリの良し悪しを判定し、歌唱評価を行う（Ｓ３０５）。

次に、本発明の第４の実施形態に係る歌唱評価装置について、図を参照して説明する。図１１は、本発明の第４の実施形態に係る歌唱評価装置の主要構成を示すブロック図である。本実施形態の歌唱評価装置１０Ｃは、第３の実施形態に示した歌唱評価装置１０Ｂに対して、さらに判定対象検出部２３を備えたものであり、子音長分布作成部１２の処理が異なる。したがって、第３の実施形態に係る歌唱評価装置１０Ｂと異なる箇所のみを具体的に説明する。

判定対象検出部２３は、音形分析部、リズム分析部、および特定区間抽出部を備える。判定対象検出部２３には、楽譜データおよび楽曲データの少なくとも何れか一方が入力される。楽譜データには、歌唱される楽曲の音高、音量、発音タイミング等が含まれている。楽曲データには、サビ区間等の曲の編成、楽曲のジャンル等が含まれている。

判定対象検出部２３は、楽譜データを解析し、子音長の判定に利用する子音を設定する。図１２は、子音長の判定に利用する子音の設定概念の具体例を示す図である。図１２（Ａ）は音型に基づく子音の設定概念を示す図であり、図１２（Ｂ）はリズムに基づく子音の設定概念を示す図である。

音型を用いる場合、判定対象検出部２３の音型分析部は、子音長の判定に利用する音型を、楽譜データから検出すると、当該音型の区間、および子音長の判定に利用する子音のタイミングを設定する。例えば、図１２（Ａ）に示すように、上昇音型を検出すると、連続して音高が上昇する３つの音における３番目の音の子音を、子音長の判定に利用する子音に設定し、当該子音のタイミングを、子音長分布作成部１２に与える。

リズムを用いる場合、判定対象検出部２３のリズム分析部は、子音長の判定に利用するリズムを、楽譜データから検出すると、当該リズムの区間、および子音長の判定に利用する子音のタイミングを設定する。例えば、図１２（Ｂ）に示すように、シンコペーションを検出すると、異なる音長が繰り返される区間における３つの音における３番目の音（音長が短い音）の子音を、子音長の判定に利用する子音に設定し、当該子音の子音長を、子音長分布作成部１２に与える。

なお、本実施形態では、連続する３音の区間の音型、リズムを指定しているが、２音ないし４音以上からなる区間であってもよい。但し、構成する音の数が少ないほど、同じ音型、同じリズムが歌唱される曲に含まれる回数が多くなり易い。したがって、より正確な子音長分布を作成しやすく、より有用である。また、区間の最後の音でなく、先頭や中間の音の子音を、子音長の判定に利用する子音に設定してもよい。これにより、音型やリズムに応じて、より適切な評価を行うことができる。

また、判定対象検出部２３は、楽曲データを解析し、子音長の判定に利用する子音を設定することもできる。例えば、判定対象検出部２３は、楽曲データからサビ区間を検出して、当該サビ区間の時間を、子音長分布作成部１２に与える。

子音長分布作成部１２は、判定対象検出部２３から与えられたタイミングもしくは区間と母音発音タイミング検出２１および母音発音タイミング分布作成部２２から得られる各子音のタイミングとを参照し、子音長測定部１１から入力される各子音長を用いて、与えられたタイミングもしくは区間の子音長の分布を作成する。

歌唱のノリは、特定の音型や特定のリズムや特定の楽曲区間における特定のタイミングで生じやすいことが分かっている。したがって、本実施形態の構成を用いることで、ノリの生じやすいタイミングで子音長によるノリの判定を行うことができ、より正確にノリの良し悪しを判定することができる。

なお、本実施形態の処理もプログラム化して記憶しておき、当該プログラムをＣＰＵ等の演算処理素子で実行するようにしてもよい。この場合、次に示す処理フローを用いればよい。図１３は、本発明の第４の実施形態に係る歌唱評価方法のフローチャートである。なお、図１３では、母音発音タイミングと拍のタイミングとの時間差に基づく歌唱評価結果によって、子音長による歌唱評価を行うか行わないかを切り替える場合を示しているが、このような母音発音タイミングと拍のタイミングとの時間差に基づく歌唱評価は行わなくてもよい。

まず、歌唱評価装置１０Ｃは、歌唱データを取得し、歌唱データに含まれる各子音の子音長を測定する（Ｓ４０１）。この子音長の測定とは別に、歌唱評価装置１０Ｃは、楽譜データもしくは楽曲データを解析して、音型、リズム、もしくは特定区間による子音長分布の作成対象となるタイミングもしくは区間を設定する（Ｓ４０２）。また、子音長の測定や子音長分布の作成対象の設定とは別に、歌唱評価装置１０Ｃは、歌唱データに含まれる各母音の発音開始タイミングを検出する（Ｓ４０３）。次に、歌唱評価装置１０Ｃは、各母音の発音開始タイミングとそれぞれに対応する拍のタイミングとの時間差の分布を作成する（Ｓ４０４）。歌唱評価装置１０Ｃは、時間差が０近傍に大きく分布していることを検出すると（Ｓ４０５：ＹＥＳ）、判定対象のタイミングもしくは区間に対する子音長の分布を作成する（Ｓ４０６）。歌唱評価装置１０Ｃは、子音長の分布から子音長のバラツキに基づく指標を算出し、該指標を用いてノリの良し悪しを判定して、歌唱評価を行う（Ｓ４０７）。歌唱評価装置１０Ａは、時間差が０近傍に大きく分布していないことを検出すると（Ｓ４０５：ＮＯ）、子音長による歌唱評価を行わず、歌唱は下手であると評価する。もしくは、子音による歌唱評価を行うが、ノリの評価を大きく下げてもよい。

なお、上述の説明では、拍による子音長の分布を作成する例を示したが、子音による子音長の分布、例えば、子音を識別して子音毎に子音長の分布を作成してもよいし、楽曲データから子音のカテゴリを識別して、子音のカテゴリ毎に子音長の分布を作成してもよい。例えば、有声音および無声音のカテゴリであったり、破裂音や歯擦音といったカテゴリで子音を分類し、カテゴリ毎に子音長分布を作成してもよい。

また、上述の説明では、マイク等で収音した歌唱音に基づいて、子音長の測定および子音長のバラツキを判定する態様を示したが、人工的に人の声を真似して作成した歌唱音についても、上述の構成を適用でき、同様の作用効果を得ることができる。

また、上述の説明では、子音長を自動的に測定する態様を示したが、波形を見ながらユーザが手動で子音と母音を識別して、子音長を測定し、装置に入力（装置で取得）してもよい。

また、上述の説明では、母音発音の開始タイミングを自動で測定する態様を示したが、波形を見ながらユーザが手動で母音発音の開始タイミングを検出して、この検出した母音発音開始タイミングを表すデータを装置に入力（装置で取得）してもよく、ユーザが放音された歌唱音を聞いて手動で母音開始タイミングを検出して、この検出した母音発音開始タイミングを表すデータを装置に入力（装置で取得）してもよい。この場合、母音発音タイミング取得部は、図示していない操作入力部を用いればよい。

１０，１０Ａ，１０Ｂ，１０Ｃ：歌唱評価装置
１１：子音長測定部
１２：子音長分布作成部
１３：判定部
２１：母音発音タイミング取得部
２２：母音発音タイミング分布作成部
２３：判定対象検出部

Claims (6)

1. 歌唱を示す音である歌唱音の子音長の分布を作成する子音長分布作成部と、
   前記子音長の分布の広がり度合いを検出し、該子音長の分布の広がり度合いを用いて前記歌唱を判定する判定部と、
   を備えた、歌唱評価装置。
2. 前記歌唱音から得られる歌唱データの子音長を測定し、前記子音長分布作成部に出力する子音長測定部を備えた、
   請求項１に記載の歌唱評価装置。
3. 歌唱される曲の楽譜データおよび楽曲データから判定対象の子音を検出する判定対象検出部を備え、
   前記子音長分布作成部は、前記判定対象とされた子音に対して、前記子音長の分布を作成する、
   請求項１または請求項２に記載の歌唱評価装置。
4. 前記判定対象検出部は、
   前記楽譜データから歌唱される音型を分析する音型分析部、
   前記楽譜データから歌唱されるリズムを分析するリズム分析部、
   前記楽曲データから歌唱される曲の特定区間を抽出する特定区間抽出部、
   の少なくとも一つを備え、
   前記音型、前記リズム、および前記特定区間の少なくとも一つから前記判定対象を決定する、
   請求項３に記載の歌唱評価装置。
5. 前記歌唱音の母音発音タイミングを取得する母音発音タイミング取得部と、
   前記母音発音タイミングと楽曲の拍のタイミングとのタイミング差を検出し、母音発音タイミング差の分布を作成する母音発音タイミング分布作成部と、
   を備え、
   前記判定部は、前記母音発音タイミング差の分布を前記歌唱の判定に利用する、
   請求項１乃至請求項４のいずれかに記載の歌唱評価装置。
6. 前記判定部は、前記子音長の分布の広がり度合いが大きいほどノリが良いと判断して、前記歌唱を高評価する、
   請求項１乃至請求項５のいずれかに記載の歌唱評価装置。

Images