JP6638305B2 - 評価装置 - Google Patents

Description

本発明は、歌唱を評価する技術に関する。

カラオケ装置又は楽器演奏評価装置には、歌唱音声又は演奏音などの入力音を解析して評価する機能が備えられていることが多い。入力音は、例えば、歌唱音声又は演奏音のピッチと歌唱又は演奏すべきガイドメロディ（リファレンスデータ）のピッチとを比較し、これらの一致の程度に基づいて評価される（例えば、特許文献１）。

特開２００５−１０７３２８

しかしながら、特許文献１の技術では、リファレンスデータを判定の基準に用いるため、評価対象の入力音に対して判定の基準となる情報を用意する必要がある。また、特許文献１の技術では、水平な音高の入力音を評価することはできるが、リファレンスデータの音高の変化点付近におけるピッチ変化の傾きによる評価をすることはできない。

本発明の目的の一つは、評価対象の入力音のピッチ変化の傾きに基づく評価を行うことにある。

本発明の一実施形態に係る評価装置によると、入力音を取得する入力音取得部と、入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、ピッチ算出部が算出したピッチの変化の割合を示す傾き値を算出する傾き算出部と、傾き値に基づいて、入力音の評価値を計算する傾き評価部と、を備える。

また、評価部は、傾き値が第１範囲及び第１範囲よりも傾き値が大きい第２範囲である場合に第１の計算を行い、第１範囲よりも傾き値が大きく、第２範囲よりも傾き値が小さい第３範囲である場合に第２の計算を行ってもよい。

また、評価部は、傾き算出部が算出した傾き値が所定期間において第１範囲又は第２範囲に含まれる回数、又は第３範囲に含まれる回数に応じて、評価値に加点又は減点をしてもよい。

また、傾き算出部は、ピッチ算出部が算出した複数のピッチから得られる統計値に基づいて傾き値を算出してもよい。

また、評価部は、入力音に対応するリファレンスデータにおける音高の変化の割合に応じて、リファレンスデータの位置に対応する入力音の評価値に重み付けをしてもよい。

また、評価部は、入力音に対応するリファレンスデータにおける音高の変化の割合に応じて、リファレンスデータの位置に対応する傾き値の第１範囲、第２範囲、及び第３範囲をそれぞれ調整してもよい。

また、評価部は、傾き算出部が算出した傾き値が所定期間において第１範囲又は第２範囲に含まれる回数、又は第３範囲に含まれる回数に応じて、以降の第１範囲、第２範囲、及び第３範囲をそれぞれ調整してもよい。

また、評価部は、ピッチに基づいて非評価期間を設定し、非評価期間を除く期間の傾き値に基づいて、評価値を計算してもよい。

本発明の一実施形態によれば、評価対象の入力音のピッチ変化の傾きに基づく評価を行うことができる。

本発明の一実施形態における評価装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における評価機能部の機能構成を示すブロック図である。 本発明の一実施形態における評価方法において、取得したピッチの一例を示す図である。 本発明の一実施形態における評価方法において、ピッチの傾き値を算出する方法を示す図である。 本発明の一実施形態における評価方法において、ピッチの傾き値を算出する方法を示す図である。 本発明の一実施形態における評価方法において、ピッチの傾き値の判定基準を示す図である。 本発明の一実施形態における評価方法において、ピッチの傾き値の判定基準を説明する概念図である。 本発明の一実施形態における評価機能部の機能構成を示すブロック図である。 本発明の一実施形態の変形例における評価方法において、リファレンスデータの音高に応じた判定を行う例を示す図である。 本発明の一実施形態における評価機能部の機能構成を示すブロック図である。 本発明の一実施形態における評価方法において、連続ＮＧ時間の度数分布から評価値を算出する例を示す図である。 本発明の一実施形態における評価方法において、複数の歌唱ピッチを含むピッチ群に基づいて傾き値を算出する例を示す図である。 本発明の一実施形態における評価機能部の機能構成を示すブロック図である。

以下、本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

〈第１実施形態〉
本発明の第１実施形態における評価装置について、図面を参照しながら詳細に説明する。第１実施形態に係る評価装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音声を評価する装置である。この評価装置は、所定期間ごとに決められた複数のピッチ（以下、基準ピッチという場合がある）と、歌唱者の歌唱音声のピッチ（以下、歌唱ピッチという場合がある）とを比較して、歌唱の評価を行う。この評価装置によると、ガイドメロディに対応するリファレンスデータに依存しない評価をすることができ、この例では、さらに、歌唱すべき音高の変化点付近におけるピッチ変化の傾きによる歌唱の巧拙を判断することができる。以下、このような評価装置について説明する。

［ハードウエア］
図１は、本発明の一実施形態における評価装置のハードウェア構成を示すブロック図である。評価装置１０としては、例えば、カラオケ装置や楽器演奏評価装置が挙げられる。なお、評価装置１０はスマートフォン等の携帯装置であってもよい。評価装置１０は、制御部１００、記憶部１１０、操作部１２０、表示部１３０、通信部１４０、および信号処理部１５０を含む。これらの各構成は、バスを介して接続されている。また、信号処理部１５０には、マイクロフォン５６０およびスピーカ５７０が接続されている。

制御部１００は、ＣＰＵなどの演算処理回路を含む。制御部１００は、記憶部１１０に記憶された制御プログラム５１２をＣＰＵにより実行して、各種機能を評価装置１０において実現させる。実現される機能には、歌唱音声の評価機能が含まれる。記憶部１１０は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１１０は、評価機能を実現するための制御プログラム５１２を記憶する。制御プログラム５１２は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム５１２は、ネットワーク経由でダウンロードされてもよい。

また、記憶部１１０は、歌唱に関するデータとして、入力音データ５１４、評価基準情報５１６、および楽曲データ５１８を記憶する。楽曲データ５１８は、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。入力音データは、歌唱者がマイクロフォン５６０から入力した歌唱音声を示すデータである。この例では、入力音データは、評価機能によって歌唱音声が評価されるまで、記憶部１１０にバッファされる。

評価基準情報５１６は、評価機能が歌唱音声の評価の基準として用いる情報である。例えば、評価基準情報５１６には、ピッチ変化の傾きに基づいて歌唱評価をするための基準情報が含まれる。ここで、歌唱上級者は、一定の音高で歌唱すべきパートでは一定の音高を維持して歌唱し、歌唱すべき音高の変化点においては音高を急激に変化させて歌唱する。一方で、歌唱低級者は、一定の音高で歌唱すべきパートで一定の音高を維持できず、歌唱すべき音高の変化点においては変化後のピッチを探し迷いながら歌唱するため音高の変化が緩やかである。つまり、歌唱上級者のピッチ変化の傾きは、水平に近い場合と傾きが急激な場合とで二極化する。したがって、ピッチ変化の傾きがゼロに近い場合及びピッチ変化の傾きが急峻な場合に対しては高い評価点を付与し、ピッチ変化の傾きがこれらの間の傾きの場合に対しては低い評価点を付与する。

操作部１２０は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１００に出力する。表示部１３０は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１００による制御に基づいた画面が表示される。なお、操作部１２０と表示部１３０とは一体としてタッチパネルを構成してもよい。通信部１４０は、制御部１００の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１１０の機能は、通信部１４０において通信可能な外部装置で実現されてもよい。

信号処理部１５０は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、マイクロフォン５６０において電気信号に変換されて信号処理部１５０に入力され、信号処理部１５０においてＡ／Ｄ変換されて制御部１００に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１１０にバッファされる。また、伴奏データは、制御部１００によって読み出され、信号処理部１５０においてＤ／Ａ変換され、スピーカ５７０から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ５７０から出力されるようにしてもよい。

［評価機能］
評価装置１０の制御部１００が制御プログラムを実行することによって実現される評価機能について説明する。なお、以下に説明する評価機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。

図２は、本発明の一実施形態における評価機能部の機能構成を示すブロック図である。評価機能部２００は、入力音取得部２１０、ピッチ算出部２２０、傾き算出部２３０、及び傾き評価部２４０を含む。入力音取得部２１０は伴奏出力部２９０に接続されている。伴奏出力部２９０は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部１５０を介して、伴奏音をスピーカ５７０から出力させる。

入力音取得部２１０は、マイクロフォン５６０から入力された歌唱音声を示す入力音データを取得する。この例では、伴奏音が出力されている期間におけるマイクロフォン５６０への入力音を、評価対象の歌唱音声として認識する。なお、入力音取得部２１０は、記憶部１１０にバッファされた入力音データを取得するが、記憶部１１０に１曲全体の入力音データが記憶された後に取得してもよいし、信号処理部１５０から直接取得してもよい。また、入力音取得部２１０は、マイクロフォン５６０へ入力音を示す入力音データを取得する場合に限らず、外部装置への入力音を示す入力音データを、通信部１４０によりネットワーク経由で取得してもよい。

ピッチ算出部２２０は、入力音取得部２１０によって取得された入力音データを解析し、歌唱ピッチ（周波数）の時間的な変化、すなわち歌唱ピッチ波形を算出する。具体的には、歌唱音声の波形のゼロクロスを用いた方法、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いた方法等、公知の方法で歌唱ピッチ波形が算出される。

傾き算出部２３０は、ピッチ算出部２２０が算出した歌唱ピッチの傾き値を算出する。ここで、歌唱ピッチの傾きとは、歌唱ピッチの変化の割合を示す。傾き算出部２３０が歌唱ピッチから傾き値を算出する方法は、後で詳しく説明する。傾き評価部２４０は、傾き算出部２３０が算出した傾き値に基づいて、入力音の評価値を計算する。傾き評価部２４０が傾き値から評価値を算出する方法については、後で詳しく説明する。

［歌唱評価の例］
上述した評価機能部２００による歌唱音声の評価方法について、図３に示す具体的な歌唱ピッチの例を用いて説明する。

図３は、本発明の一実施形態における評価方法において、取得したピッチの一例を示す図である。図３に示す波形は、歌唱の一部における歌唱ピッチ波形の例である。縦軸はピッチを示す。ピッチ方向に１００ｃｅｎｔごとに配置された破線は複数の基準ピッチを示している。横軸は時間の経過を示している。図３に示す波形は、所定時間間隔で取得されたピッチを曲線でつなぐことで得られる。ここで、図３中のＳ、Ｆ、Ｋ、Ｖの記号については後で詳しく説明する。

図４は、本発明の一実施形態における評価方法において、ピッチの傾き値を算出する方法を示す図である。図４に示す波形は図３に示す波形の領域３４０を拡大した波形である。図３と同様に、図４の縦軸はピッチを示し、横軸は時間の経過を示す。図４に示すように一定の範囲３５０に含まれるピッチに対して傾きを算出する。範囲３５０に含まれるピッチに対する傾きが算出されると、時間軸方向に範囲３５０をずらし、そこでさらに傾きを算出する。範囲３５０をずらす量は、１サンプルずつであってもよく、複数サンプル単位であってもよい。ここで、範囲３５０はピッチ変化の傾き評価に適さない区間を除く領域に対して設定されるように制御してもよい。

また、傾き値による評価をより明確にするために、水平部を評価区間から除外してもよい。つまり、傾き評価部２４０は、歌唱ピッチに基づいて非評価期間を設定し、その非評価期間を除く期間の傾き値に基づいて評価値を計算してもよい。また、図３に示す歌唱ピッチ波形に対してノイズ除去処理を行ってもよい。ノイズ除去処理としては、例えば、移動平均やローパスフィルタなどを用いることができる。また、ピッチの連続性（連続してピッチが得られているかどうか）、累積ピッチ範囲（累積したピッチの上限から下限までの高さが一定以下に収まっているか）、歌唱ピッチの分散値が一定以下であるかどうか、などによって歌唱ピッチ波形の評価対象の妥当性を判断してもよい。

図５は、本発明の一実施形態における評価方法において、ピッチの傾き値を算出する方法を示す図である。図３と同様に、図５の縦軸はピッチを示し、横軸は時間の経過を示す。図５において、プロット３６１〜３６６は図４に示す範囲３５０に含まれるピッチを示す。ここでは、６点の測定ポイントに対して傾きを求める例について説明する。図５に示すように、ピッチの傾き値は範囲３５０に含まれるピッチに対して、ｙ＝ａｘ＋ｂで表される近似直線３６０に基づいて算出する。近似直線３６０はプロット３６１〜３６６に対して最小二乗法を用いた近似によって求めることができる。近似直線３６０は最小二乗法に限定されず、その他の統計手法を用いて求めてもよい。例えば、隣接するプロット間の差に基づいてピッチの傾きを算出してもよい。また、複数の隣接するプロット間の差の平均や中央値などからピッチの傾きを算出してもよい。図５では、６点のプロットに対する近似直線３６０から傾き値（上記式のａの値）を求める方法を例示したが、この方法に限定されない。例えば、７点以上のプロットに対する近似直線から傾き値を求めてもよく、５点以下のプロットに対する近似直線から傾き値を求めてもよい。例えば、隣接する２点のプロットを結ぶ直線から傾き値を求めてもよい。また、隣接する傾き値の移動平均を使用してもよい。

図６は、本発明の一実施形態における評価方法において、ピッチの傾き値の判定基準を示す図である。図６に示す判定基準テーブルは、図１に示す評価基準情報５１６の一つとして記憶部１１０に格納されている。図７は、本発明の一実施形態における評価方法において、ピッチの傾き値の判定基準を説明する概念図である。図６及び図７に示すように、近似直線３６０の傾き値によって６個の異なる判定基準が設けられている。詳細に説明すると、傾き値が０度〜９０度の範囲についてみると、判定基準は３つの領域に分かれており、最も傾き値が小さい第１範囲４１０及び最も傾き値が大きい第２範囲４２０は「ＯＫ」判定エリア、第１範囲４１０よりも傾き値が大きく第２範囲４２０よりも傾き値が小さい第３範囲４３０は「ＮＧ」判定エリアである。傾き値が「ＯＫ」判定エリアに含まれる場合は、傾き評価部２４０は第１の計算を行って相対的に高い評価値を算出し、傾き値が「ＮＧ」判定エリアに含まれる場合は、傾き評価部２４０は第２の計算を行って相対的に低い評価値を算出する。また、傾き値が０度〜−９０度の範囲では、第１範囲４１０、第２範囲４２０、及び第３範囲４３０に対してｘ軸に対称に第１範囲４１２、第２範囲４２２、及び第３範囲４３２が設定されている。

上記のように傾き評価部２４０は各々の傾き値に対して得られた評価値に基づいて、傾き評価による点数を算出する。例えば、算出された評価対象の全ての評価値に対して、ＯＫ判定と判断された傾き値の割合を傾き評価による点数としてもよい。また、ＯＫ判定が連続する時間（又は回数）やＮＧ判定が連続する時間（又は回数）に応じて評価値を付与、又はボーナスポイントを付与してもよい。例えば、連続ＯＫ判定が長いほど高いボーナスポイントを付与してもよい。また、連続ＮＧ判定が短いほど高いボーナスポイントを付与してもよい。また、連続ＯＫ判定又は連続ＮＧ判定が長いほどボーナスポイントの得点を大きくしてもよい。上記とは逆に、ＯＫ判定又はＮＧ判定が連続する時間に応じて、減点してもよい。

図６及び図７では、第１範囲４１０及び４１２、第２範囲４２０及び４２２、第３範囲４３０及び４３２のそれぞれがｘ軸に対称であるが、この例に限定されない。例えば、音高の変化が目立ちやすい低音から高音への変化に対してＮＧ判定エリアが広くなるようにしてもよい。つまり、傾き値がマイナスの値をとる第３範囲４３２に比べて傾き値がプラスの値をとる第３範囲４３０の方が範囲が広くなるようにしてもよい。また、ＮＧ判定エリアが第３範囲４３０だけに設けられていてもよい。

図６及び図７では、第１範囲４１０、４１２、第２範囲４２０、４２２、第３範囲４３０、４３２がそれぞれ静的に設定されている、つまり、上記の範囲は固定されている。しかし、上記の範囲を動的に変化させてもよい。例えば、連続ＯＫ判定又は連続ＮＧ判定の長さに応じて上記の範囲を変化させてもよい。具体的には、連続ＯＫ判定の時間が長いほど第１範囲４１０、４１２及び第２範囲４２０、４２２の範囲が狭くなるようにしてもよい。つまり、上手な歌唱者には難易度を高くするように上記の範囲を調整してもよい。逆に、連続ＯＫ判定が一定の時間に達すると、第１範囲４１０、４１２及び第２範囲４２０、４２２の範囲が広くなるようにしてもよい。つまり、一定期間上手に歌唱した場合にボーナスタイムを設けてもよい。

また、図６及び図７では評価の基準をＯＫ又はＮＧの２値で評価する例を示したが、この例に限定されない。例えば、第１範囲４１０と第２範囲４２０とで異なる評価値を付与してもよく、傾き値による評価をより明確にするために、傾きが小さい第１範囲４１０を評価対象から除外してもよい。また、第１範囲４１０を傾き値に応じてさらに細分化し、第１範囲４１０内で傾き値に応じて異なる評価値を付与してもよい。第２範囲４２０及び第３範囲４３０についても、第１範囲４１０と同様に傾き値に応じて異なる評価値を付与してもよい。もちろん、第１範囲４１２、第２範囲４２２、及び第３範囲４３２についても同様である。

また、傾き値の絶対値が同じ場合であっても、傾き値がプラスの場合とマイナスの場合とで異なる評価値を付与してもよい。例えば、低音から高音への変化は目立ちやすいので、傾き値がプラスの場合のＯＫ判定の評価値を、傾き値がマイナスの場合のＯＫ判定の評価値よりも高くしてもよい。つまり、第１範囲４１２よりも第１範囲４１０の評価値を高くし、第２範囲４２２よりも第２範囲４２０の評価値を高くしてもよい。また、第３範囲４３２よりも第３範囲４３０の評価値を低くしてもよい。

以上のように、本発明の第１実施形態に係る評価装置１０によると、ピッチ変化の傾きに基づく歌唱評価を行うことができる。つまり、歌唱すべき音高の変化点付近におけるピッチ変化の傾きによる歌唱の巧拙を判断することができる。また、ＯＫ判定エリアである第１範囲４１０及び第２範囲４２０の間にＮＧ判定エリアである第３範囲４３０が設けられていることで、安定した音高の歌唱及び音高を急激に変化させる歌唱技法に対しては高い評価点を付与し、一定の音高を維持できない又は歌唱すべき音高を探し迷いながらの歌唱に対しては低い評価点を付与することができる。したがって、実際の聴取者が感じる歌唱の巧拙を数値化することができる。

〈第２実施形態〉
本発明の第２実施形態における評価装置について、図７及び図８を参照しながら詳細に説明する。第２実施形態に係る評価装置は、歌唱ピッチの音高又は歌唱ピッチの変化の割合に応じて傾き値の評価方法を変化させる。特に、第２実施形態では、歌唱すべきリファレンスデータ（ガイドメロディに対応）が存在し、そのリファレンスデータに基づいて傾き値の評価方法を変化させる。ここで、第２実施形態において、評価装置のハードウェア構成は第１実施形態と同様であるので、ここでは説明を省略する。図８は、本発明の一実施形態における評価機能部の機能構成を示すブロック図である。図８の評価機能部２００Ａは図２に示す評価機能部２００と類似しているが、評価機能部２００Ａでは伴奏出力部２９０Ａからリファレンスデータが傾き評価部２４０Ａに送信される点において、評価機能部２００と相違する。

第２実施形態における評価機能部２００Ａでは、ＯＫ判定によって得られる評価値がリファレンスデータの音高によって異なる。換言すると、第２実施形態において、傾き評価部２４０Ａは、歌唱ピッチに対応するリファレンスデータにおける音高に応じて、リファレンスデータの時間位置に対応する歌唱ピッチの評価値に重み付けをする、ということもできる。つまり、傾き値が同じであってもリファレンスデータの音高によって評価値が異なる。例えば、傾き値が同じ場合であってもリファレンスデータの音高が高い場合は、ＯＫ判定によって得られる評価値は相対的に高く設定され、リファレンスデータの音高が高い場合は、ＯＫ判定によって得られる評価値は相対的に低く設定される。このようにすることで、歌唱ピッチの維持が難しい低音域及び高音域の重みを高く設定することができ、歌唱ピッチ維持の難易度を評価値に反映することができる。

上記では、リファレンスデータの音高に応じて歌唱ピッチの評価値に重み付けをする例を示したが、この例に限定されない。例えば、リファレンスデータの変化の割合に応じて重み付けをしてもよい。例えば、傾き値が同じ場合であってもリファレンスデータの音高の変化量が大きい場合、ＯＫ判定によって得られる評価値は相対的に高く設定されてもよい。一方、傾き値が同じ場合であってもリファレンスデータの音高の変化量が小さい場合、ＯＫ判定によって得られる評価値は相対的に低く設定されてもよい。

〈第２実施形態の変形例〉
図９は、本発明の一実施形態の変形例における評価方法において、リファレンスデータの音高に応じた判定を行う例を示す図である。図９に示す２つの判定基準は、（ａ）甘めの判定基準、及び（ｂ）厳しめの判定基準である。第２実施形態の変形例１における評価機能部２００Ａでは、リファレンスデータの音高によって、得られた傾き値に適用する判定基準が異なる。換言すると、第２実施形態の変形例において、傾き評価部２４０Ａは、歌唱ピッチに対応するリファレンスデータにおける音高に応じて、リファレンスデータの位置に対応する傾き値の第１範囲、第２範囲、及び第３範囲をそれぞれ調整するということもできる。例えば、リファレンスデータの音高が低い場合及び高い場合は、（ｂ）厳しめの判定基準を適用することで、ＯＫ判定エリアである第１範囲４１０、４１２及び第２範囲４２０、４２２は相対的に狭く設定される。一方、リファレンスデータの音高が上記の低音・高音の中間音の場合は、（ａ）甘めの判定基準を適用することで、ＯＫ判定エリアである第１範囲４１０、４１２及び第２範囲４２０、４２２は相対的に広く設定される。このようにすることで、歌唱ピッチの維持及び調整が難しい低音域及び高音域と、歌唱ピッチの維持及び調整が比較的容易な中間音域とを、難易度に応じて適正に評価することができる。

上記では、リファレンスデータの音高に応じて歌唱ピッチの傾き値を異なる判定基準で評価する例を示したが、この例に限定されない。例えば、リファレンスデータの変化の割合に応じて傾き値を異なる判定基準で評価してもよい。例えば、歌唱ピッチに対応するリファレンスデータにおいて、リファレンスデータの音高の変化量が大きい場合、（ｂ）厳しめの判定基準を適用してもよい。一方、リファレンスデータにおいて、リファレンスデータの音高の変化量が小さい場合、（ａ）甘めの判定基準を適用してもよい。

以上のように、本発明の第２実施形態に係る評価装置によると、ピッチ変化の傾きに基づく歌唱評価を行うことができる。また、歌唱ピッチに対応するリファレンスデータの音高又は音高の変化の割合に応じて、評価値への重み付けを変化させる、又はＯＫ判定領域を変化させることで、歌唱の難易度を評価値に反映することができる。

〈第３実施形態〉
本発明の第３実施形態における評価装置について、図１０及び図１１を参照しながら詳細に説明する。第３実施形態に係る評価装置は、上記の傾き値の評価によってＮＧと判定された時間の長さ（連続ＮＧ時間）の分布に基づいて評価値を算出する。ここで、第３実施形態において、評価装置のハードウェア構成は第１実施形態と同様であるので、ここでは説明を省略する。図１０は、本発明の一実施形態における評価機能部の機能構成を示すブロック図である。図１０の評価機能部２００Ｂは図２に示す評価機能部２００と類似しているが、評価機能部２００Ｂは傾き評価部２４０の代わりに判定結果積算部２５０Ｂを有している点において、評価機能部２００と相違する。

判定結果積算部２５０Ｂは、傾き値評価部２４０Ｂが算出した評価値を積算して度数分布を作製する。具体的には、傾き値評価部２４０ＢがＮＧ判定を出した連続時間を積算して度数分布を作製する。図１１は、本発明の一実施形態における評価方法において、連続ＮＧ時間の度数分布から評価値を算出する例を示す図である。図１１の横軸は連続ＮＧ時間を示し、縦軸は各連続ＮＧ時間における度数を示している。また、図１１のグラフ中に示された実線５２０は評価値が高い歌唱上級者の分布を示し、二点鎖線５３０は評価値が低い歌唱低級者の分布を示している。歌唱上級者の分布では、度数分布のピークが相対的に連続ＮＧ時間が短い位置にある傾向がある。一方、歌唱低級者の分布では、度数分布のピークが相対的に連続ＮＧ時間が長い位置にある大きい傾向がある。このように、連続ＮＧ時間の分布に基づいて評価値を算出してもよい。

以上のように、本発明の第３実施形態に係る評価装置によると、ピッチ変化の傾きに基づく歌唱評価を行うことができる。また、この例では、連続ＮＧ時間が積算された連続ＮＧ時間分布に基づいて評価値を算出するため、ノイズなどの局所的なデータの影響を受けにくい評価を行うことができる。

〈第４実施形態〉
本発明の第４実施形態における評価装置について、図１２を参照しながら詳細に説明する。第４実施形態に係る評価装置は、歌唱ピッチの傾き値を算出する際に、複数の歌唱ピッチを１つの群としたピッチ群を用いて傾き値を算出する。ここで、第４実施形態において、評価装置のハードウェア構成及び評価機能部の機能構成は第１実施形態と同様であるので、ここでは説明を省略する。

図１２は、本発明の一実施形態における評価方法において、複数の歌唱ピッチを含むピッチ群に基づいて傾き値を算出する例を示す図である。上記の実施形態では、単体の歌唱ピッチに基づいて傾き値を算出したが、図１２では、複数の歌唱ピッチを含むピッチ群に基づいて傾き値を算出する。図１２の縦軸はピッチを示し、横軸は時間の経過を示しており、ピッチ方向に１００ｃｅｎｔ間隔で破線が表示されている。

ここで、ピッチ群４４０は一定の範囲に含まれる歌唱ピッチ４５０を含む。図１２では、例えば１００ｃｅｎｔのピッチ範囲に含まれる連続性のある歌唱ピッチ４５０をピッチ群４４０としている。各々のピッチ群４４０に対してピッチ群統計値４６０が求められ、ピッチ群統計値４６０に対して近似直線４７０が求められる。ここでは、各々のピッチ群４４０に含まれる全ての歌唱ピッチの時間及びピッチに対する平均値をピッチ群統計値４６０とした。求められた近似直線４７０の傾きに基づいて、ピッチ群４４０の傾き値を算出する。そして、算出されたピッチ群４４０の傾き値に基づいて、図６及び図７に示す方法と同様の方法で評価値を算出する。

図１２では、固定された１００ｃｅｎｔのピッチ範囲に含まれる歌唱ピッチ４５０を１つのピッチ群としたが、ピッチ群と判断するためのピッチ範囲は複数の歌唱ピッチ４５０に合わせて上下に調整されてもよい。ただし、上下方向に隣接する上記のピッチ範囲は互いに重畳しないように設定される。また、上記のピッチ範囲は１００ｃｅｎｔに限定されず、１００ｃｅｎｔ未満であってもよく、１００ｃｅｎｔを上回ってもよい。また、図１２では、一定の範囲に含まれる連続した歌唱ピッチを１つのピッチ群としたが、ピッチ群に含まれる歌唱ピッチは必ずしも連続している必要はなく、例えば、ノイズの影響を排除するために、一定数の歌唱ピッチが上記の一定範囲から外れても１つのピッチ群と認識するようにしてもよい。ここでは、一定の範囲に含まれる歌唱ピッチを１つのピッチ群としたが、一定時間毎に歌唱ピッチを区切るようにしてもよい。また、ピッチ群統計値４６０は平均値に限定されず、中央値などの他の統計値であってもよい。

以上のように、本発明の第４実施形態に係る評価装置によると、ピッチ変化の傾きに基づく歌唱評価を行うことができる。また、この例では、複数の歌唱ピッチを含むピッチ群の統計値に基づいて評価値を算出するため、ノイズなどの局所的なデータの影響を受けにくい評価を行うことができる。

〈第５実施形態〉
本発明の第５実施形態における評価装置について、図１３を参照しながら詳細に説明する。第５実施形態に係る評価装置は、歌唱ピッチの傾き値に基づく評価に加え、基準ピッチと歌唱ピッチとの比較、歌唱ピッチの水平な箇所における評価、及び歌唱技法による評価の機能を有する評価装置である。ここで、第５実施形態において、評価装置のハードウェア構成は第１実施形態と同様であるので、ここでは説明を省略する。

図１３は、本発明の一実施形態における評価機能部の機能構成を示すブロック図である。図１３の評価機能部２００Ｃは図２に示す評価機能部２００と類似しているが、評価機能部２００Ｃは特定区間検出部６１０Ｃ、水平評価部６２０Ｃ、ピッチ比較部６３０Ｃ、及び得点計算部６４０Ｃを有している点において、評価機能部２００と相違する。ピッチ算出部２２０Ｃは、算出した歌唱ピッチを特定区間検出部６１０Ｃ、水平評価部６２０Ｃ、及びピッチ比較部６３０Ｃに送信する。また、傾き評価部２４０Ｃ、特定区間検出部６１０Ｃ、水平評価部６２０Ｃ、及びピッチ比較部６３０Ｃによって算出された各々の評価値は得点計算部６４０Ｃに送信される。

ここで、記憶部１１０に格納された評価基準情報５１６には、ピッチ変化の傾きに基づいて歌唱評価をするための基準情報の他に、歌唱技法を検出するための歌唱ピッチの変化（歌唱ピッチ波形）を特定するための情報が含まれる。ここで、ビブラート、コブシ、シャクリ、フォールといった歌唱技法であれば、例えば、以下のような歌唱ピッチ波形を示す。

（１）ビブラート：ピッチが細かく（所定周期以下で）高低に変化する。ビブラート検出の具体的な例は、特開２００５−１０７０８７号公報に開示されている。
（２）コブシ：ピッチが一時的に（所定時間以内で）高くなり、その後、元のピッチに戻る。コブシ検出の具体的な例は、特開２００８−２６８３７０号公報に開示されている。
（３）シャクリ：ピッチが所定時間かけて高くなり、その後安定する。シャクリ検出の具体的な例は、特開２００５−１０７３３４号公報に開示されている。
（４）フォール：ピッチが所定時間かけて低くなり、その後、歌唱が途切れる。フォール検出の具体的な例は、特開２００８−２２５１１５号公報に開示されている。

なお、図３に示す区間Ｓは「シャクリ」、区間Ｆは「フォール」、区間Ｋは「コブシ」、区間Ｖは「ビブラート」にそれぞれ対応する特定区間である。ここで、評価区間を、区間Ｓ、Ｆ、Ｋ、Ｖに対応する特定区間以外としてもよい。

また、評価基準情報５１６には、歌唱ピッチと比較されるべき基準ピッチが規定されている。基準ピッチは、複数のピッチとして規定されている。この例では、基準ピッチは、４４０Ｈｚを含み、４４０Ｈｚを基準として１００ｃｅｎｔ間隔で規定されている。なお、楽曲によって基準となるピッチが４４０Ｈｚからずれている場合、例えば、４４２Ｈｚである場合には、基準ピッチは、４４２Ｈｚを基準として１００ｃｅｎｔ間隔で規定されればよい。このずれ量については、例えば、楽曲データにチューン情報として格納されていればよい。

特定区間検出部６１０Ｃは、歌唱ピッチ波形を解析し、歌唱音声の入力期間のうち、得点基準情報によって規定された歌唱技法を含む区間（特定区間）を検出する。このとき検出される特定区間は、歌唱技法の種類ごとに対応付けられていてもよい。特定区間検出部６１０Ｃによって検出された特定区間における歌唱ピッチは、歌唱技法の評価だけに用いられ、傾き値に基づく評価や下記に説明する評価には用いられないようにする。

水平評価部６２０Ｃは、歌唱ピッチ波形を解析し、歌唱音声の入力期間のうち、歌唱ピッチが水平、つまり歌唱ピッチの変動率が一定以下のピッチ群に対して評価を行う。水平評価部６２０Ｃは、歌唱ピッチが水平であると判定した領域のピッチ群に対して、その水平の良し悪しを評価する。具体的には、ピッチ群の変動の幅を評価し、水平部におけるピッチの安定性を評価する。例えば、上記のピッチ群における最大値と最小値との差に基づいて評価値を算出してもよい。又は、上記のピッチ群のピッチ分布における標準偏差に基づいて評価値を算出してもよい。

ピッチ比較部６３０Ｃは、歌唱音声の入力期間のうち、特定区間検出部６１０Ｃにおいて検出された特定区間を除いた区間を、評価区間として設定する。ピッチ比較部６３０Ｃは、評価区間における歌唱ピッチ波形、及び基準ピッチに基づいて、歌唱ピッチと基準ピッチとを比較する。比較結果として、例えば、歌唱ピッチ波形と基準ピッチとの不一致度を算出する。ここで、複数の基準ピッチが１００ｃｅｎｔ間隔で存在する。そのため、複数の基準ピッチのうち、歌唱ピッチに最も近い基準ピッチが歌唱ピッチの比較対象として選択される。歌唱ピッチ波形と基準ピッチとの差が大きいほど、不一致度が高くなるように算出される。例えば、歌唱ピッチ波形の各サンプルにおける歌唱ピッチと基準ピッチとの差分を評価区間において加算し、加算値を評価区間のサンプル数で除算することによって、不一致度が算出される。

得点計算部６４０Ｃは、上記のように、傾き評価部２４０Ｃ、特定区間検出部６１０Ｃ、水平評価部６２０Ｃ、及びピッチ比較部６３０Ｃによって算出された各々の評価値に基づいて総合得点を計算する。得点計算部６４０Ｃによって計算された総合得点は、表示部１３０（図１参照）によって表示される。ここで、表示部１３０は得点計算部６４０Ｃによって計算された総合得点だけでなく、傾き評価部２４０Ｃ、特定区間検出部６１０Ｃ、水平評価部６２０Ｃ、及びピッチ比較部６３０Ｃによって算出された各々の評価値を個別に表示してもよい。

以上のように、本発明の第５実施形態に係る評価装置によると、リファレンスデータに依存しない歌唱評価を行うことができる。また、この例では、歌唱ピッチの傾き値基づく評価だけではなく、基準ピッチに対する歌唱ピッチの正確さ及び水平部における安定性に基づく評価を行うことができ、歌唱技法による特殊なピッチの変動が他の評価に影響を及ぼさないようにすることができる。

入力音取得部２１０によって取得される入力音データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。楽器音の場合は、スラー記号がついた音符を演奏したときの巧拙が評価できる。弾くべき音程の変化部のピッチ傾きにより、スラーで弾いたか否かを判定することができる。リファレンスにスラー情報がある場合は、その情報と比較し、楽譜通りに演奏したかを評価する事ができる。例えば、バイオリンなどの擦弦楽器の演奏において、スラー記号がついた音符を演奏する際に弓を返さずに演奏する方法がある。また、トランペットなどの管弦楽器の演奏において、スラー記号がついた音符を演奏する際にタンギングせずに別の音高に推移する演奏方法がある。これらの演奏方法においては、異なる音高間を推移する間のピッチが観測される。第５実施形態に係る評価装置によれば、これらの演奏方法における異なる音高間の推移を評価することができる。

なお、本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０：評価装置、 １００：制御部、 １１０：記憶部、 １２０：操作部、 １３０：表示部、 １４０：通信部、 １５０：信号処理部、 ２００：評価機能部、 ２１０：入力音取得部、 ２２０：ピッチ算出部、 ２３０：傾き算出部、 ２４０：傾き評価部、 ２５０：判定結果積算部、 ２９０：伴奏出力部、 ３６０：近似直線、 ３６１、３６２、３６３、３６４、３６５、３６６：プロット、 ４１０、４１２：第１範囲、 ４２０、４２２：第２範囲、 ４３０、４３２：第３範囲、 ４４０：ピッチ群、 ４５０：歌唱ピッチ、 ４６０：ピッチ群統計値、 ４７０：近似直線、 ５０２：第１ノート、 ５０４：第２ノート、 ５０６：第３ノート、 ５２０：実線、 ５３０：二点鎖線、 ５６０：マイクロフォン、 ５７０：スピーカ、 ６１０：特定区間検出部、 ６２０：水平評価部、 ６３０：ピッチ比較部、 ６４０：得点計算部

Claims (9)

1. 入力音を取得する入力音取得部と、
   前記入力音取得部が取得した前記入力音のピッチを算出するピッチ算出部と、
   前記ピッチ算出部が算出した前記ピッチの変化の割合を示す傾き値を算出する傾き算出部と、
   前記傾き値に基づいて、前記入力音の評価値を計算する傾き評価部と、
   を備え、
   前記評価部は、前記傾き値の絶対値が第１範囲及び前記第１範囲よりも前記傾き値の絶対値が大きい第２範囲である場合に第１の計算を行い、前記第１範囲よりも前記傾き値の絶対値が大きく、前記第２範囲よりも前記傾き値の絶対値が小さい第３範囲である場合に第２の計算を行うことを特徴とする評価装置。
2. 入力音を取得し、
   前記入力音のピッチを算出し、
   前記ピッチの変化の割合を示す傾き値を算出し、
   前記傾き値に基づいて、前記入力音の評価値を計算し、
   前記傾き値の絶対値が第１範囲及び前記第１範囲よりも前記傾き値の絶対値が大きい第２範囲である場合に第１の計算を行い、前記第１範囲よりも前記傾き値の絶対値が大きく、前記第２範囲よりも前記傾き値の絶対値が小さい第３範囲である場合に第２の計算を行うことを特徴とする評価方法。
3. 前記評価値の計算において、前記傾き値が所定期間において前記第１範囲又は前記第２範囲に含まれる回数、又は前記第３範囲に含まれる回数に応じて、前記評価値に加点又は減点をすることを特徴とする請求項２に記載の評価方法。
4. 前記傾き値の算出において、複数の前記ピッチから得られる統計値に基づいて前記傾き値を算出することを特徴とする請求項２又は３に記載の評価方法。
5. 前記評価値の計算において、前記入力音に対応するリファレンスデータにおける音高の変化の割合に応じて、前記リファレンスデータの位置に対応する前記入力音の前記評価値に重み付けをすることを特徴とする請求項２乃至４のいずれか一に記載の評価方法。
6. 前記評価値の計算において、前記入力音に対応するリファレンスデータにおける音高の変化の割合に応じて、前記リファレンスデータの位置に対応する前記傾き値の前記第１範囲、前記第２範囲、及び前記第３範囲をそれぞれ調整することを特徴とする請求項２又は３に記載の評価方法。
7. 前記評価値の計算において、前記傾き算出部が算出した前記傾き値が所定期間において前記第１範囲又は前記第２範囲に含まれる回数、又は前記第３範囲に含まれる回数に応じて、以降の前記第１範囲、前記第２範囲、及び前記第３範囲をそれぞれ調整することを特徴とする請求項２又は３に記載の評価方法。
8. 前記評価値の計算において、前記ピッチに基づいて非評価期間を設定し、前記非評価期間を除く期間の前記傾き値に基づいて、前記評価値を計算することを特徴とする請求項２乃至７のいずれか一に記載の評価方法。
9. 入力音を取得し、
   前記入力音のピッチを算出し、
   前記ピッチの変化の割合を示す傾き値を算出し、
   前記傾き値に基づいて、前記入力音の評価値を計算し、
   前記傾き値の絶対値が第１範囲及び前記第１範囲よりも前記傾き値の絶対値が大きい第２範囲である場合に第１の計算を行い、前記第１範囲よりも前記傾き値の絶対値が大きく、前記第２範囲よりも前記傾き値の絶対値が小さい第３範囲である場合に第２の計算を行うことをコンピュータに実行させるためのプログラム。
   
   

Images