JP6074835B2 - 楽曲練習支援装置 - Google Patents

Description

本発明は、楽曲練習支援装置に関する。

カラオケ装置においては、歌唱の練習を支援する機能を備えるものがある。例えば特許文献１には、カラオケで再生された伴奏音声に合わせて歌い手が歌唱したときに得られる歌唱信号と手本ボーカル信号とを比較して両信号がずれている箇所を記憶しておき、記憶した箇所を再生する装置が提案されている。歌唱者は、再生された箇所を歌うことにより、苦手部分の練習を行うことができる。

特開２００１−３４２７８号公報

特許文献１に記載の技術では、一度歌った楽曲において音程ずれが起こった箇所を繰り返し練習することができるため、その楽曲の上達には有効であるが、他の楽曲の歌唱の向上には必ずしも繋がらない。特許文献１に記載の技術を楽器の演奏の練習支援に応用しても上記と同様である。
本発明は上述の背景に鑑みてなされたものであり、他の楽曲においても応用の効く歌唱力（又は演奏力）を向上させることを目的とする。

上述した課題を解決するために、本発明は、音を表す音データを取得する音データ取得部と、前記音データ取得部が取得した音データの特徴を特定する特徴特定部と、前記特徴特定部により特定された特徴に基づき、前記音データを予め定められた評価項目毎に評価する評価部と、前記評価部による評価結果が予め定められた条件を満たす前記評価項目を１又は複数特定する評価項目特定部と、前記評価項目特定部により特定された評価項目に応じた生成態様で、前記音データの歌唱又は演奏の練習を支援するための楽曲データを生成する生成部とを具備し、前記評価項目特定部は、前記生成部における楽曲データの生成履歴を示す指導履歴データを取得し、取得した指導履歴データに従って前記評価項目毎の重み付け係数を決定し、決定した重み付け係数を用いて前記特定を行うことを特徴とする楽曲練習支援装置を提供する。本実施形態において、音データとは歌唱音声を含む。

本発明の好ましい態様において、前記前記生成部は、ピッチの時間的な変化を表すピッチテンプレートとタイミング列を表すリズムテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートを前記記憶部から読み出し、読み出したリズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列であって、各ノートのピッチが前記読み出したピッチテンプレートにより示されるピッチの時間的な変化に従ったピッチであるノートの列で構成される楽曲を表す楽曲データを生成してもよい。

また、本発明は、音を表す音データを取得する音データ取得部と、前記音データ取得部が取得した音データの特徴を特定する特徴特定部と、前記特徴特定部により特定された特徴に基づき、前記音データを予め定められた評価項目毎に評価する評価部と、前記評価部による評価結果が予め定められた条件を満たす前記評価項目を１又は複数特定する評価項目特定部と、前記評価項目特定部により特定された評価項目に応じた生成態様で、前記音データの歌唱又は演奏の練習を支援するための楽曲データを生成する生成部とを具備し、前記生成部は、ピッチの時間的な変化を表すピッチテンプレートとタイミング列を表すリズムテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートを前記記憶部から読み出し、読み出したリズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列であって、各ノートのピッチが前記読み出したピッチテンプレートにより示されるピッチの時間的な変化に従ったピッチであるノートの列で構成される楽曲を表す楽曲データを生成し、前記読み出しの際には、難易度の異なる複数の前記リズムテンプレート及びピッチテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートであって、前記評価部の評価結果に応じた難易度のリズムテンプレート及びピッチテンプレートを読み出すことを特徴とする楽曲練習支援装置を提供する。

また、本発明は、音を表す音データを取得する音データ取得部と、前記音データ取得部が取得した音データの特徴を特定する特徴特定部と、前記特徴特定部により特定された特徴に基づき、前記音データを予め定められた評価項目毎に評価する評価部と、前記評価部による評価結果が予め定められた条件を満たす前記評価項目を１又は複数特定する評価項目特定部と、前記評価項目に対応付けて記憶部に記憶された複数の楽曲データのなかから、前記評価項目特定部により特定された評価項目に対応する楽曲データを選定する曲選定部とを具備し、前記評価項目特定部は、前記曲選定部における楽曲データの選定履歴を示す指導履歴データを取得し、取得した指導履歴データに従って前記評価項目毎の重み付け係数を決定し、決定した重み付け係数を用いて前記特定を行うことを特徴とする楽曲練習支援装置を提供する。

また、本発明の好ましい態様において、前記生成部は、当該生成部における楽曲データの生成履歴を示す指導履歴データを取得し、用いられる音域が異なる複数の前記ピッチテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するピッチテンプレートであって前記取得された指導履歴データに応じた音域のピッチテンプレートを読み出してもよい。
また、本発明の好ましい態様において、模範となる歌唱音声と前記楽曲データの表す音とを合成し、合成された音を再生する歌唱合成部を具備してもよい。

本発明によれば、他の楽曲においても応用の効く歌唱力（又は演奏力）を向上させることができる。

本発明の実施形態におけるシステムの構成図 歌唱ピッチ評価エンジン１２による評価内容の一例を説明するための図 音程・音程跳躍評価エンジン１３による評価内容の一例を説明するための図 タイミング評価エンジン１５による評価内容の一例を説明するための図 リズム評価エンジン１６による評価内容の一例を説明するための図 歌唱技法評価エンジン１７による評価内容の一例を説明するための図 表現力評価エンジン１８による評価内容の一例を説明するための図 歌唱指導選定エンジン１４の処理内容の一例を説明するための図 優先順位の算出方法の一例を示す図 歌唱指導作曲エンジン３０の構成の一例を示すブロック図 テンプレートの一例を示す図 リズムデータの内容の一例を示す図 メロディデータの一例を示す図 リズムデータの内容の一例を示す図 メロディデータの一例を示す図 カラオケ装置のハードウェア構成の一例を示す図 本実施形態の処理の流れを示すフロー図 本実施形態の処理の流れを示すフロー図 本発明の変形例におけるシステムの構成図

＜実施形態＞
＜構成＞
図１は、本発明の実施形態に係る歌唱練習支援システム１００の構成の一例を示したブロック図である。歌唱練習支援システム１００は、歌唱指導エンジン１０と、記憶部２０と、歌唱指導作曲エンジン３０と、ネットワーク４０と、サーバ５０と、シーケンサ６０と、マイク８０と、スピーカ８１とを有する。歌唱指導作曲エンジン３０とサーバ５０とは、ネットワーク４０により接続されている。歌唱指導エンジン１０は、マイク８０によって収音された歌唱者の歌唱音声と、歌唱者が歌唱すべき歌唱音程とを比較し、比較結果に応じた評価を行う。記憶部２０は、各種のデータを記憶するための記憶手段であり、例えばＨＤＤ（Hard Disk Drive）や不揮発性メモリである。サーバ５０は、これまでの歌唱の指導履歴を表す指導履歴データを記憶する指導履歴データ記憶領域５１を有している。

歌唱指導作曲エンジン３０は、歌唱指導エンジン１０の評価結果に従って歌唱練習のための楽曲（以下「歌唱指導曲」という）を示すデータ（以下「歌唱指導曲データ」という）を動的に生成する。この実施形態では、歌唱指導エンジン１０が、特定した歌唱者のピッチを、音程・音程跳躍、リズム、表現力の３つの項目について評価し、歌唱指導作曲エンジン３０が各項目の練習に適した歌唱指導曲データを生成する。歌唱指導曲データは、例えばＭＩＤＩ（Musical Instrument Digital Interface）形式のデータである。歌唱指導作曲エンジン３０は、生成した歌唱指導曲データをシーケンサ６０に出力する。ネットワーク４０は、ＬＡＮやインターネット等の通信ネットワークである。サーバ５０は、歌唱指導作曲エンジン３０による歌唱指導曲データの生成履歴を蓄積する指導履歴データ記憶領域５１を有している。サーバ５０は、ネットワーク４０を介して歌唱指導作曲エンジン３０と接続されている。シーケンサ６０は、歌唱指導作曲エンジン３０から供給される歌唱指導曲データを再生する。

記憶部２０は、楽曲情報データ記憶領域２１と、作曲用テンプレートデータ記憶領域２２と、伴奏データ記憶領域２３とを備えている。楽曲情報データ記憶領域２１には、「曲番号」、「曲名」、「歌手名」、「ジャンル」、及び「伴奏データ」、「ＧＭデータ」といった複数の項目からなる楽曲データレコードが複数記憶されている。「曲番号」は、楽曲を一意に識別するための番号であり、例えば４桁の親番号と２桁の枝番号とからなる。「曲名」は、各楽曲の名称を表す。「歌手名」は、各楽曲の歌い手の名称を表す。「ジャンル」は、予め決められた分類基準で分類された複数のジャンルのうち、各楽曲の属する音楽のジャンルを表す。「伴奏データ」は、各楽曲の伴奏データを表す。「ＧＭデータ」は、各楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容を指定するデータであるガイドメロディデータ（以下「ＧＭデータ」という）を表す。ＧＭデータは、歌唱ピッチ評価エンジン１２が歌唱者による歌唱の巧拙を評価する際に比較の基準として用いられる。ＧＭデータは、例えば、ＭＩＤＩ形式により記述されている。なお、伴奏データとＧＭデータはデータそのものが楽曲情報データ記憶領域２１に記憶されているに限らず、伴奏データやＧＭデータの格納場所を表すアドレスが楽曲情報データ記憶領域に記憶されている構成であってもよい。

作曲用テンプレートデータ記憶領域２２には、歌唱指導作曲エンジン３０が歌唱指導曲データを生成する際に用いられるリズムやメロディのテンプレートが複数記憶されている。作曲用テンプレートデータ記憶領域２２には、ノートの発音タイミングの列を表すリズムテンプレートが評価項目毎に記憶されているとともに、ピッチの時間的な変化を表すピッチテンプレートが評価項目毎に記憶されている。なお、以下の説明においては、説明の便宜上、リズムテンプレートとピッチテンプレートとを各々区別する必要がない場合には、これらを「テンプレート」と称して説明する。

伴奏データ記憶領域２３には、歌唱指導作曲エンジン３０が歌唱指導曲データを生成する際に用いられる、伴奏音を表す伴奏データが、作曲用テンプレートデータ記憶領域２２に記憶されたテンプレートに対応付けて記憶されている。伴奏データとテンプレートとは、１対１で対応付けられていてもよく、また、複数対複数で対応付けられていてもよい。

次いで、歌唱指導エンジン１０の構成について説明する。歌唱ピッチ特定エンジン１１はマイク８０によって収音された音声の波形を表す音声データを取得し、取得した音声データにより示される音の特徴を特定する。歌唱ピッチ特定エンジン１１は、本発明に係る音データ取得部の一例であるとともに、本発明に係る特徴特定部の一例である。歌唱ピッチ特定エンジン１１は、マイク８０によって収音された歌唱者の音声を表すデータ（以下「歌唱音声データ」という）を解析し、歌唱音声データにより示される音のピッチを特定する。歌唱ピッチ特定エンジン１１は、特定したピッチを表すデータ（以下「ピッチデータ」という）を、歌唱ピッチ評価エンジン１２、タイミング評価エンジン１５、及び歌唱技法評価エンジン１７に出力する。ピッチデータの一例を図２の実線Ｐ１で示すが、図示のように時間軸に沿って各時刻のピッチを示す。

歌唱ピッチ評価エンジン１２と音程・音程跳躍評価エンジン１３は、歌唱ピッチ特定エンジン１１により特定されたピッチに基づき、歌唱音声データにより示される音を、「音程」と「音程跳躍」の評価項目について評価する。音程跳躍とは、隣り合う２つのノート間でピッチが大きく変化することをいう。この実施形態では、まず、歌唱ピッチ評価エンジン１２が、歌唱ピッチ特定エンジン１１で特定された歌唱ピッチと、楽曲情報データ記憶領域２１に記憶されたＧＭデータの示すピッチとを比較してノート毎に音程評価を行い、評価結果を表す評価値を記憶部２０の所定の記憶領域に記録する。

ここで、図２を用いて歌唱ピッチ評価エンジン１２による評価内容の一例を説明する。実線Ｐ１は歌唱ピッチ特定エンジン１１で特定された歌唱ピッチを表し、ノートＮ１，ノートＮ２，ノートＮ３，…は、ＧＭデータの表すピッチ（すなわち歌唱者が歌唱すべき歌唱音程）を表す。歌唱ピッチ評価エンジン１２は、歌唱ピッチ特定エンジン１１で特定された歌唱ピッチと、ＧＭデータのピッチとを比較し、両者の差分に応じて評価を行う。評価結果を表す評価値は、例えば、あるノートにおいて、両者のピッチの差が予め定められた許容範囲内に収まっていれば１００点（すなわち減点なし）とし、両者のピッチの差が上記範囲内に収まらない部分の期間が、ＧＭデータにおいてこのノートにおける音長の半分に渡っていれば５０点である、といった具合であってもよい。

図２に示す例では、歌唱ピッチ評価エンジン１２は、歌唱ピッチ特定エンジン１１で特定された歌唱ピッチと、ＧＭデータのピッチとの差分が大きいほど低い評価となるように評価を行う。具体的には、ノートＮ１については、差分が小さいため「９０点」という評価がなされ、ノートＮ２については差分が大きいため「２０点」という評価がなされ、ノートＮ３については差分がそれほど大きくないため「７０点」という評価がなされている。

音程・音程跳躍評価エンジン１３は、ノート毎の歌唱ピッチ評価エンジン１２の音程得点結果及びあるノートから次のノートへの音程の跳躍についての得点結果を音程跳躍の評価値として記録する。音程・音程跳躍評価エンジン１３は、カラオケ楽曲の演奏終了後に結果を集計し、音程得点および音程跳躍得点が閾値以下の箇所における評価値を音程跳躍の評価項目の評価値として歌唱指導選定エンジン１４に通知する。

図３は、音程・音程跳躍評価エンジン１３による評価内容の一例を説明するための図である。図３に示す例では、音程・音程跳躍評価エンジン１３は、ノート単位の採点結果を音階（Scale）毎に集計し（図３の（ａ）参照）、集計結果が閾値以下の音階を歌唱指導選定エンジン１４に通知する。なお、図３（ａ）に示す例では、当該楽曲においては、音階Ａ＃３のノートが２回、音階Ｄ４のノートが３回、音階D＃４のノートが４回出現したことを示している。「Ｔｏｔａｌ」の欄には、音階毎の採点結果の平均値が評価値として記録される。また、音程・音程跳躍評価エンジン１３は、連続する２つのノートの採点結果を音程の跳躍量毎に集計し（図３の（ｂ）参照）、集計結果が閾値以下の音程跳躍を歌唱指導選定エンジン１４に通知する。図３の（ｂ）に示す例では、当該楽曲には、音階Ａ＃３から音階Ｄ＃４に飛躍する連続したノート、例えば、図２に示す「ノートＮ１からノートＮ２」の関係にあるノートの組みが２組あり、音階Ｄ＃４から音階Ｄ４に飛躍する連続したノート、例えば、図２に示す「ノートＮ２からノートＮ３」の関係にあるノートの組みが３組ある場合を示している。「Ｔｏｔａｌ」の欄には、跳躍量毎の採点結果の平均値が評価値として記録される。

タイミング評価エンジン１５とリズム評価エンジン１６は、歌唱ピッチ特定エンジン１１により特定されたピッチに基づき、歌唱音声データにより示される音を、「表拍」、「裏拍」、「３連符」、「１６分音符」といった、リズムに関する評価項目毎に評価する。この実施形態では、まず、タイミング評価エンジン１５が、歌唱ピッチ特定エンジン１１で特定された歌唱ピッチとＧＭデータによって示される拍タイミング（すなわち歌唱者が歌唱すべき拍タイミング）とを比較し、ノート毎にタイミングを評価して採点を行う。

図４は、タイミング評価エンジン１５による評価内容の一例を示す図である。図４において、横軸は時刻を示し、縦軸はピッチを示す。図４に示す例では、ノートＮ３の歌唱タイミングが走り気味であるため（実線Ｐ１がノートＮ３の音階に達するタイミングの方がノートＮ３の発音タイミングよりもやや早い）、ノートＮ３のリズムの得点（評価値）が低くなっている。

リズム評価エンジン１６は、タイミング評価エンジン１５による採点結果を小節内の表拍や裏拍、３連符、１６分音符といった評価項目毎に分類し、評価値として記録する。このとき、リズム評価エンジン１６は、対象ノートが表拍と１６分音符の双方に該当した場合等には、双方に記憶する。リズム評価エンジン１６は、楽曲演奏後に結果を集計し、評価値が閾値以下の評価項目を歌唱指導選定エンジン１４に通知する。

図５は、リズム評価エンジン１６による評価内容の一例を説明するための図である。図５に示すように、リズム評価エンジン１６は、ノート単位の採点結果を、「表拍」、「裏拍」、「３連符」、「１６分音符」、といったリズムの種類（評価項目）毎に集計する。図５に示す例では、ノートＮ１，ノートＮ２，ノートＮ４が表拍として記録され、ノートＮ３が裏拍として記録される例を示している。

歌唱技法評価エンジン１７と表現力評価エンジン１８とは、歌唱ピッチ特定エンジン１１により特定されたピッチに基づき、歌唱音声データにより示される音を、歌唱技法毎に評価する。この実施形態では、歌唱技法評価エンジン１７は、歌唱ピッチの変化により歌唱技法を特定し、ノート毎に歌唱技法を評価し、評価結果を表す評価値を記録する。この実施形態では、歌唱技法評価エンジン１７は、「ビブラート」、「しゃくり」、「こぶし」、「フォール」の各歌唱技法が用いられているノートを特定する。「ビブラート」については、歌唱技法評価エンジン１７は、歌唱ピッチの時間的な変化のパターンを解析し、中心となるピッチの上下に所定の範囲内でピッチが連続的に変動している区間を特定し、特定した区間を含むノートを「ビブラート」が用いられているノートとする。「ビブラート」については、歌唱技法評価エンジン１７は、ピッチ変動の一様性と深さ、持続時間を評価し採点する。

「しゃくり」については、歌唱技法評価エンジン１７は、歌唱ピッチの時間的な変化のパターンを解析し、フレーズ冒頭で低いピッチから目的のピッチに連続的にピッチが変化する区間を特定し、特定した区間を含むノートを「しゃくり」が用いられているノートとする。「しゃくり」については、歌唱技法評価エンジン１７は、ピッチの変動幅と変動時間を評価し採点する。

「フォール」については、歌唱技法評価エンジン１７は、歌唱ピッチの時間的な変化のパターンを解析し、フレーズの終わりで一定のピッチで長く伸ばすロングトーンから低いピッチに連続的にピッチが変化する区間を特定し、特定した区間を含むノートを「フォール」が用いられているノートとする。「フォール」については、歌唱技法評価エンジン１７は、ピッチの変動幅と変動時間を評価し採点する。

「こぶし」については、歌唱技法評価エンジン１７は、歌唱ピッチの時間的な変化のパターンを解析し、フレーズ中に短時間でピッチが上下する区間を特定し、特定した区間を含むノートを「こぶし」が用いられている区間とする。「こぶし」については、歌唱技法評価エンジン１７は、ピッチの変動幅と変動時間を評価し採点する。

図６は、歌唱技法評価エンジン１７の処理内容の一例を説明するための図である。図６に示す例では、ノートＮ１でしゃくり、ノートＮ３でビブラートが特定され歌唱技法の採点が行われる。

表現力評価エンジン１８は、歌唱技法評価エンジン１７で取得した歌唱技法の評価値を、各歌唱技法を挿入すべきノート毎に分類し表現力の評価値として記録する。表現力評価エンジン１８は、楽曲演奏後に結果を集計し、評価値が閾値以下の歌唱技法を、歌唱指導選定エンジン１４に通知する。

図７は、表現力評価エンジン１８の処理内容の一例を示す図である。図７に示す例では、ノートＮ１がしゃくり、ノートＮ３がビブラートに分類され記録される。歌唱ピッチ評価エンジン１２、音程・音程跳躍評価エンジン１３、タイミング評価エンジン１５、リズム評価エンジン１６、歌唱技法評価エンジン１７、及び表現力評価エンジン１８は、本発明に係る評価部の一例である。

歌唱指導選定エンジン１４は、音程・音程跳躍評価エンジン１３、リズム評価エンジン１６、表現力評価エンジン１８の評価結果が予め定められた条件を満たす評価項目を１又は複数特定する。歌唱指導選定エンジン１４は、本発明に係る評価項目特定部の一例である。この実施形態では、歌唱指導選定エンジン１４は、音程・音程跳躍評価エンジン１３、リズム評価エンジン１６、表現力評価エンジン１８の通知結果に所定の重み付けを行い、重み付け結果に従って優先順位を決定し、１つ以上の歌唱指導選定の結果を歌唱指導作曲エンジン３０へ通知する。この実施形態では、歌唱指導選定エンジン１４は、サーバ５０から指導履歴データを取得し、取得結果に応じて重み付け係数を動的に変更する。

図８は、歌唱指導選定エンジン１４の処理内容の一例を説明するための図であり、図９は、優先順位の算出方法の一例を示す図である。図８に示すように、複数の項目について優先順位がつけられる。この実施形態では、歌唱指導選定エンジン１４は、図９に示すように、音程・音程跳躍評価エンジン１３、リズム評価エンジン１６、表現力評価エンジン１８によって通知された評価項目毎の評価値を１００から減算した値に対して評価項目毎の重み付け係数を乗算し、乗算結果の値が大きい順に優先順位を決定する。なお、優先順位の決定の態様はこれに限らず、例えば、歌唱指導選定エンジン１４は、重み付け係数を用いることなく、評価項目毎の評価値が小さい順に優先順位を決定するようにしてもよい。歌唱指導選定エンジン１４が評価項目毎の評価値に従って優先順位を決定するものであればどのような態様であってもよい。図９に示す例では、「Ａ＃３からＤ＃４の音程跳躍」の評価項目の優先順位が最も高く、次いで、「裏拍」の評価項目が２番目、「Ｄ＃４の音程」の評価項目の優先順位が３番目となる。

歌唱指導選定エンジン１４は、複数の項目について、優先順位の高い順に１以上の評価項目を選定し、選定結果を歌唱指導作曲エンジン３０へ通知する。なお、優先順位の高い順に何番目までの評価項目を選定するかは、設計等に応じて適宜変更可能である。この実施形態では、優先順位の高い項目２つが歌唱指導作曲エンジン３０に通知される。図９に示す例では、「音程跳躍」と「裏拍」の２項目が歌唱指導作曲エンジン３０に通知される。

歌唱指導作曲エンジン３０は、歌唱指導選定エンジン１４の通知に対応したリズムテンプレート及びピッチテンプレートを記憶部２０から読み出してメロディデータを作成し、対応した伴奏と合わせることで歌唱指導曲データを生成する。

図１０は、歌唱指導作曲エンジン３０の構成の一例を示すブロック図である。図において、テンプレート読出部３１は、歌唱指導選定エンジン１４により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートを作曲用テンプレートデータ記憶領域２２から読み出す。テンプレート読出部３１は、本発明に係る読出部の一例である。テンプレート読出部３１は、歌唱ピッチ評価エンジン１２で参照されたＧＭデータに対応するジャンルのテンプレートを読み出す。このとき、テンプレート読出部３１は、歌唱指導選定エンジン１４によって歌唱技法の評価項目が特定された場合は、ビブラートの場合にはロングノート、こぶしの場合には装飾音符を含んだテンプレートといったように、歌唱技法を入れやすいテンプレートを選択して読み出す。すなわち、歌唱技法の評価項目については、各歌唱技法と、その歌唱技法を練習しやすいノートを含んだテンプレートが予め対応付けられている。

歌唱指導選定エンジン１４により特定された評価項目に対応するリズムテンプレートが複数ある場合には、テンプレート読出部３１は、対応する複数のリズムテンプレートのなかから予め定められたアルゴリズムに従っていずれかを選択し、選択したリズムテンプレートを読み出す。より具体的には、例えば、テンプレート読出部３１は、対応する複数のリズムテンプレートのなかから予め定められたランダム関数に従っていずれかを選択してもよく、また、例えば、リズムテンプレートに識別子を予め付与しておき、識別子の昇順又は降順に選択してもよい。また、テンプレート読出部３１が選択して読み出すリズムテンプレートは１に限らず、複数であってもよい。ピッチテンプレートについても同様であり、歌唱指導選定エンジン１４により特定された評価項目に対応するピッチテンプレートが複数ある場合には、テンプレート読出部３１は、対応する複数のピッチテンプレートのなかから予め定められたアルゴリズムに従っていずれかを選択し、選択したテンプレートを読み出す。また、テンプレート読出部３１が選択して読み出すピッチテンプレートは１に限らず、複数であってもよい。

メロディリズム生成部３２とメロディピッチ生成部３３とは、テンプレート読出部３１により読み出されたリズムテンプレートとピッチテンプレートとを用いて歌唱指導曲データを生成する。より具体的には、メロディリズム生成部３２とメロディピッチ生成部３３とは、テンプレート読出部３１により読み出されたリズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列であって、各ノートのピッチがテンプレート読出部３１により読み出されたピッチテンプレートにより示されるピッチの時間的な変化に従ったピッチであるノートの列で構成される楽曲を表す歌唱指導曲データを生成する。メロディリズム生成部３２とメロディピッチ生成部３３とは、本発明に係る楽曲データ生成部の一例である。この実施形態では、メロディリズム生成部３２は、テンプレート読出部３１によって読み出されたリズムテンプレートに従ってノートの発音タイミングの列を表すリズムデータを生成する。メロディピッチ生成部３３は、テンプレート読出部３１によって読み出されたピッチテンプレートに従ってノートの列で構成されるメロディデータ（楽曲データ）を生成する。

図１１はリズムテンプレート及びピッチテンプレートの内容の一例を示す図である。上述したように、リズムテンプレートは、ノートの発音タイミングの列を表すデータであり、ピッチテンプレートは、ピッチの時間的な変化を表すデータである。この実施形態では、図１１に示すように、楽曲のジャンル（ポップス、演歌、ジャズ、サンバ、等）毎に、複数のリズムテンプレート及びピッチテンプレートが記憶されている。なお、リズムテンプレートやピッチテンプレートは、ジャンル毎に限らず、テンポ毎に記憶されていてもよい。更に、複数のジャンルのそれぞれについて、リズムテンプレートとして、評価項目が「表拍」、「裏拍」、「３連符」、「１６分音符」といった、それぞれのリズムテンプレートが、項目毎に複数記憶されている。「表拍」のリズムテンプレートＲＴ１１，…は、表拍のリズムに従ったノートの発音タイミング（発音開始タイミング、発音終了タイミング（又は発音時間長））の列を表すデータである。「裏拍」のリズムテンプレートＲＴ２１，…は、裏拍のリズムに従ったノートの発音タイミングの列を表すデータである。「３連符」のリズムテンプレートＲＴ３１，…は、「３連符」に対応する複数のリズムテンプレートであり、３連符を含む発音タイミング列を表すデータである。「１６分音符」のリズムテンプレートＲＴ４１，…は、「１６分音符」１６分音符を含む発音タイミングの列を表すデータである。

また、図１１に示すように、複数のジャンルのそれぞれについて、評価項目が「音程跳躍」のピッチテンプレートＰＴ５１，…や、「装飾音符」のピッチテンプレートＰＴ６１，…が記憶されている。「音程跳躍」のピッチテンプレートＰＴ５１，…は、隣り合う４分音符の音高差（ピッチ差）が大きい（予め定められた閾値以上である）箇所を含むピッチの時間的変化を表すデータである。「装飾音符」のピッチテンプレートＰＴ６１，…は、装飾音符を含むピッチの時間的変化を表すデータである。この実施形態では、図１１に示すように、ピッチテンプレートＰＴ５１，…、ＰＴ６１，…は、４分音符を単位としてピッチの時間的な変化が表現されている。

テンプレートの読み出しについては、テンプレート読出部３１は、歌唱指導選定エンジン１４の通知結果に加え、歌唱した楽曲のジャンル（ポップス、演歌、ジャズ、サンバ等）や、テンポ、これまでの指導履歴を加味し、条件に一致するものからランダムに選択する。

ここで、メロディリズム生成部３２とメロディピッチ生成部３３の処理の内容について、図１２乃至図１５を参照しつつ説明する。図１２の（ａ）は、メロディリズム生成部３２により生成されるリズムデータの内容の一例を示す図である。メロディリズム生成部３２は、テンプレート読出部３１により読み出されたリズムテンプレートによって示されるノートの列を表すリズムデータを生成する。図１２の（ａ）は、「裏拍」の評価項目に対応するリズムテンプレートＲＴ２１（図１１参照）が読み出された場合に生成されるリズムデータの内容の一例を示す図である。図１２の（ａ）に示す例では、ノートＮ１０１，ノートＮ１０２，ノートＮ１０３，ノートＮ１０４，ノートＮ１０５，…を表すリズムデータが生成される。

次いで、メロディピッチ生成部３３は、メロディリズム生成部３２によって生成されたリズムデータを構成する各ノートのピッチを、テンプレート読出部３１により読み出されたピッチテンプレートに従って特定する。ここで、テンプレート読出部３１によって図１１に例示したリズムテンプレートＲＴ２１とピッチテンプレートＰＴ５１とが読み出された場合の動作について説明する。図１２の（ｂ）は、ピッチテンプレートＰＴ５１により表されるピッチの時間的な変化を模式的に表した図である。図１２の（ｂ）において、横軸は時刻を示し、縦軸はピッチを示す。図示のように、ピッチテンプレートＰＴ５１は、ピッチの時間的な変化を４分音符単位で表している。

メロディピッチ生成部３３は、リズムテンプレートにより示される各ノートについて、ピッチテンプレートにおいて時間軸方向に対応するピッチを各ノートのピッチとして特定する。図１２の（ｃ）は、リズムテンプレートＲＴ２１に含まれる各ノートのピッチを、ピッチテンプレートＰＴ５１に従って特定した場合の各ノートを模式的に示す図である。図１２の（ｃ）において横軸は時刻を示し、縦軸はピッチを示す。図１２の（ｃ）に示す例では、ノートＮ１０１，ノートＮ１０４のピッチとしてピッチｐ１が特定され、ノートＮ１０２，ノートＮ１０３，ノートＮ１０５のピッチとしてピッチｐ２が特定される。

図１２の（ｃ）に示すように、メロディピッチ生成部３３は、リズムテンプレートによって示される各ノートのピッチとして、ピッチテンプレートにおいて各ノートに対応する時間軸方向における時刻におけるピッチを特定する。このとき、リズムテンプレートによって示されるノートに対応するピッチが複数の場合があり得る。具体的には、例えば、リズムテンプレートによって示されるノートが２分音符であり、この２分音符のノートに対応するピッチテンプレートの２つの４分音符のノートのピッチがそれぞれ異なる場合等である。このような場合には、メロディピッチ生成部３３は、時間軸方向において先に現れるピッチをそのノートのピッチとして特定してもよい。なお、メロディピッチ生成部３３による各ノートのピッチの特定方法は、上述した態様に限定されるものではなく、他の態様であってもよい。例えば、メロディピッチ生成部３３は、リズムテンプレートにより示されるノートと、ピッチテンプレートにより示されるノートとを、１対１で対応付けることによって、発音タイミングとピッチとが特定されたノートの列を生成するようにしてもよい。要は、メロディピッチ生成部３３は、リズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列であって、各ノートのピッチがピッチテンプレートにより示されるピッチの時間的な変化に従ったピッチであるノートの列を生成するものであればどのようなものであってもよい。

図１３は、リズムテンプレートＲＴ２１とピッチテンプレートＰＴ５１により生成されたメロディデータを示す図であり、図１２の（ｃ）に模式的に示したノートの列を楽譜として図示したものである。すなわち、図１３は、メロディリズム生成部３２で生成された「裏拍」を含むリズムデータに対し、「Ａ＃３からＤ＃４の音程跳躍」を含んだピッチパターンが付加されたメロディデータが生成されている。

図１４及び図１５は、図１１に示すリズムテンプレートＲＴ１１とピッチテンプレートＰＴ６１とを用いてメロディデータを生成する場合の処理の内容を説明するための図である。図１４の（ａ）は、「表拍」を含むリズムテンプレートＲＴ１１が選択され、メロディリズム生成部３２によりリズムデータが生成される場合を例示している。

図１４の（ｂ）は、ピッチテンプレートＰＴ６１により表されるピッチの時間的な変化を模式的に表した図であり、図１４の（ｃ）は、リズムテンプレートＲＴ１１に含まれる各ノートのピッチを、ピッチテンプレートＰＴ６１に従って特定した場合の各ノートを模式的に示す図である。図１４の（ｂ），（ｃ）において、横軸は時刻を示し、縦軸はピッチを示す。メロディピッチ生成部３３がピッチテンプレートＰＴ６１を用いてメロディデータを生成する処理は、図１２及び図１３について説明した処理と同様である。図１４の（ｃ）に示す例では、ノートＮ２０１，ノートＮ２０４のピッチとしてピッチｐ１が特定され、ノートＮ２０２，ノートＮ２０３，ノートＮ２０５のピッチとしてピッチｐ２が特定される。

図１５は、リズムテンプレートＲＴ１１とピッチテンプレートＰＴ６１により生成されたメロディデータを示す図であり、図１４の（ｃ）に模式的に示したノートの列を楽譜として図示したものである。図１５に示す例では、メロディリズム生成部３２で生成された「表拍」を含むリズムデータに対し、「こぶし」を挿入すべき装飾音符（ノートＮ２０３）を含んだピッチパターンが付加されている。以上のようにしてメロディデータが生成される。

ところで、テンプレート読出部３１によって複数のリズムテンプレートが読み出された場合には、メロディリズム生成部３２は、例えば、複数のリズムテンプレートを順番に用いてリズムデータを生成してもよい。具体的には、例えば、テンプレート読出部３１によって３つのリズムテンプレートＲＴ１１，ＲＴ１２，ＲＴ１３が読み出された場合には、メロディリズム生成部３２は、３つのリズムテンプレートＲＴ１１，ＲＴ１２，ＲＴ１３を繋げたものをリズムデータとして生成してもよい。ピッチテンプレートについても同様であり、テンプレート読出部３１によって複数のピッチテンプレートが読み出された場合には、メロディピッチ生成部３３は、複数のピッチテンプレートを順に用いてメロディデータを生成してもよい。また、読み出されたリズムテンプレートの数とピッチテンプレートの数とが異なる場合には、メロディリズム生成部３２又はメロディピッチ生成部３３は、少ない方のテンプレートを複数繰り返して用いることによってリズムテンプレートの時間長とピッチテンプレートの時間長をそろえてもよい。

伴奏読出部３４は、テンプレート読出部３１によって読み出されたテンプレートに対応する伴奏データを、伴奏データ記憶領域２３から読み出す。このとき、テンプレート読出部３１によって読み出されたテンプレートに対応する伴奏データが複数存在する場合は、伴奏読出部３４は、例えば、予め定められたランダム関数に従っていずれかの伴奏データを選択して読み出してもよく、また、例えば、伴奏データが読み出された回数を履歴として記憶部２０に記憶しておき、読み出された回数が少ない伴奏データを選択して読み出してもよい。伴奏データの選択の態様は設計等に応じて適宜変更可能である。メロディピッチ生成部３３により生成されたメロディデータと、伴奏読出部３４により読み出された伴奏データとは、加算器３５により合成され、シーケンサ６０に出力される。シーケンサ６０は、歌唱指導作曲エンジン３０から供給される歌唱指導曲データを再生し、スピーカ８１から歌唱指導曲を放音させる。

図１６は、本実施形態に係る歌唱指導機能を備えたカラオケ装置１のハードウェア構成の一例を示すブロック図である。カラオケ装置１は本発明に係る楽曲練習支援装置の一例である。カラオケ装置１は、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、表示部５、操作部６、音声処理部７、マイク８０、スピーカ８１、及び記憶部２０を有し、これら各部がバス９を介して接続されている。ＣＰＵ２が、ＲＯＭ３や記憶部２０に記憶されているコンピュータプログラムを読み出しＲＡＭ４にロードして実行することにより、図１に示す歌唱指導エンジン１０、歌唱指導作曲エンジン３０、及びシーケンサ６０の各部が実現される。

操作部６は、各種の操作子を備え、歌唱者による操作内容を表す操作信号をＣＰＵ２に出力する。表示部５は、例えば液晶パネルを備え、ＣＰＵ２による制御の下、各カラオケ楽曲に応じた歌詞テロップや背景映像等の各種画像を表示する。マイク８０は、収音した音声を表すアナログの音声信号を音声処理部７に出力する。音声処理部７は、Ａ／Ｄ（Analog / Digital）コンバータを有し、マイク８０が出力したアナログの音声信号をデジタルの音声データに変換して出力し、ＣＰＵ２はこれを取得する。また、音声処理部７は、Ｄ／Ａ（Digital / Analog）コンバータを有し、ＣＰＵ２から受け取ったデジタルの音声データをアナログの音声信号に変換してスピーカ８１に出力する。スピーカ８１は、音声処理部７から受け取ったアナログの音声信号に基づく音を放音する。なお、図１６においては音声処理部７を図示しているが、図１においては図面が煩雑になるのを防ぐため、音声処理部７の図示を省略している。

なお、この実施形態では、マイク８０とスピーカ８１とがカラオケ装置１に含まれている場合について説明するが、音声処理部７に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイク８０からスピーカ８１へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部７にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。操作部６や表示部５についても同様であり、外部出力端子を設け、外部もモニタを接続する構成としてもよい。

歌詞データ記憶領域２４には、各楽曲の歌詞を示す歌詞データ及び歌詞の背景に表示される背景映像を表す背景映像データが記憶されている。歌詞データによって示される歌詞は、カラオケ歌唱の際に、楽曲の進行に伴って歌詞テロップとして表示部５に表示される。また、背景映像データによって表される背景映像は、カラオケ歌唱の際に楽曲の進行に伴って歌詞テロップの背景として表示部５に表示される。

＜動作＞
図１７Ａ，図１７Ｂは、本実施形態の処理の流れを示すフロー図である。操作部６を介して歌唱者により楽曲がリクエストされると（ステップＳ１０１）、ＣＰＵ２は、記憶部２０からリクエストされた楽曲の検索を行う。具体的には、ＣＰＵ２は、楽曲情報データ記憶領域２１及び歌詞データ記憶領域２４の各々から、選択された楽曲の曲番号または曲名をキーにして、その楽曲に関するデータを検索し、検索結果のデータをＲＡＭに読み込む。

次いで、ＣＰＵ２は、ＲＡＭに記憶された伴奏データ、映像データ及びＧＭデータに基づいて、カラオケ楽曲の再生を行う（ステップＳ１０２）。具体的には、ＣＰＵ２は、伴奏データ及びＧＭデータに基づく音声をスピーカ８１から放音させるとともに、映像データに基づく映像を表示部５に表示させる。

歌唱者によって歌唱が開始されると（ステップＳ１０３）、ＣＰＵ２は、マイク８０によって収音された歌唱者の歌唱音声が音声処理部７によってデジタルのデータに変換されたものである歌唱音声データを、記憶部２０の所定の領域に記憶させる。ＣＰＵ２は、歌唱音声データを分析し（ステップＳ１０４）、歌唱音声データのピッチを特定する。

ＣＰＵ２は、歌唱音声データの分析結果に従って、音程・音程跳躍評価処理（ステップＳ１０５）、タイミング評価処理（ステップＳ１０６）、表現力評価処理（ステップＳ１０７）を行う。すなわち、ＣＰＵ２は、上述した音程・音程跳躍評価エンジン１３、リズム評価エンジン１６、表現力評価エンジン１８の処理を行う。

歌唱者が歌唱を終え（ステップＳ１０８）、カラオケ楽曲の再生が終了する（ステップＳ１０９）と、ＣＰＵ２は、歌唱音声データから特定されたピッチと、ＧＭデータによって示されるピッチとの差分に従って歌唱者の歌唱音声を評価し、評価結果を表示部５に表示する（ステップＳ１１０）。

次いで、ＣＰＵ２は、上述の歌唱指導選定エンジン１４の処理を行う。すなわち、歌唱指導選定エンジン１４は、サーバ５０から指導履歴データを取得し（ステップＳ１１１）、取得した指導履歴データに従って歌唱指導の選定係数（重み付け係数）を動的に変更（調整）する（ステップＳ１１２）。具体的には、歌唱指導選定エンジン１４は、ネットワーク４０上のサーバ５０から、歌唱者のこれまでの指導履歴を表す指導履歴データを取得し、取得結果に応じて重み付け係数を変更し指導内容が偏らないように動的に調整する。より具体的には、例えば、歌唱指導選定エンジン１４は、指導履歴データを参照して、これまでに歌唱指導曲データが生成された回数を評価項目毎に集計し、集計結果が大きい（すなわち歌唱指導曲データが生成された回数が多い）ほど重み付け係数の値が小さくなるようにしてもよい。このようにすることにより、これまでにあまり練習を行っていない評価項目の優先度を高くすることができる。なお、重み付け係数の変更の態様は上述したものに限らない。例えば、歌唱指導選定エンジン１４は、予め定められたランダム関数に従って評価項目毎の重み付け係数の値を動的に変更してもよい。また、重み付け係数の値を動的に変更する構成とせず、評価項目毎の重み付け係数を予め設定しておくようにしてもよい。

次いで、歌唱指導選定エンジン１４は、音程・音程跳躍評価エンジン１３、リズム評価エンジン１６、及び表現力評価エンジン１８から評価結果を取得し（ステップＳ１１３）、歌唱指導内容（各評価項目）の優先順位を算出する（ステップＳ１１４）。歌唱指導選定エンジン１４は、算出した優先順位に従って歌唱指導内容（歌唱指導曲データを生成するための評価項目）を選定する（ステップＳ１１５）。

次いで、ＣＰＵ２は、上述のテンプレート読出部３１の処理を行う。すなわち、テンプレート読出部３１は、再生された楽曲のジャンル、テンポ情報を取得する（ステップＳ１１６）とともに、歌唱指導選定エンジン１４から歌唱指導選定結果（選定された評価項目）を示す情報を取得する（ステップＳ１１７）。テンプレート読出部３１は、ステップＳ１１６、及びステップＳ１１７の取得結果に従って、リズムテンプレート及びピッチテンプレートを選定する（ステップＳ１１９）。

リズムテンプレート及びピッチテンプレートを選定すると、ＣＰＵ２は、メロディリズム生成部３２、メロディピッチ生成部３３、及び伴奏読出部３４の処理を行う。すなわち、メロディピッチ生成部３３は、テンプレート読出部３１により読み出されたリズムテンプレートを取得する（ステップＳ１２０）。また、メロディピッチ生成部３３は、テンプレート読出部３１により読み出されたピッチテンプレートを取得する（ステップＳ１２１）。また、伴奏読出部３４は、テンプレート読出部３１により読み出されたテンプレートに対応する伴奏データを取得する（ステップＳ１２２）。

メロディリズム生成部３２は、取得したリズムテンプレートに従ってリズムデータを生成する（ステップＳ１２３）。メロディピッチ生成部３３は、メロディリズム生成部３２により生成されたリズムデータに対して、取得したピッチテンプレートに従ったピッチを付加してメロディデータを生成する（ステップＳ１２４）。歌唱指導作曲エンジン３０の加算器３５は、メロディピッチ生成部３３により生成されたメロディデータと伴奏読出部３４により読み出された伴奏データとを合成し（ステップＳ１２５）、歌唱指導曲データを生成する（ステップＳ１２６）。

歌唱指導曲データの生成処理を終えると、ＣＰＵ２は、歌唱指導を行うか否かを歌唱者に選択させる処理を行う（ステップＳ１２７）。この処理は、例えば、ＣＰＵ２が、歌唱指導を行うか否かを選択するための画面を表示部５に表示させてもよい。歌唱者は、操作部６を操作して歌唱指導を行うか否かを選択する。歌唱者によって歌唱指導を行わないと選択された場合には（ステップＳ１２７；ＮＯ）、ＣＰＵ２は、そのまま処理を終了する。一方、ステップＳ１２７において、歌唱指導を行うと選択された場合には（ステップＳ１２７；ＹＥＳ）、ＣＰＵ２は、歌唱指導を開始する（ステップＳ１２８）。すなわち、シーケンサ６０が、歌唱指導作曲エンジン３０によって生成された歌唱指導曲データを再生する。

歌唱者は、再生される歌唱指導曲に合わせて、例えば「ラ・ラ・ラ…」といった発音で歌唱の練習を行う。歌唱指導曲の再生を終えると、ＣＰＵ２は、歌唱音声データを分析した後（ステップＳ１２９）、歌唱指導を終了し（ステップＳ１３０）、歌唱評価結果を表示部５に表示する（ステップＳ１３１）。

以上説明したように本実施形態では、ＣＰＵ２は、歌唱者の歌唱音声のピッチとＧＭデータのピッチとを比較し、比較結果に応じて歌唱者の歌唱音声を複数の評価項目について評価する。ＣＰＵ２は、評価結果を音程や音程跳躍等の評価項目毎に分類集計し、評価値が予め定められた条件を満たす評価項目を歌唱者が不得手な項目と判定する。ＣＰＵ２は、不得手と判定した評価項目を集中的に練習可能な歌唱指導曲を動的に生成し、歌唱者に提供する。これにより、決まりきったワンパターンな歌唱練習曲ではなく、様々なメロディやリズムのバリエーションにとんだ歌唱指導曲を歌唱者に提供することができる。また、ＣＰＵ２は、ジャンル毎に設けられたテンプレートを用いて歌唱指導曲データを生成するから、ジャンルによる独特なリズムやテンポの練習、同じ練習で歌唱者を飽きさせない指導を行うことができる。

＜変形例＞
以上の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。また、上記実施形態と以下の変形例を組み合わせて実施しても良い。

＜変形例１＞
上述の実施形態では、歌唱ピッチ特定エンジン１１が、マイク８０によって収音された音声のピッチを特定したが、本発明に係る特徴特定部が特定する音声の特徴は音声のピッチに限らない。音声の特徴は、例えば、音声の音量や、ＦＦＴ（Fast Fourier Transform）などを用いて得られる周波数分析結果、特定の倍音のパワーの変動、特定の倍音と基音のパワーの比率、倍音成分のパワーの合計と基音パワーの比率、ＳＮ比率、ラウドネス（音量を聴覚の周波数特性に合わせて補正した値。「Ａ特性音圧レベル」、「サウンドレベル」とも呼ばれる。）等であってもよく、音声の特徴を表すものであればどのようなものであってもよい。特定される特徴を用いて音声が評価される構成であればよい。音声のピッチ以外の特徴を用いて評価を行うことにより、評価処理の精度を上げることができる場合がある。

＜変形例２＞
上述の実施形態では、カラオケ装置１のＣＰＵ２は、「音程」、「音程跳躍」、「表拍」、「裏拍」、「３連符」、「１６分音符」、「ビブラート」、「しゃくり」、「こぶし」、「フォール」といった評価項目について評価を行ったが、評価項目は上述したものに限らない。例えば、トレモロ、ため、ファルセットといった評価項目について評価を行ってもよい。また、本発明に係る「評価項目」には、「音階Ｄ＃４」や、「音階Ｄ４」、といったひとつの音階や、「音階Ａ＃３から音階Ｄ＃４」といった特定の音階から特定の音階への音階跳躍も含まれる。「音階Ｄ＃４」と「音階Ｄ４」とをそれぞれ異なる評価項目として扱ってもよく、また、「音階」という評価項目にひとくくりとして扱う構成としてもよい。

＜変形例３＞
上述の実施形態では、歌唱指導選定エンジン１４は、評価項目毎に重み付け係数を予め設定しておき、評価項目毎の評価値に重み付け係数を乗算し、乗算結果に従って２つの評価項目を特定したが、評価項目の特定の態様はこれに限らない。例えば、歌唱指導選定エンジン１４が、評価項目毎の評価値に対して評価項目毎の重み付け係数を乗算し、乗算結果が最も小さい評価項目を特定してもよい。また、他の例として、例えば、歌唱指導選定エンジン１４は、音程の評価値が低い音階を評価値の低い順に下から３つ特定する、といったように、評価項目毎の評価値が予め定められた閾値以下である評価項目を特定してもよい。要は、歌唱指導選定エンジン１４は、評価値が予め定められた条件を満たす評価項目を１又は複数選択するものであればどのようなものであってもよい。この態様においても、上述の実施形態と同様に、歌唱者の不得意な評価項目が選定されるから、歌唱者は自身が不得意な項目について歌唱の練習を行うことができる。

＜変形例４＞
上述の実施形態では、テンプレート読出部３１は、歌唱指導選定エンジン１４により特定された評価項目に対応するリズムテンプレートとピッチテンプレートとを作曲用テンプレートデータ記憶領域２２から読み出したが、これに限らず、リズムテンプレートとピッチテンプレートとのいずれか一方を読み出すようにしてもよい。例えば、歌唱指導選定エンジン１４により特定された評価項目に対応するテンプレートがリズムテンプレートのみである場合には、テンプレート読出部３１はリズムテンプレートのみを読み出すようにしてもよい。この場合は、歌唱指導作曲エンジン３０は、テンプレート読出部３１によって読み出されたリズムテンプレートと、予め定められたピッチテンプレートとを用いて歌唱指導曲データを生成してもよく、リズムテンプレートのみが読み出される場合における各ノートのピッチの決定方法は任意である。要は、歌唱指導作曲エンジン３０は、テンプレート読出部３１によって読み出されたリズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列で構成される楽曲を表す歌唱指導曲データを生成するものであればどのようなものであってもよい。また、例えばドラムの練習曲等を生成する場合には、歌唱指導作曲エンジン３０が、楽曲を構成する各ノートのピッチを特定せずに、各ノートの発音タイミングのみが特定されたメロディデータを生成してもよい。この態様によれば、ピッチテンプレートを用いることなくメロディデータを生成することができる。

また、他の例として、例えば、歌唱指導選定エンジン１４により特定された評価項目に対応するテンプレートがピッチテンプレートのみである場合には、テンプレート読出部３１はピッチテンプレートのみを読み出すようにしてもよい。この場合は、歌唱指導作曲エンジン３０は、テンプレート読出部３１によって読み出されたピッチテンプレートと、予め定められたリズムテンプレートとを用いて歌唱指導曲データを生成してもよく、ピッチテンプレートのみが読み出される場合における各ノートの発音タイミングの決定方法は任意である。要は、歌唱指導作曲エンジン３０は、テンプレート読出部３１によって読み出されたピッチテンプレートにより示されるピッチの時間的な変化に従ったノートの列で構成される楽曲を表すメロディデータを生成するものであればどのようなものであってもよい。また、上述の実施形態では、リズムテンプレートとピッチテンプレートとを作曲用テンプレートデータ記憶領域２２に記憶させておく構成としたが、リズムテンプレートを記憶する構成とせず、ピッチテンプレートのみを記憶させておく構成としてもよい。また、ピッチテンプレートを記憶する構成とせず、リズムテンプレートのみを作曲用テンプレートデータ記憶領域２２に記憶させておく構成としてもよい。

また、他の例として、ピッチテンプレートとリズムテンプレートとをそれぞれ個別に用いる構成とせず、発音タイミングとピッチとを示すノート列を表すテンプレート（すなわちリズムテンプレートとピッチテンプレートとが一体となったテンプレート）を用いる構成としてもよい。この場合も、上述の実施形態と同様に、作曲用テンプレートデータ記憶領域２２に、テンプレートを評価項目毎に記憶しておく構成とし、テンプレート読出部３１が、歌唱指導選定エンジン１４により特定された評価項目に対応するテンプレートを読み出すようにすればよい。本発明に係るピッチテンプレートは、少なくともピッチの時間的な変化を表すデータであればよく、本発明に係るピッチテンプレートには、発音タイミングとピッチとの両方を示すノート列のデータも含まれる。

また、上述の実施形態では、４分音符に対応する単位時間長毎のピッチを表すピッチテンプレートを用いたが、ピッチテンプレートはこれに限らない。例えば、８部音符を単位時間長としてピッチの時間的な変化を表すピッチテンプレートを用いてもよく、ピッチの時間的な変化が表されたものであればどのもようなものであってもよい。

＜変形例５＞
上述の実施形態では、歌唱指導作曲エンジン３０は、メロディピッチ生成部３３により生成されたメロディデータと伴奏データとを合成した歌唱指導曲データを生成し、シーケンサ６０に出力したが、メロディデータと伴奏データとを合成する構成とせず、メロディピッチ生成部３３により生成されたメロディデータのみを出力する構成としてもよい。この態様においても、上述の実施形態と同様に、歌唱者は、再生されるメロディデータにあわせて歌唱の練習を行うことができる。

また、上述の実施形態では、伴奏データをテンプレートに対応付けて記憶する構成としたが、これに限らない。例えば、伴奏データをジャンル毎に記憶する構成としてもよい。この場合は、伴奏読出部３４は、歌唱ピッチ評価エンジン１２で参照されたＧＭデータのジャンル種別に対応する伴奏データを読み出して出力すればよい。この態様によれば、楽曲のジャンルにあった伴奏データを用いて歌唱指導曲データを生成することができる。

＜変形例６＞
上述の実施形態において、リズムテンプレートとピッチテンプレートとを対応付けて記憶しておく構成とし、テンプレート読出部３１が、互いに対応するリズムテンプレートとピッチテンプレートとを読み出す構成としてもよい。この態様によれば、互いに対応するリズムテンプレートとピッチテンプレートを用いるため、より自然が楽曲を生成することができる。
上述の実施形態において、難易度毎にテンプレートを用意してもよい。この場合、作曲用テンプレートデータ記憶領域２２には、リズムテンプレート及びピッチテンプレートが、評価項目毎、かつ難易度毎に記憶される。この場合、テンプレート読出部３１は、歌唱指導選定エンジン１４により特定された評価項目毎の評価値に応じて難易度を選定し、選定した難易度に対応するリズムテンプレート及びピッチテンプレートを作曲用テンプレートデータ記憶領域２２から読み出す。この態様によれば、歌唱者の歌唱の巧拙に応じたテンプレートを用いて歌唱指導曲データを生成することができる。

また、上述の実施形態において、歌唱者のこれまでの指導履歴により歌唱可能な声域を分析し、不得手な音程を徐々に無くすことで声域を広げる歌唱指導をしてもよい。具体的には、例えば、用いられる音域がそれぞれ異なるピッチテンプレートを作曲用テンプレートデータ記憶領域２２に記憶しておき、テンプレート読出部３１が、指導履歴データ記憶領域５１に記憶された指導履歴データに従って、練習する毎に音域が徐々に広がるようにピッチテンプレートを読み出す構成としてもよい。この態様によれば、歌唱者の不得手な音程を徐々に無くすことで声域を広げる歌唱指導を行うことができる。

＜変形例７＞
上述の実施形態では、ＣＰＵ２は、生成した歌唱指導曲データを再生したが、これに限らず、歌唱指導曲データを、外部接続された記憶装置に出力するようにしてもよく、また、例えば、通信ネットワークを介して接続されたサーバ装置へ送信することによって歌唱指導曲データを出力するようにしてもよい。この態様によれば、カラオケ装置１によって生成された歌唱指導曲データを、他の装置で再生することができる。

また、上述の実施形態では、歌唱指導作曲エンジン３０がその都度歌唱指導曲データをその都度生成したが、歌唱指導曲データを記憶する歌唱指導データ記憶領域を記憶部２０に設ける構成とし、歌唱指導選定エンジン１４により選定された評価項目に対応する歌唱指導曲データを上記記憶領域から読み出して再生する構成としてもよい。この態様によれば、歌唱指導曲データをその都度生成する必要がなくなり、歌唱指導作曲エンジン３０の処理負荷を下げることができる。

＜変形例８＞
上述の実施形態において、リズムテンプレートやピッチテンプレートに加えて、歌詞を表す歌詞テンプレートを作曲用テンプレートデータ記憶領域２２に記憶しておく構成とし、テンプレート読出部３１が、リズムテンプレートやピッチテンプレートを読み出す際に、歌詞テンプレートもあわせて読み出し、読み出した歌詞テンプレートの表す歌詞を表示部５等に表示する構成としてもよい。この場合、歌詞テンプレートはリズムテンプレートに対応付けて記憶する構成とし、テンプレート読出部３１によって読み出されたリズムテンプレートに対応する歌詞テンプレートを用いてもよい。この態様によれば、歌詞のある歌唱指導曲を歌唱者に提示することができる。

また、上述の実施形態において、合成歌唱音を生成する歌唱合成エンジン７０（図１に鎖線で図示）を設ける構成とし、歌唱指導時に模範となる歌唱合成音を再生してもよい。すなわち、歌唱合成エンジン７０が、模範となる歌唱音声と歌唱指導曲データの表す音とを合成し、合成された音をシーケンサ６０に出力することによって再生してもよい。この場合、歌唱合成エンジン７０は、例えば「ラ・ラ・ラ…」といった、予め定められた音素列を用いて歌唱合成音を生成してもよく、また、例えば、上述した歌詞テンプレートを用いて、読み出された歌詞テンプレートの表す歌詞に対応する歌唱合成音を生成してもよい。この態様によれば、歌唱指導時に模範となる歌唱合成音を歌唱者に提示することができる。

＜変形例９＞
上述の実施形態において、ＣＰＵ２が、歌唱指導を行った後に、再度歌唱評価を行ってもよい。より具体的には、図１７のステップＳ１３１の処理を終えた後に、ステップＳ１１０の処理に戻り、再度、歌唱評価処理（ステップＳ１１０）や、歌唱指導曲生成処理（ステップＳ１１１乃至ステップＳ１２６）を行ってもよい。この態様によれば、歌唱指導後の歌唱音声について再度歌唱評価を行うことができる。

また、上述の実施形態では、カラオケ装置１のＣＰＵ２が、歌唱指導曲データを生成した後に、歌唱指導を行うか否かを歌唱者に選択される構成としたが、処理の順序はこれに限定されるものではなく、歌唱指導を行うか否かを歌唱者に選択させ、歌唱者によって歌唱指導を行うと選択された場合にのみ、ＣＰＵ２が、歌唱指導曲データを生成する構成としてもよい。この態様によれば、歌唱者が歌唱指導を望まない場合には歌唱指導曲データを生成しないため、ＣＰＵ２の処理負荷を軽減することができる。

また、上述の実施形態では、ＣＰＵ２が、歌唱が行われている最中にリアルタイムで採点処理を行ったが、これに限らず、ＣＰＵ２が、歌唱音声データを予め定められた記憶領域に記憶しておき、歌唱が終了した後で採点を行ってもよい。この態様によれば、カラオケ伴奏の再生中には採点処理を行わないため、カラオケ伴奏の再生中におけるＣＰＵ２の処理負荷が軽減される。

＜変形例１０＞
また、上述の実施形態では、ＣＰＵ２は、歌唱者が歌唱練習を行うための歌唱指導曲データを生成したが、楽器の演奏を行う演奏者が演奏練習を行うための演奏指導曲データを生成してもよい。本実施形態にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。

＜変形例１１＞
上述の実施形態において、通信ネットワークで接続された２以上の装置が、上記実施形態のカラオケ装置１に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、図１に示した歌唱指導エンジン１０と、記憶部２０と、歌唱指導作曲エンジン３０等を備える第１のコンピュータ装置と、シーケンサ６０やスピーカ等を備える第２のコンピュータ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、第１のコンピュータ装置が、歌唱指導曲データを生成して第２のコンピュータ装置に送信し、第２のコンピュータ装置が、受信した歌唱指導曲データを再生してスピーカから放音する構成としてもよい。

＜変形例１２＞
上述の実施形態では、ＣＰＵ２がＲＯＭ３又は記憶部２０に記憶されたコンピュータプログラムを読み出して実行することによって図１に示す歌唱指導エンジン１０、歌唱指導作曲エンジン３０、及びシーケンサ６０が実現されたが、ＣＰＵに限らず、ＭＰＵ（Micro-Processing Unit）や、ＤＳＰ（Digital Signal Processor）等の他の制御部によって実現される構成であってもよい。また、歌唱指導エンジン１０、歌唱指導作曲エンジン３０、及びシーケンサ６０は、ＣＰＵ等の制御部によりソフトウェアとして実現されるに限らず、カラオケ装置１は、図１に示される機能要素の各々に対応する専用のハードウェア（回路）を有していてもよい。

＜変形例１３＞
本発明は、楽曲練習支援装置以外にも、これらを実現するための方法や、コンピュータに楽曲練習支援機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。この態様によれば、家庭のＰＣ（Personal Computer）や携帯端末等（スマートフォンを含む）で、上述した実施形態に係るサービスを提供できる。

＜変形例１４＞
上述の実施形態では、歌唱指導作曲エンジン３０が、歌唱指導選定エンジン１４により選定された評価項目に応じて歌唱指導曲データを生成したが、歌唱指導曲データを生成するに限らず、予め記憶された歌唱指導曲データを読み出す構成であってもよい。この態様について図１８を参照しつつ説明する。図１８は、この態様におけるシステム構成の一例を示すブロック図であり、上述した実施形態において図１に示したブロック図に対応するものである。図１８に示すシステムが図１に示したシステムと異なる点は、作曲用テンプレートデータ記憶領域２２と伴奏データ記憶領域２３に代えて、歌唱指導曲データ記憶領域２５を有している点と、歌唱指導作曲エンジン３０に代えて歌唱指導選曲エンジン３０Ａを有している点であり、他の構成要素については上述した実施形態において図１に示したそれと同様である。そこで、以下の説明においては、上述した実施形態と同様の構成要素については同じ符号を付して適宜その説明を省略する。

歌唱指導曲データ記憶領域２５には、歌唱指導曲データが評価項目に対応付けて予め記憶されている。歌唱指導曲データは、上述の実施形態における歌唱指導曲データと同様である。この態様においては、歌唱指導選定エンジン１４は、優先順位が最も高い評価項目を選定し、歌唱指導選曲エンジン３０Ａは、歌唱指導選定エンジン１４によって選定された評価項目に対応付けて記憶された歌唱指導曲データを、歌唱指導曲データ記憶領域２５から読み出し、シーケンサ６０に供給して再生させる。なお、この態様では、歌唱指導曲データを評価項目に対応付けて記憶する構成としたが、歌唱指導曲データに代えて、ノートの列で構成されるメロディデータを評価項目に対応付けて記憶しておく構成とし、歌唱指導選曲エンジン３０Ａが、歌唱指導選定エンジン１４によって選定された評価項目に対応するメロディデータを読み出して再生するようにしてもよい。この態様によれば、歌唱指導曲データやメロディデータを生成する必要がない。

＜変形例１５＞
上述の実施形態では、歌唱指導作曲エンジン３０が、歌唱指導選定エンジン１４により選定された評価項目に対応するテンプレートを用いて歌唱指導曲データを生成したが、歌唱指導曲データの生成態様はこれに限らない。例えば、歌唱指導作曲エンジン３０が、楽譜に対して評価項目毎にそれぞれ異なる学習処理を行って学習した音符の確率分布よりメロディデータを生成し、生成したメロディデータを分析し対応した伴奏音とあわせることで歌唱指導曲データを生成してもよい。この場合、歌唱指導作曲エンジン３０が、ランダム関数に従って第一の音符をランダムに生成し、第二以降の音符を、１つあるいは複数個前に生成した音符が生成された上で評価項目毎に予め定めた確率分布に従って生成する構成としてもよい。ここで、歌唱指導作曲エンジン３０は、生成した音符列に対し、同様に学習した確率分布に従い音高を付加してもよい。音符の確率分布を学習する際に音楽ジャンルを限定する、あるいは、確率分布に従い音符を生成する際に音楽的規則を加えることで特定ジャンル風の歌唱指導曲データを生成するようにしてもよい。要は、歌唱指導作曲エンジン３０は、特定された評価項目に応じた生成態様で楽曲データを生成するものであればどのようなものであってもよい。

１…カラオケ装置、１０…歌唱指導エンジン、１１…歌唱ピッチ特定エンジン、１２…歌唱ピッチ評価エンジン、１３…音程・音程跳躍評価エンジン、１４…歌唱指導選定エンジン、１５…タイミング評価エンジン、１６…リズム評価エンジン、１７…歌唱技法評価エンジン、１８…表現力評価エンジン、２０…記憶部、２１…楽曲情報データ記憶領域、２２…作曲用テンプレートデータ記憶領域、２３…伴奏データ記憶領域、３０…歌唱指導作曲エンジン、４０…ネットワーク、５０…サーバ、５１…指導履歴データ記憶領域、６０…シーケンサ、７０…歌唱合成エンジン、８０…マイク、８１…スピーカ、１００…歌唱練習支援システム。

Claims (6)

1. 音を表す音データを取得する音データ取得部と、
   前記音データ取得部が取得した音データの特徴を特定する特徴特定部と、
   前記特徴特定部により特定された特徴に基づき、前記音データを予め定められた評価項目毎に評価する評価部と、
   前記評価部による評価結果が予め定められた条件を満たす前記評価項目を１又は複数特定する評価項目特定部と、
   前記評価項目特定部により特定された評価項目に応じた生成態様で、前記音データの歌唱又は演奏の練習を支援するための楽曲データを生成する生成部と
   を具備し、
   前記評価項目特定部は、前記生成部における楽曲データの生成履歴を示す指導履歴データを取得し、取得した指導履歴データに従って前記評価項目毎の重み付け係数を決定し、決定した重み付け係数を用いて前記特定を行う
   ことを特徴とする楽曲練習支援装置。
2. 前記生成部は、ピッチの時間的な変化を表すピッチテンプレートとタイミング列を表すリズムテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートを前記記憶部から読み出し、読み出したリズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列であって、各ノートのピッチが前記読み出したピッチテンプレートにより示されるピッチの時間的な変化に従ったピッチであるノートの列で構成される楽曲を表す楽曲データを生成する
   ことを特徴とする請求項１に記載の楽曲練習支援装置。
3. 音を表す音データを取得する音データ取得部と、
   前記音データ取得部が取得した音データの特徴を特定する特徴特定部と、
   前記特徴特定部により特定された特徴に基づき、前記音データを予め定められた評価項目毎に評価する評価部と、
   前記評価部による評価結果が予め定められた条件を満たす前記評価項目を１又は複数特定する評価項目特定部と、
   前記評価項目特定部により特定された評価項目に応じた生成態様で、前記音データの歌唱又は演奏の練習を支援するための楽曲データを生成する生成部と
   を具備し、
   前記生成部は、ピッチの時間的な変化を表すピッチテンプレートとタイミング列を表すリズムテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートを前記記憶部から読み出し、読み出したリズムテンプレートにより示されるノートの発音タイミングの列に従ったノートの列であって、各ノートのピッチが前記読み出したピッチテンプレートにより示されるピッチの時間的な変化に従ったピッチであるノートの列で構成される楽曲を表す楽曲データを生成し、
   前記読み出しの際には、難易度の異なる複数の前記リズムテンプレート及びピッチテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するリズムテンプレート及びピッチテンプレートであって、前記評価部の評価結果に応じた難易度のリズムテンプレート及びピッチテンプレートを読み出す
   ことを特徴とする楽曲練習支援装置。
4. 音を表す音データを取得する音データ取得部と、
   前記音データ取得部が取得した音データの特徴を特定する特徴特定部と、
   前記特徴特定部により特定された特徴に基づき、前記音データを予め定められた評価項目毎に評価する評価部と、
   前記評価部による評価結果が予め定められた条件を満たす前記評価項目を１又は複数特定する評価項目特定部と、
   前記評価項目に対応付けて記憶部に記憶された複数の楽曲データのなかから、前記評価項目特定部により特定された評価項目に対応する楽曲データを選定する曲選定部と
   を具備し、
   前記評価項目特定部は、前記曲選定部における楽曲データの選定履歴を示す指導履歴データを取得し、取得した指導履歴データに従って前記評価項目毎の重み付け係数を決定し、決定した重み付け係数を用いて前記特定を行う
   ことを特徴とする楽曲練習支援装置。
5. 前記生成部は、当該生成部における楽曲データの生成履歴を示す指導履歴データを取得し、用いられる音域が異なる複数の前記ピッチテンプレートを前記評価項目毎に記憶する記憶部から、前記評価項目特定部により特定された評価項目に対応するピッチテンプレートであって前記取得された指導履歴データに応じた音域のピッチテンプレートを読み出す
   ことを特徴とする請求項２又は３に記載の楽曲練習支援装置。
6. 模範となる歌唱音声と前記楽曲データの表す音とを合成し、合成された音を再生する歌唱合成部
   を具備することを特徴とする請求項１乃至５のいずれか１項に記載の楽曲練習支援装置。

Images