JP5919928B2 - 演奏評価装置及びプログラム - Google Patents

Description

本発明は、ユーザの演奏におけるリズム感を評価する技術に関する。

従来、カラオケ装置において、ユーザのリズム感を評価するものが広く知られている。例えば、特許文献１には、ガイドメロディに対するユーザの歌唱のリズム感を評価する技術が開示されている。

特開２００４−１０２１４８号公報

特許文献１に記載の技術では、ガイドメロディを構成する音ごとにユーザの歌唱のリズム感を均等に評価していた。一方、近年のＪ−ＰＯＰと呼ばれる歌謡曲の中には、リズムにシンコペーションやアンティシペーション等が用いられるものが多く、歌唱において拍との関係がリズム感を左右する。また、この種の歌謡曲では、単位時間あたりの歌詞の文字数が多いことがあるため、表拍だけでなく裏拍までタイミングよく歌唱することが要求される。

本発明は、上述の背景に鑑みてなされたものであり、拍を考慮してユーザの演奏におけるリズム感を評価することを目的とする。

上述した課題を解決するため、本発明は、ユーザが楽曲を演奏する際に参照する模範音を構成する複数の参照構成音の各々に関し、当該参照構成音の音高と、当該参照構成音の発音開始時刻とを表す模範音データを取得する模範音データ取得手段と、前記模範音データ取得手段により取得された模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々を、前記参照構成音に基づき、所定の規則に従って定められた拍に関する複数の種別のいずれかに分類する分類手段と、ユーザの演奏により生成される音である演奏音を表す演奏音信号を取得する演奏音信号取得手段と、前記演奏音信号取得手段により取得された演奏音信号からユーザの演奏音の音高を特定する音高特定手段と、前記模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々に関し、所定の規則に従って当該参照構成音の演奏がなされた発音開始時刻を特定する発音開始時刻特定手段と、前記模範音データにより表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻と、当該参照構成音に関して前記発音開始時刻特定手段により特定されたユーザによる演奏の発音開始時刻との差が小さいほど高い評価を示す構成音評価データを生成する構成音評価データ生成手段と、拍に関する前記種別毎に、前記分類手段により当該種別に分類された１以上の参照構成音について前記構成音評価データ生成手段により生成された構成音評価データに基づき、前記種別毎の評価を示す拍種別毎評価データを生成する拍種別毎評価データ生成手段とを備える演奏評価装置を提供する。

好ましい態様において、本発明は、前記発音開始時刻特定手段は、前記模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻を基準として定められる期間内に、前記音高特定手段により特定されたユーザの演奏音の音高が、当該参照構成音の音高を基準として定められる音高の範囲内に入った時刻を、当該参照構成音の演奏がなされた発音開始時刻として特定することを特徴とする。

また別の好ましい態様において、本発明は、前記模範音データは、少なくとも１以上の前記参照構成音の各々に関し、当該参照構成音が発音されるタイミングを示すタイミングデータを含み、前記分類手段は、前記タイミングデータに基づき前記分類を行うことを特徴とする。

また別の好ましい態様において、本発明は、前記模範音データは、前記楽曲の演奏期間を複数に区分して得られる小節の各々の開始時刻を特定するデータと、前記複数の各々の小節に関する拍子を特定するデータとを含み、前記分類手段は、前記小節の各々の開始時刻を特定するデータと、前記複数の各々の小節に関する拍子を特定するデータとに基づき前記分類を行うことを特徴とする。

また別の好ましい態様において、本発明は、前記模範音データは、少なくとも１以上の前記参照構成音の各々に関し、当該参照構成音に関する評価点に乗じられるべき係数を含み、前記構成音評価データ生成手段は、前記参照構成音の発音開始時刻と前記ユーザによる演奏の発音開始時刻との差に基づき決定される評価点に、前記係数を乗じて得られる評価点を示す前記構成音評価データを生成することを特徴とする。
また、別の好ましい態様において、本発明は、前記構成音評価データ生成手段は、前記評価点が所定の個数以上連続して所定の閾値以上である場合に、その後の演奏の評価点に前記係数を乗じることを特徴とする。

また別の好ましい態様において、本発明は、前記拍種別毎評価データ生成手段により生成される拍種別毎評価データは、拍に関する種別毎の評価を数値で示すデータであり、前記拍種別毎評価データにより示される数値に対し種別毎に予め定められた比率の係数を乗じ、それらを加算して得られる数値を算出する算出手段を備えることを特徴とする。
また別の好ましい態様において、本発明は、前記拍種別毎評価データに基づくコメントをユーザに通知する通知手段を備えることを特徴とする。
また、本発明は、コンピュータを、ユーザが楽曲を演奏する際に参照する模範音を構成する複数の参照構成音の各々に関し、当該参照構成音の音高と、当該参照構成音の発音開始時刻とを表す模範音データを取得する模範音データ取得手段と、前記模範音データ取得手段により取得された模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々を、前記参照構成音に基づき、所定の規則に従って定められた拍に関する複数の種別のいずれかに分類する分類手段と、ユーザの演奏により生成される音である演奏音を表す演奏音信号を取得する演奏音信号取得手段と、前記演奏音信号取得手段により取得された演奏音信号からユーザの演奏音の音高を特定する音高特定手段と、前記模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々に関し、所定の規則に従って当該参照構成音の演奏がなされた発音開始時刻を特定する発音開始時刻特定手段と、前記模範音データにより表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻と、当該参照構成音に関して前記発音開始時刻特定手段により特定されたユーザによる演奏の発音開始時刻との差が小さいほど高い評価を示す構成音評価データを生成する構成音評価データ生成手段と、拍に関する前記種別毎に、前記分類手段により当該種別に分類された１以上の参照構成音について前記構成音評価データ生成手段により生成された構成音評価データに基づき、前記種別毎の評価を示す拍種別毎評価データを生成する拍種別毎評価データ生成手段として機能させるためのプログラムを提供する。

本発明によれば、拍を考慮してユーザの演奏におけるリズム感を評価することができる。

歌唱評価システムの構成を示す図 カラオケ装置のハードウェア構成を表すブロック図 拍に関する種別の分類を表す模式図 ガイドメロディデータの一例を表す図 評価テーブルの一例を表す図 カラオケ装置の機能的構成を表すブロック図 カラオケ装置の処理フロー図 ユーザによる歌唱の検出を説明するための模式図 評価基準テーブルの一例を表す図 評価が行われた後の評価テーブルの一例を表す図 度数分布表の一例を表す図 評価コメントテーブルの一例を表す図 変形例１に係るガイドメロディデータの一例を表す図 変形例２に係るガイドメロディデータの一例を表す図 変形例３に係るガイドメロディデータの一例を表す図 変形例４に係る評価コメントテーブルの一例を表す図

＜実施形態＞
＜構成＞
図１は、本発明の実施形態に係る歌唱評価システム１００の構成を示す図である。歌唱評価システム１００は、カラオケ装置１０及びサーバ装置２０からなる。サーバ装置２０は、楽曲の伴奏音を表す楽音データと、ユーザがこの楽曲を歌唱する際に参照するガイドメロディに関する情報（ガイドメロディデータという）とを記憶するとともに、これらをカラオケ装置１０に供給するサーバ装置である。ユーザが、カラオケ装置１０において歌唱したい楽曲を指定すると、カラオケ装置１０は、指定された楽曲の伴奏音を表す楽音データとガイドメロディデータとをサーバ装置２０から取得する。楽音データに基づく伴奏音に合わせてユーザが歌唱を行うと、カラオケ装置１０は、ユーザの歌唱を表す音声信号とガイドメロディデータとに基づいてユーザの歌唱におけるリズム感を評価する。

図２は、カラオケ装置１０のハードウェア構成を表すブロック図である。カラオケ装置１０は、制御部１１、記憶部１２、通信部１３、ＵＩ（User Interface）部１４、音声入力部１５及び音声出力部１６を備える。制御部１１は、本発明に係る歌唱評価装置の一例であり、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を備え、カラオケ装置１０の全体を制御する。ＣＰＵは、ＲＯＭや記憶部１２に記憶されたプログラムをＲＡＭに読み出して実行することにより、各種制御を行う。記憶部１２は、例えばハードディスク等の大容量記憶装置であり、各種プログラムや上述した楽音データ及びガイドメロディデータのほか、後述する評価テーブルや、閾値等を記憶する。通信部１３は、有線或いは無線によってサーバ装置２０と通信を行う。ＵＩ部１４は、例えばタッチスクリーン及びキーを有し、ユーザによる操作を受け付けるとともに、操作に基づく画像をタッチスクリーンに表示させる。音声入力部１５は、例えばマイクなどの音声収音手段を有し、マイクから入力されたユーザの音声を表す音声信号を取得して、取得した音声信号を制御部１１に入力する。音声出力部１６は、例えばスピーカなどの放音手段を有し、楽曲の伴奏音を表す楽音データとユーザの音声を表す音声信号とをデジタルアナログ変換してスピーカから出力させる。ユーザが、歌唱したい楽曲をＵＩ部１４を用いて指定すると、通信部１３は、制御部１１の制御のもと、指定された楽曲をサーバ装置３０に通知し、これに応じてサーバ装置３０から送信されてくる楽音データ及びガイドメロディデータを取得する。制御部１１は、取得した楽音データ及びガイドメロディデータを記憶部１２に記憶させる。

上述したガイドメロディデータには、ユーザが歌唱の際に参照するガイドメロディについて、構成音毎に音高や発音開始時刻等の情報が記述されている。これら構成音毎の音高や発音開始時刻等の情報は、ユーザの歌唱における模範となる音に関する情報である。ガイドメロディデータは、本発明に係る模範音データの一例である。制御部１１は、ガイドメロディデータが示す各構成音を、所定の規則に従い予め定められた複数の拍に関する種別のいずれかに分類し、分類された拍に関する種別ごとに、ユーザの歌唱におけるリズム感を評価する。以下に、図３を参照して拍に関する種別の分類について説明する。
図３は、拍に関する種別の分類を表す模式図である。図３は、４／４拍子における１小節を例に表している。ここでは、４／４拍子なので、１拍目から４拍目までの音符が「表拍」となり、表拍どうしの中間の音符が「裏拍」となり、それ以外の音符は「それ以外」となる。つまり、ここでは、一小節を時間的に８つの区間に等分した場合に、奇数番目の区間の先頭位置が「表拍」に相当し、偶数番目の区間の先頭位置が「裏拍」に相当する。また、図示された三連符については、最初の音符は表拍となるが、残りの２つの音符は、表拍でも裏拍でもない「それ以外」となる。

本実施形態では、拍に関する種別を、「表拍」、「裏拍」及び「それ以外」の３つに分類する。また、本実施形態においては、「それ以外」の拍に関する種別は、三連符における先頭の音符を除く残りの２つの音符や、シンコペーションやアンティシペーションやシャッフルに相当する音符等を含む概念である。ここで、上述した「表拍」及び「裏拍」以外の「強拍」、「弱拍」、「シンコペーション」、「アンティシペーション」、「三連符」、「シャッフル」について定義を説明する。「強拍」とは、或る拍子における１拍目の先頭の音符を指す。一方、「弱拍」とは、或る拍子における強拍以外の音符を示す。例えば「４／４拍子」の場合、１拍目の音符は「強拍」となり、２〜４拍目の音符は「弱拍」となる。「シンコペーション」とは、或る音がより劣位の拍からより優位の拍に鳴り続けることによって生じるリズムのことである。例えば、或る小節の弱拍から、小節内において次に位置する強拍までタイによりひとつの音として繋がっている場合、これをシンコペーションのリズムという。本実施形態において、このようにタイで繋がれた音符が拍に関する種別で分類されると「それ以外」となり、より詳細に分類される場合「シンコペーション」となる。「アンティシペーション」とは、小節線を跨ぐ場合のシンコペーションのことである。例えば、或る小節の弱拍から、小節線を跨いで、次の小節の先頭に位置する強拍までタイによりひとつの音として繋がっている場合、これをアンティシペーションのリズムという。本実施形態において、このようにタイで繋がれた音符が拍に関する種別で分類されると「それ以外」となり、より詳細に分類される場合「アンティシペーション」となる。「三連符」とは、例えば四分音符といった基準となる或る一つの音符が三等分された音符を示す。本実施形態では、三連符のうち、「表拍」又は「裏拍」に分類可能な音符以外の残りの音符が、拍に関する種別として「それ以外」に分類され、より詳細に分類される場合「三連符」となる。「シャッフル」とは、二つの連続した音符のうち、初めの音符の長さを長めにとり、二つ目の音符の長さを短くとるリズムのことである。シャッフルのリズムは、真ん中の音符を休符にした三連符と同様となる。本実施形態では、このような二つの連続した音符のうち、二つ目の音符が拍に関する種別で分類されると「それ以外」となり、より詳細に分類される場合「シャッフル」となる。
次に、ガイドメロディデータについて図を用いて説明する。

図４は、ガイドメロディデータの一例を表す図である。ガイドメロディデータは、ユーザが歌唱の際に参照するガイドメロディの各構成音の情報が時系列に沿って記述されたデータである。ガイドメロディデータは、「Ｎｏ．」、「音高」、「発音開始時刻」、「発音終了時刻」及び「拍種別」といった複数の項目からなる。各々のガイドメロディデータは、ガイドメロディにおける各構成音と対応付けられている。以降、ガイドメロディデータが示すガイドメロディの構成音のことを、参照構成音という。「Ｎｏ．」は、各々のガイドメロディデータを一意に識別する識別子であって、その発音開始時刻が早い順に、昇順で例えば４桁の番号が割り当てられている。「音高」は、各々の参照構成音の音高を表す。「発音開始時刻」は、楽曲の開始時点を基準として、各々の参照構成音の発音が開始される時刻を表す。「発音終了時刻」は、楽曲の開始時点を基準として、各々の参照構成音の発音が終了する時刻を表す。「拍種別」は、各々の参照構成音の拍に関する種別を示す。図の例では、楽曲の進行においてリズムの基準となる表拍に相当する参照構成音の「拍種別」に、表拍であることが記述されている。「拍種別」は、参照構成音の発音がなされるべきタイミングを特定の拍とするものであるから、参照構成音が発音されるべきタイミングを示している。「拍種別」は、本発明に係るタイミングデータの一例である。次に、上述した評価テーブルについて図を用いて説明する。

図５は、評価テーブルの一例を表す図である。評価テーブルは、ガイドメロディデータと、ユーザの歌唱に関する情報とが、対応する参照構成音毎に対応付けられたテーブルであって、参照構成音毎にリズム感の評価点が記述される。ユーザがＵＩ部１４を用いて歌唱したい楽曲を指定するたびに、制御部１１が、指定された楽曲のガイドメロディデータに基づいて評価テーブルを作成し、記憶部１２に記憶させる。図５の評価テーブルは、作成された直後の状態を示す。評価テーブルは、「Ｎｏ．」、「音高」、「発音開始時刻」、「発音終了時刻」、「拍分類情報」、「歌唱開始時刻」及び「評価点」といった複数の項目からなる。「Ｎｏ．」、「音高」、「発音開始時刻」及び「発音終了時刻」は、ガイドメロディデータにおけるものと同一の項目である。制御部１１は、評価テーブルをガイドメロディデータに基づいて作成するので、評価テーブルには、「Ｎｏ．」、「音高」、「発音開始時刻」及び「発音終了時刻」について、作成元であるガイドメロディデータと同一の内容が記述されている。「拍分類情報」は、各参照構成音を拍に関する種別で分類した結果を表す。制御部１１は、ガイドメロディデータにおいて「拍種別」が表拍となっている参照構成音について、評価テーブルの「拍分類情報」に表拍を設定する。作成時の評価テーブルは、表拍以外の「拍分類情報」が空欄となっている。「歌唱開始時刻」は、各参照構成音についてユーザが歌唱を開始したとみなされた時刻を表す。「評価点」は、各参照構成音に対するユーザの歌唱におけるリズム感の評価点を表す。作成時の評価テーブルは、「歌唱開始時刻」及び「評価点」が空欄となっている。

図６は、カラオケ装置１０の機能的構成を表すブロック図である。模範音データ取得部１１１、分類部１１２、演奏音信号取得部１１３、音高特定部１１４、発音開始時刻特定部１１５、構成音評価データ生成部１１６及び拍種別毎評価データ生成部１１７は、制御部１１によって実現される。模範音データ取得部１１１は、ユーザが楽曲を演奏する際に参照する模範音を構成する複数の参照構成音の各々に関し、当該参照構成音の音高と、当該参照構成音の発音開始時刻とを表す模範音データを取得する。分類部１１２は、模範音データ取得部１１１により取得された模範音データにより表される複数の参照構成音の各々を、所定の規則に従い予め定められた複数の拍に関する種別のいずれかに分類する。演奏音信号取得部１１３は、ユーザの演奏により生成される音である演奏音を表す演奏音信号を取得する。音高特定部１１４は、演奏音信号取得部１１３により取得された演奏音信号からユーザの演奏音の音高を特定する。発音開始時刻特定部１１５は、模範音データにより表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻を基準として所定の規則に従い定められる期間内に、音高特定部１１４により特定されたユーザの演奏音の音高が、当該参照構成音の音高を基準として所定の規則に従い定められる音高の範囲内に入った時刻を当該参照構成音の演奏がなされた発音開始時刻として特定する。構成音評価データ生成部１１６は、模範音データにより表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻と、当該参照構成音に関して発音開始時刻特定部１１５により特定されたユーザによる演奏の発音開始時刻との差が小さいほど高い評価を示す評価データを当該参照構成音に関する構成音評価データとして生成する。拍種別毎評価データ生成部１１７は、複数の拍に関する種別毎に、分類部１１２により当該種別に分類された１以上の参照構成音に関し構成音評価データ生成部１１６により生成された構成音評価データに基づき、拍に関する種別毎の評価を示す拍種別毎評価データを生成する。

＜動作＞
次に、本実施形態における動作について説明する。
図７は、カラオケ装置１０の処理フロー図である。まず、ユーザが、ＵＩ部１４を用いて歌唱したい楽曲を指定すると、制御部１１は、これを受け付ける（ステップＳａ１）。次に、制御部１１は、通信部１３を用いて、指定された楽曲の伴奏音を表す楽音データと指定された楽曲のガイドメロディデータとをサーバ装置２０から取得すると、これらを記憶部２２に記憶させる（ステップＳａ２）。制御部１１は、取得したガイドメロディデータに基づいて評価テーブルを作成すると、これを記憶部２２に記憶させる（ステップＳａ３）。次に、制御部１１は、取得したガイドメロディデータにおける各々の参照構成音を拍に関する種別で分類する（ステップＳａ４）。次に、ステップＳａ４の処理について詳述する。

上述したように、ガイドメロディデータにおいて、各参照構成音の発音開始時刻が記述されているとともに、表拍に相当する参照構成音には「拍種別」として「表拍」が対応付けられている。ステップＳａ４において、制御部１１は、或る表拍の参照構成音Ａと次の表拍の参照構成音Ｂとの間に存在する参照構成音Ｃについて、表拍の参照構成音Ａ及びＢの発音開始時刻に対する参照構成音Ｃの発音開始時刻の時間差に基づいて、参照構成音Ｃが相当する拍について拍種別の分類を行う。例えば、表拍の参照構成音Ａの発音開始時刻が「００：０４：００」であり、表拍の参照構成音Ｂの発音開始時刻が「００：０６：００」であり、参照構成音Ｃの発音開始時刻が「００：０５：００」であったとする。この場合、参照構成音Ｃの発音開始時刻は、表拍である参照構成音Ａの発音開始時刻と、表拍である参照構成音Ｂの発音開始時刻とのちょうど中間に位置している。従って、制御部１１は、参照構成音Ｃの拍を裏拍に分類する。要するに、連続する表拍の参照構成音における発音開始時刻どうしの差を基準として、表拍の参照構成音の発音開始時刻と、未分類の参照構成音の発音開始時刻との時間差に基づいて、拍が分類される。制御部１１は、各参照構成音の拍に関する種別を、「表拍」、「裏拍」及び「それ以外」のいずれかに分類し、その分類の結果を記憶部２２に記憶された評価テーブルにおける拍分類情報に記述する。このように、制御部１１は、上述した内容の規則に従って、参照構成音の各々を予め定められた複数の拍に関する種別のいずれかに分類する。

ステップＳａ４の処理が開始されると、制御部１１が、取得した楽音データとガイドメロディデータとに基づいて楽曲を再生させて、再生信号を音声出力部１６に供給することで、音声出力部１６は、楽曲の伴奏音及びガイドメロディをスピーカから放音させる（ステップＳａ５）。そして、ユーザがマイクを用いて歌唱を開始すると、音声入力部１５は、マイクから供給されるユーザの音声を表す音声信号を取得すると、取得した順番でこれを記憶部２２に記憶させる（ステップＳａ６）。次に、制御部１１は、取得した音声信号を周波数解析してユーザの音声の音高を特定する（ステップＳａ７）。周波数解析の方法については、周知のもののうちいずれかが用いられればよい。次に、制御部１１は、各参照構成音に対するユーザの歌唱タイミング、具体的には、ユーザによる歌唱開始時刻を特定する（ステップＳａ８）。次に、ステップＳａ８について図を用いて説明する。

図８は、ユーザによる歌唱の検出を説明するための模式図である。図８において、横軸は時間を表し、図中右方向へ進むほど時間が経過することを表している。また、図８において、縦軸は音高を表し、図中上方向へ進むほど音高が高いことを表している。図示された３つの矩形は、ガイドメロディデータが示す参照構成音ＲＳ０、ＲＳ１及びＲＳ２を表す。また、曲線Ｐは、歌唱におけるピッチの軌跡であるピッチ軌跡を示す。参照構成音ＲＳ０の音高は「Ｆ」であり、参照構成音ＲＳ１の音高は「Ｇ」であり、参照構成音ＲＳ２の音高は「Ｃ」である。各々の参照構成音は、音高の検出範囲及び検出期間を有する。例えば、ここでは、音高の検出範囲は、参照構成音の音高から上下に半音ずつであるものとする。つまり、参照構成音ＲＳ０の音高検出範囲は、「Ｆ＃」から「Ｅ」までとなり、参照構成音ＲＳ１の音高検出範囲は、「Ｇ＃」から「Ｆ＃」までとなり、参照構成音ＲＳ２の音高検出範囲は、「Ｃ＃」から「Ｂ」までとなる。図５においては、音高検出範囲の上下限を破線で表している。また、例えば、ここでは、検出期間は、「参照構成音の発音開始時刻を基準として前後２秒間」であるものとする。音高検出範囲及び検出期間の内容は記憶部２２に記憶されているが、ユーザがＵＩ部１４を用いてその内容を適切な範囲で任意に変更可能としてもよい。

ステップＳａ８において、制御部１１は、或る参照構成音の発音開始時刻を基準とした検出期間内に、ユーザの歌唱の音高が参照構成音の音高を基準として音高検出範囲内に入った時刻を、この参照構成音の歌唱がなされた歌唱開始時刻の基準となる基準時刻として特定する。例えば、図８の場合、参照構成音ＲＳ１に対するユーザの歌唱の音高は、検出期間に含まれる時刻ｔ１において、参照構成音ＲＳ１の音高検出範囲に含まれるようになるため、制御部１１は、参照構成音ＲＳ１に対する基準時刻を「ｔ１」と特定する。そして、制御部１１は、基準時刻からピッチ軌跡Ｐを予め決められた期間だけ過去にさかのぼり、ピッチ軌跡Ｐが予め決められた状態のいずれかに相当すると判定したタイミングを、参照構成音ＲＳ１の歌唱開始時刻「ｔｘ１」として特定する。上記予め決められた期間とは、例えば「１００ミリ秒」という期間であり、パラメータとして予め記憶部１２に記憶されている。

次に、上述した予め決められた状態について説明する。予め決められた状態には３パターンあり、制御部１１は、これらのパターンのいずれかに相当すると判定した場合、そのタイミングを歌唱開始時刻として特定する。第１のパターンは、制御部１１が、ピッチ軌跡Ｐを過去にさかのぼった場合に、軌跡が途切れたときである。この状態は、ピッチ軌跡Ｐが途切れたタイミングから歌唱が開始されたことを表す。この場合、制御部１１は、ピッチ軌跡Ｐが途切れたタイミングを、参照構成音の歌唱開始時刻として特定する。第２のパターンは、制御部１１が、ピッチ軌跡Ｐを過去にさかのぼった場合に、ピッチ軌跡Ｐがなすカーブが時間軸に対してなす傾斜の角度が予め決められた閾値よりも緩やかになったときである。この予め決められた閾値は、例えば「３０度」といったものであり、パラメータとして予め記憶部１２に記憶されている。この場合、基準時刻を特定した参照構成音と、その直前の参照構成音との音高に、或る程度の差分があることを表す。つまり、この場合、ユーザは、直前の参照構成音とは音高が異なる別の参照構成音を歌っていることを表すから、制御部１１は、このタイミングを、基準時刻を特定した参照構成音の歌唱開始時刻として特定する。第３のパターンは、制御部１１が、ピッチ軌跡Ｐを過去にさかのぼった場合に、ピッチ軌跡Ｐがなすカーブが時間軸に対して為す傾斜の角度が、予め決められた閾値よりも大きくなったときである。この予め決められた閾値は、例えば「６０度」といったものであり、パラメータとして予め記憶部１２に記憶されている。この場合、基準時刻を特定した参照構成音と、その直前の参照構成音との音高に、大きな差分があることを表す。つまり、この場合も、ユーザは、直前の参照構成音とは音高が異なる別の参照構成音を歌っていることを表すから、このタイミングを、基準時刻を特定した参照構成音の歌唱開始時刻として特定する。

図示されるように、歌唱開始時刻として検出された「ｔｘ１」は、参照構成音ＲＳ１の発音開始時刻より遅い。この場合、ユーザが歌いだしを遅れたか、あるいは意図的にタメをきかせた場合を表す。ここで、「タメ」とは、本来のタイミングより歌唱に遅れが生じている状態であり、一方、「ハシリ」とは、本来のタイミングより早く歌唱が行われている状態を表す。同様に、制御部１１は、参照構成音ＲＳ２の基準時刻を「ｔ２」と特定し、歌唱開始時刻を「ｔｘ２」と特定する。制御部１１は、特定した歌唱開始時刻を、対応する参照構成音と対応付けて評価テーブルに記述する。

図７の説明に戻る。ステップＳａ８の次に、制御部１１は、各参照構成音に対するユーザの歌唱を評価する（ステップＳａ９）。制御部１１は、評価テーブルに記述された内容に従って、ユーザによる歌唱開始時刻と参照構成音の発音開始時刻との差の絶対値が小さいほど高く、大きいほど低くなるような評価データを生成する。ここでは、評価データは、数値で表される評点であるとする。評価の方法については、予め決められた計算式を用いてもよいが、ここでは、対応関係が記述されたテーブルである評価基準テーブルを用いるものとする。

図９は、評価基準テーブルの一例を表す図である。評価基準テーブルにおいては、ユーザによる歌唱開始時刻と参照構成音の発音開始時刻との差が取り得る範囲である時刻差（ミリ秒）に対して、評価点が対応付けられて記述されている。ここでは、評価点を「０」から「５」までの６段階評価としている。また、評価点には、通常の評価に用いられる「標準」と、タメのきいた歌唱の評価に対して用いられる「タメ」と、走りのきいた歌唱の評価に対して用いられる「ハシリ」の３種類がある。「タメ」及び「ハシリ」の評価点については、一度評価点を算出した後に、総合的なリズム感評価において、歌唱に「タメ」又は「ハシリ」の特徴があると判定された場合に、用いられる。まず、ここでは、「標準」の評価点を用いて評価が行われる。図示されるように、「標準」の評価点では、ユーザによる歌唱開始時刻から参照構成音の発音開始時刻を減算した差の絶対値が小さいほど高い評価となっている。例えば、制御部１１は、ユーザによる歌唱開始時刻から対象となる参照構成音の発音開始時刻を減算した差を「＋１００ミリ秒」と算出すると、評価基準テーブルを参照して、この参照構成音の評価点を「５」と決定する。制御部１１は、決定した内容に基づいて、各参照構成音について評価テーブルにおける評価点を記述する。この評価点は、本発明に係る構成音評価データの一例である。

図１０は、ステップＳａ９までに評価が行われた後の評価テーブルの一例を表す図である。評価テーブルの作成時に表拍以外は空欄となっていた「拍分類情報」は、ステップＳａ４において拍に関する種別の分類が行われることで、各参照構成音について拍に関する種別の分類が記述されている。また、ステップＳａ８においてユーザの歌唱が検出されることにより、「歌唱開始時刻」に値が記述されている。また、ステップＳａ９において参照構成音毎にユーザの歌唱が評価されることにより、「評価点」に値が記述されている。ステップＳａ９の次に、制御部１１は、ユーザの歌唱が評価された後の評価テーブルに基づいて、拍に関する種別毎の評価データを生成する（ステップＳａ１０）。ここでは、拍に関する種別毎の評価データは、数値で示されるものであり、拍に関する種別毎の評価点の平均点であって、本発明に係る拍種別毎評価データの一例である。具体的には、制御部１１は、評価テーブルにおいて或る同一の「拍分類情報」を有する参照構成音の評価点の合計値を、この「拍分類情報」を有する参照構成音の個数で除算することで、拍に関する種別毎の平均点を算出する。つまり、ステップＳａ１０が終了すると、「表拍」と、「裏拍」と、「それ以外」についてそれぞれ、ユーザによる歌唱の評価の平均点が算出される。

ステップＳａ１０の次に、制御部１１は、拍の分類毎に算出した歌唱の評価の平均点に基づいて、総合的なリズム感の評価を行う（ステップＳａ１１）。ステップＳａ１１の評価は、例えば以下の式（１）に基づいて行われる。式（１）において、αは０＜α＜１を満たす係数である。
総合的リズム感評価＝｛（（“裏拍”の平均点＋“それ以外”の平均点）／２）／（“表拍”の平均点）｝×｛（（“裏拍”の平均点＋“それ以外”の平均点）／２）×α＋（“表拍”の平均点）×（１−α）｝・・・式（１）
係数αは記憶部１２に記憶されており、ユーザがＵＩ部１４を用いてその値を変更可能としてもよい。係数αが大きいほど、「裏拍」及び「それ以外」の評価の重みが増し、係数αが小さいほど、「表拍」の評価の重みが増すこととなる。係数「α」及び「１−α」の合計は１であるから、これらの係数は、拍の種別毎に乗じる係数の比率を表している。つまり、制御部１１は、拍に関する種別毎の評価データにより示される数値に対し、種別毎に予め定められた比率の係数を乗じて、それらを加算して得られる数値を算出する。制御部１１は、本発明に係る算出手段の一例である。また、式（１）において、「｛（（“裏拍”の平均点＋“それ以外”の平均点）／２）／（“表拍”の平均点）｝」の部分の計算については、制御部１１は、その最大値を１とする。つまり、この部分についての計算結果として１を超える値が算出された場合、制御部１１は、その値を１に補正する。また、「｛（（“裏拍”の平均点＋“それ以外”の平均点）／２）／（“表拍”の平均点）｝」の部分について、「表拍」の平均点を分母にし、「裏拍」及び「それ以外」の平均点を分子にしている理由は以下のとおりである。「表拍」は、ユーザが一般的に認識しやすく歌唱タイミングがずれにくいのに比べて、「裏拍」及び「それ以外」については、「表拍」と比べて歌唱タイミングがずれやすい。従って、「裏拍」及び「それ以外」の参照構成音における歌唱タイミングのずれが少ないほど、そのユーザはリズム感がよい可能性が高い。このような考え方に基づいて、本実施形態においては、「裏拍」及び「それ以外」の評価が高い場合に上記部分の計算式の値がより大きくなるように、「裏拍」及び「それ以外」の平均点を分子にしている。

例えば、式（１）において、係数αが「０．６」であり、「表拍」の平均点が「４」であり、「裏拍」及び「それ以外」の平均点が「３」であった場合、以下の式（２）のように表せる。
総合的リズム感評価＝｛（（３＋３）／２）／４｝×｛（（３＋３）／２）×０．６＋４×０．４｝＝（３／４）×３．４
＝２．５５・・・式（２）
式（２）によれば、「表拍」の平均点は高いものの、「裏拍」及び「それ以外」の平均点は「表拍」と比べて低く、係数αの値が、「裏拍」及び「それ以外」の評価の重みを増す値となっている。この結果、式（２）によって得られる総合的リズム感評価は、やや低いものとなる。ユーザは、ＵＩ部１４を用いて係数αの値を変更することで、総合的リズム評価における拍の種別毎の重み付けを変更することができる。

カラオケ装置１０は、評価結果を分析したコメントをＵＩ部１４に表示させる。例えば、制御部１１は、ステップＳａ１１の後に、評価テーブルに基づいて、分類された拍に関する種別毎に度数分布表を作成する。図１１は、度数分布表の一例を表す図である。図において横軸は、参照構成音の発音開始時刻と歌唱開始時刻との時間差を表す。図１１において、図上右方向に進むほど歌唱のタイミングが本来あるべきよりも遅れていることを表し、図上左方向に進むほど歌唱のタイミングが本来あるべきよりも早いことを表す。図上縦軸は度数を表し、各歌唱タイミングの個数が示されている。図１１において、破線は「表拍」の度数分布を表し、一点鎖線は「裏拍」の度数分布を表し、二点鎖線は「それ以外」の度数分布を表す。図１１（ａ）は、ユーザＡの歌唱の評価結果に基づく度数分布であり、図１１（ｂ）は、ユーザＢの歌唱の評価結果に基づく度数分布である。図１１（ａ）に示すように、ユーザＡの歌唱は、「表拍」、「裏拍」及び「それ以外」のそれぞれについて、度数のピークがほぼ同じ歌唱タイミングに集中している。従って、ユーザＡの歌唱のタイミングは、拍に関する種別によらずに一定であり、リズム感がよいといえる。一方、図１１（ｂ）の場合、ユーザＢの歌唱は、「表拍」、「裏拍」及び「それ以外」のそれぞれについて、度数のピークが訪れる歌唱のタイミングが分散している。従って、ユーザＢの歌唱のタイミングは、拍に関する種別によって異なっており、リズム感がよくないといえる。制御部１１は、このような度数分布表に基づく判定結果をコメントとしてＵＩ部１４に表示させてもよいし、度数分布表そのものをＵＩ部１４に表示させてもよい。

コメントを表示する他の方法として、例えば、評価コメントを記述した評価コメントテーブルを用いる方法がある。図１２は、評価コメントテーブルの一例を表す図である。図１２の評価コメントテーブルには、「表拍」の平均点と、「裏拍」及び「それ以外」の平均点との組み合わせについて、評価コメントが記述されている。平均点は、例えば「３．５」といった閾値に基づいて、高いか低いかに区別される。評価コメントテーブルは、上記閾値とともに記憶部１２に記憶されている。この閾値は、ユーザがＵＩ部１４を用いて変更可能としてもよい。例えば、ステップＳａ９において、表拍の平均点が「４」、裏拍及びそれ以外の平均点が「３」と算出された場合、制御部１１は、「リズム感が悪いです。」というコメントをＵＩ部１４に表示させる。このような評価コメントテーブルを用いれば、「表拍」の評価と、「裏拍」及び「それ以外」の評価とを組み合わせた結果に基づいて、総合的なリズム感の評価が可能となる。

また、ここで、「表拍」の平均点が低く、「裏拍」及び「それ以外」の平均点が高かった場合、制御部１１は、「歌唱にタメ／ハシリがあります。」というコメントをＵＩ部１４に表示させる。これは、以下の理由による。一般的に、「裏拍」及び「それ以外」は、「表拍」よりもリズムを合わせるのが難しく、それと比較して「表拍」はリズムを合わせやすい。従って、難易度の高い「裏拍」及び「それ以外」の評価が高く、難易度の低い「表拍」の評価が低い場合、「表拍」について意図的にタメやハシリをきかせた結果、参照構成音の発音開始時刻と歌唱開始時刻とに差が生じている状態である、と考えられる。評価コメントテーブルを用いた評価の結果、「表拍」の平均点が低く、「裏拍」及び「それ以外」の平均点が高かった場合、制御部１１は、表拍の参照構成音について評価点を再計算する。制御部１１は、図９の評価規準テーブルと、ユーザによる歌唱開始時刻から対象となる参照構成音の発音開始時刻を減算した差とに基づいて、差が正の値である場合は、「タメ」の評価点を用いて、差が負の値である場合は、「ハシリ」の評価点を用いる。例えば、差が「＋４００ミリ秒」であった場合、参照構成音の発音開始時刻よりも、ユーザが、４００ミリ秒遅く歌唱したことを表すから、この場合、制御部１１は、評価規準テーブルにおける「タメ」の評価点に基づいて、評価点を「５」と決定する。通常の評価であれば、これは「４」の評価点となるところであるが、タメに対応した評価規準テーブルを用いているため、このようになる。制御部１１は、決定した評価点で評価テーブルを更新する。このようにすれば、意図的に歌唱されたタメ及びハシリを評価することができる。

このように、本実施形態では、楽曲のガイドメロディを表すガイドメロディデータにおける各参照構成音が、拍に関する種別で分類される。そして、拍に関する種別で分類された参照構成音ごとに歌唱の評価が行われ、評価結果に基づいて拍に関する種別ごとの評価が行われることで、拍に関する種別ごとのリズム感評価が得られる。このように、本実施形態によれば、拍を考慮してユーザの歌唱におけるリズム感を評価することが可能となる。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は、以下のように変形可能である。また、以下の変形例は、適宜組み合わせて実施してもよい。
（変形例１）
ガイドメロディデータは、「拍種別」に限らず、次のような拍に関する情報を含んでもよい。
図１３は、変形例１に係るガイドメロディデータの一例を表す図である。図１３に示すガイドメロディデータは、図４に示すものと比較して、「拍種別２」及び「評価係数」という項目が追加されている。図１３に示す「拍種別２」は、「表拍」がさらに「強拍」と「弱拍」とに分類されたものである。例えば、４／４拍子で４つの四分音符が並んでいた場合、最初の四分音符は強拍となり、残りの３つの四分音符は弱拍となる。「評価係数」は、評価点に乗算する係数である。強拍は弱拍と比較して歌唱タイミングを合わせやすく、目立つため、評価点に重み付けがされるように評価係数が設定されている。評価係数は、記憶部２２に記憶されており、ユーザがＵＩ部１４を用いて設定可能としてもよい。なお、実施形態と比較して変形例１でガイドメロディデータに追加された項目は、作成される評価テーブルにも含まれる。これは、以降の変形例でも同様である。このように、ガイドメロディデータにおいて予め強拍と弱拍を識別する情報を付与し、評価係数を設定可能とすることで、ユーザは、より拍が考慮されたリズム感評価を得ることができる。

（変形例２）
ガイドメロディデータは、次のような拍に関する情報を含んでいてもよい。
図１４は、変形例２に係るガイドメロディデータの一例を表す図である。図１４に示すガイドメロディデータは、図４に示すものと比較して、「拍種別２」及び「評価係数」という項目が追加されている。「評価係数」は、参照構成音に関する評価点に乗じられるべき係数である。図１４に示す「拍種別２」は、拍に関する種別を「シンコペーション」で分類したものである。図１４の例では、シンコペーションを重要視しており、シンコペーションの拍に相当する参照構成音には「１．２」という評価係数が設定されている。制御部１１は、参照構成音の発音開始時刻とユーザによる歌唱開始時刻との差に基づき決定される評価点に、この評価係数を乗じて得られる評価点を生成する。拍に関する種別の分類は、上述したものに限らず、例えば「拍種別２」において「三連符」や「シャッフル」の分類がなされてもよい。この場合、ステップＳａ１０において制御部１１が拍に関する種別ごとに評価を行うときには、「表拍」、「裏拍」及び「それ以外」だけでなく、「拍種別２」に含まれる拍に関する種別についても、拍に関する種別ごとの評価を行う。このように、「表拍」と「裏拍」と「それ以外」という分類よりも、より細かな分類を行うことにより、ユーザは、より詳細なリズム感評価を得ることができる。

（変形例３）
参照構成音毎に評価の重み付けを任意に可能としてもよい。
図１５は、変形例３に係るガイドメロディデータの一例を表す図である。変形例３におけるガイドメロディデータは、参照構成音毎に評価係数を設定可能である。
例えば、歌い出しの頭の箇所や、サビに相当する箇所や、ブリッジ又はブレイク等により拍子が変化する箇所や、テンポの変化に伴い拍間時間が変化する箇所については、いずれも歌唱が難しく、かつ楽曲全体を通して印象的であり目立つ箇所であるため、これらの箇所に相当する参照構成音について、評価点に正の重み付けをするための評価係数が記述されている。このような評価係数を設定することにより、例えばユーザの歌唱が荒いものであっても、頭の出だしやサビといった目立ちやすい箇所で歌唱タイミングがあっていれば、リズム感として高評価が得られやすくなる。

（変形例４）
評価コメントテーブルは上述した例に限らない。図１６は、変形例４に係る評価コメントテーブルの一例を表す図である。図１６の評価コメントテーブルには、「表拍」の評価点の分布と、「裏拍」及び「それ以外」の評価点の分布との組み合わせについて、評価コメントが記述されている。「表拍」の評価点の分布と、「裏拍」及び「それ以外」の評価点の分布とは、分類された拍に関する種別毎の評価点の標準偏差と、予め決められた閾値とに基づいて、狭いか広いかに区別される。この閾値は、予め記憶部１２に記憶されており、ＵＩ部１４を用いてユーザにより変更可能としてもよい。例えば、制御部１１は、「表拍」の評価点の標準偏差が閾値以上であった場合、評価点の分布を「広い」と判定し、「裏拍」及び「それ以外」の評価点の標準偏差が閾値未満であった場合、評価点の分布を「狭い」と判定する。この場合、制御部１１は、「歌唱にタメ／ハシリがあります。」というコメントをＵＩ部１４に表示させる。このようにすれば、ユーザの歌唱タイミングの分布によって、ユーザの歌唱のリズム感を評価することができる。

（変形例５）
事前にガイドメロディデータにおいて「拍種別」に記述される情報は、「表拍」であることに限らない。例えば、拍種別には、「裏拍」であることや、「強拍」であることが記述されていてもよい。要するに、拍に関する種別の分類の際に基準として用いることが可能であれば、表拍に限らずともよい。また、ガイドメロディデータにおいて、全ての参照構成音について予め「拍種別」が記述されるようにしてもよい。この場合、作成される評価テーブルの「拍分類情報」には、ガイドメロディデータにおける「拍種別」がそのまま記述されることとなるので、ステップＳａ４における分類処理が不要となる。

（変形例６）
上述した実施形態では、拍に関する種別の分類を「表拍」、「裏拍」及び「それ以外」の３つに分類したが、これに限ったものではない。例えば、拍に関する種別の分類を、「表拍」及び「裏拍」のみに基づいて行ってもよいし、より詳細に分類してもよい。

（変形例７）
拍に関する種別毎のリズム感の評価及び総合的リズム感評価は、例えば、メロディの評価結果と並べて、あるいは合算されてＵＩ部１４に表示されてユーザに通知されるようにしてもよい。また、カラオケ装置１０の制御部１１が、通信部１３を用いて、図示せぬプリンタやカラオケ店舗の管理するウェブサーバ装置、あるいはユーザの所持する携帯電話機に対してこれらのデータを送信することで、ユーザが、携帯電話機を用いて、またはウェブブラウザ上で評価内容を確認可能としたり、評価内容を印刷可能としたりしてもよい。このようにすれば、ユーザは、拍を考慮したリズム感が反映された総合的な歌唱の巧拙を知ることができる。

（変形例８）
ユーザの歌唱に対して連続で高評価がなされた場合は、その後の歌唱に重み付けがなされて評価されるようにしてもよい。例えば、制御部１１は、ステップＳａ９において各参照構成音に対するユーザの歌唱の評価を行う際に、予め決められた閾値以上（例えばここでは「４」）の評価点が、予め決められた個数以上連続すると、次の評価点に例えば「１．１」等の評価係数を乗ずる。上記予め決められた閾値及び個数と評価係数とは、記憶部２２に記憶されており、ユーザがＵＩ部１４を用いて変更可能としてもよい。制御部１１は、評価点が再び予め決められた閾値未満となるまで、上記評価係数を用いる。このようにすれば、ユーザの歌唱タイミングが連続で正しいほど、すなわち拍とタイミングが合った歌唱が連続で正しく行われているほど、より高評価を得ることができるので、より拍を考慮したリズム感の評価が得られやすくなる。

（変形例９）
ユーザによる歌唱に限らず、ユーザによる楽器の演奏を評価の対象としてもよい。この場合、カラオケ装置１０は、楽器の演奏音信号を取得するためのインターフェースを備える。ガイドメロディデータにおけるデータ構成は、実施形態のように歌唱を評価する場合と同様であるが、ガイドメロディ自体は、歌唱の旋律に限らず、例えばキーボードのパートのメロディとしてもよい。拍に関する種別の分類及び評価の処理については、実施形態と同様の手順により行われる。このようにすれば、ユーザは、歌唱に限らず楽器の演奏についても、拍を考慮したリズム感の評価を得ることができる。

（変形例１０）
ユーザの歌唱において評価の低かった拍に関する種別をユーザに通知するようにしてもよい。例えば、予め決められた閾値よりも低い評価点をつけられた拍に関する種別について、「あなたは裏拍が苦手なようです。」というようなコメントをＵＩ部１４に表示させてもよい。このようにすれば、ユーザは自らの不得意とする拍に関する種別が明確に分かるので、効率的に練習を積むことができる。

（変形例１１）
ガイドメロディデータが、「拍種別」に代えて次のような情報を有することで、拍に関する種別の分類が行われても良い。この場合、ガイドメロディデータは、楽曲の開始から終了までの演奏期間を時間的に複数に区分して得られる小節の各々の開始時刻と、複数の小節の各々に関する拍子を特定する拍子情報とを含む。例えば、時刻を「ｍｍ：ｓｓ：ｓｓｓ」として表したときに、開始時刻が「００：００：００」である小節が「４／４拍子」であり、次の小節の開始時刻が「００：０４：００」であったとする。この場合、制御部１１は、小節の開始時刻どうしの差から、先頭小節を４秒間として特定する。この場合、「４／４拍子」であるから、１拍につき１秒であることがわかる。これに従って、制御部１１は、先頭小節において、「００：００：００」、「００：０１：００」、「００：０２：００」及び「００：０３：００」のタイミングを表拍と特定する。このように表拍のタイミングがわかれば、実施形態と同様に時刻差に基づいて、拍に関する種別の分類を行うことが可能である。このようにしても、実施形態と同様の効果を奏することができる。

（変形例１２）
サーバ装置２０が、楽曲の伴奏音を表す楽音データとガイドメロディデータとを記憶する構成に限らず、これらのデータをカラオケ装置１０が記憶部１２に記憶させるようにしてもよい。このような構成にすれば、カラオケ装置１０がサーバ装置２０と通信を行う必要がないため、通信にかかる処理時間を省略することができる。

（変形例１３）
評価規準テーブルに基づくタメやハシリの評価を、楽曲のジャンルや拍の種別によって異ならせてもよい。この場合、サーバ装置２０から送信されてくる楽音データには、楽曲のジャンルを示す識別子が含まれている。例えば、楽曲のジャンルが「演歌」であった場合、歌唱にタメが用いられやすい。カラオケ装置１０は、楽曲のジャンルを示す識別子と、タメ又はハシリを対象とした評価を行うか否かのフラグを対応付けた対応表を記憶部１２に予め記憶させている。制御部１１は、受信した楽曲のジャンルを示す識別子と、上記対応表とに基づいて、タメ又はハシリを対象とした評価を行うかを決定する。例えば、楽曲のジャンルが「演歌」であった場合、一般的に歌唱にタメが用いられやすいので、対応表において、「演歌」は「タメ」を対象とした評価を行うフラグがオンとなっている。この場合、制御部１１は、ステップＳａ９で評価を行う際に、評価規準テーブルのうち、「タメ」の評価点を用いて評価を行う。また、例えば、制御部１１は、「表拍」については、「タメ」を対象とした評価を行う、というように、拍の種別によって評価方法を予め決定するようにしてもよい。このとき、どの拍の種別に対してタメ又はハシリを対象とした評価を行うかは、対応表として記憶部１２に予め記憶されている。このようにすれば、楽曲の特徴や拍の種別に合わせて、タメやハシリを評価することができる。

１０…カラオケ装置、１１…制御部、１２…記憶部、１３…通信部、１４…ＵＩ部、１５…音声入力部、１６…音声出力部、２０…サーバ装置、１００…歌唱評価システム

Claims (9)

1. ユーザが楽曲を演奏する際に参照する模範音を構成する複数の参照構成音の各々に関し、当該参照構成音の音高と、当該参照構成音の発音開始時刻とを表す模範音データを取得する模範音データ取得手段と、
   前記模範音データ取得手段により取得された模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々を、前記参照構成音に基づき、所定の規則に従って定められた拍に関する複数の種別のいずれかに分類する分類手段と、
   ユーザの演奏により生成される音である演奏音を表す演奏音信号を取得する演奏音信号取得手段と、
   前記演奏音信号取得手段により取得された演奏音信号からユーザの演奏音の音高を特定する音高特定手段と、
   前記模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々に関し、所定の規則に従って当該参照構成音の演奏がなされた発音開始時刻を特定する発音開始時刻特定手段と、
   前記模範音データにより表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻と、当該参照構成音に関して前記発音開始時刻特定手段により特定されたユーザによる演奏の発音開始時刻との差が小さいほど高い評価を示す構成音評価データを生成する構成音評価データ生成手段と、
   拍に関する前記種別毎に、前記分類手段により当該種別に分類された１以上の参照構成音について前記構成音評価データ生成手段により生成された構成音評価データに基づき、前記種別毎の評価を示す拍種別毎評価データを生成する拍種別毎評価データ生成手段と
   を備える演奏評価装置。
2. 前記発音開始時刻特定手段は、前記模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻を基準として定められる期間内に、前記音高特定手段により特定されたユーザの演奏音の音高が、当該参照構成音の音高を基準として定められる音高の範囲内に入った時刻を、当該参照構成音の演奏がなされた発音開始時刻として特定する
   ことを特徴とする請求項１に記載の演奏評価装置。
3. 前記模範音データは、少なくとも１以上の前記参照構成音の各々に関し、当該参照構成音が発音されるタイミングを示すタイミングデータを含み、
   前記分類手段は、前記タイミングデータに基づき前記分類を行う
   ことを特徴とする請求項１又は２に記載の演奏評価装置。
4. 前記模範音データは、前記楽曲の演奏期間を複数に区分して得られる小節の各々の開始時刻を特定するデータと、前記複数の各々の小節に関する拍子を特定するデータとを含み、
   前記分類手段は、前記小節の各々の開始時刻を特定するデータと、前記複数の各々の小節に関する拍子を特定するデータとに基づき前記分類を行う
   ことを特徴とする請求項１又は２に記載の演奏評価装置。
5. 前記模範音データは、少なくとも１以上の前記参照構成音の各々に関し、当該参照構成音に関する評価点に乗じられるべき係数を含み、
   前記構成音評価データ生成手段は、前記参照構成音の発音開始時刻と前記ユーザによる演奏の発音開始時刻との差に基づき決定される評価点に、前記係数を乗じて得られる評価点を示す前記構成音評価データを生成する
   ことを特徴とする請求項１乃至４のいずれかに記載の演奏評価装置。
6. 前記構成音評価データ生成手段は、前記評価点が所定の個数以上連続して所定の閾値以上である場合に、その後の演奏の評価点に前記係数を乗じる
   ことを特徴とする請求項５に記載の演奏評価装置。
7. 前記拍種別毎評価データ生成手段により生成される拍種別毎評価データは、拍に関する種別毎の評価を数値で示すデータであり、
   前記拍種別毎評価データにより示される数値に対し種別毎に予め定められた比率の係数を乗じ、それらを加算して得られる数値を算出する算出手段を備える
   ことを特徴とする請求項１乃至６のいずれかに記載の演奏評価装置。
8. 前記拍種別毎評価データに基づくコメントをユーザに通知する通知手段を備えることを特徴とする請求項１乃至７のいずれかに記載の演奏評価装置。
9. コンピュータを、
   ユーザが楽曲を演奏する際に参照する模範音を構成する複数の参照構成音の各々に関し、当該参照構成音の音高と、当該参照構成音の発音開始時刻とを表す模範音データを取得する模範音データ取得手段と、
   前記模範音データ取得手段により取得された模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々を、前記参照構成音に基づき、所定の規則に従って定められた拍に関する複数の種別のいずれかに分類する分類手段と、
   ユーザの演奏により生成される音である演奏音を表す演奏音信号を取得する演奏音信号取得手段と、
   前記演奏音信号取得手段により取得された演奏音信号からユーザの演奏音の音高を特定する音高特定手段と、
   前記模範音データにより音高及び発音開始時刻が表される複数の参照構成音の各々に関し、所定の規則に従って当該参照構成音の演奏がなされた発音開始時刻を特定する発音開始時刻特定手段と、
   前記模範音データにより表される複数の参照構成音の各々に関し、当該参照構成音の発音開始時刻と、当該参照構成音に関して前記発音開始時刻特定手段により特定されたユーザによる演奏の発音開始時刻との差が小さいほど高い評価を示す構成音評価データを生成する構成音評価データ生成手段と、
   拍に関する前記種別毎に、前記分類手段により当該種別に分類された１以上の参照構成音について前記構成音評価データ生成手段により生成された構成音評価データに基づき、前記種別毎の評価を示す拍種別毎評価データを生成する拍種別毎評価データ生成手段
   として機能させるためのプログラム。

Images