JP6102076B2 - 評価装置 - Google Patents

Description

本発明は、評価装置に関する。

カラオケ装置においては、歌唱の巧拙を採点する機能を備えるものがある。例えば特許文献１には、カラオケ歌唱の歌唱音声信号を、サビ、クライマックスなどの区間別に重み付けを行って採点する装置が提案されている。また、特許文献２には、主旋律音高に対する和音（コード）に相当する音高等、音楽理論上正しいとされる音高について予め配点が決められた採点規準データを用いて採点を行う装置が提案されている。特許文献２に記載の装置によれば、音楽理論上正しいとされる音高を歌唱者が歌唱した場合に高い点数となるため、採点結果に対するユーザの納得感を向上させることができる。

特開平１０−７８７４９号公報 特開２０１０−２３０８５４号公報

ところで、特許文献１に記載のような歌唱の採点においては、歌唱を聴取している者（以下「聴取者」という）が感じた歌唱の巧拙と、装置の採点結果との間にずれが生じる場合があった。例えば、聴取者が上手いと感じた歌唱であっても装置の採点結果が低い場合や、逆に聴取者が上手いと感じなかった歌唱であっても装置の採点結果が高い場合があった。また、特許文献２に記載の技術では、採点結果に対するユーザの納得感を向上させることができるものの、楽曲毎に点数の分布からなる採点基準データを予め用意する必要があり、その作業が煩雑である場合があった。特許文献１や特許文献２に記載の技術を楽器の演奏の評価に応用しても上記と同様である。
本発明は上述した背景に鑑みてなされたものであり、歌唱や演奏の巧拙を評価する装置において、楽曲毎に予め採点基準データを用意することなく、装置による評価結果と聴取者が感じた評価結果と間のずれを小さくすることを目的とする。

上述した課題を解決するために、本発明は、楽曲の伴奏音を表す伴奏音データを取得する伴奏音データ取得部と、前記伴奏音に合わせて歌唱された歌唱音声又は演奏された演奏音を表す音データを取得する音データ取得部と、前記音データ取得部が取得した音データの特徴を特定する音データ特徴特定部と、前記伴奏音データ取得部が取得した伴奏音データを解析して当該伴奏音データの特徴を特定する伴奏データ特徴特定部と、前記音データ特徴特定部により特定された特徴に基づき、前記音データを、前記伴奏データ特徴特定部によって特定された特徴に応じた評価態様で評価する評価部とを具備し、前記評価部は、前記音データ特徴特定部により特定された特徴に基づき、前記音データを複数の評価項目について評価する項目別評価部と、前記伴奏データ特徴特定部によって特定された特徴に応じて前記評価項目毎の重み付け係数の値を特定する係数特定部と、前記項目別評価部による前記評価項目毎の評価結果に対して、前記係数特定部によって特定された前記評価項目毎の重み付け係数を用いて重み付けを行い、該重み付け結果に従って前記音データを評価する音データ評価部とを具備し、前記項目別評価部は、前記音データ特徴特定部により特定された特徴に基づき、前記音データを、音程を含む複数の評価項目について評価し、前記伴奏データ特徴特定部は、前記伴奏音データを解析して前記伴奏音のコード進行を特定し、前記係数特定部は、前記伴奏データ特徴特定部によって特定されたコード進行が予め定められたパターンである場合に、前記音程を含む一つまたは複数の評価項目についての重み付け係数の値を大きくすることを特徴とする評価装置を提供する。

また、本発明の更に好ましい態様において、前記伴奏データ特徴特定部は、前記伴奏音データの示す伴奏音において予め定められた時間内に含まれるノートの数を前記伴奏音データの特徴として特定し、前記係数特定部は、前記伴奏データ特徴特定部によって特定された前記ノートの数によって前記音程を含む一つまたは複数の評価項目についての重み付け係数の値を大きくしてもよい。

また、本発明の別の好ましい態様において、前記伴奏音データ取得部は、前記伴奏音データと、前記楽曲の模範となる音を表す模範音データとを取得し、前記項目別評価部は、前記音データ特徴特定部により特定された特徴に基づき、前記音データを、リズムを含む複数の評価項目について評価し、前記伴奏データ特徴特定部は、前記伴奏音データによって表されるリズムと前記模範音データによって表されるリズムとが異なる箇所を前記伴奏音データの特徴として特定し、前記係数特定部は、前記伴奏データ特徴特定部によって特定された箇所において、前記リズムを含む一つまたは複数の評価項目についての重み付け係数の値を大きくしてもよい。

本発明によれば、歌唱や演奏の巧拙を評価する装置において、楽曲毎に予め採点基準データを用意することなく、装置による評価結果と聴取者が感じた評価結果との間のずれを小さくすることができる。

本発明の実施形態におけるシステムの構成図 カラオケ装置のハードウェア構成を表すブロック図 伴奏音データ記憶領域の内容を表す模式図 カラオケ装置の機能的構成の一例を示すブロック図 採点部の機能的構成の一例を示すブロック図 得点部１１９の採点処理の内容の一例を示す図 本実施形態の処理の流れを示すフロー図 採点処理の流れを示すフロー図 得点部１１９の採点処理の内容の一例を示す図

＜実施形態＞
＜構成＞
図１は、本発明の実施形態におけるシステムの構成を表した図である。このシステムは、カラオケ装置１００と、サーバ装置２００と、ネットワークＮＷとを有する。カラオケ装置１００は、歌唱者からの要求に従ってカラオケ楽曲を再生するとともに、再生されるカラオケ楽曲についての歌唱者による歌唱を評価する装置である。ネットワークＮＷはＬＡＮ（Local Area Network）やインターネットであり、カラオケ装置１００とサーバ装置２００との間におけるデータ通信が行われる通信網である。サーバ装置２００は、その内部あるいは外部に備えたＨＤＤ（Hard Disk Drive）等の記憶手段に、カラオケ楽曲に関するコンテンツデータ等の各種データを記憶しており、カラオケ装置１００からの要求に従って、ネットワークＮＷ経由でこのコンテンツデータをカラオケ装置１００に供給する装置である。ここで、コンテンツとは、カラオケ楽曲に関する音声と映像との組み合わせを指す。すなわち、コンテンツデータとは、主旋律の歌声が存在せず伴奏やコーラスで構成されたいわゆる伴奏音データと、この楽曲の歌詞や歌詞の背景に表示する映像からなる映像データとから成り立っている。なお、サーバ装置２００に対してカラオケ装置１００は複数存在してもよい。また、カラオケ装置１００に対してサーバ装置２００が複数存在してもよい。

図２は、カラオケ装置１００のハードウェア構成を表したブロック図である。カラオケ装置１００は本発明に係る評価装置の一例である。カラオケ装置１００は、制御部１０、記憶部２０、操作部３０、表示部４０、通信制御部５０、音声処理部６０、マイクロホン６１、及びスピーカ６２を有し、これら各部がバス７０を介して接続されている。制御部１０は、ＣＰＵ（Central Processing Unit）等のプロセッサーや、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を有している。制御部１０において、ＣＰＵ等のプロセッサーが、ＲＯＭや記憶部２０に記憶されているコンピュータプログラムを読み出しＲＡＭにロードして実行することにより、カラオケ装置１００の各部を制御する。

操作部３０は、各種の操作子を備え、歌唱者による操作内容を表す操作信号を制御部１０に出力する。表示部４０は、例えば液晶パネルを備え、制御部１０による制御の下、各カラオケ楽曲に応じた歌詞テロップや背景映像等の各種画像を表示する。通信制御部５０は、カラオケ装置１００とネットワークＮＷとを有線あるいは無線で接続し、ネットワークＮＷを介したカラオケ装置１００とサーバ装置２００との間のデータ通信を制御する。

サーバ装置２００は、図示せぬプロセッサーや各種メモリを備えたコンピュータであり、特にネットワークストレージ２１０を備えている。ネットワークストレージ２１０は例えばＨＤＤであり、カラオケ楽曲のコンテンツデータ等の各種データを記憶する。図２においてサーバ装置２００は１つのネットワークストレージ２１０を備えているが、ネットワークストレージの数はこれに限ったものではなく、複数のネットワークストレージをサーバ装置２００が備えてもよい。歌唱者により予約されたカラオケ楽曲のコンテンツデータがネットワークストレージ２１０に記憶されている場合、カラオケ装置１００は、通信制御部５０による制御に従ってサーバ装置２００と通信を行い、ネットワークストレージ２１０から読み出されたコンテンツデータをネットワークＮＷ経由でダウンロードしながら、ダウンロードが完了した部分から順次再生する、というストリーミング再生を行う。

マイクロホン６１は、収音した音声を表すアナログの音声信号を音声処理部６０に出力する。音声処理部６０は、Ａ／Ｄ（Analog / Digital）コンバータを有し、マイクロホン６１が出力したアナログの音声信号をデジタルの音声データに変換して制御部１０に出力し、制御部１０はこれを取得する。また、音声処理部６０は、Ｄ／Ａ（Digital / Analog）コンバータを有し、制御部１０から受け取ったデジタルの音声データをアナログの音声信号に変換してスピーカ６２に出力する。スピーカ６２は、音声処理部６０から受け取ったアナログの音声信号に基づく音を放音する。なお、この実施形態では、マイクロホン６１とスピーカ６２とがカラオケ装置１００に含まれている場合について説明するが、音声処理部６０に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン６１からスピーカ６２へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部６０にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。操作部３０や表示部４０についても同様であり、外部入力端子や外部出力端子を設け、キーボードや外部モニタを接続する構成としてもよい。

記憶部２０は、各種のデータを記憶するための記憶手段であり、例えばＨＤＤや不揮発性メモリである。記憶部２０は、伴奏音データ記憶領域２１、映像データ記憶領域２２、ＧＭ（Guide Melody）データ記憶領域２３、及び歌唱音声データ記憶領域２４といった複数の記憶領域を備えている。

図３は、伴奏音データ記憶領域２１の内容を表す模式図である。伴奏音データ記憶領域２１には、各楽曲の伴奏音を表す伴奏音データに関する情報が記憶されている。伴奏音データ記憶領域２１には、「曲番号」、「曲名」、「歌手名」、「ジャンル」、及び「ファイル格納場所」といった複数の項目からなる伴奏音データレコードが複数記憶されている。「曲番号」は、楽曲を一意に識別するための番号であり、例えば４桁の親番号と２桁の枝番号とからなる。「曲名」は、各楽曲の名称を表す。「歌手名」は、各楽曲の歌い手の名称を表す。「ジャンル」は、予め決められた分類基準で分類された複数のジャンルのうち、各楽曲の属する音楽のジャンルを表す。「ファイル格納場所」は、各楽曲の伴奏音データそのものであるデータファイルの格納場所を表し、server1というフォルダを含む場合には伴奏音データのデータファイルがサーバ装置２００に格納されており、server1というフォルダを含まない場合には伴奏音データのデータファイルがカラオケ装置１００に格納されていることを意味している。例えば図３において、曲名が「ＢＢＢ」である楽曲は、伴奏音データのデータファイルがサーバ装置２００に格納されていることを表し、曲名が「ＣＣＣ」である楽曲は、伴奏音データのデータファイルがカラオケ装置１００の記憶部２０に格納されていることを表している。この伴奏音データのデータファイルは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のファイルである。本実施形態では、伴奏音データには、伴奏音のキーを示すキー情報や、伴奏音のテンポを表すテンポ情報が予め付与されている。

映像データ記憶領域２２には、各楽曲の歌詞を示す歌詞データ及び歌詞の背景に表示される背景映像を表す背景映像データが記憶されている。歌詞データによって示される歌詞は、カラオケ歌唱の際に、楽曲の進行に伴って歌詞テロップとして表示部４０に表示される。また、背景映像データによって表される背景映像は、カラオケ歌唱の際に楽曲の進行に伴って歌詞テロップの背景として表示部４０に表示される。ＧＭデータ記憶領域２３には、楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容を指定するデータであるガイドメロディデータ（以下「ＧＭデータ」という）が記憶されている。ＧＭデータは、制御部１０が歌唱者による歌唱の巧拙を評価する際に比較の基準となるものであって、歌唱の対象となる曲に対して予め定められた基準である。なお、制御部１０が行う評価処理については後述するため、ここではその詳細な説明は省略する。ＧＭデータは、例えば、ＭＩＤＩ形式により記述されている。

歌唱音声データ記憶領域２４には、カラオケの対象となった各楽曲について、その伴奏音データが再生されている期間中マイクロホン６１によって収音された歌唱者の歌唱音声が音声処理部６０でデジタルデータに変換されることで生成された音声データが記憶される。この音声データを歌唱音声データという。すなわち、歌唱音声データは、伴奏音データの表す伴奏音に合わせて歌唱さえた歌唱音声を表す音データである。歌唱音声データは、音声の波形を表す音声データであり、例えば、ＷＡＶＥ（RIFF waveform Audio Format）形式のデータファイルとして記憶される。各楽曲についての歌唱音声データは、制御部１０によって、その楽曲のＧＭデータに対応付けられる。

図４は、カラオケ装置１００の機能的構成の一例を示すブロック図である。図４において、伴奏再生部１１及び採点部１２は、制御部１０のＣＰＵ等のプロセッサーが、ＲＯＭや記憶部２０に記憶されているコンピュータプログラムを読み出しＲＡＭにロードして実行することにより実現される。伴奏再生部１１は、カラオケ楽曲の再生を行う。具体的には、伴奏再生部１１は、伴奏音データ及びＧＭデータに基づく音声をスピーカ６２から放音させるとともに、映像データに基づく映像を表示部４０に表示させる。採点部１２は、歌唱音声データのピッチを特定し、特定したピッチに基づいて歌唱者の歌唱音声を評価する。

図５は、採点部１２の機能的構成の一例を示すブロック図である。この実施形態では、採点部１２は、伴奏音データの特徴を特定し、特定した特徴を加味した評価を行う。図５において、ピッチ取得部１１１は、歌唱音声データ記憶領域２４に記憶された歌唱音声データを取得し、取得した歌唱音声データのピッチを特定する。ピッチ取得部１１１は、特定したピッチを表すデータ（以下「ピッチデータ」という）を出力する。

音量取得部１１２は、歌唱音声データ記憶領域２４に記憶された歌唱音声データを取得し、取得した歌唱音声データの音量を特定する。音量取得部１１２は、特定した音量を表すデータ（以下「音量データ」という）を出力する。

声質取得部１１３は、歌唱音声データ記憶領域２４に記憶された歌唱音声データを取得し、取得した歌唱音声データの声質を特定する。声質の特定処理については、例えば、以下のようにして行う。まず、声質取得部１１３は、歌唱音声データに対してＦＦＴ（Fast Fourier Transform）等の処理を行って高域周波数帯域のレベル（音量）（以下「高域レベル」）を算出し、全帯域の音量に対する高域レベルの比率を声質として特定する。この実施形態では、声質取得部１１３は、１ｋＨｚ以上の周波数帯域のレベルを高域レベルとして算出する。なお、声質の特定の態様は上述した処理に限定されるものではなく、声質を特定するものであればどのようなものであってもよい。ピッチ取得部１１１、音量取得部１１２、声質取得部１１３は、本発明に係る音データ取得部及び音データ特徴特定部の一例である。

音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、声質計算部１１８はそれぞれ、ピッチ取得部１１１で取得されたピッチ、音量取得部１１２で取得された音量、声質取得部で取得された声質の少なくともいずれかひとつの特徴を用いて、歌唱音声の評価を行い、評価結果を示す得点を計算する。音程得点計算部１１４は、ピッチ取得部１１１により取得された歌唱音声のピッチに従って、音程についての評価を行う。より具体的には、音程得点計算部１１４は、ピッチ取得部１１１により特定されたピッチを表すピッチデータと、この歌唱音声に対応するＧＭデータを取得する。制御部１０は、ピッチデータとＧＭデータとを時間軸方向に対応付けるとともに、この対応付け結果に従ってピッチデータによって示されるピッチとＧＭデータのピッチとを比較し、両者の差分に基づいて音程についての得点を計算する。より具体的には、例えば、音程得点計算部１１４は、歌唱音声データのピッチの変化と、ＧＭデータの変化とを比較し、これらの一致の程度を示す評価値を算出する。評価値は、あるノートにおいて、両者のピッチの差が予め定められた許容範囲内に収まっていれば１００％（すなわち減点なし）とし、両者のピッチの差が上記範囲内に収まらない部分の期間が、ＧＭデータにおいてこのノートにおける音長の半分に渡っていれば５０％である、といった具合であってもよい。つまり、あるノートにおいて、両者のピッチの差が上記範囲内に収まる期間を、ＧＭデータにおいてこのノートにおける音長で除した値を評価値とする。

歌唱技法計算部１１５は、ピッチ取得部１１１により取得された歌唱音声のピッチと、音量取得部１１２により取得された歌唱音声の音量とに基づいて、歌唱音声データを歌唱技法毎に評価する。この実施形態では、歌唱技法計算部１１５は、歌唱音声データのピッチの変化により歌唱技法を特定し、特定した歌唱技法をノート毎に評価する。この実施形態では、歌唱技法計算部１１５は、「ビブラート」、「しゃくり」、「こぶし」、「フォール」の各歌唱技法について評価を行う。「ビブラート」については、歌唱技法計算部１１５は、ピッチの時間的な変化のパターンを解析し、中心となるピッチの上下に所定の範囲内でピッチが連続的に変動している区間を特定し、特定した区間を含むノートを「ビブラート」が用いられているノートとする。「ビブラート」の歌唱技法については、歌唱技法計算部１１５は、ピッチ変動の一様性とピッチ変動の深さ、継続時間、音量の一様性等を評価し採点する。

「しゃくり」については、歌唱技法計算部１１５は、ピッチの時間的な変化のパターンを解析し、フレーズの冒頭で低いピッチから目的のピッチに連続的にピッチが変化する区間を特定し、特定した区間を含むノートを「しゃくり」の歌唱技法が用いられているノートとする。「しゃくり」の歌唱技法については、歌唱技法計算部１１５は、ピッチの変動幅と変動時間等を評価し採点する。

「フォール」については、歌唱技法計算部１１５は、ピッチの時間的な変化のパターンを解析し、フレーズの終わりで一定のピッチで長く伸ばすロングトーンから低いピッチに連続的にピッチが変化する区間を特定し、特定した区間を含むノートを「フォール」の歌唱技法が用いられているノートとする。「フォール」の歌唱技法については、歌唱技法計算部１１５は、ピッチの変動幅と変動時間等を評価し採点する。

「こぶし」については、歌唱技法計算部１１５は、ピッチの時間的な変化のパターンを解析し、フレーズ中に短時間でピッチが上下する区間を特定し、特定した区間を含むノートを「こぶし」が用いられているノートとする。「こぶし」の歌唱技法については、歌唱技法計算部１１５は、ピッチの変動幅と変動時間等を評価し採点する。

抑揚計算部１１６は、音量取得部１１２により取得された音量に基づいて抑揚の巧拙をノート毎に評価する。評価の態様としては、例えば、ＧＭに含まれるノート毎に音量基準値が設定されている構成とし、抑揚評価部１１６が、この音量基準値と歌唱音声データから特定された音量とを比較し、両者の差分に応じて抑揚の巧拙を評価してもよい。また、例えば、小節毎等の予め定められた区間毎に音量基準値が設定されている構成とし、抑揚評価部１１６が、区間毎の設定された音量基準値と歌唱音声データから特定された音量とを比較し、比較結果に応じて評価してもよい。

リズム計算部１１７は、ピッチ取得部１１１により取得された歌唱音声のピッチと、音量取得部１１２により取得された歌唱音声の音量とに基づき、歌唱音声のリズムをノート毎に評価する。リズム計算部１１７は、歌唱音声のピッチと音量とから、ＧＭに含まれる各ノートに対応する音の発音タイミングを特定し、特定した発音タイミングとＧＭに含まれるノートの発音タイミングとを比較し、両者の差分に応じて評価を行う。

声質計算部１１８は、声質取得部１１３により取得された声質に基づき、歌唱音声の声質をノート毎に評価する。この実施形態では、声質計算部１１８は、声質取得部１１３により取得された声質（全帯域の音量に対する高域レベルの比率）に応じて声質の評価を行う。このとき、声質計算部１１８は、全帯域の音量に対する高域レベルの比率が大きいほど評価が高くなるように、声質の評価値を計算する。なお、声質の評価の態様はこれに限定されるものではなく、公知の他の技術を用いて声質を評価するものであってもよい。

得点部１１９は、音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、及び声質計算部１１８により計算された評価値を用いて歌唱音声の評価を行う。このとき、得点部１１９は、音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、及び声質計算部１１８により計算されたノート毎の評価値に対して、コード取得部１２１、キー変化取得部１２３、同時発音数取得部１２４、伴奏リズム取得部１２５、テンポ変化取得部１２７から通知される重み付け係数を用いて重み付けを行い、歌唱音声の得点を計算する。この重み付け処理については後述する。音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、声質計算部１１８、及び得点部１１９は、本発明に係る評価部の一例である。得点部１１９は、計算した結果を表示部４０に出力し、計算結果を表示部４０に表示させる。

伴奏特徴抽出部１２０は、操作部３０から歌唱者によって選択された楽曲の曲番号を取得し、取得した曲番号に対応する伴奏音データを伴奏音データ記憶領域２１から取得し、取得した伴奏音データの特徴を特定する。伴奏特徴抽出部１２０は、本発明に係る伴奏音データ取得部及び伴奏データ特徴特定部の一例である。伴奏特徴抽出部１２０は、コード取得部１２１と、キー取得部１２２と、キー変化取得部１２３と、同時発音数取得部１２４と、伴奏リズム取得部１２５と、テンポ取得部１２６と、テンポ変化取得部１２７とで構成される。

コード取得部１２１は、伴奏音データの単位時間（例えば、１小節、等）に含まれるピッチのパターンを解析することによって、伴奏音データの単位時間毎のコード（コード進行）を特定する。なお、伴奏音データのコード進行の特定の態様はこれに限らず、例えば、コード進行を表すデータ（コード進行データ）を伴奏音データに予め付与しておく構成とし、コード取得部１２１が、伴奏音データに付与されたコード進行データを読み出すことによって単位時間毎のコードを特定してもよい。また、コード取得部１２１は、例えば特開２００４−１８４５１０号公報に示されるオーディオ信号からの和音進行検出及びデータ化技術等の公知の技術を用いてコードを特定してもよい。

この実施形態では、コード取得部１２１は、特定したコードに応じて、「音程」、「リズム」、「抑揚」、「技法」、といった複数の評価項目についての重み付け係数の値を特定し、特定した重み付け係数を得点部１１９に通知する。より具体的には、この実施形態では、コード取得部１２１は、コード進行が予め定められたパターン（例えば、Ｖ→Ｉ）である場合に、「音程」を含む一つまたは複数の評価項目に対応する重み付け係数の値を大きくする。例えば、コード進行がＶからＩに変化する箇所においてはメロディが終止し、音程が重要視されるため、このような箇所が上手く歌唱されると、聴取者は歌唱が上手いと感じる場合が多い。そのため、このようにコード進行が予め定められたパターンの箇所において「音程」の評価項目についての重み付けを大きくすることによって、装置の評価を聴取者の評価に近づけることができる。一方、コード取得部１２１は、コード進行が予め定められたパターンでない場合には、各評価項目について予め定められた値を重み付け係数の値として特定する。

キー取得部１２２は、伴奏音データに付与されたキー情報を取得することによって、伴奏音データのキーを特定する。なお、伴奏音データのキーの特定の態様はこれに限らない。例えば、キー取得部１２２は、伴奏音データに含まれるピッチのパターンを解析することによって、伴奏音データのキーを特定してもよい。キー取得部１２２は、取得したキーを示す情報をキー変化取得部１２３に出力する。

キー変化取得部１２３は、キー取得部１２２から出力される情報に従って、伴奏音データの表す伴奏音においてキーが変化する箇所を特定する。キー変化取得部１２３は、特定結果に従って、「音程」、「リズム」、「抑揚」、「技法」、といった複数の評価項目についての重み付け係数の値を特定し、特定した重み付け係数を得点部１１９に通知する。このとき、キー変化取得部１２３は、キーが変化した後の「音程」を含む一つまたは複数の評価項目に対応する重み付け係数の値を大きくする。キーが変化する箇所においては音程がとりづらいため、キーが変化した箇所において「音程」の評価項目についての重み付けを大きくすることによって、装置の評価を聴取者の評価に近づけることができる。一方、キー変化取得部１２３は、キーが変化していない箇所においては、各評価項目について予め定められた値を重み付け係数の値として特定する。

同時発音数取得部１２４は、伴奏音データの表す伴奏音において予め定められた単位時間（例えば、０．１ｓ、１小節、等）内に含まれるノートの数を伴奏音データの特徴として特定する。同時発音数取得部１２４は、特定結果に従って複数の評価項目についての重み付け係数の値を特定し、特定した重み付け係数を得点部１１９に通知する。このとき、同時発音数特定部１２４は、特定されたノートの数（一定時間内に発音されたノートの数）によって「音程」を含む一つまたは複数の評価項目についての重み付け係数の値を加減する。この実施形態では、同時発音数特定部１２４は、特定されたノートの数が少ないほど、「音程」の評価項目についての重み付け係数の値を大きくする。伴奏の同時発音数が少ない部分ではアカペラに近い状態となり歌唱が目立つため、「音程」の評価の重み付けを大きくすることで、装置の評価を聴取者の評価に近づけることができる。一方、同時発音数が多い部分では歌唱は目立たないため、このような箇所において「音程」の評価の重み付けを大きくする必要はない。

また、同時発音数取得部１２４は、伴奏音データの表す伴奏音において予め定められた単位時間内における伴奏の同時発音数（単位時間内に含まれるノートの数）の変動を特定し、特定結果に従って複数の評価項目についての重み付け係数の値を特定してもよい。このとき、同時発音数取得部１２４は、同時発音数（単位時間内に含まれるノートの数）の変動が小さい場合は、単位時間内における楽曲の構成がなだらかである（バラード箇所）と判断し、このような箇所でも歌唱が目立つため、「音程」の評価項目の重み付けを大きくしてもよい。このようにすることで、装置の評価を聴取者の評価に近づけることができる。

伴奏リズム取得部１２５は、伴奏音データを解析して、伴奏音データによって表されるリズムを特定し、特定結果に応じて、評価項目毎の重み付け係数の値を特定する。より具体的には、この実施形態では、伴奏リズム取得部１２５は、ＧＭデータによって表されるリズムを特定し、伴奏音データのリズムとＧＭデータのリズムとがずれている箇所（例えば、シンコペーション、３連符等）においては、「リズム」を含む一つまたは複数の評価項目についての重み付け係数の値を大きくする。伴奏のリズムと歌唱のリズムとがずれている場合（シンコペーションや３連符等）においては、リズムがとりづらいため、このような箇所で上手くリズムのあった歌唱が行われると、聴取者は歌唱が上手いと感じる場合が多い。そのため、伴奏音データのリズムとＧＭデータのリズムとがずれている箇所において「リズム」の評価項目についての重み付けを大きくすることによって、装置の評価を聴取者の評価に近づけることができる。

テンポ取得部１２６は、伴奏音データに付与されたテンポ情報を取得することによって、伴奏音データのテンポを特定する。なお、伴奏音データのテンポの特定の態様はこれに限らない。例えば、テンポ取得部１２６は、伴奏音データに含まれる各ノートの発音タイミングを解析することによってテンポを特定してもよい。テンポ取得部１２６は、特定したテンポを表す情報をテンポ変化取得部１２７に出力する。

テンポ変化取得部１２７は、テンポ取得部１２６から出力される情報に従って、伴奏音データの表す伴奏音においてテンポが変化する箇所を特定する。テンポ変化取得部１２７は、テンポが変化する箇所において、「リズム」を含む一つまたは複数の評価項目についての重み付け係数の値が大きくなるように各評価項目の重み付け係数の値を特定し、特定した重み付け係数を、音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、声質計算部１１８に通知する。この実施形態では、テンポが変化する箇所ではリズムがとりにくくなるので、そのような箇所でテンポ通りに歌えると得点が上昇するように、テンポが変化する部分のリズムの重み付けを大きくする。

得点部１１９は、音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、及び声質計算部１１８により計算されたノート毎の評価値に対して、コード取得部１２１、キー変化取得部１２３、同時発音数取得部１２４、伴奏リズム取得部１２５、テンポ変化取得部１２７によって通知された重み付け係数を用いて重み付けを行って、歌唱音声の得点を計算する。

図６は、得点部１１９が行う得点計算処理の内容の一例を説明するための図である。図６に示す例では、歌唱音声データに含まれる各ノートについて、「音程」、「リズム」、「抑揚」、「技法」、といった複数の評価項目毎に、「得点」と「重み」とが得点部１１９に通知される。図６において、「得点」は、音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、声質計算部１１８のそれぞれから通知される、評価項目毎のノート単位での得点を示す。「重み」は、コード取得部１２１、キー変化取得部１２３、同時発音数取得部１２４、伴奏リズム取得部１２５、テンポ変化取得部１２７のそれぞれから通知される評価項目毎の重み付け係数の平均値を示す。得点部１１９は、これらの「得点」と「重み」とを評価項目毎に乗算し、その平均値を求めることによってノート毎の評価値を求める。得点部１１９は、このノート毎の評価値を集計することによって、歌唱音声全体の評価を行う。

＜動作＞
図７は、制御部１０が行う処理の流れを示すフロー図である。操作部３０を介して歌唱者により楽曲が予約されると（ステップＳ１００；Ｙｅｓ）、制御部１０は、記憶部２０から予約された楽曲の検索を行う（ステップＳ１０２）。具体的にはステップＳ１０２において、制御部１０は、伴奏音データ記憶領域２１、映像データ記憶領域２２、及びＧＭデータ記憶領域２３の各々から、選択された楽曲の曲番号または曲名をキーにして、その楽曲に関するデータを検索し、検索結果のデータをＲＡＭに読み込む。

次いで、制御部１０は、ＲＡＭに記憶された伴奏音データ、映像データ、及びＧＭデータに基づいて、カラオケ楽曲の再生を行う（ステップＳ１０４）。具体的にはステップＳ１０４において、制御部１０は、伴奏音データ及びＧＭデータに基づく音声をスピーカ６２から放音させるとともに、映像データに基づく映像を表示部４０に表示させる。そして制御部１０は、マイク６１によって収音された歌唱者の歌唱音声が音声処理部６０によってデジタルのデータに変換されたものである歌唱音声データを、歌唱音声データ記憶領域２４に記憶させる（ステップＳ１０６）。カラオケ楽曲の再生が終了すると、制御部１０は、歌唱音声データ記憶領域２４に記憶された歌唱音声データとＧＭデータとに基づいて、歌唱の採点を行う（ステップＳ１０８）。そして制御部１０は、採点結果を表示部４０に表示させる（ステップＳ１１０）。

図８は、制御部１０が行う採点処理（図７のステップＳ１０８）の流れを示すフロー図である。まず、制御部１０は、上述したピッチ取得部１１１、音量取得部１１２、声質取得部１１３の処理を行う。すなわち、制御部１０は、歌唱音声データにより示される音の特徴（ピッチ、音量、声質）を特定する（ステップＳ２００）。次いで、制御部１０は、上述した音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、声質計算部１１８の処理を行う。すなわち、制御部１０は、ステップＳ２００で特定した特徴を用いて歌唱音声データを評価項目毎に評価する（ステップＳ２１０）。次いで、制御部１０は、上述した伴奏特徴抽出部１２０の処理を行う。すなわち、制御部１０は、伴奏音データの特徴（コード、キー、キー変化、所定時間内のノート数、リズム、テンポ、テンポ変化）を特定し（ステップＳ２２０）、特定した特徴に基づいて評価項目毎の重み付け係数の値を特定する（ステップＳ２３０）。次いで、制御部１０は、上述した得点部１１９の処理を行う。すなわち、制御部１０は、ステップＳ２１０で特定された評価項目毎の評価結果に対して、ステップＳ２３０で特定された評価項目毎の重み付け係数を用いて重み付けを行い、重み付け結果に従って歌唱音声データを評価する（ステップＳ２４０）。

なお、図８に示す例では、制御部１０は、歌唱音声データの特徴を特定した（ステップＳ２００）後に、歌唱音声データを評価項目毎に評価し（ステップＳ２１０）、その後、伴奏音データの特徴を特定する（ステップＳ２３０）構成としたが、制御部１０が行う処理の順序はこれに限らない。例えば、制御部１０は、図８に示すステップＳ２１０とステップＳ２２０の処理の順序を入れ替えて、伴奏音データの特徴を特定した後に、歌唱音声データを評価項目毎に評価してもよい。また、例えば、制御部１０は、ステップＳ２００の処理とステップＳ２２０の処理とをマルチタスクＯＳ等により並行に処理する構成であってもよい。このように、制御部１０が行う処理の順序は任意であり、伴奏音データの特徴に従って評価項目毎の評価値に重み付けを行った歌唱音声データを評価する構成であればよい。

上述したように本実施形態では、コード進行、伴奏のリズム、単位時間内のノート数（同時発音数）といった伴奏の特徴を用いて歌唱音声を評価する。このようにすることにより、より聴いた感じに近い採点を行うことができる。例えば、伴奏の同時発音数が少ない部分では歌唱が目立つので、その部分の「音程」の採点結果を重視する、といった採点を行うことができる。また、本実施形態では、伴奏特徴抽出部１２０が伴奏音データの特徴を特定するから、楽曲毎に予め採点用の採点基準データを用意する必要がなく、既存のカラオケ装置において用いられている伴奏音データを用いて、聴取者の聴いた感じに近い採点を行うことができる。

＜変形例＞
上述の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。また、上記実施形態と以下の変形例を組み合わせて実施しても良い。

＜変形例１＞
上述の実施形態では、制御部１０が、マイクロホン６１によって収音された音声のピッチ、音量、音質を音データの特徴として特定したが、音データの特徴はこれらに限らない。例えば、制御部１０は、ＦＦＴなどを用いて得られる周波数分析結果や、特定の倍音のパワーの変動、特定の倍音と基音のパワーの比率、倍音成分のパワーの合計と基音パワーの比率、ＳＮ比率、等を音データの特徴として特定してもよい。また、他の例として、例えば、制御部１０は、ラウドネス（音量を聴覚の周波数特性に合わせて補正した値。「Ａ特性音圧レベル」、「サウンドレベル」とも呼ばれる。）等を音の特徴として特定してもよい。このように、音声の特徴を表すものであればどのようなものであってもよく、特定される特徴を用いて音声が評価される構成であればよい。また、上述の実施形態では、制御部１０が、音声のピッチ、音量、音質を音データの特徴として特定したが、例えば、音声の音量や音質を特定せずにピッチのみを用いて評価を行う構成としてもよい。

＜変形例２＞
上述の実施形態では、制御部１０は、「音程」、「リズム」、「抑揚」、「技法」、といった評価項目について評価を行ったが、評価項目は上述した実施形態で示したものに限らない。例えば、トレモロ、ため、ファルセットといった技法について評価を行ってもよく、要は、制御部１０が、歌唱音声データにより示される音を評価項目毎に評価するものであればどのようなものであってもよい。

＜変形例３＞
上述の実施形態では、制御部１０は、評価結果を表示部４０にさせることによって評価結果を示すデータを出力したが、評価結果を示すデータの出力態様はこれに限らない。例えば、制御部１０が、評価結果を示すデータを、外部接続された記憶装置に出力するようにしてもよく、また、例えば、通信ネットワークを介して接続されたサーバ装置へ送信することによって評価結果データを出力するようにしてもよい。また、上述の実施形態では、採点結果を表示部４０に出力することによって歌唱者に報知したが、報知の態様はこれに限らず、例えば、音声メッセージや報知音、結果をプリントした紙や電子データによって報知してもよく、採点結果を歌唱者に報知するものであればどのようなものであってもよい。

＜変形例４＞
上述の実施形態では、制御部１０は、歌唱者の歌唱音声を評価したが、歌唱者の歌唱音声に代えて、演奏者による楽器の演奏音を評価してもよい。すなわち、本発明に係る音データは、楽曲の伴奏音に合わせて歌唱された歌唱音声を表す音データであってもよく、また、伴奏音に合わせて演奏された演奏音を表す音データであってもよい。本実施形態にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。

＜変形例５＞
上述の実施形態では、伴奏音データから抽出された特徴に応じて評価項目毎の重み付け係数の値を特定する処理として、音程得点計算部１１４が、コード取得部１２１によって取得されたコード進行に応じて「音程」についての重み付け係数の値を大きくする場合や、キー変化取得部１２３によって取得されたキーの変化箇所において「音程」についての重み付け係数の値を大きくする場合等について説明した。伴奏音データから抽出された特徴に応じて評価項目毎の重み付け係数の値を特定する処理は、上述した実施形態において説明したものに限定されない。

例えば、伴奏音データに含まれるノートのピッチとＧＭデータのピッチとを比較し、比較結果に基づいて経過音を特定する経過音取得部１２８（図５に点線で図示）を設ける構成とし、経過音取得部１２８が、特定された経過音については「音程」の評価項目の重み付け係数を大きくしてもよい。一般的に経過音は音程をとりにくいため、経過音における「音程」の重み付け係数を大きくすることで、装置の評価結果を聴取者の評価に近づけることができる。

また、他の例として、例えば、伴奏データを解析して伴奏のフレーズ構造を特定し、特定したフレーズ構造から、フレーズ中の頂点（音量のピークをもってくるべき場所）を推定するピーク位置取得部１２９（図５に点線で図示）を設ける構成とし、ピーク位置取得部１２９が、推定されたピークの位置において「抑揚」の重み付け係数の値を大きくしてもよい。ピーク位置取得部１２９が行うピーク位置の推定処理については、例えば、「（橋田光代・田中駿二・片寄晴弘著、「ユーザの意図に応える演奏表現デザイン支援環境」、情報処理学会研究報告（音楽情報科学）、２０１０年２月）」の文献に開示された技術を用いる。

また、上述の実施形態では、採点部１２は、歌唱音声を評価項目毎に評価し、評価項目毎の評価結果に対して重み付け係数を用いて重み付けを行うことによって、歌唱音声全体の評価を行ったが、評価の態様はこれに限らない。例えば、採点部１２は、音程のみの基づいて歌唱音声の評価を行ってもよい。この場合は、重み付け係数を用いる必要はなく、採点部１２は、例えば、コード進行が予め定められたパターンである場合に採点基準を厳しくする、といった処理を行ってもよい。採点部１２は、歌唱音声データから特定された特徴に基づき、歌唱音声データを、伴奏音データから特定された特徴に基づいた評価態様で評価するものであればどのようなものであってもよい。

また、上述の実施形態では、伴奏音データに伴奏音のキーを示すキー情報や、伴奏音のテンポを表すテンポ情報が予め付与されている構成としたが、これに限らず、ＧＭデータにキー情報やテンポ情報が付与されている構成であってもよい。この場合も、上述の実施形態と同様に、伴奏特徴取得部１２０が、ＧＭデータからキー情報やテンポ情報を取得し、取得したキー情報やテンポ情報に従って評価項目毎の重み付け係数を特定すればよい。

＜変形例６＞
上述の実施形態では、音程得点計算部１１４、歌唱技法計算部１１５、抑揚計算部１１６、リズム計算部１１７、声質計算部１１８は、歌唱音声データをノート毎に採点し、ノート毎の採点結果を集計することで、歌唱音声データを評価したが、歌唱音声データの評価の態様はこれに限らない。例えば、図９に示すように、各評価項目においてすべてのノートに対し採点を行い、各採点結果に対してそれぞれ重み付け係数を乗算し、それらの平均値または合計値を算出することによって評価項目毎の評価値を求めてもよい。この場合、得点部１１９は、得られた評価項目毎の得点の平均値又は合計値を算出することで、歌唱音声データの得点とする。なお、合計値を算出する場合は、得点部１１９は、最大値が１００点になるように正規化を行ってもよい。

＜変形例７＞
上述の実施形態では、制御部１０が、歌唱音声データを歌唱音声データ記憶領域２４に記憶し、歌唱が終了した後に採点を行うようにしたが、これに限らず、歌唱中にリアルタイムで採点処理を行うようにしてもよい。歌唱中にリアルタイムで採点処理を行う場合には、制御部１０は、採点結果の表示を、歌唱者の歌唱中に随時行ってもよく、また、歌唱終了後に行ってもよい。

＜変形例８＞
上述の実施形態において、通信ネットワークで接続された２以上の装置が、上記実施形態のカラオケ装置１００に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１００を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、採点処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して採点し、採点結果をコンピュータ装置に送信してもよい。この態様によれば、カラオケ端末の処理負荷が軽減され、また、サーバにおける統計処理が可能になる。

また、上述の実施形態では、制御部１０がＲＯＭ又は記憶部２０に記憶されたコンピュータプログラムを読み出して実行することによって図４に示す伴奏再生部１１や採点部１２が実現されたが、伴奏再生部１１や採点部１２は、ＣＰＵ等の制御部によりソフトウェアとして実現されるに限らない。カラオケ装置１００が図４に示される機能要素の各々に対応する専用のハードウェア（回路）を有していてもよい。

＜変形例９＞
本発明は、評価装置以外にも、これらを実現するための方法や、コンピュータに音声評価機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。この態様によれば、家庭のＰＣ（Personal Computer）や携帯端末（スマートフォンを含む）、ゲーム装置等で、上述した実施形態に係るサービスを提供できる。

１０…制御部、２０…記憶部、２１…伴奏音データ記憶領域、２２…映像データ記憶領域、２３…ＧＭデータ記憶領域、２４…歌唱音声データ記憶領域、３０…操作部、４０…表示部、５０…通信制御部、６０…音声処理部、６１…マイクロホン、６２…スピーカ、７０…バス、１００…カラオケ装置、１１１…ピッチ取得部、１１２…音量取得部、１１３…音質取得部、１１４…音程得点計算部、１１５…歌唱技法計算部、１１６…抑揚計算部、１１７…リズム計算部、１１８…声質計算部、１１９…得点部、１２０…伴奏特徴抽出部、１２１…コード取得部、１２２…キー取得部、１２３…キー変化取得部、１２４…同時発音数取得部、１２５…伴奏リズム取得部、１２６…テンポ取得部、１２７…テンポ変化取得部、１２８…経過音特定部、２００…サーバ装置、２１０…ネットワークストレージ

Claims (3)

1. 楽曲の伴奏音を表す伴奏音データを取得する伴奏音データ取得部と、
   前記伴奏音に合わせて歌唱された歌唱音声又は演奏された演奏音を表す音データを取得する音データ取得部と、
   前記音データ取得部が取得した音データの特徴を特定する音データ特徴特定部と、
   前記伴奏音データ取得部が取得した伴奏音データを解析して当該伴奏音データの特徴を特定する伴奏データ特徴特定部と、
   前記音データ特徴特定部により特定された特徴に基づき、前記音データを、前記伴奏データ特徴特定部によって特定された特徴に応じた評価態様で評価する評価部と
   を具備し、
   前記評価部は、
   前記音データ特徴特定部により特定された特徴に基づき、前記音データを複数の評価項目について評価する項目別評価部と、
   前記伴奏データ特徴特定部によって特定された特徴に応じて前記評価項目毎の重み付け係数の値を特定する係数特定部と、
   前記項目別評価部による前記評価項目毎の評価結果に対して、前記係数特定部によって特定された前記評価項目毎の重み付け係数を用いて重み付けを行い、該重み付け結果に従って前記音データを評価する音データ評価部と
   を具備し、
   前記項目別評価部は、前記音データ特徴特定部により特定された特徴に基づき、前記音データを、音程を含む複数の評価項目について評価し、
   前記伴奏データ特徴特定部は、前記伴奏音データを解析して前記伴奏音のコード進行を特定し、
   前記係数特定部は、前記伴奏データ特徴特定部によって特定されたコード進行が予め定められたパターンである場合に、前記音程を含む一つまたは複数の評価項目についての重み付け係数の値を大きくする
   ことを特徴とする評価装置。
2. 前記伴奏データ特徴特定部は、前記伴奏音データの示す伴奏音において予め定められた時間内に含まれるノートの数を前記伴奏音データの特徴として特定し、
   前記係数特定部は、前記伴奏データ特徴特定部によって特定された前記ノートの数によって前記音程を含む一つまたは複数の評価項目についての重み付け係数の値を加減する
   ことを特徴とする請求項１に記載の評価装置。
3. 前記伴奏音データ取得部は、前記伴奏音データと、前記楽曲の模範となる音を表す模範音データとを取得し、
   前記項目別評価部は、前記音データ特徴特定部により特定された特徴に基づき、前記音データを、リズムを含む複数の評価項目について評価し、
   前記伴奏データ特徴特定部は、前記伴奏音データによって表されるリズムと前記模範音データによって表されるリズムとが異なる箇所を前記伴奏音データの特徴として特定し、
   前記係数特定部は、前記伴奏データ特徴特定部によって特定された箇所において、前記リズムを含む一つまたは複数の評価項目についての重み付け係数の値を大きくする
   ことを特徴とする請求項１または２に記載の評価装置。

Images