JP4048249B2 - カラオケ装置 - Google Patents

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの（たとえば特許文献１）やこれに音量変化の評価を加味したもの（特許文献２）などがあった。

特開平１０−４９１８３号公報 特開平１０−１６１６７３号公報

しかし、一般的なガイドメロディは、機械的に音符（ノートオンイベントデータおよびノートオフイベントデータ）を配列したＭＩＤＩデータであり、音量情報は一定（たとえば１００に固定）であるため、このガイドメロディデータに基づいて抑揚を採点することはできなかった。このため、いわゆる「棒読み」であっても音程（周波数）が合っていれば高得点になり、実際の歌唱の巧拙と一致しない採点結果になってしまうという問題点があった。

この発明は、歌唱音量の抑揚を検出して音量について採点可能にした採点機能付きのカラオケ装置を提供することを目的とする。

この発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、前記歌唱音声を、休符や音切り等で区切られる複数の音符からなるフレーズに区切るフレーズ分割手段と、各フレーズにおける歌唱音声のフレーズ全体の音量平均値に対する各音符の音量平均値の差の平均値、または、各フレーズにおける歌唱音声のフレーズ全体のピーク値に対する各音符のピーク値の差の平均値を、曲全体分集計することによって前記歌唱音声の音量の変化である抑揚を検出し、この抑揚の程度に基づいて前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。

この発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、前記歌唱音量の音量変化率を検出する音量変化率検出手段と、前記歌唱音声を、休符や音切り等で区切られる複数の音符からなるフレーズに区切るフレーズ分割手段と、各フレーズにおける各音符の音量変化率の平均値である変化率平均値のばらつきを、曲全体分集計することによって前記歌唱音声の音量の変化である抑揚を検出し、この抑揚の程度に基づいて前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。

以上のようにこの発明によれば、歌唱者の歌唱を採点する場合に、音程（周波数）の正確さだけでなく、歌唱音量に抑揚があるかを判定することができるため、いわゆる棒読みに対しては低い評価をして、実際の歌唱の巧拙に基づく採点をすることが可能になる。

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱音声の周波数（ピッチ）および音量（レベル）を採点し、曲の終了後に点数を算出して表示する採点動作を実行する。

図１は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、ボーカルアダプタ１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３が接続されている。ハードディスク１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。ＲＡＭ１２には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。

音源１３は、ＣＰＵ１０が実行する曲シーケンサ３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。

また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ１９にも入力される。ボーカルアダプタ１９は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、ＣＰＵ１０の曲シーケンサ３１から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて３０ｍｓ毎にＣＰＵ１０（採点モード処理３４）に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、Ｃ０からのセント値で表現される。

ＨＤＤ１１に記憶されている背景映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのＯＳＤを合成する回路である。この合成された映像信号はモニタディスプレイ２２に表示される。

操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に入力する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム３５はシステムプログラムに含まれるものである。

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリア４０から読み出す。シーケンサ３０は、曲シーケンサ３１および歌詞シーケンサ３２からなっており、歌詞シーケンサ３２は、文字パターン作成プログラム３２ａを含んでいる。曲シーケンサ３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ２０に入力する。

ここで、図２を参照してハードディスク１１に記憶されている曲データについて説明する。曲データは、同図（Ａ）に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音（ガイドメロディ）の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１３に入力することにより、音源１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と１コーラス目の区切りに書き込まれる１コーラス目マーク、１コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と２コーラス目の区切りに書き込まれる２コーラス目マーク、２コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。

通常モードのカラオケ曲の演奏では、シーケンサ３０により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム３４により、採点処理動作が実行される。

まず図３の機能ブロックを参照して、採点モード時の各部の処理について説明する。マイク１７から入力された歌唱音声信号は、Ａ／Ｄコンバータ１８でデジタル信号に変換される。デジタル信号に変換された音声信号（デジタル音声信号）は、ボーカルアダプタ１９、および、ボーカルアダプタ１９を介してＣＰＵ１０に入力される（同時にミキサ１４にも入力されるがここでは採点モードの動作のみについて説明する）。ボーカルアダプタ１９では、このデジタル音声信号が歌唱周波数検出部１０２に入力される。歌唱周波数検出部１０２はこのデジタル音声信号の歌唱周波数（セント値）を検出する。検出された歌唱周波数データはＣＰＵ１０の採点モード処理プログラム３４に入力される。一方、ボーカルアダプタ１９を介してＣＰＵ１０に入力されるデジタル音声信号も採点モード処理プログラム３４に入力される。

一方、リファレンス周波数検出部１０１には、カラオケ曲の演奏に同期して、曲シーケンサ３１からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部１０１は、入力されたＭＩＤＩデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として出力する。

歌唱音声検出部１０２による歌唱周波数の検出およびリファレンス周波数検出部１０１によるリファレンス周波数の検出は、３０ｍｓ毎に同期して実行され、その検出結果が３０ｍｓ毎に採点モード処理プログラム３４に入力される。また、ＣＰＵ１０の採点モード処理プログラム３４では、デジタル音声信号に基づいて歌唱音声レベル（音量）を検出するが、この処理動作は、上記サンプル周期に同期して３０ｍｓ毎に行われる。

また、リファレンス周波数検出部１０１は、曲シーケンサ３１からノートオン／オフイベントデータおよびマークデータが入力されると、直ちに、ノートオン情報、ノートオフ情報およびマークデータ情報を採点モード処理プログラム３４に通知する。

採点モード処理プログラム３４では、入力された歌唱周波数およびリファレンス周波数に対してローパスフィルタ（ＬＰＦ）処理（１０５、１０６）を行うとともに、入力されたデジタル音声信号から音量エンベロープを検出する（１０８）。この音量エンベロープの検出処理もＬＰＦ処理である。

採点モード処理プログラム３４は、ＬＰＦ処理された歌唱周波数、リファレンス周波数、デジタル音声信号から検出された音量エンベロープおよびノートオン／オフ情報、マークデータ情報をリストメモリに蓄積記憶してゆき、ノートオフ時および曲終了時などにこの蓄積したデータを用いて採点処理を行う。リストメモリは図４に示すような構成になっている。

まず、周波数データに対するＬＰＦ処理、および、採点処理動作について説明する。
リファレンス周波数に対するＬＰＦ処理は、機械的な音高列であるリファレンス（図５（Ａ）参照）の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するＬＰＦ処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。

図５（Ａ）はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してＬＰＦ処理を行うことにより、同図（Ｂ）に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このＬＰＦ処理の対象外にする。これにより、音の無い区間のデータによりＬＰＦ処理が不自然な動きになってしまうことを防止することができる。

同図（Ｃ）は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符（音高）の変わり目でなだらかな音高の移行（いわゆる「しゃくり」）をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをＬＰＦ処理することにより、同図（Ｄ）に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。

なお、マイク１７から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部１０２は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がＬＰＦ処理部１０６に入力されると、その１サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、１５０セント以上の突然の音高変化があった場合には、そのデータを無視して（直前のサンプルデータをもう一度採用して）ＬＰＦ処理を行うことにより、ノイズによる悪影響を防止することができる。

歌唱周波数およびリファレンス周波数のデータ列は、３０ｍｓ毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するＬＰＦ処理部１０６は、カットオフ周波数５．５Ｈｚの２次フィルタを用い、リファレンス周波数に対するＬＰＦ処理部１０５は、カットオフ周波数５Ｈｚの２次フィルタを用いている。
また、エンベロープ検出部１０８も音声信号周波数成分をカットしてエンベロープのみを取り出すためにＬＰＦで構成しており、このＬＰＦのカットオフ周波数を５．５Ｈｚ程度の低い周波数にしている。これにより、音声信号周波数成分をカットするとともに、ビブラートや声の震えなどのノイズ成分も除去することができる。

また、この実施形態では、歌唱周波数、リファレンス周波数の両方に対してＬＰＦ処理を行っているが、どちらか一方のみに対して行っても上記それぞれの効果を得ることができる。また、歌唱周波数、リファレンス周波数の両方にＬＰＦ処理をしなくても、後述のノート単位の採点は可能である。

ＬＰＦ処理をされた歌唱周波数およびリファレンス周波数は、採点部１０７に入力される。採点部１０７は、この歌唱周波数とリファレンス周波数に基づいて歌唱音程の正確さについての採点を行う。

採点処理はたとえば以下のようである。採点部１０７は、歌唱周波数とリファレンス周波数とを比較し、その差分（セント値）を算出し、この差分に基づいて各ノート（音符）毎に合格ノート、不合格ノートを判定する。各ノート（音符）毎にノートオン情報・ノートオフ情報が、リファレンス周波数検出部１０１から採点部１０７に入力される。採点部１０７は、そのノート区間に、歌唱周波数が所定（１〜複数）サンプル以上歌唱旋律の音高に合っていた（リファレンス周波数から許容範囲の周波数に入っていた）場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。

曲が終了したとき、各ノート毎に決定された合格ノート、不合格ノートの数に基づいて得点を求める。得点は、原則として、合格ノート数の楽曲の全ノート数に対するパーセント、すなわち合格ノート数を全ノート数で除算して１００を掛けたものであるが、この重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算するようにしている。そして、カラオケ装置におけるエンターテイメント機能であることを考慮して、これに５０を掛けた値に５０を加算して１００点満点とし、最低でも５０点が出るようにしている。この算出方式では、合格ノートのみを採点の対象にしているが不合格ノートの数やそのランクを採点の対象にしてもよい。

次に、図６〜図９を参照して、音量エンベーロプに基づいて歌唱の抑揚を判定する手法について説明する。この判定処理は、採点部１０７が実行する。
図６は抑揚判定処理を説明する図である。この図は、フレーズ毎に抑揚の判定を行う場合の例を示しており、１フレーズ分を図示している。フレーズとは、休符や音切りなどで区切られる歌唱の１区切りの単位である。図６において、フレーズの前後で歌唱が途切れるため、音量エンベロープはほぼ無音状態になる。音量エンベロープを監視することにより、採点モード処理プログラム３４は、フレーズを検出することができる。

まず、同図（Ａ）を参照して、フレーズ内の平均値に基づいて抑揚を判定する方式について説明する。１フレーズ分の音量エンベロープのデータが蓄積されると、まずその平均値Ａａを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量平均値Ａ１〜Ａｎを求める。そして、各ノートの平均値Ａ１〜Ａｎのフレーズ全体の平均値Ａａとの差の平均値である平均偏差を求める。

次に、同図（Ｂ）を参照して、フレーズ内のピーク値に基づいて抑揚を判定する方式について説明する。１フレーズ分の音量エンベロープのデータが蓄積されると、まずこのフレーズ内のピーク値Ｐａを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量ピーク値Ｐ１〜Ｐｎを求める。そして、各ノートのピーク値Ｐ１〜Ｐｎとフレーズ内のピーク値Ｐａとの差の平均値（平均偏差）を求める。

そして、カラオケ曲の終了後、全フレーズの平均偏差の平均値を求め、この値をこの歌唱の抑揚ポイントとする。この抑揚ポイントに基づいて音量得点を割り出し、上記周波数の一致度に基づいて算出した点数（音程点）に加算することによって最終得点を算出する。

以上が、このカラオケ装置の抑揚ポイントの算出方式であるが、検出範囲はフレーズ毎に限定されず、適当な時間範囲を定めてその範囲毎に検出するようにしてもよい。また、抑揚検出の方式や抑揚ポイントの決定方式はこれに限定されるものではない。

たとえば、より簡易に、カラオケ曲のサビ部分の音量平均値を求めるとともに、さび以外の部分の音量平均値を求め、その差を抑揚係数とするようにしてもよい。なお、サビおよびサビでない部分は上記曲データのマークデータによって知ることができる。

また、曲全体の音量平均値に対して各ノートの音量平均値の平均偏差を求めるようにしてもよく、また、曲全体の音量平均値に対して各フレーズの音量平均値の平均偏差を求めるようにしてもよい。また、これらの演算を組み合わせてもよい。

また、音量エンベロープにハイパスフィルタ処理（ＨＰＦまたは微分処理）をすることにより、音量の変化率曲線を取り出し、これに基づいて抑揚を判定することもできる。図７を参照してＨＰＦ処理による抑揚判定処理について説明する。
図７（Ａ）はエンベロープ検出部１０８から出力された音量エンベロープ信号波形の例を示している。このエンベロープ信号にこのようにして取り出した音量変化率曲線を同図（Ｂ）に示す。この音量変化率曲線を取り出すためのＨＰＦのカットオフ周波数は０．２Ｈｚ程度が好適である。なお、上述したように歌唱音声信号から音量エンベロープ信号を取り出すときにカットオフ周波数の低い（５．５Ｈｚ）ＬＰＦを用いているため、ビブラートや声の震えなどの抑揚検出においてはノイズとなる成分は除去されている。

このようにして取り出した音量変化率曲線は、エンベロープが上昇しているとき正の値、エンベロープが下降しているとき負の値をとるが、その絶対値を求め、これを平均する（同図（Ｃ）参照）。このようにして求められた値が変化率平均値である。

この変化率平均値をどの区間を単位に求めて抑揚を検出するかにより、以下のような方式が考えられる。

（１）曲全体の変化率平均値を求め、これを抑揚ポイントとする方式
（２）フレーズ毎に変化率平均値を求め、そのバラツキ（たとえば最大値と最小値の差）によって抑揚ポイントを決定する方式
（３）１コーラス目のサビ区間と２コーラス目のサビ区間の変化率平均値を求め、これらの差を抑揚ポイントとする方式。

なお、上記フレーズ毎の処理をする場合に、フレーズの先頭部分とフレーズの末尾部分は、歌い始め（立ち上がり）と歌い終わり（立ち下り）であり抑揚とは関係がないため、無視区間（図７（Ｃ）のハッチング部分）として判定の対象としないようにすればよい。

また、ＨＰＦ処理をして音量変化率を検出する場合、音量が大きく変化しているほど大きな変化率が検出される。したがって、通常小さい声で歌唱し、時々大きい声で歌唱するとその差が非常に大きくなり大きな変化率が検出される。一方、通常大きな声で歌唱している歌唱者は、時々それよりも大きな声で歌唱してもアンプやＡ／Ｄコンバータなどの回路系でレベルがクリップしてしまい（図８の点線参照）、ＣＰＵ１０の採点モード処理プログラム３４に入力されたときはそれほど大きなレベル差にならず検出される変化率もそれほど大きくならない。

これでは、通常大きな声で歌唱している歌唱者に不公平であるため、図８（Ａ）に示すようにエンベロープの最大レベルから下方に一定範囲を検出有効範囲とする、または、同図（Ｂ）に示すように、エンベロープの平均値を求め、その平均値から上方および下方に一定範囲を検出有効範囲とし、この検出有効範囲のエンベロープの変化を抑揚として認めることにより、大きな声で歌唱している歌唱者でも小さな声で歌唱している歌唱者でも抑揚の音量範囲を同じにし、判定を公平化することができる。

図９は、さらに他の抑揚判定方式を説明する図である。所定区間（たとえばサビ部分）の歌唱レベル信号（音量エンベロープ）のピーク（上側ピーク、下側ピーク）を検出し、このピークの数をこの区間の時間で除した値を抑揚ポイントとする。ただし、直前のピークとのレベル（ｄＢ値）差が一定値以下であるもの、または、直前のピークからの時間差が一定値（たとえば１５０ｍｓ）以下であるもの（同図における最後の２つ）は、有効なピークとしてカウントしないことにより、ノイズを除去している。なお、エンベーロプ検出部１０８のＬＰＦによりビブラートや声の震えなどのノイズ成分は予め除去されている。

フローチャートを参照して採点モード処理プログラム３４の処理について説明する。
図１０は採点モード処理プログラム３４の動作を示すフローチャートである。この動作では３０ｍｓ毎に入力レジスタをチェックして、歌唱周波数サンプルデータ、リファレンス周波数サンプルデータおよび音量レベル値（音量エンベロープのサンプル値）、さらに、ノートオン／オフ情報、マークデータ情報が入力されたか否かを監視している。すなわち、ｓ１〜ｓ４のルーチンは３０ｍｓに１回実行される。なお、歌唱周波数サンプルデータ、リファレンス周波数サンプルデータおよび音量レベル値は３０ｍｓ毎に入力されるため、この待機ルーチンを実行するごとにｓ５〜ｓ７の処理は必ず実行されることになる。

サンプルデータが入力されると（ｓ１）、入力された音量レベル値（歌唱音声信号をＬＰＦ処理して音量エンベロープ化した値）を図４に示したリストデータに書き込む（ｓ５）。そして、入力された歌唱周波数サンプルデータおよびリファレンス周波数サンプルデータに対してはＬＰＦ処理を実行し（ｓ６）、このＬＰＦ処理されたサンプルデータを図４に示したリストメモリに書き込む（ｓ７）。

また、入力レジスタをチェックした結果、リファレンス周波数検出部１０１からノートオン情報またはマークデータ情報が入力されていた場合には（ｓ２）、これを図４のリストメモリの区切りデータの欄に書き込む（ｓ１０）。なお、複数の区切りデータ（ノートオフ情報、ノートオン情報、マークデータ情報）が同時に入力される場合があるが、この場合には、１つの欄に同時に入力されたもの全てを書き込む。

またノートオフ情報が入力されていた場合には（ｓ３）、これをリストメモリの区切りデータの欄に書き込み（ｓ１１）、リストメモリに蓄積された歌唱周波数およびリファレンス周波数のサンプルデータに基づき、上記方式で採点対象ノートの合格／不合格を判定する（ｓ１２）。この判定は、音程（周波数差）に基づく合否の判定である。そして、この合否判定結果を記憶する（ｓ１３）。

さらに、入力レジスタに曲の終了を示す情報が書き込まれていた場合には（ｓ４）、得点集計処理（ｓ１５）を実行する。

図１１は得点集計処理を示すフローチャートである。この動作は曲の終了を示す動作である。この動作は、上記メインルーチンのｓ１５で実行される。まず、全ノート数および合格ノート数を集計する（ｓ３０）。次に合格ノート数を全ノート数で除算し、この点に５０を乗算し、次に５０を加算して得点を算出する（ｓ３１）。そして、上記の方式で抑揚を判定して音量得点を算出する（ｓ３２）。

すなわち、音量レベル値の切れ目（無音に近くなるところ）を検索してフレーズを割り出し、このフレーズの音量平均値とフレーズ内の各ノートの音量平均値を算出する。そして、ノートの音量平均値のフレーズ全体の音量平均値からの差の合計値を抑揚ポイントとし、全フレーズの抑揚ポイントを合計して全ノート数で除算した値に基づいて音量点を求める。なお、音量点に求め方はこの方式に限定されない。

そして、この求められた音量点を合格ノート数から算出した得点に加算して最終得点を算出し（ｓ３３）、この最終得点をモニタ２２に表示する（ｓ３４）。

なお、抑揚の判定基準は、全てのカラオケ曲について同じものを用いてもよく、カラオケ曲毎またはジャンル毎に異なる抑揚の判定基準を適用してもよい。たとえば、演歌であれば抑揚を大きくすることが推奨されるので、判定基準（推奨レベル）を高く設定する。ポップスの場合にはそれほど抑揚が求められず、平坦に歌唱してもそれほど下手という評価にはならないため、判定基準（推奨レベル）を低く設定する。

この発明の実施形態であるカラオケ装置のブロック図 同カラオケ装置で用いられる曲データの構成例を示す図 同カラオケ装置の採点処理の機能ブロックを示す図 同カラオケ装置のリストメモリの構成を示す図 同カラオケ装置におけるＬＰＦ処理を説明する図 同カラオケ装置における抑揚判定処理を説明する図 同カラオケ装置における他の抑揚判定処理を説明する図 同カラオケ装置における他の抑揚判定処理を説明する図 同カラオケ装置におけるさらに他の抑揚判定処理を説明する図 同カラオケ装置の採点処理動作を示すフローチャート 同カラオケ装置の得点集計処理を示すフローチャート

符号の説明

１０…ＣＰＵ、１１…ハードディスク、１２…ＲＡＭ、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…ボーカルアダプタ、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、２３…操作部、
３０…シーケンサ、３１…曲シーケンサ、３２…歌詞シーケンサ、３２ａ…文字パターン作成プログラム、３３…背景映像再生プログラム、３４…採点モード処理プログラム、３５…操作入力処理プログラム、
４０…曲データ記憶エリア、４１…背景映像記憶エリア、４３…採点ログ、
１０１…リファレンス周波数検出部、１０２…歌唱周波数検出部、１０５、１０６…ローパスフィルタ処理部、１０７…採点部、１０８…エンベロープ検出部

Claims (2)

1. カラオケ曲を演奏する演奏手段と、
   歌唱音声を入力する歌唱音声入力手段と、
   前記歌唱音声を、休符や音切り等で区切られる複数の音符からなるフレーズに区切るフレーズ分割手段と、
   各フレーズにおける歌唱音声のフレーズ全体の音量平均値に対する各音符の音量平均値の差の平均値、または、各フレーズにおける歌唱音声のフレーズ全体のピーク値に対する各音符のピーク値の差の平均値を、曲全体分集計することによって前記歌唱音声の音量の変化である抑揚を検出し、この抑揚の程度に基づいて前記歌唱音声を採点する採点手段と、
   を備えたカラオケ装置。
2. カラオケ曲を演奏する演奏手段と、
   歌唱音声を入力する歌唱音声入力手段と、
   前記歌唱音量の音量変化率を検出する音量変化率検出手段と、
   前記歌唱音声を、休符や音切り等で区切られる複数の音符からなるフレーズに区切るフレーズ分割手段と、
   各フレーズにおける各音符の音量変化率の平均値である変化率平均値のばらつきを、曲全体分集計することによって前記歌唱音声の音量の変化である抑揚を検出し、この抑揚の程度に基づいて前記歌唱音声を採点する採点手段と、
   を備えたカラオケ装置。

Images