JP3261990B2 - カラオケ装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カラオケ歌唱者
の歌唱音声信号から音高（ピッチ）データや音量データ
を抽出し、これらのデータを基準となるデータと比較す
ることによって該歌唱を採点するカラオケ装置に関す
る。

【０００２】

【従来の技術】再生または自動演奏される伴奏音に合わ
せて歌唱者が歌唱するカラオケ装置において、カラオケ
演奏が終了したとき、歌唱者の歌唱の巧拙を点数で表示
する採点機能を備えたものが実用化されている。

【０００３】

【発明が解決しようとする課題】しかし、上記従来のカ
ラオケ装置の採点機能は、再生または自動演奏される伴
奏音の音量レベルとマイクから入力される歌唱者の音量
レベルとを比較し、その一致の程度に基づいて得点を割
り出すのみの機能であり、実際の歌唱の巧拙とかけ離れ
た得点がでてしまうことがあり、全く信頼できるもので
はなかった。

【０００４】この発明は、歌唱者の歌唱音声信号から抽
出された音高データや音量データなどに基づいて歌唱を
採点するようにし、また、曲の区間別に歌唱を採点する
ようにしたことにより、歌唱の巧拙を正しく採点評価す
ることのできるカラオケ装置を提供することを目的とす
る。

【０００５】

【０００６】

【０００７】

【課題を解決するための手段】この発明は、カラオケ歌
唱の音声信号を入力する音声信号入力手段と、カラオケ
曲の演奏を実行するためのカラオケ演奏用データ，該カ
ラオケ曲を複数の区間に分割する区間分割データおよび
該カラオケ曲の歌唱旋律の音高データ・音量データを含
む比較用データを記憶する曲データ記憶手段と、前記カ
ラオケ演奏用データを読み出してカラオケ演奏を実行す
るカラオケ演奏手段と、前記音声信号入力手段より入力
された音声信号から少なくとも音高データおよび音量デ
ータを抽出するとともに、前記カラオケ演奏手段と同期
して前記比較用データを読み出し、該比較用データに基
づいて前記抽出された音高データ、音量データを含む複
数の音楽要素をそれぞれ個別に、且つ前記区間分割デー
タに基づいて複数の区間毎に採点する歌唱採点手段と、
を設けたことを特徴とする。

【０００８】この発明は、前記発明において、前記曲デ
ータ記憶手段が、前記記憶内容に加えて前記複数の音楽
要素毎且つ区間毎の重み付け係数である係数データを記
憶する手段であり、前記歌唱採点手段は、前記複数の音
楽要素毎の区間毎の採点を該係数データによって重み付
けして総合得点を割り出す手段であることを特徴とす
る。

【０００９】この発明は、前記発明において、前記係数
データを、カラオケ曲のジャンル毎に記憶したことを特
徴とする。

【００１０】この発明では、カラオケ歌唱の音声信号に
から音高，音量，リズムなどの音楽要素を抽出し、これ
を比較データと比較することによって歌唱を採点する。
また、カラオケ歌唱をサビ，クライマックスなどの複数
の区間に分割して各区間毎に歌唱を採点する。このよう
に要素や区間に分割して採点することによって、歌唱の
特徴をより明確にすることができ、的確なアドバイスや
正確な採点が可能になる。

【００１１】また、この発明では、別々に採点されたも
のを重み付けして総合得点を割り出すようにしたことに
より、曲に合わせた重み付けをすることによって、当該
カラオケ曲をいかに上手に歌っているかを正確に判定す
ることができる。

【００１２】また、この発明では、係数データをジャン
ル毎に記憶した。これにより、曲データ毎に係数データ
を記憶する必要が無くなるとともに、従来からある曲で
あってもこのジャンル毎の係数データに基づいて採点機
能を動作させることができる。

【００１３】

【発明の実施の形態】図１はこの発明の実施形態である
カラオケ装置の概略構成図である。このカラオケ装置
は、カラオケ歌唱の音声信号をディジタル化して取り込
み、歌唱旋律であるガイドメロディと比較することによ
ってその歌唱の正確さを判定する。この判定を音高，音
量，リズムの３要素毎に行うことによって、カラオケ歌
唱者の歌唱の特徴を割り出して的確なアドバイスを与え
ることができるようにしている。また、通常の歌唱部
分，サビ，クライマックスなど曲の特定の区間毎に上記
判定を行うことにより、その曲に合った歌唱をしている
か否かを判断することもできるようにしている。

【００１４】歌唱者がカラオケ歌唱の音声を入力するマ
イク１はアンプ９に接続されるとともにＡ／Ｄコンバー
タ２に接続されている。また、カラオケ演奏用データ、
比較用データであるガイドメロディデータ、および、区
間分割データを含む楽曲データは、約１万曲分がハード
ディスク装置５に記憶されている。区間分割データは当
該カラオケ曲の前奏部，通常歌唱部，サビ部，クライッ
マックス部，後奏部など各区間の開始部分を指示するマ
ークデータである。上記１万曲分の楽曲データのうち、
カラオケ歌唱者に選択された１曲分が実行メモリ６に読
み出される。実行メモリ６に読み出された楽曲データ
は、シーケンサ７により順次読み出される。シーケンサ
７によって読み出された演奏用データは楽音発生部８に
入力される。また、シーケンサ７によって読み出された
ガイドメロディデータ，効果付与データおよび区間分割
データは比較部４に入力される。なお、この効果付与デ
ータは上記演奏用データに含まれるビブラートデータや
エスクプレッションデータなどでよい。比較部４はこの
効果付与データを歌唱技巧データとして用いる。歌唱技
巧データとは、このカラオケ曲を上手く歌唱するための
音量の抑揚（エクスプレッション）やビブラートなどの
特徴を示すデータである。楽音発生部８は入力されたカ
ラオケ演奏用データに基づいて該カラオケ曲の演奏音を
発生し、アンプ９に入力する。アンプ９はカラオケ演奏
音およびマイク１から入力された歌唱音声信号を増幅し
てスピーカ１０に出力する。これがカラオケ装置の基本
機能である。

【００１５】一方、Ａ／Ｄコンバータ２に入力された歌
唱音声信号はディジタル信号に変換されたのち、データ
抽出部３に入力される。データ抽出部３は５０ｍｓ毎に
このディジタル化された歌唱音声信号から音高および音
量を割り出し、音高データ，音量データとして比較部４
に入力する。比較部４では、データ抽出部３から入力さ
れるカラオケ歌唱者の歌唱音声信号の音高データ，音量
データとシーケンサ７から入力されるガイドメロディの
音高データ，音量データとをリアルタイムに比較する。
前記歌唱音声信号の音高データ，音量データがこの発明
の抽出されたデータに対応し、前記ガイドメロディの音
高データ，音量データがこの発明の比較用データに対応
する。なお、５０ｍｓは１２０のメトロノームテンポで
３２分音符に相当し、歌唱の特徴を抽出するために十分
の分解能である。

【００１６】図２は前記比較部４の構成を示す図であ
る。データ抽出部３から入力される歌唱音声信号の音高
データおよび音量データ（以下、歌唱音声という）およ
びシーケンサ７から入力されるガイドメロディの音高デ
ータ，音量データ（以下、リファレンスという）は差分
算出部２１に入力される。また、ビブラート，エクスプ
レッションなどの効果付与データ（以下、歌唱技巧デー
タという）は採点部２３に入力される。差分算出部２１
は、歌唱音声が入力されるタイミングに合わせて５０ｍ
ｓ毎に歌唱音声とリファレンスとの差を算出する。これ
はリアルタイムの差分データ（音高差分データ，音量差
分データ）として出力される。また、差分算出部２１
は、歌唱音声の音量の立ち上がりタイミングとリファレ
ンスの音量の立ち上がりタイミングのずれを検出し、こ
れをリズム差分データとして出力する。

【００１７】検出された音高差分データ，音量差分デー
タ，リズム差分データは、採点部２３に入力される。採
点部２３は、これら差分データをカラオケ曲の区間（通
常歌唱区間，サビ区間，クライマックス区間など）毎に
集計記憶するとともに、これらの差分データをシーケン
サ７から入力される歌唱技巧データと比較する。歌唱技
巧データはカラオケ演奏をするとき、機械的に正確な楽
音発生装置（音源装置）８の動作に微妙な変化を与えて
単調さをなくすとともに音楽的な表現を付与するための
データであるため、機械的に正確なガイドメロディと歌
唱音声とのずれを示すデータである差分データがこの歌
唱技巧データに近似していれば、この曲に合った歌唱を
しているとして、この類似度を加算ポイントとして定量
化する。この加算ポイントは、音高，音量，リズムの各
音楽要素毎に求められ、上記区間毎に集計記憶される。
そして曲が終了したとき、各区間毎に、差分データの集
計値に基づいて減点分を算出し、さらに、上記加算ポイ
ントの集計値に基づいて加点分を算出し、これらに基づ
いて総合得点を求める。これら各区間，各要素毎の得点
および総合得点は評価部２４に入力される。評価部２４
では、各音楽要素の得点に基づいて、良くできた点・注
意すべき点などをアドバイスする文言を生成し、得点と
ともに表示部２５に出力する。表示部２５ではこの内容
を図３に示すような形態で表示する。

【００１８】ここで、図４および図５を参照して、歌唱
音声，リファレンス，差分データについて説明する。図
４（Ａ），（Ｂ）はリファレンスであるガイドメロディ
の例を示す図である。同図（Ａ）はガイドメロディを五
線譜表示したものであり、同図（Ｂ）はこの五線譜の内
容を約８０パーセントのゲートタイムで音高データ，音
量データ化したものであり、音量はｍｐ→クレッシェン
ド→ｍｐの指示に従って上下している。このように、一
般的なガイドメロディのデータは機械的に非常に正確な
ものである。これに対して、同図（Ｃ）はカラオケ歌唱
者の歌唱音声の例を示している。音高，音量ともリファ
レンスが示す値から上下に変動しており、各音の音量デ
ータの立ち上がりタイミングもリファレンスの音量デー
タの立ち上がりタイミングからずれている。

【００１９】図５は、図４（Ｂ）のリファレンスと同図
（Ｃ）歌唱音声との差をとることによって求めた差分デ
ータを示す図である。音高差分データ，音量差分データ
はリファレンスが指示する値を基準として歌唱音声が基
準からどれだけ上下にずれているかで示される。また、
リズム差分データは、音符（スラーで連続しているもの
を除く）毎にリファレンスと歌唱音声との立ち上がりタ
イミングのずれとして求められる。なお、この図では音
高差分データ，音量差分データをともに連続値として示
しているが、複数段階の階層に量子化するようにしても
よい。

【００２０】また、リファレンスでは発声すべき時間
（ノートオンステータス）であるのに歌唱音声が入力さ
れない（発声されていない）場合やリファレンスでは発
声しない時間（ノートオフステータス）であるのに歌唱
音声が入力されている場合があるが、この時間は、比較
する一方のデータが欠けている時間帯であるのでデータ
としては採用せず、両方のデータが揃っている時間帯の
みを有効データ区間として採用するようにしている。

【００２１】図６は、採点部２３に入力される歌唱技巧
データである効果付与データの例を示す図である。ここ
では、ビブラートデータおよびエクスプレッションデー
タの例を示す。この例では、付点４分音符や２分音符な
どの長いめの音符の後半にビブラートが掛かっている。
また、付点４分音符の後半にエクスプレッションが掛か
り、２分音符は音をゆっくり立ち上げているため前半部
にマイナスのエクスプレッションが掛かっている。この
ような抑揚を付けることで、カラオケ演奏は表情付けさ
れ、ガイドメロディのような単調さが解消されている。

【００２２】このような歌唱技巧データに基づいて歌唱
音声を採点する場合、音量データに関しては、このエク
スプレッションデータと同じ態様の変化音量ずれをして
いるときにポイントを与え、音高データに関しては、ビ
ブラートのような周波数の周期的な変動波形を追従して
ポイントを与えてもよく、単に、ビブラートの区間では
周波数ずれがあったときポイントを与えるようにしても
よい。

【００２３】図７はカラオケ曲の区間と各区間における
音高（Ｐ），音量（Ｌ），リズム（Ｔ）の３要素の重み
付けの例を示す図である。同図（Ａ）はカラオケ曲の区
間分けを示す図である。この曲は第１コーラス，第２コ
ーラスからなっており、これら第１コーラス，第２コー
ラスを挟むように前奏，間奏，後奏がある。そして、第
１コーラス，第２コーラスは、それぞれの後半部分にサ
ビ区間およびクライマックス区間を有している。同図
（Ｂ）は重み付けテーブルの例を示す図である。この重
み付けテーブルには、第１コーラスの歌唱全般，サビ区
間，クライマックス区間および第２コーラスの歌唱全
般，サビ区間，クライマックス区間毎に音高（Ｐ），音
量（Ｌ），リズム（Ｔ）の重み付け係数が記憶されてお
り、さらに、この重み付け係数群がＪポップ１，Ｊポッ
プ２，Ｊダンス，演歌１，演歌２など複数のジャンル別
に記憶されている。この重み付けの特徴は、「ポップス
ならノリを重点評価するため、リズムの重み付けを大き
くする。特にサビ区間ではリズムが重要であるため、こ
の区間のリズムの重み付けを大きくする。」また、「演
歌であれば、音程の安定度を重要視するため音高Ｐの重
み付けを全般的に大きくする。」などである。

【００２４】図８は同カラオケ装置のハード構成を示す
ブロック図である。このカラオケ装置は、上記図１，図
２に示した機能部を主としてＣＰＵおよびソフトウェア
で実現している。装置全体の動作を制御するＣＰＵ３０
には、バスを介してＲＯＭ３１，ＲＡＭ３２，ハードデ
ィスク記憶装置（ＨＤＤ）３７，通信制御部３６，リモ
コン受信部３３，表示パネル３４，パネルスイッチ３
５，音源装置３８，音声データ処理部３９，効果用ＤＳ
Ｐ４０，文字表示部４３，ＬＤチェンジャ４４，表示制
御部４５および音声処理用ＤＳＰ５０が接続されてい
る。

【００２５】ＲＯＭ３１この装置を起動するために必要
な起動プログラムなどが記憶されている。この装置の動
作を制御するシステムプログラム，アプリケーションプ
ログラムなどはＨＤＤ３７に記憶されており、装置の電
源がオンされると上記起動プログラムによってＲＡＭ３
２に読み込まれる。ＲＡＭ３２には、このプログラム記
憶エリアのほか図９（Ａ）に示すように種々の記憶エリ
アが設定されている。図９（Ａ）において、ＲＡＭ３２
にはプログラムを記憶するプログラム記憶エリア３２
５，カラオケ演奏する楽曲データを記憶する実行データ
記憶エリア３２４，読み出されたガイドメロディを一時
記憶するＭＩＤＩバッファ３２０，このガイドメロディ
から抽出されたリファレンスデータを記憶するリファレ
ンスデータレジスタ３２１，リファレンスと歌唱音声と
の差分データを記憶する差分データ記憶エリア３２２，
この差分データを歌唱技巧データと比較することによっ
て求められたポイントを記憶するポイント記憶エリア３
２３が設けられている。リファレンスデータレジスタ３
２１は音高データレジスタ３２１ａおよび音量データレ
ジスタ３２１ｂからなっている。また、差分データ記憶
エリア３２２は、音高差分データ記憶エリア３２２ａ，
音量差分データ記憶エリア３２２ｂおよびリズム差分デ
ータ記憶エリア３２２ｃからなっており、ポイント記憶
エリア３２３は、音高ポイント記憶エリア３２３ａ，音
量ポイント記憶エリア３２３ｂおよびリズムポイント記
憶エリア３２３ｃからなっている。さらに、これら記憶
エリア３２２ａ〜３２２ｃ，３２３ａ〜３２３ｃはサビ
区間，クライマックス区間およびその他の区間の３区間
に対応して３分割されている。

【００２６】また、ＨＤＤ３７には図９（Ｂ）に示すよ
うに、上記プログラム記憶エリア３７３のほか約１万曲
分の楽曲データを記憶する楽曲データファイル３７０，
歌唱から抽出された音高データ，音量データや差分デー
タを記憶する歌唱データ記憶エリア３７１および歌唱の
巧拙を評価したのち表示するアドバイスメッセージを複
数記憶したアドバイスメッセージ記憶エリア３７２が設
けられている。通信制御部３６は、ＩＳＤＮ回線を介し
てホストステーションから楽曲データなどをダウンロー
ドし、内蔵しているＤＭＡ回路を用いてこの楽曲データ
をＣＰＵ３０を介さずに直接ＨＤＤ３７に書き込む。

【００２７】リモコン受信部３３はリモコン５１から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン５１は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル３４はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
３５はカラオケ装置の前面操作部に設けられており、曲
コード入力スイッチやキーチェンジスイッチなどを含ん
でいる。また、上記リモコン５１を用いて採点機能をオ
ン／オフできるようにしてもよい。

【００２８】音源装置３８は、楽曲データの楽音トラッ
クのデータに基づいて楽音信号を形成する。楽曲データ
はカラオケ演奏時にＣＰＵ３０によって読み出され、こ
の楽音トラックとともに比較用データであるガイドメロ
ディトラックも並行して読み出される。楽音トラックは
図１１に示すように複数トラックで構成されており、音
源装置３８はこのデータに基づいて複数パートの楽音信
号を同時に形成する。音声データ処理部３９は、楽曲デ
ータに含まれる音声データに基づき、指定された長さ，
指定された音高の音声信号を形成する。音声データは、
バックコーラスや模範歌唱音などの音源装置３８で電子
的に発生しにくい信号波形をそのままＡＤＰＣＭデータ
化して記憶したものである。音源装置３８が形成した楽
音信号および音声データ処理部３９が形成した音声信号
がカラオケ演奏音であり、これらは効果用ＤＳＰ４０に
入力される。効果用ＤＳＰ４０は、このカラオケ演奏音
に対してリバーブやエコーなどの効果を付与する。効果
を付与されたカラオケ演奏音はＤ／Ａコンバータ４１に
よってアナログ信号に変換されたのち外付け装置である
アンプスピーカ４２に出力される。アンプスピーカ４２
は入力されたカラオケ演奏音および後述の歌唱音声信号
を増幅し、且つ、歌唱音声信号にエコーなどの効果を付
与したのちスピーカから放音する。

【００２９】一方、歌唱用のマイク４７から入力された
歌唱音声信号はプリアンプ２８で増幅されたのち、前記
アンプスピーカ４２およびＡ／Ｄコンバータ４９に入力
される。アンプスピーカ４２に出力された信号はカラオ
ケ歌唱音として増幅出力される。Ａ／Ｄコンバータ４９
は、入力された歌唱音声信号をディジタル化し、これを
音声処理用ＤＳＰ５０に入力する。音声処理用ＤＳＰ５
０は、入力された歌唱音声信号を５０ｍｓずつのフレー
ムに区切り、各フレーム毎に周波数をカウントするとと
もに平均音量を算出する。この各フレーム毎の周波数カ
ウント値および平均音量値はＣＰＵ３０によって５０ｍ
ｓ毎に読み取られる。ＣＰＵ３０はこの周波数カウント
値および平均音量値に基づいて上述の音高データおよび
音量データを割り出す。

【００３０】文字表示部４３は入力される文字データに
基づいて、曲名や歌詞などの文字パターンを生成する。
また、外付け装置であるＬＤチェンジャ４４は入力され
た映像選択データ（チャプタナンバ）に基づき、対応す
るＬＤの背景映像を再生する。映像選択データは当該カ
ラオケ曲のジャンルデータなどに基づいて決定される。
ジャンルデータは楽曲データのヘッダに書き込まれてお
り、カラオケ演奏スタート時にＣＰＵ３０によって読み
出される。ＣＰＵ３０はジャンルデータに基づいてどの
背景映像を再生するかを決定し、その背景映像を指定す
る映像選択データをＬＤチェンジャ４４に対して出力す
る。ＬＤチェンジャ４４には、５枚（１２０シーン）程
度のレーザディスクが内蔵されており約１２０シーンの
背景映像を再生することができる。映像選択データによ
ってこのなかから１つの背景映像が選択され、映像デー
タとして出力される。文字パターン，映像データは表示
制御部４５に入力される。表示制御部４５ではこれらの
データをスーパーインポーズで合成してモニタ４６に表
示する。

【００３１】次に、図１０〜図１２を参照して同カラオ
ケ装置においてカラオケ演奏に用いられる楽曲データの
構成について説明する。図１０は楽曲データの構成を示
す図である。また、図１１，図１２は楽曲データの詳細
な構成を示す図である。

【００３２】図９において、楽曲データは、ヘッダ，楽
音トラック，ガイドメロディトラック，制御データトラ
ック，歌詞トラック，音声トラック，効果トラックおよ
び音声データ部からなっている。ヘッダは、この楽曲デ
ータに関する種々のデータが書き込まれる部分であり、
曲名，ジャンル，発売日，曲の演奏時間（長さ）などの
データが書き込まれている。

【００３３】楽音トラック〜効果トラックの各トラック
は図１１，図１２に示すように複数のイベントデータと
各イベントデータ間の時間間隔を示すデュレーションデ
ータΔｔからなるシーケンスデータで構成されている。
ＣＰＵ３０は、カラオケ演奏時にシーケンスプログラム
に基づき全トラックのデータを並行して読み出す。シー
ケンスプログラムは、所定のテンポクロックでΔｔをカ
ウントし、Δｔをカウントアップしたときこれに続くイ
ベントデータを読み出し、所定の処理部へ出力するプロ
グラムである。

【００３４】楽音トラックには、メロディトラック，リ
ズムトラックを初めとして種々のパートのトラックが形
成されている。ガイドメロディトラックには、このカラ
オケ曲の旋律すなわち歌唱者が歌うべき旋律のシーケン
スデータが書き込まれている。ＣＰＵ３０はこのデータ
に基づいてリファレンスの音高データ，音量データを生
成し、歌唱音声と比較する。

【００３５】歌詞トラックは、モニタ４６上に歌詞を表
示するためのシーケンスデータを記憶したトラックであ
る。このシーケンスデータは楽音データではないが、イ
ンプリメンテーションの統一をとり、作業工程を容易に
するためこのトラックもＭＩＤＩデータ形式で記述され
ている。データ種類は、システム・エクスクルーシブ・
メッセージである。歌詞トラックのデータ記述におい
て、通常は１行の歌詞を１つの歌詞表示データとして扱
っている。歌詞表示データは１行の歌詞の文字データ
（文字コードおよびその文字の表示座標）、この歌詞の
表示時間（通常は３０秒前後）、および、ワイプシーケ
ンスデータからなっている。ワイプシーケンスデータと
は、曲の進行に合わせて歌詞の表示色を変更してゆくた
めのシーケンスデータであり、表示色を変更するタイミ
ング（この歌詞が表示されてからの時間）と変更位置
（座標）が１行分の長さにわたって順次記録されている
データである。

【００３６】制御データトラックは、このカラオケ曲の
歌唱区間やサビ区間，クライマックス区間などの区間の
開始点を示す区間分割データを記憶しており、これ以外
にも拍マークデータや小説線マークデータなどを記憶し
ている。

【００３７】音声トラックは、音声データ部に記憶され
ている音声データｎ（ｎ＝１，２，３，‥‥）の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置３８で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと、音声指定データ
の読み出し間隔、すなわち、音声データを音声データ処
理部３９に出力して音声信号形成するタイミングを指定
するデュレーションデータΔｔが書き込まれている。音
声指定データは、音声データ番号，音程データおよび音
量データからなっている。音声データ番号は、音声デー
タ部に記録されている各音声データの識別番号ｎであ
る。音程データ，音量データは、形成すべき音声データ
の音程や音量を指示するデータである。すなわち、言葉
を伴わない「アー」や「ワワワワッ」などのバックコー
ラスは、音程や音量を変化させれば何度も利用できるた
め、基本的な音程，音量で１つ記憶しておき、このデー
タに基づいて音程や音量をシフトして繰り返し使用す
る。音声データ処理部３９は音量データに基づいて出力
レベルを設定し、音程データに基づいて音声データの読
出間隔を変えることによって音声信号の音程を設定す
る。

【００３８】効果トラックには、効果用ＤＳＰ４０を制
御するためのＤＳＰコントロールデータが書き込まれて
いる。効果用ＤＳＰ４０は音源装置３８，音声データ処
理部３９から入力される信号に対してリバーブなどの残
響系の効果を付与する。ＤＳＰコントロールデータは、
このような効果の種類を指定するデータおよびその変化
量データなどからなっている。

【００３９】上記歌唱技巧データは、効果用ＤＳＰ４０
を制御するＤＳＰコントロールデータを用いてもよく、
音源装置３８の楽音信号形成動作を制御するデータを用
いてもよい。音源装置３８を制御するデータはイベント
データとして楽音トラックに書き込まれているものであ
り、たとえば、アフタータッチデータやピッチモジュレ
ーションのためのパラメータなどがあり、これらをエク
スプレッションデータやビブラートデータとして用いる
ことができる。また、ノートオンイベントデータの発生
タイミング（デュレーションデータの値）をリズムの歌
唱技巧データとして用いることもできる。

【００４０】図１３〜図１６は同カラオケ装置の動作を
示すフローチャートである。これらの動作はカラオケ演
奏を実行するシーケンスプログラムと並行して実行さ
れ、シーケンスプログラムとのデータの交換も行われ
る。図１３はデータの取込動作を示すフローチャートで
ある。同図（Ａ）はＡ／Ｄコンバータ４９および音声処
理用ＤＳＰ５０の動作を示している。マイク４７から歌
唱音声信号が入力されると（ｓ１）、Ａ／Ｄコンバータ
４９はこの音声信号をディジタルデータに変換する（ｓ
２）。このディジタルデータは音声処理用ＤＳＰ５０に
入力される。音声処理用ＤＳＰ５０は、５０ｍｓのフレ
ーム単位でこのディジタルデータの周波数のカウント
（ｓ３）および平均音量の算出（ｓ４）を行う。この周
波数カウント値および平均音量値は５０ｍｓ毎にＣＰＵ
３０によって読み取られる（図１４のデータ変換処理参
照）。

【００４１】同図（Ｂ）は楽曲データ入力処理を示すフ
ローチャートである。この動作はカラオケ演奏を実行す
るシーケンスプログラムからガイドメロディトラックの
イベントデータおよび制御トラックのイベントデータが
受け渡されたとき実行される。まず、シーケンスプログ
ラムから渡されたＭＩＤＩデータをＭＩＤＩバッファ３
２０に取り込み（ｓ５）、このデータが区間分割データ
であるか否かを判断する（ｓ６）。区間分割データであ
れば、この内容を区間レジスタに記憶して（ｓ７）、リ
ターンする。取り込んだデータがリファレンスのデータ
であれば、このデータを音量データおよび音高データに
変換する（ｓ８）。これは、ＭＩＤＩフォーマットのノ
ートオンデータのノートナンバやピッチベンドデータを
音高データに変換し、ノートオンデータのベロシティデ
ータやアフタタッチ（キープレッシャ）データを音量デ
ータに変換する処理である。このようにして変換された
音高データ，音量データでＲＡＭ３２のリファレンスデ
ータレジスタ３２１を更新する（ｓ９）。したがって、
リファレンスデータレジスタ３２１は新たなガイドメロ
ディデータが入力される毎に更新される。

【００４２】なお、リファレンスデータがＭＩＤＩデー
タではなく音高データ，音量データとして記憶されてい
る場合には、この変換処理を行わずそのままリファレン
スデータレジスタ３２１に記憶すればよい。また、音高
データ，音量データの記述フォーマットをＭＩＤＩフォ
ーマットにすることもできる。この場合、これらをシス
テムエクスクルーシブメッセージで記述してもよく、汎
用のチャンネルメッセージ（たとえば、ノートオンデー
タ，ピッチベンドデータ，チャンネルキープレッシャデ
ータなど）で代用してもよい。

【００４３】図１４はデータ変換処理動作を示すフロー
チャートである。この動作は、音声処理用ＤＳＰ５０か
ら歌唱音声信号の周波数カウント値および平均音量値を
取り込んで歌唱音声の音高データ，周波数データに変換
する処理であり、歌唱音声信号の１フレーム時間である
５０ｍｓ毎に実行される。まず、音声処理用ＤＳＰ５０
から平均音量値を読み取り（ｓ１１）、その値が閾値以
上であるかを判断する（ｓ１２）。閾値以上であればこ
の平均音量値に基づいて音量データを生成する（ｓ１
３）。次に音声処理用ＤＳＰ５０から周波数カウント値
を読み取り（ｓ１４）、この周波数カウント値に基づい
て音高データを生成する（ｓ１５）。こののち比較動作
に進む。一方、ｓ１２で平均音量値が閾値未満であると
判断された場合には、歌唱者が歌唱（発声）していない
として音量０データを生成して（ｓ１６）、音高データ
を生成せずに比較動作に進む。

【００４４】図１５は比較動作を示すフローチャートで
ある。この動作は図１４のデータ変換動作で生成された
歌唱音声の音高データ，音量データと、図１３（Ｂ）の
リファレンス入力動作で求められたリファレンスの音高
データ，音量データとを比較して差分データを求める動
作であり、上記データ変換処理動作に同期して５０ｍｓ
毎に実行される。まず、リファレンスの音量データおよ
び歌唱音声の音量データの両方が閾値以上（発音中）で
あるかを判断する（ｓ２０）。両方が発音中でなければ
比較しても無意味であるためｓ３５以下の動作に進む。
両方が発音中の場合には、発音フラグがセットしている
か否かを判断する（ｓ２１）。発音フラグは両方が立ち
上がったとき（発音中になったとき）ｓ２２でセットさ
れるフラグである。したがって、立ち上がり時にはまだ
リセットされたままであるためｓ２１からｓ２２に進
む。ｓ２２では発音フラグをセットする。まず、リファ
レンスおよび歌唱音声の立ち上がりタイミングの差を算
出し（ｓ２３）、これをリズム差分データとしてリズム
差分データ記憶エリア３２２ｃ中の現在の区間に対応す
る記憶エリアに記憶する（ｓ２４）。現在の区間はｓ７
でセットされる区間レジスタによって判断することがで
きる。次に、このリズム差分データを歌唱技巧データと
比較し（ｓ２５）、この一致度を加算ポイントとしてリ
ズムポイント記憶エリア３２３ｃ中の現在の区間に対応
する記憶エリアに蓄積記憶する（ｓ２６）。ここで、こ
のタイミングのズレを表す歌唱技巧データとしては、楽
音トラックのノートオンイベントデータを用いればよ
い。すなわち、ノートオンイベントデータの正確なビー
トタイミングのズレがこの曲を上手く演奏するための技
巧を表していると考えられるからである。以上の処理の
のちｓ２７に進む。また、既に発音中で発音フラグがセ
ットされている場合もｓ２１の判断で直接ｓ２７に進
む。

【００４５】ｓ２７以下では次のような処理を実行す
る。まず、歌唱音声およびリファレンスの音量データを
比較してその差を算出し（ｓ２６）、この差を音量差分
データとして音量差分データ記憶エリア３２２ｂ中の現
在の区間に対応する記憶エリアに記憶する（ｓ２８）。
そして、この音量差分データを歌唱技巧データ（たとえ
ばエクスプレッションデータ）と比較し、その一致度す
なわち歌唱がこの技巧を有しているか否かを判断する
（ｓ２９）。この一致度を加算ポイントとしてＲＡＭ３
２の音量ポイント記憶エリア３２３ｂ中の現在の区間に
対応する記憶エリアに蓄積記憶する（ｓ３０）。

【００４６】次に、歌唱音声およびリファレンスの音高
データを比較してその差を算出し（ｓ３１）、この差を
音高差分データとして音高差分データ記憶エリア３２２
ａ中の現在の区間に対応する記憶エリアに記憶する（ｓ
３２）。そして、この音高差分データを歌唱技巧データ
（たとえばビブラートデータやピッチベンドデータ）と
比較してその一致度を判断する（ｓ３３）。この一致度
を音高ポイントとしてＲＡＭ３２の音高ポイント記憶エ
リア３２３ｃに蓄積記憶する（ｓ３４）。

【００４７】一方、両方が発音中と判断されなかった場
合にはｓ２０からｓ３５に進み、リファレンス，歌唱音
声の両方が消音しているか否かを判断する。ｓ３５で両
方が消音していると判断された場合には消音期間である
として発音フラグをリセットして（ｓ３６）リターンす
る。両方が消音中でない場合には、歌唱タイミングのず
れであるとしてそのままリターンする。以上の動作によ
り、３つの区間別に３要素毎の差分データおよびポイン
トを求めることができる。

【００４８】図１６は採点動作を示すフローチャートで
ある。この動作はカラオケ曲が終了したのち実行され
る。同図（Ａ）において、まず全般，サビ区間，クライ
マックス区間の３区間についてリズム，音量，音高に関
する得点を算出する（ｓ４０〜ｓ４４）。すなわち９種
類の得点を算出する。ここで、全般とはサビ区間，クラ
イマックス区間，その他区間を含む歌唱区間全般の区間
を指す。

【００４９】集計動作を同図（Ｂ）に示す。この集計動
作は、上述のように全般，サビ区間，クライマックス区
間の３区間におけるリズム，音量，音高について９回実
行される。まず、蓄積記憶された差分データに基づいて
減点分を算出する（ｓ５１）。つぎに、蓄積記憶された
ポイントに基づいて加算分を算出する（ｓ５２）。そし
てこれらを合算することによって当該区間の当該要素の
得点を算出する（ｓ５３）。

【００５０】以上のような各区間・各要素の得点を図７
（Ｂ）に示す重み付け係数によって重み付け平均して総
合得点を算出する（ｓ４５）。そして、この総合得点と
各区間・音楽要素の得点に基づいて適当なアドバイスメ
ッセージを決定し（ｓ４６）、ＨＤＤ３７のアドバイス
メッセージ記憶エリア３７２からこれを読み出して、総
合得点とともに文字表示部４３に出力する（ｓ４７）。
文字表示部４３はこれを文字パターンに展開して曲が終
了したあとのモニタ４６に表示する。

【００５１】この実施形態において、リズム差分データ
は、歌唱音声のリファレンスに対するタイミングのずれ
を示すデータであるが、突っ込んだ（先にずれた）のか
遅れた（後にずれた）のかを正負の記号で記録するよう
にしてもよく、単にずれた時間の絶対値を記録するよう
にしてもよい。

【００５２】ここで、上記実施形態では、楽曲データの
楽音トラックや効果トラックに含まれるカラオケ演奏用
のデータを歌唱技巧データとして用いているが、歌唱技
巧をルールとして抽出したものを適用して歌唱を採点す
るようにしてもよい。すなわち、特定のカラオケ曲の歌
い方または該カラオケ曲を歌っているオリジナル歌手の
歌唱の特徴をルールとして抽出しておく。たとえば、
「４分音符を超える長い音符は後半ビブラートを深く掛
けてゆく。」 「フレーズの最後の伸ばし（後に休符がくる４分音符を
超える音符）は、小さい音量からスタートして徐々に音
量を上げてゆく。」 「５度を超える音程のジャンプはポルタメントをかけ
る。」などのルールを抽出し、このルールを楽曲データ
中にまたは楽曲データと別に記憶しておき、歌唱音声と
比較データとの差分データがこのルールに一致している
か否かでポイントを付与するようにすればよい。上記ル
ールを楽曲データと別に記憶する場合には、各ルールに
対応する曲のジャンルやオリジナル歌手などのヘッダを
設けておき、演奏される曲に応じてルールを適用するよ
うにすればよい。また、この場合、複数のルールをグル
ープ化して○○対応ルール（例えば、演歌対応ルール）
として記憶してもよく。ルールを１つずつ個別に記憶し
ておき、曲に応じてそれらを組み合わせて適用するよう
にしてもよい。

【００５３】また、上記実施形態では、比較用データと
しててガイドメロディデータを用い、このガイドメロデ
ィデータ（リファレンス）と歌唱音声との差として求め
られた差分データに対して歌唱技巧データを適用してポ
イントを算出しているが、比較用データとして技巧を含
んだデータを用いることもできる。すなわち、オリジナ
ル歌手の歌唱などの音高・音量の変化に技巧を含んだも
のから音高データ，音量データなどを抽出して比較用デ
ータとして記憶しておき、カラオケ歌唱が行われたと
き、カラオケ歌唱から抽出された音高データ，音量デー
タ（歌唱音声）をこのオリジナル歌手の歌唱から抽出さ
れたリファレンスと比較する。このようにすることによ
り、この比較結果が端的にカラオケ歌唱が技巧を満たし
たものであるかを示すポイントとなる。ただし、ガイド
メロディデータと差分データを求め、この差分データを
歌唱技巧データと比較するようにすれば、正確さと歌唱
技巧とを両方判断することができる。

【００５４】上記のような採点・評価動作を実行する場
合、曲終了から採点・評価を終了するまである程度の時
間が掛かるが、この間は『現在採点中』の表示とともに
何らかの映像・音声を上映するようにしてもよい。

【００５５】また、図１５の動作により、音量差分デー
タと音高差分データがリアルタイムに求められているた
め、これをモニタ４６上にリアルタイムに表示するよう
にしてもよい。表示方式としては図１７に示すようなメ
ータアイコン方式や数値表示方式などがある。メータア
イコン方式で表示する場合には、ＣＰＵ３０のパフォー
マンスを考慮し、針の表示分解能を３〜５段階程度に
し、表示切換間隔を１秒程度にする。

【００５６】なお、上記採点機能はカラオケ演奏時に常
時機能するようにしてもよく、利用者（カラオケ歌唱
者）の選択によって機能するようにしてもよい。

【００５７】

【発明の効果】以上のようにこの発明によれば、カラオ
ケ歌唱を音高，音量などの音楽要素別に採点するように
したことにより、歌唱者の歌唱の特徴（長所・短所）を
正確に判断することができ、的確なアドバイスが可能に
なる。

【００５８】また、この発明によれば、音楽要素別の採
点を重み付けして総合的することによって総合得点を割
り出すため、正確な採点が可能になる。

【００５９】また、この発明によれば、カラオケ歌唱を
複数の区間（サビ，クライマックスなど）別に歌唱を判
定するようにしたことにより、どの部分が上手く歌えて
おり、どの部分が不十分かを正確に判断し、的確なアド
バイスが可能になる。

【００６０】また、この発明によれば、複数の区間別の
採点を重み付けして総合的することによって総合得点を
割り出すため、正確な採点が可能になる。

【００６１】この発明では、係数データをジャンル毎に
記憶したことにより、そのジャンルで特に重視される点
などを考慮して採点することができ、また、曲毎にこれ
を記憶する必要がないためデータ量を少なくすることが
できるとともに、既存の曲にもこの採点方法を適用する
ことができる利点がある。

【図面の簡単な説明】

【図１】この発明の実施形態であるカラオケ装置の概略
構成図

【図２】同カラオケ装置の比較部の構成を示す図

【図３】同カラオケ装置の表示部の表示例を示す図

【図４】同カラオケ装置のガイドメロディに基づくリフ
ァレンス音高データ，音量データと歌唱音声の音高デー
タ，音量データの例を示す図

【図５】上記リファレンスおよび歌唱音声によって求め
られた差分データの例を示す図

【図６】歌手の歌唱から抽出された音高データおよび音
量データの例を示す図

【図７】カラオケ曲の区間分割と重み付けを説明する図

【図８】同カラオケ装置のハード構成を示すブロック図

【図９】同カラオケ装置のメモリおよびＨＤＤの構成図

【図１０】同カラオケ装置で用いられる楽曲データの構
成を示す図

【図１１】同楽曲データのトラック構成図

【図１２】同楽曲データのトラック構成図

【図１３】同カラオケ装置のデータ取込動作を示すフロ
ーチャート

【図１４】同カラオケ装置のデータ取込動作を示すフロ
ーチャート

【図１５】同カラオケ装置の比較動作を示すフローチャ
ート

【図１６】同カラオケ装置の採点動作を示すフローチャ
ート

【図１７】同カラオケ装置のモニタ表示例を示す図

【符号の説明】

１…（カラオケ歌唱用の）マイク、２…Ａ／Ｄコンバー
タ、３…データ抽出部、４…比較部、５…ハードディス
ク、６…実行メモリ、７…シーケンサ、８…楽音発生
部、９…アンプ、１０…スピーカ、２１…差分算出部、
２２…記憶部、２３…採点部、２４…評価部、２５…表
示部、３０…ＣＰＵ、３２…ＲＡＭ、３７…ハードディ
スクドライブ、３８…音源装置、３９…音声データ処理
部、４７…マイク、５０…音声処理用ＤＳＰ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10K 15/04 302 G09B 15/00 G10L 11/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 カラオケ歌唱の音声信号を入力する音声
   信号入力手段と、 カラオケ曲の演奏を実行するためのカラオケ演奏用デー
   タ、該カラオケ曲を複数の区間に分割する区間分割デー
   タ、および、該カラオケ曲の歌唱旋律の音高データ、音
   量データを含む比較用データを記憶する曲データ記憶手
   段と、 前記カラオケ演奏用データを読み出してカラオケ演奏を
   実行するカラオケ演奏手段と、 前記音声信号入力手段より入力された音声信号から少な
   くとも音高データおよび音量データを抽出するととも
   に、前記カラオケ演奏手段と同期して前記比較用データ
   を読み出し、該比較用データに基づいて前記抽出された
   音高データ、音量データを含む複数の音楽要素をそれぞ
   れ個別に、且つ前記区間分割データに基づいて複数の区
   間毎に採点する歌唱採点手段と、 を設けたことを特徴とするカラオケ装置。
2. 【請求項２】 前記曲データ記憶手段は、前記記憶内容
   に加えて前記複数の音楽要素毎且つ区間毎の重み付け係
   数である係数データを記憶する手段であり、前記歌唱採
   点手段は、前記複数の音楽要素毎の区間毎の採点を該係
   数データによって重み付けして総合得点を割り出す手段
   である請求項１に記載のカラオケ装置。
3. 【請求項３】 前記係数データは、カラオケ曲のジャン
   ル毎に記憶されている請求項２に記載のカラオケ装置。