JPH1078750A - カラオケ装置 - Google Patents

Abstract

(57)【要約】 【課題】カラオケ歌唱者の歌唱の巧拙を正しく採点評価
することのできるカラオケ装置を提供する。 【解決手段】カラオケ歌唱の歌唱音声信号はマイク１を
介してＡ／Ｄコンバータ２に入力される。Ａ／Ｄコンバ
ータ２はこの歌唱音声信号をディジタルデータに変換
し、データ抽出部３はこのディジタル化された歌唱音声
信号から音高データ，音量データを抽出する。抽出され
た音高データ，音量データ（歌唱音声）は比較部４に入
力される。シーケンサ７はカラオケ演奏用データと並行
してガイドメロディの音高・音量データ，歌唱技巧デー
タを読み出してこれを比較部４に入力する。比較部４で
は歌唱音声とガイドメロディの音高・音量データとを比
較して（機械的に）正確な歌唱とのずれを割り出し、こ
のずれと歌唱技巧データとの比較することにより、どの
程度この曲の特徴を捉えた歌い方をしているかを採点す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カラオケ歌唱者
の歌唱音声信号から音高（ピッチ）データや音量データ
を抽出し、これらのデータを基準となるデータと比較す
ることによって該歌唱を採点するカラオケ装置に関す
る。

【０００２】

【従来の技術】再生または自動演奏される伴奏音に合わ
せて歌唱者が歌唱するカラオケ装置において、カラオケ
演奏が終了したとき、歌唱者の歌唱の巧拙を点数で表示
する採点機能を備えたものが実用化されている。

【０００３】

【発明が解決しようとする課題】しかし、上記従来のカ
ラオケ装置の採点機能は、再生または自動演奏される伴
奏音の音量レベルとマイクから入力される歌唱者の音量
レベルとを比較し、その一致の程度に基づいて得点を割
り出すのみの機能であり、実際の歌唱の巧拙とかけ離れ
た得点がでてしまうことがあり、全く信頼できるもので
はなかった。

【０００４】この発明は、歌唱者の歌唱音声信号から抽
出された音高データや音量データなどのデータとカラオ
ケ曲の歌唱旋律の対応するデータとを比較することによ
り、歌唱の巧拙を正しく採点評価することのできるカラ
オケ装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】この出願の請求項１の発
明は、カラオケ歌唱の音声信号を入力する音声信号入力
手段と、カラオケ曲の演奏を実行するためのカラオケ演
奏用データ，該カラオケ曲の歌唱旋律の音高データ・音
量データを含む比較用データ，および，該カラオケ曲の
歌唱の技巧を示す歌唱技巧データを記憶する曲データ記
憶手段と、前記カラオケ演奏用データを読み出してカラ
オケ演奏を実行するカラオケ演奏手段と、前記音声信号
入力手段より入力された音声信号から少なくとも音高デ
ータおよび音量データを抽出するとともに、前記カラオ
ケ演奏手段と同期して前記比較用データを読み出し、該
比較用データと前記抽出されたデータとの比較結果を前
記歌唱技巧データに基づいて採点する歌唱採点手段と、
を設けたことを特徴とする。

【０００６】この出願の請求項２の発明は、前記歌唱技
巧データとして前記カラオケ演奏用データに含まれるビ
ブラートやエクスプレッションデータなどの効果付与デ
ータを用いたことを特徴とする。

【０００７】この出願の請求項３の発明は、前記歌唱技
巧データが、音高や音長などで識別される歌唱旋律中の
特定の音符の音高や音量の変動量を表すルールデータで
あることを特徴とする。

【０００８】上記構成により請求項１の発明は以下のよ
うに作用する。曲データ記憶手段は、カラオケ演奏用デ
ータ，比較用データ，歌唱技巧データを記憶している。
カラオケ演奏手段が、カラオケ演奏用データを読み出し
てカラオケ演奏を実行する。カラオケ演奏に合わせて歌
唱者が音声信号入力手段からカラオケ歌唱の音声信号を
入力する。そして、この音声信号を分析して音高データ
や音量データなどを抽出するとともに、このカラオケ演
奏と同期して該カラオケ曲の歌唱旋律のデータである比
較用データを読み出し、この比較データと上記抽出され
たデータとを比較する。この比較結果を前記歌唱技巧デ
ータに基づいて採点する。歌唱技巧データは、物理的に
正確な比較データに対して歌唱としての表情づけの方法
を示すデータであり、例えば、厳密には周波数ズレであ
るビブラートや音量のズレであるエクスプレッションな
どの技巧を示すデータである。これにより、前記比較結
果がこのような歌唱技巧データの特徴を備えていれば得
点を高くするなどの採点が可能になる。

【０００９】請求項２の発明では、この歌唱技巧データ
として、カラオケ演奏用データに含まれる効果付与デー
タを用いた。カラオケ演奏用データ中には、演奏を多彩
なものにするために種々のデータが含まれており、これ
らの適当なものを選択して歌唱技巧データとすることが
できる。たとえば、ビブラートパラメータ，エクスプレ
ッションデータやピッチベンドデータなどがあり、ノー
トオンイベントデータであってもそのイベントタイミン
グを歌唱技巧データとして採用することも可能である。
これようにすることにより、歌唱技巧データを改めて準
備しなくても、既存のカラオケ演奏用データを用いて正
確な採点が可能になる。なお、比較用データそのもの
が、ガイドメロディデータのようにカラオケ演奏用デー
タに含まれていても問題はない。

【００１０】また、請求項３の発明では、歌唱技巧デー
タを上記比較用データとは独立した特定の音符の音高や
音量の変動量を表すルールデータとした。たとえば、
「２分音符以上の長い音符であればその後半にビブラー
ト掛け、音量を徐々に上昇させる。」などのルールを定
めておき、前記歌唱音声信号から抽出したデータと比較
用データとの比較結果がこのルールにどの程度適合して
いるかでこの歌唱を採点する。このようなルールは、た
とえはオリジナル歌手の歌唱の特徴から抽出することも
でき、曲の特徴にあった採点が可能になる。

【００１１】

【発明の実施の形態】図１はこの発明の実施形態である
カラオケ装置の概略構成図である。このカラオケ装置
は、カラオケ歌唱の音声信号をディジタル化して取り込
み、歌唱旋律であるガイドメロディと比較することによ
ってその歌唱の正確さを判定し、比較結果のズレが歌唱
の技巧（ビブラートなど）に一致していればより高いポ
イントを与えるという採点機能を備えている。歌唱者が
カラオケ歌唱の音声を入力するマイク１はアンプ９に接
続されるとともにＡ／Ｄコンバータ２に接続されてい
る。また、カラオケ演奏用データや比較用データである
ガイドメロディデータを含む楽曲データは、約１万曲分
がハードディスク装置５に記憶されており、そのうちカ
ラオケ歌唱者に選択された１曲分が実行メモリ６に読み
出される。実行メモリ６に読み出された楽曲データは、
シーケンサ７により順次読み出される。シーケンサ７に
よって読み出された演奏用データは楽音発生部８に入力
される。また、シーケンサ７によって読み出されたガイ
ドメロディデータおよび効果付与データは比較部４に入
力される。なお、この効果付与データは上記演奏用デー
タに含まれるビブラートデータやエスクプレッションデ
ータなどでよい。比較部４はこの効果付与データを歌唱
技巧データとして用いる。歌唱技巧データとは、このカ
ラオケ曲を上手く歌唱するための音量の抑揚（エクスプ
レッション）やビブラートなどの特徴を示すデータであ
る。楽音発生部８は入力されたカラオケ演奏用データに
基づいて該カラオケ曲の演奏音を発生し、アンプ９に入
力する。アンプ９はカラオケ演奏音およびマイク１から
入力された歌唱音声信号を増幅してスピーカ１０に出力
する。これがカラオケ装置の基本機能である。

【００１２】一方、Ａ／Ｄコンバータ２に入力された歌
唱音声信号はディジタル信号に変換されたのち、データ
抽出部３に入力される。データ抽出部３は５０ｍｓ毎に
このディジタル化された歌唱音声信号から音高および音
量を割り出し、音高データ，音量データとして比較部４
に入力する。比較部４では、データ抽出部３から入力さ
れるカラオケ歌唱者の歌唱音声信号の音高データ，音量
データとシーケンサ７から入力されるガイドメロディの
音高データ，音量データとをリアルタイムに比較する。
前記歌唱音声信号の音高データ，音量データがこの発明
の抽出されたデータに対応し、前記ガイドメロディの音
高データ，音量データがこの発明の比較用データに対応
する。なお、５０ｍｓは１２０のメトロノームテンポで
３２分音符に相当し、歌唱の特徴を抽出するために十分
の分解能である。

【００１３】図２は前記比較部４の構成を示す図であ
る。データ抽出部３から入力される歌唱音声信号の音高
データおよび音量データ（以下、歌唱音声という）およ
びシーケンサ７から入力されるガイドメロディの音高デ
ータ，音量データ（以下、リファレンスという）は差分
算出部２１に入力される。また、ビブラート，エクスプ
レッションなどの効果付与データ（以下、歌唱技巧デー
タという）は採点部２３に入力される。差分算出部２１
は、歌唱音声が入力されるタイミングに合わせて５０ｍ
ｓ毎にこれらの差を算出する。これはリアルタイムの差
分データ（音高差分データ，音量差分データ）として出
力される。また、差分算出部２１は、歌唱音声の音量の
立ち上がりタイミングとリファレンスの音量の立ち上が
りタイミングのずれを検出し、これをリズム差分データ
として出力する。

【００１４】検出された差分データは採点部２３に入力
される。採点部２３は、この差分データとシーケンサ７
から入力される歌唱技巧データとを比較する。歌唱技巧
データはカラオケ演奏をするとき、機械的に正確な楽音
発生装置（音源装置）８の動作に微妙な変化を与えて単
調さをなくすとともに音楽的な表現を付与するためのデ
ータであるため、機械的に正確なガイドメロディと歌唱
音声とのずれを示すデータである差分データがこの歌唱
技巧データに近似していれば、この曲に合った歌唱をし
ていると考えることができるため、この類似度をポイン
トとして割り出す。このポイントは、音高，音量，リズ
ムの各音楽要素毎に求められる。そして曲が終了したと
き、このポイントを集計して得点を求める。この得点は
評価部２４に入力される。評価部２４では、各音楽要素
の得点に基づいて、良くできた点・注意すべき点などを
アドバイスする文言を生成し、得点とともに表示部２５
に出力する。表示部２５ではこの内容を図３に示すよう
な形態で表示する。

【００１５】ここで、図４および図５を参照して、歌唱
音声，リファレンス，差分データについて説明する。図
４（Ａ），（Ｂ）はリファレンスであるガイドメロディ
の例を示す図である。同図（Ａ）はガイドメロディを五
線譜表示したものであり、同図（Ｂ）はこの五線譜の内
容を約８０パーセントのゲートタイムで音高データ，音
量データ化したものであり、音量はｍｐ→クレッシェン
ド→ｍｐの指示に従って上下している。このように、一
般的なガイドメロディのデータは機械的に非常に正確な
ものである。これに対して、同図（Ｃ）はカラオケ歌唱
者の歌唱音声の例を示している。音高，音量ともリファ
レンスが示す値から上下に変動しており、各音の音量デ
ータの立ち上がりタイミングもリファレンスの音量デー
タの立ち上がりタイミングからずれている。

【００１６】図５は、図４（Ｂ）のリファレンスと同図
（Ｃ）歌唱音声との差をとることによって求めた差分デ
ータを示す図である。音高差分データ，音量差分データ
はリファレンスが指示する値を基準として歌唱音声が基
準からどれだけ上下にずれているかで示される。また、
リズム差分データは、音符（スラーで連続しているもの
を除く）毎にリファレンスと歌唱音声との立ち上がりタ
イミングのずれとして求められる。なお、この図では音
高差分データ，音量差分データをともに連続値として示
しているが、複数段階の階層に量子化するようにしても
よい。

【００１７】また、リファレンスでは発声すべき時間
（ノートオンステータス）であるのに歌唱音声が入力さ
れない（発声されていない）場合やリファレンスでは発
声しない時間（ノートオフステータス）であるのに歌唱
音声が入力されている場合があるが、この時間は、比較
する一方のデータが欠けている時間帯であるのでデータ
としては採用せず、両方のデータが揃っている時間帯の
みを有効データ区間として採用するようにしている。

【００１８】図６は、採点部２３に入力される歌唱技巧
データである効果付与データの例を示す図である。ここ
では、ビブラートデータおよびエクスプレッションデー
タの例を示す。この例では、付点４分音符や２分音符な
どの長いめの音符の後半にビブラートが掛かっている。
また、付点４分音符の後半にエクスプレッションが掛か
り、２分音符は音をゆっくり立ち上げているため前半部
にマイナスのエクスプレッションが掛かっている。この
ような抑揚を付けることで、カラオケ演奏は表情付けさ
れ、ガイドメロディのような単調さが解消されている。

【００１９】このような歌唱技巧データに基づいて歌唱
音声を採点する場合、音量データに関しては、このエク
スプレッションデータと同じ態様の変化音量ずれをして
いるときにポイントを与え、音高データに関しては、ビ
ブラートのような周波数の周期的な変動波形を追従して
ポイントを与えてもよく、単に、ビブラートの区間では
周波数ずれがあったときポイントを与えるようにしても
よい。

【００２０】図７は同カラオケ装置のハード構成を示す
ブロック図である。このカラオケ装置は、上記図１，図
２に示した機能部を主としてＣＰＵおよびソフトウェア
で実現している。装置全体の動作を制御するＣＰＵ３０
には、バスを介してＲＯＭ３１，ＲＡＭ３２，ハードデ
ィスク記憶装置（ＨＤＤ）３７，通信制御部３６，リモ
コン受信部３３，表示パネル３４，パネルスイッチ３
５，音源装置３８，音声データ処理部３９，効果用ＤＳ
Ｐ４０，文字表示部４３，ＬＤチェンジャ４４，表示制
御部４５および音声処理用ＤＳＰ５０が接続されてい
る。

【００２１】ＲＯＭ３１この装置を起動するために必要
な起動プログラムなどが記憶されている。この装置の動
作を制御するシステムプログラム，アプリケーションプ
ログラムなどはＨＤＤ３７に記憶されており、装置の電
源がオンされると上記起動プログラムによってＲＡＭ３
２に読み込まれる。ＲＡＭ３２には、このプログラム記
憶エリアのほか図８（Ａ）に示すように種々の記憶エリ
アが設定されている。図８（Ａ）において、ＲＡＭ３２
にはプログラムを記憶するプログラム記憶エリア３２
４，カラオケ演奏する楽曲データを記憶する実行データ
記憶エリア３２３，読み出されたガイドメロディを一時
記憶するＭＩＤＩバッファ３２０，このガイドメロディ
から抽出されたリファレンスデータを記憶するリファレ
ンスデータレジスタ３２１，リファレンスと歌唱音声と
の差に基づいて求められたポイントを記憶するポイント
記憶エリア３２２が設けられている。リファレンスデー
タレジスタ３２１は音高データレジスタ３２１ａおよび
音量データレジスタ３２１ｂからなっている。また、ポ
イント記憶エリア３２２は、音量ポイント記憶エリア３
２２ａ，音量ポイント記憶エリア３２２ｂおよびリズム
ポイント記憶エリア３２２ｃからなっている。また、Ｈ
ＤＤ３７には図８（Ｂ）に示すように、上記プログラム
記憶エリア３７３のほか約１万曲分の楽曲データを記憶
する楽曲データファイル３７０，歌唱から抽出された音
高データ，音量データや差分データを記憶する歌唱デー
タ記憶エリア３７１および歌唱の巧拙を評価したのち表
示するアドバイスメッセージを複数記憶したアドバイス
メッセージ記憶エリア３７２が設けられている。通信制
御部３６は、ＩＳＤＮ回線を介してホストステーション
から楽曲データなどをダウンロードし、内蔵しているＤ
ＭＡ回路を用いてこの楽曲データをＣＰＵ３０を介さず
に直接ＨＤＤ３７に書き込む。

【００２２】リモコン受信部３３はリモコン５１から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン５１は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル３４はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
３５はカラオケ装置の前面操作部に設けられており、曲
コード入力スイッチやキーチェンジスイッチなどを含ん
でいる。また、上記リモコン５１を用いて採点機能をオ
ン／オフできるようにしてもよい。

【００２３】音源装置３８は、楽曲データの楽音トラッ
クのデータに基づいて楽音信号を形成する。楽曲データ
はカラオケ演奏時にＣＰＵ３０によって読み出され、こ
の楽音トラックとともに比較用データであるガイドメロ
ディトラックも並行して読み出される。楽音トラックは
図８に示すように複数トラックで構成されており、音源
装置３８はこのデータに基づいて複数パートの楽音信号
を同時に形成する。音声データ処理部３９は、楽曲デー
タに含まれる音声データに基づき、指定された長さ，指
定された音高の音声信号を形成する。音声データは、バ
ックコーラスや模範歌唱音などの音源装置３８で電子的
に発生しにくい信号波形をそのままＡＤＰＣＭデータ化
して記憶したものである。音源装置３８が形成した楽音
信号および音声データ処理部３９が形成した音声信号が
カラオケ演奏音であり、これらは効果用ＤＳＰ４０に入
力される。効果用ＤＳＰ４０は、このカラオケ演奏音に
対してリバーブやエコーなどの効果を付与する。効果を
付与されたカラオケ演奏音はＤ／Ａコンバータ４１によ
ってアナログ信号に変換されたのち外付け装置であるア
ンプスピーカ４２に出力される。アンプスピーカ４２は
入力されたカラオケ演奏音および後述の歌唱音声信号を
増幅し、且つ、歌唱音声信号にエコーなどの効果を付与
したのちスピーカから放音する。

【００２４】一方、歌唱用のマイク４７から入力された
歌唱音声信号はプリアンプ２８で増幅されたのち、前記
アンプスピーカ４２およびＡ／Ｄコンバータ４９に入力
される。アンプスピーカ４２に出力された信号はカラオ
ケ歌唱音として増幅出力される。Ａ／Ｄコンバータ４９
は、入力された歌唱音声信号をディジタル化し、これを
音声処理用ＤＳＰ５０に入力する。音声処理用ＤＳＰ５
０は、入力された歌唱音声信号を５０ｍｓずつのフレー
ムに区切り、各フレーム毎に周波数をカウントするとと
もに平均音量を算出する。この各フレーム毎の周波数カ
ウント値および平均音量値はＣＰＵ３０によって５０ｍ
ｓ毎に読み取られる。ＣＰＵ３０はこの周波数カウント
値および平均音量値に基づいて上述の音高データおよび
音量データを割り出す。

【００２５】文字表示部４３は入力される文字データに
基づいて、曲名や歌詞などの文字パターンを生成する。
また、外付け装置であるＬＤチェンジャ４４は入力され
た映像選択データ（チャプタナンバ）に基づき、対応す
るＬＤの背景映像を再生する。映像選択データは当該カ
ラオケ曲のジャンルデータなどに基づいて決定される。
ジャンルデータは楽曲データのヘッダに書き込まれてお
り、カラオケ演奏スタート時にＣＰＵ３０によって読み
出される。ＣＰＵ３０はジャンルデータに基づいてどの
背景映像を再生するかを決定し、その背景映像を指定す
る映像選択データをＬＤチェンジャ４４に対して出力す
る。ＬＤチェンジャ４４には、５枚（１２０シーン）程
度のレーザディスクが内蔵されており約１２０シーンの
背景映像を再生することができる。映像選択データによ
ってこのなかから１つの背景映像が選択され、映像デー
タとして出力される。文字パターン，映像データは表示
制御部４５に入力される。表示制御部４５ではこれらの
データをスーパーインポーズで合成してモニタ４６に表
示する。

【００２６】次に、図９〜図１１を参照して同カラオケ
装置においてカラオケ演奏に用いられる楽曲データの構
成について説明する。図９は楽曲データの構成を示す図
である。また、図１０，図１１は楽曲データの詳細な構
成を示す図である。

【００２７】図９において、楽曲データは、ヘッダ，楽
音トラック，ガイドメロディトラック，歌詞トラック，
音声トラック，効果トラックおよび音声データ部からな
っている。ヘッダは、この楽曲データに関する種々のデ
ータが書き込まれる部分であり、曲名，ジャンル，発売
日，曲の演奏時間（長さ）などのデータが書き込まれて
いる。

【００２８】楽音トラック〜効果トラックの各トラック
は図１０，図１１に示すように複数のイベントデータと
各イベントデータ間の時間間隔を示すデュレーションデ
ータΔｔからなるシーケンスデータで構成されている。
ＣＰＵ３０は、カラオケ演奏時にシーケンスプログラム
に基づき全トラックのデータを並行して読み出す。シー
ケンスプログラムは、所定のテンポクロックでΔｔをカ
ウントし、Δｔをカウントアップしたときこれに続くイ
ベントデータを読み出し、所定の処理部へ出力するプロ
グラムである。

【００２９】楽音トラックには、メロディトラック，リ
ズムトラックを初めとして種々のパートのトラックが形
成されている。ガイドメロディトラックには、このカラ
オケ曲の旋律すなわち歌唱者が歌うべき旋律のシーケン
スデータが書き込まれている。ＣＰＵ３０はこのデータ
に基づいてリファレンスの音高データ，音量データを生
成し、歌唱音声と比較する。

【００３０】歌詞トラックは、モニタ４６上に歌詞を表
示するためのシーケンスデータを記憶したトラックであ
る。このシーケンスデータは楽音データではないが、イ
ンプリメンテーションの統一をとり、作業工程を容易に
するためこのトラックもＭＩＤＩデータ形式で記述され
ている。データ種類は、システム・エクスクルーシブ・
メッセージである。歌詞トラックのデータ記述におい
て、通常は１行の歌詞を１つの歌詞表示データとして扱
っている。歌詞表示データは１行の歌詞の文字データ
（文字コードおよびその文字の表示座標）、この歌詞の
表示時間（通常は３０秒前後）、および、ワイプシーケ
ンスデータからなっている。ワイプシーケンスデータと
は、曲の進行に合わせて歌詞の表示色を変更してゆくた
めのシーケンスデータであり、表示色を変更するタイミ
ング（この歌詞が表示されてからの時間）と変更位置
（座標）が１行分の長さにわたって順次記録されている
データである。

【００３１】音声トラックは、音声データ部に記憶され
ている音声データｎ（ｎ＝１，２，３，‥‥）の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置３８で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと、音声指定データ
の読み出し間隔、すなわち、音声データを音声データ処
理部３９に出力して音声信号形成するタイミングを指定
するデュレーションデータΔｔが書き込まれている。音
声指定データは、音声データ番号，音程データおよび音
量データからなっている。音声データ番号は、音声デー
タ部に記録されている各音声データの識別番号ｎであ
る。音程データ，音量データは、形成すべき音声データ
の音程や音量を指示するデータである。すなわち、言葉
を伴わない「アー」や「ワワワワッ」などのバックコー
ラスは、音程や音量を変化させれば何度も利用できるた
め、基本的な音程，音量で１つ記憶しておき、このデー
タに基づいて音程や音量をシフトして繰り返し使用す
る。音声データ処理部３９は音量データに基づいて出力
レベルを設定し、音程データに基づいて音声データの読
出間隔を変えることによって音声信号の音程を設定す
る。

【００３２】効果トラックには、効果用ＤＳＰ４０を制
御するためのＤＳＰコントロールデータが書き込まれて
いる。効果用ＤＳＰ４０は音源装置３８，音声データ処
理部３９から入力される信号に対してリバーブなどの残
響系の効果を付与する。ＤＳＰコントロールデータは、
このような効果の種類を指定するデータおよびその変化
量データなどからなっている。

【００３３】上記歌唱技巧データは、効果用ＤＳＰ４０
を制御するＤＳＰコントロールデータを用いてもよく、
音源装置３８の楽音信号形成動作を制御するデータを用
いてもよい。音源装置３８を制御するデータはイベント
データとして楽音トラックに書き込まれているものであ
り、たとえば、アフタータッチデータやピッチモジュレ
ーションのためのパラメータなどがあり、これらをエク
スプレッションデータやビブラートデータとして用いる
ことができる。また、ノートオンイベントデータの発生
タイミング（デュレーションデータの値）をリズムの歌
唱技巧データとして用いることもできる。

【００３４】図１２〜図１４は同カラオケ装置の動作を
示すフローチャートである。これらの動作はカラオケ演
奏を実行するシーケンスプログラムと並行して実行さ
れ、シーケンスプログラムとのデータの交換も行われ
る。図１２はデータの取込動作を示すフローチャートで
ある。同図（Ａ）はＡ／Ｄコンバータ４９および音声処
理用ＤＳＰ５０の動作を示している。マイク４７から歌
唱音声信号が入力されると（ｓ１）、Ａ／Ｄコンバータ
４９はこの音声信号をディジタルデータに変換する（ｓ
２）。このディジタルデータは音声処理用ＤＳＰ５０に
入力される。音声処理用ＤＳＰ５０は、５０ｍｓのフレ
ーム単位でこのディジタルデータの周波数のカウント
（ｓ３）および平均音量の算出（ｓ４）を行う。この周
波数カウント値および平均音量値は５０ｍｓ毎にＣＰＵ
３０によって読み取られる（同図（Ｃ）のデータ変換処
理参照）。

【００３５】同図（Ｂ）はリファレンス入力処理を示す
フローチャートである。この動作はカラオケ演奏を実行
するシーケンスプログラムからガイドメロディトラック
のイベントデータが受け渡されたとき実行される。ま
ず、シーケンスプログラムから渡されたＭＩＤＩデータ
をＭＩＤＩバッファ３２０に取り込み（ｓ５）、このデ
ータを音量データおよび音高データに変換する（ｓ
６）。これは、ＭＩＤＩフォーマットのノートオンデー
タのノートナンバやピッチベンドデータを音高データに
変換し、ノートオンデータのベロシティデータやアフタ
タッチ（キープレッシャ）データを音量データに変換す
る処理である。このようにして変換された音高データ，
音量データでＲＡＭ３２のリファレンスデータレジスタ
３２１を更新する（ｓ７）。したがって、リファレンス
データレジスタ３２１は新たなガイドメロディデータが
入力される毎に更新される。

【００３６】なお、リファレンスデータがＭＩＤＩデー
タではなく音高データ，音量データとして記憶されてい
る場合には、この変換処理を行わずそのままリファレン
スデータレジスタ３２１に記憶すればよい。また、音高
データ，音量データの記述フォーマットをＭＩＤＩフォ
ーマットにすることもできる。この場合、これらをシス
テムエクスクルーシブメッセージで記述してもよく、汎
用のチャンネルメッセージ（たとえば、ノートオンデー
タ，ピッチベンドデータ，チャンネルキープレッシャデ
ータなど）で代用してもよい。

【００３７】同図（Ｃ）はデータ変換処理動作を示すフ
ローチャートである。この動作は、音声処理用ＤＳＰ５
０から歌唱音声信号の周波数カウント値および平均音量
値を取り込んで歌唱音声の音高データ，周波数データに
変換する処理であり、歌唱音声信号の１フレーム時間で
ある５０ｍｓ毎に実行される。まず、音声処理用ＤＳＰ
５０から平均音量値を読み取り（ｓ１１）、その値が閾
値以上であるかを判断する（ｓ１２）。閾値以上であれ
ばこの平均音量値に基づいて音量データを生成する（ｓ
１３）。次に音声処理用ＤＳＰ５０から周波数カウント
値を読み取り（ｓ１４）、この周波数カウント値に基づ
いて音高データを生成する（ｓ１５）。こののち比較動
作に進む。一方、ｓ１２で平均音量値が閾値未満である
と判断された場合には、歌唱者が歌唱（発声）していな
いとして音量０データを生成して（ｓ１６）、音高デー
タを生成せずに比較動作に進む。

【００３８】図１３は比較動作を示すフローチャートで
ある。この動作は図１２（Ｃ）のデータ変換動作で生成
された歌唱音声の音高データ，音量データと、同図
（Ｂ）のリファレンス入力動作で求められたリファレン
スの音高データ，音量データとを比較して差分データを
求める動作であり、上記データ変換処理動作に同期して
５０ｍｓ毎に実行される。まず、リファレンスの音量デ
ータおよび歌唱音声の音量データの両方が閾値以上（発
音中）であるかを判断する（ｓ２０）。両方が発音中で
なければ比較しても無意味であるためｓ３２以下の動作
に進む。両方が発音中の場合には、発音フラグがセット
しているか否かを判断する（ｓ２１）。発音フラグは両
方が立ち上がったとき（発音中になったとき）ｓ２２で
セットされるフラグである。したがって、立ち上がり時
にはまだリセットされたままであるためｓ２１からｓ２
２に進む。ｓ２２では発音フラグをセットする。まず、
リファレンスおよび歌唱音声の立ち上がりタイミングの
差を算出する（ｓ２３）。このタイミング差を歌唱技巧
データと比較し（Ｓ２４）、この一致度をポイントとし
てリズムポイント記憶エリア３２２ｃに蓄積記憶する
（ｓ２５）。ここで、このタイミングのズレを表す歌唱
技巧データとしては、楽音トラックのノートオンイベン
トデータを用いればよい。すなわち、ノートオンイベン
トデータの正確なビートタイミングのズレがこの曲を上
手く演奏するための技巧を表していると考えられるから
である。以上の処理ののちｓ２６に進む。また、既に発
音中で発音フラグがセットされている場合もｓ２１の判
断で直接ｓ２６に進む。

【００３９】ｓ２６以下では次のような処理を実行す
る。まず、歌唱音声およびリファレンスの音量データを
比較してその差を算出し（ｓ２６）、この差を歌唱技巧
データ（たとえばエクスプレッションデータ）と比較し
てその一致度、すなわち、歌唱がこの技巧を有している
かを判断する（ｓ２７）。この一致度をポイントとして
ＲＡＭ３２の音量ポイント記憶エリア３２２ｂに蓄積記
憶する（ｓ２８）。次に、歌唱音声およびリファレンス
の音高データを比較してその差を算出し（ｓ２９）、こ
の差を歌唱技巧データ（たとえばビブラートデータやピ
ッチベンドデータ）と比較してその一致度を判断する
（ｓ３０）。この一致度を音高ポイントとしてＲＡＭ３
２の音高ポイント記憶エリア３２２ｃに蓄積記憶する
（ｓ３１）。

【００４０】一方、両方が発音中と判断されなかった場
合にはｓ２０からｓ３２に進み、リファレンス，歌唱音
声の両方が消音しているか否かを判断する。ｓ３２で両
方が消音していると判断された場合には消音期間である
として発音フラグをリセットして（ｓ３３）リターンす
る。両方が消音中でない場合には、歌唱タイミングのず
れであるとしてそのままリターンする。以上の動作によ
り、図５に示した有効データ区間の音量ポイントデー
タ，音高ポイントデータおよびリズムポイントデータが
ポイントデータ記憶エリア３２２に蓄積記憶されてゆ
く。

【００４１】図１４は採点動作を示すフローチャートで
ある。この動作はカラオケ曲が終了したのち実行され
る。まず、カラオケ曲が演奏されている間蓄積記憶され
た音量ポイントを集計して音量得点を算出する（ｓ４
０）。次に、蓄積記憶された音高ポイントを集計して音
高得点を算出する（ｓ４１）。さらに、蓄積記憶された
リズムポイントを集計してリズム得点を算出する（ｓ４
２）。これら３つの音楽要素の得点を平均して総合得点
を算出する（ｓ４３）。そして、この総合得点と各音楽
要素の得点に基づいて適当なアドバイスメッセージを決
定し（ｓ４４）、ＨＤＤ３７のアドバイスメッセージ記
憶エリア３７２からこれを読み出して、総合得点ととも
に文字表示部４３に出力する（ｓ４５）。文字表示部４
３はこれを文字パターンに展開して曲が終了したあとの
モニタ４６に表示する。

【００４２】この採点動作は曲が終了したのちに曲全体
の採点・評価を行っているが、フレーズ単位，音符単位
で基本評価を行い、曲終了後にそれを集計するようにし
てもよい。

【００４３】また、リズム差分データは、歌唱音声のリ
ファレンスに対するタイミングのずれを示すデータであ
るが、突っ込んだ（先にずれた）のか遅れた（後にずれ
た）のかを正負の記号で記録するようにしてもよく、単
にずれた時間の絶対値を記録するようにしてもよい。

【００４４】ここで、上記実施形態では、楽曲データの
楽音トラックや効果トラックに含まれるカラオケ演奏用
のデータを歌唱技巧データとして用いているが、歌唱技
巧をルールとして抽出したものを適用して歌唱を採点す
るようにしてもよい。すなわち、特定のカラオケ曲の歌
い方または該カラオケ曲を歌っているオリジナル歌手の
歌唱の特徴をルールとして抽出しておく。たとえば、
「４分音符を超える長い音符は後半ビブラートを深く掛
けてゆく。」 「フレーズの最後の伸ばし（後に休符がくる４分音符を
超える音符）は、小さい音量からスタートして徐々に音
量を上げてゆく。」 「５度を超える音程のジャンプはポルタメントをかけ
る。」などのルールを抽出し、このルールを楽曲データ
中にまたは楽曲データと別に記憶しておき、歌唱音声と
比較データとの差分データがこのルールに一致している
か否かでポイントを付与するようにすればよい。上記ル
ールを楽曲データと別に記憶する場合には、各ルールに
対応する曲のジャンルやオリジナル歌手などのヘッダを
設けておき、演奏される曲に応じてルールを適用するよ
うにすればよい。また、この場合、複数のルールをグル
ープ化して○○対応ルール（例えば、演歌対応ルール）
として記憶してもよく。ルールを１つずつ個別に記憶し
ておき、曲に応じてそれらを組み合わせて適用するよう
にしてもよい。

【００４５】上記のような採点・評価動作を実行する場
合、曲終了から採点・評価を終了するまである程度の時
間が掛かるが、この間は『現在採点中』の表示とともに
何らかの映像・音声を上映するようにしてもよい。

【００４６】また、図１３の動作により、音量差分デー
タと音高差分データがリアルタイムに求められているた
め、これをモニタ４６上にリアルタイムに表示するよう
にしてもよい。表示方式としては図１５に示すようなメ
ータアイコン方式や数値表示方式などがある。メータア
イコン方式で表示する場合には、ＣＰＵ３０のパフォー
マンスを考慮し、針の表示分解能を３〜５段階程度に
し、表示切換間隔を１秒程度にする。

【００４７】なお、上記採点機能はカラオケ演奏時に常
時機能するようにしてもよく、利用者（カラオケ歌唱
者）の選択によって機能するようにしてもよい。

【００４８】

【発明の効果】以上のように請求項１の発明によれば、
カラオケの歌唱音声から抽出したデータを比較データと
比較した結果を、この歌唱の技巧を表す歌唱技巧データ
に基づいて評価・採点するようにしたことにより、この
歌唱の巧拙を正しく評価することができ、精度の高い採
点をすることができる。

【００４９】また、請求項２の発明では、この歌唱技巧
データとしてビブラートやエクスプレッションデータな
どカラオケ演奏に用いられる効果付与データを用いるこ
とにより、新たなデータなしで従来よりカラオケ演奏に
用いられているデータを用いて歌唱を評価することがで
きる。

【００５０】さらに、請求項３の発明によれば、当該カ
ラオケ曲またはそのカラオケ曲のオリジナル歌手の歌い
方の特徴を抽出したものを歌唱技巧データとして記憶し
ておくことにより、各カラオケ曲に合った歌唱をしてい
るか否かの評価を正しく判断することができる。

【図面の簡単な説明】

【図１】この発明の実施形態であるカラオケ装置の概略
構成図

【図２】同カラオケ装置の比較部の構成を示す図

【図３】同カラオケ装置の表示部の表示例を示す図

【図４】同カラオケ装置のガイドメロディに基づくリフ
ァレンス音高データ，音量データと歌唱音声の音高デー
タ，音量データの例を示す図

【図５】上記リファレンスおよび歌唱音声によって求め
られた差分データの例を示す図

【図６】歌手の歌唱から抽出された音高データおよび音
量データの例を示す図

【図７】同カラオケ装置のハード構成を示すブロック図

【図８】同カラオケ装置のメモリおよびＨＤＤの構成図

【図９】同カラオケ装置で用いられる楽曲データの構成
を示す図

【図１０】同楽曲データのトラック構成図

【図１１】同楽曲データのトラック構成図

【図１２】同カラオケ装置のデータ取込動作を示すフロ
ーチャート

【図１３】同カラオケ装置の比較動作を示すフローチャ
ート

【図１４】同カラオケ装置の採点動作を示すフローチャ
ート

【図１５】同カラオケ装置のモニタ表示例を示す図

【符号の説明】

１…（カラオケ歌唱用の）マイク、２…Ａ／Ｄコンバー
タ、３…データ抽出部、４…比較部、５…ハードディス
ク、６…実行メモリ、７…シーケンサ、８…楽音発生
部、９…アンプ、１０…スピーカ、２１…差分算出部、
２２…記憶部、２３…採点部、２４…評価部、２５…表
示部、３０…ＣＰＵ、３２…ＲＡＭ、３７…ハードディ
スクドライブ、３８…音源装置、３９…音声データ処理
部、４７…マイク、５０…音声処理用ＤＳＰ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 カラオケ歌唱の音声信号を入力する音声
   信号入力手段と、 カラオケ曲の演奏を実行するためのカラオケ演奏用デー
   タ、該カラオケ曲の歌唱旋律の音高データ、音量データ
   を含む比較用データ、および、該カラオケ曲の歌唱の技
   巧を示す歌唱技巧データを記憶する曲データ記憶手段
   と、 前記カラオケ演奏用データを読み出してカラオケ演奏を
   実行するカラオケ演奏手段と、 前記音声信号入力手段より入力された音声信号から少な
   くとも音高データおよび音量データを抽出するととも
   に、前記カラオケ演奏手段と同期して前記比較用データ
   を読み出し、該比較用データと前記抽出されたデータと
   の比較結果を前記歌唱技巧データに基づいて採点する歌
   唱採点手段と、 を設けたことを特徴とするカラオケ装置。
2. 【請求項２】 前記歌唱技巧データは、前記カラオケ演
   奏用データに含まれるビブラートやエクスプレッション
   データなどの効果付与データである請求項１に記載のカ
   ラオケ装置。
3. 【請求項３】 前記歌唱技巧データは、音高や音長など
   で識別される歌唱旋律中の特定の音符の音高や音量の変
   動量を表すルールデータである請求項１に記載のカラオ
   ケ装置。