JP3430811B2 - カラオケ装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カラオケ歌唱者
の歌唱音声信号から音高（ピッチ）データや音量データ
を抽出し、これらのデータを基準となるデータと比較す
ることによって該歌唱を採点するカラオケ装置に関す
る。

【０００２】

【従来の技術】再生または自動演奏される伴奏音に合わ
せて歌唱者が歌唱するカラオケ装置において、カラオケ
演奏が終了したとき、歌唱者の歌唱の巧拙を点数で表示
する採点機能を備えたものが実用化されている。

【０００３】

【発明が解決しようとする課題】しかし、上記従来のカ
ラオケ装置の採点機能は、再生または自動演奏される伴
奏音の音量レベルとマイクから入力される歌唱者の音量
レベルとを比較し、その一致の程度に基づいて得点を割
り出すのみの機能であり、実際の歌唱の巧拙とかけ離れ
た得点がでてしまうことがあり、全く信頼できるもので
はなかった。

【０００４】この発明は、歌唱者の歌唱音声信号から抽
出された音高データや音量データなどのデータとカラオ
ケ曲の歌唱旋律の対応するデータとを比較する機能を備
えたカラオケ装置、および、この比較機能により歌唱の
巧拙を正しく採点評価することのできるカラオケ装置を
提供することを目的とする。

【０００５】

【課題を解決するための手段】この出願の請求項１の発
明は、カラオケ曲の演奏を実行するためのカラオケ演奏
用データ、該カラオケ曲の歌唱旋律を再生するためのガ
イドメロディデータを含む曲データと、前記カラオケ曲
の基準歌唱の音声信号から抽出された音高データおよび
音量データを前記ガイドメロディデータと比較して得ら
れた基準差分データと、を記憶する記憶手段と、カラオ
ケ演奏用データを読み出してカラオケ曲の演奏を実行す
るカラオケ演奏手段と、カラオケ曲を歌唱した音声信号
を入力する音声信号入力手段と、音声信号入力手段より
入力された音声信号から音高データおよび音量データを
抽出するデータ抽出手段と、カラオケ演奏手段と同期し
て前記ガイドメロディデータを読み出し、該ガイドメロ
ディデータと前記データ抽出手段によって抽出されたデ
ータとを比較して差分データを求める差分データ作成手
段と、差分データ作成手段によって求められた差分デー
タと前記基準差分データとの近似度を求め、この近似度
に基づいてカラオケ歌唱を採点する採点手段と、を設け
たことを特徴とする。

【０００６】この出願の請求項２の発明は、記憶手段、
カラオケ演奏手段、データ抽出手段、制御手段を備える
カラオケ装置であって、記憶手段は、曲データと、それ
に対応する基準差分データを記憶し、曲データは、カラ
オケ演奏用データと、歌唱旋律の音高データ及び音量デ
ータを含む比較用データにより構成され、カラオケ演奏
手段は、カラオケ演奏用データを読み出して演奏を実行
し、データ抽出手段は、入力される音声信号から音高デ
ータ及び音量データを抽出し、制御手段は、リファレン
ス作成処理と、採点処理を可能とし、リファレンス作成
処理は、カラオケ演奏手段による演奏と同期して比較用
データを読み出し、該比較用データと抽出された音高デ
ータおよび音量データを比較して基準差分データを作成
して記憶手段に記憶させ、採点手段は、カラオケ演奏手
段による演奏と同期して基準差分データを読み出し、該
基準差分データと抽出された音高データ及び音量データ
との近似度を求め、該近似度に基づいて採点を行うこと
を特徴とする。

【０００７】

【０００８】

【０００９】

【００１０】この発明においては、カラオケ演奏手段が
カラオケ演奏用データを読み出してカラオケ演奏を実行
すると同時に、歌唱者が音声信号入力手段からカラオケ
歌唱の音声信号を入力する。音声信号はデータ抽出手段
により分析され、音高データや音量データなどのデータ
が抽出される。前記カラオケ演奏と同期して該カラオケ
曲の歌唱旋律のデータである比較用データが読み出され
る。そして、この比較データと上記抽出されたデータと
を比較し、その差分データを求める。この差分データは
前記比較用データとのずれを表すデータであり、比較用
データが基準となるデータ、すなわち、標準的な歌唱形
態を表すデータであれば差分データが大きいほど歌唱が
ずれていることを示している。このように比較用データ
と比較して差分データを作成することによりこの歌唱の
巧拙を評価することが容易になる。また、歌唱音声信号
をそのまま保存するのに比べてデータ量が小さくなり歌
唱内容の保存も容易になる。

【００１１】また、この発明では、上記求められた差分
データに基づいてこのカラオケの歌唱を採点する。採点
方法は、たとえば、差分データの積分値を減点分として
満点から減算し、これを得点とする方法などがある。ま
た、音高（ピッチ），音量，リズムなどの歌唱の要素毎
に採点するようにしてもよい。なお、タイミングは音量
データの立ち上がりタイミングの差に基づいて採点する
ことが可能である。

【００１２】また、この発明では、上記求められた差分
データを記憶し、次のカラオケ演奏時に読み出す。読み
出された差分データをそのまま再生すれば前回のカラオ
ケ歌唱を演奏として再生することができる。また、今回
のカラオケ歌唱の差分データとこの前回の差分データを
比較することにより、前回から今回への上達度合いを計
ることができる。

【００１３】また、この発明では、上記手順で歌手の歌
唱から差分データを求めておく。そして、通常の歌唱者
が歌唱したとき求められた差分データをこの差分データ
と比較し、これらがどの程度似ているかによってこの歌
唱を採点する。比較用データが音符を機械的に演奏デー
タ化した単調なものである場合でも、歌手の理想的な歌
唱と上記比較用データとのずれを差分データとして予め
求めておくことにより、この差分データに基づいてカラ
オケ歌唱者の歌唱の本当の巧拙を正しく割り出すことが
できる。

【００１４】また、この発明では、カラオケ演奏手段が
カラオケ演奏用データを読み出してカラオケ演奏を実行
すると同時に、歌唱者が音声信号入力手段からカラオケ
歌唱の音声信号を入力する。音声信号はデータ抽出手段
により分析され、音高データや音量データなどのデータ
が抽出される。前記カラオケ演奏と同期して該カラオケ
曲の比較用データが読み出される。この比較用データは
歌手がこのカラオケ曲を歌唱した信号から抽出された音
高データおよび音量データを含むものであり、データ抽
出手段が一般の歌唱者の歌唱から抽出するデータと同じ
ものである。そして、歌手による歌唱は音符をそのまま
歌うのなはなく、音高や音量を微妙にずらした歌いまわ
しによって歌に表現をつけている。この比較用データと
上記抽出された歌唱者のデータとを比較することによっ
て歌唱を採点する。たとえば、両者の差が小さければ歌
唱者は歌手と同じような歌いまわしをしており、巧く歌
っていることになる。一方、両者の差が大きければ、歌
唱者は歌手と異なる歌唱をしておりずれていることを示
している。このように、一般のカラオケ歌唱者の歌唱音
声信号の音高データや音量データを専門の歌手の歌唱音
声信号の音高データや音量データを比較することによ
り、歌唱の微妙な歌いまわしの巧拙を正しく割り出すこ
とができる。

【００１５】

【発明の実施の形態】図１はこの発明の実施形態である
カラオケ装置の概略構成図である。歌唱者がカラオケ歌
唱の音声を入力するマイク１はアンプ９に接続されると
ともにＡ／Ｄコンバータ２に接続されている。また、カ
ラオケ演奏用データや比較用データであるガイドメロデ
ィデータを含む楽曲データは、約１万曲分がハードディ
スク装置５に記憶されており、そのうちカラオケ歌唱者
に選択された１曲分が実行メモリ６に読み出される。そ
してシーケンサ７により順次読み出される。シーケンサ
７によって読み出された演奏用データは楽音発生部８に
入力される。また、シーケンサ７によって読み出された
ガイドメロディデータは比較部４に入力される。楽音発
生部８は入力されたカラオケ演奏用データに基づいて該
カラオケ曲の演奏音を発生し、アンプ９に入力する。ア
ンプ９はカラオケ演奏音およびマイク１から入力された
歌唱音声信号を増幅してスピーカ１０に出力する。これ
がカラオケ装置の基本機能である。

【００１６】一方、Ａ／Ｄコンバータ２に入力された歌
唱音声信号はディジタル信号に変換されたのち、データ
抽出部３に入力される。データ抽出部３は５０ｍｓ毎に
このディジタル化された歌唱音声信号から音高および音
量を割り出し、音高データ，音量データとして比較部４
に入力する。比較部４では、データ抽出部３から入力さ
れるカラオケ歌唱者の歌唱音声信号の音高データ，音量
データとシーケンサ７から入力されるガイドメロディの
音高データ，音量データとをリアルタイムに比較する。
なお、５０ｍｓは１２０のメトロノームテンポで３２分
音符に相当し、歌唱の特徴を抽出するために十分の分解
能である。また、長音符中でもこの分解能でサンプリン
グするため、微妙な歌いまわしを評価することも可能に
なる。

【００１７】図２は前記比較部４の構成を示す図であ
る。データ抽出部３から入力される歌唱音声信号の音高
データおよび音量データ（以下、歌唱音声という）およ
びシーケンサ７から入力されるガイドメロディの音高デ
ータ，音量データ（以下、リファレンスという）は差分
算出部２１に入力される。差分算出部２１は、歌唱音声
が入力されるタイミングに合わせて５０ｍｓ毎にこれら
の差を算出する。これはリアルタイムの差分データ（音
高差分データ，音量差分データ）として出力される。ま
た、差分算出部２１は、歌唱音声の音量の立ち上がりタ
イミングとリファレンスの音量の立ち上がりタイミング
のずれを検出し、これをリズム差分データとして出力す
る。

【００１８】検出された差分データは採点部２３および
記憶部２２に入力される。採点部２２は、この差分デー
タを積算し、曲が終了したときその積算値に基づいて減
点値を求める。そしてこの減点値を満点（１００点）か
ら減算して得点を求める。得点は、音高，音量，リズム
の各音楽要素毎に求められる。この得点は評価部２４に
入力される。評価部２４では、各音楽要素の得点に基づ
いて、良くできた点・注意すべき点などをアドバイスす
る文言を生成し、得点とともに表示部２５に出力する。
表示部２５ではこの内容を図３に示すような形態で表示
する。

【００１９】ここで、図４および図５を参照して、歌唱
音声，リファレンス，差分データについて説明する。図
４（Ａ），（Ｂ）はリファレンスであるガイドメロディ
の例を示す図である。同図（Ａ）はガイドメロディを五
線譜表示したものであり、同図（Ｂ）はこの五線譜の内
容を約８０パーセントのゲートタイムで音高データ，音
量データ化したものであり、音量はｍｐ→クレッシェン
ド→ｍｐの指示に従って上下している。このように、一
般的なガイドメロディのデータは機械的に非常に正確な
ものである。これに対して、同図（Ｃ）はカラオケ歌唱
者の歌唱音声の例を示している。音高，音量ともリファ
レンスが示す値から上下に変動しており、各音の音量デ
ータの立ち上がりタイミングもリファレンスの音量デー
タの立ち上がりタイミングからずれている。

【００２０】図５は、図４（Ｂ）のリファレンスと同図
（Ｃ）歌唱音声との差をとることによって求めた差分デ
ータを示す図である。音高差分データ，音量差分データ
はリファレンスが指示する値を基準として歌唱音声が基
準からどれだけ上下にずれているかで示される。また、
リズム差分データは、音符（スラーで連続しているもの
を除く）毎にリファレンスと歌唱音声との立ち上がりタ
イミングのずれとして求められる。なお、この図では音
高差分データ，音量差分データをともに連続値として示
しているが、複数段階の階層に量子化するようにしても
よい。

【００２１】また、リファレンスでは発声すべき時間
（ノートオンステータス）であるのに歌唱音声が入力さ
れない（発声されていない）場合やリファレンスでは発
声しない時間（ノートオフステータス）であるのに歌唱
音声が入力されている場合があるが、この時間は、比較
する一方のデータが欠けている時間帯であるのでデータ
としては採用せず、両方のデータが揃っている時間帯の
みを有効データ区間として採用するようにしている。

【００２２】また、図２において、差分データは記憶部
２２に記憶することもでき、同じカラオケ曲を再度演奏
する場合に、この演奏と同期して読み出すことができ
る。なお、この読み出しは図１のシーケンサ７が制御す
るものとする。この記憶部２２の記憶機能および読出機
能を用いることにより、採点や上達度の評価に以下のよ
うなバリエーションを持たせることができる。

【００２３】すなわち、上述の例ではリファレンスとし
て音符を機械的にデータ化したガイドメロディを用いた
が、歌唱に習熟した歌手などの歌唱に基づいて一般のカ
ラオケ歌唱者の歌唱を採点することができる。まず、該
カラオケ装置のカラオケ演奏（伴奏）でカラオケ曲を歌
唱し、その歌唱音声と上記ガイドメロディのリファレン
スとの差分データを記憶部２２に基準差分データとして
記憶しておく。その後、同じカラオケ曲が演奏されると
き、このカラオケ演奏に同期して記憶部２２からこの基
準差分データを読み出し、これを採点部２３に入力す
る。採点部２３は差分算出部２１から入力されるそのと
きの歌唱音声の差分データと記憶部２２から入力される
歌手の差分データである基準差分データとを比較し、こ
れらがどれだけ近似しているかでこの歌唱を採点する。
このように、歌手の歌唱に基づいて一般の歌唱を採点評
価することにより、正確さよりも表現を重視した巧拙の
判断をすることができる。

【００２４】また、歌手の歌唱に基づいて一般のカラオ
ケ歌唱者の歌唱を採点評価する場合には、歌手の歌唱を
データ抽出部３に入力して得られた音高データ，音量デ
ータをハードディスク５に記憶しておき、これをリファ
レンスとして用いるようにしてもよい。このリファレン
スとして記憶しておくデータは、音高データ，音量デー
タの組み合わせに限らず、ＭＩＤＩデータとして保存す
ることもできる。すなわち、入力された音声信号を５０
ｍｓ毎にサンプリングし、これからイベントデータおよ
びデュレーションデータを抽出してＭＩＤＩデータ化す
ることができ、これを歌手の歌唱や後述するように自己
（カラオケ歌唱者）の歌唱に適用してＭＩＤＩデータ化
された歌唱を保存することができる。

【００２５】図６に歌手の歌唱から抽出した音高デー
タ，音量データの例を示す。音高，音量，タイミングと
もほぼ正確であるが、付点４分音符や２分音符などの長
い音符はビブラートを掛けるため音高（周波数）の周期
的な変動があり、最後の２分音符は音をゆっくり立ち上
げているため前半部で音量が小さい。このように、機械
的な正確さで音符を再現していないが、音高データ，音
量データともに単調なガイドメロディにはない表情が付
加されている。

【００２６】また、図３において、記憶部２２に一般の
カラオケ歌唱者の歌唱の差分データを記憶するようにし
てもよい。この場合、採点部２３を上達度判定部として
機能させる。すなわち、同じ歌唱者がこのカラオケ曲を
再度歌唱するとき、このカラオケ演奏に同期して記憶部
２２に記憶している前回の歌唱の差分データを読み出
す。そして、採点部（上達度判定部）２３において、前
回の差分データと今回の差分データを比較し、差分デー
タが減少していれば、その分上達したと判定する。

【００２７】図７は同カラオケ装置のハード構成を示す
ブロック図である。このカラオケ装置は、上記図１，図
２に示した機能部を主としてＣＰＵおよびソフトウェア
で実現している。装置全体の動作を制御するＣＰＵ３０
には、バスを介してＲＯＭ３１，ＲＡＭ３２，ハードデ
ィスク記憶装置（ＨＤＤ）３７，通信制御部３６，リモ
コン受信部３３，表示パネル３４，パネルスイッチ３
５，音源装置３８，音声データ処理部３９，効果用ＤＳ
Ｐ４０，文字表示部４３，ＬＤチェンジャ４４，表示制
御部４５および音声処理用ＤＳＰ５０が接続されてい
る。

【００２８】ＲＯＭ３１この装置を起動するために必要
な起動プログラムなどが記憶されている。この装置の動
作を制御するシステムプログラム，アプリケーションプ
ログラムなどはＨＤＤ３７に記憶されており、装置の電
源がオンされると上記起動プログラムによってＲＡＭ３
２に読み込まれる。ＲＡＭ３２には、このプログラム記
憶エリアのほか図８（Ａ）に示すように種々の記憶エリ
アが設定されている。図８（Ａ）において、ＲＡＭ３２
にはプログラムを記憶するプログラム記憶エリア３２
４，カラオケ演奏する楽曲データを記憶する実行データ
記憶エリア３２３，読み出されたガイドメロディを一時
記憶するＭＩＤＩバッファ３２０，このガイドメロディ
から抽出されたリファレンスデータを記憶するリファレ
ンスデータレジスタ３２１，リファレンスと歌唱音声を
比較することによって求められた差分データを蓄積記憶
する差分データ記憶エリア３２２が設けられている。リ
ファレンスデータレジスタ３２１は音高データレジスタ
３２１ａおよび音量データレジスタ３２１ｂからなって
いる。また、差分データ記憶エリア３２２は、音高差分
データ記憶エリア３２２ａ，音量差分データ記憶エリア
３２２ｂおよびリズム差分データ記憶エリア３２２ｃか
らなっている。また、ＨＤＤ３７には図８（Ｂ）に示す
ように、上記プログラム記憶エリア３７３のほか約１万
曲分の楽曲データを記憶する楽曲データファイル３７
０，歌唱から抽出された音高データ，音量データや差分
データを記憶する歌唱データ記憶エリア３７１および歌
唱の巧拙を評価したのち表示するアドバイスメッセージ
を複数記憶したアドバイスメッセージ記憶エリア３７２
が設けられている。通信制御部３６は、ＩＳＤＮ回線を
介してホストステーションから楽曲データなどをダウン
ロードし、内蔵しているＤＭＡ回路を用いてこの楽曲デ
ータをＣＰＵ３０を介さずに直接ＨＤＤ３７に書き込
む。

【００２９】リモコン受信部３３はリモコン５１から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン５１は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル３４はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
３５はカラオケ装置の前面操作部に設けられており、曲
コード入力スイッチやキーチェンジスイッチなどを含ん
でいる。また、上記リモコン５１を用いて採点機能をオ
ン／オフできるようにしてもよい。

【００３０】音源装置３８は、楽曲データの楽音トラッ
クのデータに基づいて楽音信号を形成する。楽曲データ
はカラオケ演奏時にＣＰＵ３０によって読み出され、こ
の楽音トラックとともに比較用データであるガイドメロ
ディトラックも並行して読み出される。楽音トラックは
図８に示すように複数トラックで構成されており、音源
装置３８はこのデータに基づいて複数パートの楽音信号
を同時に形成する。音声データ処理部３９は、楽曲デー
タに含まれる音声データに基づき、指定された長さ，指
定された音高の音声信号を形成する。音声データは、バ
ックコーラスや模範歌唱音などの音源装置３８で電子的
に発生しにくい信号波形をそのままＡＤＰＣＭデータ化
して記憶したものである。音源装置３８が形成した楽音
信号および音声データ処理部３９が形成した音声信号が
カラオケ演奏音であり、これらは効果用ＤＳＰ４０に入
力される。効果用ＤＳＰ４０は、このカラオケ演奏音に
対してリバーブやエコーなどの効果を付与する。効果を
付与されたカラオケ演奏音はＤ／Ａコンバータ４１によ
ってアナログ信号に変換されたのち外付け装置であるア
ンプスピーカ４２に出力される。

【００３１】一方、歌唱用のマイク４７から入力された
歌唱音声信号はプリアンプ２８で増幅されたのち、前記
アンプスピーカ４２およびＡ／Ｄコンバータ４９に入力
される。Ａ／Ｄコンバータ４９でディジタル化された歌
唱音声信号は音声処理用ＤＳＰ５０に入力される。音声
処理用ＤＳＰ５０は、入力された歌唱音声信号を５０ｍ
ｓずつのフレームに区切り、各フレーム毎に周波数をカ
ウントするとともに平均音量を算出する。この各フレー
ム毎の周波数カウント値および平均音量値はＣＰＵ３０
によって５０ｍｓ毎に読み取られる。ＣＰＵ３０はこの
周波数カウント値および平均音量値に基づいて上述の音
高データおよび音量データを割り出す。

【００３２】アンプスピーカ４２は入力されたカラオケ
演奏音および歌唱音声信号を増幅し、且つ、歌唱音声信
号にエコーなどの効果を付与したのちスピーカから放音
する。

【００３３】文字表示部４３は入力される文字データに
基づいて、曲名や歌詞などの文字パターンを生成する。
また、外付け装置であるＬＤチェンジャ４４は入力され
た映像選択データ（チャプタナンバ）に基づき、対応す
るＬＤの背景映像を再生する。映像選択データは当該カ
ラオケ曲のジャンルデータなどに基づいて決定される。
ジャンルデータは楽曲データのヘッダに書き込まれてお
り、カラオケ演奏スタート時にＣＰＵ３０によって読み
出される。ＣＰＵ３０はジャンルデータに基づいてどの
背景映像を再生するかを決定し、その背景映像を指定す
る映像選択データをＬＤチェンジャ４４に対して出力す
る。ＬＤチェンジャ４４には、５枚（１２０シーン）程
度のレーザディスクが内蔵されており約１２０シーンの
背景映像を再生することができる。映像選択データによ
ってこのなかから１つの背景映像が選択され、映像デー
タとして出力される。文字パターン，映像データは表示
制御部４５に入力される。表示制御部４５ではこれらの
データをスーパーインポーズで合成してモニタ４６に表
示する。

【００３４】次に、図９〜図１１を参照して同カラオケ
装置においてカラオケ演奏に用いられる楽曲データの構
成について説明する。図９は楽曲データの構成を示す図
である。また、図１０，図１１は楽曲データの詳細な構
成を示す図である。

【００３５】図９において、楽曲データは、ヘッダ，楽
音トラック，ガイドメロディトラック，歌詞トラック，
音声トラック，効果トラックおよび音声データ部からな
っている。ヘッダは、この楽曲データに関する種々のデ
ータが書き込まれる部分であり、曲名，ジャンル，発売
日，曲の演奏時間（長さ）などのデータが書き込まれて
いる。

【００３６】楽音トラック〜効果トラックの各トラック
は図１０，図１１に示すように複数のイベントデータと
各イベントデータ間の時間間隔を示すデュレーションデ
ータΔｔからなるシーケンスデータで構成されている。
ＣＰＵ３０は、カラオケ演奏時にシーケンスプログラム
に基づき全トラックのデータを並行して読み出す。シー
ケンスプログラムは、所定のテンポクロックでΔｔをカ
ウントし、Δｔをカウントアップしたときこれに続くイ
ベントデータを読み出し、所定の処理部へ出力するプロ
グラムである。

【００３７】楽音トラックには、メロディトラック，リ
ズムトラックを初めとして種々のパートのトラックが形
成されている。ガイドメロディトラックには、このカラ
オケ曲の旋律すなわち歌唱者が歌うべき旋律のシーケン
スデータが書き込まれている。ＣＰＵ３０はこのデータ
に基づいてリファレンスの音高データ，音量データを生
成し、歌唱音声と比較する。

【００３８】歌詞トラックは、モニタ４６上に歌詞を表
示するためのシーケンスデータを記憶したトラックであ
る。このシーケンスデータは楽音データではないが、イ
ンプリメンテーションの統一をとり、作業工程を容易に
するためこのトラックもＭＩＤＩデータ形式で記述され
ている。データ種類は、システム・エクスクルーシブ・
メッセージである。歌詞トラックのデータ記述におい
て、通常は１行の歌詞を１つの歌詞表示データとして扱
っている。歌詞表示データは１行の歌詞の文字データ
（文字コードおよびその文字の表示座標）、この歌詞の
表示時間（通常は３０秒前後）、および、ワイプシーケ
ンスデータからなっている。ワイプシーケンスデータと
は、曲の進行に合わせて歌詞の表示色を変更してゆくた
めのシーケンスデータであり、表示色を変更するタイミ
ング（この歌詞が表示されてからの時間）と変更位置
（座標）が１行分の長さにわたって順次記録されている
データである。

【００３９】音声トラックは、音声データ部に記憶され
ている音声データｎ（ｎ＝１，２，３，‥‥）の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置３８で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと、音声指定データ
の読み出し間隔、すなわち、音声データを音声データ処
理部３９に出力して音声信号形成するタイミングを指定
するデュレーションデータΔｔが書き込まれている。音
声指定データは、音声データ番号，音程データおよび音
量データからなっている。音声データ番号は、音声デー
タ部に記録されている各音声データの識別番号ｎであ
る。音程データ，音量データは、形成すべき音声データ
の音程や音量を指示するデータである。すなわち、言葉
を伴わない「アー」や「ワワワワッ」などのバックコー
ラスは、音程や音量を変化させれば何度も利用できるた
め、基本的な音程，音量で１つ記憶しておき、このデー
タに基づいて音程や音量をシフトして繰り返し使用す
る。音声データ処理部３９は音量データに基づいて出力
レベルを設定し、音程データに基づいて音声データの読
出間隔を変えることによって音声信号の音程を設定す
る。

【００４０】効果トラックには、効果用ＤＳＰ４０を制
御するためのＤＳＰコントロールデータが書き込まれて
いる。効果用ＤＳＰ４０は音源装置３８，音声データ処
理部３９から入力される信号に対してリバーブなどの残
響系の効果を付与する。ＤＳＰコントロールデータは、
このような効果の種類を指定するデータおよびその変化
量データなどからなっている。

【００４１】図１２〜図１４は同カラオケ装置の動作を
示すフローチャートである。これらの動作はカラオケ演
奏を実行するシーケンスプログラムと並行して実行さ
れ、シーケンスプログラムとのデータの交換も行われ
る。図１２はデータの取込動作を示すフローチャートで
ある。同図（Ａ）はＡ／Ｄコンバータ４９および音声処
理用ＤＳＰ５０の動作を示している。マイク４７から歌
唱音声信号が入力されると（ｓ１）、Ａ／Ｄコンバータ
４９はこの音声信号をディジタルデータに変換する（ｓ
２）。このディジタルデータは音声処理用ＤＳＰ５０に
入力される。音声処理用ＤＳＰ５０は、５０ｍｓのフレ
ーム単位でこのディジタルデータの周波数のカウント
（ｓ３）および平均音量の算出（ｓ４）を行う。この周
波数カウント値および平均音量値は５０ｍｓ毎にＣＰＵ
３０によって読み取られる（同図（Ｃ）のデータ変換処
理参照）。

【００４２】同図（Ｂ）はリファレンス入力処理を示す
フローチャートである。この動作はカラオケ演奏を実行
するシーケンスプログラムからガイドメロディトラック
のイベントデータが受け渡されたとき実行される。ま
ず、シーケンスプログラムから渡されたＭＩＤＩデータ
をＭＩＤＩバッファ３２０に取り込み（ｓ５）、このデ
ータを音量データおよび音高データに変換する（ｓ
６）。これは、ＭＩＤＩフォーマットのノートオンデー
タのノートナンバやピッチベンドデータを音高データに
変換し、ノートオンデータのベロシティデータやアフタ
タッチ（キープレッシャ）データを音量データに変換す
る処理である。このようにして変換された音高データ，
音量データでＲＡＭ３２のリファレンスデータレジスタ
３２１を更新する（ｓ７）。したがって、リファレンス
データレジスタ３２１は新たなガイドメロディデータが
入力される毎に更新される。

【００４３】なお、リファレンスデータがＭＩＤＩデー
タではなく音高データ，音量データとして記憶されてい
る場合には、この変換処理を行わずそのままリファレン
スデータレジスタ３２１に記憶すればよい。また、音高
データ，音量データの記述フォーマットをＭＩＤＩフォ
ーマットにすることもでき、この場合、これらをシステ
ムエクスクルーシブメッセージで記述してもよく、汎用
のチャンネルメッセージ（たとえば、ノートオンデー
タ，ピッチベンドデータ，チャンネルキープレッシャデ
ータなど）で代用してもよい。

【００４４】また、リファレンスに用いられるデータは
ガイドメロディに限定されるものではなく、歌手が歌っ
た歌唱から抽出した音高データ，音量データでもよい。

【００４５】同図（Ｃ）はデータ変換処理動作を示すフ
ローチャートである。この動作は、音声処理用ＤＳＰ５
０から歌唱音声信号の周波数カウント値および平均音量
値を取り込んで歌唱音声の音高データ，周波数データに
変換する処理であり、歌唱音声信号の１フレーム時間で
ある５０ｍｓ毎に実行される。まず、音声処理用ＤＳＰ
５０から平均音量値を読み取り（ｓ１１）、その値が閾
値以上であるかを判断する（ｓ１２）。閾値以上であれ
ばこの平均音量値に基づいて音量データを生成する（ｓ
１３）。次に音声処理用ＤＳＰ５０から周波数カウント
値を読み取り（ｓ１４）、この周波数カウント値に基づ
いて音高データを生成する（ｓ１５）。こののち比較動
作に進む。一方、ｓ１２で平均音量値が閾値未満である
と判断された場合には、歌唱者が歌唱（発声）していな
いとして音量０データを生成して（ｓ１６）、音高デー
タを生成せずに比較動作に進む。

【００４６】図１３は比較動作を示すフローチャートで
ある。この動作は図１２（Ｃ）のデータ変換動作で生成
された歌唱音声の音高データ，音量データと、同図
（Ｂ）のリファレンス入力動作で求められたリファレン
スの音高データ，音量データとを比較して差分データを
求める動作であり、上記データ変換処理動作に同期して
５０ｍｓ毎に実行される。まず、リファレンスの音量デ
ータおよび歌唱音声の音量データの両方が閾値以上（発
音中）であるかを判断する（ｓ２０）。両方が発音中で
なければ比較しても無意味であるためｓ２９以下の動作
に進む。両方が発音中の場合には、発音フラグがセット
しているか否かを判断する（ｓ２１）。発音フラグは両
方が立ち上がったとき（発音中になったとき）ｓ２２で
セットされるフラグである。したがって、立ち上がり時
にはまだリセットされたままであるためｓ２１からｓ２
２に進む。ｓ２２では発音フラグをセットする。さら
に、リファレンス，歌唱音声の立ち上がりタイミングの
差を算出し（ｓ２３）、これをリズム差分データとして
リズム差分データ記憶エリア３２２ｃに蓄積記憶する
（ｓ２４）。こののちｓ２５に進む。また、既に発音中
で発音フラグがセットされている場合もｓ２１の判断で
直接ｓ２５に進む。

【００４７】ｓ２５以下では、歌唱音声とリファレンス
の音量データを比較してその差を算出し（ｓ２５）、こ
れを音量差分データとしてＲＡＭ３２の音量差分データ
記憶エリア３２２ｂに蓄積記憶する（ｓ２６）。次に、
歌唱音声とリファレンスの音高データを比較してその差
を算出し（ｓ２７）、これを音高差分データとしてＲＡ
Ｍ３２の音高差分データ記憶エリア３２２ａに蓄積記憶
する（ｓ２８）。

【００４８】一方、両方が発音中と判断されなかった場
合にはｓ２０からｓ２９に進み、リファレンス，歌唱音
声の両方が消音しているか否かを判断する。ｓ２９で両
方が消音していると判断された場合には消音期間である
として発音フラグをリセットして（ｓ３０）リターンす
る。両方が消音中でない場合には、歌唱タイミングのず
れであるとしてそのままリターンする。以上の動作によ
り、図５に示した有効データ区間の音量差分データ，音
高差分データおよびリズム差分データが差分データ記憶
エリア３２２に蓄積記憶されてゆく。

【００４９】図１４は採点動作を示すフローチャートで
ある。この動作はカラオケ曲が終了したのち実行され
る。まず、カラオケ曲が演奏されている間蓄積記憶され
た音量差分データを集計し（ｓ３１）、減点値を算出す
る（ｓ３２）。この減点値を満点（１００点）から減算
して音量の得点を算出する（ｓ３３）。蓄積記憶された
音高差分データを集計し（ｓ３４）、減点値を算出する
（ｓ３５）。この減点値を満点から減算して音高の得点
を算出する（ｓ３６）。蓄積記憶されたリズム差分デー
タを集計し（ｓ３７）、減点値を算出する（ｓ３８）。
この減点値を満点から減算してリズムの得点を算出する
（ｓ３９）。これら３つの音楽要素の得点を平均して総
合得点を算出する（ｓ４０）。次に、この総合得点と各
音楽要素の得点に基づいて適当なアドバイスメッセージ
を決定し（ｓ４１）、ＨＤＤ３７のアドバイスメッセー
ジ記憶エリア３７２からこれを読み出して、総合得点と
ともに文字表示部４３に出力する（ｓ４２）。文字表示
部４３はこれを文字パターンに展開して曲が終了したあ
とのモニタ４６に表示する。

【００５０】なお、この動作は差分データの集計値に基
づいて減点値を算出しているが、図１３の動作で得られ
た差分データを先に記憶されている基準となる差分デー
タと比較し、その近似度に基づいて得点を決定するよう
にしてもよい。上記基準となる差分データとしては歌手
の歌唱から得られた差分データや同じ歌唱者が過去に同
じ曲を歌唱したときの差分データなどがある。

【００５１】また、図１４の採点動作は曲が終了したの
ちにまとめて採点・評価を行っているが、フレーズ単
位，音符単位で基本評価を行い、曲終了後にそれを集計
するようにしてもよい。

【００５２】また、リズム差分データは、歌唱音声のリ
ファレンスに対するタイミングのずれを示すデータであ
るが、突っ込んだ（先にずれた）のか遅れた（後にずれ
た）のかを正負の記号で記録するようにしてもよく、単
にずれた時間の絶対値を記録するようにしてもよい。

【００５３】また、曲終了から採点・評価の終了まであ
る程度の時間が掛かるが、この間は『現在採点中』の表
示とともに何らかの映像・音声を上映するようにしても
よい。

【００５４】また、図１３の動作により、音量差分デー
タと音高差分データがリアルタイムに求められているた
め、これをモニタ４６上にリアルタイムに表示するよう
にしてもよい。表示方式としては図１５に示すようなメ
ータアイコン方式や数値表示方式などがある。メータア
イコン方式で表示する場合には、ＣＰＵ３０のパフォー
マンスを考慮し、針の表示分解能を３〜５段階程度に
し、表示切換間隔を１秒程度にする。

【００５５】なお、上記採点機能はカラオケ演奏時に常
時機能するようにしてもよく、利用者（カラオケ歌唱
者）の選択によって機能するようにしてもよい。

【００５６】

【発明の効果】この発明によれば、カラオケ曲の歌唱旋
律のデータである比較用データを記憶しておき、カラオ
ケ演奏時にこれを読み出してカラオケ歌唱の歌唱音声信
号から抽出されたデータとの差分データを求めることに
より、カラオケ歌唱の巧拙の評価が容易になる利点があ
る。また、差分データは歌唱音声信号よりも遙にデータ
量が少ないため、カラオケ歌唱の内容を保存することも
できるようになる。

【００５７】また、この発明によれば、上記求められた
差分データに基づいてカラオケ歌唱を採点することによ
り、基準となる比較用データに基づく判定が可能にな
り、正確な採点をすることができる。

【００５８】また、この発明によれば、上記求められた
差分データを記憶し、次のカラオケ演奏時にこれを読み
出すようにしたことにより、この読み出された差分デー
タと今回のカラオケ演奏で求められた差分データとを比
較することができる同一の歌唱者の差分データを比較す
ることにより、前回から今回への歌唱の上達度合いを知
ることができ、他の歌唱者の差分データを比較すること
により、両者の巧拙を判定することができる。

【００５９】また、この発明によれば、歌手の歌唱から
求めた差分データを記憶しておき、通常の歌唱者がこの
カラオケ曲を歌唱したとき、この歌唱の差分データと上
記歌手の差分データと比較することにより、通常の歌唱
者の歌唱を歌手の歌唱と比較してその歌唱の巧拙を正し
く割り出すことができる。

【００６０】また、この発明によれば、歌手が歌唱した
信号から抽出された音高データおよび音量データを含む
比較用データをカラオケ演奏用データとともに記憶して
おき、カラオケ歌唱者の音声信号が入力されたとき、こ
の音声信号から音高データ，音量データを抽出して上記
比較用データと比較することにより、歌唱の微妙な歌い
まわしの巧拙を歌手の歌唱を基準として正しく割り出す
ことができる。

【図面の簡単な説明】

【図１】この発明の実施形態であるカラオケ装置の概略
構成図

【図２】同カラオケ装置の比較部の構成を示す図

【図３】同カラオケ装置の表示部の表示例を示す図

【図４】同カラオケ装置のガイドメロディに基づくリフ
ァレンス音高データ，音量データと歌唱音声の音高デー
タ，音量データの例を示す図

【図５】上記リファレンスおよび歌唱音声によって求め
られた差分データの例を示す図

【図６】歌手の歌唱から抽出された音高データおよび音
量データの例を示す図

【図７】同カラオケ装置のハード構成を示すブロック図

【図８】同カラオケ装置のメモリおよびＨＤＤの構成図

【図９】同カラオケ装置で用いられる楽曲データの構成
を示す図

【図１０】同楽曲データのトラック構成図

【図１１】同楽曲データのトラック構成図

【図１２】同カラオケ装置のデータ取込動作を示すフロ
ーチャート

【図１３】同カラオケ装置の比較動作を示すフローチャ
ート

【図１４】同カラオケ装置の採点動作を示すフローチャ
ート

【図１５】同カラオケ装置のモニタ表示例を示す図

【符号の説明】

１…（カラオケ歌唱用の）マイク、２…Ａ／Ｄコンバー
タ、３…データ抽出部、４…比較部、５…ハードディス
ク、６…実行メモリ、７…シーケンサ、８…楽音発生
部、９…アンプ、１０…スピーカ、２１…差分算出部、
２２…記憶部、２３…採点部、２４…評価部、２５…表
示部、３０…ＣＰＵ、３２…ＲＡＭ、３７…ハードディ
スクドライブ、３８…音源装置、３９…音声データ処理
部、４７…マイク、５０…音声処理用ＤＳＰ

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 カラオケ曲の演奏を実行するためのカラ
   オケ演奏用データ、該カラオケ曲の歌唱旋律を再生する
   ためのガイドメロディデータを含む曲データと、前記カ
   ラオケ曲の基準歌唱の音声信号から抽出された音高デー
   タおよび音量データを前記ガイドメロディデータと比較
   して得られた基準差分データと、を記憶する記憶手段
   と、 カラオケ演奏用データを読み出してカラオケ曲の演奏を
   実行するカラオケ演奏手段と、 カラオケ曲を歌唱した音声信号を入力する音声信号入力
   手段と、 音声信号入力手段より入力された音声信号から音高デー
   タおよび音量データを抽出するデータ抽出手段と、 カラオケ演奏手段と同期して前記ガイドメロディデータ
   を読み出し、該ガイドメロディデータと前記データ抽出
   手段によって抽出されたデータとを比較して差分データ
   を求める差分データ作成手段と、 差分データ作成手段によって求められた差分データと前
   記基準差分データとの近似度を求め、この近似度に基づ
   いてカラオケ歌唱を採点する採点手段と、 を設けたことを特徴とするカラオケ装置。
2. 【請求項２】 記憶手段、カラオケ演奏手段、データ抽
   出手段、制御手段を備えるカラオケ装置であって、 記憶手段は、曲データと、それに対応する基準差分デー
   タを記憶し、 曲データは、カラオケ演奏用データと、歌唱旋律の音高
   データ及び音量データを含む比較用データにより構成さ
   れ、 カラオケ演奏手段は、カラオケ演奏用データを読み出し
   て演奏を実行し、 データ抽出手段は、入力される音声信号から音高データ
   及び音量データを抽出し、 制御手段は、リファレンス作成処理と、採点処理を可能
   とし、 リファレンス作成処理は、カラオケ演奏手段による演奏
   と同期して比較用データを読み出し、該比較用データと
   抽出された音高データおよび音量データを比較して基準
   差分データを作成して記憶手段に記憶させ、 採点手段は、カラオケ演奏手段による演奏と同期して基
   準差分データを読み出し、該基準差分データと抽出され
   た音高データ及び音量データとの近似度を求め、該近似
   度に基づいて採点を行う カラオケ装置。