JP3760833B2 - カラオケ装置 - Google Patents
カラオケ装置 Download PDFInfo
- Publication number
- JP3760833B2 JP3760833B2 JP2001322297A JP2001322297A JP3760833B2 JP 3760833 B2 JP3760833 B2 JP 3760833B2 JP 2001322297 A JP2001322297 A JP 2001322297A JP 2001322297 A JP2001322297 A JP 2001322297A JP 3760833 B2 JP3760833 B2 JP 3760833B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pitch
- singing
- volume
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【発明の属する技術分野】
この発明は、カラオケ歌唱者の歌唱音声信号から音高(ピッチ)データや音量データを抽出し、これらのデータを基準となるデータと比較することによって該歌唱を採点するカラオケ装置に関する。
【0002】
【従来の技術】
再生または自動演奏される伴奏音に合わせて歌唱者が歌唱するカラオケ装置において、カラオケ演奏が終了したとき、歌唱者の歌唱の巧拙を点数で表示する採点機能を備えたものが実用化されている。
【0003】
【発明が解決しようとする課題】
しかし、上記従来のカラオケ装置の採点機能は、再生または自動演奏される伴奏音の音量レベルとマイクから入力される歌唱者の音量レベルとを比較し、その一致の程度に基づいて得点を割り出すのみの機能であり、実際の歌唱の巧拙とかけ離れた得点がでてしまうことがあり、全く信頼できるものではなかった。
【0004】
この発明は、歌唱者の歌唱音声信号から抽出された音高データや音量データなどに基づいて歌唱を採点するようにし、これをリアルタイムに表示することにより、歌唱者が自分の歌唱の状態を的確に知ることのできるカラオケ装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
この発明は、入力手段と、曲データ記憶手段と、読出手段と、演奏手段と、データ抽出手段と、比較手段と、表示手段とを備えるカラオケ装置であって、入力手段は、カラオケ歌唱の音声信号を入力し、曲データ記憶手段は、曲データと、それに同期した比較用データを記憶し、比較用データは、少なくとも基準音高データと基準音量データを含み、読出手段は、指定された曲データと、その比較用データを同期して読み出し、演奏手段は、読み出された曲データに基づいて楽音を発生し、データ抽出手段は、音声信号から音高データと音量データを抽出し、比較手段は、検出した音量データと音高データ、及び、読み出した比較用データに基づいて、検出処理と、比較処理とを行い、検出処理は、音量データが閾値以上であるか否かに基づき、発音中であるか否かを検出するとともに、読み出された比較用データに基づき発音区間であるか否かを検出し、比較処理は、音量データが発音中且つ比較用データが発音区間である場合のみ、音量データと基準音量データ、および、音高データと基準音高データの比較を行い、比較結果を表示手段に表示させることを特徴とする。
【0006】
この発明では、カラオケ歌唱の音声信号にから音高,音量,リズムなどの音楽要素を抽出し、これを比較用データと比較することによって歌唱を採点する。そして、採点結果をリアルタイムに表示することにより、歌唱者が歌いながらこれを見て現在の自分の歌唱の状態を的確に知ることができる。
【0007】
【発明の実施の形態】
図1はこの発明の実施形態であるカラオケ装置の概略構成図である。このカラオケ装置は、カラオケ歌唱の音声信号をディジタル化して取り込み、歌唱旋律であるガイドメロディと比較することによってその歌唱の正確さを判定する。この判定を音高,音量,リズムの3要素毎に行うことによって、カラオケ歌唱者の歌唱の特徴を割り出して的確なアドバイスを与えることができるようにしている。また、通常の歌唱部分,サビ,クライマックスなど曲の特定の区間毎に上記判定を行うことにより、その曲に合った歌唱をしているか否かを判断することもできるようにしている。
【0008】
歌唱者がカラオケ歌唱の音声を入力するマイク1はアンプ9に接続されるとともにA/Dコンバータ2に接続されている。また、カラオケ演奏用データ、比較用データであるガイドメロディデータ、および、区間分割データを含む楽曲データは、約1万曲分がハードディスク装置5に記憶されている。区間分割データは当該カラオケ曲の前奏部,通常歌唱部,サビ部,クライッマックス部,後奏部など各区間の開始部分を指示するマークデータである。上記1万曲分の楽曲データのうち、カラオケ歌唱者に選択された1曲分が実行メモリ6に読み出される。実行メモリ6に読み出された楽曲データは、シーケンサ7により順次読み出される。シーケンサ7によって読み出された演奏用データは楽音発生部8に入力される。また、シーケンサ7によって読み出されたガイドメロディデータ,効果付与データおよび区間分割データは比較部4に入力される。なお、この効果付与データは上記演奏用データに含まれるビブラートデータやエスクプレッションデータなどでよい。比較部4はこの効果付与データを歌唱技巧データとして用いる。歌唱技巧データとは、このカラオケ曲を上手く歌唱するための音量の抑揚(エクスプレッション)やビブラートなどの特徴を示すデータである。楽音発生部8は入力されたカラオケ演奏用データに基づいて該カラオケ曲の演奏音を発生し、アンプ9に入力する。アンプ9はカラオケ演奏音およびマイク1から入力された歌唱音声信号を増幅してスピーカ10に出力する。これがカラオケ装置の基本機能である。
【0009】
一方、A/Dコンバータ2に入力された歌唱音声信号はディジタル信号に変換されたのち、データ抽出部3に入力される。データ抽出部3は50ms毎にこのディジタル化された歌唱音声信号から音高および音量を割り出し、音高データ,音量データとして比較部4に入力する。比較部4では、データ抽出部3から入力されるカラオケ歌唱者の歌唱音声信号の音高データ,音量データとシーケンサ7から入力されるガイドメロディの音高データ,音量データとをリアルタイムに比較する。前記歌唱音声信号の音高データ,音量データがこの発明の抽出されたデータに対応し、前記ガイドメロディの音高データ,音量データがこの発明の比較用データに対応する。なお、50msは120のメトロノームテンポで32分音符に相当し、歌唱の特徴を抽出するために十分の分解能である。
【0010】
図2は前記比較部4の構成を示す図である。データ抽出部3から入力される歌唱音声信号の音高データおよび音量データ(以下、歌唱音声という)およびシーケンサ7から入力されるガイドメロディの音高データ,音量データ(以下、リファレンスという)は差分算出部21に入力される。また、ビブラート,エクスプレッションなどの効果付与データ(以下、歌唱技巧データという)は採点部23に入力される。差分算出部21は、歌唱音声が入力されるタイミングに合わせて50ms毎に歌唱音声とリファレンスとの差を算出する。これはリアルタイムの差分データ(音高差分データ,音量差分データ)として出力される。また、差分算出部21は、歌唱音声の音量の立ち上がりタイミングとリファレンスの音量の立ち上がりタイミングのずれを検出し、これをリズム差分データとして出力する。
【0011】
検出された音高差分データ,音量差分データ,リズム差分データは、採点部23に入力される。採点部23は、これら差分データをカラオケ曲の区間(通常歌唱区間,サビ区間,クライマックス区間など)毎に集計記憶するとともに、これらの差分データをシーケンサ7から入力される歌唱技巧データと比較する。歌唱技巧データはカラオケ演奏をするとき、機械的に正確な楽音発生装置(音源装置)8の動作に微妙な変化を与えて単調さをなくすとともに音楽的な表現を付与するためのデータであるため、機械的に正確なガイドメロディと歌唱音声とのずれを示すデータである差分データがこの歌唱技巧データに近似していれば、この曲に合った歌唱をしているとして、この類似度を加算ポイントとして定量化する。この加算ポイントは、音高,音量,リズムの各音楽要素毎に求められ、上記区間毎に集計記憶される。そして曲が終了したとき、各区間毎に、差分データの集計値に基づいて減点分を算出し、さらに、上記加算ポイントの集計値に基づいて加点分を算出し、これらに基づいて総合得点を求める。これら各区間,各要素毎の得点および総合得点は評価部24に入力される。評価部24では、各音楽要素の得点に基づいて、良くできた点・注意すべき点などをアドバイスする文言を生成し、得点とともに表示部25に出力する。表示部25ではこの内容を図3に示すような形態で表示する。
【0012】
ここで、図4および図5を参照して、歌唱音声,リファレンス,差分データについて説明する。図4(A),(B)はリファレンスであるガイドメロディの例を示す図である。同図(A)はガイドメロディを五線譜表示したものであり、同図(B)はこの五線譜の内容を約80パーセントのゲートタイムで音高データ,音量データ化したものであり、音量はmp→クレッシェンド→mpの指示に従って上下している。このように、一般的なガイドメロディのデータは機械的に非常に正確なものである。これに対して、同図(C)はカラオケ歌唱者の歌唱音声の例を示している。音高,音量ともリファレンスが示す値から上下に変動しており、各音の音量データの立ち上がりタイミングもリファレンスの音量データの立ち上がりタイミングからずれている。
【0013】
図5は、図4(B)のリファレンスと同図(C)歌唱音声との差をとることによって求めた差分データを示す図である。音高差分データ,音量差分データはリファレンスが指示する値を基準として歌唱音声が基準からどれだけ上下にずれているかで示される。また、リズム差分データは、音符(スラーで連続しているものを除く)毎にリファレンスと歌唱音声との立ち上がりタイミングのずれとして求められる。なお、この図では音高差分データ,音量差分データをともに連続値として示しているが、複数段階の階層に量子化するようにしてもよい。
【0014】
また、リファレンスでは発声すべき時間(ノートオンステータス)であるのに歌唱音声が入力されない(発声されていない)場合やリファレンスでは発声しない時間(ノートオフステータス)であるのに歌唱音声が入力されている場合があるが、この時間は、比較する一方のデータが欠けている時間帯であるのでデータとしては採用せず、両方のデータが揃っている時間帯のみを有効データ区間として採用するようにしている。
【0015】
図6は、採点部23に入力される歌唱技巧データである効果付与データの例を示す図である。ここでは、ビブラートデータおよびエクスプレッションデータの例を示す。この例では、付点4分音符や2分音符などの長いめの音符の後半にビブラートが掛かっている。また、付点4分音符の後半にエクスプレッションが掛かり、2分音符は音をゆっくり立ち上げているため前半部にマイナスのエクスプレッションが掛かっている。このような抑揚を付けることで、カラオケ演奏は表情付けされ、ガイドメロディのような単調さが解消されている。
【0016】
このような歌唱技巧データに基づいて歌唱音声を採点する場合、音量データに関しては、このエクスプレッションデータと同じ態様の変化音量ずれをしているときにポイントを与え、音高データに関しては、ビブラートのような周波数の周期的な変動波形を追従してポイントを与えてもよく、単に、ビブラートの区間では周波数ずれがあったときポイントを与えるようにしてもよい。
【0017】
図7はカラオケ曲の区間と各区間における音高(P),音量(L),リズム(T)の3要素の重み付けの例を示す図である。同図(A)はカラオケ曲の区間分けを示す図である。この曲は第1コーラス,第2コーラスからなっており、これら第1コーラス,第2コーラスを挟むように前奏,間奏,後奏がある。そして、第1コーラス,第2コーラスは、それぞれの後半部分にサビ区間およびクライマックス区間を有している。同図(B)は重み付けテーブルの例を示す図である。この重み付けテーブルには、第1コーラスの歌唱全般,サビ区間,クライマックス区間および第2コーラスの歌唱全般,サビ区間,クライマックス区間毎に音高(P),音量(L),リズム(T)の重み付け係数が記憶されており、さらに、この重み付け係数群がJポップ1,Jポップ2,Jダンス,演歌1,演歌2など複数のジャンル別に記憶されている。この重み付けの特徴は、「ポップスならノリを重点評価するため、リズムの重み付けを大きくする。特にサビ区間ではリズムが重要であるため、この区間のリズムの重み付けを大きくする。」また、「演歌であれば、音程の安定度を重要視するため音高Pの重み付けを全般的に大きくする。」などである。
【0018】
図8は同カラオケ装置のハード構成を示すブロック図である。このカラオケ装置は、上記図1,図2に示した機能部を主としてCPUおよびソフトウェアで実現している。装置全体の動作を制御するCPU30には、バスを介してROM31,RAM32,ハードディスク記憶装置(HDD)37,通信制御部36,リモコン受信部33,表示パネル34,パネルスイッチ35,音源装置38,音声データ処理部39,効果用DSP40,文字表示部43,LDチェンジャ44,表示制御部45および音声処理用DSP50が接続されている。
【0019】
ROM31この装置を起動するために必要な起動プログラムなどが記憶されている。この装置の動作を制御するシステムプログラム,アプリケーションプログラムなどはHDD37に記憶されており、装置の電源がオンされると上記起動プログラムによってRAM32に読み込まれる。RAM32には、このプログラム記憶エリアのほか図9(A)に示すように種々の記憶エリアが設定されている。図9(A)において、RAM32にはプログラムを記憶するプログラム記憶エリア325,カラオケ演奏する楽曲データを記憶する実行データ記憶エリア324,読み出されたガイドメロディを一時記憶するMIDIバッファ320,このガイドメロディから抽出されたリファレンスデータを記憶するリファレンスデータレジスタ321,リファレンスと歌唱音声との差分データを記憶する差分データ記憶エリア322,この差分データを歌唱技巧データと比較することによって求められたポイントを記憶するポイント記憶エリア323が設けられている。リファレンスデータレジスタ321は音高データレジスタ321aおよび音量データレジスタ321bからなっている。また、差分データ記憶エリア322は、音高差分データ記憶エリア322a,音量差分データ記憶エリア322bおよびリズム差分データ記憶エリア322cからなっており、ポイント記憶エリア323は、音高ポイント記憶エリア323a,音量ポイント記憶エリア323bおよびリズムポイント記憶エリア323cからなっている。さらに、これら記憶エリア322a〜322c,323a〜323cはサビ区間,クライマックス区間およびその他の区間の3区間に対応して3分割されている。
【0020】
また、HDD37には図9(B)に示すように、上記プログラム記憶エリア373のほか約1万曲分の楽曲データを記憶する楽曲データファイル370,歌唱から抽出された音高データ,音量データや差分データを記憶する歌唱データ記憶エリア371および歌唱の巧拙を評価したのち表示するアドバイスメッセージを複数記憶したアドバイスメッセージ記憶エリア372が設けられている。通信制御部36は、ISDN回線を介してホストステーションから楽曲データなどをダウンロードし、内蔵しているDMA回路を用いてこの楽曲データをCPU30を介さずに直接HDD37に書き込む。
【0021】
リモコン受信部33はリモコン51から送られてくる赤外線信号を受信してデータを復元する。リモコン51は選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作するとその操作に応じたコードで変調された赤外線信号を送信する。表示パネル34はこのカラオケ装置の前面に設けられており、現在演奏中の曲コードや予約曲数などを表示するものである。パネルスイッチ35はカラオケ装置の前面操作部に設けられており、曲コード入力スイッチやキーチェンジスイッチなどを含んでいる。また、上記リモコン51を用いて採点機能をオン/オフできるようにしてもよい。
【0022】
音源装置38は、楽曲データの楽音トラックのデータに基づいて楽音信号を形成する。楽曲データはカラオケ演奏時にCPU30によって読み出され、この楽音トラックとともに比較用データであるガイドメロディトラックも並行して読み出される。楽音トラックは図11に示すように複数トラックで構成されており、音源装置38はこのデータに基づいて複数パートの楽音信号を同時に形成する。音声データ処理部39は、楽曲データに含まれる音声データに基づき、指定された長さ,指定された音高の音声信号を形成する。音声データは、バックコーラスや模範歌唱音などの音源装置38で電子的に発生しにくい信号波形をそのままADPCMデータ化して記憶したものである。音源装置38が形成した楽音信号および音声データ処理部39が形成した音声信号がカラオケ演奏音であり、これらは効果用DSP40に入力される。効果用DSP40は、このカラオケ演奏音に対してリバーブやエコーなどの効果を付与する。効果を付与されたカラオケ演奏音はD/Aコンバータ41によってアナログ信号に変換されたのち外付け装置であるアンプスピーカ42に出力される。アンプスピーカ42は入力されたカラオケ演奏音および後述の歌唱音声信号を増幅し、且つ、歌唱音声信号にエコーなどの効果を付与したのちスピーカから放音する。
【0023】
一方、歌唱用のマイク47から入力された歌唱音声信号はプリアンプ28で増幅されたのち、前記アンプスピーカ42およびA/Dコンバータ49に入力される。アンプスピーカ42に出力された信号はカラオケ歌唱音として増幅出力される。A/Dコンバータ49は、入力された歌唱音声信号をディジタル化し、これを音声処理用DSP50に入力する。音声処理用DSP50は、入力された歌唱音声信号を50msずつのフレームに区切り、各フレーム毎に周波数をカウントするとともに平均音量を算出する。この各フレーム毎の周波数カウント値および平均音量値はCPU30によって50ms毎に読み取られる。CPU30はこの周波数カウント値および平均音量値に基づいて上述の音高データおよび音量データを割り出す。
【0024】
文字表示部43は入力される文字データに基づいて、曲名や歌詞などの文字パターンを生成する。また、外付け装置であるLDチェンジャ44は入力された映像選択データ(チャプタナンバ)に基づき、対応するLDの背景映像を再生する。映像選択データは当該カラオケ曲のジャンルデータなどに基づいて決定される。ジャンルデータは楽曲データのヘッダに書き込まれており、カラオケ演奏スタート時にCPU30によって読み出される。CPU30はジャンルデータに基づいてどの背景映像を再生するかを決定し、その背景映像を指定する映像選択データをLDチェンジャ44に対して出力する。LDチェンジャ44には、5枚(120シーン)程度のレーザディスクが内蔵されており約120シーンの背景映像を再生することができる。映像選択データによってこのなかから1つの背景映像が選択され、映像データとして出力される。文字パターン,映像データは表示制御部45に入力される。表示制御部45ではこれらのデータをスーパーインポーズで合成してモニタ46に表示する。
【0025】
次に、図10〜図12を参照して同カラオケ装置においてカラオケ演奏に用いられる楽曲データの構成について説明する。図10は楽曲データの構成を示す図である。また、図11,図12は楽曲データの詳細な構成を示す図である。
【0026】
図9において、楽曲データは、ヘッダ,楽音トラック,ガイドメロディトラック,制御データトラック,歌詞トラック,音声トラック,効果トラックおよび音声データ部からなっている。ヘッダは、この楽曲データに関する種々のデータが書き込まれる部分であり、曲名,ジャンル,発売日,曲の演奏時間(長さ)などのデータが書き込まれている。
【0027】
楽音トラック〜効果トラックの各トラックは図11,図12に示すように複数のイベントデータと各イベントデータ間の時間間隔を示すデュレーションデータΔtからなるシーケンスデータで構成されている。CPU30は、カラオケ演奏時にシーケンスプログラムに基づき全トラックのデータを並行して読み出す。シーケンスプログラムは、所定のテンポクロックでΔtをカウントし、Δtをカウントアップしたときこれに続くイベントデータを読み出し、所定の処理部へ出力するプログラムである。
【0028】
楽音トラックには、メロディトラック,リズムトラックを初めとして種々のパートのトラックが形成されている。ガイドメロディトラックには、このカラオケ曲の旋律すなわち歌唱者が歌うべき旋律のシーケンスデータが書き込まれている。CPU30はこのデータに基づいてリファレンスの音高データ,音量データを生成し、歌唱音声と比較する。
【0029】
歌詞トラックは、モニタ46上に歌詞を表示するためのシーケンスデータを記憶したトラックである。このシーケンスデータは楽音データではないが、インプリメンテーションの統一をとり、作業工程を容易にするためこのトラックもMIDIデータ形式で記述されている。データ種類は、システム・エクスクルーシブ・メッセージである。歌詞トラックのデータ記述において、通常は1行の歌詞を1つの歌詞表示データとして扱っている。歌詞表示データは1行の歌詞の文字データ(文字コードおよびその文字の表示座標)、この歌詞の表示時間(通常は30秒前後)、および、ワイプシーケンスデータからなっている。ワイプシーケンスデータとは、曲の進行に合わせて歌詞の表示色を変更してゆくためのシーケンスデータであり、表示色を変更するタイミング(この歌詞が表示されてからの時間)と変更位置(座標)が1行分の長さにわたって順次記録されているデータである。
【0030】
制御データトラックは、このカラオケ曲の歌唱区間やサビ区間,クライマックス区間などの区間の開始点を示す区間分割データを記憶しており、これ以外にも拍マークデータや小説線マークデータなどを記憶している。
【0031】
音声トラックは、音声データ部に記憶されている音声データn(n=1,2,3,‥‥)の発生タイミングなどを指定するシーケンストラックである。音声データ部には、音源装置38で合成しにくいバックコーラスやハーモニー歌唱などの人声が記憶されている。音声トラックには、音声指定データと、音声指定データの読み出し間隔、すなわち、音声データを音声データ処理部39に出力して音声信号形成するタイミングを指定するデュレーションデータΔtが書き込まれている。音声指定データは、音声データ番号,音程データおよび音量データからなっている。音声データ番号は、音声データ部に記録されている各音声データの識別番号nである。音程データ,音量データは、形成すべき音声データの音程や音量を指示するデータである。すなわち、言葉を伴わない「アー」や「ワワワワッ」などのバックコーラスは、音程や音量を変化させれば何度も利用できるため、基本的な音程,音量で1つ記憶しておき、このデータに基づいて音程や音量をシフトして繰り返し使用する。音声データ処理部39は音量データに基づいて出力レベルを設定し、音程データに基づいて音声データの読出間隔を変えることによって音声信号の音程を設定する。
【0032】
効果トラックには、効果用DSP40を制御するためのDSPコントロールデータが書き込まれている。効果用DSP40は音源装置38,音声データ処理部39から入力される信号に対してリバーブなどの残響系の効果を付与する。DSPコントロールデータは、このような効果の種類を指定するデータおよびその変化量データなどからなっている。
【0033】
上記歌唱技巧データは、効果用DSP40を制御するDSPコントロールデータを用いてもよく、音源装置38の楽音信号形成動作を制御するデータを用いてもよい。音源装置38を制御するデータはイベントデータとして楽音トラックに書き込まれているものであり、たとえば、アフタータッチデータやピッチモジュレーションのためのパラメータなどがあり、これらをエクスプレッションデータやビブラートデータとして用いることができる。また、ノートオンイベントデータの発生タイミング(デュレーションデータの値)をリズムの歌唱技巧データとして用いることもできる。
【0034】
図13〜図16は同カラオケ装置の動作を示すフローチャートである。これらの動作はカラオケ演奏を実行するシーケンスプログラムと並行して実行され、シーケンスプログラムとのデータの交換も行われる。◇
図13はデータの取込動作を示すフローチャートである。同図(A)はA/Dコンバータ49および音声処理用DSP50の動作を示している。マイク47から歌唱音声信号が入力されると(s1)、A/Dコンバータ49はこの音声信号をディジタルデータに変換する(s2)。このディジタルデータは音声処理用DSP50に入力される。音声処理用DSP50は、50msのフレーム単位でこのディジタルデータの周波数のカウント(s3)および平均音量の算出(s4)を行う。この周波数カウント値および平均音量値は50ms毎にCPU30によって読み取られる(図14のデータ変換処理参照)。
【0035】
同図(B)は楽曲データ入力処理を示すフローチャートである。この動作はカラオケ演奏を実行するシーケンスプログラムからガイドメロディトラックのイベントデータおよび制御トラックのイベントデータが受け渡されたとき実行される。まず、シーケンスプログラムから渡されたMIDIデータをMIDIバッファ320に取り込み(s5)、このデータが区間分割データであるか否かを判断する(s6)。区間分割データであれば、この内容を区間レジスタに記憶して(s7)、リターンする。取り込んだデータがリファレンスのデータであれば、このデータを音量データおよび音高データに変換する(s8)。これは、MIDIフォーマットのノートオンデータのノートナンバやピッチベンドデータを音高データに変換し、ノートオンデータのベロシティデータやアフタタッチ(キープレッシャ)データを音量データに変換する処理である。このようにして変換された音高データ,音量データでRAM32のリファレンスデータレジスタ321を更新する(s9)。したがって、リファレンスデータレジスタ321は新たなガイドメロディデータが入力される毎に更新される。
【0036】
なお、リファレンスデータがMIDIデータではなく音高データ,音量データとして記憶されている場合には、この変換処理を行わずそのままリファレンスデータレジスタ321に記憶すればよい。また、音高データ,音量データの記述フォーマットをMIDIフォーマットにすることもできる。この場合、これらをシステムエクスクルーシブメッセージで記述してもよく、汎用のチャンネルメッセージ(たとえば、ノートオンデータ,ピッチベンドデータ,チャンネルキープレッシャデータなど)で代用してもよい。
【0037】
図14はデータ変換処理動作を示すフローチャートである。この動作は、音声処理用DSP50から歌唱音声信号の周波数カウント値および平均音量値を取り込んで歌唱音声の音高データ,周波数データに変換する処理であり、歌唱音声信号の1フレーム時間である50ms毎に実行される。まず、音声処理用DSP50から平均音量値を読み取り(s11)、その値が閾値以上であるかを判断する(s12)。閾値以上であればこの平均音量値に基づいて音量データを生成する(s13)。次に音声処理用DSP50から周波数カウント値を読み取り(s14)、この周波数カウント値に基づいて音高データを生成する(s15)。こののち比較動作に進む。一方、s12で平均音量値が閾値未満であると判断された場合には、歌唱者が歌唱(発声)していないとして音量0データを生成して(s16)、音高データを生成せずに比較動作に進む。
【0038】
図15は比較動作を示すフローチャートである。この動作は図14のデータ変換動作で生成された歌唱音声の音高データ,音量データと、図13(B)のリファレンス入力動作で求められたリファレンスの音高データ,音量データとを比較して差分データを求める動作であり、上記データ変換処理動作に同期して50ms毎に実行される。まず、リファレンスの音量データおよび歌唱音声の音量データの両方が閾値以上(発音中)であるかを判断する(s20)。両方が発音中でなければ比較しても無意味であるためs35以下の動作に進む。両方が発音中の場合には、発音フラグがセットしているか否かを判断する(s21)。発音フラグは両方が立ち上がったとき(発音中になったとき)s22でセットされるフラグである。したがって、立ち上がり時にはまだリセットされたままであるためs21からs22に進む。s22では発音フラグをセットする。まず、リファレンスおよび歌唱音声の立ち上がりタイミングの差を算出し(s23)、これをリズム差分データとしてリズム差分データ記憶エリア322c中の現在の区間に対応する記憶エリアに記憶する(s24)。現在の区間はs7でセットされる区間レジスタによって判断することができる。次に、このリズム差分データを歌唱技巧データと比較し(s25)、この一致度を加算ポイントとしてリズムポイント記憶エリア323c中の現在の区間に対応する記憶エリアに蓄積記憶する(s26)。ここで、このタイミングのズレを表す歌唱技巧データとしては、楽音トラックのノートオンイベントデータを用いればよい。すなわち、ノートオンイベントデータの正確なビートタイミングのズレがこの曲を上手く演奏するための技巧を表していると考えられるからである。以上の処理ののちs27に進む。また、既に発音中で発音フラグがセットされている場合もs21の判断で直接s27に進む。
【0039】
s27以下では次のような処理を実行する。まず、歌唱音声およびリファレンスの音量データを比較してその差を算出し(s26)、この差を音量差分データとして音量差分データ記憶エリア322b中の現在の区間に対応する記憶エリアに記憶する(s28)。そして、この音量差分データを歌唱技巧データ(たとえばエクスプレッションデータ)と比較し、その一致度すなわち歌唱がこの技巧を有しているか否かを判断する(s29)。この一致度を加算ポイントとしてRAM32の音量ポイント記憶エリア323b中の現在の区間に対応する記憶エリアに蓄積記憶する(s30)。
【0040】
次に、歌唱音声およびリファレンスの音高データを比較してその差を算出し(s31)、この差を音高差分データとして音高差分データ記憶エリア322a中の現在の区間に対応する記憶エリアに記憶する(s32)。そして、この音高差分データを歌唱技巧データ(たとえばビブラートデータやピッチベンドデータ)と比較してその一致度を判断する(s33)。この一致度を音高ポイントとしてRAM32の音高ポイント記憶エリア323cに蓄積記憶する(s34)。
【0041】
一方、両方が発音中と判断されなかった場合にはs20からs35に進み、リファレンス,歌唱音声の両方が消音しているか否かを判断する。s35で両方が消音していると判断された場合には消音期間であるとして発音フラグをリセットして(s36)リターンする。両方が消音中でない場合には、歌唱タイミングのずれであるとしてそのままリターンする。以上の動作により、3つの区間別に3要素毎の差分データおよびポイントを求めることができる。
【0042】
図16は採点動作を示すフローチャートである。この動作はカラオケ曲が終了したのち実行される。同図(A)において、まず全般,サビ区間,クライマックス区間の3区間についてリズム,音量,音高に関する得点を算出する(s40〜s44)。すなわち9種類の得点を算出する。ここで、全般とはサビ区間,クライマックス区間,その他区間を含む歌唱区間全般の区間を指す。
【0043】
集計動作を同図(B)に示す。この集計動作は、上述のように全般,サビ区間,クライマックス区間の3区間におけるリズム,音量,音高について9回実行される。まず、蓄積記憶された差分データに基づいて減点分を算出する(s51)。つぎに、蓄積記憶されたポイントに基づいて加算分を算出する(s52)。そしてこれらを合算することによって当該区間の当該要素の得点を算出する(s53)。
【0044】
以上のような各区間・各要素の得点を図7(B)に示す重み付け係数によって重み付け平均して総合得点を算出する(s45)。そして、この総合得点と各区間・音楽要素の得点に基づいて適当なアドバイスメッセージを決定し(s46)、HDD37のアドバイスメッセージ記憶エリア372からこれを読み出して、総合得点とともに文字表示部43に出力する(s47)。文字表示部43はこれを文字パターンに展開して曲が終了したあとのモニタ46に表示する。
【0045】
この実施形態において、リズム差分データは、歌唱音声のリファレンスに対するタイミングのずれを示すデータであるが、突っ込んだ(先にずれた)のか遅れた(後にずれた)のかを正負の記号で記録するようにしてもよく、単にずれた時間の絶対値を記録するようにしてもよい。
【0046】
ここで、上記実施形態では、楽曲データの楽音トラックや効果トラックに含まれるカラオケ演奏用のデータを歌唱技巧データとして用いているが、歌唱技巧をルールとして抽出したものを適用して歌唱を採点するようにしてもよい。すなわち、特定のカラオケ曲の歌い方または該カラオケ曲を歌っているオリジナル歌手の歌唱の特徴をルールとして抽出しておく。たとえば、
「4分音符を超える長い音符は後半ビブラートを深く掛けてゆく。」
「フレーズの最後の伸ばし(後に休符がくる4分音符を超える音符)は、小さい音量からスタートして徐々に音量を上げてゆく。」
「5度を超える音程のジャンプはポルタメントをかける。」
などのルールを抽出し、このルールを楽曲データ中にまたは楽曲データと別に記憶しておき、歌唱音声と比較データとの差分データがこのルールに一致しているか否かでポイントを付与するようにすればよい。上記ルールを楽曲データと別に記憶する場合には、各ルールに対応する曲のジャンルやオリジナル歌手などのヘッダを設けておき、演奏される曲に応じてルールを適用するようにすればよい。また、この場合、複数のルールをグループ化して○○対応ルール(例えば、演歌対応ルール)として記憶してもよく。ルールを1つずつ個別に記憶しておき、曲に応じてそれらを組み合わせて適用するようにしてもよい。
【0047】
また、上記実施形態では、比較用データとしててガイドメロディデータを用い、このガイドメロディデータ(リファレンス)と歌唱音声との差として求められた差分データに対して歌唱技巧データを適用してポイントを算出しているが、比較用データとして技巧を含んだデータを用いることもできる。すなわち、オリジナル歌手の歌唱などの音高・音量の変化に技巧を含んだものから音高データ,音量データなどを抽出して比較用データとして記憶しておき、カラオケ歌唱が行われたとき、カラオケ歌唱から抽出された音高データ,音量データ(歌唱音声)をこのオリジナル歌手の歌唱から抽出されたリファレンスと比較する。このようにすることにより、この比較結果が端的にカラオケ歌唱が技巧を満たしたものであるかを示すポイントとなる。◇
ただし、ガイドメロディデータと差分データを求め、この差分データを歌唱技巧データと比較するようにすれば、正確さと歌唱技巧とを両方判断することができる。
【0048】
上記のような採点・評価動作を実行する場合、曲終了から採点・評価を終了するまである程度の時間が掛かるが、この間は『現在採点中』の表示とともに何らかの映像・音声を上映するようにしてもよい。
【0049】
また、図15の動作により、音量差分データと音高差分データがリアルタイムに求められているため、これをモニタ46上にリアルタイムに表示するようにしてもよい。表示方式としては図17に示すようなメータアイコン方式や数値表示方式などがある。メータアイコン方式で表示する場合には、CPU30のパフォーマンスを考慮し、針の表示分解能を3〜5段階程度にし、表示切換間隔を1秒程度にする。
【0050】
なお、上記採点機能はカラオケ演奏時に常時機能するようにしてもよく、利用者(カラオケ歌唱者)の選択によって機能するようにしてもよい。
【0051】
【発明の効果】
以上のようにこの発明によれば、カラオケ歌唱を音高,音量などの音楽要素別に採点し、これをリアルタイムに表示するようにしたことにより、歌唱者が歌唱しながら自分の歌唱の特徴(長所・短所)を正確に判断することができ、的確なアドバイスが可能になる。
【図面の簡単な説明】
【図1】この発明の実施形態であるカラオケ装置の概略構成図
【図2】同カラオケ装置の比較部の構成を示す図
【図3】同カラオケ装置の表示部の表示例を示す図
【図4】同カラオケ装置のガイドメロディに基づくリファレンス音高データ,音量データと歌唱音声の音高データ,音量データの例を示す図
【図5】上記リファレンスおよび歌唱音声によって求められた差分データの例を示す図
【図6】歌手の歌唱から抽出された音高データおよび音量データの例を示す図
【図7】カラオケ曲の区間分割と重み付けを説明する図
【図8】同カラオケ装置のハード構成を示すブロック図
【図9】同カラオケ装置のメモリおよびHDDの構成図
【図10】同カラオケ装置で用いられる楽曲データの構成を示す図
【図11】同楽曲データのトラック構成図
【図12】同楽曲データのトラック構成図
【図13】同カラオケ装置のデータ取込動作を示すフローチャート
【図14】同カラオケ装置のデータ取込動作を示すフローチャート
【図15】同カラオケ装置の比較動作を示すフローチャート
【図16】同カラオケ装置の採点動作を示すフローチャート
【図17】同カラオケ装置のモニタ表示例を示す図
【符号の説明】
1…(カラオケ歌唱用の)マイク、2…A/Dコンバータ、
3…データ抽出部、4…比較部、5…ハードディスク、6…実行メモリ、
7…シーケンサ、8…楽音発生部、9…アンプ、10…スピーカ、
21…差分算出部、22…記憶部、23…採点部、24…評価部、
25…表示部、
30…CPU、32…RAM、37…ハードディスクドライブ、
38…音源装置、39…音声データ処理部、47…マイク、
50…音声処理用DSP
Claims (1)
- 入力手段と、曲データ記憶手段と、読出手段と、演奏手段と、データ抽出手段と、比較手段と、表示手段とを備えるカラオケ装置であって、
入力手段は、カラオケ歌唱の音声信号を入力し、
曲データ記憶手段は、曲データと、それに同期した比較用データを記憶し、
比較用データは、少なくとも基準音高データと基準音量データを含み、
読出手段は、指定された曲データと、その比較用データを同期して読み出し、
演奏手段は、読み出された曲データに基づいて楽音を発生し、
データ抽出手段は、音声信号から音高データと音量データを抽出し、
比較手段は、検出した音量データと音高データ、及び、読み出した比較用データに基づいて、検出処理と、比較処理とを行い、
検出処理は、音量データが閾値以上であるか否かに基づき、発音中であるか否かを検出するとともに、読み出された比較用データに基づき発音区間であるか否かを検出し、
比較処理は、音量データが発音中且つ比較用データが発音区間である場合のみ、音量データと基準音量データ、および、音高データと基準音高データの比較を行い、比較結果を表示手段に表示させるカラオケ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001322297A JP3760833B2 (ja) | 2001-10-19 | 2001-10-19 | カラオケ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001322297A JP3760833B2 (ja) | 2001-10-19 | 2001-10-19 | カラオケ装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23319096A Division JP3261990B2 (ja) | 1996-09-03 | 1996-09-03 | カラオケ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002162978A JP2002162978A (ja) | 2002-06-07 |
JP3760833B2 true JP3760833B2 (ja) | 2006-03-29 |
Family
ID=19139369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001322297A Expired - Fee Related JP3760833B2 (ja) | 2001-10-19 | 2001-10-19 | カラオケ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3760833B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8311831B2 (en) | 2007-10-01 | 2012-11-13 | Panasonic Corporation | Voice emphasizing device and voice emphasizing method |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3878180B2 (ja) * | 2004-01-21 | 2007-02-07 | 株式会社コナミデジタルエンタテインメント | カラオケ装置、カラオケ方法、ならびに、プログラム |
JP5034471B2 (ja) * | 2006-12-11 | 2012-09-26 | ヤマハ株式会社 | 楽音信号発生装置及びカラオケ装置 |
JP4553013B2 (ja) * | 2008-01-15 | 2010-09-29 | ヤマハ株式会社 | カラオケ装置 |
JP5245973B2 (ja) * | 2009-03-26 | 2013-07-24 | ブラザー工業株式会社 | 採点装置,プログラム |
US8626497B2 (en) | 2009-04-07 | 2014-01-07 | Wen-Hsin Lin | Automatic marking method for karaoke vocal accompaniment |
JP5456370B2 (ja) * | 2009-05-25 | 2014-03-26 | 任天堂株式会社 | 発音評価プログラム、発音評価装置、発音評価システムおよび発音評価方法 |
JP5919928B2 (ja) * | 2012-03-21 | 2016-05-18 | ヤマハ株式会社 | 演奏評価装置及びプログラム |
JP2013231881A (ja) * | 2012-04-28 | 2013-11-14 | Daiichikosho Co Ltd | カラオケ採点システム |
-
2001
- 2001-10-19 JP JP2001322297A patent/JP3760833B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8311831B2 (en) | 2007-10-01 | 2012-11-13 | Panasonic Corporation | Voice emphasizing device and voice emphasizing method |
Also Published As
Publication number | Publication date |
---|---|
JP2002162978A (ja) | 2002-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3293745B2 (ja) | カラオケ装置 | |
JP3718919B2 (ja) | カラオケ装置 | |
US7750230B2 (en) | Automatic rendition style determining apparatus and method | |
JP3975772B2 (ja) | 波形生成装置及び方法 | |
JP2658463B2 (ja) | 自動演奏装置 | |
US8314320B2 (en) | Automatic accompanying apparatus and computer readable storing medium | |
JP3728942B2 (ja) | 楽音および画像生成装置 | |
JP3760833B2 (ja) | カラオケ装置 | |
JP3509545B2 (ja) | 演奏情報評価装置、演奏情報評価方法及び記録媒体 | |
JP3577561B2 (ja) | 演奏分析装置及び演奏分析方法 | |
JP3261990B2 (ja) | カラオケ装置 | |
JP3430814B2 (ja) | カラオケ装置 | |
JP3430811B2 (ja) | カラオケ装置 | |
JP3116937B2 (ja) | カラオケ装置 | |
JP3901008B2 (ja) | 音声変換機能付カラオケ装置 | |
JP2000330580A (ja) | カラオケ装置 | |
JP3645364B2 (ja) | 周波数検出装置 | |
JP3879524B2 (ja) | 波形生成方法、演奏データ処理方法および波形選択装置 | |
JP2005215493A (ja) | カラオケ装置及びプログラム | |
JPH11338480A (ja) | カラオケ装置 | |
JP2001128959A (ja) | 演奏カロリー消費量測定装置 | |
JP5416396B2 (ja) | 歌唱評価装置およびプログラム | |
JPH08227296A (ja) | 音声信号処理装置 | |
JP2904045B2 (ja) | カラオケ装置 | |
JP2004184506A (ja) | カラオケ装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140120 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |