JP3673385B2

JP3673385B2 - Music performance device

Info

Publication number: JP3673385B2
Application number: JP00262598A
Authority: JP
Inventors: 直規角田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-01-08
Filing date: 1998-01-08
Publication date: 2005-07-20
Anticipated expiration: 2018-01-08
Also published as: JPH11202877A

Description

【０００１】
【発明の属する技術分野】
この発明は、曲データに基づいて音楽を再生し、その音楽に合わせて入力される歌唱音声に基づいて歌唱力を採点する歌唱力採点機能を備えたパーソナルコンピュータ，カラオケ装置，通信カラオケ装置等の音楽演奏装置に関する。
【０００２】
【従来の技術】
近年、曲データに基づいて音楽を再生し、その音楽に合わせて入力される歌唱音声に基づいて歌唱力を採点する歌唱力採点機能を備えたカラオケ装置等の音楽演奏装置が多用されている。
【０００３】
従来の音楽演奏装置の歌唱力採点機能は（例えば、特開平４−３５６０９３号公報参照）、マイクからの音声データと、演奏データであるＭＩＤＩデータ内のメロディデータとを比較し、歌声の強さ，音程のずれ，リズムのずれなどを検出し、その検出結果に基づいて歌唱力の評価を示す得点を求め、その得点をリアルタイムに表示したり、音楽の終了時に表示したりするものであり、利用者は歌唱中や歌唱後に総合評価を知ることができた。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の音楽演奏装置では、利用者が歌唱後に、歌詞中のどの個所をどのように歌えば歌唱力を評価する得点が上がるのかを知ることができず、繰り返し歌っても歌唱力が容易に向上しないという問題があった。
この発明は上記の点に鑑みてなされたものであり、利用者が歌唱後にどの個所をどのように歌えば良いかを具体的に確認しながら再度歌唱できるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
この発明は上記の目的を達成するため、記憶手段と、音楽再生手段と、表示制御手段と、制御手段を備える音楽演奏装置であって、上記記憶手段は、複数の曲データを記憶し、上記曲データは、メロディデータを含む演奏データと、歌詞データとを含み、上記音楽再生手段は、上記制御手段の制御に従って上記演奏データを再生し、上記表示制御手段は、上記制御手段の制御に従って上記表示手段に表示を行い、上記制御手段は、比較処理と、確認処理を可能とし、上記比較処理は、選択された曲データの演奏データを上記音楽再生手段に再生させ、当該曲データの歌詞データを上記表示制御手段に再生表示させると共に、演奏中のメロディデータとマイクから入力される音声データとを比較して音程、及び、テンポのずれを示す比較結果データを曲データの対応箇所に埋め込み、上記確認処理は、選択された曲データに音程、及び、テンポのずれを示す比較結果データが埋め込まれている場合、当該曲データの歌詞データを上記表示制御手段に再生表示させると共に、当該曲データ中に埋め込まれた比較結果データの音程のずれを上下の向きで、テンポのずれを左右の向きで表現した１の矢印にて歌詞に対応付けて表示させる音楽演奏装置を提供する。
【０００６】
また、上記比較処理における音声データとメロディデータとが比較による音量のずれを含み、上記確認処理は、上記比較結果データの音量のずれを矢印の色で表現するとよい。
【０００７】
さらに、上記確認処理は、選択された曲データの演奏データを上記音楽再生手段に再生させるか否かを利用者の入力に従って選択可能とするとなおよい。
【０００８】
さらにまた、上記確認処理は、曲データにおいて比較結果データが最も悪い部分を再生させるとさらによい。
【０００９】
この発明の請求項１の音楽演奏装置は、曲データを再生するとき、音楽の進行と同期させて上記比較結果データに基づいて音程のずれを上下の向きで、テンポのずれを左右の向きで表現した１の矢印によって歌詞に対応付けて表示させるので、歌唱後にどの個所をどのように歌えば良いかを音楽の進行と共に具体的に知ることができ、それを確認しながら再度歌唱して練習することができる。
【００１０】
また、この発明の請求項２の音楽演奏装置は、音量のずれを矢印の色で表現することができる。
【００１１】
さらに、この発明の請求項３の音楽演奏装置は、選択された曲データの演奏データを音楽再生手段に再生させるか否かを利用者の入力に従って選択可能とすることができる。
【００１２】
さらにまた、この発明の請求項４の音楽演奏装置は、曲データにおいて比較結果データが最も悪い部分を再生させるので、利用者は比較結果が悪かった個所を繰り返し歌い直して練習することができる。
【００１３】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づいて具体的に説明する。
図１は、この発明の一実施形態である通信カラオケ装置の構成を示すブロック図である。この通信カラオケ装置は、マイクロコンピュータによって実現され、システムバス１，ＣＰＵ２，ＲＯＭ３，ＲＡＭ４，ＤＭＡＣ５，ＩＮＴＣ６，タイマ（ＴＩＭＥＲ）７，シリアルインタフェース（ＳＥＲＩＡＬ・Ｉ／Ｆ）８と２２，コントロールパネル９，リモコン１０，グラフィック制御部１１，ビデオ（ＶＩＤＥＯ）制御部１２，テレビモニタ１３，スピーカ１４，オーディオ（ＡＵＤＩＯ）制御部１５，音源ボード１６，アンプ１７，マイク１８，通信制御部１９，ＩＳＤＮインタフェース（ＩＳＤＮ・Ｉ／Ｆ）２０，ＩＳＤＮ２１，ＶＣＤプレーヤ２３，スカジーインタフェース（ＳＣＳＩ・Ｉ／Ｆ）２４，及びハードディスク装置（ＨＤＤ）２５からなる。
【００１４】
システムバス１は、上記各部間でデータをやり取りするための通信線である。ＣＰＵ２は、この通信カラオケ装置全体の制御を司り、この発明に係る各種の処理等を行なう。ＲＯＭ３は、ＣＰＵ２が実行する各種の制御プログラムを記憶する。ＲＡＭ４は、ＣＰＵ２が各種の処理を行なうときに使用する作業エリアである。
【００１５】
コントロールパネル９は、カラオケの演奏曲の予約時の曲番号入力や、演奏時のテンポ又はキーの調整入力や、その他の入力操作を行なう。
リモコン１０は、コントロールパネル９による操作を遠隔操作で行なう。
【００１６】
グラフィック制御部１１は、曲データ中の歌詞データに基づく歌詞を、テレビモニタ１３に表示されている背景映像上にオーバーレイ表示させる処理、演奏曲の再生に同期させて歌詞の色変え表示する処理、及び曲データ中の比較結果データに基づく比較結果をテレビモニタ１３に表示する処理等を行なう。
【００１７】
ビデオ制御部１２は、曲データに対応する背景映像データに基づく背景映像をＮＴＳＣ信号に変換してテレビモニタ１３に表示する処理、テレビモニタ１３上にピクチャインピクチャ表示（ＰｉｎＰ）する処理、スプリット表示する処理、及び曲データ中の比較結果データに基づく比較結果をテレビモニタ１３に表示する処理等を行なう。
【００１８】
テレビモニタ１３は、背景映像と、その背景映像に演奏中の演奏曲の歌詞を表示し、曲データ中の比較結果データに基づく比較結果を表示する。
スピーカ１４は、アンプ１７から出力される演奏曲の再生信号に基づくカラオケ演奏音楽と、マイク１８から入力される音声信号（音声データ）に基づく歌唱音を出力する。
【００１９】
オーディオ制御部１５は、マイク１８から入力される音声信号に対するエフェクト処理，演奏曲の再生信号に対するエフェクト処理，この発明に係る比較結果を検出する処理等を行なう。
音源ボード１６は、曲データ中の演奏データに基づいてデジタル再生信号を各種楽器や効果音に変換してアナログの再生信号を出力する。
アンプ１７は、音源ボード１６から出力される演奏曲の再生信号とマイク１８から入力される音声信号をそれぞれ増幅してスピーカ１４へ出力する。
【００２０】
マイク１８は、ユーザがスピーカ１４から出力されるカラオケ演奏音楽に合わせて歌唱する音声の音声信号を入力する。
通信制御部１９は、ＩＳＤＮ２１を介して外部のホスト装置からＭＩＤＩデータ等の演奏データ（メロディデータを含む），歌詞データ，その他の情報からなる曲データを受信し、通信カラオケ装置の制御情報をホスト装置へ送信する通信制御を行なう。
【００２１】
ＩＳＤＮ・Ｉ／Ｆ２０は、ＩＮＳ６４等の基本インタフェース（Ｉ／Ｆ）を装備し、ＩＳＤＮ２１との接続処理を行なう。
ＶＣＤプレーヤ２３は、ＶＣＤ等のメディアに記録されたテレビモニタ１３に表示する背景映像の画像データを再生して出力する処理を行なう。
【００２２】
ＳＣＳＩ・Ｉ／Ｆ２４は、ＨＤＤ２５に対する曲データ，及び各種の制御情報等の情報の書き込み及び読み出しの制御を行なう。
ＨＤＤ２５は、多数のカラオケ音楽の演奏曲の曲データ（演奏データ，歌詞データ等からなる），多様な比較結果データに対応する歌唱指導データ，及び各種の制御情報等の情報を記憶する記憶装置である。
【００２３】
すなわち、上記ＨＤＤ２５がメロディデータを含む演奏データと、歌詞データとを含む複数の曲データを記憶する記憶手段の機能を果たし、上記ＣＰＵ２は制御手段の機能を果たし、上記音源ボード１６が制御手段の制御に従って演奏データを再生する音楽再生手段の機能を果たし、上記グラフィック制御部１１が制御手段の制御に従って表示手段に相当するテレビモニタ１３に表示を行う表示制御手段の機能を果たす。
【００２４】
また、上記マイク１８が上記音楽に合わせて歌唱される歌唱音声集音してその音声データを入力する歌唱音声入力手段の機能を果たし、上記ＣＰＵ２，オーディオ制御部１５が、比較処理と、確認処理を可能とし、上記比較処理で、選択された曲データの演奏データを上記音楽再生手段に再生させ、当該曲データの歌詞データを上記表示制御手段に再生表示させると共に、演奏中のメロディデータとマイクから入力される音声データとを比較して音程、及び、テンポのずれを示す比較結果データを曲データの対応箇所に埋め込み、上記確認処理で、選択された曲データに音程、及び、テンポのずれを示す比較結果データが埋め込まれている場合、当該曲データの歌詞データを上記表示制御手段に再生表示させると共に、当該曲データ中に埋め込まれた比較結果データの音程のずれを上下の向きで、テンポのずれを左右の向きで表現した１の矢印にて歌詞に対応付けて表示させる機能を果たす。
【００２５】
さらに、上記ＣＰＵ２，グラフィック制御部１１は、上記比較処理における音声データとメロディデータとが比較による音量のずれを含み、上記確認処理で、上記比較結果データの音量のずれを矢印の色で表現する機能を果たす。
【００２６】
また、上記ＣＰＵ２は、上記確認処理で、選択された曲データの演奏データを上記音楽再生手段に再生させるか否かを利用者の入力に従って選択可能とする機能を果たす。
【００２７】
さらに、上記ＨＤＤ２５が上記比較結果データ毎の歌唱指導データを記憶する歌唱指導データ記憶手段の機能を果たし、上記ＣＰＵ２，グラフィック制御部１１等が上記比較結果データが埋め込まれた曲データを再生するとき、音楽の進行と同期させて上記比較結果データに基づく比較結果の表示に代えて、上記歌唱指導データ記憶手段に記憶されている上記比較結果データに対応する歌唱指導データに基づく歌唱指導音声を出力する歌唱指導音声出力手段の機能を果たす。
【００２８】
さらにまた、上記ＣＰＵ２は、上記確認処理で、曲データにおいて比較結果データが最も悪い部分を再生させる機能を果たす。
【００２９】
図２は、上記テレビモニタ１３上の歌詞表示例を示す図である。
曲データの再生時、スピーカ１４から演奏データに基づくカラオケ音楽が出力され、テレビモニタ１３上には曲データ中の歌詞データに基づく歌詞、例えば、「傘が無いわけじゃーないけーれど帰りたくなーい。」が表示される。その歌詞デーは曲に合わせてページ単位や行単位で編集されており、再生時には音楽の進行と同期してページ単位又は行単位の歌詞を順次表示する。また、曲のテンポに同期して歌唱部分の表示色を順次変化させる。
【００３０】
図３は、歌詞データ中の歌詞色変えタイミングデータのフォーマットの一例を示す図である。
上記歌詞データに対する歌詞色替えタイミングデータは、例えば、時間情報を１ドットの色替え時間にすると、「傘が」「無いわけじゃー」「ない」「けーれど」はそれぞれ異なるタイミングで色替えさせる。この色替えタイミングは予め音楽の進行にマッチングさせて作成する。また、各歌詞データは演奏データの再生と同期させるように編集する。
【００３１】
次に、この通信カラオケ装置における音楽再生時の処理について説明する。
ＣＰＵ２は、通信制御部１９によってホストからメロディデータを含む演奏データと、歌詞データとを含む曲データを取得し、その曲データをＨＤＤ２５に記憶する。したがって、ＨＤＤ２５には多種類のカラオケ曲の曲データが蓄積される。また、ＨＤＤ２５には各曲データに対応する動画や静止画の背景映像データも蓄積されている。
【００３２】
そして、コントロールパネル９又はリモコン１０からリクエスト曲の曲番号が入力されると、ＣＰＵ２はＨＤＤ２５から上記曲番号に該当する曲データと対応する背景映像データとを読み出し、曲データ中の演奏データをオーディオ制御部１５へ、歌詞データと背景映像データをビデオ制御部１２へ出力する。
【００３３】
オーディオ制御部１５は、演奏データを音源ボード１６へ送り、音源ボード１６は演奏データに基づく音楽信号を再生してアンプ１７へ送り、アンプ１７は音楽信号とマイク１８から入力される歌唱音声の音声信号とをミキシングして増幅し、スピーカ１４から出力する。
【００３４】
また、グラフィック制御部１１は、上記演奏データの再生と同期させて歌詞データ及び背景映像データをビデオ制御部１２へ送り、ビデオ制御部１２は歌詞データに基づく歌詞表示信号と背景映像データに基づく背景映像信号（ＮＴＳＣ信号）を再生してテレビモニタ１３へ出力し、テレビモニタ１３は音楽の進行に同期した背景映像と歌詞を表示する。
【００３５】
さらに、オーディオ制御部１５は、音楽の演奏中は、アンプ１７，音源ボード１６を介して上記音楽に合わせてマイク１８から入力された歌唱音声の音声信号をデータを入力すると、その入力された音声信号と上記演奏データのメロディデータとを比較して予め設定された所定時間（例えば、１００ｍｓｅｃ）毎に音量のずれ，音程のずれ，テンポのずれ等の比較結果データ（採点データ）を検出して出力し、ＣＰＵ２はＨＤＤ２５に記憶されている上記演奏データ中の対応個所に上記採点データをそれぞれ埋め込む。
【００３６】
図４の（ａ）は、演奏データ中に比較結果データを埋め込んだときのフォーマット例を示す図である。
演奏データ中には、曲のテンポを作成する時間情報と、ＭＩＤＩデータと、歌詞表示の同期コードのページ情報とから構成されており、ＭＩＤＩデータ中にメロディデータが含まれている。そして、上記所定時間毎に検出された比較結果データ（図中には「採点データ」と示す）を曲再生時に同期するように対応する個所に格納する。
したがって、次に演奏データを再生したときには、曲の再生と同期した採点データの表示が可能になる。
【００３７】
図４の（ｂ）は、歌詞データ中に採点データを埋め込んだときのフォーマット例を示す図である。
歌詞データ中には、ページ単位の歌詞データがテキストデータで格納されている。この各ページの歌詞データは上記曲データの再生と同期するように編集されている。そして、上記所定時間毎に検出された比較結果データ（図中には「採点データ」と示す）を歌詞再生時に同期するように対応する個所に格納する。
【００３８】
上記処理では、１回目の演奏時に、歌唱音声の音量のずれ，音程のずれ，テンポのずれの比較結果データを所定時間毎に曲データ中に記録する。
そして、２回目以降の演奏時に曲データ中の比較結果データに基づいて前回の音量のずれ，音程のずれ，テンポのずれの比較結果を表示する。
したがって、上記演奏データに採点データを埋め込まなくても曲の再生と同期した採点データの表示が可能になる。
【００３９】
次に、上記演奏データ中に比較結果データが埋め込まれた曲データの再生時、オーディオ制御部１５は、演奏データ中に埋め込まれた比較結果データを検出するとグラフィック制御部１１へ送り、グラフィック制御部１１はその比較結果データをビデオ制御部１２を介してテレビモニタ１３へ送って比較結果を表示させる。
したがって、音楽の進行と同期させて上記比較結果データに基づく比較結果を逐次表示させることができる。
【００４０】
また、上記歌詞データ中に比較結果データが埋め込まれた曲データの再生時、グラフィック制御部１１は、歌詞データ中に埋め込まれた比較結果データを検出するとビデオ制御部１２を介してテレビモニタ１３へ送って比較結果を表示させる。
したがって、この場合でも音楽の進行と同期させて上記比較結果データに基づく比較結果を逐次表示させることができる。
【００４１】
図５は、テレビモニタ１３上の比較結果の表示例を示す図である。
例えば、テレビモニタ１３上には、歌詞中に矢印の上下で音程のずれを、矢印の左右でテンポのずれを、矢印の色で音量のずれをそれぞれ示すと、利用者がどの個所の音程，テンポ，歌唱音量が悪いのかをビジュアルに確認することができ、それを確認しながら再度歌唱して練習し、歌いかたを容易に改善することができる。
【００４２】
次に、上記歌詞データ中に比較結果データが埋め込まれた曲データを再生するとき、コントロールパネル９又はリモコン１０から音楽を消去（無効に）する指示が入力されると、ＣＰＵ２はオーディオ制御部１５に対して演奏データの再生を停止させ、グラフィック制御部１１に対して背景映像データと歌詞データの再生を行なわせる。
【００４３】
そして、グラフィック制御部１１は、背景映像データと歌詞データの再生を実行し、歌詞データ中に埋め込まれた比較結果データを検出するとビデオ制御部１２を介してテレビモニタ１３へ送って背景映像中の歌詞に対して比較結果を表示させる。
【００４４】
また、上記演奏データ中に比較結果データが埋め込まれた曲データを再生するときは、フロントパネル９又はリモコン１０から音楽を消去（無効に）する指示が入力されると、ＣＰＵ２はオーディオ制御部１５に対して演奏データの再生を指示するが音源ボード１６への出力を停止させ、グラフィック制御部１１に対して背景映像データと歌詞データの再生を行なわせる。
【００４５】
そして、オーディオ制御部１５は、演奏データの再生を実行し、比較結果データを検出するとグラフィック制御部１１へ出力する。一方、グラフィック制御部１１は、背景映像データと歌詞データの再生を実行し、オーディオ制御部１５から比較結果データを受け取るとビデオ制御部１２を介してテレビモニタ１３へ送って背景映像中の歌詞に対して比較結果を表示させる。
【００４６】
このようにして、マイクを用いて歌詞中の比較結果を確認しながら繰り返して歌唱するときに、演奏音楽に気を取られずに自己の歌唱音声のみを聞き取ることができるので、利用者は音量，音程，及びテンポ等の調整を容易に行なえるようになる。
【００４７】
次に、上記比較結果データが埋め込まれた曲データを再生するとき、コントロールパネル９又はリモコン１０から指導音声を出力する指示が入力されると、ＣＰＵ２は音楽の進行と同期させて上記比較結果データに基づく比較結果の表示に代えて、ＨＤＤ２５に記憶されている上記比較結果データに対応する歌唱指導データに基づく歌唱指導音声を出力する。
【００４８】
まず、上記グラフィック制御部１１又はオーディオ制御部１５において比較結果データが検出されると、ＨＤＤ２５から比較結果データに対応する歌唱指導データを読み出してオーディオ制御部１５へ出力する。
オーディオ制御部１５は、歌唱指導データを受け取ると音源ボード１６へ送り、音源ボード１６は歌唱指導データに基づく歌唱指導音声を生成してアンプ１７を介してスピーカ１４へ出力する。
【００４９】
例えば、ＨＤＤ２５に比較結果データに対応する歌唱指導データとして「歌声が低すぎる」「音程が低すぎる」「音程が高すぎる」「テンポが早すぎる」「テンポが遅すぎる」などの歌唱指導音声のＰＣＭデータを登録し、比較結果データの検出と共に曲の再生に同期させて再生するようにする。
なお、ＰＣＭデータの再生タイミングとしては歌うポイントよりも若干早めに再生するようにすれば、利用者が歌う前に歌唱指導を聞き取ることができ、その歌唱指導にしたがって正しく歌うことができる。
【００５０】
このようにして、利用者は１回目に歌った曲を再度歌うときに、比較結果の悪かった個所で音声による具体的な改善指導を受けることができ、歌いかたの悪かった部分を直し易くなる。
【００５１】
次に、上記比較結果データが埋め込まれた曲データを再生するとき、コントロールパネル９又はリモコン１０から比較結果の最も悪かった部分の繰り返しの指示が入力されると、ＣＰＵ２はグラフィック制御部１１又はオーディオ制御部１５に対して最も悪い比較結果が埋め込まれているページや小節の区間の検索を指示し、グラフィック制御部１１又はオーディオ制御部１５は１曲分のデータ中から最も悪い比較結果のある区間を検出し、曲データの再生時にその区間を繰り返して再生する。また、再生開始と共にその区間のみを繰り返し再生するようにしてもよい。
【００５２】
このようにして、利用者は２回目以降の歌唱時に１回目に歌ったときの比較結果が悪かった個所を繰り返し歌い直して練習することができる。
【００５３】
なお、上述の処理では１回目に歌唱時に記録した比較結果データを２回目以降も使用するようにしたが、ＣＰＵ２の制御によって何回か利用した後に曲データ中の比較結果データを消去したり書き換えたりすれば、同じ曲の歌唱練習のときに、何度か歌ううちに良くなった個所の比較結果が表示されなくなり、繰り返して歌うにつれて比較結果の表示数がだんだん少なくなって練習意欲を高めることができ、歌唱力を効率良く向上させることができる。
【００５４】
また、上述の実施例では通信カラオケ装置の場合を説明したが、カラオケ音楽の再生出力が可能なパーソナルコンピュータや、カラオケ装置においても同様に実施することができる。
【００５５】
【発明の効果】
以上説明してきたように、この発明による音楽演奏装置によれば、利用者が歌唱後にどの個所をどのように歌えば良いかを具体的に確認しながら再度歌唱できるので、短時間で歌唱力を向上させることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態である通信カラオケ装置の構成を示すブロック図である。
【図２】図１に示したテレビモニタ上の歌詞表示例を示す図である。
【図３】図２に示した歌詞データ中の歌詞色替えタイミングデータのフォーマットの一例を示す図である。
【図４】演奏データ中に比較結果データを埋め込んだときのフォーマット例と歌詞データ中に採点データを埋め込んだときのフォーマット例を示す図である。
【図５】図１に示したテレビモニタ上の比較結果の表示例を示す図である。
【符号の説明】
１：システムバス２：ＣＰＵ
３：ＲＯＭ４：ＲＡＭ
５：ＤＭＡＣ６：ＩＮＴＣ
７：タイマ（ＴＩＭＥＲ）
８，２２：シリアルインタフェース（ＳＥＲＩＡＬ・Ｉ／Ｆ）
９：コントロールパネル１０：リモコン
１１：グラフィック制御部
１２：ビデオ（ＶＩＤＥＯ）制御部
１３：テレビモニタ１４：スピーカ
１５：オーディオ（ＡＵＤＩＯ）制御部
１６：音源ボード１７：アンプ
１８：マイク１９：通信制御部
２０：ＩＳＤＮインタフェース（ＩＳＤＮ・Ｉ／Ｆ）
２１：ＩＳＤＮ２３：ＶＣＤプレーヤ
２４：スカジーインタフェース（ＳＣＳＩ・Ｉ／Ｆ）
２５：ハードディスク装置（ＨＤＤ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a personal computer, a karaoke device, a communication karaoke device, and the like having a singing ability scoring function for reproducing music based on song data and scoring singing ability based on singing voice input in accordance with the music. The present invention relates to a music performance device.
[0002]
[Prior art]
In recent years, music performance devices such as a karaoke device having a singing ability scoring function for reproducing music based on song data and scoring singing ability based on singing voice input in accordance with the music have been widely used.
[0003]
The singing ability scoring function of a conventional music performance device (see, for example, JP-A-4-356093) compares the voice data from the microphone with the melody data in the MIDI data that is the performance data, and the strength of the singing voice , Detects pitch shift, rhythm shift, etc., finds a score indicating the evaluation of singing ability based on the detection result, displays the score in real time, or displays at the end of the music, Users were able to know the overall evaluation during and after singing.
[0004]
[Problems to be solved by the invention]
However, with a conventional music performance device, it is not possible to know which part of the lyrics the user sings to increase the score for evaluating the singing ability after the user sings. There was a problem of not improving.
The present invention has been made in view of the above points, and an object of the present invention is to allow a user to sing again while specifically confirming which part and how to sing after singing.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the present invention is a music performance device comprising storage means, music playback means, display control means, and control means, wherein the storage means stores a plurality of song data, The song data includes performance data including melody data and lyric data, the music reproduction means reproduces the performance data in accordance with the control of the control means, and the display control means has the above-described control in accordance with the control of the control means. Display is performed on the display means, and the control means enables comparison processing and confirmation processing. The comparison processing causes the music playback means to play back the performance data of the selected song data, and the lyrics data of the song data. Is displayed on the display control means, and the melody data being played is compared with the voice data input from the microphone, and the comparison result data indicating the pitch and tempo deviation is shown. In the corresponding processing of the song data, when the comparison result data indicating the pitch and tempo deviation is embedded in the selected song data, the above-mentioned confirmation processing controls the display of the lyrics data of the song data. The reproduction is displayed on the means, and the pitch shift of the comparison result data embedded in the song data is displayed in association with the lyrics by the one arrow expressing the vertical shift and the tempo shift in the horizontal direction. A music performance device is provided.
[0006]
Also includes the deviation of the volume by comparison with the audio data and the melody data in the comparison process, the confirmation process may If you represent the deviation of the volume of the comparison result data in the color of the arrow.
[0007]
Furthermore, the validation process may Rutonao be possible to select the performance data of the music data selected according to user's input whether to play the music reproducing means.
[0008]
Furthermore, the confirmation process is even better when the comparison result data Ru to regenerate the worst part in the song data.
[0009]
In the music performance device according to the first aspect of the present invention, when the music data is reproduced, the pitch shift is set in the vertical direction and the tempo shift is set in the horizontal direction based on the comparison result data in synchronization with the progress of the music. Since it is displayed in correspondence with the lyrics by the 1 arrow that is expressed, it is possible to know specifically what part should be sung after singing along with the progress of the music, sing and practice again while confirming that can do.
[0010]
Also, the music playing apparatus according to claim 2 of the present invention, as possible out to represent the deviation of the volume in the color of the arrow.
[0011]
Further, the music playing apparatus according to claim 3 of the present invention, as possible out be selectable according to the user's input whether to play the music reproducing unit performance data of the music data selected.
[0012]
Furthermore, since the music performance device according to claim 4 of the present invention reproduces the portion of the song data having the worst comparison result data , the user can repeatedly sing and practice the portion where the comparison result was bad.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a communication karaoke apparatus according to an embodiment of the present invention. This communication karaoke device is realized by a microcomputer, and includes a system bus 1, CPU 2, ROM 3, RAM 4, DMAC 5, INTC 6, timer (TIMER) 7, serial interfaces (SERIAL I / F) 8 and 22, a control panel 9, and a remote controller. 10, graphic control unit 11, video (VIDEO) control unit 12, television monitor 13, speaker 14, audio (AUDIO) control unit 15, sound source board 16, amplifier 17, microphone 18, communication control unit 19, ISDN interface (ISDN. (I / F) 20, ISDN 21, VCD player 23, skazy interface (SCSI / I / F) 24, and hard disk device (HDD) 25.
[0014]
The system bus 1 is a communication line for exchanging data between the above units. The CPU 2 controls the entire communication karaoke apparatus and performs various processes according to the present invention. The ROM 3 stores various control programs executed by the CPU 2. The RAM 4 is a work area used when the CPU 2 performs various processes.
[0015]
The control panel 9 performs input of a song number when reserving a karaoke performance song, adjustment input of a tempo or key during performance, and other input operations.
The remote controller 10 performs an operation by the control panel 9 by remote operation.
[0016]
The graphic control unit 11 is a process for displaying lyrics based on the lyrics data in the song data on the background image displayed on the television monitor 13, a process for changing the color of the lyrics in synchronization with the reproduction of the performance song, And the process etc. which display the comparison result based on the comparison result data in music data on the television monitor 13 are performed.
[0017]
The video control unit 12 converts the background video based on the background video data corresponding to the song data into an NTSC signal and displays it on the television monitor 13, processing to display the picture-in-picture (PinP) on the television monitor 13, and split display And a process of displaying a comparison result based on the comparison result data in the music data on the television monitor 13.
[0018]
The television monitor 13 displays the background video and the lyrics of the performance song being played on the background video, and displays the comparison result based on the comparison result data in the song data.
The speaker 14 outputs karaoke performance music based on the reproduction signal of the performance music output from the amplifier 17 and singing sound based on the audio signal (audio data) input from the microphone 18.
[0019]
The audio control unit 15 performs an effect process on the audio signal input from the microphone 18, an effect process on the playback signal of the performance music, a process of detecting a comparison result according to the present invention, and the like.
The tone generator board 16 converts the digital reproduction signal into various musical instruments and sound effects based on the performance data in the music data, and outputs an analog reproduction signal.
The amplifier 17 amplifies the playback signal of the performance music output from the sound source board 16 and the audio signal input from the microphone 18 and outputs the amplified signal to the speaker 14.
[0020]
The microphone 18 inputs an audio signal of a voice that the user sings along with the karaoke performance music output from the speaker 14.
The communication control unit 19 receives performance data such as MIDI data (including melody data), lyric data, and other song data from the external host device via the ISDN 21, and hosts the control information of the communication karaoke device. Controls communication to be sent to the device.
[0021]
The ISDN / I / F 20 is equipped with a basic interface (I / F) such as INS64 and performs connection processing with the ISDN 21.
The VCD player 23 performs a process of reproducing and outputting the image data of the background video displayed on the television monitor 13 recorded on a medium such as a VCD.
[0022]
The SCSI / I / F 24 controls writing and reading of information such as music data and various control information with respect to the HDD 25.
The HDD 25 is a storage device for storing information such as song data (consisting of performance data, lyrics data, etc.) of a large number of karaoke music performances, singing instruction data corresponding to various comparison result data, and various control information. is there.
[0023]
That is, the performance data the HDD25 includes a melody data, serve multiple SL you store music data憶means including lyrics data, the CPU2 plays a function of the control means, the sound board 1 6 serve music reproduction means for reproducing music data according to the control of the control means, the function of the display control means for displaying on a television monitor 13 on Kigu traffic controller 1 1 corresponds to the display means according to the control of the control means Fulfill.
[0024]
The microphone 18 functions as a singing voice input means for collecting singing voices sung in accordance with the music and inputting the voice data. The CPU 2 and the audio control unit 15 perform comparison processing and confirmation processing. In the comparison process, the performance data of the selected song data is played back on the music playback means, the lyrics data of the song data is played back on the display control means, and the melody data being played and the microphone The comparison result data indicating the pitch and tempo deviation is embedded in the corresponding portion of the song data by comparing with the audio data inputted from the above, and the pitch and tempo deviation are added to the selected song data in the above confirmation process. When the comparison result data indicating is embedded, the lyric data of the song data is reproduced and displayed on the display control means and embedded in the song data. Until the result of the comparison shift the vertical orientation of the data interval, functions to be displayed in association with the lyrics deviation tempo at Swiveling 1 expressed in an arrow.
[0025]
Further, the CPU 2 and the graphic control unit 11 include a difference in volume between the audio data and the melody data in the comparison process, and expresses the difference in the volume of the comparison result data with an arrow color in the confirmation process. Fulfills the function.
[0026]
Further, the CPU 2 has a function of allowing the music reproducing means to select whether or not the performance data of the selected music data is to be reproduced by the music reproducing means in the confirmation process .
[0027]
Further, when the HDD 25 functions as a singing instruction data storing means for storing singing instruction data for each comparison result data, and the CPU 2, the graphic control unit 11 and the like reproduce the song data in which the comparison result data is embedded. Instead of displaying the comparison result based on the comparison result data in synchronization with the progress of music, the singing guidance sound based on the singing guidance data corresponding to the comparison result data stored in the singing guidance data storage means is output. It performs the function of the singing instruction voice output means.
[0028]
Furthermore, the CPU 2 functions to reproduce the portion of the music data having the worst comparison result data in the confirmation process .
[0029]
FIG. 2 is a diagram showing a lyric display example on the television monitor 13.
When the song data is played back, the karaoke music based on the performance data is output from the speaker 14, and the TV monitor 13 displays lyrics based on the lyrics data in the song data, for example, “I don't have an umbrella but I want to go home. Is displayed. The lyric data is edited in units of pages or lines according to the music, and at the time of reproduction, lyrics in page units or lines are sequentially displayed in synchronization with the progress of music. In addition, the display color of the singing portion is sequentially changed in synchronization with the tempo of the song.
[0030]
FIG. 3 is a diagram showing an example of the format of the lyrics color change timing data in the lyrics data.
The lyrics color change timing data for the above lyric data, for example, when the time information is changed to the color change time of 1 dot, “umbrella”, “no reason”, “no”, “Keredo” are changed at different timings. Let This color change timing is created in advance by matching with the progress of music. Each lyric data is edited so as to be synchronized with the reproduction of the performance data.
[0031]
Next, the process at the time of music reproduction in this communication karaoke apparatus will be described.
CPU2 includes a performance data including melody data from the host by the communication control unit 19 obtains the music data containing the lyric data, and stores the song data in the HDD 25. Accordingly, the HDD 25 stores song data of various types of karaoke songs. The HDD 25 also stores moving image and still image background video data corresponding to each piece of music data.
[0032]
When the song number of the requested song is input from the control panel 9 or the remote controller 10, the CPU 2 reads the song data corresponding to the song number and the corresponding background video data from the HDD 25, and the performance data in the song data is audio. The lyrics data and the background video data are output to the video controller 12 to the controller 15.
[0033]
The audio control unit 15 sends performance data to the sound source board 16, and the sound source board 16 reproduces a music signal based on the performance data and sends it to the amplifier 17. The amplifier 17 plays the music signal and the voice of the singing voice input from the microphone 18. The signal is mixed and amplified and output from the speaker 14.
[0034]
The graphic control unit 11 sends lyrics data and background video data to the video control unit 12 in synchronization with the reproduction of the performance data. The video control unit 12 uses the lyrics display signal based on the lyrics data and the background based on the background video data. The video signal (NTSC signal) is reproduced and output to the television monitor 13, and the television monitor 13 displays the background video and lyrics synchronized with the progress of the music.
[0035]
Further, when the audio control unit 15 inputs data of the voice signal of the singing voice input from the microphone 18 in accordance with the music via the amplifier 17 and the sound source board 16 during the performance of the music, the input voice is input. Comparing the signal with the melody data of the performance data and detecting comparison result data (scoring data) such as a volume deviation , a pitch deviation, a tempo deviation, etc. every predetermined time (for example, 100 msec) The CPU 2 embeds the scoring data at corresponding locations in the performance data stored in the HDD 25.
[0036]
FIG. 4A is a diagram showing a format example when the comparison result data is embedded in the performance data.
The performance data is composed of time information for creating the tempo of the song, MIDI data, and page information of the synchronization code for displaying the lyrics, and the melody data is included in the MIDI data. Then, the comparison result data (shown as “scoring data” in the figure) detected every predetermined time is stored in a corresponding place so as to be synchronized when the music is reproduced.
Therefore, when the performance data is reproduced next time, the scoring data synchronized with the reproduction of the music can be displayed.
[0037]
FIG. 4B is a diagram showing a format example when grading data is embedded in the lyrics data.
In the lyric data, page-by-page lyric data is stored as text data. The lyrics data on each page is edited so as to be synchronized with the reproduction of the music data. Then, the comparison result data (shown as “scoring data” in the figure) detected every predetermined time is stored in a corresponding place so as to be synchronized when the lyrics are reproduced.
[0038]
In the above process, the comparison result data of the singing sound volume deviation , pitch deviation, and tempo deviation is recorded in the song data at predetermined time intervals during the first performance.
Then, the comparison results of the previous volume deviation , pitch deviation, and tempo deviation are displayed based on the comparison result data in the song data during the second and subsequent performances.
Therefore, it is possible to display the scoring data synchronized with the reproduction of the music without embedding the scoring data in the performance data.
[0039]
Next, when reproducing the music data in which the comparison result data is embedded in the performance data, when the audio control unit 15 detects the comparison result data embedded in the performance data, the audio control unit 15 sends the comparison result data to the graphic control unit 11. 11 sends the comparison result data to the television monitor 13 via the video controller 12 to display the comparison result.
Therefore, the comparison results based on the comparison result data can be sequentially displayed in synchronization with the progress of music.
[0040]
When reproducing the music data in which the comparison result data is embedded in the lyric data, the graphic control unit 11 detects the comparison result data embedded in the lyric data and sends it to the television monitor 13 via the video control unit 12. Send and display the comparison results.
Therefore, even in this case, the comparison results based on the comparison result data can be sequentially displayed in synchronization with the progress of music.
[0041]
FIG. 5 is a diagram illustrating a display example of the comparison result on the television monitor 13.
For example, on the TV monitor 13, when a pitch shift is shown in the lyrics above and below the arrow, a tempo shift is indicated on the left and right of the arrow, and a volume shift is indicated by the color of the arrow, It is possible to visually check whether the tempo and the singing volume are bad, and singing and practicing again while confirming it can be improved easily.
[0042]
Next, when reproducing the song data in which the comparison result data is embedded in the lyrics data, if an instruction to erase (invalidate) music is input from the control panel 9 or the remote controller 10, the CPU 2 controls the audio control unit 15 to perform the operation. The reproduction of the performance data is stopped and the graphic control unit 11 is caused to reproduce the background video data and the lyrics data.
[0043]
Then, the graphic control unit 11 reproduces the background video data and the lyric data. When the comparison result data embedded in the lyric data is detected, the graphic control unit 11 sends the comparison result data to the television monitor 13 via the video control unit 12 and sends it to the background video. Display comparison results for lyrics.
[0044]
Further, when reproducing the music data in which the comparison result data is embedded in the performance data, when an instruction to delete (invalidate) music is input from the front panel 9 or the remote controller 10, the CPU 2 controls the audio control unit 15 to perform the operation. Is instructed to reproduce the performance data, but the output to the tone generator board 16 is stopped, and the graphic controller 11 is caused to reproduce the background video data and the lyrics data.
[0045]
Then, the audio control unit 15 reproduces the performance data and outputs the result data to the graphic control unit 11 when the comparison result data is detected. On the other hand, the graphic control unit 11 reproduces the background video data and the lyric data. When the comparison result data is received from the audio control unit 15, the graphic control unit 11 sends the comparison result data to the TV monitor 13 via the video control unit 12 and converts it into the lyrics in the background video. The comparison result is displayed.
[0046]
In this way, when singing repeatedly while confirming the comparison results in the lyrics using the microphone, the user can hear only his own singing voice without being distracted by the performance music, The pitch and tempo can be adjusted easily.
[0047]
Next, when reproducing the music data in which the comparison result data is embedded, when an instruction to output a guidance voice is input from the control panel 9 or the remote controller 10, the CPU 2 synchronizes with the progress of the music. Instead of displaying the comparison result based on the singing instruction voice based on the singing instruction data corresponding to the comparison result data stored in the HDD 25 is output.
[0048]
First, when comparison result data is detected by the graphic control unit 11 or the audio control unit 15, singing instruction data corresponding to the comparison result data is read from the HDD 25 and output to the audio control unit 15.
Upon receiving the singing instruction data, the audio control unit 15 sends the singing instruction data to the sound source board 16, and the sound source board 16 generates a singing instruction sound based on the singing instruction data and outputs it to the speaker 14 via the amplifier 17.
[0049]
For example, the singing guidance data corresponding to the comparison result data in the HDD 25 is “singing voice is too low”, “pitch is too low”, “pitch is too high”, “tempo is too fast”, “tempo is too slow”, etc. PCM data is registered, and the comparison result data is detected and reproduced in synchronization with the reproduction of the music.
If the PCM data is reproduced at a timing slightly earlier than the singing point, the user can hear the singing instruction before singing, and can sing correctly according to the singing instruction.
[0050]
In this way, when the user sings the song that was sung the first time, the user can receive specific instruction for improvement by voice at the place where the comparison result was bad, and it is easy to correct the part that was bad. Become.
[0051]
Next, when reproducing the music data in which the comparison result data is embedded, if an instruction to repeat the worst part of the comparison result is input from the control panel 9 or the remote controller 10, the CPU 2 displays the graphic control unit 11 or the audio. The control unit 15 is instructed to search a section of a page or measure in which the worst comparison result is embedded, and the graphic control unit 11 or the audio control unit 15 has a section having the worst comparison result from the data of one song. Is detected, and the section is repeatedly reproduced when the music data is reproduced. Further, only the section may be repeatedly played with the start of playback.
[0052]
In this way, the user can repeatedly sing and practice the portion where the comparison result when the first singing was bad is repeated during the second and subsequent singing.
[0053]
In the above processing, the comparison result data recorded at the time of the first singing is used after the second time. However, the comparison result data in the song data is deleted or rewritten after being used several times under the control of the CPU 2. In other words, when you practice singing the same song, the comparison results of the points that have improved over time will not be displayed, and the number of comparison results displayed will gradually decrease as you sing repeatedly, increasing the motivation to practice And singing ability can be improved efficiently.
[0054]
Moreover, although the case of the communication karaoke apparatus was demonstrated in the above-mentioned Example, it can implement similarly in the personal computer and the karaoke apparatus which can reproduce | regenerate and output karaoke music.
[0055]
【The invention's effect】
As described above, according to the music performance device of the present invention, the user can sing again while specifically confirming which part should be sung after the singing, so that the singing ability can be achieved in a short time. Can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a communication karaoke apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a lyric display example on the television monitor shown in FIG. 1;
3 is a diagram showing an example of a format of lyrics color change timing data in the lyrics data shown in FIG. 2. FIG.
FIG. 4 is a diagram showing a format example when comparison result data is embedded in performance data and a format example when scoring data is embedded in lyrics data.
FIG. 5 is a diagram showing a display example of comparison results on the television monitor shown in FIG. 1;
[Explanation of symbols]
1: System bus 2: CPU
3: ROM 4: RAM
5: DMAC 6: INTC
7: Timer (TIMER)
8, 22: Serial interface (SERIAL I / F)
9: Control panel 10: Remote control 11: Graphic control unit 12: Video (VIDEO) control unit 13: Television monitor 14: Speaker 15: Audio (AUDIO) control unit 16: Sound source board 17: Amplifier 18: Microphone 19: Communication control unit 20: ISDN interface (ISDN / I / F)
21: ISDN 23: VCD player 24: Scuzzy interface (SCSI / I / F)
25: Hard disk device (HDD)

Claims

A music performance device comprising storage means, music playback means, display control means, and control means,
The storage means stores a plurality of song data,
The song data includes performance data including melody data and lyrics data,
The music reproduction means reproduces the performance data according to the control of the control means,
The display control means performs display on the display means according to the control of the control means,
The control means enables a comparison process and a confirmation process,
In the comparison process, the performance data of the selected song data is played back by the music playback means, the lyrics data of the song data is played back and displayed on the display control means, and the melody data being played and the microphone are input from the microphone Compared with the audio data, the comparison result data indicating the pitch and tempo deviation is embedded in the corresponding part of the song data,
In the confirmation process, when comparison result data indicating pitch and tempo deviation is embedded in the selected song data, the lyrics data of the song data is reproduced and displayed on the display control means, and the song data A music performance apparatus, characterized in that a pitch shift of comparison result data embedded therein is displayed in association with lyrics by a single arrow representing a vertical shift and a tempo shift in a horizontal direction .

2. The music according to claim 1 , wherein the audio data and the melody data in the comparison process include a volume shift due to the comparison, and the confirmation process expresses the volume shift in the comparison result data with an arrow color. Performance device.

3. The music performance apparatus according to claim 1 , wherein the confirmation process enables selection of whether or not the music reproduction means reproduces the performance data of the selected song data in accordance with a user input .

The music performance device according to any one of claims 1 to 3, wherein the confirmation processing reproduces a portion of the music data having the worst comparison result data .