JP4553013B2

JP4553013B2 - カラオケ装置

Info

Publication number: JP4553013B2
Application number: JP2008006025A
Authority: JP
Inventors: 幸成安間
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2008-01-15
Filing date: 2008-01-15
Publication date: 2010-09-29
Anticipated expiration: 2022-12-26
Also published as: JP2008146092A

Description

本発明は、歌唱者の歌唱の巧拙を判定することのできるカラオケ装置に関する。

カラオケ演奏に従って発音される歌唱者の音声に対し評価を行い、採点結果を表示する機能を具備したカラオケ装置が実用化されている。一般にこの種のカラオケ装置においては、カラオケの楽曲データに含まれ、歌唱の基準となる、ＭＩＤＩ（Musical Instrument Digital Interface：登録商標）フォーマットによるガイドメロディデータから抽出される音程、音長（各音符の長さ）、ピッチなどの要素と、歌唱者の音声をデジタル化した歌唱音声データから抽出される各要素との間で比較を行い、そのずれの程度で評価する評価方法を採っている。結果として得られるのは、楽曲全体を通した得点、または得点をもとに算出される順位や偏差値等である（例えば、特許文献１参照）。

特開２００２−２２１９７３号公報

しかしこうした評価方法では、曲全体の巧拙が得点により示されるものの、歌唱者が具体的にどの部分で評価を落としているのかは不明で、どの部分を改善することにより得点が向上するのかを知ることは困難である。

本発明は、このような背景の下になされたもので、歌唱者に必要な部分について歌唱力向上の示唆を与えるカラオケ装置の提供を目的としている。

本発明に係るカラオケ装置は、楽曲を表す楽曲データに基づいて自動演奏を行うカラオケ装置において、歌唱者の音声を歌唱音声データに変換する変換手段と、前記楽曲を所定の区間に区切り、区間毎に前記歌唱音声データを記憶する歌唱音声データ記憶手段と、前記歌唱音声データについて、前記区間毎に第１の評価方法で評価を行う第１の評価手段と、前記歌唱音声データについて、前記区間毎に第２の評価方法で評価を行う第２の評価手段と、前記第１および第２の評価手段による評価を告知する告知手段であって、前記楽曲の開始から終了までの長さを所定の部分で区切って表示するとともに、前記第１および第２の評価手段による評価を前記部分毎に表示する告知手段とを具備し、前記告知手段は、その告知する評価結果に対して前記第１または第２の評価手段による評価が寄与する比率に応じて異なるメッセージを選択的に告知することを特徴とする。

本発明によれば、歌唱者に対して必要な部分について歌唱力向上の示唆を与えることが可能となる。

以下、図面を参照して、本発明の実施形態について説明する。

＜実施形態の構成＞
図１は本発明の一実施形態の外観を示す図である。同図において、１はカラオケ装置本体である。カラオケ装置本体１の上にはモニタ２、左右にはスピーカ３，３、そしてマイク４が接続されている。５はリモコン端末で、赤外線によりカラオケ装置本体１の遠隔操作を行う装置である。

図２はカラオケ装置本体１の電気的構成を示すブロック図であり、以下に各部を概説する。

ＣＰＵ（Central Processing Unit）１１は、ＲＡＭ（Random Access Memory）１３をワークエリアとして利用し、ＲＯＭ（Read Only Memory）１２に格納されている各種プログラムを実行することで装置各部を制御する。また、ＲＡＭ１３内部にはＭＩＤＩデータを一時記憶するＭＩＤＩバッファが含まれる。

通信Ｉ／Ｆ（インタフェース）１５は、楽曲データの配信元であるホストコンピュータ６より楽曲データを受信し、ＣＰＵ１１の制御のもとＨＤＤ（Hard Disk Drive）１４へと転送する。また、ＤＭＡ（Direct Memory Access）によるＨＤＤ１４へのデータ転送も可能である。楽曲データには、楽曲に関する種々の情報、例えば曲番号、曲名、ジャンル、発売日、曲の演奏時間等のデータを格納したヘッダと、複数のトラックに分割された当該楽曲の演奏音を示す演奏データと、歌詞を示す歌詞データとが含まれる。また、演奏データには楽曲のメロディを示すガイドメロディデータも含まれる。

ＨＤＤ１４は楽曲データ、採点データ、およびマイク４より入力された歌唱音声のデジタルデータを記憶する。採点データとは、ＣＰＵ１１により実行される採点プログラムにより得られる歌唱者の歌唱音声を採点した結果を示すデータである。

マイク４より入力された歌唱者の歌唱音声は、アンプ２１を介してスピーカ３，３より出力される。また、歌唱音声は音声処理用ＤＳＰ２０によりＡ／Ｄ変換され、歌唱音声データとして採点処理に用いられる他、上述のようにＨＤＤ１４に記憶される。

操作部１６は、カラオケ装置本体１にある操作パネルまたはリモコン端末５への入力操作により発せられる信号を検出し、この検出結果をＣＰＵ１１へ出力する。

表示制御部１７は映像データや歌詞字幕、採点結果をモニタ２に表示させるための制御を行う。

音源装置１８はＣＰＵ１１より出力される楽曲データに対応する楽音信号を合成し、合成した信号はカラオケ演奏音として効果用ＤＳＰ１９へ出力する。

効果用ＤＳＰ１９は、音源装置１８で生成されたカラオケ演奏音に対してリバーブやエコー等の効果を付与する。効果を付与されたカラオケ演奏音は、効果用ＤＳＰ１９によってＤ／Ａ変換され、アンプ２１でマイク４より入力された歌唱音声と合成・増幅されてスピーカ３，３へと出力される。

＜実施形態の動作＞
次に、上記構成からなるカラオケ装置の動作を説明する。

まず、利用者が操作部１６に対し楽曲指定操作を行うと、指定された楽曲の楽曲データがＲＡＭ１３のＭＩＤＩバッファへ転送され、この転送された楽曲データをＣＰＵ１１が順次読み出し処理を行うことで、当該楽曲の再生が開始される。ＣＰＵ１１は楽曲の開始時に楽曲の演奏時間を楽曲データのヘッダより取得し、楽曲全体をある個数（本実施形態では３０である）のブロックに分割する（図３ａ参照）。ＣＰＵ１１は各ブロックＢ_n（ｎ＝１，２，３，…，３０）の開始時刻Ｔ_n（ｎ＝１，２，３，…，３０）を管理する。

歌唱者が歌唱を開始すると、楽曲の再生と並行して歌唱者の歌唱音声信号がマイク４より入力され、音声処理用ＤＳＰ２０に入力される。音声処理用ＤＳＰ２０は、入力された歌唱音声信号をＡ／Ｄ変換し、Ａ／Ｄ変換された歌唱音声データは、ブロック単位でＨＤＤ１４に記憶される。

一方、ＲＡＭ１３のＭＩＤＩバッファより順次読み出される楽曲データ中のガイドメロディデータに基づき、音源装置１８によって所定の音色の信号が生成され、これによりメロディ音が発音され、歌唱中に歌唱すべきメロディが不確かな部分があれば、歌唱者は必要に応じてこのメロディ音を聞いて確認することができる。また、本実施形態においては、ガイドメロディデータと歌唱音声データとに対し音声処理用ＤＳＰ２０が比較・評価処理を行うことにより、得点が求められる。本実施形態における得点の算出処理は以下の通りである。

ガイドメロディデータと歌唱音声データとに基づき、音声処理用ＤＳＰ２０は音程と音長とに関する情報をそれぞれ抽出し、各々比較を行う。ガイドメロディデータから抽出される音程データおよび音長データを、以後リファレンスデータと呼ぶ。音程および音長に関する比較処理のフローチャートを、図４に示す。図５には歌唱者のガイドメロディと歌唱音声とを楽譜にて例示する。

まず、リファレンスデータと歌唱音声データの双方が０でない値を持つかどうかを判定する（ステップＳ０１）。ＹＥＳの場合、すなわちこれは本来歌唱すべき部分に歌唱者の歌唱音声データが存在することを意味しており、この場合には音程の差分Ｄを求める（ステップＳ０２）。これは図５において、ガイドメロディと歌唱音声との双方の音符を示すが、ガイドメロディと歌唱音声とが同じ音階を示していれば差分は０であり、異なる場合に差分が生じる。図５ではＢの部分に差分が生じており、他の部分では差分は０である。

本実施形態では、音程の差異を周波数の尺度ではなく１２音階の尺度により求めるために、差分Ｄの算出においてはＣｅｎｔ（セント）という単位を用いて行い、微小時間Δｔ（本実施形態では５０ｍｓである）単位で算出し、ΔＤとして記憶する。なお、周波数がそれぞれｆ₁，ｆ₂である２音の音程差Ｘ（セント）は、
Ｘ＝１２００×ｌｏｇ₂（ｆ₁／ｆ₂）
で表すことができる。

一方ステップＳ０１において、リファレンスデータと歌唱音声データの少なくとも一方が０でない場合、すなわちリファレンスデータと歌唱音声データの一方のみが０である場合と、両方が０である場合は、ステップＳ０３へと進む。ステップＳ０３では、このいずれであるかを判別する。前者であれば、つまり「本来発音される部分で発音していない（図５中のＡの部分）」または「本来発音されない部分で発音している（図５中のＣの部分）」場合であり、これらを音長の異常と見なし、微小時間Δｔ毎に異常ΔＥに１を記録する（ステップＳ０４）。また、後者であれば発音すべきでない部分で発音していないのだから、これは正常であり、このとき異常ΔＥに０を記録する（ステップＳ０５）。

ステップＳ０２，ステップＳ０４，またはステップＳ０５の処理の後はステップＳ０６に進み、時間Δｔにおける減点量を算出する。この減点量をΔＰ’とすると、
ΔＰ’＝ａΔＤ＋ｂΔＥ
で算出される。ここでａおよびｂは、重み付けのための定数を示しており、それぞれの定数は減点量が妥当な値になるように適宜設定される。なお異常ΔＥは、正常なら０、異常なら１の２値のみをとる。

微小時間Δｔにおける歌唱者の得点ΔＰは、満点（本実施形態では１００とする）から上記の減点量ΔＰ’を減じた値で表される。つまり
ΔＰ＝１００−ΔＰ’
となる。

上記のように求められた得点ΔＰはブロック毎に平均化され、当該ブロックの点数Ｐ_nとして順次ＨＤＤ１４に蓄積記録される。このとき同時に、採点対象となった歌唱者の歌唱音声データを、楽曲の進行と同期してブロック単位でＨＤＤ１４に記録する。これらＨＤＤ１４内部のデータを模式的に示したのが、図６である。音声データは連続的に記録されているが、時刻Ｔ_nが記録されているために容易に所期のブロックの頭出しをすることが可能となっている。

楽曲の再生が終了すると、ＣＰＵ１１で各ブロックの得点Ｐ_nが集計されて、歌唱者のこの曲全体における得点が、モニタ２に例えば図７のように告知され、歌唱のどの部分の評価が相対的に低かったのかが併せて示される。加えて、図７に示したように「自分の歌声を聞いてチェックしてみましょう！！」等のメッセージを表示しても良い。このとき、複数のメッセージをＨＤＤ１４に記憶しておくことで、当該楽曲の採点結果に応じて異なるメッセージを選択的に表示することも可能である。例えば、前記減点量ΔＰ’に対して音程の差異ΔＤと異常ΔＥの寄与する比率を記憶しておけば、音程の差異ΔＤの比率が高い場合には「ＡとＢの部分で音程がズレていましたよ！！」と表示したり、異常ΔＥの比率が高い場合には「ＡとＢの部分で歌うテンポが合っていませんでしたよ！！」と表示したりすることで、利用者により具体的な評価を与えることが可能である。

モニタ２による告知に合わせ、評価の低かったブロックの歌唱音声が再生される。そのためにＣＰＵ１１は、歌唱のブロック毎の得点を求め、また分割した得点の低かった部分の歌唱者の歌唱音声を再生するため、ブロックの抽出を行う。ブロックの抽出は以下のように行う。

まず始めに、抽出すべきブロックを特定するために各ブロックの得点を取得する。本実施形態においては歌唱の評価が低い部分の抽出を行うため、Ｐ_nの値が小さいブロックを抽出する。本実施形態では、閾値Ｐ_tを設定し、閾値Ｐ_tを下回る点数Ｐ_nをすべて抽出している。例えば図３ａにおいては点数Ｐ_a，Ｐ_bがこれに該当する。ただし閾値Ｐ_tを下回る点数Ｐ_nが存在しない場合には、すべての得点Ｐ_nの中から最小となる値を抽出している。このようにして抽出された最小値を以下点数Ｐ_mとする。

点数Ｐ_mが抽出されたら、ＨＤＤ１４に記録されている該当ブロックの時刻Ｔ_mおよび時刻Ｔ_m+1，すなわちブロック演奏の開始時刻と終了時刻の取得を行う。

時刻Ｔ_m，Ｔ_m+1が求められたら、そのブロックに対応するＨＤＤ１４に記憶された歌唱者の歌唱音声データ、および当該ブロックに対応するカラオケ演奏音データに対し再生指示を与える。複数のブロックを再生する場合には時刻Ｔ_mの小さいもの、すなわち楽曲の先頭から順次再生する。図３ｂは２箇所のブロックＢ_a，Ｂ_bの再生を例示した図である。

＜変形例＞
なお、本実施形態においては上述のような評価方法であったが、得点をブロック単位で算出することが可能であれば、評価方法は特に上述の方法に限定されるものではなく、任意の方法で良い。例えば本実施形態においては、歌唱音声の音程成分と音長成分とをリファレンスデータと比較し、双方の評価を合成して採点する評価方法であったが、歌唱音声の音程成分と音長成分のいずれか一方のみをリファレンスデータと評価する方法も考えられる。また、リファレンスデータを用いず、音量が所定の値以上であるかを評価する等の、より単純な評価方法も可能である。更にブロックの定義に関しても、本実施形態では１楽曲を３０等分することによりブロックは定義されたが、勿論これはそれ以外の数で等分割することも可能であり、また、他にも楽曲を小節毎に分割したり、フレーズ毎に分割したりと、様々な方法が考えられる。

また、より娯楽性を高める目的で、本実施形態と同様の手段により、得点の高いブロックを抽出し採点結果の表示時に再生することも可能であり、またこれら双方を再生することも可能である。

告知の方法については、モニタ２を用いて視覚的に告知する方法と、スピーカ３，３を用いて聴覚的に告知する方法とがあり、またそれらを合わせて利用することも可能である。

さらに、音声の再生に際しても、利用者に当該部分をより理解しやすくさせるために、上述のように当該ブロックのみを再生するのではなく、前後の１ないし複数のブロックを連続的に再生しても良い。また開始時には無音から徐々に音量を大きくし（フェードイン）、終了時には徐々に音量を小さくする（フェードアウト）再生方法を採っても良い。また再生箇所が複数存在する場合には、実際の楽曲で再生される順に再生することも、評価結果に基づいてより得点の低いブロックから順に再生することも可能である。
また、上記のようにカラオケ装置側で再生方法を設定するのではなく、例えば再生されるブロックのリストをモニタ２に表示し、リスト中から所望のブロックを利用者がリモコン端末５を用いるなどして再生指示を与えることで、任意の箇所を任意の回数だけ再生することも可能である。

以上説明したように、本発明によれば、歌唱者に必要な部分について、歌唱力向上の示唆を与えることが可能となる。

本発明の一実施形態であるカラオケ装置の全体構成図である。同実施形態におけるカラオケ装置本体を示すブロック図である。（ａ）は同実施形態における歌唱者の歌唱の時間ｔに対する得点Ｐ（ｔ）を例示した図であり、（ｂ）は同実施形態における演奏終了後の採点結果発表時に再生される歌唱者の歌唱音声を例示した図である。同実施形態における歌唱音声データの評価処理を説明するためのフローチャートである。同実施形態におけるガイドメロディと歌唱音声の一部を例示した図である。同カラオケ装置におけるＨＤＤの記録内容の一部を例示した図である。同実施形態における採点結果の表示方法の一例を示した図である。

符号の説明

１…カラオケ装置本体、２…モニタ、３…スピーカ、４…マイク、５…リモコン端末、６…ホストコンピュータ、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＨＤＤ、１５…通信Ｉ／Ｆ、１６…操作部、１７…表示制御部、１８…音源装置、１９…効果用ＤＳＰ、２０…音声処理用ＤＳＰ、２１…アンプ

Claims

楽曲を表す楽曲データに基づいて自動演奏を行うカラオケ装置において、
歌唱者の音声を歌唱音声データに変換する変換手段と、
前記楽曲を所定の区間に区切り、区間毎に前記歌唱音声データを記憶する歌唱音声データ記憶手段と、
前記歌唱音声データについて、前記区間毎に第１の評価方法で評価を行う第１の評価手段と、
前記歌唱音声データについて、前記区間毎に第２の評価方法で評価を行う第２の評価手段と、
前記第１および第２の評価手段による評価を告知する告知手段であって、前記楽曲の開始から終了までの長さを所定の部分で区切って表示するとともに、前記第１および第２の評価手段による評価を前記部分毎に表示する告知手段と
を具備し、
前記告知手段は、
その告知する評価結果に対して前記第１または第２の評価手段による評価が寄与する比率に応じて異なるメッセージを選択的に告知する
ことを特徴とするカラオケ装置。