JP3949544B2 - 歌声ピッチの誤差をバーグラフに表示するカラオケ装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、カラオケ装置において、歌唱中に正しく歌えなかった箇所を歌唱者に逐次指摘する歌唱練習支援システムに関する。
【０００２】
【発明の背景】
カラオケ装置において、歌唱練習を支援するための特別なシステムを備えたものがある。周知の歌唱採点機能も歌唱練習支援システムの一つと言えるが、演奏終了後に採点結果だけが表示されるのでは、どこがどのようにうまく歌えなかったのかがわからない。特許３０５０１２９号公報や特開２０００−２９４７３号公報には、歌唱状態の判定結果を歌詞表示の形状や色を変化させてカラオケ演奏中に逐次歌唱者に提示する歌唱練習システムについての技術が開示されている。確かに、これらの技術によれば、歌唱中にほぼリアルタイムでうまく歌えなかった箇所がその都度指摘されるので、どの箇所が正しく歌えなかったのかを知ることができる。しかし、同じ曲を再度歌唱するときには、どの箇所がどのように歌えなかったのかを正確に覚えておかなければ、同じところで同じような失敗を犯す可能性が高い。
【０００３】
【発明の開示】
この発明に係るカラオケ装置は、分説すると、つぎの事項（１）〜（10）により特定されるものである。
（１）ピッチ誤差計測手段と、制御手段と、演奏手段と、表示手段と、記憶手段を備えたカラオケ装置であること
（２）ピッチ誤差計測手段は、演奏手段によりカラオケデータに基づく伴奏音楽が出力されている期間において、歌唱者の歌声信号ピッチと、カラオケデータ中の主旋律ピッチとを逐次比較してピッチ誤差時系列データを逐次出力すること
（３）制御手段は、初回演奏モードと、再演奏モードを可能とすること
（４）初回演奏モードは、リクエスト曲のカラオケデータを演奏手段に演奏させるとともに、カラオケデータ中の歌詞描出データに基づいて表示手段に歌詞字幕を表示させ、かつ、第１〜第３処理を行うこと
（５）第１処理は、多数の縦長の微少セグメントを横に連ねた横長のバーグラフを表示手段に表示させ、バーグラフの全長をリクエスト曲の演奏期間に対応付けし、演奏期間を細分した各微少期間を各微少セグメントに順番に割り当てること
（６）第２処理は、ピッチ誤差計測手段が逐次出力するピッチ誤差時系列データを前記微少期間ごとに数値化し、当該数値に基づいて表示色を決定し、当該微少期間に割り当てられた微少セグメントを当該色に着色させること
（７）第３処理は、リクエスト曲の演奏終了時におけるバーグラフの着色情報を記憶手段に格納すること
（８）再演奏モードは、前記リクエスト曲のカラオケデータを演奏手段に演奏させるとともに、カラオケデータ中の歌詞描出データに基づいて表示手段に歌詞字幕を表示させ、かつ、第４〜第５処理を行うこと
（９）第４処理は、演奏開始に際して記憶手段からバーグラフ着色情報を読み出し、当該情報に基づいて着色されたバーグラフを表示手段に表示させること
（10）第５処理は、ピッチ誤差計測手段が逐次出力するピッチ誤差時系列データを前記微少期間ごとに数値化し、当該数値に基づいて表示色を決定し、当該微少期間に割り当てられた微少セグメントの色を当該色に変更させること
【０００５】
【発明の実施の形態】
＝＝＝カラオケ装置の基本的な構成と動作＝＝＝
この発明の一実施例によるカラオケ装置の機能ブロック図を図１に示す。このカラオケ装置１は周知の通信カラオケシステムの演奏端末とほぼ同様の構成である。中央制御部１１は、各周辺構成部を制御してこのカラオケ装置１を統括し、ハードディスク装置１２には多数のカラオケ楽曲について、ＭＩＤＩデータを主体とした伴奏音楽データと、歌詞画像の生成起源となる歌詞描出データとを含むカラオケデータが蓄積されている。歌詞描出データは歌詞文字、歌詞文字列の表示／消去タイミング、表示した文字列において歌唱タイミングにある文字を色変えていくための指示情報などを含んでいる。また、曲目やアーティスト名などの目次情報や標準テンポ（１分間当たりの拍数）とその標準テンポで演奏したときの演奏時間などもカラオケデータに含まれている。さらにハードディスク装置１２には、所定形式の長時間分の動画データと、動画データの処理シーケンス（処理すべき動画データの格納場所と処理順番など）を規定した台本データも格納されている。そして、中央制御部１１は、各楽曲のカラオケデータと台本データとを楽曲番号によって識別し、これをカラオケデータベースとして管理している。なお、中央制御部１１は、通信制御部２３を介して所定の情報通信網に接続されているホスト装置と適時に通信し、新譜楽曲についてのカラオケデータや台本データなどを取り寄せ、カラオケデータベースの内容を随時更新している。
【０００６】
中央制御部１１は、カラオケ装置１本体に配設されている操作パネル１４やリモコン送信器１３から楽曲番号を含んだ演奏予約コマンドを操作制御部１５を介して受け付けると、その番号を内部のＲＡＭに格納して演奏処理の待ち行列で管理する。そして、待ち行列から楽曲番号を順次取り出し、該当のカラオケデータをハードディスク装置１２より読み出し、このカラオケデータ中の伴奏音楽データをシンセサイザ１６に転送して伴奏音楽を生成させ、歌詞描出データに基づいて伴奏音楽に同期して歌唱すべき箇所が色変わりする歌詞画像をビデオＲＡＭ２０に順次ビットマップ展開していく。また、台本データに基づいて所定の動画データを所定の順番で映像制御部２１に順次転送して歌詞画像の背景動画を復号させる。
【０００７】
ミキシングアンプ１７は伴奏音楽とマイクロホン１９に入力された歌唱音声とを混合・増幅してスピーカ１８より音響出力する。映像制御部２１は、復号した動画映像に歌詞画像をスーパーインポーズ処理してディスプレイ２２に表示出力する。
【０００８】
＝＝＝歌唱練習支援システム＝＝＝
カラオケ装置１は、以上の基本構成に加え、カラオケ楽曲の歌唱練習を支援するためのシステムが実装されている。本実施例の歌唱練習支援システムは、楽曲演奏時に歌唱状況を分析してその分析結果をリアルタイムで歌唱者に提示する歌唱分析モードと、その楽曲の再演奏時に前回演奏時の歌唱状況と、この再演奏時における歌唱状況の分析結果とを並行して提示する歌唱練習モードとによってカラオケ装置を動作させるようになっている。そして、この歌唱練習支援システムを実現する具体的なハードウエアとして、カラオケ装置１には、ピッチ計測部３０が実装されている。なお前記の各モードは、操作パネル１４やリモコン送信器１３から楽曲番号入力に続いていずれかのモードを起動する旨の所定の操作情報を入力することで、その楽曲の演奏時に起動されるようになっている。
【０００９】
＝＝＝歌唱分析モード＝＝＝
まず、歌唱分析モードについて説明する。中央制御部１１は、１拍ごとに伴奏音楽のピッチ（ピッチ基準値）を求め、ピッチ計測部３０がこのピッチ基準値と歌声ピッチとを比較してその誤差情報を出力する。図２にピッチ誤差計測方式についての概念図を示した。中央制御部１１は、１拍中に発音される伴奏音が複数あれば、その複数の伴奏音の音長とピッチＰ１に基づいてピッチ基準値Ｐ２を取得している。たとえば、１拍中に３連符があれば、各伴奏音は、同じ音長でピッチだけが異なり、３つの音符の平均値をピッチ基準値Ｐ２としてピッチ計測部３０に与える。また、１拍中に音長が異なる複数の音符が組み合わされている場合には、それぞれの音長に応じた加重平均をとるようにしている。たとえば、一拍中に八分音符の「ド」が１つと十六分音符の「ミ」が２つの計３つの音符があれば、これらの音符は、十六分音符の「ド」が２つと十六分音符の「ミ」が２つの計４つの音符として置き換えられ、この四つの音符の平均を取ってピッチ基準値「レ」が得られる。中央制御部１１は、このように順次求めたピッチ基準値をその拍子に同期してピッチ計測部３０に転送していく。
【００１０】
図３にピッチ計測部３０の機能ブロック図を示した。ピッチ計測部３０は、専用のＤＳＰ３１を主体としてＡ／Ｄコンバータ３２や中央制御部１１との通信インタフェース３３などを含んで構成されている。ピッチ計測部３０では、まず、Ａ／Ｄコンバータ３２がマイクロホン１９から入力される歌唱音声信号をサンプリングしてデジタル歌声データに変換し、ＤＳＰ３１がこの歌声データから歌声ピッチＰ３を抽出する。なお、本実施例におけるサンプリングは１拍あたり１０回であり、中央制御部１１が演奏楽曲のカラオケデータに記載されているテンポ情報をピッチ計測部３０のＤＳＰ３１に与え、ＤＳＰ３１は、このテンポ情報から求められるサンプリング周期を計算し、Ａ／Ｄコンバータ３２はこの周期ごとに歌唱音声をサンプリングする。たとえば、テンポが１２０であれば、１拍が５００ｍｓであり、サンプリング周期は５０ｍｓとなる。
【００１１】
ＤＳＰ３１は、１拍ごとに中央制御部１１から転送されてくるピッチ基準値Ｐ２とこの１拍中に得られる１０回分の歌声ピッチＰ３の平均値Ｐ４とを比較し、その比較結果としてセントを単位としたピッチ誤差ΔＰを中央制御部１１に転送する。なお歌唱者が歌いそびれるなどして、たとえば、１拍中１０回のサンプリング機会で５回以上歌唱ピッチを特定できない場合、ＤＳＰ３１はこの拍についのピッチ誤差情報を出力しないようにしている。中央制御部１１は、ピッチ計測部３０から転送されてくるピッチ誤差情報を演奏開始からの累積拍数に対応付けして記録していく。ピッチ誤差情報が出力されなかった拍についてはデータなしの旨の情報を対応付けして記録する。
【００１２】
中央制御部１１は、ピッチ誤差情報を記録していく処理に並行して、この誤差情報をバーグラフによって表示する制御も行う。図４にこのバーグラフの表示状態を示した。微少セグメント４１を左右に帯状に連ねたバーグラフ４０がディスプレイ２２に歌詞文字４２と重ならないように表示されている。この例では３０個の微少セグメント４１によってバーグラフ４０が形成されている。たとえば、ディスプレイ２２の左右７２０ドットにバーグラフの全長を表示すれば、各微少セグメントは左右方向に２４ドットが割り当てられることになる。また、このバーグラフ４０は演奏時間時軸を示しており、中央制御部１１は、各微少セグメント４１に対応する微少時間ごとに記録したピッチ誤差情報に基づいて、各セグメント４１の色が次々と変化するような画像を歌詞画像ととともにビデオＲＡＭ２０にビットマップ展開していく。
【００１３】
中央制御部１１は、まず、演奏楽曲の総拍数をバーグラフの全長に対応付けして各微少セグメントに割り当てる拍数を算出する。たとえば、テンポ１２０（１２０拍／分）で３分３０秒の曲であれば、総拍数は４２０拍となり、総拍数を微少セグメント数で除算して各セグメントには１４拍を割り当てる。以下、この総拍数４２０の楽曲を例に挙げてバーグラフ４０の表示制御方式を説明する。
【００１４】
中央制御部１１は、演奏の進行に伴ってピッチ計測部３０から転送されてくる１拍ごとのピッチ誤差情報に基づいて歌唱の正しさを４段階で評価し、さらに、１４拍分の評価結果の内訳に応じて合否を判定する。図５（Ａ）（Ｂ）にピッチ誤差情報と評価との対応関係と、１４拍分のピッチ誤差情報の内訳と合否の対応関係とを示した。１拍ごとに「ノーミス」「小ミス」「中ミス」「大ミス」の４段階評価を行い、１４拍分の評価の内訳に応じて「優秀」「合格」「不合格」の３段階で合否判定を行っている。
【００１５】
中央制御部１１は、演奏開始時点で全ての微少セグメント４１を同じ色に着色するとともに、４段階評価を１４拍分取得した時点で３つの合否判定結果に応じた色で該当の微少セグメント４１ａ〜４１ｃを着色する。なお、演奏時系列上で主旋律が存在しない期間を非歌唱期間として認知し、この期間に相当する微少セグメント４１ｄについては所定の色に着色する。また、ピッチ誤差情報がない拍が１４拍中に所定以上含まれる場合には合否判定不能とし、この判定不能に対応する微少セグメント４１ｅについても所定の色に着色してその旨を提示するようにしている。１４拍分のピッチ誤差情報を取得している最中で現在演奏中に相当する微少セグメントの上にカーソル（▼マーク）４４を表示するとともに、その微少セグメント４１ｆも所定の色に着色する。未演奏部分の微少セグメント４１ｇは初期状態の色のままとなっている。
【００１６】
中央制御部１１は、楽曲演奏が終了すると、１４拍ごとの評価結果に応じた色に着色された微少セグメント４１ａ〜４１ｅを連ねた最終的なバーグラフ４０を表示するとともに、全演奏時間を通じて記録された各拍のピッチ誤差情報を集約して１００点満点の総合得点をディスプレイ２２に表示する。図６にこの演奏終了後の表示画面の概略図を示した。本実施例では、歌唱区間を１００％として「優秀」および「合格」の判定結果が得られた微少セグメントの割合に応じて総合得点を算出している。また１００点を上限として、判定結果が「優秀」となった微少セグメントの数をそのまま得点に加算している。もちろん、全ての拍についての４段階評価の内訳に応じて総合得点を算出したり、各拍のピッチ誤差情報の平均値を総合得点にしたりするなど、総合得点の計算については適宜なアルゴリズムが採用できる。
【００１７】
＝＝＝歌唱練習モード＝＝＝
中央制御部１１は、演奏終了後の得点表示画面に同じ曲を再演奏させて歌唱練習をするかどうかを利用者に問い合わせるメッセージを表示する。ここで、利用者が再演奏する旨を指示する旨の操作を行うと、待ち行列の先頭にこの楽曲の番号が登録され、同じ楽曲が歌唱練習モードによって再演奏される。もちろん、待ち行列の最後に該当の楽曲番号を登録するようにしてもよい。
【００１８】
歌唱練習モードでは、再演奏の開始時点で前回の演奏終了時点におけるバーグラフを表示する。そして、再演奏時にも上記歌唱分析モードと同様にして再度拍数ごとのピッチ誤差情報に基づく微少セグメントの着色制御を行い、表示中のバーグラフの微少セグメントを上書きしていく。それによって利用者は、演奏時間軸上でどの時点が不合格だったのかを再演奏開始前に把握できるとともに、前回不合格だったセグメントが今回合格に変わったかどうかを確認しながら歌唱することができる。
【００１９】
また、前回演奏時に記録した累積拍数とピッチ誤差情報との対応関係と、演奏時系列と歌詞文字との対応関係とに基づいて、各歌詞文字に対応する累積拍数時点にて記録されているピッチ誤差情報を取得し、その誤差情報についての示唆を該当する文字やその近傍に表示している。図７に歌唱練習モードにおけるバーグラフや示唆情報の表示状態を示した。この例では、着色済みの微少セグメント４１ａ〜４１ｅが再演奏時の合否判定結果に基づいて上書きされていく際、演奏中にある微少セグメント４１ｆについては歌唱分析モードのときと同様に所定の色によって着色したり、その微少セグメントの上にカーソル４４を表示したりして、前回と今回とでどの微少セグメントの判定結果がどのように変わったのかが確認し易いようにしている。また、前回演奏時に記録した拍ごとの４段階評価のうち「小ミス」「中ミス」「大ミス」の示唆を、大きさと色の異なる円４３ａ〜４３ｃを該当する歌詞文字４２の上方に表示している。歌唱者は、この示唆によって事前に不合格だった箇所を確認し、その箇所を歌唱する前に心の準備をすることができる。なお、歌唱練習モードにおいても、再演奏の終了時にこの演奏において記録された最終的なバーグラフ、総合得点、歌唱練習を再度行うかどうかを問うメッセージを表示することとしている。
【００２０】
示唆情報は、ピッチ基準値に対する歌声ピッチの高低など、より詳細な情報であってもよい。示唆情報の表示形態についても、円などの図案に限らず、吹き出しなどによってアドバイスを文字表示したり、歌詞文字自体の色・大きさ・フォントなどを変えて表示したりしてもよい。
【００２１】
＝＝＝バーグラフの表示制御＝＝＝
バーグラフの全長を総拍数に応じて可変にしてもよい。たとえば、ディスプレイの仕様として左右方向に７６８ドット表示でき、一つの微少セグメントに左右４ドットを割り当てれば、一画面中で最大１９２のセグメントを表示できる。総拍数がこの１９２以下であれば、一つのセグメントに一つの拍を割り当てることができ、バーグラフの全長は総拍数に依存する。
【００２２】
総拍数が１９２よりも多い楽曲であっても、一つの微少セグメントに割り当てる拍数を２・３・４…とすれば、それぞれ、最大で３８４・５７８・７６８…までの総拍数の楽曲に対応させることができ、この場合も総拍数に応じてバーグラフの全長が決まる。
【００２３】
＝＝＝微少セグメントの表示制御＝＝＝
微少セグメントには合否の判定結果に限らず、微少セグメント当たりのピッチ誤差情報の平均値など、より詳しい情報を表示するようにしてもよい。なお視覚効果として微少セグメントの色を変化させるのであれば、詳細な情報に応じてより多くの色を使ってそのセグメントを色分けすればよい。
【００２４】
着色に限らず、セグメント内に所定の図案を表示したり、セグメントの形や大きさを変えたりするなど、微少セグメントを表示するにあたり、適宜な視覚効果を採用することができる。もちろん、誤差情報平均値など、数値自体をセグメント内に表示するようにしてもよい。
【００２５】
＝＝＝ピッチ誤差値に応じた評価＝＝＝
上記実施例では、ピッチ誤差情報に応じた評価が一義的に決定されていた。この例に限らず、ピッチ誤差情報と段階的な評価との対応関係を利用者の指示に従って可変設定できる構成としてもよい。すなわち合格点がもらえる難易度を設定できるようにしていおいてもよい。図８にその難易度に応じたピッチ誤差情報と評価結果との対応関係を示した。難易度が上がるにつれて、評価が厳しくなっている。
【００２６】
＝＝＝歌唱練習モードのユーザインタフェース＝＝＝
前回演奏時に不合格だった箇所を優先して演奏するようにしてもよい。たとえば、再演奏時には、不合格箇所部分を順次スキップしながら演奏するようにしたり、利用者入力に従って不合格箇所を頭出しして演奏したりするなど、適宜な演奏制御方式を採用できる。
【００２７】
また、利用者入力によってカーソルを微少セグメント単位で左右に移動するなど、利用者に不合格箇所を指定させるようにすれば、頭出し箇所を利用者側で設定することができる。あるいは、同じ不合格箇所でも、最低評価となった拍が含まれる箇所についてのみ頭出しするなど、不合格の程度などを指定することで頭出し箇所を利用者が設定できるようにしてもよい。
【００２８】
歌唱練習モード時では、前回不合格だった箇所のみを採点対象としてバーグラフを上書きしていくようにしてもよい。また、このように不合格だった箇所のみを採点対象とする場合、練習するごとに総合得点があがっていくため、練習回数に応じて総合得点を減点していくような構成とすることも可能である。
【００２９】
【発明の効果】
本発明の歌唱練習支援システムによれば、楽曲の全演奏時間を通じてどの箇所がどの程度うまく歌えなかったのかを把握することができる。
【図面の簡単な説明】
【図１】本発明の実施例におけるカラオケ装置の機能ブロック図である。
【図２】上記カラオケ装置における歌唱練習支援システムによるピッチ計測方式の原理概念図である。
【図３】上記カラオケ装置に実装されているピッチ計測部の機能ブロック図である。
【図４】上記カラオケ装置が歌唱分析モードで動作しているときのディスプレイに表示される画面の概略図である。
【図５】上記ピッチ計測部が１拍ごとに出力するピッチ誤差情報と歌唱評価との対応関係図（Ａ）と、所定拍数ごとの歌唱評価の内訳と合否判定結果との対応関係図（Ｂ）である。
【図６】上記歌唱分析モードによる楽曲演奏の終了時にディスプレイに表示される画面概略図である。
【図７】上記カラオケ装置が歌唱練習モードで動作しているときのディスプレイに表示される画面の概略図である。
【図８】利用者により難易度が設定できる実施形態において、上記ピッチ計測部が１拍ごとに出力するピッチ誤差情報と歌唱評価との対応関係図を示している。
【符号の説明】
１ カラオケ装置
１１ 中央制御部
１２ ハードディスク装置
１９ マイクロホン
２２ ディスプレイ
３０ ピッチ計測部
４０ バーグラフ
４１、４１ａ〜４１ｆ 微少セグメント
４２ 歌詞文字列
４３ａ〜４３ｃ ピッチ誤差情報示唆図案

Claims (1)

1. ピッチ誤差計測手段と、制御手段と、演奏手段と、表示手段と、記憶手段を備えたカラオケ装置であって、
   ピッチ誤差計測手段は、演奏手段によりカラオケデータに基づく伴奏音楽が出力されている期間において、歌唱者の歌声信号ピッチと、カラオケデータ中の主旋律ピッチとを逐次比較してピッチ誤差時系列データを逐次出力し、
   制御手段は、初回演奏モードと、再演奏モードを可能とし、
   初回演奏モードは、リクエスト曲のカラオケデータを演奏手段に演奏させるとともに、カラオケデータ中の歌詞描出データに基づいて表示手段に歌詞字幕を表示させ、かつ、第１〜第３処理を行い、
   第１処理は、多数の縦長の微少セグメントを横に連ねた横長のバーグラフを表示手段に表示させ、バーグラフの全長をリクエスト曲の演奏期間に対応付けし、演奏期間を細分した各微少期間を各微少セグメントに順番に割り当て、
   第２処理は、ピッチ誤差計測手段が逐次出力するピッチ誤差時系列データを前記微少期間ごとに数値化し、当該数値に基づいて表示色を決定し、当該微少期間に割り当てられた微少セグメントを当該色に着色させ、
   第３処理は、リクエスト曲の演奏終了時におけるバーグラフの着色情報を記憶手段に格納し、
   再演奏モードは、前記リクエスト曲のカラオケデータを演奏手段に演奏させるとともに、カラオケデータ中の歌詞描出データに基づいて表示手段に歌詞字幕を表示させ、かつ、第４〜第５処理を行い、
   第４処理は、演奏開始に際して記憶手段からバーグラフ着色情報を読み出し、当該情報に基づいて着色されたバーグラフを表示手段に表示させ、
   第５処理は、ピッチ誤差計測手段が逐次出力するピッチ誤差時系列データを前記微少期間ごとに数値化し、当該数値に基づいて表示色を決定し、当該微少期間に割り当てられた微少セグメントの色を当該色に変更させる
   カラオケ装置。

Images