JP4260232B2 - 歌曲の進行に同期してルビ付きの歌詞字幕をディスプレイに色変え表示させる歌詞字幕データを格納した記録媒体、歌詞字幕表示システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明はカラオケ装置に関するものであり、より具体的にはカラオケ装置の歌詞表示システムにおける歌唱時機指示方法に関するものである。
【０００２】
【従来の技術】
カラオケ装置は、楽曲の歌詞文字列、表示レイアウト、表示シーケンス、歌唱時機指示などの各情報を含んだ歌詞描出データをカラオケ伴奏音楽の出力処理と同期的に処理することで、カラオケ伴奏音楽の進行と同期して歌詞画像を順次生成してディスプレイにスーパーインポーズ表示するグラフィック処理系を備える。歌詞文字列は、適宜なフレーズ毎に区切られた文字群を１単位として処理される。１つの文字群は、通常ディスプレイに表示される横１列分の文字列である。グラフィック処理系は、この文字列をふつう２列分表示して、楽曲の進行に合わせて１列単位あるいは２列単位で順々に表示・消去する。
【０００３】
また、グラフィック処理系は、表示されている文字列において、歌唱時機に該当する文字を歌唱者に指示するための制御も行う。歌唱時機の指示方法としては、歌唱者が発音開始すべきタイミングになると該当する文字の色を変えることによって指示する。この色変え表示は、歌唱者が発音開始すべきタイミングになると該当文字の色を一変させる方法もあるが、歌唱者が伴奏音楽に合わせてさらに歌いやすくするために、表示されている文字が歌唱時機を迎えると、その文字に対応した伴奏音の長さに同期させて１文字を縦割りにして左端から徐々に文字の色をワイプしながら塗りつぶしていく方法が採用される。現在ではこのワイプ方式が歌唱時機指示方法の主流となっている。
【０００４】
【発明が解決しようとする課題】
カラオケ利用者は歌唱する曲を歌詞を含めて完全にマスターしているとは限らないので、伴奏音楽の進行に同期した歌詞表示が必要不可欠である。ワイプ方式による歌唱時機指示方法は、伴奏音楽の進行に同期した速度で文字が左から塗り変わっていくため歌唱者が歌のテンポについていきやすい。しかし、一つの文字に対する伴奏音が長いと塗り変わり途中の状態、すなわち、一つの文字が２つの色の領域に分けられた状態が長く続く。そのため、文字が読みづらくなる。また、塗り変わる面積の変化も認識しづらくなり、かえってテンポに合わせにくくなる。
【０００５】
さらに、歌唱時機に該当する文字にルビが振ってある場合、漢字などの歌詞の主文字列とその文字の上方に振られているルビの文字列が同じ速度で塗り変わっていく。複数の音を１文字の漢字で割り振って、しかも１音ずつが異なる長さで発音されなくてはならない場合が当然想定される。この場合、どちらか一方の文字列の長さを基準にした速度で色変えをしているので、他方の文字列を見て歌唱している人は、発音すべき文字と伴奏音が食い違い、歌うタイミングを逸してしまう。英文などのアルファベットに振られたルビであればその違和感はさらに増大する。英文のアルファベット１文字と日本語（カタカナ）のルビ１文字とは母音以外は１対１の対応がとれていないので、例えば、ルビを見て歌う人に合わせて塗り変え制御が行われているとすれば、英文を見て歌う人が伴奏音楽のテンポに合わせることは至難の業であろう。
【０００６】
そこで本発明は、歌詞表示に従って歌う歌唱者が歌唱時機にある文字をより認識しやすい表現で表示するとともに、ルビが振られた文字に対して主文字とルビのどちらを見ながら歌唱しても容易に伴奏音楽に合わせることができる歌唱時機指示方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
この発明に係る歌詞字幕表示システムは、つぎの事項（11）〜（22）により特定されるものである。
つぎの事項（11）〜（22）により特定される歌詞字幕表示システム。
（11）記録媒体に格納された歌詞字幕データをコンピュータにより処理し、歌曲の進行に同期してルビ付きの歌詞字幕をディスプレイに色変え表示させる歌詞字幕表示システムであること
（12）歌詞字幕データは、複数の本文行情報と、複数のルビ行情報と、表示シーケンス情報を含むこと
（13）本文行情報は、複数の本文文字の各文字コードと、各本文文字の表示位置を規定する本文文字レイアウト情報と、各本文文字の発音タイミング情報を含むこと
（14）ルビ行情報は、複数のルビ文字の各文字コードと、各ルビ文字の表示位置を規定するルビ文字レイアウト情報と、各ルビ文字の発音タイミング情報を含むこと
（15）表示シーケンス情報は、歌曲の進行と同期して各本文行情報および各ルビ行情報を順次表示・消去する順番を規定し、ある本文行情報とあるルビ行情報との組み合わせについて同一の表示消去タイミングを規定すること
（16）同一の表示消去タイミングが規定された本文行情報とルビ行情報の組み合わせにおける本文文字レイアウト情報とルビ文字レイアウト情報は、ルビ付きの歌詞字幕を構成するように規定されること
（17）各本文文字の発音タイミング情報は、歌曲の進行の時系列において、個々の本文文字に対応する音韻を発声開始すべきタイミングと発声終了すべきタイミングを規定すること
（18）各ルビ文字の発音タイミング情報は、歌曲の進行の時系列において、個々のルビ文字に対応する音韻を発声開始すべきタイミングと発声終了すべきタイミングを規定すること
（19）コンピュータは、表示消去処理と、本文行色変え処理と、ルビ行色変え処理を行うこと
（20）表示消去処理は、表示シーケンス情報に基づいて、該当する本文行情報に規定された本文字幕と、該当するルビ行情報に規定されたルビ字幕を待機色にて表示させ、かつ、表示シーケンス情報に基づいて本文字幕とルビ字幕を消去させること
（21）本文行色変え処理は、表示中の本文字幕の各本文文字の１つ１つを、各本文文字の発音タイミング情報に基づいて、発声開始タイミングにて発音開始色に一変させるとともに、発音開始タイミングから発声終了タイミングまでの時間をかけて発音終了色に徐々に色変えすること
（22）ルビ行色変え処理は、表示中のルビ字幕の各ルビ文字の１つ１つを、各ルビ文字の発音タイミング情報に基づいて、発声開始タイミングにて発音開始色に一変させるとともに、発音開始タイミングから発声終了タイミングまでの時間をかけて発音終了色に徐々に色変えすること
【００１３】
【発明の実施の形態】
図１は本発明によるカラオケ装置１における実施例の構成図である。このカラオケ装置１はカラオケ楽曲の伴奏音楽と歌詞画像などからなるカラオケデータがホスト装置４０より通信回線３０を通して適時に配信される通信カラオケシステムの演奏端末となっている。内部にＲＡＭ、ＲＯＭを含むコンピュータ本体である中央制御部１１は、配信されたカラオケデータをモデム２６を介して受け取ってハードディスク装置１２に格納する。そして、操作パネル２３やリモコン送信器２２の送信信号を受け付けるリモコン受信部２４などから利用者の選曲入力を操作制御部２５を介して受け取ると、適宜なカラオケデータをハードディスク装置１２より読み出す。中央制御部１１は、シンセサイザ１３がカラオケデータに含まれるＭＩＤＩ規格でコード化されたオーディオデータに従って伴奏音楽を生成するのに同期させて、歌詞画像を生成するためのグラフィック処理系を制御するとともに、ビデオＣＤチェンジャ２０を制御して、イメージ映像などの動画像が収録されたビデオＣＤから適宜な動画データを再生させる。そして、映像制御部１７を制御して、歌詞画像をこのイメージ映像にスーパーインポーズしてディスプレイ２１に出力させる。
【００１４】
グラフィック処理系は、中央制御部１１を主制御部として、ビデオＲＡＭ１８、カラールックアップテーブル（以下、ＣＬＵＴ）１９、および映像制御部１７などから構成されている色制御処理手段を備えている。色制御処理手段は、これら各構成要素がつぎに示す情報処理を行うことによって歌詞画像の文字の色を制御する。ビデオＲＡＭ１８はディスプレイ２１の各画素に対応したメモリ領域である。歌詞文字のテキストデータがビデオＲＡＭ１８上にビットマップ展開されることでディスプレイ２１に所定の歌詞文字が表示される。表示する文字のカラーデータは、このビデオＲＡＭ１８の各画素に対応したメモリ領域に直接記述しないで、８ビットのデータからなるカラーコードによって表現されている。この８ビットで記述された色、すなわち２５６色分のカラーコードに対応した色はＣＬＵＴ１９に格納されている。ＣＬＵＴ１９は、ＲＧＢの３原色が各８ビット（２５６）ずつの階調レベルをとり得ることで約１６７０万色中から任意の２５６色を同時に格納することができる。カラーデータは表示される色を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色で表すために、ＲＧＢ各色がとり得る０〜２５５の階調レベルで記述している。例えば（Ｒ，Ｇ，Ｂ）＝（２３０，２３０，２３０）などである。ＣＬＵＴ１９に格納される各カラーコードのデータは中央制御部１１により適宜書き替えられる。そして、ＣＬＵＴ１９は、ビデオＲＡＭ１８上の各画素に記述されたカラーコードに応じたＲＧＢ階調レベルをディスプレイ２１に表示するためのアナログＲＧＢ信号に変換して出力する。この信号が映像制御部１７によりビデオＣＤの映像信号と合成されることで、背景映像にスーパーインポーズされた歌詞画像としてディスプレイ２１に表示される。
【００１５】
図２は本実施例における歌詞描出データの構成を示している。伴奏音楽の進行に伴って逐次出力される歌詞文字には、種々のデータが付帯している。頁と行は表示シーケンスであり、伴奏音楽の進行に同期して順次表示・消去される文字群の順番を示している。行は１つの頁内で１行目と２行目に表示される文字群に対応している。
【００１６】
文字番号は歌詞文字１つ１つに割り振られた通し番号である。文字番号で指定された歌詞文字にはそれぞれ文字コード、種別コード、表示レイアウト、発音タイミングなどの属性が付加されている。文字コードは中央制御部１１が内部の漢字ＲＯＭのアドレスを指定したものであり、これを参照することによって所定の文字を抽出することができる。種別コードは、独唱、デュエット曲のパート（男性、女性）、あるいはルビなどその文字の種類を分別するための識別符号である。表示レイアウトはディスプレイ２１にこれらの文字を表示したときの座標を示している。
【００１７】
発音タイミングは、文字番号で振り分けられた文字を歌唱者が発音すべき時間を規定したものであり、発音開始すべきタイミングと発音終了すべきタイミングが伴奏音楽の再生開始からの累積時間として記述されている。本実施例ではカラオケデータに含まれるテンポクロックをカウントしている。なお、この発音タイミングは頁や行が切り替わったときなどを出発点として相対的にカウントしてもよい。
【００１８】
図３（Ａ）（Ｂ）は種別コード毎に付帯されたカラーデータを示すための概略図である。（Ａ）は種別コード毎に設定された色を記述したカラーデータ・テーブルの構造図である。色はＲＧＢ３原色の各階調レベルで記述されている。ここでは、歌詞文字をディスプレイに表示したときにその文字を縁取る輪郭部分の色と、その輪郭部分によって包囲された文字内部である骨格部部分の色とに分けてある。そして、これら各文字部分の色は、それぞれ発音開始タイミングと発音終了タイミングでの色として発音開始色と発音終了色が規定され、さらに、発音開始タイミングに至る前の色である待機色が規定されている。もちろん、待機色を発音終了色と同じにしたり、文字を輪郭部分と骨格部分に分けず、単一の色で表示するようにしてもよい。
【００１９】
図３（Ｂ）は、歌詞文字毎に割り振られたカラーコードの１例を示すための概略図である。１文字毎に骨格部と輪郭色の各２色分のカラーコードを割り当てている。なお、ＣＬＵＴ１９には前述したように０番〜２５５番まで２５６色分のカラーデータを格納することができる。その内２５５番の色を予め背景色として割り当てることによって、文字色を２５５番目の色に指定するとその文字がディスプレイの画面上から消去されるようにしてある。そして、残りの２５５色を最大１２７文字分のカラーコードに対応させることにした。１画面中に表示する歌詞の文字数としては１２７文字もあれば充分である。
【００２０】
つぎに、色制御処理手段が前述した歌詞描出データやテーブルに基づいて、ディスプレイに表示する歌詞画像の表示状態を制御したり、歌唱時機に該当する文字に対しては、歌唱者に発音タイミングを指示する表現を付加したりする情報処理について説明する。
【００２１】
図４は、グラフィック処理系における中央制御部が行う情報処理のフローチャートの１例である。まず、中央制御部は、表示シーケンスに従って１頁分の文字群を抽出し、それぞれの文字の骨格部分と輪郭部分にカラーコード０から順々に割る振る。そして、その各文字の種別コードを判別する（１０１〜１０３）。種別コード別のカラーデータ・テーブルを参照して、対応する１頁の文字分の待機色のカラーデータをカラーコードに対応させてＣＬＵＴに格納する。そして、この頁の文字群をディスプレイに表示する（１０４、１０５）。つぎに、この頁の文字群の中に歌唱時機に該当する文字があるかどうかを判定する（１０６）。もちろん、ルビなど同時に発音すべき文字がある場合は２文字以上の文字が指示される。
【００２２】
そして、歌唱時機に該当する文字として指定された文字は、この文字に振り分けられたカラーコードに対応したＣＬＵＴ内のカラーデータを発音開始色のデータ（Ｒ，Ｇ，Ｂ）＝（Ｒ１，Ｇ１，Ｂ１）に置換する（１０７）。このとき、ディスプレイでは発音開始すべき文字が待機色から発音開始色に一変する。つぎに、中央制御部は発音開始すべきタイミングから発音終了すべきタイミングまでの発音時間帯で該当する文字を徐々に色変えていくための処理を行う。
【００２３】
まず、発音時間帯を取得し、この時間帯を適宜な区間に区分けする。ここでは、ディスプレイ１画面分の走査時間である１／３０秒を色変えの最小単位としている。例えば発音時間帯が２秒であれば２×３０＝６０となり、区間数ｓ＝６０となる。そして、発音終了色のカラーデータ（Ｒ２，Ｇ２，Ｂ２）を取得し、発音時間帯での色変化分を区間数で割ることにより、区間毎の色変化分（Δｒ，Δｇ，Δｂ）が算出される。
【００２４】
一方、歌唱時機に該当する文字をその発音時間で所定の色変化をさせるために、１／３０秒毎に割り込み処理が発生する。この処理において、歌唱時機に該当する文字が指定しているカラーコードに対応したＣＬＵＴ内のカラーデータは、発音開始色のカラーデータを初期値として、前述した色変化分を逐次加算した補間中間色データに置換される（１２０）。
【００２５】
これにより、ディスプレイでは、歌唱時機に該当する文字の骨格部分と輪郭部分がそれぞれ一斉に歌唱時間帯で徐々に色を変化させていくように表現される。例えば、図３（Ａ）に示した男性パートの文字であれば、骨格部分は青から紫そして赤へ、輪郭部分は白から水色そして青へ多段階的に変色する。また、ルビが振られた文字における色変化の状態としては、例えば、主文字列に表示される漢字「山」にルビ「や」と「ま」が振られている場合を想定する。「山」の発音時間帯がｔ１であるとする。「や」と「ま」のの発音時間がそれぞれｔ２、ｔ３とするとｔ１＝ｔ２＋ｔ３となる。「山」と「や」は同じ発音開始タイミングから色変化が始まる。「山」の色変化の途中で「や」の方が先に発音終了タイミングを迎えて発音終了色になる。これと同時に「ま」の色変化が始まり「山」と「ま」は同じ発音終了タイミングで色変化が終了する。
そして、この頁に表示されている文字群の全ての文字に対して色変化が終了すると、この頁の文字群を消去し、つぎの頁に該当する文字の制御を行う（１１２〜１１４）。
【００２６】
なお、本実施例では発音開始色と発音終了色を規定してその間を補間する中間色を生成しているが、歌詞描出データ中に文字毎の色データを時系列的に配置して、伴奏音楽の進行に同期させたタイミングでこの色データを順次送出するようにしてもい。また、種別コード別のカラーデータを示すテーブルを多数用意して、利用者が自由に選択できるようにしておいたり、利用者が色データを入力して、テーブルの内容を自在に変更できるようなインタフェースを備えさせてもよい。もちろん、このテーブルを別途用意しないで、歌詞描出データの文字番号毎にカラーデータを記述するようなデータ構造としてもよい。
【００２７】
本実施例では、カラーデータをＲＧＢの３原色の階調レベルのみで表現しているが、ＣＬＵＴ内のカラーデータは、このＲＧＢデータのほかに透明度Ｔを記述したデータが付加されている。ＴもＲＧＢ色データと同様に８ビットのデータとして記述されることで、２５６レベルの値をとり得る。Ｔが０のときは歌詞画像の背景のイメージ映像が完全に透過する状態となる。通常、背景色の透明度を０、歌詞画像の透明度を２５５に設定しておくことによって、歌詞画像がイメージ映像にスーパーインポーズされる。そして、色制御処理手段は、この透明度Ｔを発音開始すべきタイミング時点から発音終了すべきタイミング時点へ向けて可変制御するように変更が可能である。これにより、発音時間帯で徐々に文字をフェードアウト（フェードイン）させるなどの表現を付加して歌唱時機を指示してもよい。
【００２８】
また、カラーデータはＲＧＢ各８ビットに限るものではなく、少ないビット数で表現してもよい。さらに、ＣＬＵＴによるカラーコードを用いずにビデオＲＡＭにカラーデータを直接記述してもよい。
【００２９】
【発明の効果】
本発明のカラオケ装置によれば、ディスプレイに表示される歌詞において、歌唱時機に該当する文字が間延びした音であっても視認性が高く、しかも歌唱者が容易にタイミングを合わせることができる表現によって歌唱時機を指示することができる。さらに、ルビが振られた文字に対して主文字とルビのどちらを見ながら歌唱しても容易に伴奏音楽に合わせることができる。
【００３０】
また、文字の骨格部と輪郭部を色分けして、それぞれを異なったプロセスで色変化させることでより視認性が向上する。
文字の色は、待機色と発音開始色を別の色にしたり、同一の色にしたり、自由に設定することが可能である。このため、歌唱者にとって視認しやすいような表現が自在に選択できる。
【００３１】
そして、歌詞文字毎に種別コードを付し、この種別コード毎の色データを割り振ったテーブルを用意することにより、歌詞文字ごとの色データを変更することなく、自在な色指定をテーブルを変更するだけで可能となる。また、テーブルを多数用意しておいて、歌唱者の好みに応じて文字色を適宜変更することが可能となる。
【００３２】
発音開始色と発音終了色を予め設定しておき、その間を埋める補間中間色を生成することにより、データ容量を大幅に縮小することができる。
また、色データに透明度を付加することによってより多彩な表現で歌唱時機を指示することができる。
【図面の簡単な説明】
【図１】本発明の実施例によるカラオケ装置の構成図である。
【図２】前記カラオケ装置で処理される歌詞描出データの構造図である。
【図３】カラーデータを説明するための概略図である。（Ａ）は種別コード毎のカラーデータ・テーブルの構造図であり、（Ｂ）は文字番号毎のカラーコードと色変化を示すための概略図である。
【図４】色制御処理手段による情報処理のフローチャートである。
【符号の説明】
１ カラオケ装置
１１ 中央制御部
１２ ハードディスク装置
１３ シンセサイザ
１７ 映像制御部
１８ ビデオＲＡＭ
１９ カラールックアップテーブル
２１ ディスプレイ

Claims (1)

1. つぎの事項（11）〜（22）により特定される歌詞字幕表示システム。
   （11）記録媒体に格納された歌詞字幕データをコンピュータにより処理し、歌曲の進行に同期してルビ付きの歌詞字幕をディスプレイに色変え表示させる歌詞字幕表示システムであること
   （12）歌詞字幕データは、複数の本文行情報と、複数のルビ行情報と、表示シーケンス情報を含むこと
   （13）本文行情報は、複数の本文文字の各文字コードと、各本文文字の表示位置を規定する本文文字レイアウト情報と、各本文文字の発音タイミング情報を含むこと
   （14）ルビ行情報は、複数のルビ文字の各文字コードと、各ルビ文字の表示位置を規定するルビ文字レイアウト情報と、各ルビ文字の発音タイミング情報を含むこと
   （15）表示シーケンス情報は、歌曲の進行と同期して各本文行情報および各ルビ行情報を順次表示・消去する順番を規定し、ある本文行情報とあるルビ行情報との組み合わせについて同一の表示消去タイミングを規定すること
   （16）同一の表示消去タイミングが規定された本文行情報とルビ行情報の組み合わせにおける本文文字レイアウト情報とルビ文字レイアウト情報は、ルビ付きの歌詞字幕を構成するように規定されること
   （17）各本文文字の発音タイミング情報は、歌曲の進行の時系列において、個々の本文文字に対応する音韻を発声開始すべきタイミングと発声終了すべきタイミングを規定すること
   （18）各ルビ文字の発音タイミング情報は、歌曲の進行の時系列において、個々のルビ文字に対応する音韻を発声開始すべきタイミングと発声終了すべきタイミングを規定すること
   （19）コンピュータは、表示消去処理と、本文行色変え処理と、ルビ行色変え処理を行うこと
   （20）表示消去処理は、表示シーケンス情報に基づいて、該当する本文行情報に規定された本文字幕と、該当するルビ行情報に規定されたルビ字幕を待機色にて表示させ、かつ、表示シーケンス情報に基づいて本文字幕とルビ字幕を消去させること
   （21）本文行色変え処理は、表示中の本文字幕の各本文文字の１つ１つを、各本文文字の発音タイミング情報に基づいて、発声開始タイミングにて発音開始色に一変させるとともに、発音開始タイミングから発声終了タイミングまでの時間をかけて発音終了色に徐々に色変えすること
   （22）ルビ行色変え処理は、表示中のルビ字幕の各ルビ文字の１つ１つを、各ルビ文字の発音タイミング情報に基づいて、発声開始タイミングにて発音開始色に一変させるとともに、発音開始タイミングから発声終了タイミングまでの時間をかけて発音終了色に徐々に色変えすること

Images