JP3668547B2

JP3668547B2 - カラオケ装置

Info

Publication number: JP3668547B2
Application number: JP01324396A
Authority: JP
Inventors: 幸生多田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1996-01-29
Filing date: 1996-01-29
Publication date: 2005-07-06
Anticipated expiration: 2016-01-29
Also published as: US5915972A; JPH09204163A

Description

【０００１】
【発明の属する技術分野】
本発明は、ポリゴンによる人物像を、演奏の進行に合わせた振り付け等で表示するカラオケの表示装置に関する。
【０００２】
【従来の技術】
いわゆるカラオケ装置では、ユーザが所望の曲を選択すると、その曲の演奏音等が再生されるとともに、背景画像（映像）と当該曲の歌詞とがモニタに表示される。この際、演奏の進行状態が視覚的にも判るように、表示された歌詞の文字を演奏の進行に合わせて色替えすることも行なわれている。
【０００３】
このような動作は、従来では、単純に映像信号とオーディオ信号とを収めた光学式ディスクなどを再生することで行なわれていたが、最近では、通信により行なわれることもある。例えば、ホスト局と端末局のカラオケ装置とを電話回線網等で接続し、ホスト局が端末で選択された曲の演奏データ等を転送し、端末局が楽音の発生イベントを時系列的に規定する楽音データや、当該曲における文字の表示やその色替えを時系列的に指示する歌詞データ等を、演奏の進行にあわせて実行することによって、端末局であるカラオケ装置が、楽音データにしたがって発音を行なうとともに、歌詞データにしたがって文字を表示したり、色替をするのである。また、この場合、背景画像は、例えば、選択された曲のジャンルに対応したものを別途再生することにより提供されるようになっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のカラオケ装置では、光学式や通信によるものでも、演奏音や文字表示等のサービスしか提供されないため、多少なりとも、雰囲気の盛り上がりに欠けるという問題点があった。
本発明は、以上のような問題に鑑みてなされたもので、その目的とするところは、演奏音の再生や、歌詞表示のみならず、曲に対する振り付け等を表示して、種々のサービスを行なうことが可能なカラオケ装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するために請求項１に記載の発明にあっては、発音すべき楽音の内容を規定する演奏データに基づいて楽音を出力すると共に、表示すべき歌詞を示す歌詞データに基づいて歌詞を表示するカラオケ装置において、曲データには、前記演奏データと、前記歌詞データと、人物像を部位毎に分けて得られる各部位の画像の描画位置を指定する座標を所定時間間隔毎に示すモーションデータとが含まれており、前記各部位の画像を表すポリゴンの形状を定めるポリゴン形状データと、当該ポリゴン形状データによって定められた各ポリゴンの描画条件を定めるポリゴンルールデータと、前記各ポリゴンの結合条件を示すジョイントデータとを記憶する記憶手段と、前記曲データに含まれているモーションデータと、前記記憶手段に記憶されている、前記ポリゴン形状データ、前記ポリゴンルールデータおよび前記ジョイントデータとに従って、前記人物像を描画する描画手段と、前記描画手段により描画される人物像の動きが前記曲データに含まれている演奏データによる演奏の進行と一致するように、前記モーションデータを前記描画手段に供給する供給手段と、前記描画手段により描画された人物像を、演奏の進行に合わせた歌詞とともに表示する表示手段とを具備することを特徴としている。
また、請求項２に記載の発明にあっては、請求項１に記載の発明において、前記描画手段は、前記曲データに含まれているモーションデータと、前記記憶手段に記憶されている、前記ポリゴン形状データ、前記ポリゴンルールデータおよび前記ジョイントデータとに従って、前記人物像をＶ−ＲＡＭに描画し、前記描画手段による前記人物像の前記Ｖ−ＲＡＭへの書き込みを監視し、時刻ｔ _ｉ−１から時刻ｔ _ｉに到る前記所定時間間隔内で前記人物像を構成する各ポリゴンの全てを前記Ｖ−ＲＡＭに書き込めなかった場合、前記時刻ｔ _ｉから時刻ｔ _ｉ＋１までの前記所定時間間隔内での前記各ポリゴンの描画をスキップさせる手段をさらに備えることを特徴としている。
さらに、請求項３に記載の発明にあっては、請求項１に記載の発明において、前記記憶手段には、前記ポリゴン形状データと、前記ポリゴンルールデータと、前記ジョイントデータとの組が複数記憶され、このうち、いずれかの組を選択して、前記描画手段に供給する選択手段を備えることを特徴としている。
さらにまた、請求項４に記載の発明にあっては、請求項１に記載の発明において、前記供給手段は、さらに前記人物像を描画する際の視点を定める視点データを演奏の進行に合わせて供給し、前記描画手段は、前記曲データに含まれているモーションデータと、前記記憶手段に記憶されている、前記ポリゴン形状データ、前記ポリゴンルールデータおよび前記ジョイントデータと、前記視点データとに従って、前記人物像を描画することを特徴としている。
くわえて、請求項５に記載の発明にあっては、請求項４に記載の発明において、前記視点を切り替える視点切替手段を備えることを特徴としている。
【０００７】
【発明の実施の形態】
１：全体構成
以下、本発明の実施の形態につき図面を参照して説明する。図１は、本実施形態に係るカラオケ装置の構成を示すブロック図である。
この図において、符号１０はＣＰＵであり、バスＢを介して接続された各構成要素を制御する。符号１１はＲＯＭであり、ＣＰＵ１０において用いられる基本プログラムを記憶する。符号１２はＲＡＭであり、ＣＰＵ１０の制御に用いられるデータ等を一時記憶する。
符号１３はモデムであり、ホスト局２０とデータの授受を電話回線網Ｎを介して行なう。符号１４は固定記憶装置であり、ＨＤＤ（ハードディスクドライブ）等から構成され、ＣＰＵ１０において用いられる主プログラム等を格納する。また、本実施形態に係る固定記憶装置１４にあっては、後述するように、ポリゴン表示のためのポリゴン基本データも格納する。
【０００８】
さて、符号１５は音源回路（ＴＧ：Tone Generator）であり、曲データのうち演奏データに基づいて楽音の合成を行なう。符号１６は増幅器であり、音源回路１５により合成された楽音信号を増幅し、スピーカ１７を介して外部に発音させるものである。
符号１８は、ＤＳＰや、Ｖ−ＲＡＭ、ＲＡＭＤＡＣ等により構成されるビデオ回路であり、ＣＰＵ１０により時系列的に供給されるデータをＤＳＰが解釈して、その解釈内容を、モニタ１９の表示領域に対応するＶ−ＲＡＭに書き込む一方、モニタ１９の走査周波数に合わせて読み出し、ＲＡＭＤＡＣによりアナログ信号（ビデオ信号）に変換して、モニタ１９に供給する。これにより、モニタ１９には、Ｖ−ＲＡＭに書き込まれたデータに対応した表示が行なわれるようになっている。
また、符号ＳＷはパネルスイッチであり、ユーザが所望する曲を選択するためのスイッチや、音量や音階等を設定するための操作子等から構成され、これらの設定情報をＣＰＵ１０に供給するようになっている。
【０００９】
１−１：ポリゴン基本データ
さて、本実施形態は、仮想的な人物像をモニタ表示し、当該人物像の動きを、演奏の進行に合わせて制御するものではあるが、精緻な人物像を描画しようとするとデータ量が膨大となり、それに伴って負荷も重くなるため、人物像の部位をポリゴン化して簡易表示することとした。このため、ポリゴンの形状等に関するデータがポリゴン基本データとして固定記憶装置１４に記憶されている。
【００１０】
かかるポリゴン基本データは、上述した人物像の各部位にそれぞれ対応して、主にポリゴン形状データ、ポリゴンルールデータ、およびジョイントデータから構成される。ここで、ポリゴン形状データは、人物像のｍ個の部位を表現するポリゴンの形状を定めるデータであり、ポリゴンルールデータは、各ポリゴンを描画する際に、それらの描画条件を定めるデータであり、また、ジョイントデータは、ポリゴン間の結合条件を示すデータであり、いわば仮想人物における関節を規定するものである。
【００１１】
このポリゴン基本データは予め複数用意され、カラオケ演奏曲の選択時において、当該曲に最もふさわしい人物（例えば、当該曲の歌手）を模倣あるいはデフォルメしたもの、あるいは、ユーザが任意に選んだものが指定されるようになっている。なお、ポリゴン基本データを、演奏曲毎や、歌手毎、ジャンル毎等に記憶しておき、カラオケの演奏曲を選択した際に、自動的に選択されるようにしても良い。
【００１２】
このようなポリゴン基本データにより、ビデオ回路１７が、仮想的な人物像を描画することができるようになっている。そして、このポリゴン像の動きを演奏の進行に合わせて制御するには、後述するモーションデータが用いられる。
【００１３】
１−２：曲データ
次に、本実施形態に係る曲データの構成について図２を参照して説明する。この図に示すように、曲データは、このデータの構成情報等を示すヘッダと、発音すべき楽音の内容を規定するデータを例えばＭＩＤＩ規格で記録した演奏データと、演奏の進行にあわせて表示すべき歌詞の情報を時系列に記録した歌詞データと、上述したポリゴン像に動きを与えるモーションデータとから構成される。
ここで、演奏データは、演奏パートに対応して複数トラックにより構成され、各トラックは、当該演奏パートで発生すべきイベント（例えば、発音、消音など）の内容を示すイベントデータの集合体となっている。かかるイベントデータの間には、それらイベントの時間間隔を示すデュレーションデータが挿入され、例えば、イベントの間隔が曲の四分音符に相当する場合、数値の「２４」が挿入される。
また、歌詞データには、例えば、表示文字や、その表示タイミング、表示文字のフォント、書式、色換えのタイミング等の各種データ等から構成される。
【００１４】
１−２−１：モーションデータ
次に、曲データのうち、モーションデータの詳細構成について図３を参照して説明する。
この図において、ポリゴン１〜ｍは、それぞれ人物像の各部位に対応したものであり、また、時刻ｔ_iと時刻ｔ_i-1との期間は一定値δＴである（ただし、ｉは１＜ｉ≦Ｍを満たす整数）。
また、この図に示すように、モーションデータは、演奏開始時刻ｔ₀〜演奏終了時刻ｔ_nにおいて、それぞれポリゴン１〜ｍの表示すべき座標を示す座標データが、演奏の進行に合わせて運動するように記述されている。なお、曲に合わせた運動には、例えば、歌手の振り付けや、歌唱スタイルなどが考えられる。
【００１５】
２：動作
次に、本実施形態にかかる動作について説明する。まず、歌唱者たるユーザが、操作パネルＳＷを操作して所望とするカラオケ演奏曲を選択すると、ＣＰＵ１０は、当該演奏曲の曲データを転送するようにモデム１３、電話回線網Ｎを介しホスト局２０に要求する。かかる要求を受信すると、ホスト局２０は、該当する曲データを検索して端末局たるカラオケ装置に転送する。この受信を検出すると、ＣＰＵ１０は、当該曲データとともに、選択された演奏曲に対応するポリゴン基本データを、ＲＡＭ１２上にロードする。
【００１６】
この時点において演奏開始の指示が、パネルスイッチＳＷ等を介して実行されると、ＣＰＵ１０は、次のような処理を実行する。
【００１７】
まず、第１にＣＰＵ１０は、演奏データに関する処理を実行する。すなわち、ＣＰＵ１０は、演奏曲の四分音符につき２４回の割込処理を行ない、この割込処理を１回行なう毎に、演奏データのデュレーションデータをそれぞれ「１」だけデクリメントする。ここで、デュレーションデータが「０」となったということは、演奏の進行が次のイベントデータに対応する処理を行なうべきタイミングに至ったことを示し、このため、ＣＰＵ１０は、当該イベントデータに対応する処理を行なう。
たとえば、当該イベントデータがノートオンイベントであるならば、当該データを音源回路１５に転送する。これにより音源回路１５は、当該ノートオンイベントデータに規定される楽音の生成を行なう。
そして、ＣＰＵ１０は、イベントデータに対応した処理を実行した後、次のイベントに備えるべく、当該イベントデータの次に配置するデュレーションデータの値を読み込む。
一方、デュレーションデータが「０」でないということは、曲の進行が次のイベントデータに対応する処理を行なうべきタイミングには未だ至っていないことを示し、このため、ＣＰＵ１０は、演奏に関しなんら処理を行なわない。
ＣＰＵ１０は、このような処理を各トラックについてそれぞれ実行する。
【００１８】
次に、第２にＣＰＵ１０は、歌詞データに関する処理を実行する。すなわち、ＣＰＵ１０は、歌詞データに含まれる各種データのうちタイミングを示すデータを参照し、演奏の進行がそのタイミングに至ったならば、そのタイミングで行なうべき歌詞表示に関するデータをビデオ回路１８に転送する。一方、ビデオ回路１８のＤＳＰは、転送されたデータに規定される内容にしたがってＶ−ＲＡＭを書き換える。
これにより、モニタ１９には、演奏曲の歌詞が表示されるとともに、演奏の進行に合わせて歌詞が順次色換えされて、ユーザにに演奏の進行が視覚的に判るようになっている。
【００１９】
そして、第３にＣＰＵは、モーションデータに関する処理を実行する。すなわち、ＣＰＵ１０は、ＲＡＭ１２にロードされたポリゴン基本データと、時刻ｔ₀におけるポリゴン１〜ｍの座標データとをビデオ回路１８に転送する。そして、ビデオ回路１８のＤＳＰが、ポリゴン像のデータを、ポリゴン基本データによる規定およびポリゴン１〜ｍの座標データにしたがってＶ−ＲＡＭに書き込む。これにより、モニタ１９には、ポリゴン１〜ｍから構成されるポリゴン像が、カラオケ演奏および歌詞表示に同期して表示されることとなる。
【００２０】
次に、演奏が開始されて時刻ｔ₁に至ると、ＣＰＵ１０は、時刻ｔ₁におけるポリゴン１〜ｍの座標データをビデオ回路１８に転送する。そして、ビデオ回路１８のＤＳＰが、ポリゴン像のデータを、同様にポリゴン基本データによる規定およびポリゴン１〜ｍの座標データにしたがってＶ−ＲＡＭに書き込むことにより、モニタ１９には、ポリゴン像が表示される。
以下、同様に、演奏が開始されて時刻ｔ_iに至ると、ＣＰＵ１０は、時刻ｔ_iにおけるポリゴン１〜ｍの座標データをビデオ回路１８に転送し、ビデオ回路１８のＤＳＰが、ポリゴン像のデータをＶ−ＲＡＭに書き込む動作が時間間隔δＴ毎に繰り返される。
これにより、モニタ１９には、例えば、図４に示すように、演奏の進行に合わせた歌詞とともに、ポリゴン像が表示されることとなる。
【００２１】
なお、かかるポリゴン表示にかかる処理の負荷は、実際にはかなり重く、時間間隔δＴにおいてｍ個のポリゴンを描画することができない場合も生じる。このようなことが何度か続くと、ポリゴン像の動きが演奏の進行とは一致しなくなる。
そこで、本実施形態にあっては、Ｖ−ＲＡＭへの書込状況を定期的に監視し、書込がポリゴンｍまで行なわれていないのであれば、時刻ｔ_iにおけるポリゴン１〜ｍの描画を何度かスキップさせ、演奏データによる演奏の時刻に合ったモーションデータに係る表示を行なわせる処理を実行する。
これにより、単位時間あたりの描画枚数が少なくなって、ポリゴン像の動きが多少ぎくしゃくしたものとなるが、演奏データによる演奏の進行に一致する動きを確保することができる。
【００２２】
このような実施形態のカラオケ装置によれば、演奏の進行に一致する歌詞表示とともに、動きを伴うポリゴン像が表示され、雰囲気の盛り上がりに貢献することができる。
【００２３】
３：変形例
なお、本実施形態あっては、ビデオ回路１８を、ＣＰＵ１０とは一般的なバスＢを介して接続する構成としたが、一般にポリゴン描画のリアルタイム表示には膨大なデータを短時間で転送する必要がある。さらに、ポリゴンの描画には、演算能力の高いＤＳＰ等が必要とされる。このため、ビデオ回路１８のＤＳＰに、ポリゴン描画に特化させたもの（３Ｄグラフィックエンジンなど）を用い、ＣＰＵ１０とは専用のバス（例えばＰＣＩなど）を介して接続するのが望ましい。
また、ビデオ回路１８においてはＶ−ＲＡＭを使用していたが、安価なシングルポートのＤ−ＲＡＭを用いても良い。ただし、この場合には、書込と読出のサイクルが互いに衝突しないように制御する必要はある。
さらに、外部から映像信号を入力して、ポリゴン像、歌詞と合成することとしても良い。
【００２４】
くわえて、本実施形態では、描画したポリゴン像の視点位置を一定としたが、視点位置を定めるデータを、モーションデータと同様に、専用トラックに設けて、演奏に同期して供給する構成とし、ユーザが所定のボタン等を操作することにより視点位置を制御することとしても良く、また、演奏データに応じて視点位置を切り替えることとしても良い。後者の場合、例えば、演奏データにより間奏を検出し、その箇所で視点位置を切り替えることなどが考えられる。
【００２５】
【発明の効果】
以上説明したように、本発明によれば、演奏の進行に合わせて、振り付けを行なうポリゴン集合体が表示されるので、演奏音や文字等の以外のサービスを提供することができ、雰囲気の盛り上がりに大きく寄与することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るカラオケ装置の構成を示すブロック図である。
【図２】同カラオケ装置における曲データの構成を示す図である。
【図３】同カラオケ装置におけるモーションデータの構成を示す図である。
【図４】同カラオケ表示装置における表示の一例を示す図である。
【符号の説明】
１０……ＣＰＵ（データ供給手段）、１２……ＲＡＭ（記憶手段）、１８……ビデオ回路（描画手段）、１９……モニタ（表示手段）

Claims

発音すべき楽音の内容を規定する演奏データに基づいて楽音を出力すると共に、表示すべき歌詞を示す歌詞データに基づいて歌詞を表示するカラオケ装置において、
曲データには、前記演奏データと、前記歌詞データと、人物像を部位毎に分けて得られる各部位の画像の描画位置を指定する座標を所定時間間隔毎に示すモーションデータとが含まれており、
前記各部位の画像を表すポリゴンの形状を定めるポリゴン形状データと、当該ポリゴン形状データによって定められた各ポリゴンの描画条件を定めるポリゴンルールデータと、前記各ポリゴンの結合条件を示すジョイントデータとを記憶する記憶手段と、
前記曲データに含まれているモーションデータと、前記記憶手段に記憶されている、前記ポリゴン形状データ、前記ポリゴンルールデータおよび前記ジョイントデータとに従って、前記人物像を描画する描画手段と、
前記描画手段により描画される人物像の動きが前記曲データに含まれている演奏データによる演奏の進行と一致するように、前記モーションデータを前記描画手段に供給する供給手段と、
前記描画手段により描画された人物像を、演奏の進行に合わせた歌詞とともに表示する表示手段と
を具備することを特徴とするカラオケ装置。
前記描画手段は、前記曲データに含まれているモーションデータと、前記記憶手段に記憶されている、前記ポリゴン形状データ、前記ポリゴンルールデータおよび前記ジョイントデータとに従って、前記人物像をＶ−ＲＡＭに描画し、
前記描画手段による前記人物像の前記Ｖ−ＲＡＭへの書き込みを監視し、時刻ｔ _ｉ−１から時刻ｔ _ｉに到る前記所定時間間隔内で前記人物像を構成する各ポリゴンの全てを前記Ｖ−ＲＡＭに書き込めなかった場合、前記時刻ｔ _ｉから時刻ｔ _ｉ＋１までの前記所定時間間隔内での前記各ポリゴンの描画をスキップさせる手段をさらに備えることを特徴とする請求項１に記載のカラオケ装置。
前記記憶手段には、前記ポリゴン形状データと、前記ポリゴンルールデータと、前記ジョイントデータとの組が複数記憶され、
このうち、いずれかの組を選択して、前記描画手段に供給する選択手段を備えることを特徴とする請求項１に記載のカラオケ装置。
前記供給手段は、さらに前記人物像を描画する際の視点を定める視点データを演奏の進行に合わせて供給し、
前記描画手段は、前記曲データに含まれているモーションデータと、前記記憶手段に記憶されている、前記ポリゴン形状データ、前記ポリゴンルールデータおよび前記ジョイントデータと、前記視点データとに従って、前記人物像を描画することを特徴とする請求項１に記載のカラオケ装置。
前記視点を切り替える視点切替手段を備えることを特徴とする請求項４に記載のカラオケ装置。