JPH1195778A - 同期映像生成方法およびそれを用いたカラオケ装置 - Google Patents

Abstract

(57)【要約】 【課題】 楽曲の再生に同期して動作する歌手等の映像
を表示する。 【解決手段】 歌手等の映像を生成するための形状デー
タを形状データ記憶部３５に記憶し、歌手等の動きを生
成するための動作データを映像データ記憶部３４に記憶
する。そして、物体映像生成部３６は、形状データと動
作データに基づいて、映像の１フレーム分を形成する瞬
時映像データを生成し、その瞬時映像データを、楽曲の
再生と同期するように、所定の表示周期で出力する。さ
らに、楽曲の再生が基準テンポよりも遅いときには、補
間映像データを各瞬時映像データ間に挿入して出力し、
楽曲の再生が基準テンポよりも速いときには、一部の瞬
時映像データを間引きする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声の再生に同期
して動く映像を再生する同期映像生成方法およびそれを
用いたカラオケ装置に関し、さらに詳しくは、人間、動
物またはこれらの模倣物からなる物体の形状および動き
等を測定することによって得られたデータに基づいて、
前記物体を表す映像を生成し、その映像を音声の再生に
同期させながら表示する同期映像生成方法およびそれを
用いたカラオケ装置に関する。

【０００２】

【従来の技術】歌謡曲、ポップス等の楽曲（伴奏部分）
を再生すると共に、再生する楽曲専用の背景画像を表示
するカラオケ装置は、一般に知られている。このような
カラオケ装置は、例えば、ＶＣＤ（Video CD）またはＬ
Ｄ（Laser Disc）等を用いた記憶装置を有しており、こ
の記憶装置に、楽曲を再生するための音声データ、背景
画像および歌詞を表示するための画像データを記憶保持
している。ここで、前記音声データは、例えばＰＣＭ音
声データ等であり、前記画像データは、撮影された景色
に歌詞を合成することによって形成されたデータであ
る。そして、このカラオケ装置は、前記記憶装置から音
声データを読み出して楽曲を再生し、これと同時に、前
記記憶装置から画像データを読み出して背景画像を表示
する。

【０００３】ところで、前記カラオケ装置が備えている
記憶装置は、ＶＣＤやＬＤといった比較的記憶容量の大
きい記憶媒体を用いている。しかしながら、カラオケで
使用される楽曲の数は膨大であり、特に画像データの容
量が格段に大きいため、前記記憶媒体をもってしても全
楽曲に対応する音声データおよび画像データを記憶でき
ないという不都合が生じた。また、カラオケで使用され
る楽曲は流行歌が多いため、新しい楽曲を頻繁に追加し
なければならないという問題が生じた。そこで、近年で
は、カラオケ装置に通信機能を備え、楽曲を再生するた
めの音声データおよび歌詞データを電話回線等を介して
伝送する、いわゆる通信カラオケ装置が広く普及してい
る。

【０００４】このような通信カラオケ装置では、楽曲を
再生するための音声データ等を電話回線を介して受け取
る構成であるため、再生できる楽曲の数は記憶装置の記
憶容量によって制限されない。従って、膨大な楽曲を再
生することができる。また、最新の楽曲を再生する必要
が生じても、電話回線を介してその楽曲の音声データを
受け取れば、当該最新の楽曲を再生することができる。

【０００５】ところが、背景画像を表示するための画像
データは、楽曲を再生するための音声データと比較して
データ量が格段に大きいため、画像データを、音声デー
タ等と同様に電話回線等を介して伝送するのは時間的ま
たは経済的な不利益が大きい。このため、上述したよう
な通信カラオケ装置においても、背景画像の表示に関し
ては、従前のカラオケ装置と同様であり、即ち、ＶＣＤ
またはＬＤ等の記憶媒体に予め記憶された画像データに
基づいて背景画像を表示している。しかしながら、表示
可能な背景画像の種類は記憶媒体の記憶容量によって制
限されるため、再生する楽曲のすべてに異なった背景画
像を対応させることは困難である。従って、上述したよ
うなカラオケ装置では、再生される楽曲にふさわしいが
直接は関係のない背景画像を選択して表示するようにし
ている。

【０００６】

【発明が解決しようとする課題】ところで、カラオケで
使用される楽曲のうち、特にリズミカルな楽曲の場合、
楽曲を歌っているときの歌手等の動作、例えば、振りま
たは踊りをカラオケ装置によって表示することが望まれ
る。

【０００７】しかしながら、このような歌手等の動作
は、再生される楽曲の曲調に合った動きであるため、各
楽曲毎に異なる。この結果、このような歌手等の動作を
表示するための映像データを各楽曲毎に設けようとする
と、映像データの量が膨大になり、たとえデータ圧縮技
術を用いても、上述したようなカラオケ装置に設けられ
た記憶媒体の記憶容量を遙かに超えてしまう。従って、
歌手等の動作を表示するための画像データを各楽曲毎に
設けるのは困難であるという問題がある。

【０００８】また、前述したような歌手等の動作を再現
するには、歌手等の動作を表す映像データを、再生する
楽曲と正確に同期させる必要がある。ここで、楽曲の進
行に同期して変化する映像を表示できるカラオケ装置
は、例えば特開平７−１９９９７６号公報により知られ
ている。即ち、このカラオケ装置は、ポリゴンデータと
時間データとから構成される映像データを有しており、
この映像データに含まれる時間データに基づいて、映像
の表示と楽曲の再生とを同期させるものである。しかし
ながら、ポリゴンデータと時間データとからなる映像デ
ータを楽曲毎に設けようとすれば、映像データの総量は
膨大なものとなるため、映像データを各楽曲毎に設ける
のは依然困難である。

【０００９】一方、カラオケに使用される楽曲の数は膨
大であり、現在に至るまでに各楽曲を再生するための膨
大な音声データが、既に設置された各カラオケ装置、お
よび通信カラオケ装置に音声データを配信するためのセ
ンターホストコンピュータ等に蓄積されている。従っ
て、楽曲の再生に合わせて動作する歌手等を表示させる
カラオケ装置を実現するためには、これら蓄積された膨
大な楽曲に合わせて動作する歌手等を表示するための映
像データを追加する必要がある。このとき、映像データ
を追加するために、現在に至るまでに蓄積された膨大な
音声データを作成し直すのは、時間的または経済的な不
利益が大きいという問題がある。

【００１０】また、カラオケを行う際には、様々なテン
ポ（速度）で楽曲を再生する必要がある。このため、カ
ラオケ装置は、通常、カラオケを行う者の好みに応じて
実際に再生する楽曲のテンポを基準テンポよりも遅くし
たり、速くしたりする機能を有する。従って、楽曲の再
生に合わせて動作する歌手等を表示させるカラオケ装置
を実現するためには、楽曲のテンポを変化させた場合で
も、表示されている歌手の映像を自然に、滑らかに動作
させる必要がある。

【００１１】さらに、カラオケを行う際には、練習等の
ため楽曲を途中から再生したり、楽曲の一部分を繰り返
し再生させたりする必要がある。このため、カラオケ装
置は、通常、楽曲を途中から再生する機能を有する。従
って、楽曲の再生に合わせて動作する歌手等を表示させ
るカラオケ装置を実現するためには、楽曲を途中から再
生したときには、その楽曲の再生部分に対応するように
歌手等の動作を表示し、楽曲の途中からでも歌手等の動
作をその楽曲に正確に同期させる必要がある。

【００１２】本発明は上述したような問題に鑑みなされ
たもので、本発明は、音声の再生に同期して動作し、か
つ、複数種類の音声がある場合には、各音声毎に異なっ
た動作をする映像を表示することができる同期映像生成
方法およびそれを用いたカラオケ装置を提供することを
目的としている。

【００１３】また、本発明は、現在に至るまでに作成さ
れた既存の音声データを作成し直すことなく、この音声
データに基づいて再生される音声に同期して動作する映
像を表示することができる同期映像生成方法およびそれ
を用いたカラオケ装置を提供することを目的としてい
る。

【００１４】さらに、本発明は、音声の再生速度を変化
させた場合でも、表示している映像を音声の再生に同期
させながら滑らかに動作させることができる同期映像生
成方法およびそれを用いたカラオケ装置を提供すること
を目的としている。

【００１５】さらにまた、本発明は、楽曲等の音声を途
中から再生したときでも、その音声に正確に同期して動
作する映像を表示することができる同期映像生成方法お
よびそれを用いたカラオケ装置を提供することを目的と
している。

【００１６】

【課題を解決するための手段】上述した課題を解決する
ために、請求項１の発明による同期映像生成方法は、音
声データに基づいて音声を再生する音声再生工程と、前
記音声再生工程によって再生される音声に対応した同期
信号を出力する同期信号出力工程と、人間、動物または
これらの模倣物からなる物体を表す映像を複数の構成要
素に分割し、これら各構成要素の形状を設定する形状デ
ータと、前記各構成要素の位置または動作を設定する動
作データとに基づいて、前記物体を動画として再生する
ための瞬時映像データを生成する瞬時映像生成工程と、
前記瞬時映像生成工程により生成された瞬時映像データ
を、前記同期信号出力工程により出力される同期信号に
同期させながら表示装置に表示させる表示工程とを備え
ている。

【００１７】さらに詳しく説明すると、音声再生工程で
は、音声データに基づいて、例えば楽曲等の音声を再生
する。同期信号出力工程では、再生された音声に対応し
た同期信号を出力する。例えば、再生される音声が楽曲
の場合、この同期信号は、その楽曲の進行に対応した信
号である。瞬時映像生成工程では、形状データおよび動
作データに基づいて、人間、動物またはこれらの模倣物
からなる物体を表す映像を動画として再生するための瞬
時映像データを生成する。ここで、前記形状データは、
人間、動物またはこれらの模倣物からなる物体を表す映
像を複数の構成要素に分割し、これら各構成要素の形状
を設定するものである。例えば、前記物体が人間の場
合、前記形状データは、人間を胴体、頭、腕、脚等に分
割し、これらの形状を設定するものである。また、前記
動作データは、前記物体の各構成要素の位置または動作
を設定するものである。例えば、前記物体が人間の場
合、前記動作データは、胴体の位置、腕の角度、脚の移
動量等を設定するものである。さらに、瞬時映像データ
は、人間、動物またはこれらの模倣物からなる物体を表
す１フレーム分の映像を形成するデータである。表示工
程では、瞬時映像生成工程により生成された瞬時映像デ
ータを、同期信号出力工程により出力される同期信号に
同期させながら表示装置に表示する。これにより、音声
に同期して動く人間、動物等の映像を表示することがで
きる。

【００１８】請求項２の発明による同期映像生成方法に
よれば、動作データを、前記音声データに基づく音声を
基準速度で再生し、その再生された音声に合わせて前記
物体を動かし、そのときの前記物体の各構成要素の位置
または動作を所定時間毎に測定することによって形成さ
れた複数の瞬時動作データから構成すると共に、前記瞬
時映像生成工程において、前記音声再生工程により再生
される音声が前記基準速度のときには、前記各瞬時動作
データにそれぞれ対応した瞬時映像データを生成し、前
記音声再生工程により再生される音声が前記基準速度よ
りも遅いときには、前記各瞬時動作データの間を補間す
る補間動作データを生成し、前記各瞬時動作データおよ
び前記補間動作データにそれぞれ対応した瞬時映像デー
タを生成する。

【００１９】さらに詳しく説明すると、上述したよう
に、動作データは、基準速度で再生された音声に合わせ
て前記物体を動かし、そのときの前記物体の各構成要素
の位置または動作を動作に対して充分速く所定時間毎に
測定することによって形成された複数の瞬時動作データ
から構成されている。即ち、前記各瞬時動作データは、
基準速度で再生される音声に合わせて動作する物体の各
構成要素の瞬間的な位置等を所定時間毎に測定して配列
したデータである。従って、音声再生工程により再生さ
れる音声が基準速度のときには、配列されたすべての瞬
時動作データを、配列された順序で読み取って、読み取
った各瞬時動作データに基づいて瞬時映像データを前記
所定時間の間隔で順次生成すれば、音声に同期して動く
映像を再生することができる。

【００２０】また、音声再生工程により再生される音声
が基準速度よりも遅いときには、各瞬時動作データの間
を補間する補間動作データを生成し、この補間動作デー
タを各瞬時動作データ間に挿入する。ここで、補間動作
データは、複数配列された各瞬時動作データのうち、互
いに隣り合った各瞬時動作データ間の隔たりを補間する
データである。例えば、互いに隣り合った各瞬時動作デ
ータ間の平均値を補間動作データとして用いてもよい。
また、互いに隣り合った各瞬時動作データ間の隔たりが
少量の場合には、互いに隣り合った各瞬時動作データの
うち、時間的にみて前側または後側に位置する瞬時動作
データと同一のデータを補間動作データとして用いても
よい。そして、各瞬時動作データと各補間動作データを
順次読み取って、読み取った各瞬時動作データと各補間
動作データに基づいて瞬時映像データを前記所定時間の
間隔で順次生成すれば、基準速度よりも遅い速度で再生
される音声に同期して動く映像を再生することができる
と共に、映像の動きを滑らかにすることができる。

【００２１】請求項３の発明による同期映像生成方法に
よれば、前記瞬時映像生成工程において、前記音声再生
工程により再生される音声が前記基準速度よりも速いと
きには、前記各瞬時動作データを間引きし、間引きされ
た各瞬時動作データにそれぞれ対応した瞬時映像データ
を生成する。

【００２２】これにより、間引きされた各瞬時動作デー
タを順次読み取って、読み取った各瞬時動作データに基
づいて瞬時映像データを前記所定時間の間隔で順次生成
すれば、基準速度よりも速い速度で再生される音声に同
期して動く映像を容易に再生することができる。

【００２３】請求項４の発明による同期映像生成方法の
特徴は、前記動作データを、前記音声データに基づく音
声を基準速度で再生し、その再生された音声に合わせて
前記物体を動かし、そのときの前記物体の各構成要素の
位置または動作を、前記表示装置の表示周期の整数倍の
周期で測定することによって形成された複数の瞬時動作
データから構成したことにある。

【００２４】ここで、上述したように、音声の再生に同
期して動く映像の１フレームは、前記瞬時映像生成工程
によって生成される瞬時映像データによって形成されて
いる。そして、この瞬時映像データは、前記物体の動作
を測定したときの所定時間の間隔で、前記瞬時動作デー
タ等を順次変換することによって生成される。即ち、瞬
時映像データは、前記物体の動作を測定したときの測定
周期で生成される。この結果、音声の再生に同期して動
く映像の１フレームが表示される周期は、前記物体の動
作を測定したときの測定周期と一致する。従って、前記
物体の動作を測定したときの測定周期を、前記表示装置
の表示周期の整数倍の周期とすれば、音声の再生に同期
して動く映像の１フレームが表示される周期を、表示装
置の表示周期に合致させることができる。これにより、
表示装置に表示される映像の動きを滑らかにすることが
できる。

【００２５】請求項５の発明による同期映像生成方法の
特徴は、前記動作データを、前記音声データに基づく音
声を基準速度で再生し、その再生された音声に合わせて
前記物体を動かし、そのときの前記物体の各構成要素の
位置または動作を、前記同期信号出力工程により出力さ
れる同期信号の周期よりも短い周期で測定することによ
って形成された複数の瞬時動作データから構成したこと
にある。

【００２６】ここで、上述したように、音声の再生に同
期して動く映像の１フレームが表示される周期は、前記
物体の動作を測定したときの測定周期と一致する。従っ
て、前記物体の動作を測定するときの測定周期を前記同
期信号の周期よりも短くすれば、音声の再生に同期して
動く映像の１フレームが表示される周期を、音声の再生
と映像の表示との間で同期をとる周期よりも短くするこ
とができる。これにより、音声の再生速度を変化させ、
前記同期信号の周期を変化させても、音声の再生と映像
の表示との間の同期を正確にとることができる。

【００２７】さらに詳しく説明すると、音声の再生に同
期して動く映像の１フレームが表示される周期を、音声
の再生と映像の表示との間の同期周期よりも短くする
と、音声の再生と映像の表示との間で同期をとる間に、
複数フレームの画像が表示される。このように、音声の
再生と映像の表示との間で同期をとる間に、複数フレー
ムの画像が表示されると、音声の再生速度が変化したと
き、フレームの挿入または間引きをすることによって、
音声の再生と映像の表示との同期を容易にかつ正確にと
ることができる。即ち、音声の再生速度が遅くなり、音
声の再生と映像の表示との間で同期をとる間隔が長くな
ったときには、補間動作データを適宜挿入することによ
って、音声の再生と映像の表示との間の同期を容易にか
つ正確にとることができる。一方、音声の再生速度が速
くなり、音声の再生と映像の表示との間で同期をとる間
隔が短くなったときには、瞬時映像データを適宜間引く
ことによって、音声の再生と映像の表示との間の同期を
容易にかつ正確にとることができる。

【００２８】請求項６の発明による同期映像生成方法の
特徴は、前記同期信号出力手段により出力される同期信
号に、音声データの再生位置を認識するための符号を付
したことにある。

【００２９】即ち、前記同期信号は、例えば、一定の時
間間隔でクロックパルスを出力することによって形成さ
れている。従って、一定の時間間隔で出力される各クロ
ックパルスに、それぞれ異なった符号を付すことによ
り、音声データの再生位置を認識することができ、音声
データの再生位置に対応した映像を表示することができ
る。従って、楽曲等の音声を途中から再生したときで
も、その音声に正確に同期して動作する映像を表示する
ことができる。

【００３０】請求項７の発明によるカラオケ装置は、音
声データを記憶する音声データ記憶手段と、前記音声デ
ータ記憶手段に記憶された音声データに基づいて音声を
再生する音声再生手段と、前記音声再生手段によって再
生される音声に対応した同期信号を出力する同期信号出
力手段と、人間、動物またはこれらの模倣物からなる物
体を表す映像を複数の構成要素に分割し、これら各構成
要素の形状を設定する形状データを記憶する形状データ
記憶手段と、前記物体の前記各構成要素の位置または動
作を設定する動作データを記憶する動作データ記憶手段
と、前記形状データ記憶手段に記憶された形状データ
と、前記動作データ記憶手段に記憶された動作データと
に基づいて、前記物体を動画として再生するための瞬時
映像データを生成する瞬時映像生成手段と、前記瞬時映
像生成手段により生成された瞬時映像データを、前記同
期信号出力手段により出力される同期信号に同期させな
がら表示装置に表示させる表示手段とを備えている。

【００３１】上記構成より、カラオケを行うときには、
音声データ記憶手段に記憶された音声データに基づいて
音声を再生する。そして、形状データ記憶手段に記憶さ
れた形状データと動作データ記憶手段に記憶された動作
データとに基づいて前記物体を動画として再生するため
の瞬時映像データを生成し、この瞬時映像データを、再
生された音声に同期するように表示する。これにより、
音声の再生に同期して動く映像を表示することができ
る。

【００３２】特に、音声データは音声データ記憶手段
に、形状データは形状データ記憶手段に、動作データは
動作データ記憶手段にそれぞれ別々に記憶されている。
これにより、音声データ、形状データおよび動作データ
をそれぞれ独立して取り扱うことができる。例えば、音
声データおよび動作データは楽曲毎に異なるものとし、
形状データは各楽曲共通にすることができる。また、形
状データのみを変更したり、既存の音声データに、動作
データと形状データを追加することも可能である。

【００３３】請求項８の発明によるカラオケ装置は、外
部から伝送された音声データおよび動作データを受け取
り、受け取った音声データを前記音声データ記憶手段に
記憶し、受け取った動作データを動作データ記憶手段に
記憶するデータ受取手段を有している。

【００３４】上記構成より、データ受取手段は、音声デ
ータ、動作データおよび形状データのうち、音声データ
および動作データを外部から受け取る。そして、外部か
ら受け取った音声データに基づいて音声を再生し、外部
から受け取った動作データおよび既にカラオケ装置に記
憶されている形状データに基づいて映像を表示する。こ
のように、比較的データ量の少ない音声データと動作デ
ータのみを外部から受け取ることにより、外部からカラ
オケ装置に向けて伝送するデータの量を少なくすること
ができる。

【００３５】請求項９の発明は、前記カラオケ装置に、
音声再生手段により再生される音声の再生速度を変更す
る再生速度変更手段を設け、同期信号出力手段におい
て、再生速度変更手段により変更された再生速度で再生
される音声に対応した同期信号を出力するものである。

【００３６】これにより、再生速度変更手段により音声
の再生速度が変更すると、変更された再生速度に対応す
るように同期信号の周期も変化する。これにより、同期
信号に同期して動作する映像の動作速度も、再生速度に
対応するように変化する。従って、音声の再生速度を変
更しても、音声の再生と映像の表示との同期をとること
ができる。

【００３７】請求項１０の発明は、動作データを、音声
データに基づく音声を基準速度で再生し、その再生され
た音声に合わせて前記物体を動かし、そのときの物体の
各構成要素の位置または動作を所定時間毎に測定するこ
とによって形成された複数の瞬時動作データから構成す
ると共に、瞬時映像生成手段において、音声再生手段に
より再生される音声が基準速度のときには、各瞬時動作
データにそれぞれ対応した瞬時映像データを生成し、音
声再生手段により再生される音声が基準速度よりも遅い
ときには、各瞬時動作データの間を補間する補間動作デ
ータを生成し、各瞬時動作データおよび補間動作データ
にそれぞれ対応した瞬時映像データを生成するものであ
る。

【００３８】これにより、請求項２の発明と同様に、音
声再生手段により再生される音声が基準速度よりも遅い
ときでも、表示される映像の動きを滑らかにすることが
できる。

【００３９】請求項１１の発明は、瞬時映像生成手段に
おいて、音声再生手段により再生される音声が基準速度
よりも速いときには、各瞬時動作データを間引きし、間
引きされた各瞬時動作データにそれぞれ対応した瞬時映
像データを生成するものである。

【００４０】これにより、請求項３の発明と同様に、基
準速度よりも速い速度で再生される音声に同期して動く
映像を容易に再生することができる。

【００４１】請求項１２の発明の特徴は、動作データ
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、表示装置の表示周
期の整数倍の周期で測定することによって形成された複
数の瞬時動作データから構成したことにある。

【００４２】これにより、請求項４の発明と同様に、表
示される映像の動きを滑らかにすることができる。

【００４３】請求項１３の発明の特徴は、動作データ
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、同期信号出力手段
により出力される同期信号の周期よりも短い周期で測定
することによって形成された複数の瞬時動作データから
構成したことにある。

【００４４】これにより、請求項５の発明と同様に、音
声の再生速度を変化させ、前記同期信号の周期を変化さ
せても、音声の再生と映像の表示との間の同期を正確に
とることができる。

【００４５】請求項１４の発明の特徴は、同期信号出力
手段により出力される同期信号に、音声データの再生位
置を認識するための符号を付したことにある。

【００４６】これにより、請求項６の発明と同様に、同
期信号に付した符号に基づいて音声データの再生位置を
認識することができ、音声データの再生位置に対応した
画像を表示することができる。従って、楽曲等の音声を
途中から再生したときでも、その音声に正確に同期して
動作する映像を表示することができる。

【００４７】請求項１５の発明は、形状データ記憶手段
に、形状の異なる複数の物体を形成するための複数の形
状データを記憶し、音声データに含まれる選択データま
たは外部からの入力により、各形状データを選択し、瞬
時映像生成手段は、選択された形状データと、動作デー
タ記憶手段に記憶された動作データとに基づいて、物体
を動画として再生するための瞬時映像データを生成する
構成としたものである。

【００４８】上記構成より、例えば、楽曲データに、各
形状データを選択する選択データを含ませておけば、こ
の選択データに基づいて形状データを選択することがで
き、選択された形状データに基づいて物体の形状を設定
することができる。また、形状データを外部からの入力
によって選択する構成としてもよい。これにより、例え
ば、動物、人間、男性、女性等、形状の異なる複数の物
体を形成することができる。

【００４９】

【発明の実施の形態】以下、本発明の実施の形態を図１
ないし図１５に従って説明する。なお、本実施形態で
は、本発明による同期映像生成方法を用いたカラオケ装
置として、図１に示す通信カラオケ装置１００を例に挙
げて説明する。

【００５０】（１）通信カラオケ装置の構成および動作 まず、通信カラオケ装置１００の構成および動作につい
て説明する。

【００５１】図１に示すように、通信カラオケ装置１０
０は、音声によって構成される楽曲を再生すると共に、
楽曲の歌詞を表す歌詞画像を生成するカラオケ演奏部１
０と、楽曲の再生に同期して動作する歌手等の物体映像
を生成する映像再生部３０と、楽曲の再生時に背景画像
を生成する背景画像生成部４０と、歌詞画像、物体映像
および背景画像を合成する合成部５０とを備えている。
そして、カラオケ演奏部１０には、センターホストコン
ピュータ２００が電話回線を介して接続されている。さ
らに、カラオケ演奏部１０には、楽曲の音声とマイク８
０から入力される音声とを合成するミキサアンプ６０が
接続され、このミキサアンプ６０にはスピーカ７０およ
びマイク８０が接続されている。また、合成部５０に
は、この合成部５０から出力される映像・画像を表示す
る表示装置としてのモニタ９０が接続されている。

【００５２】さらに、カラオケ演奏部１０は、音声用Ｃ
ＰＵ（Central Processing Unit）１１、ＲＡＭ（Rando
m Access Memory）１２、ＲＯＭ（Read Only Memory）
１３、ＣＤ−ＲＯＭ読取部１４、インタフェース回路１
５を介して接続された音声データ記憶手段としての楽曲
データ記憶部１６、入力部１７、歌詞画像生成部１８、
音源部１９およびＦＩＦＯ（First In First Out）回路
２０を備えている。そして、これらはバス２２を介して
相互に接続されている。

【００５３】ここで、音声用ＣＰＵ１１は、カラオケ演
奏部１０の総合的な制御を行うと共に、歌謡曲、ポップ
ス等の楽曲（伴奏部分）の自動演奏を行うものである。
具体的に説明すると、音声用ＣＰＵ１１は、例えば、Ｍ
ＩＤＩ規格に沿って構成されたＭＩＤＩデータに基づい
て楽曲の自動演奏を行う機能を有している。さらに、こ
の音声用ＣＰＵ１１は、タイマを有しており、ＭＩＤＩ
クロックに基づいて後述する同期信号を生成する機能を
も有している。また、ＲＡＭ１２は、音声用ＣＰＵ１１
が制御処理を行うときに作業エリアとして利用されると
共に、各種データを一時的に蓄積するために利用され
る。また、ＲＯＭ１３には、カラオケ演奏部１０の動作
を定める制御プログラム等が記憶されている。

【００５４】ＣＤ−ＲＯＭ読取部１４は、ＣＤ−ＲＯＭ
から後述する楽曲データや映像データ等読み出すもので
ある。ここで、ＣＤ−ＲＯＭは外部から装着することが
でき、そのＣＤ−ＲＯＭには、後述する楽曲データや映
像データ等が記憶されている。ＣＤ−ＲＯＭ読取部１４
から読み出された楽曲データは、楽曲データ記憶部１６
に転送される。また、ＣＤ−ＲＯＭ読取部１４から読み
出された楽曲データが、ＲＡＭ１２に転送され、即座に
音声用ＣＰＵ１１および音源部１９によって再生される
場合もある。一方、楽曲データ記憶部１６は、例えば、
ハードディスクにより構成されており、楽曲データを例
えば２０００曲程度記憶している。また、楽曲データ記
憶部１６は書き換え可能であり、センターホストコンピ
ュータ２００からモデム２１を介して受信された楽曲デ
ータや、ＣＤ−ＲＯＭ読取部１４から転送された楽曲デ
ータを追加して記憶することができる。

【００５５】入力部１７は、再生すべき楽曲の選択、楽
曲を再生する際のテンポの設定、楽曲の調の設定、視点
情報および光源情報等の設定、楽曲の早送り・巻き戻し
等、通信カラオケ装置１００を制御するための指示を入
力するものである。また、歌詞画像生成部１８は、例え
ば、ＯＳＤ（On Screen Display）回路等によって構成
されており、楽曲の再生と同時にモニタ９０に表示する
歌詞画像を生成するものである。さらに詳しく説明する
と、楽曲データには、後述するように、楽曲を再生する
ための音声データと楽曲の歌詞画像を生成するための歌
詞データが含まれている。歌詞画像生成部１８は、この
楽曲データに含まれる歌詞データに基づいて歌詞画像を
生成する。

【００５６】音源部１９は、楽曲データに含まれる音声
データに基づいて音声を合成するものである。例えば、
前記楽曲データは、ＭＩＤＩ規格に沿った自動演奏用の
ＭＩＤＩデータであり、音源部１９は、このＭＩＤＩデ
ータに基づいて楽音等を発生させるシンセサイザー等に
よって構成されている。一方、ＦＩＦＯ回路２０は、映
像再生部３０のバスラインとのバッファとして機能する
と共に、音声用ＣＰＵ１１から出力される同期信号を映
像再生部３０に出力するものである。

【００５７】モデム２１は、センターホストコンピュー
タ２００に電話回線を介して接続されており、センター
ホストコンピュータ２００から電話回線を介して伝送さ
れるデータの受信、復調を行うものである。ここで、セ
ンターホストコンピュータ２００には、多数の楽曲デー
タと、これら各楽曲データに対応した多数の映像データ
が蓄積されている。そして、通信カラオケ装置１００の
楽曲データ記憶部１６またはＣＤ−ＲＯＭ読取部１４に
セットされたＣＤ−ＲＯＭに記憶されていない楽曲、例
えば、最新の流行歌等を再生する必要が生じたときに
は、センターホストコンピュータ２００から通信カラオ
ケ装置１００に向けて当該楽曲データ等が伝送される。
このとき、モデム２１は、センターホストコンピュータ
２００から伝送される楽曲データ等を受信し、受信した
データを復調した後、ＲＡＭ１２または楽曲データ記憶
部１６に転送する。

【００５８】一方、映像再生部３０は、映像用ＣＰＵ３
１、ＲＯＭ３２、インタフェース回路３３を介して接続
された動作データ記憶手段としての映像データ記憶部３
４、形状データ記憶手段としての形状データ記憶部３５
および瞬時映像生成手段としての物体映像生成部３６を
備えている。そして、これらはバス３７を介して相互に
接続されている。なお、バス３７はカラオケ演奏部１０
のバス２２との間でＦＩＦＯ回路２０を介し、相互にデ
ータの転送を行うことができるようになっている。

【００５９】ここで、映像用ＣＰＵ３１は、映像再生部
３０の総合的な制御を行うものである。また、ＲＯＭ３
２には、映像再生部３０の動作を定める制御プログラム
および後述する同期映像生成処理を行うための制御プロ
グラム等が記憶されている。

【００６０】映像データ記憶部３４は、例えば、ハード
ディスクにより構成されており、映像データを記憶して
いる。また、映像データ記憶部３４は書き換え可能であ
り、センターホストコンピュータ２００からモデム２１
を介して受信された映像データや、ＣＤ−ＲＯＭ読取部
１４から転送された映像データを追加して記憶したり、
更新することができる。一方、形状データ記憶部３５
は、後述する形状データを記憶するものであり、ＲＡ
Ｍ、ＲＯＭまたはハードディスク等によって構成されて
いる。

【００６１】物体映像生成部３６は、例えば、ＯＳＤ回
路等によって構成され、映像データ記憶部３４等に記憶
された映像データに含まれる動作データと、形状データ
記憶部３５に記憶された形状データとに基づいて、楽曲
に合わせて踊る歌手等の動く物体を映像（動画）として
再生するための瞬時映像データを生成するものである。
さらに具体的に説明すると、当該通信カラオケ装置１０
０では、図１５に示すように、楽曲の再生と同時に、楽
曲の歌詞を表す歌詞画像Ｉｍ１と、背景画像Ｉｍ２と、
楽曲に合わせて踊る歌手の映像Ｉｍ３をモニタ９０に表
示する。物体映像生成部３６は、これら各画像および映
像のうち、楽曲に合わせて踊る歌手の映像Ｉｍ３を表示
するための瞬時映像データを生成する。ここで、瞬時映
像データは、映像Ｉｍ３の１フレーム分を形成するデー
タである。

【００６２】また、前記物体映像生成部３６には、作成
用メモリ３６Ａと、表示用メモリ３６Ｂとが設けられて
いる。物体映像生成部３６は、映像データ記憶部３４お
よび形状データ記憶部３５からそれぞれ動作データおよ
び形状データを受信し、これら動作データおよび形状デ
ータを作成用メモリ３６Ａに展開し、この作成用メモリ
３６Ａ内で瞬時映像データを生成する。その後、物体映
像生成部３６は、この瞬時映像データを、作成用メモリ
３６Ａから表示用メモリ３６Ｂに転送する。ここで、表
示用メモリ３６Ｂは、画像１フレームに一対一に対応し
た、いわゆるビデオメモリである。従って、作成用メモ
リ３６Ａから表示用メモリ３６Ｂに瞬時映像データを転
送することによって、表示用メモリ３６Ｂ内には、歌手
等の物体を表す１フレーム分の映像が形成される。そし
て、表示用メモリ３６Ｂ内に形成された映像は、合成部
５０に出力され、合成部５０において歌詞画像および背
景画像と合成されて、モニタ９０に表示される。

【００６３】背景画像生成部４０は、例えば、ＬＤ再生
装置等により構成されており、モニタ９０に表示する背
景画像Ｉｍ２を生成するものである。具体的に説明する
と、背景画像生成部４０は、ＬＤ（Laser Disc）に記録
された背景画像を形成するための画像データを読み出
し、この画像データに基づいて背景画像を生成し、生成
された背景画像を合成部５０に出力する。

【００６４】モニタ９０は、例えば、ＣＲＴ（Cathode-
Ray Tube）ディスプレイまたは液晶ディスプレイ等によ
り構成されている。

【００６５】上述したような通信カラオケ装置１００に
よれば、カラオケを行うときには、まず、入力部１７を
操作して、楽曲の選択、テンポの設定等を行い、楽曲の
演奏を開始すべき指示を入力する。これにより、カラオ
ケ演奏部１０の楽曲データ記憶部１６に記憶された楽曲
データの中から、選択された楽曲に対応する楽曲データ
が抽出される。また、選択された楽曲に対応する楽曲デ
ータが楽曲データ記憶部１６に存在しない場合には、Ｃ
Ｄ−ＲＯＭ読取部１４に装着されたＣＤ−ＲＯＭ内から
楽曲データが抽出される。さらに、選択された楽曲に対
応する楽曲データが楽曲データ記憶部１６にも、ＣＤ−
ＲＯＭ内にも存在しない場合には、選択された楽曲に対
応する楽曲データの伝送を、センターホストコンピュー
タ２００に要求する。これにより、その楽曲データが、
センターホストコンピュータ２００からモデム２１を介
して受信される。

【００６６】ここで、楽曲データ記憶部１６またはＣＤ
−ＲＯＭ内から抽出され、またはセンターホストコンピ
ュータ２００から伝送された楽曲データには、楽曲を再
生するための音声データと歌詞画像を生成するための歌
詞データが含まれている。従って、楽曲データは、音声
データと歌詞データに分離され、音声データはＲＡＭ１
２に、歌詞データは歌詞画像生成部１８にそれぞれ転送
される。

【００６７】続いて、音声用ＣＰＵ１１は、ＲＡＭ１２
に転送された音声データに基づいて自動演奏を行う。こ
れにより、音源部１９によって合成された音声がミキサ
アンプ６０を介してスピーカ７０に出力され、楽曲が演
奏される。これと並行して、歌詞画像生成部１８は、歌
詞データに基づいて歌詞画像を生成し、合成部５０に出
力する。また、このとき、音声用ＣＰＵ１１は楽曲の演
奏に対応した同期信号を映像再生部３０に向けて出力す
る。

【００６８】さらに、これと並行して、映像再生部３０
の映像データ記憶部３４に記憶された映像データの中か
ら、選択された楽曲に対応する映像データが抽出され
る。また、選択された楽曲に対応する映像データが映像
データ記憶部３４に存在しない場合には、ＣＤ−ＲＯＭ
読取部１４に装着されたＣＤ−ＲＯＭ内から映像データ
が抽出される。さらに、選択された楽曲に対応する映像
データが映像データ記憶部３４にも、ＣＤ−ＲＯＭ内に
も存在しない場合には、選択された楽曲に対応する映像
データの伝送を、センターホストコンピュータ２００に
要求する。これにより、その映像データが、センターホ
ストコンピュータ２００からモデム２１を介して受信さ
れる。

【００６９】続いて、映像データ記憶部３４またはＣＤ
−ＲＯＭ内から抽出され、またはセンターホストコンピ
ュータ２００から伝送された映像データから動作データ
が抽出され、この動作データが、形状データ記憶部３５
に記憶された形状データと共に、物体映像生成部３６の
作成用メモリ３６Ａに転送される。そして、物体映像生
成部３６により、歌手等の物体を表す映像の１フレーム
分の画像を形成する瞬時映像データが生成され、合成部
５０に出力される。このとき、物体映像生成部３６は、
音声用ＣＰＵ１１から映像再生部３０に向けて出力され
た同期信号に同期するように瞬時映像データを出力す
る。

【００７０】さらに、これと並行して、背景画像生成部
４０から合成部５０に向けて、選択された楽曲に対応す
る背景画像が出力される。そして、歌詞画像生成部１８
から出力された歌詞画像、物体映像生成部３６から出力
された歌手等を表す映像および背景画像生成部４０から
出力された背景画像は、合成部５０により合成され、モ
ニタ９０に表示される。

【００７１】これにより、選択された楽曲の再生が実行
されると共に、楽曲の再生に同期して踊る歌手等の映像
が、歌詞画像および背景画像と共にモニタ９０に表示さ
れる。

【００７２】（２）楽曲データおよび映像データの構成 次に、楽曲データおよび映像データの構成について説明
する。

【００７３】図２は、楽曲データの構成を示している。
楽曲データは、ヘッダＨｍ、対応する楽曲を特定するた
めの番号である曲番号Ｎｍ、楽曲を再生する際の速度を
示すテンポデータＴｍ、楽曲に対応する背景画像を指定
するための番号である背景データＢｍおよび複数の演奏
データＰｍ等から構成されている。

【００７４】さらに、各演奏データＰｍは、音声データ
Ｓｄと時間データＴｓｄからなるブロックと、歌詞デー
タＷｄおよび時間データＴｗｄからなるブロックとから
構成されている。音声データＳｄは、楽曲を再生するた
めのデータであり、例えば、ＭＩＤＩデータ等によって
構成されている。より具体的に説明すると、音声データ
Ｓｄは、音を鳴らす旨の指令、音を止める旨の指令、ど
の音を鳴らすかを指定する旨の指令等を含んでいる。音
声データＳｄの隣に配列された時間データＴｓｄは、音
声データに基づく指令を実行する時間（タイミング）を
制御するのに用いられるデータである。一方、歌詞デー
タＷｄは、歌詞画像を生成するためのデータである。歌
詞データＷｄの隣に配列された時間データＴｗｄは、歌
詞画像を生成する時間（タイミング）を制御するのに用
いられるデータである。

【００７５】また、図３は、映像データの構成を示して
いる。映像データは、ヘッダＨｐ、対応する楽曲を特定
するための番号である曲番号Ｎｐ、動作データのデータ
数Ｄｐおよび複数の動作データＭｐ等から構成されてい
る。

【００７６】（３）動作データおよび形状データの構成 次に、動作データおよび形状データの構成について説明
する。上述したように、動作データおよび形状データ
は、楽曲の再生に同期して踊る歌手等の映像を形成する
ための瞬時映像データを生成するのに用いられるデータ
である。

【００７７】動作データは、人間、動物またはこれらの
模倣物からなる物体を表す映像を複数の構成要素に分割
し、これら各構成要素の位置および回転を設定するデー
タである。また、動作データは、図３に示すように、映
像データ中に複数配列されており、個々の動作データ
（瞬時動作データ）は、１フレーム分の映像の動き（位
置および回転）を設定するものである。なお、上述した
ように、動作データは、映像データの一部に含まれ、各
楽曲毎に個別に設定されている。また、映像データは、
センターホストコンピュータから電話回線で受け取るこ
とができる。

【００７８】さらに具体的に説明すると、動作データ
は、人間、動物またはこれらの模倣物からなる物体を表
す映像を複数の構成要素に分割し、これら各構成要素の
位置または動作を設定するデータである。

【００７９】例えば、図５に示すように、人間を模倣し
た人間モデルを仮想的に定義し、この人間モデルを腰、
胸、頭、腕および脚等の各構成要素に分割する。この分
割した各構成要素を「レベル」と呼ぶ。例えば、図５に
示すように、人間モデルはレベル１〜レベル１７に分割
され、そのうちレベルＬ１は人間モデルの腰に相当し、
レベルＬ５は人間モデルの頭に相当する。そして、レベ
ル１はＸ軸方向、Ｙ軸方向およびＺ軸方向に移動するこ
とができると共に、Ｘ軸方向の軸、Ｙ軸方向の軸および
Ｚ軸方向の軸をそれぞれ中心として回転することができ
る。各レベル２〜１７は、連結部Ｒでそれぞれ連結され
ており、連結部Ｒを基準にＸ軸方向の軸、Ｙ軸方向の軸
およびＺ軸方向の軸を中心として回転することができ
る。動作データは、このような各レベルの位置および回
転を記録したものである。

【００８０】ここで、図４は、動作データの構成を示し
ている。図４に示すように、動作データは、レベル１〜
レベル１７の各動作データによって構成されており、レ
ベル１の動作データは、位置座標（Ｘ,Ｙ,Ｚ）および回
転角度（Ｘｒ,Ｙｒ,Ｚｒ）によって構成され、レベル２
〜レベル１７の各動作データは回転角度（Ｘｒ,Ｙｒ,Ｚ
ｒ）のみによって構成されている。

【００８１】また、動作データは、以下の方法で作成す
る。即ち、楽曲を、その楽曲に予め設定された基準テン
ポＴｍで再生する。そして、その再生された楽曲に合わ
せて人間が実際に踊り（ダンス、振り）を行う。さら
に、踊りを行っている人間の各構成要素の位置、回転等
を所定の測定周期、例えば１／１５秒の周期で測定し、
前記レベル１〜１７の各座標に関するデータを採取す
る。これにより、１／１５秒毎に動作データが作成され
る。なお、この測定周期は後述する表示周期と同一であ
る。

【００８２】このように構成される動作データは、従来
のようなフレーム毎に完全な画像データを用意するもの
と比較してデータ量が少ない。従って、動作データを各
楽曲毎に個別に設定することができ、センターホストコ
ンピュータ２００から通信カラオケ装置１００に向けて
短時間で伝送することができる。

【００８３】一方、形状データは、人間、動物またはこ
れらの模倣物からなる物体を表す映像を複数の構成要素
に分割し、これら各構成要素の形状を設定するデータで
ある。形状データは、形状データ記憶部３５に記憶され
ている。そして、形状データは、動作データと異なり、
各楽曲毎に個別に設定されていない。即ち、形状データ
は、主として複数の楽曲で共通して用いられる。なお、
形状データは、表示する映像の種類に応じて複数種類設
けられている。例えば、複数種類の形状データを変更す
ることにより、歌手の映像を動物の映像に変更して表示
することができる。

【００８４】また、形状データは、各レベル１〜１７毎
にそれぞれ設定されている。ここで、図６は、レベルＬ
１の形状データの構成を示している。図６に示すよう
に、形状データは、頂点座標Ａ１〜Ａ８からなる頂点座
標データと、ポリゴンデータＰ１〜Ｐ６からなるポリゴ
ンリンクデータとから構成されている。頂点座標データ
は、図７に示すように、レベルＬ１の各頂点座標Ａ１〜
Ａ８を定めることにより、レベルＬ１の立体形状を設定
するものである。また、ポリゴンリンクデータは、レベ
ルＬ１の各面の質感や特性を定めるものである。具体的
に説明すると、ポリゴンリンクデータを構成する各ポリ
ゴンデータＰ１〜Ｐ６は、それぞれサーフェスデータと
頂点番号とから構成されている。サーフェスデータは、
表面の色、アンビエント、透明度、その表面に画像（テ
クスチャー）を張り付けるか否かを指示するデータ等を
有している。頂点座標は、各表面を形成する頂点を示す
データである。レベルＬ１の形状データはこのように構
成されるが、レベルＬ２〜Ｌ１７の各形状データも、同
様に構成されている。また、形状データには、各レベル
のつながりの関係を示す情報およびその位置、即ち、図
５で示すような連結部Ｒの座標を含んでいる。

【００８５】（４）楽曲と映像の同期 次に、本実施形態による通信カラオケ装置１００のカラ
オケ演奏部１０によって再生される楽曲と、映像再生部
３０によって生成され、モニタ９０に表示される歌手等
の映像の同期について説明する。

【００８６】楽曲の再生は、主として音声用ＣＰＵ１１
に設けられた自動演奏機能によって行われる。上述した
ように、音声用ＣＰＵ１１は、音声データに基づいてＭ
ＩＤＩ規格に従った自動演奏を行う。このとき、自動演
奏の基本的な時間制御はＭＩＤＩクロックによって行わ
れる。

【００８７】また、楽曲には、予め基準テンポが設定さ
れており、楽曲データ中にテンポデータＴｍとして記述
されている。この基準テンポは、楽曲毎に異なり、例え
ば、リズム感のあるロック等の楽曲の場合には、比較的
速い基準テンポが設定されている。また、バラード等の
ゆっくりした楽曲の場合には、比較的遅い基準テンポが
設定されている。従って、楽曲の再生は、通常、基準テ
ンポで行われる。しかしながら、入力部１７によってテ
ンポの変更を入力されたときには、入力されたテンポに
従って、楽曲を基準テンポよりも遅いテンポまたは基準
テンポよりも速いテンポで再生する。

【００８８】一方、歌手等の映像の生成は、主として映
像用ＣＰＵ３１および物体映像生成部３６によって行わ
れる。上述したように、物体映像生成部３６は、動作デ
ータと形状データとに基づいて映像の１フレームを形成
する瞬時映像データを生成する。即ち、物体映像生成部
３６は、作成用メモリ３６Ａ内で瞬時映像データを次々
に生成し、生成した瞬時映像データを表示用メモリ３６
Ｂに所定の表示周期で転送する。これにより、所定の表
示周期で変化する映像が合成部５０を介してモニタ９０
に表示される。

【００８９】ここで、前記所定の表示周期は、動作デー
タを測定したときに用いた測定周期と同一であり、例え
ば、１／１５秒である。即ち、動作データは、上述した
ように、楽曲を基準テンポＴｍで再生し、その再生され
た楽曲に合わせて人間が実際に踊り（ダンス、振り）を
行い、その踊っている人間の各構成要素の位置、回転等
を所定の測定周期、例えば１／１５秒周期で測定するこ
とによって生成される。従って、このように生成された
動作データを用い、かつ、前記所定の測定周期と同一の
表示周期で瞬時映像データを表示することにより、測定
時の人間の動きをそのまま再現し、自然にかつ滑らかに
動く映像を再生することができる。

【００９０】さらに、物体映像生成部３６が瞬時映像デ
ータを表示する表示周期、即ち、動作データを測定する
測定周期は、モニタ９０が１フレームを表示する表示周
期の整数倍となるように設定されている。即ち、モニタ
９０は、ＣＲＴディスプレイまたは液晶ディスプレイに
よって構成されており、１フレームの画像を一定の表示
周期、例えばＮＴＳＣ方式であれば、２フィールドから
なる１フレームを１／３０秒周期で表示する。この場
合、物体映像生成部３６が瞬時映像データを表示する表
示周期は、例えば、モニタ９０が１フレームを表示する
表示周期の２倍の周期、即ち、１／１５秒である。従っ
て、同一の画像が２フィールドにわたって表示されるこ
とになる。

【００９１】また、これら楽曲の再生と映像の表示との
同期は、音声用ＣＰＵ１１から映像用ＣＰＵ３１に出力
される同期信号と、後述する再生フレームテーブルＴｓ
に基づいて行われる。同期信号は、音声用ＣＰＵ１１に
よりＭＩＤＩクロックに基づいて生成される。ＭＩＤＩ
クロックは、例えば、楽曲の４分音符当たり２４のクロ
ックパルスを出力する信号であり、楽曲のテンポに対応
している。そして、同期信号は、このＭＩＤＩクロック
を分周した信号であり、例えば、楽曲の８分音符当たり
１のクロックパルスを出力する信号である。

【００９２】さらに、同期信号を構成する各クロックパ
ルスには、図９に示すように、楽曲の再生位置を認識す
るための識別符号が付される。この識別符号は、楽曲の
先頭から末尾に向けて１,２,３,…と１ずつ増加する。

【００９３】さらにまた、再生フレームテーブルは、図
８に示すように、同期信号を構成する各クロックパルス
と映像を構成する各フレームとの時間的な対応関係を記
述したテーブルである。即ち、物体映像生成部３６から
出力される瞬時映像データは、１／１５秒周期で変化
し、モニタ９０に表示される映像の１フレーム分を形成
する。ここで、モニタ９０に表示される映像の各フレー
ム（以下、これを「再生フレーム」という）を、図９に
示すように、所定の再生周期ｔ（１／１５秒周期）で再
生順に配列し、各再生フレームにＦ１〜Ｆ１１等のフレ
ーム番号を付ける。そして、再生する楽曲の基準テンポ
に基づいて同期信号の周期を算定し、これに基づいて、
同期信号を構成する各クロックパルスに付された識別番
号が、再生順に配列された各再生フレームＦ１〜Ｆ１１
等のうち、いずれの再生フレームに一致するかを算定す
る。その結果を記述したものが、再生フレームテーブル
Ｔｓである。なお、この再生フレームテーブルＴｓは、
楽曲の再生が開始される直前に作成される。

【００９４】それでは、楽曲の再生と映像の表示との同
期が、上述した同期信号および再生フレームテーブルＴ
ｓに基づいてどのようにして行われるかについて、図８
ないし図１１に従って説明する。

【００９５】楽曲の再生が基準テンポのとき まず、楽曲の再生が基準テンポのときには、図９に示す
ように、楽曲の再生開始と同時に、第１番目の再生フレ
ームＦ１を表示し、それ以降、楽曲の再生と並列して各
再生フレームＦ２〜Ｆ１１等を再生順通りに表示する。
即ち、楽曲の再生と並列して、物体映像生成部３６によ
って各再生フレームを形成するための瞬時映像データを
生成し、生成した瞬時画像データを再生周期ｔ毎に合成
部５０に出力する。合成部５０は、モニタ９０の表示周
期に同期させて合成された画像データをモニタ９０に出
力する。

【００９６】ここで、瞬時映像データを形成するために
用いられる動作データ（瞬時動作データ）は、基準テン
ポで再生した楽曲に合わせて踊る人間の動きを測定する
ことによって生成されている。従って、楽曲を基準テン
ポで再生するときには、楽曲の再生開始時点と、映像の
表示開始時点を一致させ、楽曲の再生と映像の表示とを
並列して行えば、楽曲の再生と映像の表示は同期する。
しかしながら、楽曲の再生テンポが再生中に変更された
場合や、楽曲を一度停止して再び再生する場合等に備え
て、楽曲の再生と各再生フレームの表示との時間的な対
応関係を常に認識しておく必要がある。そこで、通信カ
ラオケ装置１００は、楽曲の再生と各再生フレームの表
示との時間的な対応関係を、同期信号および再生フレー
ムテーブルＴｓに基づいて常に認識している。即ち、図
８に示す再生フレームテーブルＴｓによれば、同期信号
のクロックパルス１は再生フレームＦ１に対応し、クロ
ックパルス２は再生フレームＦ４に対応している。さら
に、クロックパルス３は再生フレームＦ７に対応し、ク
ロックパルス４は再生フレームＦ１１に対応している。
従って、楽曲を基準テンポで再生するときには、各クロ
ックパルスの出力と、再生フレームテーブルＴｓに記述
された再生フレームの表示とが時間的に一致し、かつ、
各クロックパルスと再生フレームの対応関係が、再生フ
レームテーブルの記述に合致しているか確認しながら、
映像の表示を行う。

【００９７】楽曲の再生が基準テンポよりも遅いとき 次に、楽曲の再生が基準テンポよりも遅いときには、図
１０に示すように、再生フレームＦ１〜Ｆ８等の間に補
間フレームＧ１,Ｇ２等を挿入する。即ち、楽曲の再生
が基準テンポより遅いときでも、各再生フレームの生成
・表示は、所定の表示周期ｔに同期して行われるため、
各再生フレームをそのまま再生順に表示したのでは、各
再生フレームの表示が楽曲の再生よりも早くなり、楽曲
の再生と映像の表示との同期がとれなくなる。そこで、
各クロックパルスの出力と、再生フレームテーブルＴｓ
に記述された再生フレームの表示とが時間的に一致し、
かつ、各クロックパルスと再生フレームの対応関係が、
再生フレームテーブルの記述に合致するように、再生フ
レームＦ１〜Ｆ８等の間に補間フレームＧ１,Ｇ２等を
挿入する。そして、再生フレームＦ１〜Ｆ８等および補
間フレームＧ１,Ｇ２を順次表示する。

【００９８】ここで、補間フレームＧ１,Ｇ２を形成す
る瞬時画像データを生成するのに用いられる動作データ
（以下、これを「補間動作データ」という）は、補間フ
レームを挿入する位置の直前に配置された再生フレーム
に対応する瞬時画像データの動作データ（以下、これを
「直前動作データ」という）と、補間フレームを挿入す
る位置の直後に配置された再生フレームに対応する瞬時
画像データの動作データ（以下、これを「直後動作デー
タ」という）とに基づいて算定される。さらに詳しく説
明すると、映像の動きが激しく、直前動作データと直後
動作データとの値の差が大きいときには、直前動作デー
タと直後動作データとの平均値が、補間動作データとし
て用いられる。映像の動きが緩やかで、直前動作データ
と直後動作データとの値の差が小さいときには、直前動
作データと直後動作データのうち、いずれか一方の値
が、補間動作データとして用いられる。これにより、楽
曲が基準テンポよりも遅い速度で再生されても、楽曲の
再生と映像の表示との同期を容易にとることができると
共に、表示される映像を滑らかに動作させることができ
る。

【００９９】楽曲の再生が基準テンポよりも速いとき 次に、楽曲の再生が基準テンポよりも速いときには、図
１１に示すように、各再生フレームＦ１〜Ｆ１３等のう
ち、一部の再生フレームＦ３，Ｆ６，Ｆ９，Ｆ１０，Ｆ
１３等を抜き取り、各再生フレームを間引きする。即
ち、楽曲の再生が基準テンポより速いときでも、各再生
フレームの生成・表示は、所定の表示周期ｔに同期して
行われるため、各再生フレームをそのまま再生順に表示
したのでは、各再生フレームの表示が楽曲の再生よりも
遅くなり、楽曲の再生と映像の表示との同期がとれなく
なる。そこで、各クロックパルスの出力と、再生フレー
ムテーブルＴｓに記述された再生フレームの表示とが時
間的に一致し、かつ、各クロックパルスと再生フレーム
の対応関係が、再生フレームテーブルの記述に合致する
ように、各再生フレームを間引きしながら、各再生フレ
ームの表示を行う。これにより、楽曲が基準テンポより
も速い速度で再生されても、楽曲の再生と映像の表示と
の同期を容易にとることができる。

【０１００】（５）同期映像生成処理 次に、同期映像生成処理について図１２ないし図１４の
フローチャートに沿って説明する。同期映像生成処理
は、上述したような楽曲の再生と映像の表示との同期を
行う処理であり、映像再生部３０のＲＯＭ３２に記憶さ
れた制御プログラムに従って映像用ＣＰＵ３１および物
体映像生成部３６によって実行される。

【０１０１】まず、通信カラオケ装置１００を利用者
が、入力部１７により、再生すべき楽曲を選択し、楽曲
の再生を開始する旨の指令を入力すると、カラオケ演奏
部１０の音声用ＣＰＵ１１は、選択された楽曲に対応す
る楽曲データを楽曲データ記憶部１６等からＲＡＭ１２
に転送する。そして、音声用ＣＰＵ１１は、楽曲データ
からテンポデータを抽出し、このテンポデータに基づい
て選択された楽曲の基準テンポを認識し、その基準テン
ポのデータを映像用ＣＰＵ３１に出力する。さらに、音
声用ＣＰＵ１１は、入力部１７から入力されたテンポ変
更の指令等を認識し、これら指令に従って楽曲再生に関
する設定を行う。

【０１０２】そして、上述したように音声用ＣＰＵ１１
が楽曲再生に関する設定を行っている間に、映像再生部
３０の映像用ＣＰＵ３１は、選択された楽曲に対応する
映像データを映像データ記憶部３４等から物体映像生成
部３６に転送すると共に、形状データを形状データ記憶
部３５から物体映像生成部３６に転送する。さらに、映
像用ＣＰＵ３１は、音声用ＣＰＵ１１から受け取った基
準テンポを、物体映像生成部３６に出力する。続いて、
物体映像生成部３６において、以下に説明する同期画像
生成処理のプログラムがスタートする。

【０１０３】まず、図１２中のステップ１では、映像デ
ータ記憶部３４等から転送される映像データ、形状デー
タ記憶部３５から出力される形状データおよび映像用Ｃ
ＰＵ３１から出力される基準テンポのデータを、物体映
像生成部３６が受信したか否か判定する。いずれのデー
タも受信しないときには、いずれかのデータを受信する
までステップ１を繰り返す。

【０１０４】そして、形状データを受信したときには、
ステップ１からステップ２を経てステップ５に移行す
る。そして、ステップ５では、受信した形状データを物
体映像生成部３６の作成用メモリ３６Ａに展開し、再び
ステップ１に戻る。また、ステップ１で映像データを受
信したときには、ステップ１からステップ２および３を
経てステップ５に移行する。そして、ステップ５では、
映像データ中から動作データを抽出し、その動作データ
を物体映像生成部３６の作成用メモリ３６Ａに展開し、
再びステップ１に戻る。このとき、各動作データにはフ
レーム番号を付し、フレーム番号によってランダムアク
セス可能に記憶しておく。最終的に、フレーム番号は１
からデータ数Ｄｐまでとなる。さらに、ステップ１で基
準テンポのデータを受信したときには、ステップ１から
ステップ２および３を経てステップ４に移行する。そし
て、ステップ４で「ＹＥＳ」と判定し、受信した基準テ
ンポのデータを物体映像生成部３６に設けられたメモリ
に記憶してから、ステップ６に移行する。一方、ステッ
プ１で、形状データ、映像データおよび基準データ以外
のデータを受信したときには、ステップ１からステップ
２および３を経てステップ４に移行し、ステップ４で
「ＮＯ」と判定し、ステップ１に戻る。

【０１０５】ステップ６では、すべての形状データを受
信し、形状データの受信が完了したか否かを判定する。
その結果、形状データの受信を完了していないときに
は、ステップ１に戻って形状データの受信を待ち、形状
データの受信を完了したときには、ステップ７に移行す
る。

【０１０６】ステップ７では、選択された楽曲に対応す
る映像データ（動作データ）をすべて受信し、映像デー
タの受信を完了したか、即ち、データ数Ｄｐ分の動作デ
ータを受信したか否かを判定する。その結果、映像デー
タの受信を完了していないときには、ステップ１に戻っ
て映像データの受信を待ち、映像データの受信を完了し
たときには、ステップ８に移行する。

【０１０７】ステップ８では、モニタ９０に表示すべき
映像の視点位置と光源位置をデフォルト（初期設定）の
位置に設定する。ここで、物体映像生成部３６は、視点
位置、即ち、物体の映像をモニタ９０に表示するとき
に、物体をどの角度、どの距離から見た状態で表示する
かを設定することができ、例えば、歌手等の映像を前か
らだけでなく、横や後ろから見た状態で表示することが
できる。なお、視点位置をデフォルトの位置に設定する
と、前から見た歌手等の映像が表示される。また、物体
映像生成部３６は、光源位置、即ち、映像をモニタ９０
に表示するときに、映像にどの角度からライトを当てた
状態で表示するかを設定することができ、例えば、左
上、右上、正面等からライトを当てた状態で歌手等の映
像を表示することができる。なお、光源位置をデフォル
トの位置に設定すると、左上からライトを当てた歌手等
の映像が表示される。

【０１０８】ステップ９では、ステップ４で受信した基
準テンポのデータおよびデータ数Ｄｐ、即ち動作データ
Ｍｐの数に基づいて、図８に示すような再生フレームテ
ーブルＴｓをその１曲分について作成する。

【０１０９】次に、図１３中のステップ１０では、楽曲
の再生位置を認識する。即ち、通常、楽曲は、その先頭
から再生されるが、利用者が入力部１７を操作して、楽
曲の再生位置を指定した場合には、その指定された位置
から楽曲を再生することができる。即ち、利用者が楽曲
の再生位置を指定した場合には、その指定された再生位
置を示すデータが物体映像生成部３６に入力される。こ
こで、同期信号を構成する各クロックパルスには、再生
位置を認識するための識別符号が付されている。従っ
て、指定された再生位置を示すデータに基づいて、指定
された再生位置に対応するクロックパルスの識別符号を
認識することにより、指定された位置から楽曲が再生す
ることができる。

【０１１０】ステップ１１では、楽曲の再生開始の指示
を受信したか否か判定する。即ち、利用者が入力部１７
を操作して、楽曲の再生を開始する旨の指示を入力する
と、その指示は物体映像生成部３６に送信される。そし
て、その指示を物体映像生成部３６が受信すると、ステ
ップ１１で「ＹＥＳ」と判定し、ステップ１２に移行す
る。これにより、カラオケ演奏部１０では、ステップ１
０で指定された再生位置から楽曲の再生が開始され、映
像再生部３０では、ステップ１０で指定された再生位置
から映像の生成が開始される。一方、楽曲の再生を開始
する旨の指示を受信しないときには、ステップ１１で
「ＮＯ」と判定し、楽曲の再生を開始する旨の指示を受
信するまでステップ１１を繰り返す。

【０１１１】ステップ１２では、楽曲の再生終了の指示
を受信したか否か判定する。即ち、利用者が入力部１７
を操作して、楽曲の再生を終了（中止）する旨の指示を
入力すると、その指示は物体映像生成部３６に送信され
る。そして、その指示を物体映像生成部３６が受信する
と、ステップ１２で「ＹＥＳ」と判定し、楽曲の再生を
終了すると共に、同期画像生成処理を終了する。一方、
楽曲の再生を終了する旨の指示を受信しないときには、
ステップ１２で「ＮＯ」と判定し、ステップ１３に移行
する。

【０１１２】ステップ１３およびステップ１４では、視
点情報または光源情報を受信したか否かを判定する。即
ち、通信カラオケ装置１００は、視点位置を設定するた
めの情報である視点情報と、光源位置を設定するための
情報である光源情報を利用者の指示に従って設定、変更
する機能を有している。そして、利用者が入力部１７を
操作して視点情報または光源情報を入力すると、このス
テップ１３またはステップ１４で、「ＹＥＳ」と判定さ
れ、ステップ１５に移行し、ステップ１５で、各情報が
物体映像生成部３６に設けられたメモリに記憶される。

【０１１３】ステップ１６では、ステップ５で、物体映
像生成部３６の作成用メモリ３６Ａに展開した形状デー
タおよび動作データに基づいて再生フレームを生成す
る。即ち、形状データおよび動作データに基づいて再生
フレームを形成するための瞬時映像データを生成する。
そして、再生フレームを生成してから１／１５秒間経過
するまでステップ１７を繰り返し、その後、ステップ１
８で、音声用ＣＰＵ１１から出力された同期信号のクロ
ックパルスを受信したか否かを判定する。

【０１１４】ステップ１８で同期信号のクロックパルス
を受信したときには、ステップ２２に移行し、ステップ
２２で、同期信号のクロックパルスを受信した時点にお
いて、次に表示しようとしている再生フレームが同期フ
レームか否かを判定する。ここで、「同期フレーム」と
は、再生フレームテーブルＴｓに記述されたフレーム番
号に相当する再生フレームを意味する。即ち、上述した
ように、再生フレームテーブルＴｓは、楽曲を基準テン
ポで再生し、かつ、これと同時に、各再生フレームを所
定の表示周期（例えば、１／１５秒周期）で表示したと
き、同期信号を構成する各クロックパルスと時間的に一
致する再生フレームを記述したものである。従って、同
期信号の各クロックパルスを受信したときには、再生フ
レームテーブルＴｓに記述されたフレーム番号に相当す
る再生フレームを表示するようにすれば、楽曲の再生と
映像の表示との同期をとることができる。この意味で、
再生フレームテーブルに記述されたフレーム番号に相当
する再生フレームを「同期フレーム」という。例えば、
図８に示す再生フレームテーブルによれば、同期フレー
ムは、再生フレームＦ１，Ｆ４，Ｆ７，Ｆ１１等であ
る。なお、図９ないし図１１では、枠内に斜線を付した
再生フレームが、同期フレームである。

【０１１５】そして、ステップ２２の判定の結果、同期
信号のクロックパルスを受信した時点において、次に表
示しようとしている映像の再生フレームが同期フレーム
であるときには、その同期フレームを表示すべく、図１
４中のステップ２４に移行する。

【０１１６】一方、ステップ２２の判定の結果、同期信
号のクロックパルスを受信した時点において、次に表示
しようとしている映像の再生フレームが同期フレームで
ないときには、ステップ２３に移行し、ステップ２３
で、その再生フレームを破棄する。そして、その破棄し
た再生フレームの代わりに、その再生フレームからみて
時間的に後側に配列されている各同期フレームのうち、
一番近い同期フレームを表示すべく、その同期フレーム
を形成する瞬時動作データを使用して生成する。そし
て、その同期フレームを表示すべく、図１４中のステッ
プ２４に移行する。

【０１１７】ここで、ステップ２２の判定の結果、同期
信号のクロックパルスを受信した時点において、次に表
示しようとしている再生フレームが同期フレームでない
といった事態は、楽曲の再生が基準テンポよりも速いと
きに起こる。即ち、図９に示すように、楽曲の再生が基
準テンポのときには、再生順に配列された各再生フレー
ムがそのままの順序で表示されれば、各クロックパルス
の出力と同期フレームの表示とは時間的に一致し、楽曲
の再生と映像の表示との同期はとれる。このため、ステ
ップ１８で同期信号のクロックパルスを受信した時点に
おいて、次に表示しようとしている映像の再生フレーム
は、常に同期フレームである。言い換えれば、同期信号
を構成する各クロックパルスが出力される時間間隔は、
同期フレームが配置された時間間隔と等しい。一方、図
１１に示すように、楽曲の再生が基準テンポよりも速い
ときには、同期信号を構成する各クロックパルスが出力
される時間間隔が、各同期フレームが配置された時間間
隔よりも短くなる。従って、ステップ２２の判定の結
果、同期信号のクロックパルスを受信した時点におい
て、次に表示しようとしている再生フレームが同期フレ
ームでないといった事態が生じる。この場合には、次に
表示しようとしている再生フレームを間引きする。即
ち、次に表示しようとしている再生フレームを破棄し、
破棄した再生フレームの代わりに、その破棄した再生フ
レームからみて時間的に後側に配列されている各同期フ
レームのうち一番近い同期フレームを表示するようにす
る。これにより、楽曲の再生が基準テンポよりも速くて
も、各クロックパルスの出力と各同期フレームの表示と
を時間的に一致させることができ、楽曲の再生と映像の
表示との同期をとることができる。即ち、表示される映
像の動きは、楽曲の再生が速められた分、速くなる。

【０１１８】一方、ステップ１７において、再生フレー
ムを生成してから１／１５秒間経過した時点において、
ステップ１８で同期信号のクロックパルスを受信しなか
った場合には、ステップ１９に移行し、ステップ１９
で、次に表示しようとしている再生フレームが同期フレ
ームか否かを判定する。そして、ステップ１９の判定の
結果、次に表示しようとしている再生フレームが同期フ
レームでないときには、その再生フレームを表示すべ
く、図１４中のステップ２４に移行する。

【０１１９】一方、ステップ１９の判定の結果、次に表
示しようとしている再生フレームが同期フレームの場合
には、ステップ２０に移行し、補間フレームを生成し、
ステップ２１で、次に表示しようとしている同期フレー
ムの直前に、生成した補間フレームを挿入する。そし
て、挿入した補間フレームを表示すべく、図１４中のス
テップ２４に移行する。

【０１２０】ここで、ステップ１９の判定の結果、同期
信号のクロックパルスを受信していないにも拘わらず、
次に表示しようとしている再生フレームが同期フレーム
であるといった事態は、楽曲の再生が基準テンポよりも
遅いときに起こる。即ち、図１０に示すように、楽曲の
再生が基準テンポよりも遅いときには、同期信号を構成
する各クロックパルスが出力される時間間隔が、各同期
フレームが配置された時間間隔よりも長くなる。従っ
て、ステップ１９の判定の結果、同期信号のクロックパ
ルスを受信していないにも拘わらず、次に表示しようと
している再生フレームが同期フレームであるといった事
態が生じる。この場合には、各同期フレームの間に補間
フレームを挿入し、各クロックパルスの出力と、各同期
フレームの表示とが一致するように調整する。これによ
り、楽曲の再生が基準テンポよりも遅くても、楽曲の再
生と映像の表示との同期をとることができる。即ち、表
示される映像の動きは、楽曲の再生が遅くなった分だ
け、遅くなる。

【０１２１】ステップ２４では、再生フレームを形成す
る瞬時映像データの動作データおよび視点情報に基づい
てポリゴンの表示座標系での座標を計算する。ここで、
ステップ１３で入力された視点情報に従って、表示すべ
き映像の視点位置が算定される。

【０１２２】ステップ２５では、形状データ、光源情報
および視点情報に基づいてテクスチャの張り付けを行
う。これにより、視点位置によって変化する表面の模様
や質感がポリゴンの各表面に付加される。

【０１２３】ステップ２６では、光源情報および視点情
報に基づいてポリゴンのシェーディングを行う。これに
より、光源の向きによって形成される影等が各ポリゴン
に付加される。

【０１２４】ステップ２７では、物体映像生成部３６の
作成用メモリ３６Ａに生成された瞬時映像データを表示
用メモリ３６Ｂに転送する。これにより、瞬時映像デー
タによって形成された映像が、合成部５０を介してモニ
タ９０に表示される。

【０１２５】その後、ステップ１２に戻り、ステップ１
２で、楽曲の再生を終了する旨の指示を受信するまで、
ステップ１３〜ステップ２７の処理を繰り返し実行す
る。これにより、楽曲が再生されると共に、モニタ９０
には、図１５に示すように、楽曲に合わせて踊る歌手等
の映像が表示される。

【０１２６】かくして、本実施形態による通信カラオケ
装置１００によれば、楽曲の再生に合わせて踊る歌手等
の映像をモニタ９０に表示することができる。特に、歌
手等の映像を形成する瞬時映像データを生成するときに
用いられる動作データと形状データをそれぞれ分離して
記憶する構成としたから、比較的データ量の少ない動作
データを各楽曲毎に設け、形状データを各楽曲共通にす
れば、各楽曲毎に固有の動作をする映像を少ないデータ
量で容易に生成することができる。

【０１２７】さらに、動作データは、比較的データ量が
少ないため、楽曲データと同様に、センターホストコン
ピュータ２００から電話回線を介して伝送することがで
きる。これにより、最新の楽曲等、通信カラオケ装置１
００内に記憶されていない楽曲を再生するときには、楽
曲データと共に、その楽曲に対応する動作データをセン
ターホストコンピュータ２００から受け取ることができ
る。従って、最新の楽曲等を即座に再生できると共に、
その楽曲に施された最新の踊り、振り付け等を楽曲に同
期させながら、即座に表示することができる。

【０１２８】さらに、動作データと形状データをそれぞ
れ分離して記憶する構成としたから、表示する映像の種
類に応じて複数種類の形状データを設ければ、形状デー
タの種類を変更することによって、楽曲に合わせて踊る
映像の様子を大幅に変化させることができる。例えば、
男性の映像を形成する形状データと、女性の映像を形成
する形状データとの２種類の形状データを設ければ、動
作データを変更することなく、１つの楽曲について、男
性が踊る映像と女性が踊る映像との２種類の映像を選択
して、あるいは合成して同時に表示することができる。

【０１２９】また、本実施形態による通信カラオケ装置
１００によれば、楽曲データと動作データとが完全に分
離しているため、既存の楽曲データに動作データを容易
に後付することができる。例えば、既存の楽曲データを
再生し、その再生された楽曲に合わせて人間が踊り、そ
の人間の動きを測定して動作データを生成するだけで、
既存の楽曲データに対応した動作データを生成すること
ができる。そして、このようにして生成された動作デー
タを、例えば、センターホストコンピュータ２００から
通信カラオケ装置１００に伝送すれば、既存の楽曲デー
タに対応する動作データを容易に追加することができ
る。従って、既存の楽曲データを作成し直す必要がな
く、既存の楽曲データを有効に利用することができる。

【０１３０】また、本実施形態による通信カラオケ装置
１００によれば、基準テンポで再生された楽曲に合わせ
て踊る人間の動作を所定の測定周期で測定することによ
り、動作データを生成し、この動作データを用いて生成
された瞬時映像データを、前記測定周期と同一の表示周
期で表示する構成としたから、楽曲を基準テンポで再生
したとき、楽曲の再生と映像の表示との同期を容易にと
ることができ、かつ、楽曲に合わせて踊る歌手等の映像
を正確に再現できる。

【０１３１】さらに、楽曲の再生が基準テンポよりも遅
いときには、補間フレームを、各同期フレームの間に挿
入する構成としたから、楽曲の再生が基準テンポよりも
遅くても、楽曲の再生と映像の表示とを同期させること
ができ、かつ、表示される映像を滑らかに動かすことが
できる。また、楽曲の再生が基準テンポよりも速いとき
には、一部を再生フレームを間引きする構成としたか
ら、楽曲の再生が基準テンポよりも速いときでも、楽曲
の再生と映像の表示とを容易の同期させることができ
る。

【０１３２】一方、本実施形態による通信カラオケ装置
１００によれば、各再生フレームの表示周期、即ち、各
瞬時映像データの表示周期を、モニタ９０が１フレーム
の画像を表示する表示周期の整数倍となるように設定し
たから、物体映像生成部３６によって生成された各瞬時
映像データによって形成される映像を、モニタ９０の表
示周期に合わせて表示することができる。従って、物体
映像生成部３６によって生成された各瞬時映像データに
よって形成される映像をすべてモニタ９０に表示するこ
とができ、モニタ９０に表示される映像の動きを滑らか
にすることができる。

【０１３３】また、上述した実施形態によれば、各再生
フレームを表示する表示周期は、同期信号の周期よりも
短い。ここで、楽曲のテンポは、通常、１分間あたりの
４分音符の数で表す。テンポが速い楽曲でも、１分間あ
たりの４分音符の数はせいぜい２４０程度である。一
方、同期信号の周期は、楽曲の８分音符あたりに１クロ
ックパルスが出力される周期であるから、１分間あたり
の４分音符の数が２４０の楽曲を再生すると、同期信号
の周期は、１／８秒となる。これに対し、各再生フレー
ムを表示する表示周期は、例えば１／１５秒である。従
って、各再生フレームを表示する表示周期は、同期信号
の周期よりも短い。

【０１３４】このように、各再生フレームを表示する表
示周期が、同期信号の周期よりも短いと、同期信号を構
成する各クロックパルスが出力される間に、複数の再生
フレームを表示することができる。例えば、図９に示す
ように、クロックパルス１が出力されてから、次のクロ
ックパルス２が出力されるまでの間に、４つの再生フレ
ームＦ１〜Ｆ４を表示することができる。このように、
同期信号を構成する各クロックパルスが出力される間
に、複数の再生フレームを表示することができると、楽
曲のテンポが基準テンポよりも速くなったときでも、図
１１のように、一部の再生フレームを間引きすることに
よって、楽曲の再生と映像の表示との同期を容易にかつ
正確にとることができる。一方、楽曲のテンポが基準テ
ンポよりも遅くなったときでも、図１０に示すように、
各再生フレーム間に補間フレームを挿入することによ
り、各クロックパルスの出力と各同期フレームの表示と
を時間的に正確に一致させることができ、楽曲の再生と
映像の表示との同期を容易にかつ正確にとることができ
る。

【０１３５】また、本実施形態による通信カラオケ装置
１００によれば、同期信号を構成する各クロックパルス
に、楽曲の再生位置を認識するための識別符号を付した
から、楽曲の再生位置を常に認識することができ、楽曲
の途中からの再生や、楽曲の早送り、巻き戻し等を容易
に行うことができる。

【０１３６】また、上述したように、形状データは、形
状データ記憶部３５に複数種類記憶されており、楽曲の
タイプ（曲調や歌手が男性か女性か等）によって選択す
ることができる。例えば、楽曲データにどの形状データ
を使用するかを示す選択データを記述しておくことによ
り、その楽曲に標準的な歌手が自動的に選択できる。ま
た、形状データを入力部１７からの入力によって選択で
きる構成とすることにより、利用者の好みに応じた歌手
等を選択することができる。さらに、複数の歌手を選択
すれば、モニタ９０内に同一の動作をする複数の歌手を
同時に並べて表示することができる。

【０１３７】なお、前記実施形態では、補間フレームを
同期フレームの直前に挿入するが、本発明はこれに限ら
ず、同期フレームではない各再生フレームの間や、同期
フレームの直後に挿入してもよい。また、楽曲のテンポ
が基準テンポよりも大幅に遅いときには、複数の補間フ
レームを連続的に挿入する必要が生じる。この場合に
は、各補間フレームの挿入位置を分散させるようにす
る。これにより、表示される物体の動きをより滑らかに
することができる。同様に、楽曲のテンポが基準テンポ
よりも大幅に速いときには、複数の再生フレームを連続
的に間引きする必要が生じる。この場合には、間引きす
る各再生フレームを分散させるようにする。これによ
り、表示される物体の動きをより滑らかにすることがで
きる。また、各補間フレームの挿入位置を分散させる処
理、または、各再生フレームを分散的に間引きする処理
は、楽曲の再生中に演算して求めてもよく、楽曲の再生
前のテンポ設定時等に演算して求めてもよい。

【０１３８】また、前記実施形態では、表示周期を１／
１５秒としたが、本発明はこれに限らず、動作データの
データ量、画像作成処理の所要時間等の条件がよけれ
ば、動きをより滑らかに再生するために、表示周期を１
／１５秒よりも短い時間としてもよい。例えば、前記実
施形態におけるモニタ９０の表示周期は、１フレームが
２フィールドからなるので、１フィールド１／６０秒で
ある。従って、表示周期を１／６０秒としてもよい。

【０１３９】また、前記実施形態では、形状データを映
像再生部３０内の形状データ記憶部３５に記憶するよう
にしたが、本発明はこれに限るものではない。例えば、
形状データをＲＡＭ１２内に記憶してもよい。また、前
記実施形態では、動作データを映像データ記憶部３４に
記憶するようにしたが、例えば、動作データを楽曲デー
タと共に楽曲データ記憶部１６に記憶してもよい。即
ち、形状データ、動作データ、楽曲データを、それぞれ
独立したファイルとして扱うことができ、それぞれのデ
ータに個別にアクセスでき、個別に追加、変更、削除等
ができれば、前記各データをそれぞれ別々の記憶装置に
記憶しなくてもよい。

【０１４０】また、前記実施形態では、歌手等の人間の
映像を表示する場合を例に挙げたが、本発明はこれに限
らず、動物や、人間または動物の模倣物を表示してもよ
い。例えば、犬や猫といった動物のキャラクターが人間
のように踊る映像を表示するようにしてもよい。

【０１４１】また、前記実施形態では、形状データを形
状データ記憶部３５に記憶するものとして述べたが、本
発明はこれに限らず、形状データをＣＤ−ＲＯＭ等を用
いて追加、変更することができる構成としてもよい。ま
た、センターホストコンピュータ２００から形状データ
を受信し、適宜、追加、変更、削除できる構成としても
よい。この場合、形状データ自体は、比較的データ量が
小さいため、センターホストコンピュータ２００から通
信カラオケ装置１００に向けて短時間で伝送することが
できる。そこで、通信カラオケ装置１００が利用されな
い時間に、形状データの伝送を適宜行うようにすればよ
い。

【０１４２】さらに、前記実施形態では、同期画像生成
方法を通信カラオケ装置に適用した場合を例に挙げて説
明したが、本発明はこれに限らず、エアロビクスの音楽
とエアロビクスのインストラクターの映像とを同期させ
る装置や、アナウンサーの声と手話の映像を同期させる
装置等にも適用できる。

【０１４３】

【発明の効果】以上詳述したとおり、請求項１の発明に
よれば、人間、動物またはこれらの模倣物からなる物体
を表す映像を複数の構成要素に分割し、これら各構成要
素の形状を設定する形状データと、前記各構成要素の位
置または動作を設定する動作データとに基づいて、前記
物体を動画として再生するための瞬時映像データを生成
し、この瞬時映像データを、音声の再生に同期して出力
される同期信号に同期させながら表示する構成としたか
ら、音声の再生に同期して動作し、かつ、複数種類の音
声がある場合には、各音声毎に異なった動作をする映像
を表示することができる。

【０１４４】請求項２の発明によれば、動作データを、
音声データに基づく音声を基準速度で再生し、その再生
された音声に合わせて物体を動かし、そのときの物体の
各構成要素の位置または動作を所定時間毎に測定するこ
とによって形成された複数の瞬時動作データから構成す
ると共に、音声の再生速度が基準速度のときには、各瞬
時動作データにそれぞれ対応した瞬時映像データを生成
し、音声の再生速度が基準速度よりも遅いときには、各
瞬時動作データの間を補間する補間動作データを生成
し、各瞬時動作データおよび補間動作データにそれぞれ
対応した瞬時映像データを生成する構成としたから、音
声の再生速度を遅くした場合でも、表示している映像を
音声の再生に同期させながら滑らかに動作させることが
できる。

【０１４５】請求項３の発明によれば、音声の再生速度
が基準速度よりも速いときには、各瞬時動作データを間
引きし、間引きされた各瞬時動作データにそれぞれ対応
した瞬時映像データを生成する構成としたから、音声の
再生速度を速くした場合でも、音声の再生に同期して動
く映像を容易に表示させることができる。

【０１４６】請求項４の発明によれば、動作データを、
音声データに基づく音声を基準速度で再生し、その再生
された音声に合わせて物体を動かし、そのときの物体の
各構成要素の位置または動作を、表示装置の表示周期の
整数倍の周期で測定することによって形成された複数の
瞬時動作データから構成したから、音声の再生に同期し
て動く映像の１フレームが表示される周期を、表示装置
の表示周期に合致させることができ、表示装置に表示さ
れる映像の動きを滑らかにすることができる。

【０１４７】請求項５の発明によれば、動作データを、
音声データに基づく音声を基準速度で再生し、その再生
された音声に合わせて物体を動かし、そのときの物体の
各構成要素の位置または動作を、同期信号の周期よりも
短い周期で測定することによって形成された複数の瞬時
動作データから構成したから、音声の再生に同期して動
く映像の１フレームが表示される周期を、音声の再生と
映像の表示との間の同期周期よりも短くすることができ
る。これにより、音声の再生速度を変化させ、前記同期
信号の周期を変化させても、音声の再生と映像の表示と
の間の同期を容易にかつ正確にとることができる。

【０１４８】請求項６の発明によれば、同期信号出力手
段により出力される同期信号に、音声データの再生位置
を認識するための符号を付す構成としたから、音声デー
タの再生位置を認識することができ、音声データの再生
位置に対応した映像を表示することができる。従って、
楽曲等の音声を途中から再生したときでも、その音声に
正確に同期して動作する映像を表示することができる。

【０１４９】請求項７の発明によるカラオケ装置によれ
ば、音声データを音声データ記憶手段に、形状データを
形状データ記憶手段に、動作データを動作データ記憶手
段にそれぞれ別々に記憶する構成としたため、音声デー
タ、形状データおよび動作データをそれぞれ独立して取
り扱うことができる。これにより、例えば、音声データ
および動作データは楽曲毎に異なるものとし、形状デー
タは各楽曲共通にすることができる。また、既存の音声
データに、動作データと形状データを追加することがで
きる。従って、現在に至るまでに蓄積された既存の音声
データを作成し直すことなく、動作データおよび形状デ
ータを後付けすることができる。

【０１５０】請求項８の発明によれば、外部から伝送さ
れた音声データおよび動作データを受け取り、受け取っ
た音声データを前記音声データ記憶手段に記憶し、受け
取った動作データを動作データ記憶手段に記憶するデー
タ受取手段を有する構成としたから、比較的データ量の
少ない音声データと動作データのみを外部から受け取る
ことができ、外部からカラオケ装置に向けて伝送するデ
ータの量を少なくすることができる。従って、楽曲の再
生に合わせて動作する歌手等を表示させる通信カラオケ
装置を実現することができる。例えば、いわゆるセンタ
ーホストコンピュータから当該通信カラオケ装置に向け
て、最新の楽曲に関する音声データと動作データを配信
すれば、最新の楽曲を即座に再生することができるだけ
でなく、その楽曲を歌う歌手等の振りをも即座に表示さ
せることができる。

【０１５１】請求項９の発明によれば、カラオケ装置
に、音声再生手段により再生される音声の再生速度を変
更する再生速度変更手段を設け、同期信号出力手段にお
いて、再生速度変更手段により変更された再生速度で再
生される音声に対応した同期信号を出力する構成とした
から、音声の再生速度を変更しても、音声の再生と映像
の表示との同期をとることができる。

【０１５２】請求項１０の発明によれば、動作データ
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて前記物体を動かし、そのとき
の物体の各構成要素の位置または動作を所定時間毎に測
定することによって形成された複数の瞬時動作データか
ら構成すると共に、瞬時映像生成手段において、音声再
生手段により再生される音声が基準速度のときには、各
瞬時動作データにそれぞれ対応した瞬時映像データを生
成し、音声再生手段により再生される音声が基準速度よ
りも遅いときには、各瞬時動作データの間を補間する補
間動作データを生成し、各瞬時動作データおよび補間動
作データにそれぞれ対応した瞬時映像データを生成する
構成としたから、請求項２の発明と同様に、音声再生手
段により再生される音声が基準速度よりも遅いときで
も、表示される映像の動きを滑らかにすることができ
る。

【０１５３】請求項１１の発明によれば、瞬時映像生成
手段において、音声再生手段により再生される音声が基
準速度よりも速いときには、各瞬時動作データを間引き
し、間引きされた各瞬時動作データにそれぞれ対応した
瞬時映像データを生成する構成としたから、請求項３の
発明と同様に、基準速度よりも速い速度で再生される音
声に同期して動く画像を容易に再生することができる。

【０１５４】請求項１２の発明によれば、動作データ
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、表示装置の表示周
期の整数倍の周期で測定することによって形成された複
数の瞬時動作データから構成したから、請求項４の発明
と同様に、表示される映像の動きを滑らかにすることが
できる。

【０１５５】請求項１３の発明によれば、動作データ
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、同期信号出力手段
により出力される同期信号の周期よりも短い周期で測定
することによって形成された複数の瞬時動作データから
構成したから、請求項５の発明と同様に、音声の再生速
度を変化させ、前記同期信号の周期を変化させても、音
声の再生と映像の表示との間の同期を正確にとることが
できる。

【０１５６】請求項１４の発明によれば、同期信号出力
手段により出力される同期信号に、音声データの再生位
置を認識するための符号を付する構成としたから、請求
項６の発明と同様に、同期信号に付した符号に基づいて
音声データの再生位置を認識することができ、音声デー
タの再生位置に対応した映像を表示することができる。
従って、楽曲等の音声を途中から再生したときでも、そ
の音声に正確に同期して動作する映像を表示することが
できる。

【０１５７】請求項１５の発明によれば、形状データ記
憶手段に、形状の異なる複数の物体を形成するための複
数の形状データを記憶し、音声データに含まれる選択デ
ータまたは外部からの入力により、各形状データを選択
し、瞬時映像生成手段は、選択された形状データと、動
作データ記憶手段に記憶された動作データとに基づい
て、物体を動画として再生するための瞬時映像データを
生成する構成としたから、楽曲に応じて、または利用者
の好みに応じて、表示する物体の形状等を設定、変更す
ることができる。

【図面の簡単な説明】

【図１】本発明の実施形態による通信カラオケ装置を示
すブロック図である。

【図２】本発明の実施形態において、楽曲データの構成
を示す説明図である。

【図３】本発明の実施形態において、映像データの構成
を示す説明図である。

【図４】本発明の実施形態において、動作データの構成
を示す説明図である。

【図５】本発明の実施形態において、物体モデルを示す
説明図である。

【図６】本発明の実施形態において、形状データの構成
を示す説明図である。

【図７】本発明の実施形態において、物体モデルの構成
要素を示す斜視図である。

【図８】本発明の実施形態において、再生フレームテー
ブルを示す説明図である。

【図９】本発明の実施形態において、基準速度で楽曲が
再生されているときに、ＭＩＤＩクロック、同期信号お
よび再生フレームが同期している状態を示すタイムチャ
ートである。

【図１０】本発明の実施形態において、基準速度よりも
遅いテンポで楽曲が再生されているときに、ＭＩＤＩク
ロック、同期信号および再生フレームが同期している状
態を示すタイムチャートである。

【図１１】本発明の実施形態において、基準速度よりも
速いテンポで楽曲が再生されているときに、ＭＩＤＩク
ロック、同期信号および再生フレームが同期している状
態を示すタイムチャートである。

【図１２】本発明の実施形態の通信カラオケ装置による
同期映像生成処理を示すフローチャートである。

【図１３】図１２に続く同期映像生成処理を示すフロー
チャートである。

【図１４】図１３に続く同期映像生成処理を示すフロー
チャートである。

【図１５】本発明の実施形態による通信カラオケ装置の
モニタに表示された映像を示す説明図である。

【符号の説明】

１０ カラオケ演奏部 １１ 音声用ＣＰＵ（音声再生手段、同期信号出力手
段） １２ ＲＡＭ １６ 楽曲データ記憶部（音声データ記憶手段） １７ 入力部（再生速度変更手段） １９ 音源部（音声再生手段） ２１ モデム（データ受取手段） ３０ 映像再生部 ３１ 映像用ＣＰＵ ３２ ＲＯＭ ３４ 映像データ記憶部（動作データ記憶手段） ３５ 形状データ記憶部（形状データ記憶手段） ３６ 物体映像生成部（瞬時映像生成手段、表示手段） ５０ 合成部 ６０ ミキサアンプ ７０ スピーカ ９０ モニタ（表示装置） １００ 通信カラオケ装置

Claims (15)

【特許請求の範囲】
1. 【請求項１】 音声データに基づいて音声を再生する音
   声再生工程と、 前記音声再生工程によって再生される音声に対応した同
   期信号を出力する同期信号出力工程と、 人間、動物またはこれらの模倣物からなる物体を表す映
   像を複数の構成要素に分割し、これら各構成要素の形状
   を設定する形状データと、前記各構成要素の位置または
   動作を設定する動作データとに基づいて、前記物体を動
   画として再生するための瞬時映像データを生成する瞬時
   映像生成工程と、 前記瞬時映像生成工程により生成された瞬時映像データ
   を、前記同期信号出力工程により出力される同期信号に
   同期させながら表示装置に表示させる表示工程と、を備
   えてなる同期映像生成方法。
2. 【請求項２】 前記動作データは、前記音声データに基
   づく音声を基準速度で再生し、その再生された音声に合
   わせて前記物体を動かし、そのときの前記物体の各構成
   要素の位置または動作を所定時間毎に測定することによ
   って形成された複数の瞬時動作データからなり、 前記瞬時映像生成工程は、前記音声再生工程により再生
   される音声が前記基準速度のときには、前記各瞬時動作
   データにそれぞれ対応した瞬時映像データを生成し、前
   記音声再生工程により再生される音声が前記基準速度よ
   りも遅いときには、前記各瞬時動作データの間を補間す
   る補間動作データを生成し、前記各瞬時動作データおよ
   び前記補間動作データにそれぞれ対応した瞬時映像デー
   タを生成してなる請求項1に記載の同期映像生成方法。
3. 【請求項３】 前記瞬時映像生成工程は、前記音声再生
   工程により再生される音声が前記基準速度よりも速いと
   きには、前記各瞬時動作データを間引きし、間引きされ
   た各瞬時動作データにそれぞれ対応した瞬時映像データ
   を生成してなる請求項２に記載の同期映像生成方法。
4. 【請求項４】 前記動作データは、前記音声データに基
   づく音声を基準速度で再生し、その再生された音声に合
   わせて前記物体を動かし、そのときの前記物体の各構成
   要素の位置または動作を、前記表示装置の表示周期の整
   数倍の周期で測定することによって形成された複数の瞬
   時動作データからなる請求項１ないし３のいずれかに記
   載の同期映像生成方法。
5. 【請求項５】 前記動作データは、前記音声データに基
   づく音声を基準速度で再生し、その再生された音声に合
   わせて前記物体を動かし、そのときの前記物体の各構成
   要素の位置または動作を、前記同期信号出力工程により
   出力される同期信号の周期よりも短い周期で測定するこ
   とによって形成された複数の瞬時動作データからなる請
   求項１ないし４のいずれかに記載の同期映像生成方法。
6. 【請求項６】 前記同期信号出力工程により出力される
   同期信号には、音声データの再生位置を認識するための
   符号を付してなる請求項１ないし５のいずれかに記載の
   同期映像生成方法。
7. 【請求項７】 音声データを記憶する音声データ記憶手
   段と、 前記音声データ記憶手段に記憶された音声データに基づ
   いて音声を再生する音声再生手段と、 前記音声再生手段によって再生される音声に対応した同
   期信号を出力する同期信号出力手段と、 人間、動物またはこれらの模倣物からなる物体を表す映
   像を複数の構成要素に分割し、これら各構成要素の形状
   を設定する形状データを記憶する形状データ記憶手段
   と、 前記物体の前記各構成要素の位置または動作を設定する
   動作データを記憶する動作データ記憶手段と、 前記形状データ記憶手段に記憶された形状データと、前
   記動作データ記憶手段に記憶された動作データとに基づ
   いて、前記物体を動画として再生するための瞬時映像デ
   ータを生成する瞬時映像生成手段と、 前記瞬時映像生成手段により生成された瞬時映像データ
   を、前記同期信号出力手段により出力される同期信号に
   同期させながら表示装置に表示させる表示手段と、を備
   えてなるカラオケ装置。
8. 【請求項８】 外部から伝送された音声データおよび動
   作データを受け取り、受け取った音声データを前記音声
   データ記憶手段に記憶し、受け取った動作データを動作
   データ記憶手段に記憶するデータ受取手段を設けてなる
   請求項７に記載のカラオケ装置。
9. 【請求項９】 前記音声再生手段により再生される音声
   の再生速度を変更する再生速度変更手段を設け、前記同
   期信号出力手段は、前記再生速度変更手段により変更さ
   れた再生速度で再生される音声に対応した同期信号を出
   力してなる請求項７または８に記載のカラオケ装置。
10. 【請求項１０】 前記動作データは、前記音声データに
    基づく音声を基準速度で再生し、その再生された音声に
    合わせて前記物体を動かし、そのときの前記物体の各構
    成要素の位置または動作を所定時間毎に測定することに
    よって形成された複数の瞬時動作データからなり、 前記瞬時映像生成手段は、前記音声再生手段により再生
    される音声が前記基準速度のときには、前記各瞬時動作
    データにそれぞれ対応した瞬時映像データを生成し、前
    記音声再生手段により再生される音声が前記基準速度よ
    りも遅いときには、前記各瞬時動作データの間を補間す
    る補間動作データを生成し、前記各瞬時動作データおよ
    び前記補間動作データにそれぞれ対応した瞬時映像デー
    タを生成してなる請求項９に記載のカラオケ装置。
11. 【請求項１１】 前記瞬時映像生成手段は、前記音声再
    生手段により再生される音声が前記基準速度よりも速い
    ときには、前記各瞬時動作データを間引きし、間引きさ
    れた各瞬時動作データにそれぞれ対応した瞬時映像デー
    タを生成してなる請求項１０に記載のカラオケ装置。
12. 【請求項１２】 前記動作データは、前記音声データに
    基づく音声を基準速度で再生し、その再生された音声に
    合わせて前記物体を動かし、そのときの前記物体の各構
    成要素の位置または動作を、前記表示装置の表示周期の
    整数倍の周期で測定することによって形成された複数の
    瞬時動作データからなる請求項１０ないし１２のいずれ
    かに記載のカラオケ装置。
13. 【請求項１３】 前記動作データは、前記音声データに
    基づく音声を基準速度で再生し、その再生された音声に
    合わせて前記物体を動かし、そのときの前記物体の各構
    成要素の位置または動作を、前記同期信号出力手段によ
    り出力される同期信号の周期よりも短い周期で測定する
    ことによって形成された複数の瞬時動作データからなる
    請求項１０ないし１３のいずれかに記載のカラオケ装
    置。
14. 【請求項１４】 前記同期信号出力手段により出力され
    る同期信号には、音声データの再生位置を認識するため
    の符号を付してなる請求項１０ないし１４のいずれかに
    記載のカラオケ装置。
15. 【請求項１５】 前記形状データ記憶手段には、形状の
    異なる複数の物体を形成するための複数の形状データを
    記憶し、前記音声データに含まれる選択データまたは外
    部からの入力により前記各形状データを選択し、前記瞬
    時映像生成手段は、選択された形状データと、前記動作
    データ記憶手段に記憶された動作データとに基づいて、
    前記物体を動画として再生するための瞬時映像データを
    生成する構成としてなる請求項７ないし１４のいずれか
    に記載のカラオケ装置。