JPH09160575A - カラオケ表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 いわゆるカラオケ表示装置において、装置か
らだけではなくて、歌唱者の側も参加できるようなサー
ビスを提供するため、仮想的な人物像をモニタに表示す
るとともに、その動きを歌唱者の動きに合わせて制御す
る。 【解決手段】 歌唱者の身振り状態を入力するＴＶカメ
ラ１１と、入力された身振り状態から歌唱者における各
部位の動きを検出するＤＳＰ１３と、人物像の各部位を
示すポリゴンの情報とともに、各ポリゴンの動きにおけ
る条情報を記憶する主記憶部２２と、複数のポリゴンか
ら３次元オブジェクトを描画するポリゴン表示プロセッ
サ１７と、主記憶部２２に記憶された条件情報を規範と
して、ポリゴンの動きを、ＤＳＰ１３により検出された
該当部位の動きに対応してそれぞれ制御する表示制御部
２１とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽音を発生すると
ともに、モニタに歌詞と３次元のオブジェクトとを表示
させ、かかるオブジェクトに、歌唱者の身振りに応じた
動きを与えるカラオケ表示装置に関する。

【０００２】

【従来の技術】いわゆるカラオケ装置では、ユーザが所
望の曲を選択すると、その曲の伴奏音等が再生されると
ともに、背景画像と当該曲の歌詞とがモニタに表示され
る。この際、曲の進行状態が視覚的にも判るように、表
示された歌詞の文字を曲の進行に合わせて色替えするこ
とも行なわれている。このような動作は、従来では、単
純に光学式ディスクなどでビデオ信号を再生することで
も行なわれていたが、最近では、通信により行なわれる
こともある。例えば、ホスト局と端末局のカラオケ装置
とを電話回線等で接続し、ホスト局が端末で選択された
曲の演奏データ等を転送する一方、端末局であるカラオ
ケ装置が、楽音の発生イベントを時系列的に規定する楽
音データや、当該曲における文字の表示やその色替えを
時系列的に指示する歌詞データ等を、演奏の進行にあわ
せて実行することによって、楽音データにしたがって発
音を行なうとともに、歌詞データにしたがって文字を表
示したり、色替をするのである。また、この場合、背景
画像（映像）は、例えば、選択された曲のジャンルに対
応したものを別途再生することにより提供されるように
なっている。

【０００３】

【発明が解決しようとする課題】いずれにしても従来の
カラオケ表示装置では、伴奏音や文字表示等のサービス
が、装置からユーザ側の一方向のみでしか提供されてお
らず、ユーザ側に起因するサービスは、ユーザらが歌唱
を行なう点を除けば、何ら提供されない。このため、多
少なりとも、雰囲気の盛り上がりに欠けるという問題点
があった。本発明は、以上のような問題に鑑みてなされ
たもので、その目的とするところは、伴奏音や、歌詞表
示のように、カラオケ表示装置側からのみならず、歌唱
者本人からもサービスを行なうことが可能な、カラオケ
の表示装置を提供することにある。

【０００４】

【課題を解決するための手段】上記問題を解決するため
に請求項１に記載の発明にあっては、楽音を発生すると
ともに、モニタに歌詞を表示するカラオケ表示装置にお
いて、歌唱者の身振り状態を入力する入力手段と、入力
された身振り状態から前記歌唱者における各部位の動き
を検出する検出手段と、複数のポリゴンから成るオブジ
ェクトを描画する描画手段と、前記描画手段により描画
される各ポリゴンが前記検出手段により検出された各部
位の動きにそれぞれ対応して動くように、前記描画手段
による描画を制御する制御手段と、前記描画手段により
描画されるオブジェクトを、表示すべき歌詞と合成する
合成手段とを具備することを特徴としている。請求項２
に記載の発明にあっては、請求項１に記載の発明におい
て、人物像の各部位を示すポリゴンの形状情報を記憶す
る第１の記憶手段と、前記各ポリゴン間の連結状態を示
す連結情報を記憶する第２の手段と、前記各ポリゴンが
動き得る条件を示す条件情報を記憶する第３の手段とを
備え、前記描画手段は、各ポリゴンを連結情報により連
結して当該形状情報により描画し、前記制御手段は、条
件情報により示される条件内で、検出された該当部位の
動きに対応してそれぞれ制御することを特徴としてい
る。請求項３に記載の発明にあっては、請求項２に記載
の発明において、前記第１の記憶手段は、予め複数人分
の人物像を記憶して、発生すべき楽音に対応した人物像
を選択することを特徴としている。

【０００５】本発明によれば、入力手段によって入力さ
れた歌唱者の身振り状態から、当該歌唱者における各部
位の動きが検出手段によって検出される。描画手段は、
モニタに歌詞とともに、複数のポリゴンから成るオブジ
ェクトを描画するが、かかるポリゴンの動きは、制御手
段によって、検出された各部位の動きによりそれぞれ制
御される。よって、モニタに表示される３次元オブジェ
クトは、その各ポリゴンが歌唱者の各部位の動きに応じ
て変化することになる。ここで、オブジェクトとしては
人物像が望ましい。このため、第１の記憶手段が、人物
像の各部位を示すポリゴンの形状情報を記憶し、第２の
記憶手段が、各ポリゴン間の連結状態を示す連結情報を
記憶し、そして、第３の記憶手段が、各ポリゴンが動き
得る条件を示す条件情報を記憶する。そして、このよう
な場合に、制御手段は、ポリゴンを形状情報により形成
し、形成した各ポリゴンを連結情報により連結し、連結
した各ポリゴンを、条件情報により示される条件内で、
検出された該当部位の動きに対応してそれぞれ制御す
る。これにより、人物像のオブジェクトは歌唱者の各部
位の動きに応じて動く結果、その動きを歌唱者の身振り
状態と全く同じ様にさせることが可能となる。また、人
物像のオブジェクトをモニタに表示する場合、望ましく
は、その人物像を曲に応じて変更することができればな
お良い。このため、前記第１の記憶手段には、人物像の
各部位を示すポリゴンが予め複数人分記憶され、選択さ
れた曲に対応して、いずれか一の人物像が選択される。
これにより、その曲に対してイメージ的に結びつけられ
る歌手を模倣等したオブジェクトを、歌唱者の身振り状
態に応じて動かすことも可能となる。

【０００６】

【発明の実施の形態】

１：構成 以下、本発明の好ましい実施態様について図面を参照し
て説明する。図１は、この実施態様に係るカラオケ表示
装置の電気的構成を示すブロック図である。この図にお
いて、１１はＴＶカメラであり、歌唱者の映像を取り込
んで、そのビデオ信号を出力する。１２はＡＤＣ（Ａ／
Ｄコンバータ）であり、ビデオ信号をディジタル信号に
変換する。１３はＤＳＰであり、ディジタル信号に変換
されたビデオ信号を解析して、歌唱者における各部位の
位置を検出して記憶するとともに、１サンプル前のデー
タと比較して部位の動き方向および移動量をそれぞれ求
める。ここで、歌唱者の部位については、本実施形態で
は次のものを想定している。すなわち、顔、首、左右の
肩、胸、腹、左右の上腕部、左右の前腕部、左右の手、
左右の大腿部、左右のすね、左右の足についてである。
１４はＣＰＵであり、バスＢを介して各部を制御する。
１５はＲＯＭであり、ＣＰＵ１４において用いられる基
本プログラム等を記憶する。１６はＲＡＭであり、ＣＰ
Ｕ１４において用いられるデータ等を一時的に記憶す
る。

【０００７】次に、１７は、ポリゴンの表示を専用に行
なうポリゴン表示プロセッサであり、ＣＰＵ１４により
供給されるデータに基づいてポリゴンを描画し、その結
果をＶ−ＲＡＭ（ビデオＲＡＭ）１８に書き込む。ま
た、１９は、歌詞（文字）の表示を専用に行なう歌詞表
示プロセッサであり、供給される歌詞データに基づいて
文字を描画し、その結果をＶ−ＲＡＭ２０に書き込む。
一般に、ポリゴン化して描画するとしても、そのために
必要な演算量は極めて膨大であり、ＣＰＵ１４のみでは
負荷が重くなるため、ポリゴンの描画に専用のチップ
（３Ｄ描画エンジン）としてポリゴン表示プロセッサ１
７を設けたのであり、また、同様な理由から、文字の表
示に専用の歌詞表示プロセッサ１９を設けたのである。
一方、歌詞データは、再生曲の歌詞を示す文字データか
ら構成され、楽音データの再生による曲の進行状態に合
わせて時系列的に供給されるようになっている。

【０００８】２１は表示制御部であり、ポリゴン表示プ
ロセッサ１７および歌詞表示プロセッサ１９を制御する
とともに、歌詞の背景画像となるビデオ信号を入力し
て、Ｖ−ＲＡＭ１８および２０に書き込まれたデータに
したがった画像とを重ね合わせてモニタに出力する。

【０００９】２２は主記憶部であり、歌詞データや、楽
音データ、後述する３次元オブジェクトデータ等を記憶
する。ここで、楽音データは、再生曲の発音を指示する
データやその音高を指示するデータ等から構成され、そ
れらイベントを発生すべきタイミングにて時系列的に供
給されて、かかる楽音データにしたがって音源回路（図
示省略）が発音を行なうようなっている。なお、通信に
よる場合は、楽音データおよび歌詞データは、図示しな
いホスト局からＩＳＤＮ回線を介して供給されるように
なっている。２３は操作パネルであり、種々のスイッチ
類から構成され、曲の選択などを行なう。

【００１０】１−１：３次元オブジェクトデータ さて、本実施形態は、仮想的な人物像をモニタ表示し、
当該人物像の動きを、歌唱者の動きに合わせて制御する
ものではあるが、精緻な人物像を描画しようとするとデ
ータ量が膨大となり、それに伴って負荷も重くなるた
め、人物像の部位をポリゴン化し簡易表示することとし
た。このため、ポリゴンに関するデータが３次元オブジ
ェクトデータとして主記憶部２２に記憶されている。３
次元オブジェクトデータは、図２に示す通り、上述した
歌唱者の各部位にそれぞれ対応して、ポリゴン形状デー
タ、ポリゴンルールデータ、ジョイントデータが設定さ
れている。ここで、ポリゴン形状データは、部位を表現
する各ポリゴンの形状を定めるデータであり、ポリゴン
ルールデータは、各ポリゴンを描画する際に、それらの
描画条件を定めるデータであり、また、ジョイントデー
タは、ポリゴン間の結合条件を示すデータであり、いわ
ば仮想人物における関節を規定するものである。ここ
で、ポリゴンルールデータは、さらに、動きの自由度を
示すデータや、動きの可能な方向を定めるデータ等によ
り構成されて、ポリゴンの動きが人物のそれと同様とな
るように、ポリゴンの動き条件が与えられる。そして、
この３次元オブジェクトデータは予め複数用意され、カ
ラオケ演奏曲の選択時において、当該曲に最もふさわし
い人物を模倣あるいはデフォルメした像のもの、あるい
は、ユーザが任意に選んだ像のものが指定されるように
なっている。なお、これら仮想人物に仮想的にスーツ
（衣装）を着せるべく、スーツデータを追加することと
しても良い。

【００１１】２：動作 次に、本実施形態にかかる動作について説明する。ま
ず、歌唱者となるユーザが、操作パネル２３を操作して
所望とするカラオケ演奏曲を選択すると、ＣＰＵ１４
は、当該曲の楽音データ、歌詞データ、３次元オブジェ
クトデータを検索して読み出し、ＲＡＭ１６上にロード
する。これらデータは、ホスト局が端末局であるカラオ
ケ装置に転送することとしても良い。ここで、選択され
る３次元オブジェクトデータは、選択された曲に対応す
る人物のもの、あるいはユーザが選択した人物のもので
ある。そして、図示しない音源回路は、ロードされた楽
音データにしたがって発音を行なう一方、歌詞表示プロ
セッサ２１は、歌詞データにしたがって歌詞をＶ−ＲＡ
Ｍ２０に書き込むとともに、曲の進行に合わせて当該文
字の色を書き換える。

【００１２】２−１：仮想人物像の表示動作 次に、仮想人物像の表示動作について説明する。図３
は、かかる表示動作におけるデータの流れを示すブロッ
ク図である。まず、歌唱者の姿態はＴＶカメラ１１によ
って撮像され、その映像信号はＡＤＣ１２によってディ
ジタル信号に変換されてＤＳＰ１３に供給される。ＤＳ
Ｐ１３は、ステップＳ１において、歌唱者の直立状態を
基準とした場合における各部位の動きを検出する。さら
に、ＤＳＰ１３は、ステップＳ２において、検出した各
部位の動きについて、移動量および動き（回転を含む）
方向の成分に分解して、各部位の動き要素を出力する。
そして、ＣＰＵ１４は、ステップＳ３において、ＤＳＰ
１３により出力された各部位の動き要素を、対応するポ
リゴンの動きを規定するパラメータに変換する。

【００１３】ＣＰＵ１４は、また、ステップ４におい
て、主記憶部１６から、複数記憶された３次元オブジェ
クトデータのうち、選択された曲に対応する人物のも
の、あるいはユーザが選択した人物のものを読み出す。
また、ＣＰＵ１４は、ステップＳ４において必要であれ
ば、表示する仮想人物像の視点を曲の進行に合わせて変
化させるための、例えば、視点を俯瞰状態から正面に移
動させるためのシーケンスデータを出力する。このシー
ケンスデータに、さらに、仮想人物像への照明光源を移
動させるためにデータを含ませることとしても良い。次
に、ＣＰＵ１４は、ステップＳ５において、読み出した
オブジェクトデータに基づく各ポリゴンが、各部位の動
き要素にしたがった状態で、かつ設定される視点から見
た状態で描画されるように、ポリゴン表示プロセッサ１
７に対して必要なデータをパラメータ化して供給する。
そして、ポリゴン表示プロセッサ１７が、供給されたオ
ブジェクト描画パラメータにしたがってポリゴンを描画
して仮想的な人物像を作成し、この作成結果をＶ−ＲＡ
Ｍ１８に書き込む。

【００１４】表示制御部２１は、Ｖ−ＲＡＭ１８に書き
込まれたポリゴンからなる人物像と、Ｖ−ＲＡＭ２３に
書き込まれた歌詞と、背景画像となるビデオ信号とを合
成し、この合成信号をモニタに出力する。これにより、
モニタには、背景画像と歌詞とともに、ポリゴンにより
合成される人物像が表示されることとなる。この際、人
物像を構成する各ポリゴンは、歌唱者の各部位にそれぞ
れ対応し、かつその描画は検出された歌唱の当該部位の
動き要素に対応して行なわれるので、かかる描画を一定
のサンプリング周期毎に行なうことにより、これらポリ
ゴンにより構成される人物像は、歌唱者の動きと同じを
動きをすることとなる。例えば、図４（ａ）に示すよう
なポーズを歌唱者がとると、モニタには、同図（ｂ）に
示すように、ポリゴンによる仮想人物像が歌唱者と同じ
ポーズをとって表示されることとなる。

【００１５】かかる実施形態によれば、モニタに表示さ
れる仮想人物は、歌唱者自身のアクションと同様な動き
をする結果、モニタに表示される仮想人物の態様に歌唱
者自身の意思を反映することができるので、歌唱者本人
からも一種のサービスを行なうことができることとな
る。

【００１６】なお、上記実施形態では、各部位の検出に
は、ＤＳＰ１３による画像解析によったが、本願はこれ
に限られない。例えば、データスーツ等の特殊な衣装を
ユーザに貸し出したり、ユーザの各部位に反射板を貼っ
てもらってこの座標を解析するなどの方法でも良い。ま
た、上述した実施形態にあっては、歌唱者を一人とする
ソロを例として説明したが、本願発明はこれに限られ
ず、例えば、デュエットとして、二つの仮想人物をポリ
ゴンでそれぞれ合成し、さらに、二人の歌唱者の動きに
応じて描画を制御する構成としても良い。同様に、トリ
オ、カルテットでも良い。

【００１７】

【発明の効果】以上説明したように本発明によれば、モ
ニタに表示される３次元オブジェクトを、歌唱者の身振
りに応じて動かすことができるので、ユーザ参加型のサ
ービスを提供することが可能となる（請求項１、２、
３）。

【図面の簡単な説明】

【図１】 本発明による実施形態にかかるカラオケ表示
装置の構成を示すブロック図である。

【図２】 同実施形態における３次元オブジェクトデー
タの内容を示す図である。

【図３】 同実施形態の動作を説明するためデータの流
れを示す図である。

【図４】 同実施形態におけるモニタに表示される３次
元オブジェクトを示す図である。

【符号の説明】

１１……ＴＶカメラ（入力手段）、１３……ＤＳＰ（検
出手段）、１４……ＣＰＵ（制御手段）、１７……ポリ
ゴン表示プロセッサ（描画手段）、２２……主記憶部
（第１〜第３の記憶手段）

Claims (3)

【特許請求の範囲】
1. 【請求項１】 楽音を発生するとともに、モニタに歌詞
   を表示するカラオケ表示装置において、 歌唱者の身振り状態を入力する入力手段と、 入力された身振り状態から前記歌唱者における各部位の
   動きを検出する検出手段と、 複数のポリゴンから成るオブジェクトを描画する描画手
   段と、 前記描画手段により描画される各ポリゴンが前記検出手
   段により検出された各部位の動きにそれぞれ対応して動
   くように、前記描画手段による描画を制御する制御手段
   と、 前記描画手段により描画されるオブジェクトを、表示す
   べき歌詞と合成する合成手段とを具備することを特徴と
   するカラオケ表示装置。
2. 【請求項２】 人物像の各部位を示すポリゴンの形状情
   報を記憶する第１の記憶手段と、 前記各ポリゴン間の連結状態を示す連結情報を記憶する
   第２の手段と、 前記各ポリゴンが動き得る条件を示す条件情報を記憶す
   る第３の手段とを備え、 前記描画手段は、各ポリゴンを連結情報により連結して
   当該形状情報により描画し、 前記制御手段は、条件情報により示される条件内で、検
   出された該当部位の動きに対応してそれぞれ制御するこ
   とを特徴とする請求項１記載のカラオケ表示装置。
3. 【請求項３】 前記第１の記憶手段は、予め複数人分の
   人物像を記憶して、発生すべき楽音に対応した人物像を
   選択することを特徴とする請求項２記載のカラオケ表示
   装置。