JP3588883B2

JP3588883B2 - カラオケ装置

Info

Publication number: JP3588883B2
Application number: JP32072895A
Authority: JP
Inventors: 保夫 ▲蔭▼山
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1995-12-08
Filing date: 1995-12-08
Publication date: 2004-11-17
Anticipated expiration: 2015-12-08
Also published as: JPH09160575A

Description

【０００１】
【発明の属する技術分野】
本発明は、楽音を発生するとともに、モニタに歌詞と３次元のオブジェクトとを表示させ、かかるオブジェクトに、歌唱者の身振りに応じた動きを与えるカラオケ装置に関する。
【０００２】
【従来の技術】
いわゆるカラオケ装置では、ユーザが所望の曲を選択すると、その曲の伴奏音等が再生されるとともに、背景画像と当該曲の歌詞とがモニタに表示される。この際、曲の進行状態が視覚的にも判るように、表示された歌詞の文字を曲の進行に合わせて色替えすることも行なわれている。
このような動作は、従来では、単純に光学式ディスクなどでビデオ信号を再生することでも行なわれていたが、最近では、通信により行なわれることもある。例えば、ホスト局と端末局のカラオケ装置とを電話回線等で接続し、ホスト局が端末で選択された曲の演奏データ等を転送する一方、端末局であるカラオケ装置が、楽音の発生イベントを時系列的に規定する楽音データや、当該曲における文字の表示やその色替えを時系列的に指示する歌詞データ等を、演奏の進行にあわせて実行することによって、楽音データにしたがって発音を行なうとともに、歌詞データにしたがって文字を表示したり、色替をするのである。また、この場合、背景画像（映像）は、例えば、選択された曲のジャンルに対応したものを別途再生することにより提供されるようになっている。
【０００３】
【発明が解決しようとする課題】
いずれにしても従来のカラオケ表示装置では、伴奏音や文字表示等のサービスが、装置からユーザ側の一方向のみでしか提供されておらず、ユーザ側に起因するサービスは、ユーザらが歌唱を行なう点を除けば、何ら提供されない。このため、多少なりとも、雰囲気の盛り上がりに欠けるという問題点があった。本発明は、以上のような問題に鑑みてなされたもので、その目的とするところは、伴奏音や、歌詞表示のように、カラオケ表示装置側からのみならず、歌唱者本人からもサービスを行なうことが可能な、カラオケ装置を提供することにある。
【０００４】
【課題を解決するための手段】
上記問題を解決するために請求項１に記載の発明にあっては、入力手段と、検出手段と、記憶手段と、描画手段と、制御手段とを備えるカラオケ装置であって、入力手段は、歌唱者の映像を取り込み、検出手段は、歌唱者の映像から歌唱者における各部位の動きを検出し、記憶手段は、複数の３次元オブジェクト情報を記憶し、３次元オブジェクト情報は、形状情報と、連結情報を含み、形状情報は、人物像の各部位を表すポリゴン形状を示し、連結情報は、各ポリゴン間の連結状態を示し、描画手段は、３次元オブジェクト情報に基づく描画を可能とし、制御手段は、選択された曲の楽音を発生させるとともに、その曲に対応する３次元オブジェクト情報に基づき、その形状情報により表される各部位のポリゴンを、その連結情報により連結するとともに、検出手段で検出した各部位の動きにそれぞれ対応して動くように描画手段の描画を制御することを特徴としている。
請求項２に記載の発明にあっては、請求項１に記載の発明において、３次元オブジェクト情報は、条件情報を含み、条件情報は、各ポリゴンが動き得る条件を示し、制御手段は、選択された曲に対応する３次元オブジェクト情報の条件情報が示す条件内で各部位のポリゴンの描画を制御することを特徴としている。
【０００５】
本発明によれば、入力手段によって入力された歌唱者の身振り状態から、当該歌唱者における各部位の動きが検出手段によって検出される。描画手段は、モニタに歌詞とともに、複数のポリゴンから成るオブジェクトを描画するが、かかるポリゴンの動きは、制御手段によって、検出された各部位の動きによりそれぞれ制御される。よって、モニタに表示される３次元オブジェクトは、その各ポリゴンが歌唱者の各部位の動きに応じて変化することになる。
【０００６】
【発明の実施の形態】
１：構成
以下、本発明の好ましい実施態様について図面を参照して説明する。図１は、この実施態様に係るカラオケ表示装置の電気的構成を示すブロック図である。この図において、１１はＴＶカメラであり、歌唱者の映像を取り込んで、そのビデオ信号を出力する。１２はＡＤＣ（Ａ／Ｄコンバータ）であり、ビデオ信号をディジタル信号に変換する。１３はＤＳＰであり、ディジタル信号に変換されたビデオ信号を解析して、歌唱者における各部位の位置を検出して記憶するとともに、１サンプル前のデータと比較して部位の動き方向および移動量をそれぞれ求める。
ここで、歌唱者の部位については、本実施形態では次のものを想定している。すなわち、顔、首、左右の肩、胸、腹、左右の上腕部、左右の前腕部、左右の手、左右の大腿部、左右のすね、左右の足についてである。
１４はＣＰＵであり、バスＢを介して各部を制御する。１５はＲＯＭであり、ＣＰＵ１４において用いられる基本プログラム等を記憶する。１６はＲＡＭであり、ＣＰＵ１４において用いられるデータ等を一時的に記憶する。
【０００７】
次に、１７は、ポリゴンの表示を専用に行なうポリゴン表示プロセッサであり、ＣＰＵ１４により供給されるデータに基づいてポリゴンを描画し、その結果をＶ−ＲＡＭ（ビデオＲＡＭ）１８に書き込む。また、１９は、歌詞（文字）の表示を専用に行なう歌詞表示プロセッサであり、供給される歌詞データに基づいて文字を描画し、その結果をＶ−ＲＡＭ２０に書き込む。
一般に、ポリゴン化して描画するとしても、そのために必要な演算量は極めて膨大であり、ＣＰＵ１４のみでは負荷が重くなるため、ポリゴンの描画に専用のチップ（３Ｄ描画エンジン）としてポリゴン表示プロセッサ１７を設けたのであり、また、同様な理由から、文字の表示に専用の歌詞表示プロセッサ１９を設けたのである。
一方、歌詞データは、再生曲の歌詞を示す文字データから構成され、楽音データの再生による曲の進行状態に合わせて時系列的に供給されるようになっている。
【０００８】
２１は表示制御部であり、ポリゴン表示プロセッサ１７および歌詞表示プロセッサ１９を制御するとともに、歌詞の背景画像となるビデオ信号を入力して、Ｖ−ＲＡＭ１８および２０に書き込まれたデータにしたがった画像とを重ね合わせてモニタに出力する。
【０００９】
２２は主記憶部であり、歌詞データや、楽音データ、後述する３次元オブジェクトデータ等を記憶する。ここで、楽音データは、再生曲の発音を指示するデータやその音高を指示するデータ等から構成され、それらイベントを発生すべきタイミングにて時系列的に供給されて、かかる楽音データにしたがって音源回路（図示省略）が発音を行なうようなっている。なお、通信による場合は、楽音データおよび歌詞データは、図示しないホスト局からＩＳＤＮ回線を介して供給されるようになっている。２３は操作パネルであり、種々のスイッチ類から構成され、曲の選択などを行なう。
【００１０】
１−１：３次元オブジェクトデータ
さて、本実施形態は、仮想的な人物像をモニタ表示し、当該人物像の動きを、歌唱者の動きに合わせて制御するものではあるが、精緻な人物像を描画しようとするとデータ量が膨大となり、それに伴って負荷も重くなるため、人物像の部位をポリゴン化し簡易表示することとした。このため、ポリゴンに関するデータが３次元オブジェクトデータとして主記憶部２２に記憶されている。
３次元オブジェクトデータは、図２に示す通り、上述した歌唱者の各部位にそれぞれ対応して、ポリゴン形状データ、ポリゴンルールデータ、ジョイントデータが設定されている。ここで、ポリゴン形状データは、部位を表現する各ポリゴンの形状を定めるデータであり、ポリゴンルールデータは、各ポリゴンを描画する際に、それらの描画条件を定めるデータであり、また、ジョイントデータは、ポリゴン間の結合条件を示すデータであり、いわば仮想人物における関節を規定するものである。ここで、ポリゴンルールデータは、さらに、動きの自由度を示すデータや、動きの可能な方向を定めるデータ等により構成されて、ポリゴンの動きが人物のそれと同様となるように、ポリゴンの動き条件が与えられる。
そして、この３次元オブジェクトデータは予め複数用意され、カラオケ演奏曲の選択時において、当該曲に最もふさわしい人物を模倣あるいはデフォルメした像のもの、あるいは、ユーザが任意に選んだ像のものが指定されるようになっている。
なお、これら仮想人物に仮想的にスーツ（衣装）を着せるべく、スーツデータを追加することとしても良い。
【００１１】
２：動作
次に、本実施形態にかかる動作について説明する。まず、歌唱者となるユーザが、操作パネル２３を操作して所望とするカラオケ演奏曲を選択すると、ＣＰＵ１４は、当該曲の楽音データ、歌詞データ、３次元オブジェクトデータを検索して読み出し、ＲＡＭ１６上にロードする。これらデータは、ホスト局が端末局であるカラオケ装置に転送することとしても良い。ここで、選択される３次元オブジェクトデータは、選択された曲に対応する人物のもの、あるいはユーザが選択した人物のものである。そして、図示しない音源回路は、ロードされた楽音データにしたがって発音を行なう一方、歌詞表示プロセッサ２１は、歌詞データにしたがって歌詞をＶ−ＲＡＭ２０に書き込むとともに、曲の進行に合わせて当該文字の色を書き換える。
【００１２】
２−１：仮想人物像の表示動作
次に、仮想人物像の表示動作について説明する。図３は、かかる表示動作におけるデータの流れを示すブロック図である。まず、歌唱者の姿態はＴＶカメラ１１によって撮像され、その映像信号はＡＤＣ１２によってディジタル信号に変換されてＤＳＰ１３に供給される。ＤＳＰ１３は、ステップＳ１において、歌唱者の直立状態を基準とした場合における各部位の動きを検出する。さらに、ＤＳＰ１３は、ステップＳ２において、検出した各部位の動きについて、移動量および動き（回転を含む）方向の成分に分解して、各部位の動き要素を出力する。そして、ＣＰＵ１４は、ステップＳ３において、ＤＳＰ１３により出力された各部位の動き要素を、対応するポリゴンの動きを規定するパラメータに変換する。
【００１３】
ＣＰＵ１４は、また、ステップ４において、主記憶部１６から、複数記憶された３次元オブジェクトデータのうち、選択された曲に対応する人物のもの、あるいはユーザが選択した人物のものを読み出す。また、ＣＰＵ１４は、ステップＳ４において必要であれば、表示する仮想人物像の視点を曲の進行に合わせて変化させるための、例えば、視点を俯瞰状態から正面に移動させるためのシーケンスデータを出力する。このシーケンスデータに、さらに、仮想人物像への照明光源を移動させるためにデータを含ませることとしても良い。
次に、ＣＰＵ１４は、ステップＳ５において、読み出したオブジェクトデータに基づく各ポリゴンが、各部位の動き要素にしたがった状態で、かつ設定される視点から見た状態で描画されるように、ポリゴン表示プロセッサ１７に対して必要なデータをパラメータ化して供給する。
そして、ポリゴン表示プロセッサ１７が、供給されたオブジェクト描画パラメータにしたがってポリゴンを描画して仮想的な人物像を作成し、この作成結果をＶ−ＲＡＭ１８に書き込む。
【００１４】
表示制御部２１は、Ｖ−ＲＡＭ１８に書き込まれたポリゴンからなる人物像と、Ｖ−ＲＡＭ２３に書き込まれた歌詞と、背景画像となるビデオ信号とを合成し、この合成信号をモニタに出力する。これにより、モニタには、背景画像と歌詞とともに、ポリゴンにより合成される人物像が表示されることとなる。
この際、人物像を構成する各ポリゴンは、歌唱者の各部位にそれぞれ対応し、かつその描画は検出された歌唱の当該部位の動き要素に対応して行なわれるので、かかる描画を一定のサンプリング周期毎に行なうことにより、これらポリゴンにより構成される人物像は、歌唱者の動きと同じを動きをすることとなる。例えば、図４（ａ）に示すようなポーズを歌唱者がとると、モニタには、同図（ｂ）に示すように、ポリゴンによる仮想人物像が歌唱者と同じポーズをとって表示されることとなる。
【００１５】
かかる実施形態によれば、モニタに表示される仮想人物は、歌唱者自身のアクションと同様な動きをする結果、モニタに表示される仮想人物の態様に歌唱者自身の意思を反映することができるので、歌唱者本人からも一種のサービスを行なうことができることとなる。
【００１６】
なお、上記実施形態では、各部位の検出には、ＤＳＰ１３による画像解析によったが、本願はこれに限られない。例えば、データスーツ等の特殊な衣装をユーザに貸し出したり、ユーザの各部位に反射板を貼ってもらってこの座標を解析するなどの方法でも良い。
また、上述した実施形態にあっては、歌唱者を一人とするソロを例として説明したが、本願発明はこれに限られず、例えば、デュエットとして、二つの仮想人物をポリゴンでそれぞれ合成し、さらに、二人の歌唱者の動きに応じて描画を制御する構成としても良い。同様に、トリオ、カルテットでも良い。
【００１７】
【発明の効果】
以上説明したように本発明によれば、モニタに表示される３次元オブジェクトを、歌唱者の身振りに応じて動かすことができるので、ユーザ参加型のサービスを提供することが可能となる。
【図面の簡単な説明】
【図１】本発明による実施形態にかかるカラオケ表示装置の構成を示すブロック図である。
【図２】同実施形態における３次元オブジェクトデータの内容を示す図である。
【図３】同実施形態の動作を説明するためデータの流れを示す図である。
【図４】同実施形態におけるモニタに表示される３次元オブジェクトを示す図である。
【符号の説明】
１１……ＴＶカメラ（入力手段）、１３……ＤＳＰ（検出手段）、１４……ＣＰＵ（制御手段）、１７……ポリゴン表示プロセッサ（描画手段）、２２……主記憶部（第１〜第３の記憶手段）

Claims

入力手段と、検出手段と、記憶手段と、描画手段と、制御手段とを備えるカラオケ装置であって、
入力手段は、歌唱者の映像を取り込み、
検出手段は、歌唱者の映像から歌唱者における各部位の動きを検出し、
記憶手段は、複数の３次元オブジェクト情報を記憶し、
３次元オブジェクト情報は、形状情報と、連結情報を含み、
形状情報は、人物像の各部位を表すポリゴン形状を示し、
連結情報は、各ポリゴン間の連結状態を示し、
描画手段は、３次元オブジェクト情報に基づく描画を可能とし、
制御手段は、選択された曲の楽音を発生させるとともに、その曲に対応する３次元オブジェクト情報に基づき、その形状情報により表される各部位のポリゴンを、その連結情報により連結するとともに、検出手段で検出した各部位の動きにそれぞれ対応して動くように描画手段の描画を制御する
カラオケ装置。
３次元オブジェクト情報は、条件情報を含み、
条件情報は、各ポリゴンが動き得る条件を示し、
制御手段は、選択された曲に対応する３次元オブジェクト情報の条件情報が示す条件内で各部位のポリゴンの描画を制御する
請求項１に記載のカラオケ装置。