JP4278288B2

JP4278288B2 - 踊り映像強調合成装置

Info

Publication number: JP4278288B2
Application number: JP2000230637A
Authority: JP
Inventors: 秀仁北村
Original assignee: 株式会社タイトー
Priority date: 2000-07-31
Filing date: 2000-07-31
Publication date: 2009-06-10
Anticipated expiration: 2020-07-31
Also published as: JP2002042168A

Description

【０００１】
【発明の属する技術分野】
本発明は、踊る人の映像の動きを、元となる踊りパターンに加え画像を合成する装置、さらに詳しくいえば、エンターテーメント機器として有効な踊り映像強調合成装置に関する。
【０００２】
【従来の技術】
踊る人の動きに基づいて踊りパターンを強調する画像を合成するような装置は存在しない。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、音楽に合わせて踊る人の映像をカメラで取り込み、この映像に基づきＣＧ映像による仮想のダンサーがその踊りを強調して、より高度な踊りを踊るように画像を合成する踊り映像強調合成装置を提供することにある。
【０００４】
【課題を解決するための手段】
前記目的を達成するために本発明による踊り映像強調合成装置は、踊り手の画像を取り込むカメラ部と、前記取り込んだ画像から踊り手の複数個所の位置を検出する３次元位置検出器と、１以上の踊りパターンを記憶する記憶装置と、伴奏曲を発生する音楽発生装置と、前記伴奏曲を再生するスピーカと、表示装置と、前記伴奏曲に従って踊り手が踊ることにより前記カメラ部から取り込まれ、踊り手の各個所の３次元の位置情報で表される動きと伴奏曲のリズム情報を前記１以上の踊りパターンと照らし合わせ、踊り手の各個所の位置情報に近く、かつ伴奏曲にマッチする踊りパターンを前記記憶装置から読み出し、踊り手の各個所の基準位置からの変化量と前記読み出された踊りパターンを合成し、前記表示装置に表示する演算・合成装置とを備え、前記１以上の踊りパターンは、リズムパターン分の拍数を有するもので、いくつかの踊りの種類と同一種類のなかで、抑揚を段階的に小から大までの数種類が用意されており、伴奏曲にマッチする踊りパターンは該１以上の踊りパターンから伴奏曲の音楽テンポに合わせて読み出すものであることを特徴とする。
本発明における、前記記憶装置から読み出される踊りパターンは、伴奏曲のリズムから再生速度が決定されるように構成してある。
本発明における、前記踊りパターンと踊り手の各個所の基準位置からの変化量との合成は、前記踊りパターンと前記踊り手の各個所の基準位置からの変化量にそれぞれ重み付けをして加算するように構成してある。
【０００５】
【作用】
上記構成によれば、従来にない、形式のエンターテーメント機器を実現できる。
【０００６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳しく説明する。
図１は、本発明による踊り映像強調合成装置の実施の形態を示すブロック図である。カメラ２ａ，２ｂ，スピーカ３および踊り映像強調合成装置部９より構成されている。踊り映像強調合成装置部９は、３次元位置検出器４，演算・合成装置５，音楽発生装置６，表示装置７および記憶装置８より構成されている。
【０００７】
踊り映像強調合成装置部９の電源を投入し、表示装置７に表示される複数の伴奏曲の中から１つを図示しない選択手段により選択すると、音楽発生装置６は、選択された伴奏曲をスピーカ３から出力するとともにその伴奏曲（音楽）のデータ情報を演算・合成装置５に送出する。
踊り手１は、スピーカ３から奏でる音楽に合わせて踊ることとなる。この踊り手１の動きは、カメラ２によって動きの全体像が撮像される。
【０００８】
３次元位置検出器３は、カメラ２ａ，２ｂからの踊り手の画像情報より輪郭を切り出し、踊り手１の両手先１ａ，頭部の先１ｂおよび腹部の中心位置１ｃを３次元検出する。なお、３台以上設置すれば、さらに精度よく位置情報を得ることができる。図５に検出位置の移動量の変化例を示す。
【０００９】
記憶装置８には多数の踊りパターンが記憶されている。
演算・合成装置５は、３次元位置検出器４からの各部の位置情報と音楽発生装置６からの伴奏曲のリズム情報とを照らし合わせ、記憶装置８より、伴奏曲に適合する音楽テンポに合った踊りパターンを読み出す。すなわち、カメラから検出した位置情報に近く、かつ、伴奏曲にマッチする踊りパターンを読み出す。
踊りパターンは両手先，頭部の先およびお腹の中心位置の情報を有し、踊りパターンの各位置の情報に踊り手の検出した両手先，頭部の先およびお腹の中心位置の情報を加える。これらの動作は所定時間毎に繰り返えされる。
【００１０】
図２は、本発明による踊り映像強調合成装置の動作を説明するためのフローチャートである。
踊り合成操作開始によって選択された音楽がスピーカ３より再生される（ステップ（以下「Ｓ」という）２０１，Ｓ２０２）
演算・合成装置５は、３次元位置検出器４から出力される踊り手の両手先，頭部の先及び腹部の位置の動きと演奏曲の拍子を比較する（Ｓ２０３）。そして、予め記憶装置８に格納されている多数の踊りのパターンから適当なパターンを音楽テンポに合わせて読み出す（Ｓ２０４）。踊りパターンの再生速度（パターンの読み出し間隔）は、伴奏のリズムに合わせるように調整される。この再生速度は、踊りパターンが例えば一小節（４拍）であれば、伴奏曲のリズムから次の式で求めることができる。
δｔ＝（６０／TEMPO ）×（１小節中の拍数）×（パターンの小節数）×（パターンのデータ数）^-1 ・・・（１）
【００１１】
読み出された踊りパターンの両手先，頭部の先及び腹部位置の情報に、踊り手１から検出したそれぞれの位置情報が加えられる（Ｓ２０５）。踊りパターンの選択は、比較的粗く、例えば４〜８小節ごとに行われ、カメラから検出した位置情報の加算演算は、常に更新される。
演算・合成装置５は、このように合成演算した後、人間のリンクに基づき踊りパターンを補間して３次元ＣＧを作成し表示装置７にダンサーを表示する（Ｓ２０６）。踊り映像強調合成装置部９は、伴奏曲が終了したか否か判断し（Ｓ２０７）、終了していな場合にはＳ２０３〜Ｓ２０６の動作を繰り返す。伴奏曲が終了した場合には踊りの合成処理を終了する（Ｓ２０８）。
【００１２】
つぎに記憶装置に予め記憶されている踊りパターンの構成例の一例を説明する。
踊りパターンを形成する情報は、からだの中心真下の床上の一点などを基準にした、時間に関するからだ各部の絶対位置情報列（踊りのモーションキャプチャーや、机上の合成で予め製作する）であり、絶対位置のポイント数は必要に応じて決定される。カメラによる検出点数以上が必須である。
踊りパターンはリズムパターン分の拍数（長さ）を有し、これを繰り返し再生すると、ダンスパターンになるものである。そして、いくつかの踊りの種類と、同一種類のなかで、抑揚を段階的に小から大までの数種類が用意されている。
踊りパターンの位置情報列は、それぞれが、人間をモデル化したリンクで接合されている。
【００１３】
具体的には、体全体を２０くらいの部分に別け、それぞれの部分に３次元位置情報を与えて構成するか、または各リンク（細分化した体の部分のつながるところ）の３次元位置情報とその３次元の回転情報の時間変化列の情報で構成することができる。
時間の分解能は秒当たり１０〜３０程度，位置情報の分解能は５ｍｍ〜３０ｍｍ程度，回転の分解能は１度〜５度程度が実用レベルである。これをダウンサンプルしてデータの縮小化を図ったものである。
図３Ａ〜図３Ｆに腰部分のｘ移動，ｙ移動，ｚ移動，軸回転，屈伸，横屈伸の移動データ曲線の一例を示す。
【００１４】
合成は以下の手法を用いて行われる。
手先の位置情報は、踊りパターンよりも、検出された手先の位置情報を優先してその位置に近づけるように加算される。腹部に関しては、踊りパターンのデータを優先するように処理される。
踊りパターンと各位置情報のそれぞれの重み付けは、測定をしてそれらデータから最適値を選ぶことが必要である。合成の式を以下に示す。
Ｃ₁ ＝ν( Ｐ₁ −Ｐ₀)＋( １−ν)(Ｄ₁ −Ｄ₀) ・・・（２）
但しＰ₀ : 基準位置
Ｄ₀ : 基準位置
ν : 重み付け定数
【００１５】
図４は、踊りパターンと検出位置の合成モデルの一例を示すグラフである。
例えば、時刻ｔ_a において踊りパターン（ａ）の時間軸に対する移動量Ｐ_a と基準位置Ｐ₀ の差( Ｐ_a −Ｐ₀)を算出する。また、検出位置（ｂ）の時間軸に対する移動量Ｄ_a と基準位置Ｄ₀ の差( Ｄ_a −Ｄ₀)を算出する。そして、時刻ｔ_a における踊りパターンの重み付けをν_a とすると、検出位置の重み付けは( １−ν_a ) となる。踊りパターンと検出位置の差( Ｐ_a −Ｐ₀)，( Ｄ_a −Ｄ₀)それぞれにν_a ，（１−ν_a ）を掛け、加算した点がＣ_a となる。
【００１６】
【発明の効果】
本発明は以上のように構成されているので、
１）自分の動きが、リアルタイムに人形と入れ替わって、すばらしい踊りになり、これまでにない新規なエンターティメント性のある機器を提供できる。
２）画面の映像を自分自身の動きで操作できる新しい遊びの要素を提供できる。
３）結果を記録しておけば、繰り返し見ることができる。
４）ＣＧ映像であるので、自由なシチュエーション（背景環境）や登場する人形を自由に選択でき、楽しみ方がさらに拡大する。
５）ゲームやカラオケとの組み合わせで、さまざまな応用が可能である。
６）自分自身が画面に出ると恥ずかしい人も、嫌悪感無く、参加できる。
などの種々の効果が得られる。
【図面の簡単な説明】
【図１】本発明による踊り映像強調合成装置の実施の形態を示すブロック図である。
【図２】本発明による踊り映像強調合成装置の動作を説明するためのフローチャートである。
【図３Ａ】腰部の移動曲線の一例を示す図で、ｘ方向移動を示すものである。
【図３Ｂ】腰部の移動曲線の一例を示す図で、ｙ方向移動を示すものである。
【図３Ｃ】腰部の移動曲線の一例を示す図で、ｚ方向移動を示すものである。
【図３Ｄ】腰部の移動曲線の一例を示す図で、軸回転方向を示すものである。
【図３Ｅ】腰部の移動曲線の一例を示す図で、屈伸移動を示すものである。
【図３Ｆ】腰部の移動曲線の一例を示す図で、横屈伸移動を示すものである。
【図４】踊りパターンと検出位置の合成モデルの一例を示すグラフである。
【図５】検出位置の移動量の一例を示す図である。
【符号の説明】
１…踊り手
２ａ，２ｂ…カメラ
３…スピーカ
４…３次元位置検出器
５…演算装置
６…音楽発生装置
７…表示装置
８…記憶装置
９…踊り映像強調合成装置部

Claims

踊り手の画像を取り込むカメラ部と、
前記取り込んだ画像から踊り手の複数個所の位置を検出する３次元位置検出器と、
１以上の踊りパターンを記憶する記憶装置と、
伴奏曲を発生する音楽発生装置と、
前記伴奏曲を再生するスピーカと、
表示装置と、
前記伴奏曲に従って踊り手が踊ることにより前記カメラ部から取り込まれ、踊り手の各個所の３次元の位置情報で表される動きと伴奏曲のリズム情報を前記１以上の踊りパターンと照らし合わせ、踊り手の各個所の位置情報に近く、かつ伴奏曲にマッチする踊りパターンを前記記憶装置から読み出し、踊り手の各個所の基準位置からの変化量と前記読み出された踊りパターンを合成し、前記表示装置に表示する演算・合成装置と、
を備え、
前記１以上の踊りパターンは、リズムパターン分の拍数を有するもので、いくつかの踊りの種類と同一種類のなかで、抑揚を段階的に小から大までの数種類が用意されており、伴奏曲にマッチする踊りパターンは該１以上の踊りパターンから伴奏曲の音楽テンポに合わせて読み出すものであることを特徴とする踊り映像強調合成装置。
前記記憶装置から読み出される踊りパターンは、伴奏曲のリズムから再生速度が決定されることを特徴とする請求項１記載の踊り映像強調合成装置。
前記踊りパターンと踊り手の各個所の基準位置からの変化量との合成は、前記踊りパターンと前記踊り手の各個所の基準位置からの変化量にそれぞれ重み付けをして加算することを特徴とする請求項１記載の踊り映像強調合成装置。