JP5238602B2 - 映像コンテンツ生成装置及びコンピュータプログラム - Google Patents
映像コンテンツ生成装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5238602B2 JP5238602B2 JP2009117709A JP2009117709A JP5238602B2 JP 5238602 B2 JP5238602 B2 JP 5238602B2 JP 2009117709 A JP2009117709 A JP 2009117709A JP 2009117709 A JP2009117709 A JP 2009117709A JP 5238602 B2 JP5238602 B2 JP 5238602B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- data
- music
- beat
- tempo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Description
動き解析手法としては、非特許文献3に記載の技術が知られている。非特許文献3の技術によれば、動きビートの変化や発生時刻を推定してビート間隔及びビート構造を取得している。
非特許文献4には、モーショングラフ(Motion Graphs)を用いて新たな動きデータを生成する技術が開示されている。
非特許文献5,6には、動きデータ全体を主成分分析し、寄与率の高い主成分を取得する技術が開示されている。
非特許文献7には、パス探索技術として、ある始点からダイナミックプログラミング(dynamic programming)で最適なパスを探索する技術が開示されている。
本発明に係る映像コンテンツ生成装置において、前記モーショングラフ生成部は、前記動きデータに付加されたジャンル情報によって前記動きデータのジャンルを判別し、同じジャンルの前記動きデータをさらにテンポで分類することを特徴とする。
これにより、前述の映像コンテンツ生成装置がコンピュータを利用して実現できるようになる。
図1は、本発明の一実施形態に係る映像コンテンツ生成装置1の構成を示すブロック図である。図1において、映像コンテンツ生成装置1は、動き解析部11、データベース12、音楽解析部13、音楽解析データ記憶部14、同期部15、同期情報記憶部16、映像データ生成部17、映像データ記憶部18及び再生部19を有する。
人体スケルトン型加速度情報データは、人の各ジョイントの加速度をポーズ毎のフレームデータと複数のポーズの連続により表すものである。なお、人体スケルトン型加速度情報データは、加速度計で記録したり、映像や動きデータから算出したりすることができる。
動き解析部11は、動きデータベース2から動きデータを取得し、取得した動きデータを解析して動き特徴量を取得し、取得した動き特徴量をデータベース12に格納する。動き解析部11は、動きデータベース2に蓄積される全ての動きデータを対象にする。この動き解析部11の処理は、実際に映像コンテンツを生成する段階の前に、事前の準備段階として行われる。
ビート抽出部31は、入力された動きデータからビート時刻を検出する。ここで、動きデータのビート時刻は反復的な動きの方向又は強度が変化する時刻である、と定義する。例えば、ダンスなどの動きでは拍子を打つタイミングが相当する。ビート抽出部31は、入力された動きデータを短時間の動きデータに分割し、分割した動き区間から主成分分析によってビート時刻を検出する。
物理量変換ステップでは、入力された動きデータにおいて、時刻tにおけるジョイント相対位置を算出する。ジョイント相対位置は、ルートに対するジョイントの相対的な位置である。
まず、人体スケルトン型角度情報データ内の基本ポーズデータとフレームデータを用いて、ジョイント位置を算出する。基本ポーズデータは、基本ポーズのときのルートの位置及び各ジョイントの位置、並びに各骨の長さなど、基本ポーズを特定する情報を有する。フレームデータは、ジョイント毎に、基本ポーズからの移動量の情報を有する。ここでは、移動量として角度情報を利用する。この場合、時刻tにおけるk番目のジョイントの位置pk(t)は、(1)式および(2)式により算出される。pk(t)は3次元座標で表される。なお、時刻tはフレームデータの時刻である。本実施形態では、時刻tを単に「フレームインデックス」として扱う。これにより、時刻tは、0,1,2,・・・,T−1の値をとる。Tは、動きデータに含まれるフレームの個数である。
データ分割ステップでは、ジョイント相対位置データを、一定時間の区間に分割する。データ分割ステップでは、各ジョイントのジョイント相対位置データ「p’k(t)」に対して、それぞれデータ分割処理を行う。図4,図5にデータ分割処理の概念を示す。データ分割処理では、ジョイント相対位置データを一定時間(一定数のフレーム分に対応)の区間に分割する。分割区間の長さは、適宜、設定可能である。分割区間の長さは、例えば、1フレーム当たりの時間の60倍である。このとき、図4に示されるように、各区間が重複しないようにしてもよく、或いは、図5に示されるように、各区間が重複区間(オーバーラップ)を有するようにしてもよい。重複区間の長さは、適宜、設定可能である。重複区間の長さは、例えば、分割区間の長さの半分である。
主成分分析ステップでは、データ分割ステップによって分割されたジョイント相対位置データに対し、各区間で主成分分析処理を行う。ここで、時刻tのフレーム「x(t)」を用いて、一区間のデータ「X」を「X={x(t1),x(t2),・・・,x(tN)}と表す。但し、Nは区間長(区間内に含まれるフレームの個数)である。Xは、M行N列の行列である(但し、M=3×K)。
まず、(4)式により、Xから平均値を除いたN行M列の行列Dを算出する。
主成分選択ステップでは、各区間において、主成分座標行列Yから主成分を一つ選択する。
(ユーザからの指定がない場合)
ユーザからの指定がない場合には、主成分座標行列Y内の第1主成分(主成分座標行列Yの第1行)を選択する。第1主成分は、一区間における時間関連性がより強いために、動きの変化を表現しており、一般的に、ビート時刻に関する十分な情報を有する。
ユーザによって主成分が指定されている場合には、その指定された主成分(第k主成分(主成分座標行列Yの第k行)、1≦k≦K)を選択する。この場合、映像コンテンツ生成装置1には、動きデータと共に、主成分の指定情報が入力される。若しくは、予め主成分の指定情報を固定的に設定しておいてもよい。
なお、第1主成分以外の第n主成分(1<n≦K)が選択される場合の例としては、体の一部分の動きがビートを表現しているものなどが挙げられる。例えば、最も大きい動きが体の回転である場合において、足の着地がビートをよく表現しているとする。すると、足の動きを表す第k主成分がビート時刻に関する十分な情報を有する。
主成分座標連結ステップでは、主成分選択ステップによって選択された各区間の主成分の座標を、時系列に沿って連結する。この主成分座標連結処理では、連続する2つの区間の境界部分において、主成分の座標が滑らかに連結されるように、主成分の座標を調整する。
(区間のオーバーラップがない場合)
区間のオーバーラップがない場合(図4に対応)には、(10)式により座標シフトを行う。この場合、前区間の主成分座標行列Yから、前区間の第tNフレームにおける第k主成分の座標Yk pre(tN)を取得する。
(10)式の最初の計算式の計算結果の座標Yk”に対し、第t1フレームの座標Yk”(t1)をYk opt(t1)に置き換える。この置き換え後の座標Yk”が、座標シフト結果の座標である。
区間のオーバーラップがある場合(図5に対応)には、(11)式により座標シフトを行う。この場合、前区間の主成分座標行列Yから、前区間の第(tN−Lol+1)フレームにおける第k主成分の座標Yk pre(tN−Lol+1)と、前区間の第(tN−Lol+1+i)フレームにおける第k主成分の座標Yk pre(tN−Lol+1+i)とを取得する。但し、i=1,2,・・・,Lolである。Lolは、前区間と当区間で重複している区間(オーバーラップ)の長さである。
(11)式の最初の計算式の計算結果の座標Yk”に対し、第(t1+i)フレームの座標Yk”(t1+i)をYk opt(t1+i)に置き換える。この置き換え後の座標Yk”が、座標シフト結果の座標である。
ビート抽出ステップでは、主成分座標連結ステップによって算出された連結後の全区間の主成分座標y(t)から、極値b(j)を算出する。この算出結果の極値b(j)がビートに対応する。ビートの集合Bは、(12)式で表される。
例えば、ビート抽出ステップでは、主成分座標連結ステップによって算出された連結後の全区間の主成分座標から自己相関値を算出し、該自己相関値の極値b(j)をビートに対応するものとして算出することができる。
また、ビート抽出ステップでは、主成分座標連結ステップによって、連結後の隣区間の主成分係数から算出した内積((9)式によるもの)の自己相関値を算出し、該自己相関値の極値b(j)をビートに対応するものとして算出することができる。
後処理ステップでは、ビート抽出ステップによって算出されたビート集合Bから、ビート時刻を検出する。
まず、ビート集合B内の各極値間を、(13)式により正弦曲線(sinusoid)で近似する。
盛り上がり算出部33は、各動きデータについて、主成分分析区間ごとに、(18)式により、動きの盛り上がりを算出する。
モーショングラフ生成部35は、各動きデータの、ビート時刻eb(j)の集合EB、テンポ及び盛り上がりを用いて、モーショングラフを生成する。モーショングラフについては非特許文献4に開示されている。モーショングラフは、ノード(頂点)群とノード間の連結関係を表すエッジ(枝)群とエッジの重みから構成される。エッジには双方向と単方向の2種類がある。
動きデータベース2内の動きデータは、ジャンル別に分類される。動きデータベース2内の動きデータのジャンルは、予め設定される。そのジャンル分けは動きの特徴によって行われる。各動きデータには、所属するジャンルを示す情報が付加されている。モーショングラフ生成部35は、動きデータに付加されたジャンル情報によって、動きデータのジャンルを判別する。図8の例では、動きデータベース2内の動きデータは、n個のジャンルデータベース(ジャンル1DBからジャンルnDB)に分類される。
まず、ビートフレーム抽出ステップでは、テンポiDBに属する全ての動きデータから、ビート時刻に該当するフレーム(ビートフレーム)を全て抽出する。この抽出されたビートフレームの集合をFiALL Bと表す。
次いで、連結性算出ステップでは、集合FiALL Bに含まれる全ビートフレームを対象とした全てのペアについて、(20)式又は(21)式により距離を算出する。あるビートフレームFi BとあるビートフレームFj Bとの距離をd(Fi B,Fj B)と表す。
次いで、モーショングラフ構築ステップでは、まず、集合FiALL Bに含まれる全ビートフレームをそれぞれ、モーショングラフのノードに設定する。従って、モーショングラフのノード数の初期値は、集合FiALL Bに含まれるビートフレームの個数に一致する。
(a)ビートフレームFi BとビートフレームFj Bが同じ主成分分析区間に属する場合、当該主成分分析区間の盛り上がりを重みに用いる。
(b)ビートフレームFi BとビートフレームFj Bが異なる主成分分析区間に属する場合、ビートフレームFi Bが属する主成分分析区間の盛り上がりとビートフレームFj Bが属する主成分分析区間の盛り上がりを平均した値を重みに用いる。
映像コンテンツ生成装置1には、映像コンテンツ生成対象の楽曲の音楽データが楽曲ファイル3から入力される。音楽解析部13は、映像コンテンツ生成対象の楽曲の音楽データを解析して音楽特徴量を取得する。本実施形態では、非特許文献2に記載の技術を用いて、音楽データから、ビート間隔及びビート時刻、並びに、音楽の盛り上がりを示す数値(以下、盛り上がりと称する)を音楽特徴量として取得する。
音楽解析部13は、音楽特徴量(ビート間隔、ビート時刻、テンポおよび盛り上がり)を音楽解析データ記憶部14に格納する。
まず、同期部15は、データベース12内のモーショングラフデータの中から、映像コンテンツ生成対象の楽曲に合ったモーショングラフデータを選択する。この選択では、映像コンテンツ生成対象の楽曲に合ったジャンルのモーショングラフデータの中から、映像コンテンツ生成対象の楽曲のテンポに合ったモーショングラフデータを選択する。映像コンテンツ生成対象の楽曲に合ったジャンルは、利用者から入力してもらう、又は予め設定しておく。
始点選択ステップでは、モーショングラフ内のノードから、映像コンテンツの動きの始点となるノードの候補(始点候補ノード)を選択する。始点候補ノードには、モーショングラフ内のノードであって、各動きデータの最初のビートフレームに対応するノードを全て抽出する。従って、始点候補ノードは、通常、複数ある。
次いで、最適パス探索ステップでは、モーショングラフ上の始点候補ノードからの最適パスを始点候補ノード毎に探索し、各始点候補ノードに係る最適パスの中から最小コストのパスを選択する。このパス探索方法には、非特許文献7に記載されるパス探索技術を用いる。非特許文献7に記載されるパス探索技術は、ある始点からダイナミックプログラミングで最適なパスを探索するものである。以下、最適パス探索ステップの詳細を説明する。
同期情報生成ステップでは、最適パス探索ステップの最終結果の最適パスに従って、動きデータと音楽データを対応付ける同期情報を生成する。以下、同期情報生成ステップの詳細を説明する。
映像データ生成部17は、同期情報記憶部16に格納された同期情報に基づいて、映像コンテンツ生成対象の楽曲の音楽データとともに再生される映像データを生成する。具体的には、始点ビートフレームから経由ビートフレームを経由して終点ビートフレームに至るまでに必要な動きデータを動きデータベース2から取得する。
再生部19は、映像データ記憶部18に格納された映像データを、映像コンテンツ生成対象の楽曲の音楽データとともに再生する。このとき、再生部19は、映像データに付加されたフレームレートの情報に従って、隣接ビートフレーム間のフレームレートを設定する。これにより、映像データと音楽データは、互いのビートが同期して再生される。
また、上記周辺機器については、映像コンテンツ生成装置1に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
例えば、上述した実施形態では人の動きデータを扱ったが、本発明は各種の物体の動きデータに適用することができる。ここで、物体とは、人、動物、植物その他の生物、及び、生物以外の物(ロボット等)を含む。
Claims (14)
- 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析部と、
動きの種類ごとに分類された動き特徴量群を格納するデータベースと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析部と、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期部と、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成部と、を備え、
前記動き解析部は、
前記動きデータからビートを抽出し、テンポを算出するビート抽出部と、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶部と、
前記動きデータから盛り上がりを算出する盛り上がり算出部と、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶部と、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成部と、を有し、
前記データベースは、動きのテンポの種類ごとに生成されたモーショングラフのデータを格納し、
前記音楽解析部は、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期部は、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記ビート抽出部は、前記動きデータに対して一定時間の区間毎に主成分分析を行い、該区間毎に主成分座標を一つ選択し、全区間の主成分座標から極値を算出し、該極値をビートに対応するものとしてビート時刻を検出する
ことを特徴とする映像コンテンツ生成装置。 - 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析部と、
動きの種類ごとに分類された動き特徴量群を格納するデータベースと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析部と、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期部と、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成部と、を備え、
前記動き解析部は、
前記動きデータからビートを抽出し、テンポを算出するビート抽出部と、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶部と、
前記動きデータから盛り上がりを算出する盛り上がり算出部と、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶部と、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成部と、を有し、
前記データベースは、動きのテンポの種類ごとに生成されたモーショングラフのデータを格納し、
前記音楽解析部は、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期部は、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記ビート抽出部は、前記動きデータに対して一定時間の区間毎に主成分分析を行い、該区間毎に主成分座標を一つ選択し、各区間の主成分座標に基づいてビート時刻を検出し、
前記盛り上がり算出部は、前記区間毎に、主成分分析による負でない固有値の和を計算する、
ことを特徴とする映像コンテンツ生成装置。 - 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析部と、
動きの種類ごとに分類された動き特徴量群を格納するデータベースと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析部と、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期部と、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成部と、を備え、
前記動き解析部は、
前記動きデータからビートを抽出し、テンポを算出するビート抽出部と、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶部と、
前記動きデータから盛り上がりを算出する盛り上がり算出部と、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶部と、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成部と、を有し、
前記データベースは、動きのテンポの種類ごとに生成されたモーショングラフのデータを格納し、
前記音楽解析部は、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期部は、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記モーショングラフ生成部は、
動きのテンポの種類が同じである前記動きデータからビートフレームを抽出するビートフレーム抽出手段と、
前記抽出されたビートフレーム間の連結性を算出する連結性算出手段と、
前記抽出されたビートフレームの各々のみをモーショングラフのノードに設定し、前記連結性に基づいてノード間にエッジを設けるモーショングラフ構築手段と、を有する、
ことを特徴とする映像コンテンツ生成装置。 - 前記モーショングラフ生成部は、前記動きデータに付加されたジャンル情報によって前記動きデータのジャンルを判別し、同じジャンルの前記動きデータをさらにテンポで分類することを特徴とする請求項3に記載の映像コンテンツ生成装置。
- 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析部と、
動きの種類ごとに分類された動き特徴量群を格納するデータベースと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析部と、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期部と、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成部と、を備え、
前記動き解析部は、
前記動きデータからビートを抽出し、テンポを算出するビート抽出部と、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶部と、
前記動きデータから盛り上がりを算出する盛り上がり算出部と、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶部と、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成部と、を有し、
前記データベースは、動きのテンポの種類ごとに生成されたモーショングラフのデータを格納し、
前記音楽解析部は、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期部は、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記モーショングラフ生成部は、
動きのテンポの種類が同じである前記動きデータからビートフレームを抽出するビートフレーム抽出手段と、
前記抽出されたビートフレーム間の連結性を算出する連結性算出手段と、
前記抽出されたビートフレームの各々をモーショングラフのノードに設定し、前記連結性に基づいてノード間にエッジを設けるモーショングラフ構築手段と、を有し、
前記モーショングラフ構築手段は、連結性が高いノード間に双方向エッジを設け、各動きデータ内の全隣接ビートフレーム間に単方向エッジを設ける、
ことを特徴とする映像コンテンツ生成装置。 - 一定時間分のフレームを使用しクォータニオンによる球面線形補間を利用して、前記連結性が高いノード間の連結部分を補間するブレンディング動きデータを生成するブレンディング動きデータ生成手段を備えたことを特徴とする請求項5に記載の映像コンテンツ生成装置。
- 前記単方向エッジは、隣接ビートフレーム間に連続フレームの動きデータを定義することを特徴とする請求項5に記載の映像コンテンツ生成装置。
- 前記モーショングラフ構築手段は、前記動きデータに係る盛り上がりに基づいて、エッジの重みを算出することを特徴とする請求項3又は請求項5に記載の映像コンテンツ生成装置。
- 前記連結性算出手段は、対象ビートフレームにおいて、ポーズの類似度を算出することを特徴とする請求項3に記載の映像コンテンツ生成装置。
- 前記連結性算出手段は、対象ビートフレームにおけるポーズを構成する各ジョイントの物理量の差分の重み付き平均を算出することを特徴とする請求項9に記載の映像コンテンツ生成装置。
- 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析ステップと、
動きの種類ごとに分類された動き特徴量群をデータベースに格納するデータベース格納ステップと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析ステップと、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期情報生成ステップと、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムであり、
前記動き解析ステップは、
前記動きデータからビートを抽出し、テンポを算出するビート抽出ステップと、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶ステップと、
前記動きデータから盛り上がりを算出する盛り上がり算出ステップと、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶ステップと、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成ステップと、を有し、
前記データベース格納ステップは、動きのテンポの種類ごとに生成されたモーショングラフのデータを前記データベースに格納し、
前記音楽解析ステップは、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期情報生成ステップは、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記ビート抽出ステップは、前記動きデータに対して一定時間の区間毎に主成分分析を行い、該区間毎に主成分座標を一つ選択し、全区間の主成分座標から極値を算出し、該極値をビートに対応するものとしてビート時刻を検出する
ことを特徴とするコンピュータプログラム。 - 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析ステップと、
動きの種類ごとに分類された動き特徴量群をデータベースに格納するデータベース格納ステップと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析ステップと、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期情報生成ステップと、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムであり、
前記動き解析ステップは、
前記動きデータからビートを抽出し、テンポを算出するビート抽出ステップと、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶ステップと、
前記動きデータから盛り上がりを算出する盛り上がり算出ステップと、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶ステップと、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成ステップと、を有し、
前記データベース格納ステップは、動きのテンポの種類ごとに生成されたモーショングラフのデータを前記データベースに格納し、
前記音楽解析ステップは、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期情報生成ステップは、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記ビート抽出ステップは、前記動きデータに対して一定時間の区間毎に主成分分析を行い、該区間毎に主成分座標を一つ選択し、各区間の主成分座標に基づいてビート時刻を検出し、
前記盛り上がり算出ステップは、前記区間毎に、主成分分析による負でない固有値の和を計算する、
ことを特徴とするコンピュータプログラム。 - 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析ステップと、
動きの種類ごとに分類された動き特徴量群をデータベースに格納するデータベース格納ステップと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析ステップと、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期情報生成ステップと、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムであり、
前記動き解析ステップは、
前記動きデータからビートを抽出し、テンポを算出するビート抽出ステップと、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶ステップと、
前記動きデータから盛り上がりを算出する盛り上がり算出ステップと、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶ステップと、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成ステップと、を有し、
前記データベース格納ステップは、動きのテンポの種類ごとに生成されたモーショングラフのデータを前記データベースに格納し、
前記音楽解析ステップは、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期情報生成ステップは、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記モーショングラフ生成ステップは、
動きのテンポの種類が同じである前記動きデータからビートフレームを抽出するビートフレーム抽出ステップと、
前記抽出されたビートフレーム間の連結性を算出する連結性算出ステップと、
前記抽出されたビートフレームの各々のみをモーショングラフのノードに設定し、前記連結性に基づいてノード間にエッジを設けるモーショングラフ構築ステップと、を有する、
ことを特徴とするコンピュータプログラム。 - 楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成処理を行うためのコンピュータプログラムであって、
映像コンテンツに利用可能な動きデータから動き特徴量を取得する動き解析ステップと、
動きの種類ごとに分類された動き特徴量群をデータベースに格納するデータベース格納ステップと、
映像コンテンツ生成対象楽曲の音楽データから音楽特徴量を取得する音楽解析ステップと、
前記映像コンテンツ生成対象楽曲の種類に合った動き特徴量群を用いて、前記音楽データと該音楽データに合った前記動きデータとを対応付ける同期情報を生成する同期情報生成ステップと、
前記同期情報に基づいて、前記音楽データとともに再生される映像データを生成する映像データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムであり、
前記動き解析ステップは、
前記動きデータからビートを抽出し、テンポを算出するビート抽出ステップと、
複数の前記動きデータに係るビート及びテンポの情報を記憶するビート情報記憶ステップと、
前記動きデータから盛り上がりを算出する盛り上がり算出ステップと、
複数の前記動きデータに係る盛り上がりの情報を記憶する盛り上がり情報記憶ステップと、
複数の前記動きデータに係るビート、テンポ及び盛り上がりの情報を用いて、モーショングラフを生成するモーショングラフ生成ステップと、を有し、
前記データベース格納ステップは、動きのテンポの種類ごとに生成されたモーショングラフのデータを前記データベースに格納し、
前記音楽解析ステップは、前記音楽データからビート、テンポ及び盛り上がりの情報を取得し、
前記同期情報生成ステップは、前記映像コンテンツ生成対象楽曲のテンポに合ったモーショングラフを用いて、前記音楽データに合う前記動きデータと前記音楽データとを対応付ける同期情報を生成し、
前記モーショングラフ生成ステップは、
動きのテンポの種類が同じである前記動きデータからビートフレームを抽出するビートフレーム抽出ステップと、
前記抽出されたビートフレーム間の連結性を算出する連結性算出ステップと、
前記抽出されたビートフレームの各々をモーショングラフのノードに設定し、前記連結性に基づいてノード間にエッジを設けるモーショングラフ構築ステップと、を有し、
前記モーショングラフ構築ステップは、連結性が高いノード間に双方向エッジを設け、各動きデータ内の全隣接ビートフレーム間に単方向エッジを設ける、
ことを特徴とするコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009117709A JP5238602B2 (ja) | 2009-05-14 | 2009-05-14 | 映像コンテンツ生成装置及びコンピュータプログラム |
US12/777,782 US20100290538A1 (en) | 2009-05-14 | 2010-05-11 | Video contents generation device and computer program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009117709A JP5238602B2 (ja) | 2009-05-14 | 2009-05-14 | 映像コンテンツ生成装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010267069A JP2010267069A (ja) | 2010-11-25 |
JP5238602B2 true JP5238602B2 (ja) | 2013-07-17 |
Family
ID=43068499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009117709A Expired - Fee Related JP5238602B2 (ja) | 2009-05-14 | 2009-05-14 | 映像コンテンツ生成装置及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100290538A1 (ja) |
JP (1) | JP5238602B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8878041B2 (en) * | 2009-05-27 | 2014-11-04 | Microsoft Corporation | Detecting beat information using a diverse set of correlations |
US20120058824A1 (en) * | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
JP5583066B2 (ja) * | 2011-03-30 | 2014-09-03 | Kddi株式会社 | 映像コンテンツ生成装置およびコンピュータプログラム |
JP5778523B2 (ja) * | 2011-08-25 | 2015-09-16 | Kddi株式会社 | 映像コンテンツ生成装置、映像コンテンツ生成方法及びコンピュータプログラム |
JP5798000B2 (ja) * | 2011-10-21 | 2015-10-21 | Kddi株式会社 | モーション生成装置、モーション生成方法、およびモーション生成プログラム |
US8769557B1 (en) | 2012-12-27 | 2014-07-01 | The Nielsen Company (Us), Llc | Methods and apparatus to determine engagement levels of audience members |
KR20150075909A (ko) * | 2013-12-26 | 2015-07-06 | 한국전자통신연구원 | 3차원 캐릭터 동작 편집방법 및 그 장치 |
US20160078287A1 (en) * | 2014-08-29 | 2016-03-17 | Konica Minola Laboratory U.S.A., Inc. | Method and system of temporal segmentation for gesture analysis |
US10681408B2 (en) | 2015-05-11 | 2020-06-09 | David Leiberman | Systems and methods for creating composite videos |
US9691429B2 (en) | 2015-05-11 | 2017-06-27 | Mibblio, Inc. | Systems and methods for creating music videos synchronized with an audio track |
JP6684556B2 (ja) * | 2015-08-28 | 2020-04-22 | 株式会社電通 | データ変換装置、ロボット、プログラム及び情報処理方法 |
US20170076629A1 (en) * | 2015-09-14 | 2017-03-16 | Electronics And Telecommunications Research Institute | Apparatus and method for supporting choreography |
US10949716B2 (en) * | 2015-11-25 | 2021-03-16 | Jakob Balslev | Methods and systems of real time movement classification using a motion capture suit |
US10314510B2 (en) * | 2015-12-30 | 2019-06-11 | The Nielsen Company (Us), Llc | Determining intensity of a biological response to a presentation |
CN112422863B (zh) * | 2019-08-22 | 2022-04-12 | 华为技术有限公司 | 一种视频拍摄方法、电子设备和存储介质 |
DE112020005186T5 (de) * | 2019-10-28 | 2022-09-29 | Sony Group Corporation | Datenverarbeitungsvorrichtung, vorschlagsvorrichtung, datenverarbeitungsverfahren und vorschlagsverfahren |
CN110942007B (zh) * | 2019-11-21 | 2024-03-05 | 北京达佳互联信息技术有限公司 | 手部骨骼参数确定方法、装置、电子设备和存储介质 |
CN113365147B (zh) * | 2021-08-11 | 2021-11-19 | 腾讯科技(深圳)有限公司 | 基于音乐卡点的视频剪辑方法、装置、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3384314B2 (ja) * | 1997-12-02 | 2003-03-10 | ヤマハ株式会社 | 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体 |
JP2005339100A (ja) * | 2004-05-26 | 2005-12-08 | Advanced Telecommunication Research Institute International | 身体動作解析装置 |
JP4144888B2 (ja) * | 2005-04-01 | 2008-09-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP2007018388A (ja) * | 2005-07-08 | 2007-01-25 | Univ Of Tokyo | モーション作成装置およびモーション作成方法並びにこれらに用いるプログラム |
US7450736B2 (en) * | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
JP4660861B2 (ja) * | 2006-09-06 | 2011-03-30 | 富士フイルム株式会社 | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
-
2009
- 2009-05-14 JP JP2009117709A patent/JP5238602B2/ja not_active Expired - Fee Related
-
2010
- 2010-05-11 US US12/777,782 patent/US20100290538A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20100290538A1 (en) | 2010-11-18 |
JP2010267069A (ja) | 2010-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5238602B2 (ja) | 映像コンテンツ生成装置及びコンピュータプログラム | |
JP5554677B2 (ja) | 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム | |
JP5604225B2 (ja) | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム | |
US6552729B1 (en) | Automatic generation of animation of synthetic characters | |
Egges et al. | Personalised real-time idle motion synthesis | |
JP5055223B2 (ja) | 映像コンテンツ生成装置及びコンピュータプログラム | |
Xia et al. | Autonomous robot dancing driven by beats and emotions of music | |
Jörg et al. | Data-driven finger motion synthesis for gesturing characters | |
KR101179496B1 (ko) | 모션캡쳐 데이터베이스의 구축 방법과 이를 이용한 모션 합성 방법 | |
CN111179385A (zh) | 一种舞蹈动画的处理方法及装置、电子设备、存储介质 | |
JP2012141881A (ja) | 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム | |
JP5778523B2 (ja) | 映像コンテンツ生成装置、映像コンテンツ生成方法及びコンピュータプログラム | |
JP5124439B2 (ja) | 多次元時系列データ分析装置及びコンピュータプログラム | |
JP2023525185A (ja) | 改良されたポーズ追跡を用いた運動学的インタラクションシステム | |
CN109993818B (zh) | 三维人体模型运动合成的方法、装置、设备及介质 | |
JP5372823B2 (ja) | 映像コンテンツ生成システム、メタデータ構築装置、映像コンテンツ生成装置、携帯端末、映像コンテンツ配信装置及びコンピュータプログラム | |
JP5162512B2 (ja) | 多次元時系列データ分析装置及び多次元時系列データ分析プログラム | |
JP6092698B2 (ja) | 動きデータセグメント決定装置、動きデータセグメント決定方法およびコンピュータプログラム | |
Kim et al. | Reconstructing whole-body motions with wrist trajectories | |
JP6059614B2 (ja) | 仕草生成装置、仕草生成システム、仕草生成方法およびコンピュータプログラム | |
Nakatsuka et al. | Audio-guided Video Interpolation via Human Pose Features. | |
JP5055218B2 (ja) | 動きデータ検索装置及びコンピュータプログラム | |
Yu | Speech Synchronized Tongue Animation by Combining Physiology Modeling and X-ray Image Fitting | |
JP6069152B2 (ja) | 仕草生成装置、仕草生成方法およびコンピュータプログラム | |
Yasunaga et al. | Human-computer dance interaction with realtime accelerometer control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130401 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |