JP5951697B2 - データ生成システム、それに用いられる制御方法及びコンピュータプログラム - Google Patents

Description

本発明は、パフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の連続的な動作を記録した記録データを生成するデータ生成システム等に関する。

パフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の連続的な動作を記録した記録データを生成するデータ生成システム等が存在する。例えば、このような記録データとして、運動量を示すグレースケールの行を含む体動五線譜という譜面を表現するためのデータが知られている（例えば、特許文献１参照）。

特開２０１２−２３４５４１号公報

特許文献１の体動五線譜という表現手法では、グレースケールの行やカラー行等の色の濃淡により、記録対象の部位の運動量等が記録されている。しかし、色の濃淡は、目で見ても認識できない場合が多い。したがって、このような表現手法では、可読性を欠く可能性が高い。結果として、このような表現手法によって記録される動作を、人が見て理解することは難しい。

そこで、本発明は、パフォーマの動作を視覚的に理解できる情報として記録することができるデータ生成システム等を提供することを目的とする。

本発明のデータ生成システムは、パフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の連続的な動作を記録した記録データを生成するデータ生成システムであって、前記記録対象の部位の３次元空間における向きを２次元平面の所定方向の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手段と、前記情報取得手段の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データを生成するデータ生成手段と、を備えている。

本発明の制御方法は、連続的に動作するパフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の動作を記録した記録データを生成するデータ生成システムに組み込まれるコンピュータに、前記記録対象の部位の３次元空間における向きを２次元平面の所定方向の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手順と、前記情報取得手順の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データを生成するデータ生成手順と、を実行させるものである。

また、本発明のデータ生成システム用のコンピュータプログラムは、連続的に動作するパフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の動作を記録した記録データを生成するデータ生成システムに組み込まれるコンピュータを、前記記録対象の部位の３次元空間における向きを２次元平面の所定方向の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手段、及び前記情報取得手段の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データを生成するデータ生成手段として機能させるように構成されたものである。

本発明の一形態に係るデータ生成システムの主要部の構成を示す図。 ダンス動作の譜面化を説明するための説明図。 譜面化の流れを説明するための説明図。 選定工程で選定されたパフォーマのダンス動作の一部に対応するコマ画像の一例を模式的に示す図。 停止姿勢の一例を説明するための説明図。 １小節が４分の４拍子の場合において、４つの拍にそれぞれ対応する４つの特徴的姿勢間の変化の一例を説明するための説明図。 パフォーマの基準姿勢の一例を説明するための説明図。 地理座標系の一例の詳細を説明するための説明図。 回転角を説明するための説明図。 Ｌ字型の状態の橈骨部位に設定される地理座標系を説明するための説明図。 投影法を利用して図１０の例の地理座標系を２次元平面（いわゆるメルカトル図法）として表現した場合の図６のＬ字型の状態の橈骨部位の向きを説明するための説明図。 図１１と同様の手法により、図６の拍毎の右腕の向きを２次元平面の各位置に置き換えた場合を説明するための説明図。 図１２に示す第１位置変換表を譜面化した場合の一例を説明するための説明図。 両腕を一回転させる連続動作が地理座標系によって二次元方向の位置に変換された場合の一例を説明するための説明図。 図１４の例の連続動作を示す上腕骨部位の向きを譜面化した場合を説明するために説明図。 基準位置データの内容の一例を示す図。 譜面位置データの内容の一例を示す図。 譜面データの内容の一例を示す図。 譜面データに基づく逆変換を説明するための説明図。 データ生成処理を実現するためのデータ生成処理ルーチンのフローチャートの一例を示す図。 直交座標系が使用される場合の動作分析表及び位置変換表の一例を説明するための説明図。

以下、本発明の一形態に係るデータ生成システムについて説明する。図１は、本発明の一形態に係るデータ生成システム１の主要部の構成を示す図である。データ生成システム１は、各種のデータを生成するためのシステムである。一例として、データ生成システム１は、パフォーマの少なくとも一部の部位を記録対象として、その連続的な動作を記録したデータを生成する。より具体的には、データ生成システム１は、各種のデータの一つとして、３次元空間におけるダンス動作（姿勢）が記録された譜面を表現するための譜面データの生成に使用される。

図１に示すように、データ生成システム１には、コンピュータとしての制御ユニット１０が設けられている。制御ユニット１０は、マイクロプロセッサと、そのマイクロプロセッサの動作に必要な内部記憶装置（一例としてＲＯＭ及びＲＡＭ）等の各種周辺装置とを組み合わせたコンピュータユニットとして構成されている。

制御ユニット１０には、例えば、状態検出装置１１、キーボード１２、スピーカ１３、表示装置１４、及び記憶ユニット２０が接続されている。なお、制御ユニット１０には、その他にも各種の入力装置及び出力装置が接続されてよい。

状態検出装置１１は、被検出者の状態（全体の姿勢、各部位、或いは骨格等の状態の情報を含む）及び状態の変化を検出するための周知の装置である。状態検出装置１１は、例えば、光学センサ（不図示）及び深度センサ（不図示）を含んでいる。深度センサは、状態検出装置１１と被検出者との間の距離（深度）を検出するための周知のセンサである。光学センサは、被検出者の各部位の状態及び動きを検出するための周知のセンサである。光学センサは、一例として、被検出者を撮影するためのカメラ（不図示）を含んでいる。また、カメラの撮影結果を含む状態検出装置１１の検出結果は、制御ユニット１０に出力される。

キーボード１２は、ユーザの各種の操作を入力するための周知の入力装置である。キーボード１２に対する入力結果は、制御ユニット１０に出力される。スピーカ１３は、制御ユニット１０が出力する信号に基づいて、ＢＧＭ等の所定の音声を再生する周知の装置である。また、表示装置１４は、制御ユニット１０が出力する信号に基づいて各種の画像を表示する周知の装置である。

記憶ユニット２０は、電源の供給がなくても記憶を保持可能なように、例えば、磁気記録媒体や光記録媒体、あるいはＥＥＰＲＯＭ等の不揮発性半導体メモリ装置などにより構成されている。記憶ユニット２０には、システムプログラム２１及びシステムデータ２２が記憶されている。システムプログラム２１は、データ生成システム１がデータ生成等の各種の処理を実行するために必要なコンピュータプログラムである。制御ユニット１０がシステムプログラム２１を読み取って実行することにより、制御ユニット１０の内部には、一例として、処理実行部２３が設けられる。処理実行部２３は、一例として、譜面データの生成に関する各種の処理を実行する。処理実行部２３は、コンピュータハードウェアとコンピュータプログラムとの組み合わせにより実現される論理的装置である。なお、制御ユニット１０の内部には、その他にも各種の論理的装置が設けられ得るが、それらの図示は省略した。

一方、システムデータ２２は、システムプログラム２１の実行に伴って参照され得るデータである。システムデータ２２には、例えば、基準位置データ２２ａ、譜面位置データ２２ｂ、及び動作記録データとしての譜面データ２２ｃを含んでいる。これらの詳細は、後述する。なお、システムデータ２２は、例えば、その他にも譜面データ２２ｃの生成に必要な各種のデータを含んでいてよい。このようなデータとして、システムデータ２２は、例えば、各種画像を描画するための画像データ、及び音楽等の各種ＢＧＭ等を再生するための音声データ（小節や拍だけを表現するためのメトロノームのような音声データを含む）を含んでいてもよい。

次に、データ生成システム１が実行するダンス動作の譜面化について説明する。図２は、ダンス動作の譜面化を説明するための説明図である。図２に示すように、データ生成システム１は、パフォーマＰのダンス動作を譜面２６に変換して記録するための処理を実行する。譜面２６は、例えば、五線譜として機能するように、５本の線２７を含んでいる。具体的には、５本の線２７は、所定方向としての縦方向ＳＤに互いに間隔をあけて並べられ、各時期を示すように横方向ＬＤ（縦方向ＳＤと直交する方向）に直線状に延びている。また、５本の線２７上には、各種のダンス動作をそれぞれ示す各種の動作記号としての音楽記号Ｉ等が配置される。例えば、音楽記号Ｉとして、５本の線２７上には、音符Ｉ１及び休符Ｉ２等が使用される。そして、このような譜面２６は、譜面データ２２ｃによって表現される。つまり、一例として、データ生成システムは、パフォーマＰのダンス動作が音楽記号Ｉ等に変換されて配置された譜面２６を表現するための譜面データ２２ｃの生成を譜面化として実行する。

図３は、譜面化の流れを説明するための説明図である。図３に示すように、譜面化の流れは、一例として、選定工程、変換工程、及び譜面化工程を順に含んでいる。選定工程は、譜面化の対象を選定するための工程である。つまり、選定工程では、譜面化対象のパフォーマＰ、及びそのパフォーマＰの動作が選定される（ステップＳ１）。

変換工程は、パフォーマＰのダンス動作を２次元平面（譜面２６）の位置の情報に変換するための工程である。より具体的には、変換工程では、３次元空間におけるパフォーマＰのダンス動作を２次元方向の所定方向（縦方向ＳＤ）の位置に置き換えて表現するための規則に従って、パフォーマＰの一連のダンス動作が譜面２６の縦方向ＳＤの位置の情報に変換される（ステップＳ２）。

譜面化工程は、パフォーマＰの一連のダンス動作を譜面化するための工程である。一例として、譜面化工程は、パフォーマＰの一連のダンス動作を譜面２６として表現するために実行される。より具体的には、例えば、譜面化工程では、変換工程で変換された縦方向ＳＤの各位置にダンス動作を示す適切な音楽記号Ｉ等が時間順の配置で順に並べられた譜面２６を表現するための譜面データ２２ｃが生成される（ステップＳ３）。

図４〜図１２を参照して、各工程について更に説明する。まず図４を参照して、選定工程の詳細を説明する。選定工程では、一例として、上述のように、譜面化対象のパフォーマＰ、及びそのパフォーマＰの動作が選定される。具体的には、パフォーマＰとして、実際にダンスする人が選定される。また、パフォーマＰは、データ生成システム１が再生するＢＧＭ等の楽曲に合わせてダンス動作を実行する。したがって、選定工程では、ＢＧＭ等の楽曲（音声データに音づいて再生される）も選定される。そして、そのダンス動作が譜面化対象の動作として選定される。つまり、選定工程では、譜面化対象のダンス動作を実行する人及びＢＧＭ等の楽曲が選定される。そして、以降の工程では、設定されたパフォーマＰ（被検出者）によるダンス動作が状態検出装置１１により検出され、譜面化される。

次に変換工程の詳細を説明する。変換工程では、一連のダンス動作の一部が２次元平面の位置を示す情報に変換される。具体的には、変換工程では、まずパフォーマＰのダンス動作は、離散的な時期毎の姿勢に分割して特定される。また、離散的な各時期の一例として、ダンス動作のＢＧＭとして使用される音楽の拍が使用される。つまり、ダンス動作は、一例として、音楽の拍毎の姿勢に分割されて特定される。そして、拍毎に分割された各姿勢に含まれる特徴的姿勢が２次元平面の位置を示す情報に変換される。

図４は、選定工程で選定されたパフォーマＰのダンス動作の一部に対応するコマ画像を模式的に示す図である。図４に示すように、パフォーマＰのダンス動作は、一例として、拍毎にコマ画像Ｗに分割されて記録される。したがって、コマ画像Ｗは、拍毎のパフォーマＰの姿勢（ダンス動作の一部）を示す画像である。このように、ダンス動作は拍毎にコマ画像Ｗに分割され、各コマ画像Ｗによってダンス動作を形成する各姿勢が特定される。

また、一例として、所定の条件を満たす姿勢が特徴的姿勢として使用される。例えば、所定の条件は、少なくとも一部の部位を停止させる状態が所定期間続く場合（停止動作としての停止姿勢が所定期間維持される場合）、或いは所定の連続期間に亘って動作が継続する場合（連続動作）に満たされる。つまり、一例として、停止姿勢、及び連続動作を示す姿勢が特徴的姿勢として特定される。

図５〜図９を参照して、まず停止姿勢を例に変換工程の詳細を説明する。ダンス動作では、連続する２つの停止姿勢が明らかになれば、その間をつなぐ動作は自然と実行できる場合が多い。したがって、一例として、初期の停止姿勢及び終期の停止姿勢が明らかな場合、これらが特徴的姿勢として利用される。図５は、停止姿勢の一例を説明するための説明図である。この場合、図５に示すように、ダンス動作の一部を示すコマ画像Ｗは、６つの姿勢を時間の経過順にそれぞれ示す初期コマ画像Ｗａ〜終期コマ画像Ｗｆを含んでいる。具体的には、初期コマ画像Ｗａは、一連のダンス動作の初期の停止姿勢、つまり左腕を右側で停止させる姿勢のパフォーマＰを示している。また、終期コマ画像Ｗｆは、一連のダンス動作の終期の停止姿勢、つまり左腕を左側で停止させる姿勢のパフォーマＰを示している。

一方、第１接続コマ画像Ｗｂ〜第４接続コマ画像Ｗｅは、初期コマ画像Ｗａが示す姿勢から終期コマ画像Ｗｆが示す姿勢まで変化中の姿勢のパフォーマＰを示している。つまり、第１接続コマ画像Ｗｂ〜第４接続コマ画像Ｗｅは、初期の停止姿勢と終期の停止姿勢とをつなぐ動作に対応する各姿勢を示している。この場合、初期の左腕の停止位置と終期の左腕の停止位置が明らかになれば、その途中の動作（姿勢）は、ダンス動作として自然に実行される場合が多い。したがって、図５の例では、初期コマ画像Ｗａが示す初期の停止姿勢及び終期コマ画像Ｗｆが示す終期の停止姿勢が特徴的姿勢として２次元平面の位置を示す情報に変換される。

変換工程では、続いて各特徴的姿勢間の変化が特定される。図６は、１小節が４分の４拍子の場合において、４つの拍にそれぞれ対応する４つの特徴的姿勢間の変化の一例を説明するための説明図である。図６に示すように、コマ画像Ｗは、４つの特徴的姿勢をそれぞれ示す第１コマ画像Ｗ１〜第４コマ画像Ｗ４を含んでいる。具体的には、パフォーマＰの右腕Ｐ１に着目した場合、第１コマ画像Ｗ１は、橈骨が上に延びるように位置（手首が上に位置）して右腕Ｐ１がＬ字型を形成する特徴的姿勢を示している。一方、第２コマ画像Ｗ２は、橈骨が下に延びるように位置（手首が下に位置）して右腕Ｐ１が逆Ｌ字型を形成する特徴的姿勢を示している。さらに、第３コマ画像Ｗ３及び第４コマ画像Ｗ４は、第１コマ画像Ｗ１の特徴的姿勢と同様に、再度右腕Ｐ１がＬ字型を形成する特徴的姿勢を示している。つまり、第１コマ画像Ｗ１〜第４コマ画像Ｗ４により、Ｌ字型を形成した状態の右腕Ｐ１を上、下、上、上と拍毎に位置させるダンス動作が示されている。

また、第１コマ画像Ｗ１〜第４コマ画像Ｗ４の特徴的姿勢間の変化は、一例として、動作分析表３０によって表現される。動作分析表３０は、手首の位置（Ｌ字型の状態の右腕Ｐ１の向き）及び位置の変化の速度の向きが拍（表拍、裏拍を含む）毎にマトリクス的に整理された表である。なお、表拍及び裏拍は、一例として、拍を更に前後半に分けた場合の各時期を示す。そして、表拍がいわゆる拍の時期に対応し、裏拍は各表拍間の時期に対応する。

具体的には、動作分析表３０に示すように、第１拍の表拍における特徴的姿勢を示す第１コマ画像Ｗ１では、手首が上に位置している。また、手首はそこで停止しているので、手首の速度はゼロである。一方、第２拍の表拍における特徴的姿勢を示す第２コマ画像Ｗ２では、手首は下に位置している。そして、手首はそこで停止しているので、手首の速度はゼロである。このため、第２コマ画像Ｗ２の姿勢を示すように、第１拍の裏拍では第１コマ画像の姿勢から手首が移動する。したがって、裏拍での手首の位置は移動中であり、第２コマ画像Ｗ２において手首が下に位置するように、その移動速度は下方向（表中では、一例として、下方向の移動を示す「↓」が表示されている）である。

同様に、第３拍の表拍における特徴的姿勢を示す第３コマ画像Ｗ３では、手首が再度上に位置している。したがって、第２拍の裏拍における移動速度は、手首が下から上に移動するように、上方向（表中では、一例として、上方向の移動を示す「↑」が表示されている）である。一方、第３拍において、手首は停止している。したがって、表拍における手首の速度はゼロである。さらに、第４拍の表拍における特徴的姿勢を示す第４コマ画像Ｗ４でも、やはり手首は上に位置し、そこで停止している。つまり、第３拍から第４拍にかけて、同じ姿勢（同じ右腕Ｐ１の向き）が維持されている。したがって、第３拍から第４拍にかけて、表拍及び裏拍のいずれにおいても手首の位置は上であり、速度はゼロである。一例として、ダンス動作は、このような各特徴的姿勢を含み、これらによって形成されている。そして、各特徴的姿勢及びそれらの間の変化は、一例として、動作分析表３０に示す通り、２次元平面上の位置或いは変化として表現することができる。変換工程では、各特徴的姿勢及びそれらの姿勢間の変化が、このような２次元平面上の位置或いは変化として特定される。

上述の例を踏まえ、各特徴的姿勢及びそれらの姿勢間の変化を示す２次元平面上の位置或いは変化について更に説明する。各特徴的姿勢及びそれらの姿勢間の変化は、規則に従って２次元平面上の位置或いは変化を具体的に示す情報に変換される。また、規則として、例えば、各特徴的姿勢等を２次元平面上の位置等として表現するための座標系及びその座標系の基準を示す基準姿勢が利用される。つまり、一例として、変換用の座標系及び基準姿勢に基づいて、各特徴的姿勢等が２次元平面上の位置或いは変化に変換される。

図７は、パフォーマＰの基準姿勢の一例を説明するための説明図である。図７に示すように、例えば、パフォーマＰが正面を向いて両腕を水平に伸ばしつつ垂直に立つ姿勢（Ｔ型の姿勢）が基準姿勢ＳＢとして採用される。そして、基準姿勢ＳＢを基準に各部位（一例として関節単位）の基準状態（基準向き）が設定される。具体的には、例えば、右腕Ｐ１は、上腕骨部位Ｐ１ａ、及び橈骨部位Ｐ１ｂを含んでいる。そして、基準姿勢ＳＢを基準に、例えば、上腕骨部位Ｐ１ａの基準状態として、肩の位置から上腕骨部位Ｐ１ａが水平に延びる水平状態が設定される。同様に、橈骨部位Ｐ１ｂの基準状態として、例えば、その上腕骨部位Ｐ１ａを基準に、上腕骨部位Ｐ１ａに沿って更に真っすぐ延びる（更に水平に延びる）状態が採用される。

基準姿勢ＳＢは、各部位に設定される座標系を説明するための姿勢である。また、座標系として、例えば、極座標系が使用されてよい。さらに、極座標系の一例として、緯度及び経度により各座標が表現される球面座標系（いわゆる地理座標系と呼ばれる場合がある）が使用されてよい。地理座標系では、緯度及び経度は、赤道面及び子午線を基準とする角度によって表現される。そして、地理座標系は、基準姿勢ＳＢを基準に部位毎に相対的に設定される。より具体的には、地理座標系は、各部位に対する基準部位を基準に部位毎に設定される。また、一例として、各部位は、丹田（体の中心）Ｔを基準（つまり丹田Ｔが絶対的基準として使用される）に、これに近い側の部位がそれぞれの基準部位として使用されてよい。さらに、丹田Ｔから離れる方向を示す矢印Ｙに沿って子午線が位置するように地理座標系が設定される。そして、全体姿勢は、各部位の向きの組み合わせにより表現される。なお、例えば、子午線に相当する仮想的な線（経度０度の線）は、基準姿勢ＳＢにおけるパフォーマＰの正面方向に設定される。

図７の例では、丹田Ｔが絶対的基準として使用されているため、丹田Ｔに対応する部位（一例として腰）には、丹田Ｔを中心Ｃとする地理座標系が設定されている。より具体的には、赤道面を示す第１基準線ＲＬ及び子午線を示す第２基準線ＭＬは、丹田Ｔの位置で直交するように配置されている。そして、腰の部位には、矢印Ｙに沿って第２基準線ＭＬが位置するように、第１基準線ＲＬが上下方向に、第２基準線ＭＬが左右方向に、それぞれ延びている。一方、橈骨部位Ｐ１ｂには、丹田Ｔに近づく付け根側の部位、つまり上腕骨部位Ｐ１ａが基準部位として使用される。結果として、橈骨部位Ｐ１ｂには、上腕骨部位Ｐ１ａの先端側、つまり橈骨部位Ｐ１ｂの付け根位置を中心Ｃとする地理座標系が設定されている。さらに、矢印Ｙに沿って子午線が位置するように、第１基準線ＲＬが上下方向に、第２基準線ＭＬが左右方向に、それぞれ延びている。このように、地理座標系の中心位置及び子午線等が延びる方向は、一例として、部位毎に基準部位及び丹田Ｔを基準に相対的に設定される。また、各部位の基準状態が本発明の基準向きとして機能する。なお、絶対的基準として丹田Ｔ以外の部位が使用されてもよいことは当然である。

図８を参照して、座標系について更に説明する。図８は、地理座標系の一例の詳細を説明するための説明図である。図８に示すように、地理座標系では、３次元空間におけるパフォーマＰの姿勢、つまり各部位の位置（向き）は、緯度ＬＡ及び経度ＬＯに加え、回転角Φによって表現される。

緯度ＬＡは、上述のように、球の中心Ｃを通過するように上下方向に延びる第１基準線ＲＬ（赤道面に対応）と鉛直線Ｌ（球面の各点から中心Ｃに向かう線）との間の角度を示す。同様に、経度ＬＯは、第１基準線ＲＬと直交するように左右方向に延びつつ球の中心Ｃを通過する第２基準線ＭＬ（子午線に対応）と鉛直線Ｌとの間の角度を示す。

図８の例は、上腕骨部位Ｐ１ａの地理座標系を示している。この場合、地理座標系は、上述のように、上腕骨部位Ｐ１ａの付け根側、つまり肩付近に中心Ｃが位置するように設定される。また、第１基準線ＲＬは上下方向に延びるように位置する。このように、上腕骨部位Ｐ１ａの先端側（肘部分）の位置は、地理座標系により緯度ＬＡ及び経度ＬＯによって表現される。

一方、回転角Φは、各部位（骨）の軸線方向ＣＬ（丹田Ｔから離れる方向）を中心に軸線周りの回転角を示す。図９は、回転角Φを説明するための説明図である。より具体的には、図９の例は、上腕骨部位Ｐ１ａの断面を模式的に示している。図９に示すように、回転角Φは、基準方向ＳＬを基準に軸線周り方向への各部位の回転角を示している。例えば、上腕骨部位Ｐ１ａには、基準方向ＳＬとして、肘の内側が正面に向く方向が採用される。例えば、図６に示すＬ字型の状態では、橈骨部位Ｐ１ｂの先端側が上を向くように肘が曲げられている。この場合、肘の内側は、概ね上方を向いているはずである。したがって、この場合、上腕骨部位Ｐ１ａの回転角Φは、９０度として表現される。

また、回転角Φは、地理座標系の座標軸に回転を示す情報としても使用される。具体的には、図９の例では、軸線方向ＣＬは、子午線を平面（断面）に投影した場合の直線を示す第２基準線ＭＬ上に位置している。したがって、この場合、回転角Φは、中心Ｃを中心に円周方向に第２基準線ＭＬ（子午線）を回転させるための回転角を示す情報としても使用される。図８の破線は、いずれも第２基準線ＭＬの延びる方向を示している。図９の例では、基準状態の第２基準線ＭＬの延びる方向を示す初期破線ＭＬａは、基準方向ＳＬに沿って延びるように位置している。一方、軸線周り方向への回転に伴い、第２基準線ＭＬの延びる方向も変化する。具体的には、回転角Φと同じ回転角を形成するように、第２基準線ＭＬの延びる方向も変化する。結果として、変化後の第２基準線ＭＬの延びる方向を示す変化後破線ＭＬｂは、初期破線ＭＬｂとの間に回転角Φと同じ回転角を形成するように、反時計まわりの方向に移動している。一例として、このように、回転角Φは、地理座標系の座標軸の回転を示す情報としても使用される。そして、一例として、各部位の向きは、地理座標系により、このような緯度ＬＡ、経度ＬＯ及び回転角Φによって表現される。

図１０は、Ｌ字型の状態の橈骨部位Ｐ１ｂに設定される地理座標系を説明するための説明図である。図１０に示すように、上腕骨部位Ｐ１ａの回転に伴い、橈骨部位Ｐ１ｂには、上腕骨部位Ｐ１ａに設定される地理座標系と比べて、第２基準線ＭＬが９０度回転した位置に配置されている。つまり、図１０の例では、第２基準線ＭＬは、地理座標系の円周を形成するように位置している。結果として、Ｌ字型の状態の橈骨部位Ｐ１ｂは、地理座標系により、緯度ＬＡ、経度ＬＯ、回転角Φのいずれも０度として表現される。

図１１は、投影法を利用して図１０の例の地理座標系を２次元平面（いわゆるメルカトル図法）として表現した場合の図６のＬ字型の状態の橈骨部位Ｐ１ｂの向きを説明するための説明図である。また、図１１の例の斜線部分は、地理座標系の裏側を示す緯度ＬＡ及び経度ＬＯを示している。図１１に示すように、基準姿勢ＳＢを基準に地理座標系を適用した場合、橈骨部位Ｐ１ｂの基準状態は、肘の付け根が中心Ｃに位置するように配置される。したがって、橈骨部位Ｐ１ｂの向き（先端側の位置）は、肘の付け根を基準にした場合、緯度ＬＡは“０”度の位置に配置されている。一方、第２基準線ＭＬが上腕骨部位Ｐ１ａの回転に伴い回転し、経度ＬＯも“０”度の位置に配置される。また、上腕骨部位Ｐ１ａは、上述のように、回転角Φが“９０”度を示す位置まで回転されているが、橈骨部位Ｐ１ｂはこの回転に伴って回転しているに過ぎない。つまり、橈骨部位Ｐ１ｂ自体は、回転していない。したがって、Ｌ字型の状態における橈骨部位Ｐ１ｂの向きは、２次元平面において、これら３つの情報により、緯度ＬＡが０度、経度ＬＯが０度、回転角Φが０度の位置として表現される。他の部位についても同様に、各部位の付け根が中心Ｃに位置するように形成される地理座標系によって表現される。

図１２は、図１０と同様の手法により、図６の拍毎の右腕Ｐ１の向きを２次元平面の各位置に置き換えた場合を説明するための説明図である。図１２に示すように、ダンス動作は、地理座標系を利用して２次元平面の各位置に置き換えられた場合、一例として、位置変換表３１によって表現される。位置変換表３１は、各部位の緯度ＬＡ、経度ＬＯ、及び回転角Φの情報が拍（表拍、裏拍含む）毎にマトリクス的に整理された表である。図６の例では、上述のように、第１コマ画像Ｗ１〜第４コマ画像Ｗ４により、Ｌ字型を形成した状態の右腕Ｐ１を上、下、上、上と拍毎に位置させるダンス動作が示されている。図１１の例では、このようなダンス動作に対応する位置変換表３１として、第１位置変換表３１Ａが示されている。

具体的には、第１位置変換表３１Ａは、第１コマ画像Ｗ１〜第４コマ画像Ｗ４の各姿勢に対応する上腕骨部位Ｐ１ａ及び橈骨部位Ｐ１ｂの拍毎の向きを示す緯度ＬＡ、経度ＬＯ、及び回転角Φの情報を示している。第１位置変換表３１Ａに示すように、まず橈骨部位Ｐ１ｂの向きは、Ｌ字型の右腕Ｐ１が上に位置する第１拍の表拍において、緯度ＬＡが“０”度、経度ＬＯが“０”度、回転角Φが“０”度で表現される（図１０も参照）。また、第２拍の表拍において、橈骨部位Ｐ１ｂの向きは、肘の位置及びＬＧ型の状態を維持しつつ、手首が上から下の位置に変化しているが、上腕骨部位Ｐ１ａの回転に伴って手首の位置が変化したに過ぎないので、橈骨部位Ｐ１ｂの座標に変化はない（上腕骨部位Ｐ１ａの回転に伴って橈骨部位Ｐ１ｂの座標系も回転する）。したがって、やはり緯度ＬＡ、経度ＬＯ、回転角Φは、全て“０”度として表現される。橈骨部位Ｐ１ｂの向きは、第２拍の裏拍、第３拍及び第４拍においても同様に表現される。

一方、上腕骨部位Ｐ１ａの向きは、付け根の肩が中心Ｃに位置するように配置される地理座標系によって表現される。そして、上腕骨部位Ｐ１ａは、第２基準線ＭＬに沿って延びている。したがって、この場合の上腕骨部位Ｐ１ａの経度Ｌ０は、“０”度である。同様に、上腕骨部位Ｐ１ａの先端側は、中心Ｃ（肩）を基準とした場合、図１０或いは図１１の左方向（緯度ＬＡのプラス方向）の約９０度程度の位置に配置されている。したがって、上腕骨部位Ｐ１ａの先端側の緯度ＬＡは、“９０”度として表現される。また、上腕骨部位Ｐ１ａは、肘の内側が上を向くように回転されているので、上方向を＋（プラス）に設定した場合において回転角Φは“９０”度である。そして、第２拍の表拍において、緯度ＬＡは変化しないものの、肘の内側が下方向に向くように回転させられているので、回転角Φは、下方向を−（マイナス）に設定した場合において“-９０”度を示す位置に変化する。また、第１拍の裏拍では、上側から下側へ向け肘の内側の面の向き折り曲げ方向が変化するので、回転角Φには、移動を示す“−”が表示されている。第２拍の裏拍、第３拍及び第４拍においても同様に表現される。一例として、変換工程では、このような基準姿勢ＳＢ及び地理座標系を利用する規則に従って、ダンス動作の拍毎の特徴的姿勢（３次元空間における姿勢）が部位毎に２次元平面の各位置に変換されて表現される。

次に、図１３〜図１５を参照して、譜面化工程について説明する。図１３は、図１２に示す第１位置変換表３１Ａを譜面化した場合の一例を説明するための説明図である。より具体的には、図１３の例は、図６の例のダンス動作（各特徴的姿勢）を示す橈骨部位Ｐ１ｂの向きを譜面化した場合を示している。図１３に示すように、橈骨部位Ｐ１ｂの向きは、譜面化によって緯度ＬＡ、経度ＬＯ及び回転角Φにそれぞれ対応する３つの五線譜２６ａ、２６ｂ、２６ｃによって表現される。

各五線譜２６ａ、２６ｂ、２６ｃは、第三線が基準状態（つまり、橈骨部位Ｐ１ｂが上腕骨部位Ｐ１ａに沿って延びる状態）に関連付けられる。したがって、各五線譜２６ａ、２６ｂ、２６ｃの第三線が緯度ＬＡ、経度ＬＯ及び回転角Φのそれぞれ“＋−０度”を示す。そして、第三線の上側に位置する第三間、第四線、第四間、及び第五線がそれぞれ“＋４５度”、“＋９０度”、“＋１３５度”、及び“＋１８０度”を示す。また、反対に第三線の下側に位置する第二間、第二線、第一間、及び第一線がそれぞれ“−４５度”、“−９０度”、“−１３５度”、及び“−１８０度”を示す。また、各五線譜２６ａ、２６ｂ、２６ｃの第三線が本発明の基準位置として機能する。

また、各五線譜２６ａ、２６ｂ、２６ｃは、一例として、４分の４拍子の各拍として機能するように、破線ＤＬによって拍毎に区切られる。そして、各五線譜２６ａ、２６ｂ、２６ｃには、各拍での橈骨部位Ｐ１ｂの向きを示す緯度ＬＡ、経度ＬＯ及び回転角Φの情報が音楽記号Ｉに変換されて配置される。具体的には、橈骨部位Ｐ１ｂを停止させる姿勢を示す緯度ＬＡ、経度ＬＯ及び回転角Φの情報は、その姿勢を維持する長さを示す音符Ｉ１に変換され、各五線譜２６ａ、２６ｂ、２６ｃに配置される。一方、停止姿勢間の移動を示す緯度ＬＡ、経度ＬＯ及び回転角Φの情報は、その移動の長さを示す休符Ｉ２に変換され、各五線譜２６ａ、２６ｂ、２６ｃに配置される。つまり、譜面２６上では、停止姿勢は音符Ｉ１として、停止姿勢間をつなぐ移動動作は休符Ｉ２として、それぞれ表現される。この場合、音符Ｉ１が本発明の停止記号として、休符Ｉ２が本発明の接続記号として、それぞれ機能する。

同様に、図１２の例の第１位置変換表３１Ａでは、上腕骨部位Ｐ１ａの向きを表現するための経度ＬＯは、第１拍〜第４拍の全てに亘って“０”度として表現されている。したがって、経度用の五線譜２６ｂの第１拍目には、１小節全てにおいて“＋−０度”の経度ＬＯを示すように、第三線に全音符Ｉ１が配置される。同様に、図１１の例の第１位置変換表３１Ａでは、上腕骨部位Ｐ１ａの向きを表現するための緯度ＬＡは、第１拍〜第４拍の全てに亘って“９０”度として表現されている。したがって、緯度用の五線譜２６ａの第１拍目には、１小節全てにおいて“９０度”の緯度ＬＡを示すように、第四線に全音符Ｉ１が配置される。このように変化のない区間についてはまとめて表現することにより、保持する情報量の圧縮を行うことができるとともに、譜面２６の使用者の理解容易化に資することが可能となる。

一方、図１１の例の第１位置変換表３１Ａでは、上腕骨部位Ｐ１ａの向きを表現するための回転角Φは、第１拍の表拍において“９０”度として、第２拍の表拍において“−９０”度として、それぞれ表現されている。したがって、回転角用の五線譜２６ｃには、第１拍の表拍を示す部分の第四線、及び第２拍の表拍を示す部分の第二線に、それぞれ表拍分の長さを示す八分音符Ｉ１が配置される。

また、図１１の例の第１位置変換表３１Ａでは、回転角Φには、第１拍の裏拍及び第２拍の裏拍に、前の姿勢から次の姿勢への移動が示されている。したがって、回転角用の五線譜２６ｃには、第１拍の裏拍及び第二拍の裏拍を示す部分にそれぞれ裏拍分の長さの移動を示す八分休符Ｉ２が配置される。同様に、図１１の例の第１位置変換表３１Ａでは、上腕骨部位Ｐ１ａの向きの維持を示すように、第３拍から第４拍までの二拍分に亘って、回転角Φは、“９０”度として表現されている。したがって、回転角用の五線譜２６ｃには、第３拍の表拍を示す部分の第四線に、２拍分の長さを示す二分音符Ｉ１が配置されている。一例として、このように地理座標系の情報は、２次元平面上の譜面２６に関連付けられ、かつ各姿勢の長さを示す音楽記号Ｉに変換されて譜面化される。

また、特徴的姿勢には、各部位を停止させる動作（姿勢）だけでなく、上述のように、各部位を連続的に動かす場合の各姿勢も含まれる。このような連続動作には、一例として、これを示すための音楽記号Ｉが音符Ｉ１とは別に使用される。図１４を参照して、連続的動作に対応する特徴的姿勢が譜面化される場合を説明する。図１４は、両腕を一回転させる連続動作が地理座標系によって二次元方向の位置に変換された場合の一例を説明するための説明図である。図１４に示すように、両腕を一回転させる連続動作は、例えば、第５コマ画像Ｗ５〜第９コマ画像Ｗ９によって表現される各特徴的姿勢を含む。また、一例として、第５コマ画像Ｗ５〜第９コマ画像Ｗ９は第１拍〜第３拍の表拍までの５つの表拍及び裏拍における姿勢をそれぞれ示している。

具体的には、例えば、第５コマ画像Ｗ５は両腕を水平に広げた姿勢を、第６コマ画像Ｗ６は少し交差するように前方に水平に両腕を付き出す姿勢を、第７コマ画像Ｗ７は垂直になるように両腕を上方に伸ばす姿勢を、第８コマ画像Ｗ８は両腕を再度水平に広げる姿勢を、第９コマ画像Ｗ９は両腕を斜め下方に延ばす姿勢を、それぞれ示している。そして、第３拍の裏拍から第４拍中は第９コマ画像Ｗ９の姿勢が維持される。

このような動作は、右腕Ｐ１に着目した場合、地理座標系に基づいて、一例として、第２位置変換表３０Ｂによって表現される。例えば、第５コマ画像Ｗ５の姿勢は、上腕骨部位Ｐ１ａの基準状態（基準姿勢ＳＢ）に該当する。したがって、緯度ＬＡ、経度ＬＯ、及び回転角Φの順に、第５コマ画像Ｗ５の上腕骨部位Ｐ１ａの向きは、“９０”、“０”、“０”で表現される。同様に、第６コマ画像Ｗ６〜第９コマ画像Ｗ９、及びそれ以降の上腕骨部位Ｐ１ａの向きについても第２位置変換表３０Ｂの通りに変換される。

一方、橈骨部位Ｐ１ｂの向きも同様に第２位置変換表３０Ｂの通りに表現される。具体的には、橈骨部位Ｐ１ｂの基準状態は、上腕骨部位Ｐ１ａを基準に上腕骨部位Ｐ１ａから真っすぐに延びた状態であり、第６コマ画像Ｗ６〜第９コマ画像Ｗ９、及びそれ以降の各時期に亘って、この状態が維持されている。つまり、上腕骨部位Ｐ１ａから見れば、橈骨部位Ｐ１ｂは、常に基準状態が維持されている。したがって、第５コマ画像Ｗ５〜第９コマ画像Ｗ９、及びそれ以降の橈骨部位Ｐ１ｂの向きは、緯度ＬＡ、経度ＬＯ、及び回転角Φの順に、“９０”、“０”、“０”として表現される。

図１５は、図１４の例の連続動作を示す上腕骨部位Ｐ１ａの向きを譜面化した場合を説明するための説明図である。図１５に示すように、図１３の例と同様に、緯度ＬＡ、経度ＬＯ、及び回転角Φにそれぞれ対応する３つの五線譜２６ａ、２６ｂ、２６ｃには、第２位置変換表３０Ｂで示される各位置に、各状態の長さを示す音符Ｉ１が配置される。具体的には、例えば、緯度用の五線譜２６ａには、第１拍から第２拍の表拍及び裏拍を示す部分に、４つの八分音符Ｉ１が配置される。つまり、第５コマ画像Ｗ５〜第８コマ画像Ｗ８に対応する上腕骨部位Ｐ１ａの向きが、八分音符Ｉ１の位置によって表現される。そして、これらの八分音符Ｉ１の上側には、連続記号としてのスタッカート記号（“・”）Ｉ３が配置される。つまり、第５コマ画像Ｗ５〜第８コマ画像Ｗ８で示される上腕骨部位Ｐ１ａの連続的動作がスタッカート記号３２によって表現される。一例として、連続動作は、このようにスタッカート記号３２を利用して、譜面化される。

次に、図１６〜図１８を参照して、基準位置データ２２ａ、譜面位置データ２２ｂ、及び譜面データ２２ｃの詳細について説明する。基準位置データ２２ａは、基準姿勢ＳＢに対応する各部位の基準状態を定義するためのデータである。図１６は、基準位置データ２２ａの内容の一例を示す図である。図１６に示すように、例えば、基準位置データ２２ａは、部位、基準部位、緯度、経度、及び回転角の情報を含んでいる。そして、基準位置データ２２ａは、一例として、これらの情報が互いに関連付けられるように記述されたレコードの集合として構成されている。

部位は、上腕骨部位Ｐ１ａ等の各部位を示す情報である。一例として、部位毎にユニークな部位ＩＤ等の情報が使用されてもよい。基準部位は、各部位の基準として使用される部位を示す情報である。各部位の基準状態は、基準部位を基準に設定される。つまり、各部位の基準状態は、基準部位の基準状態を基準に相対的に設定される。基準部位の情報として、例えば、部位の情報と同様に、部位ＩＤが使用されてよい。また、一例として、上述のように、各部位の付け根側の部位が基準部位として使用される。

緯度、経度、及び回転角は、基準部位を基準とした場合の基準状態を示す緯度ＬＡ、経度ＬＯ、及び回転角Φの情報である。より具体的には、これらは、基準部位の基準状態を基準とした場合の、相対的緯度ＬＡ、経度ＬＯ、及び回転角Φの情報である。つまり、各部位の基準状態は、基準部位の基準状態の緯度ＬＡ等を基準に相対的に定義される。一例として、基準位置データ２２ａは、このように構成される。

譜面位置データ２２ｂは、各姿勢における各部位の向きを、基準姿勢ＳＢ及び地理座標系を利用して置き換えた場合の２次元平面（譜面２６）上の位置を示すデータである。図１７は、譜面位置データ２２ｂの内容の一例を示す図である。図１７に示すように、譜面位置データ２２ｂは、例えば、部位、時期、緯度、経度、回転角の情報を含んでいる。そして、譜面位置データ２２ｂは、一例として、これらの情報が互いに関連付けられるように記述されたレコードの集合として構成されている。

部位の情報は、上述の通りである。時期は、楽曲等のＢＧＭにおける各時期を示す情報である。具体的には、各時期として、各小節、各拍（表拍、裏拍含む）が使用される。つまり、時期の情報として、例えば、各小節の第１拍の表拍或いは裏拍を示す情報（一例として、ＢＰＭ情報等）が使用される。緯度、経度、及び回転角は、各時期における緯度ＬＡ、経度ＬＯ、回転角Φを示す情報である。一例として、譜面位置データ２２ｂは、このように構成される。

譜面データ２２ｃは、上述のように、ダンス動作が記録された譜面２６を表現するためのデータである。つまり、譜面データ２２ｃは、音符Ｉ１等の音楽記号Ｉが配置された各五線譜２６ａ、２６ｂ、２６ｃを含む譜面２６を表現するために使用される。図１８は、譜面データ２２ｃの内容の一例を示す図である。図１８に示すように、譜面データ２２ｃは、例えば、部位、時期、緯度、経度、回転角、及び記号の情報を含んでいる。そして、譜面データ２２ｃは、一例として、これらの情報が互いに関連付けられるように記述されたレコードの集合として構成されている。

部位、及び時期の情報は、上述の通りである。緯度、経度、及び回転角は、緯度ＬＡ、経度ＬＯ、及び回転角Φを示す各五線譜２６ａ、２６ｂ、２６ｃ上の位置を示す情報である。具体的には、例えば、緯度の情報として、緯度用の五線譜２６ａに対応する各位置、つまり第三線、或いは第四間等の各位置の情報が使用される。経度及び回転角の情報に関しても同様である。一方、記号は、各時期の各位置（緯度ＬＡ、経度ＬＯ、及び回転角Φを示す各五線譜２６ａ、２６ｂ、２６ｃ上の位置）に配置すべき記号（四分音符Ｉ１やスタッカート記号Ｉ３等の音楽記号Ｉ及び修飾記号３３を含む）の情報である。記号の情報として、例えば、記号毎にユニークなＩＤ等の情報が使用されてよい。一例として、譜面データ２２ｃは、このように構成される。

また、譜面データ２２ｃは、ダンス動作の再現にも使用される。つまり、例えば、元のダンス動作に対応するダンス動作を実行するパフォーマＰが譜面データ２２ｃによって再現される。例えば、ダンス動作は、譜面化の場合と逆の手順で譜面データ２２ｃからダ再現される。例えば、譜面データ２２ｃの部位、時期、緯度、経度、回転角の情報が、基準位置データ２２ａ及び地理座標系を利用して、時期毎に３次元空間の各部位の向き（姿勢）に逆変換される。さらに、譜面データ２２ｃの記号の情報が、３次元空間の各部位の向きを維持する長さ等に逆変換される。

図１９は、譜面データ２２ｃに基づく逆変換を説明するための説明図である。図１９の黒丸３５はパフォーマＰの右手の向きに、ドット柄三角３６はパフォーマＰの左手の向きに、ドット柄四角３７はパフォーマＰの右足の向きに、黒四角３８はパフォーマＰの左足の向きに、それぞれ対応する適宜の音符Ｉ１を示している。また、破線３９は、時間の流れを示している。図１９に示すように、譜面データ２２ｃの逆変換は、譜面２６内の各休符Ｉ２を特定し、休符Ｉ２毎に実行される。

具体的には、例えば、図１９の例では、第１小節及び第２小節の各第１拍の表拍に黒丸３５が配置されている。また、その前の第１小節の第４拍の裏拍には、休符Ｉ２が配置されている。したがって、右手の向きは、休符Ｉ２の時期を基準に、第１小節及び第２小節の各第１拍の表拍において逆変換が実行される。また、休符Ｉ２間の右手の向きが一連のダンスブロックとしてひと固まりとして判断される。そして、休符Ｉ２前後の右手の向きを自然につなぐように、所定の手順に基づいて各ダンスブロック間が接続される。左手等（図１９の例では、右足、左足は、開始後に動きはない）についても同様である。一例として、このような逆変換に基づいて、譜面データ２２ｃからダンス動作を実行するパフォーマＰが再現される。

次に、データ生成処理について説明する。データ生成処理は、パフォーマＰのダンス動作を記録する譜面２６を再現するための譜面データ２２ｃを生成するための処理である。データ生成処理は、例えば、図２０のルーチンを通じて、制御ユニット１０により実行される。また、図２０のルーチンは、一例として、制御ユニット１０の処理実行部２３を通じて実行される。なお、制御ユニット１０は、これらの処理の他にも各種の周知な処理等を実行し得る。しかし、それらの詳細な説明は省略する。

図２０は、データ生成処理を実現するためのデータ生成処理ルーチンのフローチャートの一例を示す図である。図２０のルーチンは、一例として、所定の開始操作が行われる毎に実行される。或いは、所定の開始操作後に楽曲が再生される毎に実行されてもよい。図２０のルーチンが開始されると、処理実行部２３は、まずステップＳ２１において、パフォーマＰの一連のダンス動作に含まれる拍毎の姿勢を取得する。具体的には、例えば、処理実行部２３は、ダンス動作を拍毎のコマ画像Ｗに分割することにより、拍毎の姿勢を取得する。

続くステップＳ２２において、処理実行部２３は、所定の条件に基づいて、拍毎の姿勢に含まれる特徴的姿勢を特定する。所定の条件は、例えば、少なくとも一部の部位を停止させる状態が所定の停止期間（一例として、八分音符Ｉ１に相当する期間）続く場合（停止動作）、及び所定の連続期間（例えば、一拍分以上等の拍を跨ぐ期間）に亘って連続的に動作する場合（連続動作）に、満たされる。したがって、処理実行部２３は、一例として、これらの所定の条件を満たす姿勢を特徴的姿勢として特定し、その特徴的姿勢を含むコマ画像Ｗを特定する。なお、所定の条件は、例えば、その他にもユーザの操作によって満たされてもよい。つまり、特徴的姿勢は、ユーザによって特定されてもよい。

次のステップＳ２３において、処理実行部２３は、ステップＳ２２で特定した特徴的姿勢を形成する各部位の３次元空間における向きを２次元平面の位置の情報として取得する。例えば、処理実行部２３は、上述のように、各部位の３次元空間における向きを、基準姿勢ＳＢ（基準位置データ２２ａ）及び地理座標系を利用した規則に従って譜面２６の各位置に置き換えることにより、２次元平面の位置の情報を取得する。より具体的には、譜面２６は、緯度ＬＡ、経度ＬＯ、及び回転角Φにそれぞれ対応する３つの五線譜２６ａ、２６ｂ、２６ｃを含んでいる。したがって、処理実行部２３は、一例として、ステップＳ２３において、各五線譜２６ａ、２６ｂ、２６ｃを形成する５本の線の並び方向（縦方向ＳＤ）の各位置を譜面２６の各位置として取得する。処理実行部２３は、ステップＳ２３において、例えば、このような位置の取得を通じて、譜面位置データ２２ｂを生成してもよい。また、処理実行部２３は、ステップｓ２３において、譜面位置データ２２ｂに対応する位置変換表３１を生成してもよい。なお、例えば、４５度、９０度等のように、その後において各部位の３次元空間における向きを所定間隔の位置として使用する場合には、ステップＳ２２において状態検出装置１１の取得結果を最も近い４５度等の所定間隔の位置に補正する処理が実行されてもよい。

続くステップＳ２４において、処理実行部２３は、特徴的姿勢を維持すべき長さを特定する。この特定は、例えば、次のようにして実行される。まず処理実行部２３は、特徴的姿勢が変化するコマ画像Ｗを特定する。続いて、処理実行部２３は、特徴的姿勢に対応するコマ画像Ｗとそれが変化するコマ画像Ｗまでのコマ画像Ｗの数を特定する。そして、処理実行部２３は、特定したコマ画像Ｗの数に基づいて、特徴的姿勢を維持すべき長さを特定する。一例として、処理実行部２３は、このようにして、ステップＳ２４の特定を実行する。

次のステップＳ２５において、処理実行部２３は、ステップＳ２３の取得結果及びステップＳ２４の特定結果に基づいて、ダンス動作に含まれる拍毎の特徴的姿勢を記録する譜面データ２２ｃを生成する。具体的には、まず処理実行部２３は、ステップＳ２４の特定結果に基づいて、各特徴的姿勢を示すべき長さの音楽記号Ｉを特定する。また、特徴的姿勢が連続動作や自然動作の場合には、処理実行部２３は、これらの音楽記号Ｉに付加すべき記号（例えば、スタッカート記号Ｉ３や修飾記号３３等）を特定する。続いて、処理実行部２３は、ステップＳ２３の取得結果、つまり譜面位置データ２２ｂ（或いは位置変換表３１）に基づいて、譜面位置データ２２ｂによって特定される各五線譜２６ａ、２６ｂ、２６ｃの各位置に、特定した各記号が配置された譜面２６を表現するための譜面データ２２ｃを生成する。一例として、処理実行部２３は、ステップＳ２５において、このように譜面データ２２ｃを生成する。そして、ステップＳ２５の処理を終えると、今回のルーチンを終了する。これにより、パフォーマＰのダンス動作を記録する譜面２６を表現するための譜面データ２２ｃが生成される。

以上に説明したように、この形態によれば、パフォーマＰのダンス動作を２次元平面（譜面２６）の位置に置き換えて記録することができる。２次元平面の位置の変化は、視覚的に認識され易い。したがって、譜面２６を表現する譜面データ２２ｃを介して、パフォーマＰのダンス動作を視覚的に理解できる情報として記録することができる。これにより、記録されたダンス動作を譜面２６の使用者が目で見て再現することができる。

また、譜面２６は、音楽と同様の五線譜として構成されている。そして、ダンス動作（各部位の向き）が、楽譜と同様に、各五線譜２６ａ、２６ｂ、２６ｃ上の位置によって表現される。さらに、その動作（姿勢）を維持する長さ等も、音楽と同様の音符Ｉ１等の音楽記号Ｉにより表現される。これらにより、ダンス動作を記録する譜面２６の使用時の印象を音楽の楽譜により近づけることができる。これにより、使用者の視覚的認識効果をより高めることができる。

さらに、譜面２６には、ダンス動作に含まれる特徴的姿勢が主として記録されている。これにより、ダンス動作を効率的に記録することができる。また、不要な動作の記録を排除することもできる。結果として、譜面２６の見易さを更に向上させることができる。

以上の形態において、制御ユニット１０が、図２０のルーチンを実行することにより本発明の情報取得手段（第１情報取得手段及び第２情報取得手段を含む）及びデータ生成手段として機能する。

本発明は上述の形態に限定されず、適宜の形態にて実施することができる。上述の形態では、停止姿勢に音符Ｉ１が、それらを接続する動作に休符Ｉ２が、それぞれ使用されている。しかし、使用される音楽記号Ｉは、このような形態に限定されない。例えば、停止姿勢に休符Ｉ２が、それらを接続する動作に音符Ｉ１が、それぞれ使用されてもよい。

上述の形態では、緯度ＬＡ及び経度ＬＯの方向が部位に応じて変化している。しかし、本発明は、このような形態に限定されない。例えば、緯度ＬＡ及び経度ＬＯの方向は、上下方向が緯度ＬＡ、左右方向が経度ＬＯ等、固定的に設定されてもよい。

また、上述の形態では、３次元空間の各部位の向きを２次元空間の位置に置き換えるための所定の座標系として地理座標が使用されている。しかし、所定の座標系は、このような形態に限定されない。例えば、所定の座標系として、Ｘ軸、Ｙ軸、及びＺ軸により形成される直交座標が使用されてもよい。そして、直交座標により、３次元空間の各部位の向きを２次元空間の位置に置き換えられてもよい。

図２１は、直交座標系が使用される場合の動作分析表３０及び位置変換表３１の一例を説明するための説明図である。図２１に示すように、３次元空間の各部位の向きは、３軸の位置の情報に置き換えられてもよい。また、位置変換表３１に示すように、例えば、３次元空間の各部位の向きは、経度ＬＯ（或いは緯度ＬＡ）の９０度の位置がＹ座標の“１”に対応するように置き換えられてもよい。同様に、例えば、緯度ＬＡ（或いは経度ＬＯ）の９０度の位置及び０度の位置が、それぞれＸ軸の“１”或いはＺ軸の“１”に対応してよい。そして、これらの各位置が譜面２６の各線２７に関連付けられてよい。

また、上述の形態では、各部位の基準状態は、基準部位を基準に相対的に設定されている。しかし、各部位の基準状態の設定は、このような形態に限定されない。例えば、各部位の基準状態は、基準姿勢ＳＢを基準に絶対的に設定されてもよい。この場合、中心Ｃ等の座標の基準位置として、例えば、丹田Ｔの位置が使用されもよい。

また、上述の形態では、３次元空間の各部位の向きを２次元空間の位置に置き換えるための規則として、所定の座標系が使用されている。しかし、本発明の規則は、このような所定の座標系を使用する形態に限定されない。例えば、ダンス動作を実現する各部位の向きが所定数に分類できる場合は、五線譜の各線２７がそれらの各分類に関連付けられ、各位置（各線２７）が直接各部位の姿勢自体を示してもよい。例えば、第三線２７が腕を水平に伸ばす姿勢に、第四線２７が腕を垂直に曲げる姿勢に、第五線２７が腕の斜め上方に延ばす姿勢に、それぞれ関連づけられ、各線への音符Ｉ１の配置により、これらの姿勢が直接記録されてもよい。

また、上述の形態では、２次元平面の各位置と各時期とが譜面２６を通じて関連付けられている。しかし、これらの関連付けは、このような形態に限定されない。例えば、円周の各位置が時期を示し、半径方向の各位置が各部位の向きを示す位置として機能してもよい。つまり、円グラフ的に表現されてもよい。或いは、横軸が時間を、縦軸が位置を、それぞれ示す各種の２軸系のグラフ等により２次元平面の各位置と各時期とが関連付けられてもよい。つまり、２次元平面として各種の平面が使用されてよい。したがって、所定の記号も音楽記号等に限定されず、各種の記号が所定の記号として採用されてよい。

上述の形態では、ダンス動作が譜面化され、各部位の向き及びその時期の両方の情報が位置を通じて視覚的に理解できる情報として提供されている。しかし、本発明は、このような形態に限定されない。例えば、各部位の向きを示す位置の情報と各時期とが関連付けられている限り、このような譜面やグラフ等のように各部位の向き及びその時期の両方の情報が位置等により視覚的に示されていなくてもよい。したがって、本発明の動作記録データとして、各部位の向きを示す位置に対応する数値情報と各時期を示す数値情報とが関連付けられている数値データが生成されてもよい。このような数値データは、上述のように、例えば、コンピュータによるダンス動作の再現等に使用されてもよい。

上述の形態では、例えば、実際のダンス動作或いはこれを記録する動画を使用して、ダンス動作が譜面化されている。しかし、本発明は、このような形態に限定されない。例えば、特徴的姿勢に対応するスナップショット(静止画)が譜面化の対象として使用されてもよい。つまり、上述のコマ画像Ｗの相当する静止画が直接提供され、選定対象として選定されてよい。そして、このような静止画に基づいて譜面化が実行されてもよい。或いは、所定の座標系等による変換後の位置の情報が直接取得されてもよい。この場合、選定工程（ステップＳ１）は省略されてもよい。

また、パフォーマＰは、人に限定されない。例えば、パフォーマＰは、ダンス動作を実行する物（例えば、玩具、及び動物を含む）でもよい。或いは、このようなパフォーマＰのダンス動作が記録された動画であってもよい。つまり、パフォーマＰとして、動画に含まれる画像が使用されてもよい。そして、選定工程では、このようなパフォーマＰのダンス動作を含む動画が譜面化対象として選定されてもよい。この場合、例えば、各部位の向きの情報は、特定対象の画像及びその前後の画像の差分により取得されてもよい。また、このような画像は、コンピュータグラフィック等により仮想的に表現される電子的キャラクタを含んでいてよい。つまり、パフォーマＰとして電子的キャラクタが採用され、このような電子的キャラクタのダンス動作を含む動画が選定工程で選定されてもよい。さらに、電子的キャラクタのダンス動作が選定される場合、選定対象は動画に限定されない。例えば、電子的キャラクタのダンス動作を再現するためのデータ自体（例えば、各部位の向きの情報自体）が選定工程で選定されてもよい。

上述の形態では、譜面化の対象として、ダンス動作が採用されている。しかし、譜面化の対象は、ダンス動作に限定されない。人、物等によって実行される各種の動作が譜面化（データ化）の対象として採用されてよい。

以下に、上述の内容から得られる本発明の一例を記載する。なお、以下の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。

本発明のデータ生成システムは、パフォーマ（Ｐ）の少なくとも一部の部位（例えば、右腕Ｐ１）を記録対象として、当該記録対象の部位の連続的な動作を記録した記録データを生成するデータ生成システムであって、前記記録対象の部位の３次元空間における向きを２次元平面（２６）の所定方向（ＳＤ）の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手段（１０）と、前記情報取得手段の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データ（２２ｃ）を生成するデータ生成手段（１０）と、を備えている。

本発明によれば、記録対象の部位の３次元空間における向きが２次元平面の所定方向の位置を示す向き位置に置き換えられる。そして、この向き位置の情報と各時期とを関連付けるように動作記録データが生成される。つまり、記録対象の部位の向きを２次元平面における向き位置として各時期に関連付けて記録することができる。２次元平面における向き位置の変化は、視覚的に認識され易い。したがって、動作記録データを介して、パフォーマの動作を視覚的に理解できる情報として記録することができる。これにより、例えば、記録された動作を使用者が目で見て再現することができる。

向き位置の情報は、どのように取得されてもよい。例えば、本発明のデータ生成システムの一態様において、前記情報取得手段は、前記パフォーマの動作に基づいて、前記向きを所定の座標系に従って記述した座標情報を取得する第１情報取得手段（１０）と、前記第１情報取得手段の取得結果に基づいて、前記座標情報によって特定される前記向きを前記規則に従って前記向き位置に置き換えることにより、前記向きを前記向き位置の情報として取得する第２情報取得手段（１０）と、を備えていてもよい。また、この態様において、座標情報は、どのように取得されてもよい。例えば、本発明のデータ生成システムの一態様において、前記第１情報取得手段は、前記パフォーマが連続的に動作する動画に含まれる前記パフォーマの動作に基づいて前記座標情報を取得してもよい。或いは、前記第１情報取得手段は、前記パフォーマの動作を撮影した静止画像（Ｓ）に基づいて前記座標情報を取得してもよい。

動作記録データは、各種の態様で向き位置の情報と各時期の情報とを関連付けるように構成されていてよい。例えば、本発明のデータ生成システムの一態様において、前記動作記録データは、各時期における前記向き位置に所定の記号（Ｉ）が時間順の配置で順に並べられた前記２次元平面を表現することにより、前記向き位置の情報と各時期の情報とを関連付けるように構成されていてもよい。また、この態様において、前記２次元平面は、前記向き位置を示すように前記所定方向に互いに間隔をあけて並べられる複数の線（２７）を含み、前記複数の線は、更に各時期を示すように前記所定方向と直交する方向（ＬＤ）に直線状に延びていてもよい。この場合、２次元平面は、音楽の五線譜と同様の構成を含んでいる。そして、このような五線譜を利用して、パフォーマの動作を記録することができる。これにより、使用時の印象を音楽の五線譜に近付けることができる。

所定の記号として、各種の記号が使用されてよい。例えば、本発明の所定の記号を使用する態様において、前記所定の記号は、前記向きを維持すべき期間を示す複数種類の記号を含んでいてもよい。また、前記所定の記号は、複数種類の動作をそれぞれ示す複数の動作記号を含んでいてもよい。

また、本発明のデータ生成システムの一態様として、前記複数の動作記号は、前記記録対象の部位の動作を停止させる停止動作を示す停止記号（Ｉ１）、複数の停止動作の間をつなぐ動作を示す接続記号（Ｉ２）、及び前記記録対象の部位が各時期を跨いで連続的に動作する連続動作を示す連続記号（Ｉ３）を含んでいてもよい。特徴的動作以外の動作は、連続的な動作である場合、自然と推測できる場合が多い。この場合、停止動作及び連続動作等の特徴的動作、或いはこのような特徴的動作をつなぐ動作が記号を通じて記録される。したがって、パフォーマの動作を効率的に記録することができる。また、不要な情報を排除することができるので、視覚的により見易くすることができる。

また、本発明の接続記号等が使用される態様において、前記所定の記号として、音楽用の音楽記号（Ｉ）が使用されてもよい。この場合、音楽と同様の記号を通じて動作が記録される。これにより、２次元平面の使用時の印象を音楽の楽譜に近付けることができ、見る者（使用者）の理解を容易化することができる。

音楽記号として、各種の記号が使用されてよい。例えば、本発明の音楽記号を使用する態様において、前記停止記号として音符が、前記接続記号として休符が、前記連続記号として楽譜においてスタッカートを示す記号が、それぞれ使用されてもよい。或いは、前記停止記号として休符が、前記接続記号として音符が、前記連続記号として楽譜においてスタッカートを示す記号が、それぞれ使用されてもよい。

向き位置の情報として、各種の情報が使用されてよい。例えば、本発明のデータ生成システムの一態様において、前記記録対象の部位には、基本向き（ＳＢ）が設定され、前記所定方向は、前記基本向きに対応する前記向き位置を示す基準位置（例えば、第三線２７）を含み、前記情報取得手段は、前記向き位置の情報として、前記基本向きからの前記向きの変化に基づいて前記基準位置を基準とする相対的位置の情報を取得してもよい。

また、パフォーマの動作として、各種の動作が採用されてよい。例えば、本発明のデータ生成システムの一態様において、前記パフォーマの動作は、音楽に合わせて実行され、各時期として前記音楽を形成する各拍が利用され、前記情報取得手段は、各拍における前記向きを前記向き位置の情報として取得してもよい。

また、記録対象の部位の数は、任意でよい。例えば、本発明のデータ生成システムの一態様において、前記パフォーマは、複数の部位を有し、前記情報取得手段は、各部位の離散的な各時期における前記向きを前記向き位置の情報として取得し、前記データ生成手段は、前記部位毎に前記向き位置の情報と各時期の情報とが関連付けられるように、前記動作記録データを生成してもよい。

本発明の制御方法は、連続的に動作するパフォーマ（Ｐ）の少なくとも一部の部位（例えば、右腕Ｐ１）を記録対象として、当該記録対象の部位の動作を記録した記録データを生成するデータ生成システムに組み込まれるコンピュータ（１０）に、前記記録対象の部位の３次元空間における向きを２次元平面（２６）の所定方向（ＳＤ）の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手順と、前記情報取得手順の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データ（２２ｃ）を生成するデータ生成手順と、を実行させるものである。

また、本発明のデータ生成システム用のコンピュータプログラムは、連続的に動作するパフォーマ（Ｐ）の少なくとも一部の部位（例えば、右腕Ｐ１）を記録対象として、当該記録対象の部位の動作を記録した記録データを生成するデータ生成システムに組み込まれるコンピュータ（１０）を、前記記録対象の部位の３次元空間における向きを２次元平面（２６）の所定方向（ＳＤ）の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手段、及び前記情報取得手段の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データ（２２ｃ）を生成するデータ生成手段として機能させるように構成されたものである。本発明の制御方法若しくはコンピュータプログラムが実行されることにより、本発明のデータ生成システムを実現することができる。

１０ 制御ユニット（コンピュータ、情報取得手段、データ生成手段）
２２ｃ （記録データ、動作記録データ）
２６ 譜面（２次元平面）
２７ 第三線（基準位置）
Ｐ１ 右腕（記録対象の部位）
ＳＢ 基準姿勢（基準向き）
ＳＤ 縦方向（所定方向）
Ｉ１ 音符（停止記号）
Ｉ２ 休符（接続記号）
Ｉ３ スタッカート記号
Ｐ パフォーマ
Ｓ コマ画像（静止画像）
Ｉ 音楽記号（所定の記号）

Claims (17)

1. パフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の連続的な動作を記録した記録データを生成するデータ生成システムであって、
   前記記録対象の部位の３次元空間における向きを２次元平面の所定方向の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手段と、
   前記情報取得手段の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データを生成するデータ生成手段と、
   を備え、
   前記情報取得手段は、前記離散的な各時期として前記記録対象の部位が動作を停止する停止時期を採用し、当該停止時期における前記向きを前記向き位置の情報として取得する、ことを特徴とするデータ生成システム。
2. 前記情報取得手段は、
   前記パフォーマの動作に基づいて、前記向きを所定の座標系に従って記述した座標情報を取得する第１情報取得手段と、
   前記第１情報取得手段の取得結果に基づいて、前記座標情報によって特定される前記向きを前記規則に従って前記向き位置に置き換えることにより、前記向きを前記向き位置の情報として取得する第２情報取得手段と、
   を備えている、請求項１に記載のデータ生成システム。
3. 前記第１情報取得手段は、前記パフォーマが連続的に動作する動画に含まれる前記パフォーマの動作に基づいて前記座標情報を取得する、請求項２に記載のデータ生成システム。
4. 前記第１情報取得手段は、前記パフォーマの動作を撮影した静止画像に基づいて前記座標情報を取得する、請求項２に記載のデータ生成システム。
5. 前記動作記録データは、各時期における前記向き位置に所定の記号が時間順の配置で順に並べられた前記２次元平面を表現することにより、前記向き位置の情報と各時期の情報とを関連付けるように構成されている、請求項１〜４のいずれか一項に記載のデータ生成システム。
6. 前記２次元平面は、前記向き位置を示すように前記所定方向に互いに間隔をあけて並べられる複数の線を含み、
   前記複数の線は、更に各時期を示すように前記所定方向と直交する方向に直線状に延びている、請求項５に記載のデータ生成システム。
7. 前記所定の記号は、前記向きを維持すべき期間を示す複数種類の記号を含んでいる、請求項５又は６に記載のデータ生成システム。
8. 前記所定の記号は、複数種類の動作をそれぞれ示す複数の動作記号を含んでいる、請求項５〜７のいずれか一項に記載のデータ生成システム。
9. 前記複数の動作記号は、前記記録対象の部位の動作を停止させる停止動作を示す停止記号、複数の停止動作の間をつなぐ動作を示す接続記号、及び前記記録対象の部位が各時期を跨いで連続的に動作する連続動作を示す連続記号を含んでいる、請求項８に記載のデータ生成システム。
10. 前記所定の記号として、音楽用の音楽記号が使用される、請求項９に記載のデータ生成システム。
11. 前記停止記号として音符が、前記接続記号として休符が、前記連続記号として楽譜においてスタッカートを示す記号が、それぞれ使用されている、請求項１０に記載のデータ生成システム。
12. 前記停止記号として休符が、前記接続記号として音符が、前記連続記号として楽譜においてスタッカートを示す記号が、それぞれ使用されている、請求項１０に記載のデータ生成システム。
13. 前記記録対象の部位には、基本向きが設定され、
    前記所定方向は、前記基本向きに対応する前記向き位置を示す基準位置を含み、
    前記情報取得手段は、前記向き位置の情報として、前記基本向きからの前記向きの変化に基づいて前記基準位置を基準とする相対的位置の情報を取得する、請求項１〜１２のいずれか一項に記載のデータ生成システム。
14. 前記パフォーマの動作は、音楽に合わせて実行され、
    各時期として前記音楽を形成する各拍が利用され、
    前記情報取得手段は、各拍における前記向きを前記向き位置の情報として取得する、請求項１〜１３のいずれか一項に記載のデータ生成システム。
15. 前記パフォーマは、複数の部位を有し、
    前記情報取得手段は、各部位の離散的な各時期における前記向きを前記向き位置の情報として取得し、
    前記データ生成手段は、前記部位毎に前記向き位置の情報と各時期の情報とが関連付けられるように、前記動作記録データを生成する、請求項１〜１４のいずれか一項に記載のデータ生成システム。
16. 連続的に動作するパフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の動作を記録した記録データを生成するデータ生成システムに組み込まれるコンピュータに、
    前記記録対象の部位の３次元空間における向きを２次元平面の所定方向の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手順と、
    前記情報取得手順の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データを生成するデータ生成手順と、
    を実行させ、
    前記情報取得手順では、前記離散的な各時期として前記記録対象の部位が動作を停止する停止時期が採用され、当該停止時期における前記向きが前記向き位置の情報として取得される、制御方法。
17. 連続的に動作するパフォーマの少なくとも一部の部位を記録対象として、当該記録対象の部位の動作を記録した記録データを生成するデータ生成システムに組み込まれるコンピュータを、
    前記記録対象の部位の３次元空間における向きを２次元平面の所定方向の位置を示す向き位置に置き換えて表現するための規則に従って、離散的な各時期における前記向きを前記向き位置の情報として取得する情報取得手段、及び前記情報取得手段の取得結果に基づいて、前記記録データとして、前記向き位置の情報と各時期の情報とが関連付けられた動作記録データを生成するデータ生成手段として機能させ、
    前記情報取得手段は、前記離散的な各時期として前記記録対象の部位が動作を停止する停止時期を採用し、当該停止時期における前記向きを前記向き位置の情報として取得するように構成されたデータ生成システム用のコンピュータプログラム。

Images