JP6547807B2 - Image generation apparatus, image generation method and program - Google Patents
Image generation apparatus, image generation method and program Download PDFInfo
- Publication number
- JP6547807B2 JP6547807B2 JP2017186500A JP2017186500A JP6547807B2 JP 6547807 B2 JP6547807 B2 JP 6547807B2 JP 2017186500 A JP2017186500 A JP 2017186500A JP 2017186500 A JP2017186500 A JP 2017186500A JP 6547807 B2 JP6547807 B2 JP 6547807B2
- Authority
- JP
- Japan
- Prior art keywords
- skeleton
- index
- input
- animation data
- animation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、アニメーションデータを生成する画像生成装置、画像生成方法及びプログラムに関する。 The present invention relates to an image generation apparatus that generates animation data, an image generation method, and a program.
従来、人物に複数のマーカを設定して各マーカの動きを測定し、アニメーションデータを取得する技術が知られている。 Conventionally, a technique is known in which a plurality of markers are set on a person, the motion of each marker is measured, and animation data is acquired.
しかしながら、従来の技術においては、例えば、アニメーションデータの一部の動きを変更したい場合でも、その都度、人物にマーカを設定して新たなアニメーションデータを取得する必要があった。
そこで、本発明は、上述のような状況に鑑みてなされたものであり、取得されたアニメーションデータを容易にユーザの所望の動きに対応させたものにすることを目的とする。
However, in the prior art, for example, even when it is desired to change the motion of a part of animation data, it has been necessary to set a marker on a person each time to acquire new animation data.
Therefore, the present invention has been made in view of the above-described situation, and has as its object to easily make acquired animation data correspond to a user's desired motion.
複数のアニメーションデータを取得するデータ取得手段と、
アニメーションデータの走る時の足の蹴りの強さと体軸の傾きのうち、少なくとも一つに関する指標の任意の値を入力する入力手段と、
前記データ取得手段により取得された複数のアニメーションデータを用いて、前記入力手段によって入力された指標の任意の値に応じたアニメーションデータを生成する第1の生成手段と、
を備えることを特徴とする。
And a data acquisition means for acquiring multiple animation data,
An input unit for inputting an arbitrary value of an index related to at least one of the strength of kicking of the foot and the inclination of the body axis when running animation data;
First generation means for generating animation data according to an arbitrary value of the index inputted by the input means, using a plurality of animation data obtained by the data acquisition means ;
Characterized in that it comprises a.
本発明によれば、取得されたアニメーションデータを容易にユーザの所望の動きに対応させたものにできる。 According to the present invention, the acquired animation data can be easily made to correspond to the user's desired motion.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described using the drawings.
本実施形態に係る画像生成システムでは、モデルとなる人物に付されたマーカの位置を検出することにより、人間の動作を取り込んだモーションキャプチャデータを複数取得し、これらに基づき、標準とするスケルトン動作(ボーンとジョイントとからなる骨格で表されるモデルの動作)を取得する。また、本実施形態に係る画像生成システムでは、標準とするスケルトン動作に対して、運動に関する指標(最大キック加速度等)を設定し、この指標について軸パラメータを設定する。運動に関する指標の具体的な指標値は複数のスケルトンの動きに基づき、あるいは、モーションキャプチャデータを取得する際に併せて測定された動作のパラメータ(例えばキック加速度等)に基づき設定される。また、軸パラメータは、複数のスケルトン動作における指標値の分布に基づき設定される動きの度合いを示す値である。そして、ユーザが運動に関する指標値の変更を入力すると、軸パラメータに従って、標準のスケルトン動作が変更される。変更後のスケルトン動作は、標準のスケルトン動作からの変更部分が識別して表示される。
これにより、動作を測定して得られたスケルトン(アニメーション)を所望の動きに変更することが可能となる。
また、軸パラメータは、複数のスケルトンに基づき取得されたものである。そのため、軸パラメータに従って動作を変更することにより、標準のスケルトンの動きの変化が、人間の動きに基づくものとなり、より適切な動きの変化を実現することが可能となる。
さらに、標準のスケルトン動作を変更した場合の変更部分をユーザにわかりやすく提示することができる。
In the image generation system according to the present embodiment, by detecting the position of a marker attached to a person who is a model, a plurality of motion capture data obtained by capturing the motion of a human being is acquired, and based on these, a skeleton motion which is taken as a standard. Get (the behavior of the model represented by the skeleton consisting of bones and joints). In addition, in the image generation system according to the present embodiment, an index (e.g., a maximum kick acceleration) related to motion is set with respect to a skeleton motion as a standard, and axis parameters are set for the index. The specific index value of the index relating to the motion is set based on the motions of a plurality of skeletons or based on the parameters (for example, kick acceleration etc.) of the motion measured together when acquiring the motion capture data. The axis parameter is a value indicating the degree of movement set based on the distribution of index values in a plurality of skeleton operations. Then, when the user inputs a change in index value regarding exercise, the standard skeleton operation is changed according to the axis parameter. The post-change skeleton operation identifies and displays the change from the standard skeleton operation.
This makes it possible to change the skeleton (animation) obtained by measuring the motion into a desired motion.
The axis parameters are obtained based on a plurality of skeletons. Therefore, by changing the motion according to the axis parameter, the change in motion of the standard skeleton becomes based on the motion of human beings, and it becomes possible to realize a more appropriate change in motion.
Furthermore, it is possible to present the user with an easy-to-understand presentation of the changed portion when the standard skeleton operation is changed.
図1は、本発明の一実施形態に係る画像生成システム1の構成を示している。
図1において、画像生成システム1は、画像生成装置100と、端末装置200とを含み、画像生成装置100と端末装置200とは、インターネット等のネットワーク300を介して通信可能に構成されている。
FIG. 1 shows the configuration of an image generation system 1 according to an embodiment of the present invention.
In FIG. 1, an image generation system 1 includes an
図2は、本発明の一実施形態に係る画像生成装置100のハードウェアの構成を示すブロック図である。
画像生成装置100は、例えばサーバによって構成される。
FIG. 2 is a block diagram showing the hardware configuration of the
The
画像生成装置100は、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113と、バス114と、入出力インターフェース115と、入力部116と、出力部117と、記憶部118と、通信部119と、ドライブ120と、を備えている。
The
CPU111は、事前準備処理(後述)のためのプログラム等、ROM112に記録されているプログラム、または、記憶部118からRAM113にロードされたプログラムに従って各種の処理を実行する。
The
RAM113には、CPU111が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
CPU111、ROM112及びRAM113は、バス114を介して相互に接続されている。このバス114にはまた、入出力インターフェース115も接続されている。入出力インターフェース115には、入力部116、出力部117、記憶部118、通信部119及びドライブ120が接続されている。
The
入力部116は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部117は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部118は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、スケルトンのデータや運動に関する指標の指標値あるいは軸パラメータ等のデータを記憶する。
通信部119は、インターネットを含むネットワークを介して他の装置との間で行う通信を制御する。
The
The
The
The
ドライブ120には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア131が適宜装着される。ドライブ120によってリムーバブルメディア131から読み出されたプログラムは、必要に応じて記憶部118にインストールされる。また、リムーバブルメディア131は、記憶部118に記憶されている画像のデータ等の各種データも、記憶部118と同様に記憶することができる。
A
図3は、本発明の一実施形態に係る端末装置200のハードウェアの構成を示すブロック図である。
端末装置200は、例えばスマートフォンと呼ばれる携帯端末によって構成される。
図3において、端末装置200は、CPU211と、ROM212と、RAM213と、バス214と、入出力インターフェース215と、撮像部216と、入力部217と、出力部218と、記憶部219と、通信部220と、ドライブ221と、を備えている。
FIG. 3 is a block diagram showing the hardware configuration of the
The
In FIG. 3, the
CPU211は、スケルトン描画処理のためのプログラム等、ROM212に記録されているプログラム、または、記憶部219からRAM213にロードされたプログラムに従って各種の処理を実行する。
The
RAM213には、CPU211が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
CPU211、ROM212及びRAM213は、バス214を介して相互に接続されている。このバス214にはまた、入出力インターフェース215も接続されている。入出力インターフェース215には、撮像部216、入力部217、出力部218、記憶部219、通信部220及びドライブ221が接続されている。
The
撮像部216は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
Although not shown, the
The optical lens unit is configured of a lens that collects light, such as a focus lens or a zoom lens, in order to capture an object.
The focus lens is a lens that forms an object image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length in a certain range.
The optical lens unit is also provided with peripheral circuits for adjusting setting parameters such as focus, exposure, white balance, etc., as necessary.
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部216の出力信号(撮像画像のデータ)として出力される。
The image sensor includes a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a complementary metal oxide semiconductor (CMOS) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) an object image, accumulates an image signal for a certain period of time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on this analog image signal. A digital signal is generated by various signal processing, and is output as an output signal (data of a captured image) of the
入力部217は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。また、入力部217は、マイク及びA/D変換回路等を有しており、マイクを介して入力した音声のデータをCPU11あるいは記憶部219に出力する。
出力部218は、ディスプレイや、スピーカ及びD/A変換回路等を有しており、画像や音声を出力する。
記憶部219は、ハードディスクあるいはDRAM等で構成され、各種画像のデータ及び属性を格納した画像データベース等を記憶する。
通信部220は、インターネットを含むネットワークを介して、他の装置との間で行う通信を制御する。
The
The
The
The
ドライブ221には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア231が適宜装着される。ドライブ221によってリムーバブルメディア231から読み出されたプログラムは、必要に応じて記憶部219にインストールされる。また、リムーバブルメディア231は、記憶部219に記憶されている画像のデータ等の各種データも、記憶部219と同様に記憶することができる。
A
[画像生成装置の機能構成]
図4は、画像生成装置100の機能的構成のうち、事前準備処理を実行するための機能的構成を示す機能ブロック図である。
事前準備処理とは、モーションキャプチャによって得られるモーションキャプチャデータから標準のスケルトン(以下、「標準スケルトン」と呼ぶ。)を取得し、標準スケルトンに対して、運動に関する軸パラメータを設定する一連の処理である。
なお、以下、ランニングを行う人物のアニメーションデータを対象とする場合を例に挙げて説明する。
[Functional Configuration of Image Generating Device]
FIG. 4 is a functional block diagram showing a functional configuration for executing the preparatory process in the functional configuration of the
The preparatory process is a series of processes for acquiring a standard skeleton (hereinafter referred to as “standard skeleton”) from motion capture data obtained by motion capture and setting axis parameters related to motion with respect to the standard skeleton. is there.
In the following, a case in which animation data of a person who is running will be described as an example.
事前準備処理が実行される場合、CPU111においては、アニメーション取得部150として、正規化スケルトン取得部151と、標準スケルトン取得部152と、指標関連付け処理部153と、軸パラメータ決定部154とが機能する。
なお、正規化スケルトン取得部151、標準スケルトン取得部152、指標関連付け処理部153及び軸パラメータ決定部154の機能の一部をGA(Graphic Accelerator)等の画像処理を行う機能部に移譲してもよい。
When the preparatory process is executed, the normalized
Even when part of the functions of the normalized
正規化スケルトン取得部151は、後述する正規化スケルトン取得処理を実行する。具体的には、正規化スケルトン取得部151は、複数のスケルトン動作について、モーションキャプチャによって得られる人物の動作のデータ(モーションキャプチャデータ)及びフォースプレート装置(力を測定する装置)によって検出される力(ここでは地面反力)のデータを取得する。本実施形態において、モーションキャプチャデータ及び地面反力のデータは、予め測定されたものを正規化スケルトン取得部151によって取得するものとする。ただし、画像生成装置100にモーションキャプチャの機能及びフォースプレート装置を備え、モーションキャプチャデータ及び地面反力のデータを測定することとしてもよい。また、正規化スケルトン取得部151は、モーションキャプチャデータからスケルトン動作のデータを生成し、生成したスケルトン動作のデータをランニングフォームの1周期で正規化する。これにより、複数の正規化されたスケルトン動作(正規化スケルトン動作)が取得される。
The normalized
図5は、スケルトンの概要を示す模式図である。
スケルトンとは、一般に、動物や人間の全体的骨格を指すもので、スケルトンそのもので動作を表現したり、コンピュータグラフィックにてバインドしたモデルをアニメートするために用いられたりする。階層構造を持ち、可動部であるジョイント(関節)と、剛体であるボーンから構成される。
図5において、スケルトンSは、基準となるルートジョイントJ201、ボーンB201a、ジョイントJ202、ボーンB202a、ジョイントJ203の順に連結された構成を有している。
FIG. 5 is a schematic view showing an outline of a skeleton.
Skeleton generally refers to the entire skeleton of animals and humans, and is used to express motion with the skeleton itself or to animate a computer graphics-bound model. It has a hierarchical structure and is composed of a joint (joint) that is a movable part and a bone that is a rigid body.
In FIG. 5, a skeleton S has a configuration in which a root joint J201 serving as a reference, a bone B201a, a joint J202, a bone B202a, and a joint J203 are connected in this order.
スケルトンSが、時間軸上の姿勢変化を含んだ場合、時間的に変化するスケルトンであるスケルトン動作が構成される。スケルトン動作は、複数のフレームによって構成される。スケルトン動作の時間軸変数は、ルートジョイントJ201のルートとしてのXYZ座標位置、ルートジョイントJ201のジョイントとしての世界座標からルートジョイントJ201のローカル座標への座標変換情報(3軸の回転要素からなり角度情報として表される。本実施形態では、4次元のクォータニオンとして表される。)、ジョイントJ202の座標変換情報(ルートジョイントJ201からジョイントJ202への座標変換情報)の計12次元情報となる。クォータニオンを用いることで、位置座標への計算を高速に行うこと等が可能となる。
また、ボーンの長さは剛体であるので時間変化はせず定数となる。上述の座標変換情報は、関節からボーンが伸びていく回転方向を意味している。なお、以下、全ジョイントという場合、ルートジョイントとジョイントとを含むものとする。
When the skeleton S includes posture change on the time axis, a skeleton operation which is a skeleton that changes in time is configured. The skeleton operation is composed of a plurality of frames. The time axis variable of the skeleton operation is XYZ coordinate position as the root of the root joint J201, coordinate conversion information from world coordinates as the joint of the root joint J201 to local coordinates of the root joint J201 In this embodiment, it is represented as four-dimensional quaternion.) Total 12-dimensional information of coordinate conversion information of joint J 202 (coordinate conversion information from root joint J 201 to joint J 202). By using quaternions, it is possible to perform calculations to position coordinates at high speed.
Moreover, since the length of the bone is a rigid body, it does not change with time and becomes a constant. The above-mentioned coordinate conversion information means the rotation direction in which the bone extends from the joint. In the following, when all joints are referred to, root joints and joints are included.
図4に戻り、標準スケルトン取得部152は、後述する標準スケルトン取得処理を実行する。具体的には、標準スケルトン取得部152は、正規化された各スケルトンにおける各ジョイントの時間軸パラメータ(位置、回転等)を抽出し、それぞれのジョイントにおける平均値を算出する。そして、標準スケルトン取得部152は、算出した平均値を標準スケルトンの対応するジョイントについての時間軸パラメータとして設定する。ボーンについても平均を取り設定する。これにより、標準のスケルトン動作(標準スケルトン動作)が設定される。
Returning to FIG. 4, the standard
指標関連付け処理部153は、後述する指標関連付け処理を実行する。具体的には、指標関連付け処理部153は、スケルトン動作におけるモーションキャプチャデータから特定の運動に関する指標の指標値を取得する。ここでは、指標関連付け処理部153は、平均前後体軸(鉛直方向から進行方向への体軸の傾きの平均値)を取得するものとする。また、指標関連付け処理部153は、スケルトン動作におけるフォースプレート装置の測定結果(地面反力)から運動に関する指標値(ここでは最大キック力を表す指標値)を取得する。そして、指標関連付け処理部153は、全てのスケルトン動作に対し、取得したこれらの指標値を関連付ける。
The index
軸パラメータ決定部154は、全ての正規化スケルトン動作において、運動に関する指標値が上位及び下位の一定割合(ここでは20%とする)のものを上位側特徴スケルトン動作及び下位側特徴スケルトン動作として選択し、選択した上位側特徴スケルトン動作及び下位側特徴スケルトン動作において、その指標値の上位の平均値及び下位の平均値を算出する。そして、軸パラメータ決定部154は、これらの平均値と正規化スケルトン動作とのユークリッド距離とが規定値(閾値)Dより大きいものを正規化スケルトン動作から除外する。また、軸パラメータ決定部154は、除外後の正規化スケルトン動作において、再度、上位側特徴スケルトン動作及び下位側特徴スケルトン動作を選択し、指標値における上位の平均値及び下位の平均値を算出して閾値Dに基づく正規化スケルトン動作の除外を行う。軸パラメータ決定部154は、このような除外のための処理を複数回(ここでは3回)実行する。これにより、次元数が大きいスケルトン動作のデータにおいて、指標値が上位及び下位のものをより高い精度で選択することができる。
The axis
軸パラメータ決定部154は、後述する軸パラメータ決定処理を実行する。具体的には、軸パラメータ決定部154は、各指標値の上位側特徴スケルトン動作及び下位側特徴スケルトン動作について、上述のように得られた上位の平均値及び下位の平均値を、各指標値に対応する軸パラメータの上位の基準値及び下位の基準値として、記憶部118に記憶する。
The axis
[端末装置の機能構成]
図6は、端末装置200の機能的構成のうち、スケルトン描画処理を実行するための機能的構成を示す機能ブロック図である。
スケルトン描画処理とは、入力された指標値に応じて、動きの度合いを変化させたスケルトン動作(合成スケルトン動作)を生成し、生成した合成スケルトン動作を描画する一連の処理である。
[Functional configuration of terminal device]
FIG. 6 is a functional block diagram showing a functional configuration for executing a skeleton drawing process among the functional configurations of the
The skeleton drawing process is a series of processes for generating a skeleton operation (synthesis skeleton operation) in which the degree of movement is changed according to the input index value, and drawing the generated synthesis skeleton operation.
スケルトン描画処理が実行される場合、CPU211においては、指標値取得部251と、合成スケルトン生成部252と、描画処理部253とが機能する。
なお、指標値取得部251、合成スケルトン生成部252及び描画処理部253の機能の一部をGA(Graphic Accelerator)等の画像処理を行う機能部に移譲してもよい。
指標値取得部251は、ユーザインターフェースの画面において、ユーザによって入力された指標値(変更後の指標値)を取得する。例えば、ユーザインターフェースの画面において、標準スケルトン動作のキック力の指標値が「25」であるときに、ユーザによって最大キック加速度の指標値として「40」が入力されると、指標値取得部251は、変更後の最大キック加速度の指標値として「40」を取得する。
When the skeleton drawing process is performed, in the
Note that some of the functions of the index
The index
合成スケルトン生成部252は、後述する合成スケルトン生成処理を実行する。具体的には、合成スケルトン生成部252は、指標値取得部251によって取得された変更後の指標値に基づいて、標準スケルトンの指標値を変更し、合成スケルトン動作を生成する。例えば、合成スケルトン生成部252は、指標値取得部251によって変更後の最大キック加速度の指標値「40」が取得されている場合、標準スケルトンにおける最大キック加速度を「25」から「40」に変更したスケルトン動作を生成し、合成スケルトン動作とする。
The synthesis
描画処理部253は、合成スケルトン生成部252によって生成された合成スケルトン動作をアニメーションとして表示する。このとき、描画処理部253は、合成スケルトン動作において、標準スケルトン動作から変更されている指標を視覚的に識別して表示する。例えば、描画処理部253は、合成スケルトン動作の最大キック加速度が標準スケルトン動作から変更されている場合、最大キック加速度に関与する部分(例えば脚)に矢印を表示して、標準スケルトン動作から変更されていることを識別して表示する。
The
[動作]
次に、動作を説明する。
[事前準備処理]
図7は、図4の機能的構成を有する図2の画像生成装置100が実行する事前準備処理の流れの一例を説明するフローチャートである。
事前準備処理は、端末装置200等を介して事前準備処理の起動が入力されることに対応して開始される。
[Operation]
Next, the operation will be described.
[Prepare process]
FIG. 7 is a flowchart for explaining an example of the flow of preliminary preparation processing executed by the
The preparatory process is started in response to the activation of the preparatory process being input via the
事前準備処理が開始されると、ステップS101において、正規化スケルトン取得部151は、正規化スケルトン取得処理(後述)を実行する。
ステップS102において、標準スケルトン取得部152は、標準スケルトン取得処理(後述)を実行する。
ステップS103において、指標関連付け処理部153は、指標関連付け処理(後述)を実行する。
ステップS104において、軸パラメータ決定部154は、軸パラメータ決定処理(後述)を実行する。
When the preliminary preparation process is started, in step S101, the normalized
In step S102, the standard
In step S103, the index
In step S104, the axis
ステップS105において、軸パラメータ決定部154は、全ての指標について軸パラメータの決定処理が完了したか否かの判定を行う。
全ての指標について軸パラメータ決定処理が完了していない場合、ステップS105においてNOと判定され、処理はステップS104に戻る。
これに対し、全ての指標について軸パラメータ決定処理が完了した場合、ステップS105においてYESと判定されて、事前準備処理は終了する。
In step S105, the axis
If the axis parameter determination process has not been completed for all the indices, it is determined as NO in step S105, and the process returns to step S104.
On the other hand, if the axis parameter determination process has been completed for all the indices, it is determined as YES in step S105, and the preliminary preparation process ends.
[正規化スケルトン取得処理]
次に、事前準備処理のステップS101において実行される正規化スケルトン取得処理について説明する。
図8は、事前準備処理のうち正規化スケルトン取得処理の流れの一例を説明するフローチャートである。
正規化スケルトン取得処理が開始されると、ステップS201において、正規化スケルトン取得部151は、光学式モーションキャプチャ装置及びフォースプレート装置によって測定されたモーションキャプチャデータ及び地面反力のデータ(ランニング時の動作のデータ)を取得する。
[Normalized skeleton acquisition processing]
Next, the normalized skeleton acquisition process executed in step S101 of the preliminary preparation process will be described.
FIG. 8 is a flow chart for explaining an example of the flow of normalized skeleton acquisition processing in the preliminary preparation processing.
When the normalized skeleton acquisition process is started, in step S201, the normalized
具体的には、正規化スケルトン取得部151は、光学式モーションキャプチャ装置から動作の測定対象に装着されたマーカの動きによって表されるランニング動作のフォームを取得する。光学式モーションキャプチャ装置は、人物における動きを測定したい部位に装着されたマーカを多数のカメラで追跡する装置である。
ここで、マーカは、動作の測定対象となる人物において、スケルトンを構築するためのジョイント部位が推定できる位置に装着される。つまり、モーションキャプチャにより、スケルトンのジョイント位置が追跡可能となる。
Specifically, the normalized
Here, the marker is mounted at a position at which a joint site for constructing a skeleton can be estimated in a person to be measured for movement. That is, motion capture makes it possible to track the joint position of the skeleton.
また、正規化スケルトン取得部151は、フォースプレート装置からランニング時の地面反力のデータを取得する。
一例として、フォースプレート装置は、地面に埋め込まれ、測定対象の人物がその上を走ることにより、地面反力(地面が測定対象に与える力)の情報を取得する。地面反力より、測定対象から地面への鉛直方向に向かうキック力と、進行方向への推進力を得ることができる。
地面反力は力であるため、ニュートンの運動の法則に従い、以下の(1)式から導き出すことができる。
F=m×a (1)
ここで、「F」は力、「m」は質量、「a」は加速度を示す。「F」は、質量に依存するので、測定対象の人物の体重に依存する。そのため、地面反力を力ではなく加速度として取り扱うことにより測定対象の人物の体重に依存しない指標となる。
Further, the normalized
As an example, the force plate device is embedded in the ground, and a person to be measured travels thereon to acquire information on ground reaction force (a force that the ground gives to the object to be measured). From the ground reaction force, it is possible to obtain a kicking force in the vertical direction from the object to be measured to the ground and a propulsive force in the traveling direction.
Since the ground reaction force is a force, it can be derived from the following equation (1) according to Newton's law of motion.
F = m × a (1)
Here, "F" represents force, "m" represents mass, and "a" represents acceleration. Since "F" depends on mass, it depends on the weight of the person to be measured. Therefore, by treating the ground reaction force as acceleration instead of force, it becomes an index independent of the weight of the person to be measured.
本実施形態では、最大キック加速度(時系列のキック加速度のうち最も大きいもの)を動作の指標として用いているため、最大キック加速度を表す指標値をモーションキャプチャデータと関連づけて記憶しておき、後の処理で利用する。
ステップS202において、正規化スケルトン取得部151は、スケルトン動作を取得する。具体的には、正規化スケルトン取得部151は、モーションキャプチャ装置から取得したモーションキャプチャデータからスケルトン動作を生成する。正規化スケルトン取得部151は、モーションキャプチャデータからスケルトンのジョイント位置を推定し、ジョイント間をボーンとする。ただし、このようにボーンを決定した場合、ボーンが厳密には剛体とならず伸縮することがあるため、正規化スケルトン取得部151は、ボーンが剛体となるように制約をかけながら、推定したジョイント位置をできるだけ満足させるよう、全体最適化を行ってスケルトン動作を生成する。
In the present embodiment, since the maximum kick acceleration (the largest among the time-series kick accelerations) is used as the motion index, an index value representing the maximum kick acceleration is stored in association with the motion capture data. Use in the process of
In step S202, the normalized
ステップS203において、正規化スケルトン取得部151は、スケルトン動作を正規化する。
具体的には、正規化スケルトン取得部151は、ランニングフォームの周期性に従ってスケルトン動作の正規化を行う。本実施形態においては、右足の膝が左足の膝を追い越すポイントでスケルトン動作の動画像を切り出し、切り出したフレーム数を合わせるために、全て同一のフレーム数(例えば100フレーム)となるように補間することで、正規化を行う。補間が行われる場合、ルートジョイントの位置情報と、ルートジョイント及びジョイントが持つ角度情報を対象としてデータの補間が施される。
In step S203, the normalized
Specifically, the normalized
正規化スケルトン取得部151は、スケルトン動作の正規化を複数のスケルトン動作(ここではN試技分とする)について行い、N個の正規化スケルトン動作を生成する。また、それぞれの正規化スケルトン動作には、指標値の1つとして、最大キック加速度を表す指標値が関連付けられている。
ステップS204において、正規化スケルトン取得部151は、スケルトン動作の正規化がN試技分行われたか否かの判定を行う。
スケルトン動作の正規化がN試技分行われていない場合、ステップS204においてNOと判定されて、処理はステップS201に戻る。
これに対し、スケルトン動作の正規化がN試技分行われた場合、ステップS204においてYESと判定されて、処理は事前準備処理に戻る。
The normalized
In step S204, the normalization
If normalization of the skeleton operation has not been performed for N trials, NO is determined in step S204, and the process returns to step S201.
On the other hand, when normalization of the skeleton operation is performed for N trials, YES is determined in step S204, and the process returns to the preparatory process.
[標準スケルトン取得処理]
次に、事前準備処理のステップS102において実行される標準スケルトン取得処理について説明する。
図9は、事前準備処理のうち標準スケルトン取得処理の流れの一例を説明するフローチャートである。
標準スケルトン取得処理が開始されると、ステップS301において、標準スケルトン取得部152は、全ジョイントの処理が終了しているか否かを判断する。即ち、標準スケルトン取得部152は、全ジョイント(ルートジョイント及び各ジョイント)ごとに、全てのフレームをそれぞれ処理したか否かの判定を行う。
[Standard skeleton acquisition process]
Next, the standard skeleton acquisition process executed in step S102 of the preliminary preparation process will be described.
FIG. 9 is a flow chart for explaining an example of the flow of the standard skeleton acquisition process in the preliminary preparation process.
When the standard skeleton acquisition processing is started, in step S301, the standard
全ジョイントごとに、全てのフレームをそれぞれ処理した場合、ステップS301においてYESと判定されて、処理は事前準備処理に戻る。
これに対し、全ジョイントごとに、全てのフレームをそれぞれ処理し終えていない場合、ステップS301においてNOと判定されて、処理はステップS302に移行する。
ステップS302において、標準スケルトン取得部152は、全試技のジョイントのパラメータを取得する。
If all frames have been processed for each joint, YES is determined in step S301, and the process returns to the preparatory process.
On the other hand, if all the frames have not been processed for each joint, NO is determined in step S301, and the process proceeds to step S302.
In step S302, the standard
ステップS303において、標準スケルトン取得部152は、標準スケルトンのジョイントのパラメータを算出する。標準スケルトンのジョイントについてのパラメータは、取り出した全試技のジョイントそれぞれにおける変数の平均値として求められる。ここでの平均値は、X軸、Y軸、Z軸の成分ごとに独立に算出される。
例えば、ルートジョイントの場合には、該当フレームの全試技の位置座標の平均を求め、標準スケルトン動作の該当フレームの位置座標とされる。
また、クォータニオンで示される角度情報であれば、以下の(2)式に従って算出される。即ち、q1,q2,q3,q4,q5の5つのクォータニオンの平均の場合には、
Qmean=exp((1/5)×(ln(q1)+ln(q2)+ln(q3)+ln(q4)+ln(q5)) (2)
として算出される。
ここで、「exp」は底がネイピア数である指数関数を表し、「ln」は自然対数を表す。
このように、対数クォータニオンに変換することで、標準スケルトン動作のための平均値を取得することができる。
In step S303, the standard
For example, in the case of the root joint, the average of the position coordinates of all the trials in the corresponding frame is obtained, and this is used as the position coordinate of the corresponding frame in the standard skeleton operation.
Moreover, if it is angle information shown by quaternion, it will be calculated according to the following (2) Formula. That is, in the case of the average of five quaternions q1, q2, q3, q4, q5,
Qmean = exp ((1/5) × (ln (q1) + ln (q2) + ln (q3) + ln (q4) + ln (q5)) (2)
It is calculated as
Here, "exp" represents an exponential function whose base is a Napier number, and "ln" represents a natural logarithm.
Thus, by converting to logarithmic quaternion, it is possible to obtain an average value for standard skeleton operation.
ステップS304において、標準スケルトン取得部152は、全フレームを処理したか否かの判定を行う。
全フレームを処理した場合、ステップS304においてYESと判定されて、処理は事前準備処理に戻る。
これに対し、全フレームを処理していない場合、ステップS304においてNOと判定されて、処理はステップS302に戻る。
In step S304, the standard
If all frames have been processed, YES is determined in step S304, and the process returns to the preparatory process.
On the other hand, when all the frames have not been processed, it is determined as NO in step S304, and the process returns to step S302.
[指標関連付け処理]
次に、事前準備処理のステップS103において実行される指標関連付け処理について説明する。
図10は、事前準備処理のうち指標関連付け処理の流れの一例を説明するフローチャートである。
指標関連付け処理が開始されると、ステップS401において、指標関連付け処理部153は、全てのスケルトン動作の処理(即ち、正規化スケルトン動作の全てについての標準スケルトン動作を生成するための処理)が終了しているか否かの判定を行う。
[Index association processing]
Next, the indicator associating process performed in step S103 of the preliminary preparation process will be described.
FIG. 10 is a flow chart for explaining an example of the flow of index association processing in the preliminary preparation processing.
When the index association processing is started, in step S401, the index
全てのスケルトン動作の処理が終了した場合、ステップS401においてYESと判定されて、処理は事前準備処理に戻る。
これに対し、全てのスケルトン動作の処理が終了していない場合、ステップS401においてNOと判定されて、処理はステップS402に進む。
ステップS402において、指標関連付け処理部153は、運動に関する指標全ての処理が終了しているか否かの判定を行う。
運動に関する指標全ての処理が終了している場合、ステップS402においてYESと判定されて、処理はステップS401に戻る。
これに対し、運動に関する指標全ての処理が終了していない場合、ステップS402においてNOと判定されて、処理はステップS403に進む。
When the processing of all the skeleton operations is completed, YES is determined in step S401, and the processing returns to the preparatory processing.
On the other hand, when the processing of all the skeleton operations is not completed, it is determined as NO in step S401, and the process proceeds to step S402.
In step S402, the index
If all the indices related to exercise have been processed, YES is determined in step S402, and the process returns to step S401.
On the other hand, if all the indices related to exercise have not been processed, it is determined as NO in step S402, and the process proceeds to step S403.
ステップS403において、指標関連付け処理部153は、平均前後体軸を算出する。平均前後体軸は、正規化スケルトン動作から体軸の前後方向の傾きの平均値を求めることにより算出される。ここで、「体軸」とは、左右股関節の中心から左右肩関節の中心に向かうベクトルを意味する。本実施形態では、1つの正規化スケルトン動作の全フレームでの平均体軸ベクトルを算出し、鉛直方向からランニング進行方向への傾きを平均前後体軸としている。これは、標準スケルトン動作に関しても同様であり、全フレームにおける平均体軸ベクトルを算出し、平均前後体軸を計算する。そして、算出した平均前後体軸をそれぞれのスケルトン動作に対して関連付ける。
In step S403, the index
ステップS404において、指標関連付け処理部153は、最大キック加速度を算出する。
最大キック加速度は、フォースプレート装置によって取得された地面反力の鉛直方向の成分における最大値として取得される。そして、1周期の動作において、最大値に対応するフレームの正規化スケルトン動作に対して、最大キック加速度を表す指標値が関連づけられる。標準スケルトン動作については、標準スケルトン動作の生成時に用いた正規化スケルトン動作の最大キック加速度の平均が、標準スケルトン動作の最大キック加速度を表す指標値とされる。
ステップS404の後、処理はステップS402に戻る。
In step S404, the index
The maximum kick acceleration is obtained as the maximum value of the vertical component of the ground reaction force obtained by the force plate device. Then, in one cycle of operation, an index value representing the maximum kick acceleration is associated with the normalized skeleton operation of the frame corresponding to the maximum value. For the standard skeleton motion, the average of the maximum kick acceleration of the normalized skeleton motion used when generating the standard skeleton motion is taken as an index value representing the maximum kick acceleration of the standard skeleton motion.
After step S404, the process returns to step S402.
[軸パラメータ決定処理]
次に、事前準備処理のステップS104において実行される軸パラメータ決定処理について説明する。
図11は、事前準備処理のうち軸パラメータ決定処理の流れの一例を説明するフローチャートである。
軸パラメータ決定処理が開始されると、ステップS501において、軸パラメータ決定部154は、運動に関する指標全ての処理が終了しているか否かの判定を行う。
運動に関する指標全ての処理が終了している場合、ステップS501においてYESと判定され、処理は事前準備処理に戻る。
運動に関する指標全ての処理が終了してはいない場合、ステップS501においてNOと判定され、処理はステップS502に進む。
[Axis parameter determination processing]
Next, the axis parameter determination process performed in step S104 of the preparatory process will be described.
FIG. 11 is a flowchart for explaining an example of the flow of axis parameter determination processing in the preliminary preparation processing.
When the axis parameter determination processing is started, in step S501, the axis
If all the indices related to exercise have been processed, YES is determined in step S501, and the process returns to the preparatory process.
If all the indices related to exercise have not been processed, it is determined as NO in step S501, and the process proceeds to step S502.
ステップS502において、軸パラメータ決定部154は、全ての正規化スケルトン動作の中から、最大キック加速度が上位20%の正規化スケルトン動作を取得する。但し、標準スケルトン動作の最大キック加速度より小さいものが含まれていた場合にはこれを除外する。
ステップS503において、軸パラメータ決定部154は、変数Loopを0にセット(Loop=0)する。
ステップS504において、軸パラメータ決定部154は、取得した正規化スケルトン動作の平均スケルトン動作(即ち、上位側特徴スケルトン動作の平均値)を算出する。
ステップS505において、軸パラメータ決定部154は、1ずつインクリメントされる変数Loopが3未満(Loop++<3)であるか否かの判定を行う。
In step S502, the axis
In step S503, the axis
In step S504, the axis
In step S505, the axis
変数Loopが3未満でない場合、ステップS505においてNOと判定されて、処理はステップS508に進む。
これに対し、変数Loopが3未満である場合、ステップS505においてYESと判定されて、処理はステップS506に進む。
ステップS506において、軸パラメータ決定部154は、選択したスケルトン動作と、平均スケルトン動作とのユークリッド距離を算出する。即ち、軸パラメータ決定部154は、標準スケルトン動作の生成時と同様に上位側特徴スケルトン動作の平均値を算出し、上位側の平均スケルトン動作を生成する。そして、軸パラメータ決定部154は、生成した上位側の平均スケルトン動作を、位置空間に展開する。つまり、軸パラメータ決定部154は、全フレームで持つ変数と定数(ルートジョイントの位置及び角度情報、ボーン長、各ジョイントでの角度情報)から、空間位置座標となるルートジョイント位置とジョイント位置に変換する。そして、軸パラメータ決定部154は、生成した上位側の平均スケルトン動作と、上位側の平均スケルトン動作の生成に用いたそれぞれの正規化スケルトン動作との間で、全てのフレームで積算した空間位置誤差(ユークリッド誤差)を求める。求められたユークリッド誤差がユークリッド距離となる。
If the variable Loop is not less than 3, it is determined as NO in step S505, and the process proceeds to step S508.
On the other hand, if the variable Loop is less than 3, YES is determined in step S505, and the process proceeds to step S506.
In step S506, the axis
ステップS507において、軸パラメータ決定部154は、ユークリッド誤差(ユークリッド距離)が規定値Dより大きい正規化スケルトン動作を選択から除外する。即ち、位置座標で距離が離れたスケルトン動作を上位側の平均スケルトンから除外する。その後、処理はステップS504に戻り、再び、上位側の平均スケルトン動作を生成する。
ステップS508において、軸パラメータ決定部154は、上位側の特徴スケルトン動作を算出する。即ち、軸パラメータ決定部154は、生成した上位側の平均スケルトン動作を、最大キック加速度が大きいスケルトン動作の代表とし、最大キック加速度に関する上位側特徴スケルトン動作とする。また、軸パラメータ決定部154は、上位側特徴スケルトン動作に対応する上位側最大キック加速度指標を求める。上位側最大キック加速度指標値は、上位側特徴スケルトン動作の生成に用いた正規化スケルトン動作の最大キック加速度指標値の平均とする。
In step S507, the axis
In step S508, the axis
ステップS509において、軸パラメータ決定部154は、上位側特徴スケルトン動作の指標の平均値(上位の基準値)を算出する。即ち、軸パラメータ決定部154は、選択した上位側特徴スケルトン動作から最大キック加速度の平均を算出して、上位の基準値とする。
ステップS510において、軸パラメータ決定部154は、全ての正規化スケルトン動作の中から、最大キック加速度が小さい下位20%の正規化スケルトン動作を取得する。但し、標準スケルトンの最大キック加速度より大きいものが含まれていたらこれを除外する。
ステップS511において、軸パラメータ決定部154は、変数Loopを0にセット(Loop=0)する。
ステップS512において、軸パラメータ決定部154は、取得した正規化スケルトン動作の平均スケルトン動作(即ち、下位側特徴スケルトン動作の平均値)を算出する。
In step S509, the axis
In step S510, the axis
In step S511, the axis
In step S512, the axis
ステップS513において、軸パラメータ決定部154は、1ずつインクリメントされる変数Loopが3未満(Loop++<3)であるか否かの判定を行う。
変数Loopが3未満でない場合、ステップS513においてNOと判定されて、処理はステップS516に進む。
これに対し、変数Loopが3未満である場合、ステップS513においてYESと判定されて、処理はステップS514に進む。
In step S513, the axis
If the variable Loop is not less than 3, NO is determined in step S513, and the process proceeds to step S516.
On the other hand, if the variable Loop is less than 3, YES is determined in step S513, and the process proceeds to step S514.
ステップS514において、軸パラメータ決定部154は、選択したスケルトン動作と、平均スケルトン動作とのユークリッド距離を算出する。即ち、軸パラメータ決定部154は、標準スケルトン動作の生成時と同様に下位側特徴スケルトンの平均値を算出し、下位側の平均スケルトン動作を生成する。そして、軸パラメータ決定部154は、生成した下位側の平均スケルトン動作を、位置空間に展開する。つまり、軸パラメータ決定部154は、全フレームで持つ変数と定数(ルートジョイントの位置及び角度情報、ボーン長、各ジョイントでの角度情報)から、空間位置座標となるルートジョイント位置とジョイント位置に変換する。そして、軸パラメータ決定部154は、生成した下位側の平均スケルトン動作と、下位側の平均スケルトン動作の生成に用いたそれぞれの正規化スケルトン動作との間で、全てのフレームで積算した空間位置誤差(ユークリッド誤差)を求める。求められたユークリッド誤差がユークリッド距離となる。
In step S514, the axis
ステップS515において、軸パラメータ決定部154は、ユークリッド誤差(ユークリッド距離)が規定値Dより大きい正規化スケルトン動作を選択から除外する。即ち、位置座標で距離が離れたスケルトン動作を下位側の平均スケルトンから除外する。その後、処理はステップS512に戻り、再び、下位側の平均スケルトン動作を生成する。
ステップS516において、軸パラメータ決定部154は、下位側の特徴スケルトン動作を算出する。即ち、軸パラメータ決定部154は、求めた下位側の平均スケルトン動作を、最大キック加速度が小さいスケルトン動作の代表とし、最大キック加速度に関する下位側特徴スケルトン動作とする。また、軸パラメータ決定部154は、下位側特徴スケルトン動作に対応する下位側最大キック加速度指標を求める。下位側最大キック加速度指標値は、下位側特徴スケルトン動作の生成に用いた正規化スケルトン動作の最大キック加速度指標値の平均とする。
In step S515, the axis
In step S516, the axis
ステップS517において、軸パラメータ決定部154は、下位側特徴スケルトン動作の指標の平均値(下位の基準値)を算出する。即ち、軸パラメータ決定部154は、選択した下位側特徴スケルトン動作から最大キック加速度の平均を算出して、下位の基準値とする。
ステップS518において、軸パラメータ決定部154は、最大キック加速度の軸パラメータとして、標準スケルトン動作の最大キック加速度を表す指標値、最大キック加速度の上位側特徴スケルトン動作、最大キック加速度の上位の基準値、最大キック加速度の下位側特徴スケルトン動作、最大キック加速度の下位の基準値を記憶部118に記憶させる。
ステップS518の後、処理はステップS501に戻る。
ステップS507、ステップS515にて、位置空間による評価を行ったが、全ジョイントの回転量そのものの偏差で評価を行っても良い。
In step S517, the axis
In step S518, the axis
After step S518, the process returns to step S501.
Although the evaluation based on the position space is performed in steps S507 and S515, the evaluation may be performed based on the deviation of the rotation amount itself of all the joints.
[スケルトン描画処理]
図12は、図5の機能的構成を有する図3の端末装置200が実行するスケルトン描画処理の流れの一例を説明するフローチャートである。
スケルトン描画処理は、入力部217を介してスケルトン描画処理の起動が入力されることに対応して開始される。
スケルトン描画処理が開始されると、ステップS601において、描画処理部253は、フレーム変数の初期化(FrameNo=0)を行う。
ステップS602において、指標値取得部251は、入力された各運動に関する指標値を取得する。例えば、ユーザインターフェースにおいて、スライドバーによって運動指標が与えられるとすると、指標値取得部251は、スライドバーが示す値を取得する。
Skeleton drawing processing
FIG. 12 is a flowchart illustrating an example of the flow of skeleton drawing processing executed by the
The skeleton drawing process is started in response to the input of activation of the skeleton drawing process via the
When the skeleton drawing process is started, in step S601, the
In step S602, the index
ステップS603において、合成スケルトン生成部252は、合成スケルトン生成処理(後述)を実行する。合成スケルトン生成処理では、取得した運動に関する指標値に基づいて、そのフレーム番号(FrameNo)の合成スケルトンを生成する。
ステップS604において、描画処理部253は、合成スケルトンを描画するように出力部218を制御する。合成スケルトンの描画では、合成スケルトンが進行方向に動かないように、ルートジョイントの進行方向位置座標は固定される。
In step S603, the synthesis
In step S604, the
ステップS605において、描画処理部253は、描画するフレームが最大フレーム番号より小さい(FrameNo<MaxFrameNo)か否かの判定を行う。
描画するフレームが最大フレーム番号より小さくない場合、ステップS605においてNOと判定されて、処理はステップS607に進む。
ステップS607において、描画処理部253は、フレーム番号をリセットする(FrameNo=0)。
その後、処理はステップS608に進む。
これに対し、描画するフレームが最大フレーム番号より小さい場合、ステップS605においてYESと判定されて、処理はステップS606に進む。
In step S605, the
If the frame to be drawn is not smaller than the maximum frame number, NO is determined in step S605, and the process proceeds to step S607.
In step S607, the
Thereafter, the processing proceeds to step S608.
On the other hand, if the frame to be drawn is smaller than the maximum frame number, YES is determined in step S605, and the process proceeds to step S606.
ステップS606において、スケルトン描画処理部110は、フレーム番号を1インクリメント(FrameNo++)する。
ステップS608において、描画処理部253は、描画タイミングを調整するか否かの判定を行う。即ち、運動に関する指標値が変更されることにより、フレームの補間や削除等の必要が生じ、フレームの描画タイミングが調整されるか否かが判定される。
描画タイミングを調整する場合、ステップS608の処理が繰り返される。
これに対し、描画タイミングを調整しない場合、ステップS608においてNOと判定されて、処理はステップS609に進む。
In step S606, the skeleton drawing processing unit 110 increments the frame number by 1 (Frame No ++).
In step S608, the
When adjusting the drawing timing, the process of step S608 is repeated.
On the other hand, when the drawing timing is not adjusted, it is determined as NO in step S608, and the process proceeds to step S609.
ステップS609において、描画処理部253は、スケルトン描画処理の終了操作がされたか否かの判定を行う。
終了操作されていない場合、ステップS609においてNOと判定されて、処理はステップS602に戻る。
これに対し、終了操作された場合、ステップS609においてYESと判定されて、スケルトン描画処理は終了する。
In step S609, the
If the end operation has not been performed, it is determined as NO in step S609, and the process returns to step S602.
On the other hand, if the end operation has been performed, it is determined as YES in step S609, and the skeleton drawing process ends.
図13は、スケルトン描画処理によって表示される表示画面例を示す模式図である。
図13に示すように、表示画面の左側に運動に関する指標として、平均前後体軸及び最大キック加速度を示すスライドバー及び現在の設定値(平均前後体軸5.0[deg]、最大キック加速度25[m/s2])が表示されている。また、表示画面の右側に合成スケルトンSK401が表示されている。
図13に示す表示画面例において、運動に関する指標、即ち、平均前後体軸及び最大キック加速度それぞれについて、スライドバーによって指標値を変化させることができる。
FIG. 13 is a schematic view showing an example of a display screen displayed by the skeleton drawing process.
As shown in FIG. 13, on the left side of the display screen, a slide bar indicating an average front and rear body axis and maximum kick acceleration as an index related to exercise and current setting values (average front and rear body axis 5.0 [deg], maximum kick acceleration 25 [M / s2] is displayed. In addition, the synthetic skeleton SK 401 is displayed on the right side of the display screen.
In the example of the display screen shown in FIG. 13, the index value can be changed by the slide bar for the index related to movement, that is, the average front-rear body axis and the maximum kick acceleration.
[合成スケルトン生成処理]
次に、スケルトン描画処理のステップS603において実行される合成スケルトン生成処理について説明する。
図14は、スケルトン描画処理のうち合成スケルトン生成処理の流れの一例を説明するフローチャートである。
なお、本実施形態では、最大キック加速度を表す指標値が変更される場合を例に挙げて説明を行う。
合成スケルトン生成処理が開始されると、ステップS701において、合成スケルトン生成部252は、全ての運動に関する指標の処理が終了したか否かの判定を行う。
[Composite skeleton generation process]
Next, the combined skeleton generation process executed in step S603 of the skeleton drawing process will be described.
FIG. 14 is a flowchart for explaining an example of the flow of synthesis skeleton generation processing in the skeleton drawing processing.
In the present embodiment, the description will be made by taking as an example the case where the index value representing the maximum kick acceleration is changed.
When the synthesis skeleton generation process is started, in step S701, the synthesis
全ての運動に関する指標の処理が終了している場合、ステップS701においてYESと判定されて、処理はステップS709に進む。
これに対し、全ての運動に関する指標の処理が終了していない場合、ステップS701においてNOと判定されて、処理はステップS702に進む。
ステップS702において、合成スケルトン生成部252は、入力された各運動に関する指標値及び最大キック加速度の軸パラメータ(軸パラメータ決定処理のステップS518で取得された標準スケルトン動作の最大キック加速度を表す指標値、最大キック加速度の上位側特徴スケルトン動作、最大キック加速度の上位の基準値、最大キック加速度の下位側特徴スケルトン動作、最大キック加速度の下位の基準値)を取得する。
When the processing of the indices related to all the movements is completed, YES is determined in step S701, and the process proceeds to step S709.
On the other hand, when the processing of the indices related to all the exercises is not completed, it is determined as NO in step S701, and the process proceeds to step S702.
In step S702, the combined
ステップS703において、合成スケルトン生成部252は、変数Sbaseに標準スケルトン動作(時刻=フレーム番号FrameNo)、変数Dbaseに標準スケルトン動作の運動に関する指標値(最大キック加速度を表す指標値)、変数Dinに入力された最大キック加速度の指標値を設定する。
例えば、Sbase=標準スケルトン動作(フレーム番号FrameNoのフレーム)、Dbase=標準スケルトン動作の最大キック加速度の指標値「25」、Din=入力された最大キック加速度の指標値「40」とする。
ステップS704において、合成スケルトン生成部252は、標準スケルトン動作の運動に関する指標値より入力された最大キック加速度の指標値の方が大きい(Dbase<Din)か否かの判定を行う。
標準スケルトン動作の運動に関する指標値より入力された最大キック加速度の指標値が大きい場合、ステップS704においてYESと判定されて、処理はステップS705に進む。
In step S703, the synthetic
For example, Sbase = standard skeleton operation (frame of frame number FrameNo), Dbase = index value of maximum kick acceleration of standard skeleton operation “25”, Din = index value of maximum kick acceleration input “40”.
In step S704, the combined
If the index value of the maximum kick acceleration input from the index value related to the motion of the standard skeleton motion is large, YES is determined in step S704, and the process proceeds to step S705.
ステップS705において、合成スケルトン生成部252は、変数Ssに軸パラメータの上位側特徴スケルトン動作(時刻=フレーム番号FrameNo)、変数Dsに軸パラメータの最大キック加速度の上位の基準値を設定する。
例えば、Ss=軸パラメータの上位側特徴スケルトン動作(フレーム番号FrameNoのフレーム)、Ds=軸パラメータの上位の基準値「35」を設定する。
その後、処理はステップS707に進む。
これに対し、標準スケルトン動作の運動に関する指標値より入力された最大キック加速度の指標値が小さい場合、ステップS704においてNOと判定されて、処理はステップS706に進む。
In step S 705, the combined
For example, Ss = axis parameter upper side feature skeleton operation (frame of frame number FrameNo), Ds = axis parameter upper reference value “35” is set.
Thereafter, the processing proceeds to step S 707.
On the other hand, when the index value of the maximum kick acceleration input from the index value related to the motion of the standard skeleton motion is small, NO is determined in step S704, and the process proceeds to step S706.
ステップS706において、合成スケルトン生成部252は、変数Ssに軸パラメータの下位側特徴スケルトン動作(時刻=フレーム番号FrameNo)、変数Dsに軸パラメータの最大キック加速度の下位の基準値を設定する。
例えば、Ss=軸パラメータの上位側特徴スケルトン動作(フレーム番号FrameNoのフレーム)、Ds=軸パラメータの下位の基準値「10」を設定する。
ステップS707において、合成スケルトン生成部252は、比率r=(Din−Dbase)/(Ds−Dbase)を算出する。
In step S706, the combined
For example, Ss = axis parameter upper side feature skeleton operation (frame of frame number FrameNo), Ds = axis parameter lower reference value “10” is set.
In step S 707, the synthesis
具体的には、Dbaseを基準としてDsまでを1とした時に、入力された指標値Dinが位置する比率を求めてrとする。つまり、r=0は、入力された指標値Din=Dbaseであり、r=1の時はDin=Ds、r>1の時はDin>Ds、0<r<1の時はDbase<Din<Dsとなる。
ステップS708において、合成スケルトン生成部252は、比率rに対応する特徴スケルトン(変更後のスケルトン)を求める。ルートジョイントの位置座標については、XYZ軸それぞれで独立に、例えばX座標では、以下の(3)式に従って算出される。
X’=x_base+r×(x_s−x_base) (3)
Specifically, assuming that Dbase is 1 with Dbase as a reference, a ratio at which the input index value Din is located is determined as r. That is, r = 0 is the input index value Din = Dbase, and when r = 1, Din = Ds, when r> 1, Din> Ds, and when 0 <r <1, Dbase <Din < It becomes Ds.
In step S 708, the synthesis
X ′ = x_base + r × (x_s−x_base) (3)
ここで、「X’」は、特徴スケルトンのルートジョイントのX座標値となる。同様にY座標値、Z座標値も求められる。また、「x_s」は、Ssが示す上位側特徴スケルトン動作のフレームにおけるルートジョイントのX座標値を示し、「x_base」は、Sbaseが示す標準スケルトン動作のフレームにおけるルートジョイントのX座標値を示している。
また、クォータニオンで示された角度情報についても同様に下記の補間式で変更後の値を求めることができる。
q’=q_base×(inv(q_base)×q_s)r
ここで、「q_base」は、標準スケルトンのクォータニオンを示し、「q_s」は、上位側特徴スケルトン動作Ssのクォータニオンを示し、「inv( )」は逆関数を示す。
Here, “X ′” is the X coordinate value of the root joint of the feature skeleton. Similarly, Y coordinate values and Z coordinate values are also obtained. “X_s” indicates the X coordinate value of the root joint in the frame of the upper feature skeleton operation indicated by Ss, and “x_base” indicates the X coordinate value of the root joint in the frame of the standard skeleton operation indicated by Sbase There is.
Also, with regard to angle information indicated by quaternion, similarly, it is possible to obtain a value after change by the following interpolation formula.
q '= q_base × (inv (q_base) × q_s) r
Here, “q_base” indicates a quaternion of a standard skeleton, “q_s” indicates a quaternion of the upper side feature skeleton operation Ss, and “inv ()” indicates an inverse function.
合成スケルトン生成部252は、全ての角度情報について計算を行い、特徴スケルトンを求める。なお、ボーンについては、標準スケルトンのボーンを利用する。
その後、処理はステップS701に戻る。
ステップS709において、合成スケルトン生成部252は、全ての運動に関する指標の特徴スケルトンの平均を取り、合成スケルトンとする。
その後、処理はスケルトン描画処理に戻る。
The synthesis
Thereafter, the process returns to step S701.
In step S709, the synthesis
Thereafter, the process returns to the skeleton drawing process.
図15は、時系列のスケルトン空間を示す模式図である。
図15に示すように、スケルトン空間の変数は、ルートジョイントの位置座標、ルートジョイント及びジョイントの角度情報からなる次元により構成される。
なお、ここでは説明を簡単にするため、角度情報がθ1、θ2の2次元からなるものとする。
所望のフレームにおいて、標準スケルトン動作がSK301、上位側特徴スケルトン動作がSK302、下位側特徴スケルトン動作がSK303であるものとする。標準スケルトン動作SK301から上位側特徴スケルトン動作SK302に向けた軸312上に、変更後の特徴スケルトンSK304が設定されることになる。特徴スケルトンSK304は、時刻ごとに異なり、つまりフレームが異なれば、それぞれのスケルトン動作の変数も異なるので特徴スケルトンSK304も異なる。
FIG. 15 is a schematic view showing a time-series skeleton space.
As shown in FIG. 15, the variables in the skeleton space are constituted by dimensions including position coordinates of the root joint, angle information of the root joint and the joint.
Here, in order to simplify the explanation, it is assumed that the angle information is in two dimensions of θ1 and θ2.
In a desired frame, it is assumed that the standard skeleton operation is SK301, the upper feature skeleton operation is SK302, and the lower feature skeleton operation is SK303. The modified feature skeleton SK 304 is set on the
図16は、図15と異なるフレーム(フレーム番号=k)のスケルトン空間を示す模式図である。
軸312は、標準スケルトン動作SK301から上位側特徴スケルトン動作を見たときの補間軸である。また、軸313は、標準スケルトン動作SK301から下位側特徴スケルトン動作SK303を見たときの補間軸である。つまり、特定の運動に関する指標について、比率rが種々変化された場合、特徴スケルトンSK304は、軸312もしくは軸313上に設定される。
FIG. 16 is a schematic view showing a skeleton space of a frame (frame number = k) different from that of FIG.
An
図17は、スケルトン空間における合成スケルトンを示す模式図である。
なお、図17(a)には、スケルトン空間に、標準スケルトン動作SK301が設定された状態が示され、図17(b)には、異なる運動に関する指標値に応じた特徴スケルトンSK324、SK334が示されている。また、図17(c)には、合成スケルトンSK340が示されている。
図17(a)に示す軸322,323及び軸332,333は、それぞれ異なる運動に関する指標に応じた補間軸であり、これらの運動に関する指標における比率rがそれぞれ入力されると、図17(b)における特徴スケルトンSK324,SK334が設定される。
FIG. 17 is a schematic view showing a combined skeleton in the skeleton space.
Note that FIG. 17 (a) shows a state in which the standard skeleton motion SK301 is set in the skeleton space, and FIG. 17 (b) shows feature skeletons SK324 and SK334 corresponding to index values for different movements. It is done. Further, FIG. 17C shows a synthetic skeleton SK340.
The
そして、図17(c)に示すように、特徴スケルトンSK324,SK334の座標の平均値を取得することにより、合成スケルトンSK340の角度情報が得られ、合成スケルトンSK340が設定される。
なお、上述の説明では、1つの運動に関する指標について、上位側特徴スケルトン動作及び下位側特徴スケルトン動作の2つの補間方向を設定し、それぞれ1つのスケルトン動作で線形な軸を設定した。しかしながら複数のスケルトン動作を設定し、軸を直線でなく折れ線で設定した場合でも同様のアルゴリズムで合成スケルトンを設定できる。より折れ数が多い軸を設定した方が、より複雑な動作に適切に対応することができる。
Then, as shown in FIG. 17C, by acquiring the average value of the coordinates of the feature skeletons SK324 and SK334, the angle information of the composite skeleton SK340 is obtained, and the composite skeleton SK340 is set.
In the above description, two interpolation directions of the upper feature skeleton operation and the lower feature skeleton operation are set for an index related to one motion, and linear axes are set by the one skeleton operation. However, even when a plurality of skeleton operations are set and axes are set not by straight lines but by broken lines, synthetic skeletons can be set by the same algorithm. By setting an axis with a larger number of folds, it is possible to appropriately cope with more complicated operations.
[視覚化の具体的形態]
次に、端末装置200の描画処理部253が合成スケルトンを描画する際の具体的形態について説明する。
[Specific form of visualization]
Next, a specific form in which the
[第1矢印描画処理]
図18は、図5の機能的構成を有する図3の端末装置200が実行する第1矢印描画処理の流れを説明するフローチャートである。
第1矢印描画処理とは、スケルトンの変更状態を可視化するために表示する矢印を生成する処理である。
第1矢印描画処理は、スケルトンが繰り返し描画されている状態(図19参照)で、例えば、ユーザインターフェースにおける最大キック加速度のラベルをクリック操作し、最大キック加速度の指標値を選択する操作が行われることにより開始される。なお、このとき、描画対象のフレーム番号(FrameNo)及び最大キック加速度の指標値を引数として、第1矢印描画処理が呼び出される。
[First arrow drawing process]
FIG. 18 is a flowchart for explaining the flow of a first arrow drawing process performed by the
The first arrow drawing process is a process of generating an arrow displayed to visualize the change state of the skeleton.
In the first arrow drawing process, in a state in which the skeleton is repeatedly drawn (see FIG. 19), for example, an operation of clicking the label of the maximum kick acceleration in the user interface and selecting the index value of the maximum kick acceleration is performed It is started by. At this time, the first arrow drawing process is called with the frame number to be drawn (Frame No) and the index value of the maximum kick acceleration as arguments.
第1矢印描画処理が開始されると、ステップS801において、描画処理部253は、選択された運動に関する指標について、その時刻(FrameNo)での指標を最大とした場合、及び、最小とした場合のスケルトンの空間姿勢(合成スケルトンの空間位置座標)を計算する。
ステップS802において、描画処理部253は、算出されたスケルトン空間姿勢(合成スケルトンの空間位置座標)において、右足首、左足首、胸、右手首、左手首のジョイントを検索ジョイントとする。
When the first arrow drawing processing is started, in step S801, the
In step S802, the
ステップS803において、描画処理部253は、最大及び最小の2つの指標値でのスケルトン空間姿勢(合成スケルトンの空間位置座標)について、検索ジョイント間の各々で差分(ベクトル)を求める。
ステップS804において、描画処理部253は、差分量が大きい2つのジョイントを選択する。
ステップS805において、描画処理部253は、差分量を「矢印の長さ」とし、ベクトルの向きを「矢印の向き」とする矢印を生成する。具体的には、描画処理部253は、例えば、一番大きいジョイントが左足首のジョイント、次に大きいジョイントが右足首のジョイントである場合には、差分量を矢印の長さ(あるいは大きさ)で、差分方向を矢印の向きとして、それぞれのジョイントに矢印を描画する。
In step S803, the
In step S804, the
In step S805, the
ステップS806において、描画処理部253は、求められた検索ジョイント間の差分が明確となる視点に地面から鉛直方向を軸として視点の変更を行う。なお、視点方向は、例えば差分量が最も大きいジョイントでの矢印の向きが描画面と平行(即ち正面視)となるように決定される。
ステップS807において、描画処理部253は、生成した矢印を対応するジョイント上に描画するように出力部218を制御する。
その後、第1矢印描画処理は終了する。
In step S806, the
In step S 807, the
Thereafter, the first arrow drawing process ends.
図20は、視点方向が変更された表示画面例を示す模式図である。
図20においては、図19の表示画面例に対して、合成スケルトンが側面視された状態に変更され、左足首のジョイントにおける矢印A441及び右足首のジョイントにおける矢印A442が正面視される状態となっている。なお、図20においては、選択された運動に関する指標(最大キック加速度)のスライドバー及び現在の設定値の領域が矩形のカーソルで囲まれている。
また、フレームごとに運動に関する指標値が変化することから、図20のような表示画面例は、時刻と共に変化することとなる。
FIG. 20 is a schematic view showing an example of a display screen in which the viewpoint direction is changed.
In FIG. 20, with respect to the display screen example of FIG. 19, the composite skeleton is changed to a side view, and the arrow A 441 at the joint of the left ankle and the arrow A 442 at the joint of the right ankle are in front view ing. In FIG. 20, the slide bar of the index related to the selected exercise (maximum kick acceleration) and the area of the current setting value are surrounded by a rectangular cursor.
Moreover, since the index value regarding exercise changes for each frame, the display screen example as shown in FIG. 20 changes with time.
図21は、図20と異なる時刻における表示画面例を示す模式図である。
図21に示す表示画面例では、右足首のジョイント及び胸部のジョイントに矢印A442、A443が表示されている。
このようなスケルトンの状態では、最大キック加速度の指標値が変化しても左足首のジョイントの位置変化が小さいため、図21に示すフレームでは、最大キック加速度のスライドバーを操作しても、左足首のジョイントには矢印が表示されない。
FIG. 21 is a schematic view showing an example of a display screen at a time different from that in FIG.
In the display screen example shown in FIG. 21, arrows A442 and A443 are displayed on the joint of the right ankle and the joint of the chest.
In such a skeleton state, the position change of the joint of the left ankle is small even if the index value of the maximum kick acceleration changes, so in the frame shown in FIG. Arrows do not appear on neck joints.
[第2矢印描画処理]
図22は、図5の機能構成を有する図3の端末装置200が実行する第2矢印描画処理の流れを説明するフローチャートである。
第2矢印描画処理とは、運動に関する指標値を選択する操作が行われた場合に、その指標をさらに変更した場合におけるスケルトンの部位の変化の方向を示す矢印を描画する処理である。
第2矢印描画処理は、スケルトンが繰り返し描画されている状態(図23参照)で、例えば、ユーザインターフェースにおける最大キック加速度のラベルをクリック操作し、最大キック加速度の指標値を選択する操作が行われることにより開始される。
[2nd arrow drawing process]
FIG. 22 is a flowchart for explaining the flow of the second arrow drawing process executed by the
The second arrow drawing process is a process of drawing an arrow indicating the direction of change of the portion of the skeleton when the index is further changed when an operation of selecting an index value related to exercise is performed.
In the second arrow drawing process, in a state where the skeleton is repeatedly drawn (see FIG. 23), for example, an operation of clicking the label of the maximum kick acceleration in the user interface and selecting the index value of the maximum kick acceleration is performed It is started by.
第2矢印描画処理が開始されると、ステップS901において、描画処理部253は、指標が変更された後の時刻(FrameNo)での、合成スケルトンの空間位置座標P1を算出する。
ステップS902において、描画処理部253は、さらに同じ方向に指標値が変化した場合の合成スケルトンの空間位置座標P2を算出する。
ステップS903において、描画処理部253は、右足首、左足首、胸、右手首、左手首のジョイントを検索ジョイントとする。
When the second arrow drawing process is started, in step S901, the
In step S902, the
In step S 903, the
ステップS904において、描画処理部253は、2つのスケルトン空間位置座標で、スケルトン空間位置座標P1を基準として検索ジョイント間の各々で差分(ベクトル)を求める。つまり、描画処理部253は、検索ジョイントでの空間位置座標P1からみた空間位置座標P2の差分を計算する。
ステップS905において、描画処理部253は、差分量が最も大きいジョイントを選択する。
In step S904, the
In step S905, the
ステップS906において、描画処理部253は、差分量を「矢印の大きさ」、ベクトルの向きを「矢印の向き」とする矢印A443を、対応するジョイント上に描画するように出力部218を制御する。
その後、第2矢印描画処理は終了する。
In step S 906, the
Thereafter, the second arrow drawing process ends.
図24は、スケルトンの部位の変化の方向を示す矢印A443が表示された表示画面例を示す模式図である。
図24においては、図23における指標値の変更前のスケルトンSK441が破線で描画され、指標値の変更後のスケルトンSK442が実線で描画されている。さらに、スケルトンSK442の右足首のジョイント近傍には、指標値がさらに変更された場合に右足首が変化する方向を示す矢印A443が表示されている。
なお、図24に示す表示画面例において、指標値の変更前のスケルトンSK441は、描画しないこととしてもよい。矢印443及び指標値の変更前スケルトンSK441は、指標値を変更する操作の後、予め設定された時間後に消滅する。
FIG. 24 is a schematic view showing an example of a display screen on which an arrow A 443 indicating the direction of change of the portion of the skeleton is displayed.
In FIG. 24, the skeleton SK441 before the change of the index value in FIG. 23 is drawn by a broken line, and the skeleton SK442 after the change of the index value is drawn by a solid line. Furthermore, in the vicinity of the joint of the right ankle of the skeleton SK 442, an arrow A 443 indicating a direction in which the right ankle changes when the index value is further changed is displayed.
In the example of the display screen shown in FIG. 24, the skeleton SK 441 before the change of the index value may not be drawn. The arrow 443 and the pre-change skeleton SK441 of the index value disappear after a preset time after the operation of changing the index value.
[対応指標報知処理]
図25は、図5の機能構成を有する図3の端末装置200が実行する対応指標報知処理の流れを説明するフローチャートである。
[Response index notification process]
FIG. 25 is a flowchart for explaining the flow of the correspondence index notification process performed by the
対応指標報知処理とは、静止しているスケルトンを操作することにより、その操作部位に対応して変化する指標をユーザに報知する処理である。
対応指標報知処理は、スケルトンマニュアル操作モード(スケルトンに対するユーザの操作を受け付けるモード)が選択されることに対応して開始される。
The correspondence index notification process is a process of notifying the user of an index that changes corresponding to the operation part by operating a skeleton that is stationary.
The corresponding index notification process is started in response to the skeleton manual operation mode (a mode for receiving the user's operation on the skeleton) being selected.
対応指標報知処理が開始されると、ステップS1001において、描画処理部253は、スケルトン動作のフレームの自動更新を停止させ、ユーザによって選択されたフレーム番号(FrameNo)で静止した状態でスケルトンを描画する。
ステップS1002において、描画処理部253は、移動可能なジョイントを大きい円で描画する(図26参照)。
ステップS1003において、描画処理部253は、終了操作に対する割り込み設定、及び、ジョイントの移動操作に対する割り込み設定を行う。即ち、終了操作を示す割り込み信号及びジョイントの移動操作を示す割り込み信号を受け付ける状態に設定される。
ステップS1003の後、描画処理部253は、待機モードに移行する。
When the corresponding index notification process is started, in step S1001, the
In step S1002, the
In step S1003, the
After step S1003, the
図26は、移動可能なジョイントが他のジョイントに比べて大きく描画されたスケルトンの表示画面例を示す模式図である。
図26に示す表示画面例において、ユーザが、画面上の移動可能なジョイントを動かした場合(例えば、図26中の矢印A463の方向にジョイントJ462が移動された場合)、ジョイントの移動操作を示す割り込み信号が発生し、ジョイント移動割り込み処理が実行される。
FIG. 26 is a schematic view showing an example of a display screen of a skeleton in which movable joints are drawn larger than other joints.
In the display screen example shown in FIG. 26, when the user moves the movable joint on the screen (for example, when the joint J 462 is moved in the direction of the arrow A463 in FIG. 26), the moving operation of the joint is shown. An interrupt signal is generated and joint movement interrupt processing is performed.
図27は、対応指標報知処理において割り込み処理として実行されるジョイント割り込み移動処理の流れを説明するフローチャートである。
ジョイント割り込み移動処理が開始されると、ステップS1011において、描画処理部253は、移動されたジョイントの位置に対応する新たなスケルトンN1を生成する。なお、移動可能なジョイントであっても、自由な移動をさせることはできず、ボーンが剛体であるという制約の下、移動操作が許容される。
ステップS1012において、描画処理部253は、新たなスケルトンN1を描画する。
ステップS1013において、描画処理部253は、次の操作のため、移動されたジョイントの部位を描画する。
FIG. 27 is a flow chart for explaining the flow of joint interrupt movement processing which is executed as interrupt processing in the correspondence index notification processing.
When the joint interrupt movement process is started, in step S1011, the
In step S1012, the
In step S1013, the
ステップS1014において、描画処理部253は、事前準備で取得した正規化スケルトン動作の集合において、フレーム番号がFrameNoのフレームの中から、移動されたジョイントの位置に最も近いスケルトンのフレームを検索する。このとき、動作パラメータ同士を比較して検索しても、空間位置座標に変換してから比較して検索してもよい。
ステップS1015において、描画処理部253は、検索された正規化スケルトン動作が有する指標値に対応させて、表示画面のスライドバーを移動させる。
図26において、右足首のジョイントJ462が、矢印A463の方向に移動された場合に、移動後のスケルトンに応じた指標値が表示されている。
ステップS1015の後、描画処理部253は、再び待機モードに移行する。
また、対応指標報知処理及びジョイント割り込み移動処理で待機モードとなっている場合に、終了操作が行われると、当該終了操作を示す割り込み信号が発生し、終了割り込み処理が実行される。
In step S1014, the
In step S1015, the
In FIG. 26, when the joint J462 of the right ankle is moved in the direction of the arrow A463, an index value corresponding to the skeleton after the movement is displayed.
After step S1015, the
In addition, when the end operation is performed in the standby mode in the correspondence index notification process and the joint interrupt movement process, an interrupt signal indicating the end operation is generated, and the end interrupt process is executed.
図28は、対応指標報知処理及びジョイント割り込み移動処理において割り込み処理として実行される終了割り込み処理の流れを説明するフローチャートである。
終了割り込み処理が開始されると、ステップS1021において、対応指標報知処理の終了のための準備(必要なパラメータの記憶、設定のリセット等)を実行する。
ステップS1021の後、終了割り込み処理は終了となる。また、これにより、対応指標報知処理も終了となる。
FIG. 28 is a flowchart for explaining the flow of an end interrupt process which is executed as an interrupt process in the correspondence index notification process and the joint interrupt movement process.
When the end interrupt process is started, preparation for the end of the corresponding index notification process (storage of necessary parameters, reset of setting, etc.) is executed in step S1021.
After step S1021, the end interrupt process ends. In addition, the corresponding index notification process also ends.
上記実施形態によれば、例えば、画像生成装置100には、サンプルとして取得された複数の個人のモーションキャプチャデータに基づき構成された標準スケルトンを記憶しておき、端末装置200では、端末装置200のユーザ特有の動きを指標値として入力することができる。
これにより、複数の個人の動きを統合した標準スケルトン動作から、特定の個人の動きを反映させた合成スケルトン動作を生成することができる。
この場合、サービスの提供者が標準スケルトン動作のデータを提供し、サービスを利用するユーザそれぞれが、ユーザ自身の動きを反映させた合成スケルトン動作を生成するといった形態を実現できる。
According to the above embodiment, for example, in the
In this way, it is possible to generate a synthetic skeleton motion that reflects a specific individual's motion from a standard skeleton motion that integrates the motions of a plurality of individuals.
In this case, it is possible to realize a form in which the service provider provides data of the standard skeleton operation, and each user who uses the service generates a synthetic skeleton operation in which the user's own movement is reflected.
以上説明したように、本実施形態の画像生成システム1は、画像生成装置100と、端末装置200とを含んでいる。
画像生成装置100は、アニメーション取得部150を備え、アニメーション取得部150は、複数のアニメーションデータを取得する。
端末装置200は、指標値取得部251と、合成スケルトン生成部252と、描画処理部253とを備えている。
指標値取得部251は、アニメーションデータの運動に関する指標の値を入力し、合成スケルトン生成部252は、アニメーション取得部150により取得された複数のアニメーションデータを用いて、指標値取得部251によって入力された指標の値に応じたアニメーションデータ(合成スケルトン動作のデータ)を生成する。
したがって、動作を測定して得られたアニメーションデータ(スケルトンのデータ)を所望の動きに変更することが可能となる。
As described above, the image generation system 1 of the present embodiment includes the
The
The
The index
Therefore, it becomes possible to change the animation data (skeleton data) obtained by measuring the motion into a desired motion.
また、指標値取得部251は、アニメーションデータの運動に関する複数の指標の値を入力し、合成スケルトン生成部252は、指標値取得部251によって入力された複数の指標の値に応じたアニメーションデータを生成する。
したがって、アニメーションデータにおいて、複数の運動に関する指標を関連付け、これらの指標それぞれを変更させることができるため、より複雑な動きの変更を実現することが可能となる。
In addition, the index
Therefore, in the animation data, it is possible to associate a plurality of motion-related indicators and change each of the indicators, so that it is possible to realize more complex motion changes.
また、画像生成装置100は、標準スケルトン取得部152を備え、標準スケルトン取得部152は、アニメーション取得部150により取得された複数のアニメーションデータから、運動に関する指標が対応付けられた標準のアニメーションデータを生成する。合成スケルトン生成部252は、標準のアニメーションデータから指標値取得部251により入力された指標の値に応じたアニメーションデータを生成する。
The
また、標準のアニメーションデータには、運動に関する指標の基準値が設定され、合成スケルトン生成部252は、標準のアニメーションデータにおける基準値(例えば上位あるいは下位の基準値)に基づいて、指標値取得部251により入力された指標の値に応じたアニメーションデータを生成する。
したがって、動作を測定して得られた複数のアニメーションデータに基づき設定した基準値に基づいて、運動に関する指標を変更したアニメーションデータを生成することができるため、指標を変更した場合の動きの変化が、測定された動作に基づくものとなり、より適切な動きの変化を実現することが可能となる。
In addition, a reference value of an index related to motion is set in the standard animation data, and the combined
Therefore, based on the reference values set based on the plurality of animation data obtained by measuring the motion, it is possible to generate animation data in which the index related to movement is changed. , Based on the measured motion, it is possible to realize more appropriate change in motion.
また、端末装置200は、標準のアニメーションデータに基づくアニメーションと、当該アニメーションデータに設定されている運動に関する指標値の入力のためのユーザインターフェースを出力部218に表示させる描画処理部253を備え、指標値取得部251は、ユーザインターフェースを操作することにより、運動に関する指標の値を入力する。
したがって、視覚的にわかりやすい形態で、運動に関する指標の値を入力することができる。
The
Therefore, it is possible to input the value of the index related to the exercise in a visually understandable form.
描画処理部253は、指標値取得部251によって運動に関する指標の値が入力された場合に、合成スケルトン生成部252によって生成されたアニメーションデータに基づくアニメーションを、当該入力された指標の値に対応する部分を識別して出力部218に表示させる。
したがって、運動に関する指標の変更によるアニメーションの変化部分をわかりやすく表示することができる。
When the index
Therefore, it is possible to clearly display the changing part of the animation due to the change of the index related to the movement.
また、描画処理部253は、指標値取得部251によって入力された運動に関する指標の値に応じて変化するアニメーションの部分を識別して出力部218に表示させる。
したがって、運動に関する指標を変化させた場合に影響の生じる部分をわかりやすく表示することができる。
In addition, the
Therefore, it is possible to clearly display the part that affects when the index related to exercise is changed.
また、描画処理部253は、指標値取得部251による運動に関する値の入力後のアニメーションデータに対応する運動に関する指標を出力部218に表示させる。
したがって、アニメーションに対する直接的な操作に応じて、運動に関する指標を変更することができるため、アニメーションデータに対する変更を行う場合の操作性を高めることができる。
In addition, the
Therefore, since the index related to the motion can be changed in response to the direct operation on the animation, the operability in the case of changing the animation data can be enhanced.
[変形例]
上述の実施形態において、運動に関する指標値の入力は、アプリケーションによって生成される表示画面内のスライドバーによって行うこととした。
これに対し、リアルタイムな運動によって運動に関する指標値を入力し、スケルトン動作を表示することとしてもよい。
具体的には、ユーザの靴に加速度センサを装着し、腕に表示装置(例えば携帯端末等)を装着した状態でランニングを行い、ユーザの実際の動きによって指標値を入力して、スケルトン動作を生成することができる。
図29は、図6の機能的構成を有する図3の端末装置200が実行するリアルタイム表示処理の流れを説明するフローチャートである。
リアルタイム表示処理は、リアルタイムに運動に関する指標値を入力してスケルトン動作を表示する処理である。
リアルタイム表示処理は、ユーザの靴に加速度センサを装着し、腕に端末装置200を装着した状態で、リアルタイム表示処理の起動が入力されることに対応して開始される。
[Modification]
In the above-mentioned embodiment, the input of the index value regarding exercise was performed by the slide bar in the display screen generated by the application.
On the other hand, skeleton values may be displayed by inputting an index value relating to exercise by real-time exercise.
Specifically, the user wears an acceleration sensor on his / her shoes, runs while wearing a display device (for example, a portable terminal or the like) on his / her arm, inputs an index value according to the user's actual movement, and performs skeleton operation. Can be generated.
FIG. 29 is a flow chart for explaining the flow of real-time display processing executed by the
The real time display process is a process of displaying a skeleton operation by inputting an index value regarding exercise in real time.
The real-time display process is started in response to an input of activation of the real-time display process in a state where the acceleration sensor is attached to the shoe of the user and the
リアルタイム表示処理が開始されると、ステップS1031において、端末装置200は、加速度センサから、運動に関する指標を取得する。例えば、運動に関する指標として、速度情報(ランニングの速度に関する情報)を取得する。速度情報は、靴に装着した加速度センサからランニングのピッチを取得し、予め設定した歩幅に基づき取得することができる。加速度センサによって取得した速度情報は、端末装置200に無線通信で送信される。
ステップS1032において、端末装置200は、運動に関する指標としての速度に応じた合成スケルトンを表示画面に描画する。
ステップS1033において、端末装置200は、リアルタイム処理における時間調整のためのウェイトを実行する。
その後、リアルタイム表示処理が繰り返し実行される。
When the real-time display process is started, in step S1031, the
In step S1032, the
In step S1033, the
Thereafter, real time display processing is repeatedly executed.
なお、リアルタイム表示処理によってスケルトン動作を表示する場合にも、スケルトン動作の表示に利用される指標を対象として、事前準備処理による軸パラメータの設定が行われていることが前提となる。
また、靴に装着される加速度センサの他、複数種類のセンサを用いて複数種類の運動に関する指標を取得し、複数種類の運動に関する指標に応じた合成スケルトンをリアルタイムに表示することができる。この場合にも、事前準備処理によるデータが生成されていれば、低い計算コストで合成スケルトン動作を生成することができる。
In addition, also when displaying a skeleton operation | movement by a real-time display process, it becomes a premise that the setting of the axis | shaft parameter by prior preparation processing is performed by making the parameter | index utilized for the display of a skeleton operation into object.
In addition to acceleration sensors attached to shoes, a plurality of types of sensors can be used to acquire indices relating to a plurality of types of exercise, and composite skeletons corresponding to the indices relating to a plurality of types of exercise can be displayed in real time. Also in this case, if the data is generated by the preparation process, it is possible to generate the synthesis skeleton operation at low calculation cost.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 The present invention is not limited to the above-described embodiment, and modifications, improvements, and the like in the range in which the object of the present invention can be achieved are included in the present invention.
上述の実施形態では、標準スケルトン動作に設定される指標値を、標準スケルトン動作を生成する母集合の正規化スケルトン動作から求めるものとした。これに対し、標準スケルトン動作に設定される指標値を、標準スケルトン動作を生成する母集合とは異なるスケルトン動作の集合から求めることができる。
これにより、標準スケルトン動作を生成した母集合の正規化スケルトン動作のデータが利用できない場合等であっても、他のスケルトン動作の集合から求めた指標値を標準スケルトンに設定することができるため、より柔軟に本発明を実現することが可能となる。
また、上述の実施形態において、標準スケルトン動作を生成するために用いられるスケルトン動作の集合は、特定の個人の複数のモーションキャプチャデータから構成することや、複数の個人のモーションキャプチャデータから構成することのいずれも可能である。
In the above-described embodiment, the index value set for the standard skeleton operation is obtained from the normalized skeleton operation of the population that generates the standard skeleton operation. On the other hand, the index value set to the standard skeleton operation can be obtained from a set of skeleton operations different from the mother set generating the standard skeleton operation.
As a result, even if the data of normalized skeleton motion of the mother set which generated the standard skeleton motion can not be used, it is possible to set the index value obtained from the set of other skeleton motions to the standard skeleton. It is possible to realize the present invention more flexibly.
Also, in the above-described embodiment, the set of skeleton operations used to generate the standard skeleton operations may be configured from a plurality of motion capture data of a specific individual or may be configured from motion capture data of a plurality of individuals. Both are possible.
また、上述の実施形態では、本発明が適用される画像生成装置100は、サーバによって構成され、端末装置200はスマートフォンによって構成される場合を例に挙げて説明したが、特にこれに限定されない。
例えば、本発明は、情報処理機能を有する電子機器一般によって実現することができる。具体的には、例えば、本発明における画像生成装置100及び端末装置200は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等によって構成することが可能である。
Further, in the above-described embodiment, the
For example, the present invention can be realized by an electronic device generally having an information processing function. Specifically, for example, the
また、上述の実施形態では、画像生成装置100と端末装置200とを別個の装置として構成する場合を例に挙げて説明したが、特にこれに限定されない。
例えば、画像生成装置100をPC等によって構成し、画像生成装置100に上述の実施形態における端末装置200の機能を備えることができる。
Further, in the above-described embodiment, the case where the
For example, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4及び図6の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像生成装置100及び端末装置200に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4及び図6の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be performed by hardware or software.
In other words, the functional configurations of FIG. 4 and FIG. 6 are merely illustrative and not particularly limited. That is, it is sufficient if the
Further, one functional block may be configured by hardware alone, may be configured by software alone, or may be configured by a combination of them.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When the series of processes are executed by software, a program that configures the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図2のリムーバブルメディア131及び図3のリムーバブルメディア231により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア131,231は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2のROM112及び図3のROM212や、図2の記憶部118及び図3の記憶部219に含まれるハードディスク等で構成される。
A recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, in the step of describing the program to be recorded on the recording medium, the processing performed chronologically along the order is, of course, parallel or individually not necessarily necessarily chronologically processing. It also includes the processing to be performed.
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。 Also, in the present specification, the term "system" is intended to mean an overall device composed of a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While some embodiments of the present invention have been described above, these embodiments are merely illustrative and do not limit the technical scope of the present invention. The present invention can take other various embodiments, and furthermore, various changes such as omissions and substitutions can be made without departing from the scope of the present invention. These embodiments and modifications thereof are included in the scope and the gist of the invention described in the present specification, etc., and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数のアニメーションデータを取得するデータ取得手段と、
アニメーションデータの運動に関する指標の値を入力する入力手段と、
前記データ取得手段により取得された複数のアニメーションデータを用いて、前記入力手段によって入力された指標の値に応じたアニメーションデータを生成する第1の生成手段と、
を備えることを特徴とする画像生成装置。
[付記2]
前記入力手段は、アニメーションデータの運動に関する複数の指標の値を入力し、
前記第1の生成手段は、前記入力手段によって入力された複数の指標の値に応じたアニメーションデータを生成することを特徴とする付記1に記載の画像生成装置。
[付記3]
前記データ取得手段により取得された複数のアニメーションデータから、運動に関する指標が対応付けられた標準のアニメーションデータを生成する第2の生成手段を更に備え、
前記第1の生成手段は、前記標準のアニメーションデータから前記入力手段により入力された指標の値に応じたアニメーションデータを生成することを特徴とする付記1又は2に記載の画像生成装置。
[付記4]
前記標準のアニメーションデータには、前記運動に関する指標の基準値が設定され、
前記第1の生成手段は、前記標準のアニメーションデータにおける前記基準値に基づいて、前記入力手段により入力された指標の値に応じたアニメーションデータを生成することを特徴とする付記3に記載の画像生成装置。
[付記5]
前記標準のアニメーションデータに基づくアニメーションと、当該アニメーションデータに設定されている前記運動に関する指標の値の入力のためのユーザインターフェースとを表示手段に表示させる表示制御手段を更に備え、
前記入力手段は、前記ユーザインターフェースを操作することにより、前記運動に関する指標の値を入力することを特徴とする付記3又は4に記載の画像生成装置。
[付記6]
前記表示制御手段は、前記入力手段によって前記運動に関する指標の値が入力された場合に、前記第1の生成手段によって生成されたアニメーションデータに基づくアニメーションを、当該入力された指標の値に対応する部分を識別して前記表示手段に表示させることを特徴とする付記5に記載の画像生成装置。
[付記7]
前記表示制御手段は、前記入力手段によって入力された前記運動に関する指標の値に応じて変化する前記アニメーションの部分を識別して前記表示手段に表示させることを特徴とする付記5または6に記載の画像生成システム。
[付記8]
前記表示制御手段は、前記入力手段による前記運動に関する値の入力後の前記アニメーションデータに対応する指標を前記表示手段に表示させることを特徴とする付記5から7の何れか1つに記載の画像生成装置。
[付記9]
複数のアニメーションデータを取得するデータ取得ステップと、
アニメーションデータの運動に関する指標の値を入力する入力ステップと、
前記データ取得ステップにより取得された複数のアニメーションデータを用いて、前記入力ステップにおいて入力された指標の値に応じたアニメーションデータを生成する生成ステップと、
を含むことを特徴とする画像生成方法。
[付記10]
コンピュータを、
複数のアニメーションデータを取得するデータ取得手段、
アニメーションデータの運動に関する指標の値を入力する入力手段、
前記データ取得手段により取得された複数のアニメーションデータを用いて、前記入力手段によって入力された指標の値に応じたアニメーションデータを生成する生成手段、
として機能させることを特徴とするプログラム。
The invention described in the claims at the beginning of the application of the present application is appended below.
[Supplementary Note 1]
Data acquisition means for acquiring a plurality of animation data;
An input unit for inputting a value of an index related to motion of animation data;
A first generation unit configured to generate animation data according to the value of the index input by the input unit using the plurality of animation data acquired by the data acquisition unit;
An image generation apparatus comprising:
[Supplementary Note 2]
The input means inputs values of a plurality of indices related to motion of animation data;
The image generation device according to claim 1, wherein the first generation means generates animation data in accordance with values of a plurality of indices inputted by the input means.
[Supplementary Note 3]
The system further comprises second generation means for generating standard animation data associated with an index related to movement from the plurality of animation data acquired by the data acquisition means.
The image generation apparatus according to claim 1, wherein said first generation means generates animation data according to the value of the index input by said input means from said standard animation data.
[Supplementary Note 4]
In the standard animation data, a reference value of an indicator related to the movement is set,
The image according to
[Supplementary Note 5]
The apparatus further comprises display control means for causing display means to display an animation based on the standard animation data and a user interface for inputting the value of the index related to the motion set in the animation data.
The image generating apparatus according to
[Supplementary Note 6]
The display control means, when the value of the index related to the motion is input by the input means, corresponds an animation based on animation data generated by the first generation means to the value of the input index The image generating apparatus according to claim 5, wherein the part is identified and displayed on the display means.
[Supplementary Note 7]
The display control means identifies the portion of the animation that changes in accordance with the value of the index relating to the motion input by the input means, and causes the display means to display the portion. Image generation system.
[Supplementary Note 8]
The image according to any one of Appendices 5 to 7, wherein the display control means causes the display means to display an index corresponding to the animation data after the input of the value relating to the motion by the input means. Generator.
[Supplementary Note 9]
A data acquisition step for acquiring a plurality of animation data;
An input step of inputting a value of an index related to motion of the animation data;
A generation step of generating animation data according to the value of the index input in the input step using the plurality of animation data acquired in the data acquisition step;
A method of generating an image, comprising:
[Supplementary Note 10]
Computer,
Data acquisition means for acquiring multiple animation data,
Input means for inputting a value of an index related to motion of animation data,
Generation means for generating animation data according to the value of the index input by the input means using the plurality of animation data obtained by the data acquisition means;
A program characterized by acting as
1・・・画像生成システム,100・・・画像生成装置,111、211・・・CPU,112、212・・・ROM,113、213・・・RAM,114、214・・・バス,115、215・・・入出力インターフェース,216・・・撮像部,116、217・・・入力部,117、218・・・出力部,118、219・・・記憶部,119、220・・・通信部,120、221・・・ドライブ,131、231・・・リムーバブルメディア,150・・・アニメーション取得部,151・・・正規化スケルトン取得部,152・・・標準スケルトン取得部,153・・・指標関連付け処理部,154・・・軸パラメータ決定部,251・・・指標値取得部,252・・・合成スケルトン生成部,253・・・描画処理部 DESCRIPTION OF SYMBOLS 1 ... Image generation system, 100 ... Image generation apparatus, 111, 211 ... CPU, 112, 212 ... ROM, 113, 213 ... RAM, 114, 214 ... Bus, 115, 215 ... input / output interface, 216 ... imaging unit, 116, 217 ... input unit, 117, 218 ... output unit, 118, 219 ... storage unit, 119, 220 ... communication unit , 120, 221: drive, 131, 231: removable media, 150: animation acquisition unit, 151: normalized skeleton acquisition unit, 152: standard skeleton acquisition unit, 153: index Association processing unit 154: axis parameter determination unit 251: index value acquisition unit 252: combined skeleton generation unit 253: drawing processing unit
Claims (15)
アニメーションデータの走る時の足の蹴りの強さと体軸の傾きのうち、少なくとも一つに関する指標の任意の値を入力する入力手段と、
前記データ取得手段により取得された複数のアニメーションデータを用いて、前記入力手段によって入力された指標の任意の値に応じたアニメーションデータを生成する第1の生成手段と、
を備えることを特徴とする画像生成装置。 Data acquisition means for acquiring a plurality of animation data;
An input unit for inputting an arbitrary value of an index related to at least one of the strength of kicking of the foot and the inclination of the body axis when running animation data;
First generation means for generating animation data according to an arbitrary value of the index inputted by the input means, using a plurality of animation data obtained by the data acquisition means;
An image generation apparatus comprising:
前記第1の生成手段は、前記入力手段によって入力された二つの指標の任意の値に応じたアニメーションデータを生成することを特徴とする請求項2から7の何れか1項に記載の画像生成装置。 The input means inputs an arbitrary value of an index related to the kicking strength of the foot and the inclination of the body axis when the animation data is run,
The image generation according to any one of claims 2 to 7, wherein the first generation means generates animation data in accordance with arbitrary values of two indices inputted by the input means. apparatus.
前記第1の生成手段は、前記標準のアニメーションデータから前記入力手段により入力された指標の任意の値に応じたアニメーションデータを生成することを特徴とする請求項2から8の何れか1項に記載の画像生成装置。 A second method of generating standard animation data in which an index related to at least one of the strength of kicking of a foot and the inclination of the body axis is associated from a plurality of animation data acquired by the data acquisition means. Further comprising generation means,
The first generation means generates animation data according to an arbitrary value of the index inputted by the input means from the standard animation data, according to any one of claims 2 to 8. Image generation apparatus as described.
前記第1の生成手段は、前記標準のアニメーションデータにおける前記基準値に基づいて、前記入力手段により入力された指標の任意の値に応じたアニメーションデータを生成することを特徴とする請求項9に記載の画像生成装置。 In the standard animation data, a reference value of an index related to at least one of the strength of kicking of the foot and the inclination of the body axis at the time of running is set,
10. The apparatus according to claim 9, wherein said first generation means generates animation data according to an arbitrary value of the index inputted by said input means based on said reference value in said standard animation data. Image generation apparatus as described.
前記入力手段は、前記ユーザインターフェースを操作することにより、走る時の足の蹴りの強さと体軸の傾きのうち、少なくとも一つに関する指標の任意の値を入力することを特徴とする請求項9又は10に記載の画像生成装置。 The display control means is an animation based on the standard animation data, and any value of an index relating to at least one of the strength of kicking of a foot and the inclination of a body axis set in the animation data. Display a user interface for input on the display means,
10. The apparatus according to claim 9, wherein the input unit inputs an arbitrary value of an index related to at least one of the strength of kicking of the foot and the inclination of the body axis by operating the user interface. Or the image generation apparatus as described in 10.
アニメーションデータの走る時の足の蹴りの強さと体軸の傾きのうち、少なくとも一つに関する指標の任意の値を入力する入力ステップと、
前記データ取得ステップにより取得された複数のアニメーションデータを用いて、前記入力ステップにおいて入力された指標の値に応じたアニメーションデータを生成する生成ステップと、
を含むことを特徴とする画像生成方法。 A data acquisition step for acquiring a plurality of animation data;
An input step of inputting an arbitrary value of an index related to at least one of the strength of kicking of the foot and the inclination of the body axis when running animation data;
A generation step of generating animation data according to the value of the index input in the input step using the plurality of animation data acquired in the data acquisition step;
A method of generating an image, comprising:
複数のアニメーションデータを取得するデータ取得手段、
アニメーションデータの走る時の足の蹴りの強さと体軸の傾きのうち、少なくとも一つに関する指標の任意の値を入力する入力手段、
前記データ取得手段により取得された複数のアニメーションデータを用いて、前記入力手段によって入力された指標の値に応じたアニメーションデータを生成する生成手段、
として機能させることを特徴とするプログラム。 Computer,
Data acquisition means for acquiring multiple animation data,
An input means for inputting an arbitrary value of an indicator related to at least one of the strength of kicking of the foot and the inclination of the body axis when running animation data;
Generation means for generating animation data according to the value of the index input by the input means using the plurality of animation data obtained by the data acquisition means;
A program characterized by acting as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186500A JP6547807B2 (en) | 2017-09-27 | 2017-09-27 | Image generation apparatus, image generation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186500A JP6547807B2 (en) | 2017-09-27 | 2017-09-27 | Image generation apparatus, image generation method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013135615A Division JP2015011480A (en) | 2013-06-27 | 2013-06-27 | Image generation device, image generation method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018026149A JP2018026149A (en) | 2018-02-15 |
JP6547807B2 true JP6547807B2 (en) | 2019-07-24 |
Family
ID=61193960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017186500A Active JP6547807B2 (en) | 2017-09-27 | 2017-09-27 | Image generation apparatus, image generation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6547807B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7056708B2 (en) * | 2020-09-23 | 2022-04-19 | カシオ計算機株式会社 | Information processing equipment, information processing methods and programs |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3109738B2 (en) * | 1990-07-12 | 2000-11-20 | 株式会社日立製作所 | Computer graphic display method and apparatus |
JP2008015713A (en) * | 2006-07-04 | 2008-01-24 | Kyushu Institute Of Technology | Motion deformation system and method for it |
-
2017
- 2017-09-27 JP JP2017186500A patent/JP6547807B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018026149A (en) | 2018-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015011480A (en) | Image generation device, image generation method and program | |
US11083950B2 (en) | Information processing apparatus and information processing method | |
JP6515813B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP5936155B2 (en) | 3D user interface device and 3D operation method | |
JP4473754B2 (en) | Virtual fitting device | |
JP5604225B2 (en) | Human body posture estimation apparatus, human body posture estimation method, and computer program | |
JPWO2007010893A1 (en) | Joint object position / posture estimation apparatus, method and program thereof | |
JP5857946B2 (en) | Image processing apparatus, image processing method, and program | |
CN110544302A (en) | Human body action reconstruction system and method based on multi-view vision and action training system | |
WO2019093457A1 (en) | Information processing device, information processing method and program | |
JP2022500801A (en) | Devices, methods, and programs for determining a user's cognitive status on a mobile device. | |
JP2015183302A (en) | Image processing apparatus, image processing system, image processing method and program | |
WO2010038693A1 (en) | Information processing device, information processing method, program, and information storage medium | |
JP2022121419A (en) | Computer program, server device, and method | |
JP6579353B1 (en) | Information processing apparatus, information processing method, dimension data calculation apparatus, and product manufacturing apparatus | |
JP6547807B2 (en) | Image generation apparatus, image generation method and program | |
JP7318814B2 (en) | DATA GENERATION METHOD, DATA GENERATION PROGRAM AND INFORMATION PROCESSING DEVICE | |
US20230137198A1 (en) | Approximating motion capture of plural body portions using a single imu device | |
WO2021187093A1 (en) | Image processing device and moving-image data generation method | |
JP6684336B1 (en) | Data correction device and program | |
KR20230112636A (en) | Information processing device, information processing method and program | |
JP2010231452A (en) | Device and program for analysis of multi-dimensional time series data | |
JP2020005150A (en) | Video recording and playback device and program | |
JP5015109B2 (en) | Information processing apparatus, information processing method, program, and information storage medium | |
EP4319129A1 (en) | Information processing device and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6547807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |