JPH0887609A - Image processor - Google Patents

Image processor

Info

Publication number
JPH0887609A
JPH0887609A JP7176177A JP17617795A JPH0887609A JP H0887609 A JPH0887609 A JP H0887609A JP 7176177 A JP7176177 A JP 7176177A JP 17617795 A JP17617795 A JP 17617795A JP H0887609 A JPH0887609 A JP H0887609A
Authority
JP
Japan
Prior art keywords
joint
coordinate system
motion
axis
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7176177A
Other languages
Japanese (ja)
Inventor
Kazuhiko Inada
和彦 稲田
Masamichi Nakagawa
雅通 中川
Fumio Maehara
文雄 前原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP7176177A priority Critical patent/JPH0887609A/en
Priority to US08/505,607 priority patent/US6166746A/en
Publication of JPH0887609A publication Critical patent/JPH0887609A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

PURPOSE: To provide the image processor with which various operational modifications can be easily executed. CONSTITUTION: This device is provided with a three-dimensional joint position storage part 11 storing the three-dimensional coordinate position of the valid joint of an object corresponding to the operation in one cycle, shape data storage part 15 storing the shape data concerning the parts of the object corresponding to plural peculiar coordinate systems corresponding to the respective valid joints, and peculiar coordinate system deciding part 12 for deciding the peculiar coordinate system from the three-dimensional coordinate position. Besides, such an image processor 10 is equipped with a three-dimensional joint angle calculating part 13 for calculating a three-dimensional joint angle based on the peculiar coordinate system, joint angle displacing part 14 for displacing the three-dimensional joint angle, peculiar coordinate system generating part for generating the peculiar coordinate system based on the three-dimensional joint angle, and operation synthesizing part 16 for performing the allocation of the relevant shape data based on the peculiar coordinate system.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、例えば、多くの関
節を有する人間の自然な動作を簡易に生成することがで
きる、画像処理装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus which can easily generate a natural motion of a human having many joints.

【0002】[0002]

【従来の技術】人間などの動作をコンピュータグラフィ
ックスで表現する場合、一般的には、キーフレーム法や
運動力学に基づいた画像処理が行われる。キーフレーム
法は、重要なフレームとその補間データにより、動作を
表現する方法であるが、キーになるフレームによる動作
の決定には、非常に多くの時間を要する。運動力学に基
づいた方法では、かなり自然に動作を表現することが可
能となるが、計算機による計算処理時間が膨大となる。
2. Description of the Related Art In the case of expressing the motion of a human being or the like by computer graphics, image processing based on the key frame method or kinematics is generally performed. The key frame method is a method of expressing a motion by an important frame and its interpolation data, but it takes a very long time to determine a motion by a frame which becomes a key. The method based on kinematics can express motions fairly naturally, but the calculation processing time by the computer becomes enormous.

【0003】そこで、より簡単に画像処理が行えるもの
として、「多関節物体の動作表現方法及びコンピュータ
グラフィックス装置」(特公平4−71078号)が提
案されている。これは、多関節物体(人間)の動作を計
測し、その動作を一次元の関節角とその関節角に対する
一定の関数とを用いて表現しようとするものである。
Therefore, as a method capable of more easily performing image processing, "a method for expressing motion of an articulated object and a computer graphics device" (Japanese Patent Publication No. 4-71078) has been proposed. This is to measure the motion of an articulated object (human) and to represent the motion by using a one-dimensional joint angle and a constant function for the joint angle.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、このよ
うな従来技術では、関節角度を1次元で表現しているた
めに、平面的な動作しか表現することができず、また、
各関節間の部位に関する方向性も考慮していないため、
捻りなどの動作を表現することができないという課題が
あった。
However, in such a conventional technique, since the joint angle is expressed in one dimension, only a planar motion can be expressed.
Since we do not consider the directionality of the parts between each joint,
There was a problem that it was not possible to express movements such as twisting.

【0005】また、上述した従来技術では、一定の関数
を用いて、1次元の関節角度を関数化することにより処
理時間とデータ量を小さくしている。しかし、状況に応
じた動作、例えば人の動作において、ボールを手先で追
う等の動作を行うことができないという課題があった。
Further, in the above-mentioned prior art, the processing time and the amount of data are reduced by converting a one-dimensional joint angle into a function using a constant function. However, there is a problem in that it is not possible to perform a motion according to the situation, such as a motion of a person, such as following the ball with a finger.

【0006】そこで、本発明は、複数の関節を有する物
体に関して、関節とそれと隣接する関節との間に対応す
る物体の部位を一義的に当てはめることができ、また、
物体の1方向の向きを考慮することができる固有座標系
を用いることにより、標準動作における画像の合成を簡
単に行うことができる画像処理装置を提供することを目
的とする。
Therefore, according to the present invention, with respect to an object having a plurality of joints, the parts of the object corresponding to the joint and the adjacent joint can be uniquely applied.
It is an object of the present invention to provide an image processing device that can easily combine images in standard operation by using a unique coordinate system that can consider the orientation of an object in one direction.

【0007】また、本発明は、関節に対する3次元関節
角度を用いて、捻り、回転等の動作が可能となる画像処
理装置を提供することをもう1つの目的とする。
It is another object of the present invention to provide an image processing apparatus capable of twisting, rotating, etc. by using a three-dimensional joint angle with respect to a joint.

【0008】また、本発明は、関節に対する固有座標系
と関節に対する3次元関節角度とを用いて、様々な動作
修飾を簡単に実行させることができる画像処理装置を提
供することを目的とする。
It is another object of the present invention to provide an image processing apparatus that can easily perform various motion modifications by using a unique coordinate system for a joint and a three-dimensional joint angle for the joint.

【0009】また、本発明は、関数表現された基本の動
作に、状況に応じた異なる動作を付加することができる
画像処理装置を提供することを目的とする。
Another object of the present invention is to provide an image processing apparatus capable of adding different operations depending on the situation to the basic operations expressed by functions.

【0010】[0010]

【課題を解決するための手段】第1の本発明は、複数の
関節を有する物体が所定の動作を行う場合、その動作の
1周期又は複数の周期を単位とする標準動作に対するフ
レーム毎に、有効関節の各々に対する3次元座標位置を
記憶している3次元関節位置記憶手段と、前記有効関節
の各々に対する複数の固有座標系に対応する前記物体の
部位に関する形状データを記憶している形状データ記憶
手段と、前記3次元関節位置記憶手段で記憶されている
3次元座標位置に基づき、前記有効関節の各々に対する
固有座標系を決定する固有座標系決定手段と、所望する
動作修飾の態様に従って、前記固有座標系決定手段によ
り決定された固有座標系に基づき、前記有効関節の全部
又は一部の各々に対する3次元関節角度を算出する3次
元関節角度算出手段と、前記動作修飾の態様に応じて、
前記3次元関節角度算出手段により算出された3次元関
節角度に基づき、前記有効関節の全部又は一部の各々に
対する3次元関節角度を変位させる関節角度変位手段
と、前記動作修飾の態様に応じて、前記3次元関節角度
算出手段により算出された3次元関節角度及び/又は前
記関節角度変位手段により変位された3次元関節角度に
基づき、前記有効関節の全部又は一部の各々に対する固
有座標系を生成する固有座標系生成手段と、前記動作修
飾の態様に応じて、前記固有座標系決定手段により決定
された固有座標系及び/又は前記固有座標系生成手段に
より生成された固有座標系に基づいて、前記有効関節の
各々に、該当する前記形状データの割当てを行う動作合
成手段とを備えたことを特徴とする画像処理装置であ
る。
According to a first aspect of the present invention, when an object having a plurality of joints performs a predetermined motion, each frame for a standard motion in units of one cycle or a plurality of cycles of the motion, Three-dimensional joint position storage means for storing three-dimensional coordinate positions for each of the effective joints, and shape data for storing shape data relating to parts of the object corresponding to a plurality of unique coordinate systems for each of the effective joints. According to a storage unit, a proper coordinate system determination unit that determines a proper coordinate system for each of the effective joints based on the three-dimensional coordinate positions stored in the three-dimensional joint position storage unit, and a desired motion modification mode. A three-dimensional joint angle calculator for calculating three-dimensional joint angles for all or some of the effective joints based on the proper coordinate system determined by the proper coordinate system determining means. When, in accordance with aspects of the action modification,
Based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculating means, a joint angle displacing means for displacing the three-dimensional joint angles for all or some of the effective joints, and according to a mode of the motion modification. Based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculating means and / or the three-dimensional joint angle displaced by the joint angle displacing means, an intrinsic coordinate system for each of all or some of the effective joints is determined. Based on the unique coordinate system generating means to generate, and the unique coordinate system determined by the unique coordinate system determining means and / or the unique coordinate system generated by the unique coordinate system generating means, depending on the mode of the motion modification. An image processing apparatus comprising: a motion synthesis unit that assigns the corresponding shape data to each of the effective joints.

【0011】次に、本発明の動作について説明する。Next, the operation of the present invention will be described.

【0012】3次元関節位置記憶手段は、複数の関節を
有する物体が所定の動作を行う場合の、その動作の1周
期又は複数の周期を単位とする標準動作に対するフレー
ム毎に、有効関節の各々に対する3次元座標位置を記憶
している。有効関節とは、画像処理において使用され
る、動作の基準となる関節のことであり、その物体が有
する複数の関節の全部または一部の関節のことである
(以後同じ)。形状データ記憶手段は、前記有効関節の
各々に対する複数の固有座標系に対応する前記物体の部
位に関する形状データを記憶している。固有座標系と
は、ある1の有効関節に着目した場合、その有効関節に
対して固有の3次元座標系のことである(以後同じ)。
固有座標系決定手段は、前記3次元関節位置記憶手段で
記憶されている3次元座標位置に基づき、前記有効関節
の各々に対する固有座標系を決定する。3次元関節角度
算出手段は、所望する動作修飾の態様に従って、前記固
有座標系決定手段により決定された固有座標系に基づ
き、前記有効関節の全部または一部の各々に対する3次
元関節角度を算出する。3次元関節角度とは、固有座標
系とそれと隣接する固有座標系との間の3次元角度のこ
とである(以後同じ)。関節角度変位手段は、前記動作
修飾の態様に応じて、前記3次元関節角度算出手段によ
り算出された3次元関節角度に基づいて、前記有効関節
の全部又は一部の各々に対する3次元関節角度を変位さ
せる。固有座標系生成手段は、前記動作修飾の態様に応
じて、前記3次元関節角度算出手段により算出された3
次元関節角度及び/又は前記関節角度変位手段により変
位された3次元関節角度に基づいて、前記有効関節の全
部又は一部の各々に対する固有座標系を生成する。動作
合成手段は、前記動作修飾の態様に応じて、前記固有座
標系決定手段により決定された固有座標系及び/又は前
記固有座標系生成手段により生成された固有座標系に基
づいて、前記有効関節の各々に、該当する前記形状デー
タの割当てを行う。
The three-dimensional joint position storage means, when an object having a plurality of joints performs a predetermined motion, for each frame of a standard motion in which one cycle of the motion or a plurality of cycles is used, each of the effective joints is stored. The three-dimensional coordinate position with respect to is stored. An effective joint is a joint that is used in image processing and serves as a reference for movement, and is all or a part of a plurality of joints of the object (hereinafter the same). The shape data storage means stores shape data regarding the part of the object corresponding to a plurality of unique coordinate systems for each of the effective joints. The unique coordinate system is a three-dimensional coordinate system unique to one effective joint when attention is paid to one effective joint (the same applies hereinafter).
The proper coordinate system determination means determines a proper coordinate system for each of the effective joints based on the three-dimensional coordinate positions stored in the three-dimensional joint position storage means. The three-dimensional joint angle calculating means calculates a three-dimensional joint angle for each of all or some of the effective joints based on the proper coordinate system determined by the proper coordinate system determining means according to a desired mode of motion modification. . The three-dimensional joint angle is a three-dimensional angle between the unique coordinate system and the adjacent unique coordinate system (hereinafter the same). The joint angle displacement means determines a three-dimensional joint angle for each of all or some of the effective joints based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculation means according to the mode of motion modification. Displace. The unique coordinate system generation means calculates the 3 calculated by the three-dimensional joint angle calculation means according to the mode of motion modification.
An intrinsic coordinate system for each of all or some of the effective joints is generated based on the dimensional joint angle and / or the three-dimensional joint angle displaced by the joint angle displacement means. The motion synthesizing means is based on the eigencoordinate system determined by the eigencoordinate system determining means and / or the eigencoordinate system generated by the eigencoordinate system generating means according to the mode of motion modification, and the effective joint. The corresponding shape data is assigned to each of the above.

【0013】なお、本発明の前記固有座標系決定手段
は、固有座標系が決定される有効関節である目的関節か
らそれと隣接する第1の関節に向かうベクトルを、その
目的関節に対する固有座標系の第1軸とし、前記目的関
節にそれぞれ隣接する第2の関節から第3の関節に向か
うベクトルを仮のベクトルとし、前記仮のベクトルと前
記第1軸との外積を前記目的関節に対する固有座標系の
第2軸とし、前記第1軸と前記第2軸との外積を前記目
的関節に対する固有座標系の第3軸とするとしてもよ
い。
The eigencoordinate system determining means of the present invention determines a vector from the target joint, which is an effective joint for which the eigencoordinate system is determined, to the first joint adjacent to the effective joint, as a vector of the eigencoordinate system for the target joint. The first axis is a vector from the second joints adjacent to the target joint to the third joint, and the vector is a temporary vector, and the outer product of the temporary vector and the first axis is the proper coordinate system for the target joint. And the outer product of the first axis and the second axis may be the third axis of the proper coordinate system for the target joint.

【0014】また、本発明の前記固有座標系決定手段
は、固有座標系が決定される有効関節である目的関節か
らそれと隣接する第1の関節に向かうベクトルを、その
目的関節に対する固有座標系の第1軸とし、前記目的関
節からそれと隣接する第2の関節に向かうベクトルと前
記第1軸との合成ベクトル又はその逆ベクトルを仮のベ
クトルとし、前記仮のベクトルと前記第1軸との外積を
前記目的関節に対する固有座標系の第2軸とし、前記第
1軸と前記第2軸との外積を前記目的関節に対する固有
座標系の第3軸とするとしてもよい。
Further, the proper coordinate system determining means of the present invention determines a vector from the target joint, which is an effective joint for which the proper coordinate system is determined, to the first joint adjacent to the effective joint, in the proper coordinate system for the target joint. A temporary vector is a composite vector of the vector from the target joint to the adjacent second joint and the first axis or its inverse vector as a temporary axis, and an outer product of the temporary vector and the first axis. May be the second axis of the proper coordinate system for the target joint, and the outer product of the first axis and the second axis may be the third axis of the proper coordinate system for the target joint.

【0015】また、本発明の前記固有座標系決定手段
は、固有座標系が決定される有効関節である目的関節か
らそれと隣接する第1の関節に向かうベクトルを、その
目的関節に対する固有座標系の第1軸とし、前記目的関
節と隣接する第2の関節に対する固有座標系のうち、そ
の第2の関節から前記目的関節に向かうベクトルに基づ
き決定された座標軸を除く残りのどちらか一方の座標軸
と前記第1軸との外積を前記目的関節に対する固有座標
系の第2軸とし、前記第1軸と前記第2軸との外積を前
記目的関節に対する固有座標系の第3軸とするとしても
よい。
Further, the proper coordinate system determining means of the present invention determines the vector from the target joint, which is an effective joint for which the proper coordinate system is determined, to the first joint adjacent to the target joint, in the proper coordinate system for the target joint. One of the remaining coordinate axes other than the coordinate axis determined based on the vector from the second joint to the target joint in the proper coordinate system for the second joint adjacent to the target joint as the first axis. The outer product of the first axis may be the second axis of the proper coordinate system for the target joint, and the outer product of the first axis and the second axis may be the third axis of the proper coordinate system of the target joint. .

【0016】また、本発明の前記関節角度変位手段は、
前記有効関節の全部又は一部の各々に対する3次元関節
角度に離散コサイン変換を適用し、DCT係数を出力す
る離散コサイン変換手段と、前記DCT係数の各々に含
まれる所定の要素を変位する変換係数変位手段と、前記
離散コサイン変換手段により出力されたDCT係数又は
前記変換係数変位手段により変位されたDCT係数に逆
離散コサイン変換を適用する逆離散コサイン変換手段と
を備えたとしてもよい。なお、前記所定の要素とは、周
波数成分のエネルギー及び/又は選択次数であるとして
もよい。更に、前記逆離散コサイン変換手段は、前記D
CT係数又は前記変位されたDCT係数に適用する前記
逆離散コサイン変換を制限するとしてもよい。
Further, the joint angle displacement means of the present invention comprises:
Discrete cosine transform means for applying a discrete cosine transform to the three-dimensional joint angles for all or some of the effective joints and a transform coefficient for displacing a predetermined element included in each of the DCT coefficients The displacement means and the inverse discrete cosine transform means for applying the inverse discrete cosine transform to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacement means may be provided. The predetermined element may be the energy of the frequency component and / or the selected order. Further, the inverse discrete cosine transform means is
The inverse discrete cosine transform applied to the CT coefficient or the displaced DCT coefficient may be limited.

【0017】また、本発明の前記固有座標系生成手段
は、前記有効関節に対する3次元関節角度を用いて、そ
の有効関節に対する固有座標系の3軸をそれぞれ軸回転
することにより、その有効関節と隣接する有効関節に対
する固有座標系を生成するとしてもよい。
Further, the proper coordinate system generating means of the present invention uses the three-dimensional joint angle with respect to the effective joint to rotate each of the three axes of the proper coordinate system with respect to the effective joint, thereby making the effective joint A proper coordinate system for adjacent effective joints may be generated.

【0018】第2の本発明は、複数の関節を有する物体
が所定の動作を行う場合、その動作の1周期又は複数の
周期を単位とする標準動作に対するフレーム毎に、有効
関節の各々に対する固有座標系を記憶している固有座標
系記憶手段と、前記有効関節の各々に対する複数の固有
座標系に対応する前記物体の部位に関する形状データを
記憶している形状データ記憶手段と、所望する動作修飾
の態様に従って、前記固有座標系記憶手段で記憶されて
いる固有座標系に基づき、前記有効関節の全部又は一部
の各々に対する3次元関節角度を算出する3次元関節角
度算出手段と、前記動作修飾の態様に応じて、前記3次
元関節角度算出手段により算出された3次元関節角度に
基づき、前記有効関節の全部又は一部の各々に対する3
次元関節角度を変位させる関節角度変位手段と、前記動
作修飾の態様に応じて、前記3次元関節角度算出手段に
より算出された3次元関節角度及び/又は前記関節角度
変位手段により変位された3次元関節角度に基づき、前
記有効関節の全部又は一部の各々に対する固有座標系を
生成する固有座標系生成手段と、前記動作修飾の態様に
応じて、前記固有座標系記憶手段で記憶されている固有
座標系及び/又は前記固有座標系生成手段により生成さ
れた固有座標系に基づいて、前記有効関節の各々に、該
当する前記形状データの割当てを行う動作合成手段とを
備えたことを特徴とする画像処理装置である。
According to a second aspect of the present invention, when an object having a plurality of joints performs a predetermined motion, it is unique to each effective joint for each frame for a standard motion in which one cycle or a plurality of cycles of the motion is a unit. Unique coordinate system storage means for storing a coordinate system, shape data storage means for storing shape data relating to a part of the object corresponding to a plurality of unique coordinate systems for each of the effective joints, and desired motion modification According to this aspect, a three-dimensional joint angle calculating means for calculating a three-dimensional joint angle for all or some of the effective joints based on the proper coordinate system stored in the proper coordinate system storage means, and the motion modification. According to the aspect of 3), based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculation means, 3 for each of all or some of the effective joints
A joint angle displacement means for displacing the dimensional joint angle, and a three-dimensional joint angle calculated by the three-dimensional joint angle calculation means and / or a three-dimensional displaced by the joint angle displacement means according to the mode of motion modification. A unique coordinate system generating means for generating a unique coordinate system for each of all or some of the effective joints based on a joint angle, and a unique coordinate system stored in the unique coordinate system storage means according to the mode of motion modification. A motion synthesizing means for allocating the corresponding shape data to each of the effective joints based on the coordinate system and / or the unique coordinate system generated by the unique coordinate system generating means. The image processing device.

【0019】次に、本発明の動作について説明する。Next, the operation of the present invention will be described.

【0020】固有座標系記憶手段は、複数の関節を有す
る物体が所定の動作を行う場合、その動作の1周期また
は複数の周期を単位とする標準動作に対するフレーム毎
に、有効関節の各々に対する固有座標系を記憶してい
る。形状データ記憶手段は、前記有効関節の各々に対す
る複数の固有座標系に対応する前記物体の部位に関する
形状データを記憶している。3次元関節角度算出手段
は、所望する動作修飾の態様に従って、前記固有座標系
記憶手段で記憶されている固有座標系に基づき、前記有
効関節の全部又は一部の各々に対する3次元関節角度を
算出する。関節角度変位手段は、前記動作修飾の態様に
応じて、前記3次元関節角度算出手段により算出された
3次元関節角度に基づき、前記有効関節の全部又は一部
の各々に対する3次元関節角度を変位させる。固有座標
系生成手段は、前記動作修飾の態様に応じて、前記3次
元関節角度算出手段により算出された3次元関節角度及
び/又は前記関節角度変位手段により変位された3次元
関節角度に基づき、前記有効関節の全部又は一部の各々
に対する固有座標系を生成する。動作合成手段は、前記
動作修飾の態様に応じて、前記固有座標系記憶手段で記
憶されている固有座標系及び/又は前記固有座標系生成
手段により生成された固有座標系に基づいて、前記有効
関節の各々に、該当する前記形状データの割当てを行
う。
The unique coordinate system storage means, when an object having a plurality of joints performs a predetermined motion, is unique to each of the effective joints for each frame for a standard motion in which one cycle or a plurality of cycles of the motion is taken as a unit. Remembers the coordinate system. The shape data storage means stores shape data regarding the part of the object corresponding to a plurality of unique coordinate systems for each of the effective joints. The three-dimensional joint angle calculation means calculates a three-dimensional joint angle for each of all or some of the effective joints based on the proper coordinate system stored in the proper coordinate system storage means according to a desired mode of motion modification. To do. The joint angle displacement means displaces the three-dimensional joint angle for each of all or some of the effective joints based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculation means according to the mode of motion modification. Let The proper coordinate system generation means is based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculation means and / or the three-dimensional joint angle displaced by the joint angle displacement means according to the mode of motion modification, A unique coordinate system is generated for each of all or some of the effective joints. The behavior synthesizing means is based on the proper coordinate system stored in the proper coordinate system storing means and / or the proper coordinate system generated by the proper coordinate system generating means according to the behavior modification mode. The corresponding shape data is assigned to each joint.

【0021】なお、本発明の前記固有座標系記憶手段が
記憶している固有座標系は、固有座標系が決定される有
効関節である目的関節からそれと隣接する第1の関節に
向かうベクトルを、その目的関節に対する固有座標系の
第1軸とし、前記目的関節にそれぞれ隣接する第2の関
節から第3の関節に向かうベクトルを仮のベクトルと
し、前記仮のベクトルと前記第1軸との外積を前記目的
関節に対する固有座標系の第2軸とし、前記第1軸と前
記第2軸との外積を前記目的関節に対する固有座標系の
第3軸とするとしてもよい。
The proper coordinate system stored in the proper coordinate system storage means of the present invention is a vector from the target joint, which is an effective joint for which the proper coordinate system is determined, to the first joint adjacent to the target joint. The first axis of the proper coordinate system with respect to the target joint is set, and the vector from the second joint adjacent to the target joint to the third joint is set as the temporary vector, and the outer vector of the temporary vector and the first axis is set. May be the second axis of the proper coordinate system for the target joint, and the outer product of the first axis and the second axis may be the third axis of the proper coordinate system for the target joint.

【0022】また、本発明の前記固有座標系記憶手段が
記憶している固有座標系は、固有座標系が決定される有
効関節である目的関節からそれと隣接する第1の関節に
向かうベクトルを、その目的関節に対する固有座標系の
第1軸とし、前記目的関節からそれと隣接する第2の関
節に向かうベクトルと前記第1軸との合成ベクトル又は
その逆ベクトルを仮のベクトルとし、前記仮のベクトル
と前記第1軸との外積を前記目的関節に対する固有座標
系の第2軸とし、前記第1軸と前記第2軸との外積を前
記目的関節に対する固有座標系の第3軸とするとしても
よい。
Further, the proper coordinate system stored in the proper coordinate system storage means of the present invention is such that a vector from the target joint, which is an effective joint for which the proper coordinate system is determined, to the first joint adjacent thereto is The first axis of the proper coordinate system with respect to the target joint is used as a temporary vector, and a composite vector of the vector from the target joint to the second joint adjacent thereto and the first axis or its inverse vector is used as the temporary vector. And an outer product of the first axis and a second axis of the proper coordinate system for the target joint, and an outer product of the first axis and the second axis as a third axis of the proper coordinate system for the target joint. Good.

【0023】また、本発明の前記固有座標系記憶手段が
記憶している固有座標系は、固有座標系を決定する関節
となる目的関節からそれと隣接する第1の関節に向かう
ベクトルを、その目的関節に対する固有座標系の第1軸
とし、前記目的関節と隣接する第2の関節に対する固有
座標系のうち、その第2の関節から前記目的関節に向か
うベクトルに基づき決定された座標軸を除く残りのどち
らか一方の座標軸と前記第1軸との外積を前記目的関節
に対する固有座標系の第2軸とし、前記第1軸と前記第
2軸との外積を前記目的関節に対する固有座標系の第3
軸とするとしてもよい。
Further, the proper coordinate system stored in the proper coordinate system storage means of the present invention is such that a vector from a target joint which becomes a joint for determining the proper coordinate system to a first joint adjacent to the target joint Of the proper coordinate system for the second joint adjacent to the target joint, which is the first axis of the proper coordinate system for the joint, the remaining coordinate axes other than the coordinate axis determined based on the vector from the second joint to the target joint The outer product of either one of the coordinate axes and the first axis is the second axis of the proper coordinate system for the target joint, and the outer product of the first axis and the second axis is the third coordinate of the proper coordinate system for the target joint.
It may be an axis.

【0024】また、本発明の前記関節角度変位手段は、
前記有効関節の全部又は一部の各々に対する3次元関節
角度に離散コサイン変換を適用し、DCT係数を出力す
る離散コサイン変換手段と、前記DCT係数の各々に含
まれる所定の要素を変位する変換係数変位手段と、前記
離散コサイン変換手段により出力されたDCT係数又は
前記変換係数変位手段により変位されたDCT係数に逆
離散コサイン変換を適用する逆離散コサイン変換手段と
を備えたとしてもよい。なお、前記所定の要素とは、周
波数成分のエネルギー及び/又は選択次数であるとして
もよい。更に、前記逆離散コサイン変換手段は、前記D
CT係数又は前記変位されたDCT係数に適用する前記
逆離散コサイン変換を制限するとしてもよい。
Further, the joint angle displacement means of the present invention comprises:
Discrete cosine transform means for applying a discrete cosine transform to the three-dimensional joint angles for all or some of the effective joints and a transform coefficient for displacing a predetermined element included in each of the DCT coefficients The displacement means and the inverse discrete cosine transform means for applying the inverse discrete cosine transform to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacement means may be provided. The predetermined element may be the energy of the frequency component and / or the selected order. Further, the inverse discrete cosine transform means is
The inverse discrete cosine transform applied to the CT coefficient or the displaced DCT coefficient may be limited.

【0025】また、本発明の前記固有座標系生成手段
は、前記有効関節に対する3次元関節角度を用いて、そ
の有効関節に対する固有座標系の3軸をそれぞれ軸回転
することにより、その有効関節と隣接する有効関節に対
する固有座標系を生成するとしてもよい。
Further, the proper coordinate system generating means of the present invention uses the three-dimensional joint angle with respect to the effective joint to rotate each of the three axes of the proper coordinate system with respect to the effective joint, so that the effective joint is generated. A proper coordinate system for adjacent effective joints may be generated.

【0026】第3の本発明は、複数の関節を有する物体
が所定の動作を行う場合、その動作の1周期又は複数の
周期を単位とする標準動作に対するフレーム毎に、有効
関節の各々に対する3次元関節角度を記憶している3次
元関節角度記憶手段と、前記有効関節の各々に対する複
数の固有座標系に対応する前記物体の部位に関する形状
データを記憶している形状データ記憶手段と、根の関節
に対する固有座標系と前記3次元関節角度記憶手段で記
憶されている3次元関節角度に基づき、前記有効関節の
各々に対する固有座標系を決定する固有座標系決定手段
と、所望する動作修飾の態様に応じて、前記3次元関節
角度記憶手段で記憶されている3次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する3次元
関節角度を変位させる関節角度変位手段と、前記動作修
飾の態様に応じて、前記3次元関節角度記憶手段で記憶
されている3次元関節角度及び/又は前記関節角度変位
手段により変位された3次元関節角度に基づき、前記有
効関節の全部又は一部の各々に対する固有座標系を生成
する固有座標系生成手段と、前記動作修飾の態様に応じ
て、前記固有座標系決定手段により決定された固有座標
系及び/又は前記固有座標系生成手段により生成された
固有座標系に基づいて、前記有効関節の各々に、該当す
る前記形状データの割当てを行う動作合成手段とを備え
たことを特徴とする画像処理装置である。
According to a third aspect of the present invention, when an object having a plurality of joints performs a predetermined motion, 3 cycles for each of the effective joints are set for each frame for a standard motion in a unit of one cycle or a plurality of cycles of the motion. A three-dimensional joint angle storage means for storing a three-dimensional joint angle; a shape data storage means for storing shape data on a part of the object corresponding to a plurality of unique coordinate systems for each of the effective joints; A unique coordinate system determining unit that determines a unique coordinate system for each of the effective joints based on the unique coordinate system for the joint and the three-dimensional joint angle stored in the three-dimensional joint angle storage unit, and a desired motion modification mode. According to the three-dimensional joint angle storage means, the three-dimensional joint angles for all or some of the effective joints are displaced based on the three-dimensional joint angles stored in the three-dimensional joint angle storage means. Joint angle displacement means, and based on the three-dimensional joint angle stored in the three-dimensional joint angle storage means and / or the three-dimensional joint angle displaced by the joint angle displacement means, according to the mode of motion modification, A unique coordinate system generating means for generating a unique coordinate system for each of all or some of the effective joints, and the unique coordinate system determined by the unique coordinate system determining means according to the mode of motion modification and / or An image processing apparatus comprising: a motion synthesizing unit that assigns the corresponding shape data to each of the effective joints based on the unique coordinate system generated by the unique coordinate system generating unit.

【0027】次に、本発明の動作について説明する。Next, the operation of the present invention will be described.

【0028】3次元関節角度記憶手段は、複数の関節を
有する物体が所定の動作を行う場合の、その動作の1周
期又は複数の周期を単位とする標準動作に対するフレー
ム毎に、有効関節の各々に対する3次元関節角度を記憶
している。形状データ記憶手段は、前記有効関節の各々
に対する複数の固有座標系に対応する前記物体の部位に
関する形状データを記憶している。固有座標系決定手段
は、根の関節に対する固有座標系と前記3次元関節角度
記憶手段で記憶されている3次元関節角度に基づいて、
前記有効関節の各々に対する固有座標系を決定する。関
節角度変位手段は、所望する動作修飾の態様に応じて、
前記3次元関節角度記憶手段で記憶されている3次元関
節角度に基づき、前記有効関節の全部又は一部の各々に
対する3次元関節角度を変位させる。固有座標系生成手
段は、前記動作修飾の態様に応じて、前記3次元関節角
度記憶手段で記憶されている3次元関節角度及び/又は
前記関節角度変位手段により変位された3次元関節角度
に基づいて、前記有効関節の全部又は一部の各々に対す
る固有座標系を生成する。動作合成手段は、前記動作修
飾の態様に応じて、前記固有座標系決定手段により決定
された固有座標系及び/又は前記固有座標系生成手段に
より生成された固有座標系に基づき、前記有効関節の各
々に、該当する前記形状データの割当てを行う。
The three-dimensional joint angle storage means, when an object having a plurality of joints performs a predetermined motion, for each frame of the standard motion in units of one cycle or a plurality of cycles of the motion, each effective joint is stored. The three-dimensional joint angle with respect to is stored. The shape data storage means stores shape data regarding the part of the object corresponding to a plurality of unique coordinate systems for each of the effective joints. The proper coordinate system determining means determines, based on the proper coordinate system for the root joint and the three-dimensional joint angle stored in the three-dimensional joint angle storage means,
A unique coordinate system is determined for each of the effective joints. The joint angle displacement means, depending on the desired mode of motion modification,
Based on the three-dimensional joint angles stored in the three-dimensional joint angle storage means, the three-dimensional joint angles for all or some of the effective joints are displaced. The unique coordinate system generation means is based on the three-dimensional joint angle stored in the three-dimensional joint angle storage means and / or the three-dimensional joint angle displaced by the joint angle displacement means according to the mode of motion modification. To generate a unique coordinate system for each of all or some of the effective joints. The motion synthesizing means is based on the eigencoordinate system determined by the eigencoordinate system determining means and / or the eigencoordinate system generated by the eigencoordinate system generating means according to the mode of motion modification, and The corresponding shape data is assigned to each.

【0029】なお、本発明の前記根の関節に対する固有
座標系は、前記根の関節からそれと隣接する第1の関節
に向かうベクトルを、前記根の関節に対する固有座標系
の第1軸とし、前記根の関節にそれぞれ隣接する第2の
関節から第3の関節に向かうベクトルを仮のベクトルと
し、前記仮のベクトルと前記第1軸との外積を前記根の
関節に対する固有座標系の第2軸とし、前記第1軸と前
記第2軸との外積を前記根の関節に対する固有座標系の
第3軸とするとしてもよい。
In the intrinsic coordinate system for the root joint of the present invention, a vector from the root joint to a first joint adjacent to the root joint is defined as a first axis of the intrinsic coordinate system for the root joint. A vector from the second joint adjacent to the root joint to the third joint is defined as a temporary vector, and an outer product of the temporary vector and the first axis is a second axis of an intrinsic coordinate system for the root joint. The outer product of the first axis and the second axis may be the third axis of the unique coordinate system with respect to the root joint.

【0030】また、本発明の前記根の関節に対する固有
座標系は、前記根の関節からそれと隣接する第1の関節
に向かうベクトルを、前記根の関節に対する固有座標系
の第1軸とし、前記根の関節からそれと隣接する第2の
関節に向かうベクトルと前記第1軸との合成ベクトル又
はその逆ベクトルを仮のベクトルとし、前記仮のベクト
ルと前記第1軸との外積を前記根の関節に対する固有座
標系の第2軸とし、前記第1軸と前記第2軸との外積を
前記根の関節に対する固有座標系の第3軸とするとして
もよい。
Further, in the proper coordinate system for the root joint of the present invention, a vector extending from the root joint to a first joint adjacent thereto is defined as a first axis of the proper coordinate system for the root joint, and A composite vector of the vector from the joint of the root toward the second joint adjacent thereto and the first axis or its inverse vector is taken as a temporary vector, and the outer product of the temporary vector and the first axis is taken as the joint of the root. May be the second axis of the proper coordinate system, and the outer product of the first axis and the second axis may be the third axis of the proper coordinate system for the root joint.

【0031】また、本発明の前記根の関節に対する固有
座標系は、前記根の関節からそれと隣接する第1の関節
に向かうベクトルを、前記根の関節に対する固有座標系
の第1軸とし、前記根の関節と隣接する第2の関節に対
する固有座標系のうち、その第2の関節から前記根の関
節に向かうベクトルに基づき決定された座標軸を除く残
りのどちらか一方の座標軸と前記第1軸との外積を前記
根の関節に対する固有座標系の第2軸とし、前記第1軸
と前記第2軸との外積を前記根の関節に対する固有座標
系の第3軸とするとしてもよい。
Further, in the proper coordinate system for the root joint of the present invention, a vector from the joint of the root to a first joint adjacent thereto is defined as a first axis of the proper coordinate system for the joint of the root. Of the proper coordinate system for the second joint adjacent to the root joint, one of the remaining coordinate axes other than the coordinate axis determined based on the vector from the second joint to the root joint and the first axis. The outer product of and may be the second axis of the proper coordinate system for the root joint, and the outer product of the first axis and the second axis may be the third axis of the proper coordinate system for the root joint.

【0032】また、本発明の前記関節角度変位手段は、
前記有効関節の全部又は一部の各々に対する3次元関節
角度に離散コサイン変換を適用し、DCT係数を出力す
る離散コサイン変換手段と、前記DCT係数の各々に含
まれる所定の要素を変位する変換係数変位手段と、前記
離散コサイン変換手段により出力されたDCT係数又は
前記変換係数変位手段により変位されたDCT係数に逆
離散コサイン変換を適用する逆離散コサイン変換手段と
を備えたとしてもよい。なお、前記所定の要素とは、周
波数成分のエネルギー及び/又は選択次数であるとして
もよい。更に、前記逆離散コサイン変換手段は、前記離
散コサイン変換手段により出力されたDCT係数又は前
記変換係数変位手段により変位されたDCT係数に適用
する前記逆離散コサイン変換を制限するとしてもよい。
Further, the joint angle displacement means of the present invention comprises:
Discrete cosine transform means for applying a discrete cosine transform to the three-dimensional joint angles for all or some of the effective joints and a transform coefficient for displacing a predetermined element included in each of the DCT coefficients The displacement means and the inverse discrete cosine transform means for applying the inverse discrete cosine transform to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacement means may be provided. The predetermined element may be the energy of the frequency component and / or the selected order. Further, the inverse discrete cosine transform means may limit the inverse discrete cosine transform applied to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacement means.

【0033】また、本発明の前記固有座標系生成手段
は、前記有効関節に対する3次元関節角度を用いて、そ
の有効関節に対する固有座標系の3軸をそれぞれ軸回転
することにより、その有効関節と隣接する有効関節に対
する固有座標系を生成するとしてもよい。
Further, the proper coordinate system generating means of the present invention uses the three-dimensional joint angle with respect to the effective joint to rotate each of the three axes of the proper coordinate system with respect to the effective joint, thereby making the effective joint A proper coordinate system for adjacent effective joints may be generated.

【0034】第4の本発明は、複数の、動作の基準とな
る有効関節を有する物体が所定の動作を行う場合、その
周期的または非周期的な動作に対して、フレーム毎に、
前記有効関節の全部または一部の各々に対する3次元関
節角度に関するデータを基本動作データとして記憶して
いる基本動作記憶手段と、その基本動作記憶手段で記憶
されている複数の基本動作データから所望の基本動作デ
ータを選択する基本動作選択手段と、その基本動作選択
手段により選択された基本動作データにより構成される
動作を、所望の動作修飾を伴った動作に変更する際に必
要となる動作修飾パラメータを設定するパラメータ設定
手段と、前記動作修飾パラメータを用いて、前記基本動
作選択手段により選択された基本動作データにより構成
される動作を、前記所望の動作修飾を伴った動作に変更
して、基本動作修飾データを生成する基本動作修飾生成
手段と、前記基本動作修飾データにより構成される動作
と異なる動作であって、その基本動作修飾データにより
構成される動作に付加される所望の付加動作を選択する
付加動作選択手段と、前記基本動作修飾データと前記付
加動作により付加動作データを生成する付加動作生成手
段と、前記基本動作修飾データと前記付加動作データと
を合成して、前記基本動作修飾データにより構成される
動作に前記付加動作データにより構成される動作を付加
した動作に関する動作データを生成する動作合成手段と
を備えたことを特徴とする画像処理装置である。
According to a fourth aspect of the present invention, in the case where a plurality of objects having an effective joint serving as a motion reference perform a predetermined motion, for each periodic or aperiodic motion, each frame,
Desired from the basic motion storage means that stores data relating to the three-dimensional joint angles for all or some of the effective joints as basic motion data, and a plurality of basic motion data stored in the basic motion storage means. Basic operation selecting means for selecting basic operation data, and operation modification parameters required when changing an operation configured by the basic operation data selected by the basic operation selecting means to an operation accompanied by a desired operation modification. Using the parameter setting means for setting the motion modification parameter and the motion modification parameter, the motion configured by the basic motion data selected by the basic motion selection means is changed to a motion accompanied by the desired motion modification, Basic motion modification generation means for generating motion modification data, and a motion different from the motion configured by the basic motion modification data. And additional motion selecting means for selecting a desired additional motion to be added to the motion constituted by the basic motion modification data, and additional motion generation means for generating the basic motion modification data and the additional motion data by the additional motion. , A behavior synthesizing unit for synthesizing the basic behavior modification data and the additional activity data to generate motion data related to an activity in which the activity configured by the basic activity modification data is added with the activity configured by the additional motion data An image processing apparatus comprising:

【0035】次に、本発明の動作について説明する。Next, the operation of the present invention will be described.

【0036】基本動作記憶手段は、複数の有効関節を有
する物体が所定の動作を行う場合、その周期的又は非周
期的な動作に対して、フレーム毎に、前記有効関節の全
部または一部の各々に対する3次元関節角度に関するデ
ータを基本動作データとして記憶している。基本動作選
択手段は、その基本動作記憶手段で記憶されている複数
の基本動作データから所望の基本動作データを選択す
る。パラメータ設定手段は、その基本動作選択手段によ
り選択された基本動作データにより構成される動作を、
所望の動作修飾を伴った動作に変更する際に必要となる
動作修飾パラメータを設定する。基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データにより構成され
る動作を、前記所望の動作修飾を伴った動作に変更し
て、基本動作修飾データを生成する。付加動作選択手段
は、前記基本動作修飾データにより構成される動作と異
なる動作であって、その基本動作修飾データにより構成
される動作に付加される所望の付加動作を選択する。付
加動作生成手段は、前記基本動作修飾データと前記付加
動作により付加動作データを生成する。動作合成手段
は、前記基本動作修飾データと前記付加動作データとを
合成して、前記基本動作修飾データにより構成される動
作に前記付加動作データにより構成される動作を付加し
た動作に関する動作データを生成する。
When an object having a plurality of effective joints performs a predetermined motion, the basic motion storage means stores all or a part of the effective joint for each frame with respect to the cyclical or aperiodic motion. Data relating to the three-dimensional joint angle for each is stored as basic motion data. The basic motion selection means selects desired basic motion data from the plurality of basic motion data stored in the basic motion storage means. The parameter setting means sets the operation composed of the basic operation data selected by the basic operation selecting means,
A motion modification parameter required when changing to a motion accompanied by a desired motion modification is set. The basic motion modification generation means uses the motion modification parameter to change the motion composed of the basic motion data selected by the basic motion selection means into a motion accompanied by the desired motion modification, and Generate qualified data. The additional action selection means selects a desired additional action that is different from the action configured by the basic action modification data and that is added to the action configured by the basic motion modification data. The additional action generation means generates additional action data by the basic action modification data and the additional action. The behavioral synthesizing unit synthesizes the basic behavioral modification data and the additional behavioral data to generate behavioral data related to an operation in which the behavioral behavior of the basic behavioral modification data is added to the behavior of the additional behavioral data. To do.

【0037】なお、本発明の前記基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データを変更する基本
動作変更手段と、その基本動作変更手段により変更され
た基本動作データが周期的な動作である場合、前記変更
された基本動作データを所望する周期分反復することに
より、前記基本動作修飾データを生成する周期動作生成
手段とを備えたとしてもよい。
The basic motion modification generation means of the present invention uses the motion modification parameter to modify the basic motion data selected by the basic motion selection means, and the basic motion modification means. When the basic motion data changed by is a cyclic motion, it is assumed that the basic motion data is provided with a cyclic motion generating means for generating the basic motion modification data by repeating the modified basic motion data for a desired period. Good.

【0038】また、本発明の前記基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データを変更する基本
動作変更手段と、その基本動作変更手段により変更され
た基本動作データが非周期的な動作である場合、反復せ
ずに前記変更された基本動作データから、前記基本動作
修飾データを生成する非周期動作生成手段とを備えたと
してもよい。
Further, the basic motion modification generation means of the present invention uses the motion modification parameter to modify the basic motion data selected by the basic motion selection means, and the basic motion modification means. When the basic motion data changed by is an aperiodic motion, the non-cyclic motion generating means may generate the basic motion modification data from the changed basic motion data without repeating. .

【0039】また、本発明の前記基本動作修飾生成手段
は、前記動作修飾パラメータを用いて、前記基本動作選
択手段により選択された基本動作データを変更する基本
動作変更手段と、その基本動作変更手段により変更され
た基本動作データが周期的な動作である場合、前記変更
された基本動作データを所望する周期分反復することに
より、前記基本動作修飾データを生成する周期動作生成
手段と前記基本動作変更手段により変更された基本動作
データが非周期的な動作である場合、反復せずに前記変
更された基本動作データから、前記基本動作修飾データ
を生成する非周期動作生成手段とを備えたとしてもよ
い。
The basic motion modification generation means of the present invention uses the motion modification parameter to modify the basic motion data selected by the basic motion selection means, and the basic motion modification means. When the basic motion data changed by is a cyclic motion, the basic motion modification means for generating the basic motion modification data by repeating the modified basic motion data for a desired period and the basic motion modification In the case where the basic motion data changed by the means is an aperiodic motion, a non-periodic motion generation means for generating the basic motion modification data from the changed basic motion data without repeating is provided. Good.

【0040】また、本発明の前記付加動作生成手段は、
前記付加動作選択手段により選択された付加動作に対応
して移動する座標を入力する座標入力手段と、前記付加
動作選択手段により選択された付加動作の対象となる有
効関節の先端に当たる関節を前記座標に追従させること
により、前記付加動作データを生成する座標追跡手段と
を備えたとしてもよい。
Further, the additional motion generating means of the present invention is
The coordinate input means for inputting coordinates to be moved corresponding to the additional motion selected by the additional motion selecting means, and the joint corresponding to the tip end of the effective joint selected by the additional motion selecting means as the target of the additional motion are the coordinates. And a coordinate tracking means for generating the additional operation data.

【0041】また、本発明の前記付加動作生成手段は、
所定の付加動作に対して、フレーム毎に、前記有効関節
の全部又は一部の各々に対する3次元関節角度に関する
データを基準付加動作データとして記憶している基準付
加動作記憶手段と、その基準付加動作記憶手段で記憶さ
れている複数の基準付加動作データから、前記付加動作
選択手段により選択された付加動作に対応する基準付加
動作データを読み出す付加動作読み出し手段と、前記付
加動作選択手段により選択された付加動作に応じた動作
修飾パラメータを設定する付加動作修飾設定手段と、そ
の付加動作修飾設定手段により設定された動作修飾パラ
メータを用いて、前記付加動作読み出し手段により読み
出された基準付加動作データを変更して、前記付加動作
データを生成する付加動作修飾生成手段とを備えたとし
てもよい。
Further, the additional motion generating means of the present invention is
Reference addition operation storage means for storing, as reference addition operation data, data regarding three-dimensional joint angles for all or some of the effective joints for each predetermined addition operation, and the reference addition operation. The additional operation reading means for reading the reference additional operation data corresponding to the additional operation selected by the additional operation selecting means from the plurality of reference additional operation data stored in the storage means, and the additional operation selecting means for selecting Using the additional motion modification setting means for setting a motion modification parameter according to the additional motion and the motion modification parameter set by the additional motion modification setting means, the reference additional motion data read by the additional motion reading means is used. It may be modified to include additional action modification generation means for generating the additional action data.

【0042】[0042]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.

【0043】図1は、本発明の請求項1記載の画像処理
装置に係る実施の一形態の構成図である。即ち、画像処
理装置10の3次元関節位置記憶部11は、例えば、人
が所定の動作を行った場合、その1周期分の動作のフレ
ーム毎に、有効関節の各々に対する3次元座標位置を記
憶している記憶部である。所定の動作とは、1周期分の
動作の繰り返しにより表現することができる動作のこと
であり、例えば、連続して垂直飛びを行う、歩く、走
る、クロールで泳ぐといった様々な動作のことである。
所定の動作は、これに限らず、例えば、クロールの競泳
におけるスタート時の飛び込み動作のように1周期で完
了する動作をも含む。有効関節とは、所定の動作を合成
する場合に必要となる複数の関節のことであり、人が有
する全ての関節を意味するわけではない。今後、前記3
次元関節位置記憶手段11に記憶している所定の動作の
ことを標準動作ということにする。また、この記憶部
は、画像処理装置10の内部記憶装置又は外部記憶装置
の何れの記憶装置に記憶されていてもよい。
FIG. 1 is a block diagram of an embodiment of an image processing apparatus according to claim 1 of the present invention. That is, the three-dimensional joint position storage unit 11 of the image processing apparatus 10 stores the three-dimensional coordinate position for each effective joint for each frame of one cycle of movement when a person performs a predetermined movement, for example. It is a storage unit. The predetermined motion is a motion that can be expressed by repeating one cycle of motion, and is, for example, various motions such as continuously performing vertical jumps, walking, running, and swimming by crawling. .
The predetermined motion is not limited to this, and includes, for example, a motion completed in one cycle such as a dive motion at the start of a crawl swimming race. The effective joints are a plurality of joints required when a predetermined motion is combined, and do not mean all joints that a human has. In the future, the above 3
The predetermined motion stored in the dimensional joint position storage means 11 is referred to as a standard motion. Further, this storage unit may be stored in either the internal storage device of the image processing apparatus 10 or the external storage device.

【0044】入力装置17は、操作者が所望する動作に
関する指示を入力するための入力装置である。また、制
御部18は、入力装置17に入力された指示に従い、画
像処理に関する制御を行う制御部である。
The input device 17 is an input device for inputting an instruction regarding an operation desired by the operator. Further, the control unit 18 is a control unit that performs control related to image processing according to an instruction input to the input device 17.

【0045】ここで、固有座標系とそれに関する装置に
ついて説明する。固有座標系とは、有効関節を原点にし
たその有効関節固有の3次元座標系のことである。固有
座標系の特徴は、有効関節に対する固有座標系が求まれ
ば、一義的にその有効関節とそれと隣接する有効関節と
の間に、対応する物体の部位を当てはめることができる
ことである。本実施の形態では、有効関節に対する固有
座標系は、その有効関節とその子関節との間に対応する
人の部位を当てはめるように設定されている。当てはめ
る時のその方向は、有効関節に対する固有座標系の原点
から正のz軸方向である。また、固有座標系のもう1つ
の特徴は、有効関節に対する固有座標系が決まれば、そ
の有効関節に対応する部位の原点でない方の端点が、そ
の子関節に対する固有座標系の原点になるということで
ある。固有座標系の決定の詳細については後述する。そ
こで、形状データ記憶部15は、有効関節の各々に対す
る複数の固有座標系を考慮した、人の部位に関する形状
データを記憶している記憶部である。固有座標系決定部
12は、有効関節の各々に対する固有座標系を決定する
ものである。
Here, the intrinsic coordinate system and the apparatus related thereto will be described. The proper coordinate system is a three-dimensional coordinate system unique to the effective joint with the effective joint as the origin. The characteristic of the proper coordinate system is that, if the proper coordinate system for the effective joint is obtained, the part of the corresponding object can be uniquely fitted between the effective joint and the adjacent effective joint. In the present embodiment, the proper coordinate system for the effective joint is set so that the corresponding human part is fitted between the effective joint and its child joint. The direction when fitting is the positive z-axis direction from the origin of the proper coordinate system for the effective joint. Another characteristic of the proper coordinate system is that if the proper coordinate system for the effective joint is determined, the end point of the part corresponding to the effective joint that is not the origin becomes the origin of the proper coordinate system for the child joint. is there. Details of determining the unique coordinate system will be described later. Therefore, the shape data storage unit 15 is a storage unit that stores shape data regarding a human body part in consideration of a plurality of unique coordinate systems for each effective joint. The unique coordinate system determination unit 12 determines the unique coordinate system for each effective joint.

【0046】ここで、3次元関節角度とそれに関する装
置について説明する。有効関節に対する3次元関節角度
とは、その有効関節に対する固有座標系とそれと隣接す
る有効関節に対する固有座標系との間の3次元角度をい
う。本実施の形態では、有効関節に対する3次元関節角
度とは、その有効関節に対する固有座標系とその親関節
に対する固有座標系との間の3次元角度をいう。3次元
関節角度の特徴は、捻りや回転などの動作を簡単に表現
することができることである。また、3次元関節角度を
変位させることによって、簡単に標準動作に動作修飾を
付加することができることも3次元関節角度の特徴の1
つである。動作修飾とは、例えば普通に歩いている動作
を大股で歩かせたり、小股で歩かせたり、早足で歩かせ
たり、又は、ゆっくり歩かせたりすることであり、標準
動作にそれと関連する別の動作を付加する特徴付けのこ
とをいう。3次元関節角度の求め方については後述す
る。そこで、3次元関節角度算出部13は、その操作者
の指示に基づく所望する動作修飾の態様に応じて、固有
座標系決定部12により決定された固有座標系に基づ
き、有効関節に対する固有座標系とその子関節に対する
固有座標系を用いて、有効関節の各々に対する3次元関
節角度を算出するものである。関節角度変位部14は、
前記動作修飾の態様に応じて、3次元関節角度算出部1
3により算出された3次元関節角度に基づき、有効関節
の各々に対する3次元関節角度を変位させるものであ
る。動作合成部16は、固有座標系生成部(図示してい
ない。)を備えている。その固有座標系生成部は、前記
動作修飾の態様に応じて、関節角度変位部14により変
位された3次元関節角度に基づき、有効関節の各々に対
する固有座標系を生成するものである。動作合成部16
は、前記固有座標系生成部により生成された固有座標系
及び/又は固有座標系決定部12により決定された固有
座標系に基づいて、有効関節の各々に対応する形状デー
タを形状データ記憶部15から読み出して、そして、そ
の読みだした形状データを有効関節の各々に割当てを行
うものである。
Here, the three-dimensional joint angle and the apparatus relating thereto will be described. The three-dimensional joint angle with respect to the effective joint means the three-dimensional angle between the proper coordinate system for the effective joint and the proper coordinate system for the adjacent effective joint. In the present embodiment, the three-dimensional joint angle with respect to the effective joint means the three-dimensional angle between the proper coordinate system for the valid joint and the proper coordinate system for the parent joint. The characteristic of the three-dimensional joint angle is that motions such as twisting and rotating can be easily expressed. In addition, it is possible to easily add motion modification to the standard motion by displacing the 3D joint angle.
Is one. Motion modification is, for example, making a normal walking motion stride, straddle, fast walk, or slowly walk, and is related to the standard motion. A characterization that adds another action. The method for obtaining the three-dimensional joint angle will be described later. Therefore, the three-dimensional joint angle calculation unit 13 determines the proper coordinate system for the effective joint based on the proper coordinate system determined by the proper coordinate system determination unit 12 in accordance with the desired mode of motion modification based on the operator's instruction. And a three-dimensional joint angle for each effective joint is calculated using the proper coordinate system for the child joint. The joint angle displacement unit 14
The three-dimensional joint angle calculation unit 1 according to the mode of motion modification.
Based on the three-dimensional joint angle calculated in 3, the three-dimensional joint angle for each effective joint is displaced. The behavioral synthesis unit 16 includes a unique coordinate system generation unit (not shown). The proper coordinate system generation unit generates a proper coordinate system for each effective joint based on the three-dimensional joint angle displaced by the joint angle displacement unit 14 according to the mode of motion modification. Behavioral synthesis unit 16
Based on the unique coordinate system generated by the unique coordinate system generation unit and / or the unique coordinate system determined by the unique coordinate system determination unit 12, the shape data storage unit 15 stores shape data corresponding to each effective joint. The shape data thus read out is assigned to each effective joint.

【0047】ここで、3次元関節角度算出手段13が3
次元関節角度を算出する有効関節の範囲となる算出対象
範囲と、関節角度変位部14が3次元関節角度を変位す
る有効関節の範囲となる変位対象範囲と、前記固有座標
系生成部が固有座標系を生成する有効関節の範囲となる
生成対象範囲は、前記動作修飾の態様により決まる。例
えば、人が360度回転する標準動作を動作修飾する場
合には、前記算出対象範囲、前記変位対象範囲及び前記
生成対象範囲は、有効関節のすべてが対象となる場合が
考えられる。これに対して、例えば、右手だけを前後に
動かす場合の標準動作を動作修飾する場合には、対象と
なる有効関節は、右肩付近の有効関節から右手の指先ま
で若しくは手の有効関節までの場合が考えられる。ま
ず、指先までの場合、前記算出対象範囲、前記変位対象
範囲及び前記生成対象範囲は、それぞれの対象となる有
効関節の範囲は等しく、右肩付近の有効関節から指先ま
でとなる。しかし、それらの対象範囲は有効関節のすべ
てではない。また、手の有効関節までの場合、前記算出
対象範囲及び前記生成対象範囲は、それぞれ等しく、右
肩付近の有効関節から指先までとなる。ところが、前記
変位対象範囲は、右肩付近の有効関節から手の関節付近
の有効関節までとなる。そして、前記算出対象範囲、前
記変位対象範囲及び前記生成対象範囲は、有効関節のす
べてではない。
Here, the three-dimensional joint angle calculation means 13 has three
A calculation target range that is a range of an effective joint for calculating a three-dimensional joint angle, a displacement target range that is a range of an effective joint for which the joint angle displacement unit 14 displaces a three-dimensional joint angle, and the unique coordinate system generation unit. The generation target range, which is the range of the effective joint that generates the system, is determined by the mode of the motion modification. For example, when a person modifies a standard motion of rotating 360 degrees, it is conceivable that the calculation target range, the displacement target range, and the generation target range are all effective joints. On the other hand, for example, in the case of modifying the standard action when moving only the right hand back and forth, the target effective joint is from the effective joint near the right shoulder to the fingertip of the right hand or the effective joint of the hand. There are cases. First, in the case of up to the fingertip, the calculation target range, the displacement target range, and the generation target range have the same range of effective joints as the respective targets, and are from the effective joint near the right shoulder to the fingertip. However, their coverage is not all of the effective joints. Further, in the case of the effective joint of the hand, the calculation target range and the generation target range are equal to each other, and the effective joint near the right shoulder to the fingertip. However, the displacement target range is from the effective joint near the right shoulder to the effective joint near the joint of the hand. The calculation target range, the displacement target range, and the generation target range are not all effective joints.

【0048】結局、前記算出対象範囲、前記変位対象範
囲及び前記生成対象範囲は、動作修飾の態様により決定
される。それらの範囲は、常に有効関節のすべてとして
もよく、あるいは、動作の態様に応じて場合分けしても
よい。要するに、動作合成部16は、動作修飾の態様に
応じて、前記固有座標系生成部により生成された固有座
標系及び/又は固有座標系決定部12により決定された
固有座標系に基づき、有効関節の各々に該当する形状デ
ータの割当てを行えばよい。
After all, the calculation target range, the displacement target range, and the generation target range are determined by the mode of motion modification. These ranges may be all of the effective joints at all times, or may be divided according to the mode of motion. In short, the behavioral synthesis unit 16 determines the effective joint based on the proper coordinate system generated by the proper coordinate system generation unit and / or the proper coordinate system determined by the proper coordinate system determination unit 12 according to the behavior modification mode. The shape data corresponding to each of the above may be assigned.

【0049】本発明の請求項1、請求項9及び請求項1
7における「前記有効関節の全部又は一部」が、上記に
関連する表現となる。
Claims 1, 9 and 1 of the present invention
“All or part of the effective joint” in 7 is the expression related to the above.

【0050】次に、本実施の形態の作用について説明す
る。図2は、人が走っている時の有効関節の位置を模式
的に示した図である。有効関節の各々の親子の関係は、
根の関節が設定されると決まる。図2の場合では、腰の
有効関節21が根の関節に設定されている。本実施の形
態の作用には、標準動作モードと動作修飾モードがあ
り、以下順に説明する。 (1)標準動作モード 標準動作モードとは、動作修飾せずに、所定の動作を合
成するモードのことをいう。即ち、固有座標系決定部1
2は、3次元関節位置記憶部11で記憶されている3次
元座標位置に基づき、根の関節から親子の順番に従っ
て、有効関節の各々に対する固有座標系を決定する。こ
こで、所望する動作修飾の態様によって決定される算出
対象範囲、変位対象範囲及び生成対象範囲は、標準動作
モードのため有効関節の全てとなる。3次元関節角度算
出部13は、固有座標系決定部12により決定された固
有座標系を用いて、根の関節から親子の順番に従って、
有効関節の各々に対する3次元関節角度を算出する。関
節角度変位部14は、標準動作モードでは、3次元関節
角度算出部13により算出された3次元関節角度の変位
は行わない。動作合成部16に具備されている固有座標
系生成部(図示していない)は、根の関節に対する固有
座標系と関節角度変位部14から入力した3次元関節角
度を用いて、有効関節の各々に対する固有座標系を生成
する。動作合成部16は、前記固有座標系生成部により
生成された固有座標系を用いて、根の関節から親子の順
番に従って、有効関節の各々に形状データ記憶部15で
記憶されている該当する形状データの割当てを行う。
Next, the operation of this embodiment will be described. FIG. 2 is a diagram schematically showing the positions of effective joints when a person is running. The relationship between each parent and child of the effective joint is
Determined when the root joint is set. In the case of FIG. 2, the effective joint 21 of the waist is set as the root joint. The operation of this embodiment has a standard operation mode and an operation modification mode, which will be described below in order. (1) Standard operation mode The standard operation mode is a mode in which a predetermined operation is combined without modifying the operation. That is, the unique coordinate system determination unit 1
2 determines the proper coordinate system for each of the effective joints based on the three-dimensional coordinate positions stored in the three-dimensional joint position storage unit 11 in the order from the root joint to the parent and child. Here, the calculation target range, the displacement target range, and the generation target range that are determined by the desired mode of motion modification are all effective joints because of the standard motion mode. The three-dimensional joint angle calculation unit 13 uses the unique coordinate system determined by the unique coordinate system determination unit 12 according to the order from the root joint to the parent-child.
A three-dimensional joint angle for each effective joint is calculated. The joint angle displacement unit 14 does not displace the three-dimensional joint angle calculated by the three-dimensional joint angle calculation unit 13 in the standard operation mode. The proper coordinate system generation unit (not shown) included in the motion synthesis unit 16 uses each of the effective joints by using the proper coordinate system for the root joint and the three-dimensional joint angle input from the joint angle displacement unit 14. Generate an intrinsic coordinate system for. The behavioral synthesis unit 16 uses the unique coordinate system generated by the unique coordinate system generation unit, and in accordance with the order from the root joint to the parent and child, the corresponding shape stored in the shape data storage unit 15 for each effective joint. Allocate data.

【0051】以上の処理をフレームの順番に従い、所望
する周期分繰り返すことにより、標準動作モードで所定
の動作を繰り返すことができる。
By repeating the above processing in the order of frames for a desired period, a predetermined operation can be repeated in the standard operation mode.

【0052】なお、標準動作モードでは、3次元関節角
度算出部13、関節角度変位部14及び前記固有座標系
生成部での処理を省略し、動作合成部16は、固有座標
系決定部12から有効関節の各々に対する固有座標系を
入力し、形状データ記憶部15で記憶されている形状デ
ータを有効関節の各々に当てはめる処理を行うとしても
よい。 (2)動作修飾モード 動作修飾モードとは、標準動作を動作修飾して合成する
モードのことである。即ち、固有座標系決定部12は、
3次元関節位置記憶部11で記憶されている3次元座標
位置に基づき、根の関節から親子の順番に従って、有効
関節の各々に対する固有座標系を決定する。ここで、所
望する動作修飾の態様により決定される算出対象範囲、
変位対象範囲及び生成対象範囲は、簡単の為、有効関節
の全てとする。3次元関節角度算出部13は、固有座標
系決定部12により決定された固有座標系を用いて、根
の関節から親子の順番に従って、有効関節の各々に対す
る3次元関節角度を算出する。関節角度変位部14は、
前記動作修飾の態様に応じて変位させる所定の関数を用
いて、3次元関節角度算出部13から入力した有効関節
の各々に対する3次元関節角度を変位する。動作合成部
16に具備されている固有座標系生成部(図示していな
い。)は、根の関節に対する固有座標系と関節角度変位
部14から入力した3次元関節角度を用いて、有効関節
の各々に対する固有座標系を生成する。動作合成部16
は、前記固有座標系生成部により生成された固有座標系
を使用して、根の関節から親子の順番に従って、有効関
節の各々に形状データ記憶部15で記憶している該当す
る形状データの割当てを行う。
In the standard operation mode, the processes in the three-dimensional joint angle calculation unit 13, the joint angle displacement unit 14, and the unique coordinate system generation unit are omitted, and the motion synthesis unit 16 is operated by the unique coordinate system determination unit 12 from the unique coordinate system determination unit 12. A process of inputting the unique coordinate system for each effective joint and applying the shape data stored in the shape data storage unit 15 to each effective joint may be performed. (2) Motion modification mode The motion modification mode is a mode in which a standard motion is motion modified and synthesized. That is, the unique coordinate system determination unit 12
Based on the three-dimensional coordinate position stored in the three-dimensional joint position storage unit 11, the proper coordinate system for each effective joint is determined in the order from the root joint to the parent and child. Here, the calculation target range determined by the desired behavior modification mode,
The displacement target range and the generation target range are all effective joints for simplicity. The three-dimensional joint angle calculation unit 13 calculates the three-dimensional joint angle for each effective joint in the order from the root joint to the parent and child using the proper coordinate system determined by the proper coordinate system determination unit 12. The joint angle displacement unit 14
A three-dimensional joint angle for each of the effective joints input from the three-dimensional joint angle calculation unit 13 is displaced using a predetermined function that is displaced according to the mode of motion modification. The proper coordinate system generation unit (not shown) included in the motion synthesis unit 16 uses the proper coordinate system for the root joint and the three-dimensional joint angle input from the joint angle displacement unit 14 to calculate the effective joint. Generate a unique coordinate system for each. Behavioral synthesis unit 16
Assigns the corresponding shape data stored in the shape data storage unit 15 to each of the effective joints in the order from the root joint to the parent and child using the proper coordinate system generated by the proper coordinate system generation unit. I do.

【0053】以上の処理をフレームの順番に従って、所
望する周期分繰り返すことにより、動作修飾モードで所
定の動作を繰り返すことが出来る。
By repeating the above processing in the order of frames for a desired period, it is possible to repeat a predetermined operation in the operation modification mode.

【0054】次に、固有座標系決定部12による固有座
標系の求め方についてより具体的に説明する。本実施の
形態で使用する3種類の固有座標系の求め方を以下に示
す。 (1)4関節固有座標系決定方法 図3は4関節固有座標系の決定の様子を示す図であり、
例えば、人の腰などの有効関節の固有座標系を求めるの
に用いられる。この場合は、固有座標系を決定しようと
する目的関節である腰の関節は根の関節であるため、そ
の他の有効関節は、図3に示すように、第1子関節、第
2子関節、そして、第3子関節となる。この固有座標系
の決定手順は、以下の通りである。
Next, the method of obtaining the unique coordinate system by the unique coordinate system determination unit 12 will be described more specifically. The method for obtaining the three types of unique coordinate systems used in this embodiment will be described below. (1) 4 Joints Unique Coordinate System Determination Method FIG. 3 is a diagram showing how the 4 joints unique coordinate system is determined.
For example, it is used to determine the proper coordinate system of an effective joint such as a person's waist. In this case, since the hip joint, which is the target joint for which the proper coordinate system is to be determined, is the root joint, other effective joints are, as shown in FIG. And it becomes the third child joint. The procedure for determining this unique coordinate system is as follows.

【0055】1.目的関節から第1子関節方向のベクト
ルをz軸に決定する。
1. The vector in the direction of the first child joint from the target joint is determined as the z axis.

【0056】2.第2子関節から第3子関節方向のベク
トルを目的関節にコピーし、仮のy’軸とする。
2. The vector in the direction from the second child joint to the third child joint is copied to the target joint and is used as a temporary y'axis.

【0057】3.z軸とy’軸との外積の値をx軸に決
定する。
3. The value of the outer product of the z axis and the y ′ axis is determined as the x axis.

【0058】4.z軸とx軸との外積の値をy軸に決定
する。 (2)3関節固有座標系決定方法 図4は3関節固有座標系の決定の様子を示す図である。
ここで、固有座標系を決定しようとする有効関節を目的
関節とし、その目的関節の親に当たる有効関節を親関節
(固有座標系は決定されていなくてもよい。)とし、そ
して、その目的関節の子に当たる有効関節を子関節とす
る。
4. The value of the outer product of the z axis and the x axis is determined as the y axis. (2) Three-joint peculiar coordinate system determination method FIG. 4 is a diagram showing how the three-joint peculiar coordinate system is determined.
Here, the effective joint for which the proper coordinate system is to be determined is the target joint, the effective joint corresponding to the parent of the target joint is the parent joint (the proper coordinate system may not be determined), and the target joint The effective joint that hits the child is called the child joint.

【0059】図4(a)は、人の肘等の有効関節の固有
座標系を決定する様子を示す図である。この固有座標系
の決定手順は以下の通りである。
FIG. 4A is a diagram showing how to determine the proper coordinate system of an effective joint of a human elbow or the like. The procedure for determining this unique coordinate system is as follows.

【0060】1.目的関節から子関節方向のベクトルを
z軸に決定する。
1. The vector in the direction from the target joint to the child joint is determined as the z axis.

【0061】2.目的関節から親関節方向のベクトルと
z軸との合成ベクトルを仮のx’軸とする。
2. A composite vector of the vector in the direction from the target joint to the parent joint and the z axis is taken as a temporary x'axis.

【0062】3.z軸とx’軸との外積の値をy軸に決
定する。
3. The value of the outer product of the z axis and the x'axis is determined as the y axis.

【0063】4.z軸とy軸との外積の値をx軸に決定
する。
4. The value of the outer product of the z axis and the y axis is determined as the x axis.

【0064】図4(b)は、人の膝等の有効関節の固有
座標系を決定する様子を示す図である。この固有座標系
の決定手順は以下の通りである。
FIG. 4B is a diagram showing how to determine the proper coordinate system of an effective joint such as a human knee. The procedure for determining this unique coordinate system is as follows.

【0065】1.目的関節から子関節方向のベクトルを
z軸に決定する。
1. The vector in the direction from the target joint to the child joint is determined as the z axis.

【0066】2.目的関節から親関節方向のベクトルと
z軸との合成ベクトルの逆ベクトルを仮のx’軸とす
る。
2. The inverse vector of the combined vector of the vector in the direction from the target joint to the parent joint and the z axis is taken as the temporary x ′ axis.

【0067】3.z軸とx’軸との外積の値をy軸に決
定する。
3. The value of the outer product of the z axis and the x'axis is determined as the y axis.

【0068】4.z軸とy軸との外積の値をx軸に決定
する。
4. The value of the outer product of the z axis and the y axis is determined as the x axis.

【0069】以上から、3関節固有座標系は、例えば、
人の肘や膝などの有効関節の固有座標系を求めるのに適
しており、人の前後方向における正面の向きが常に正の
x軸に設定できる特徴を有する。 (3)2関節固有座標系決定方法 図5は2関節固有座標系の決定の様子を示す図であり、
(a)は親の固有座標系からx軸をコピーして目的関節
の固有座標系を決定する様子を示す図であり、(b)は
親の固有座標系からy軸をコピーして目的関節の固有座
標系を決定する様子を示す図である。この場合、固有座
標系を決定しようとする有効関節を目的関節とし、その
目的関節の親に当たる有効関節を親関節(既に固有座標
系は決定されている。)とし、そして、その目的関節の
子に当たる有効関節を子関節とする。この固有座標系の
決定手順は、以下の通りである。
From the above, the three-joint unique coordinate system is, for example,
It is suitable for obtaining the proper coordinate system of an effective joint such as a person's elbow or knee, and has a feature that the frontal direction of the person in the front-back direction can always be set to the positive x-axis. (3) Two-joint peculiar coordinate system determination method FIG. 5 is a diagram showing how the two-joint peculiar coordinate system is determined.
(A) is a figure which shows a mode that the x-axis is copied from the parent's proper coordinate system and the proper coordinate system of the target joint is determined, and (b) is a target joint by copying the y-axis from the parent's proper coordinate system. FIG. 6 is a diagram showing a state in which the proper coordinate system of is determined. In this case, the effective joint for which the proper coordinate system is to be determined is the target joint, the effective joint corresponding to the parent of the target joint is the parent joint (the proper coordinate system has already been determined), and the child of the target joint. The effective joint corresponding to is the child joint. The procedure for determining this unique coordinate system is as follows.

【0070】1.目的関節から子関節方向のベクトルを
1軸に決定する。
1. The vector in the direction from the target joint to the child joint is determined as the z 1 axis.

【0071】2.親関節のx0軸(又はy0軸)を目的関
節にコピーし、仮のx0’軸(又はy0’軸)とする。
2. The x 0 axis (or y 0 axis) of the parent joint is copied to the target joint and used as a temporary x 0 'axis (or y 0 ' axis).

【0072】3.z1軸とx0’軸(又はy0’軸)との
外積の値をy1軸(又はx1軸)に決定する。
3. the value of the cross product of the z 1 axis and x 0 'axis (or y 0' axis) is determined as y 1 axis (or x 1 axis).

【0073】4.z1軸とy1軸(又はx1軸)との外積
の値をx1軸(又はy1軸)に決定する。
4. The value of the outer product of the z 1 axis and the y 1 axis (or the x 1 axis) is determined as the x 1 axis (or the y 1 axis).

【0074】図6は、これら3種類の固有座標系決定に
関するフローチャートである。
FIG. 6 is a flowchart relating to the determination of these three types of unique coordinate systems.

【0075】このように、有効関節の各々に対する固有
座標系を決定することができる。この固有座標系は、肘
や膝などの各部位に対して、人の前後方向の向きを考慮
に入れた座標系の設定が可能となる。
In this way, the unique coordinate system for each effective joint can be determined. With this unique coordinate system, it is possible to set a coordinate system for each part such as the elbow and knee in consideration of the front-back direction of the person.

【0076】次に、3次元関節角度の求め方について、
より具体的に説明する。図7は3次元関節角度の算出の
様子を示す図である。図7(a)は、任意の関節に対す
る固有座標系(x,y,z)とその関節と隣接する関節
に対する固有座標系(x’,y’,z’)との3次元角
度の関係を示した図である。図7を用いて、任意の関節
に対する3次元関節角度の算出手順の一例を以下に示
す。ただし、本実施の形態では、任意の関節は親関節で
あり、前記隣接する関節はその子関節となる。
Next, regarding the method of obtaining the three-dimensional joint angle,
This will be described more specifically. FIG. 7 is a diagram showing how the three-dimensional joint angle is calculated. FIG. 7A shows a three-dimensional angle relationship between the proper coordinate system (x, y, z) for an arbitrary joint and the proper coordinate system (x ′, y ′, z ′) for a joint adjacent to the joint. It is the figure shown. An example of the calculation procedure of the three-dimensional joint angle with respect to an arbitrary joint will be described below with reference to FIG. 7. However, in the present embodiment, any joint is a parent joint, and the adjacent joint is its child joint.

【0077】1.図7(a)の如く、親関節と子関節と
の固有座標系の原点を一致させる。
1. As shown in FIG. 7A, the origins of the unique coordinate systems of the parent joint and the child joint are made to coincide with each other.

【0078】2.図7(b)の如く、子関節のz’軸を
親関節の固有座標系のyz平面に投影したときの座標軸
とz軸との角度(−θx)を求める。
2. As shown in FIG. 7B, the angle (−θ x ) between the coordinate axis and the z axis when the z ′ axis of the child joint is projected onto the yz plane of the proper coordinate system of the parent joint is obtained.

【0079】3.図7(b)の如く、子関節のz’軸を
親関節の固有座標系のzx平面に投影したときの座標軸
とz軸との角度(θy)を求める。
3. As shown in FIG. 7B, an angle (θ y ) between the coordinate axis and the z axis when the z ′ axis of the child joint is projected on the zx plane of the unique coordinate system of the parent joint is obtained.

【0080】4.図7(d)の如く、親関節の固有座標
系のx軸を−θxの角度で回転させる。固有座標系
(x,y,z)を(θx,0,0)により回転させる
と、座標系(x,y”,z”)となる。
4. As shown in FIG. 7D, the x-axis of the unique coordinate system of the parent joint is rotated by an angle of −θ x . When the proper coordinate system (x, y, z) is rotated by (θ x , 0, 0), the coordinate system (x, y ″, z ″) is obtained.

【0081】5.図7(e)の如く、更に、親関節の固
有座標系のy軸をθyの角度で回転させる。座標系
(x,y”,z”)を(θx,θy,0)により回転させ
ると座標系(x”,y”,z”)となる。
5. As shown in FIG. 7E, the y axis of the unique coordinate system of the parent joint is further rotated by an angle of θ y . When the coordinate system (x, y ″, z ″) is rotated by (θ x , θ y , 0), the coordinate system (x ″, y ″, z ″) is obtained.

【0082】6.(θx,θy,0)回転後の座標軸z”
は、図7(c)に示す如く、子関節に対する座標系の
z’軸と一致する。そこで、座標軸z”を回転させて、
座標系(x”,y”,z”)が子関節に対する固有座標
系と一致する角度をθzとする。
6. (Θ x , θ y , 0) Coordinate axis z ″ after rotation
7 coincides with the z'axis of the coordinate system for the child joint, as shown in FIG. Therefore, rotate the coordinate axis z ",
Let θ z be the angle at which the coordinate system (x ″, y ″, z ″) coincides with the unique coordinate system for the child joint.

【0083】7.(θx,θy,θz)が任意の関節、即
ち、任意の親関節に対する3次元関節角度となる。
7. (Θ x , θ y , θ z ) is a three-dimensional joint angle with respect to an arbitrary joint, that is, an arbitrary parent joint.

【0084】図8は、図7で示した親関節に対する固有
座標系をzxyの順番で軸回転させた場合、その子関節
に対する固有座標系になること示す図である。即ち、関
節に対する3次元関節角度とその関節に対する固有座標
系とを用いれば、その子関節に対する固有座標系を生成
することができる。なお、本実施の形態では、軸回転の
順番はzxyであるとしたが、必ずしもこれに限らず、
xyzの順番であっても良い。要するに、3つの軸をそ
れぞれ1回軸回転させれば良い。
FIG. 8 is a diagram showing that when the proper coordinate system for the parent joint shown in FIG. 7 is rotated in the zxy order, the proper coordinate system for the child joint is obtained. That is, by using the three-dimensional joint angle with respect to the joint and the proper coordinate system with respect to the joint, the proper coordinate system with respect to the child joint can be generated. In the present embodiment, the order of axis rotation is zxy, but the order is not necessarily limited to this.
The order may be xyz. In short, it is sufficient to rotate each of the three axes once.

【0085】次に、関節角度変位部14が、所望する動
作修飾の態様に応じて、任意の各関節に対する3次元関
節角度を変位させる所定の関数について、より具体的に
説明する。以下に、本実施の形態で使用する5種類の変
位モードを示す。但し、j軸とは固有座標系のx軸、y
軸又はz軸のいずれかとする。 (1)エネルギー変位モード 図9は、エネルギー変位モードによって、各関節に対す
る3次元関節角度の変位を行う関節角度変位部14の構
成図である。離散コサイン変換部91は、(数1)によ
り各関節に対する3次元関節角度を時系列データとして
扱い、その時系列データに離散コサイン変換を適用し、
そして、各DCT係数を出力する。
Next, the predetermined function by which the joint angle displacement section 14 displaces the three-dimensional joint angle with respect to each arbitrary joint in accordance with the desired mode of motion modification will be described in more detail. The five types of displacement modes used in this embodiment are shown below. However, the j-axis is the x-axis of the intrinsic coordinate system, y
Either the axis or the z-axis. (1) Energy Displacement Mode FIG. 9 is a configuration diagram of the joint angle displacement unit 14 that displaces the three-dimensional joint angle with respect to each joint in the energy displacement mode. The discrete cosine transform unit 91 treats the three-dimensional joint angle for each joint as time series data according to (Equation 1), applies the discrete cosine transform to the time series data,
Then, each DCT coefficient is output.

【0086】[0086]

【数1】 [Equation 1]

【0087】 N :全データ数(全フレーム数) k :DCT係数の次数 m :データ番号(フレーム番号) θm(i, j):m番目のフレームについて、i番目の関節
に対する固有座標系のj軸に対する3次元関節角度 zk(i, j):θm(i, j)に対するk次のDCT係数 変換係数変位部92は、エネルギー変位部93を備えて
おり、パラメータaを用いて、離散コサイン変換部91
が出力した各DCT係数のエネルギーを変位させる。逆
離散コサイン変換部94は、(数2)によりエネルギー
が変位された各DCT係数に逆離散コサイン変換を適用
し、変位された各関節に対する3次元関節角度を出力す
る。
N: total number of data (total number of frames) k: order of DCT coefficient m: data number (frame number) θ m (i, j): for the m-th frame, in the proper coordinate system for the i-th joint Three-dimensional joint angle with respect to j-axis z k (i, j): k-th order DCT coefficient with respect to θ m (i, j) The conversion coefficient displacement unit 92 includes an energy displacement unit 93, and uses a parameter a Discrete cosine transform unit 91
The energy of each DCT coefficient output by is displaced. The inverse discrete cosine transform unit 94 applies the inverse discrete cosine transform to each DCT coefficient whose energy is displaced by (Equation 2), and outputs a three-dimensional joint angle for each displaced joint.

【0088】[0088]

【数2】 [Equation 2]

【0089】 N :全データ数(全フレーム数) k :DCT係数の次数 m :データ番号(フレーム番号) a :エネルギー変位モードにおける動作修飾設
定パラメータ θm(i, j):m番目のフレームについて、i番目の関節
に対する固有座標系のj軸に対する変位後の3次元関節
角度 このエネルギー変位モードによれば、パラメータaを大
きくして逆離散コサイン変換部94で逆変換すると大き
な動作のデータになる。また、逆にパラメータaを小さ
くして逆離散コサイン変換部94で逆変換すると小さな
動作のデータになる。従って、このモードにより、例え
ば、標準動作モードの場合の人が歩く動作に対して、大
股で歩かせたり、小股で歩かせたりする動作修飾モード
をパラメータ1つで実現することができる。 (2)次数変位モード 図10は、次数変位モードによって、各関節に対する3
次元関節角度の変位を行う関節角度変位部14の構成図
である。図9と同様の離散コサイン変換部91は、各関
節に対する3次元関節角度を時系列データとして扱い、
その時系列データに離散コサイン変換を適用して、そし
て、各DCT係数を出力する。変換係数変位部101
は、次数選択部102を備え、次数Mを用いて、離散コ
サイン変換部91が出力した各DCT係数を変位させ
る。逆離散コサイン変換部103は、(数3)により、
変位された各DCT係数に逆離散コサイン変換を適用
し、変位した各関節に対する3次元関節角度を出力す
る。
N: total number of data (total number of frames) k: order of DCT coefficient m: data number (frame number) a: motion modification setting parameter θ m (i, j) in energy displacement mode: for m-th frame , Three-dimensional joint angle after displacement with respect to the j-axis of the i-th joint for the i-th joint According to this energy displacement mode, when the parameter a is increased and the inverse discrete cosine transform unit 94 performs the inverse transform, large motion data is obtained. . On the contrary, when the parameter a is reduced and the inverse discrete cosine transform unit 94 performs the inverse transform, the data of the small motion is obtained. Therefore, with this mode, for example, a motion modification mode in which a person walks with a large stride or with a small stride can be realized with one parameter with respect to a walking motion in the standard operation mode. (2) Order displacement mode FIG.
It is a block diagram of the joint angle displacement part 14 which performs displacement of a dimensional joint angle. The discrete cosine transform unit 91 similar to FIG. 9 treats the three-dimensional joint angles for each joint as time series data,
The discrete cosine transform is applied to the time series data, and each DCT coefficient is output. Conversion coefficient displacement unit 101
Includes an order selection unit 102 and uses the order M to displace each DCT coefficient output from the discrete cosine transform unit 91. The inverse discrete cosine transform unit 103 uses (Equation 3)
The inverse discrete cosine transform is applied to each displaced DCT coefficient, and the three-dimensional joint angle for each displaced joint is output.

【0090】[0090]

【数3】 (Equation 3)

【0091】 N :全データ数(フレーム数) k :DCT係数の次数 M :次数変位モードにおける動作修飾設定パラ
メータ m :データ番号(フレーム番号) θm(i, j):m番目のフレームについて、i番目の関節
に対する固有座標系のj軸に対する変位後の3次元関節
角度 N>MとなるMについて、この値が小さくなると、細か
い動作を表現するデータが少なくなる。逆に大きくなる
と、細かい動作を表現するデータが多くなる。従って、
このモードにより、細かい微妙な動作を設定することが
できる動作修飾モードをパラメータ1つで実現すること
ができる。 (3)動作速度変位モード 図11は、動作速度変位モードにより、各関節に対する
3次元関節角度の変位を行う関節角度変位部14の構成
図である。ここで、動作速度変位モードのみによる動作
修飾を説明するため、変換係数変位部111は入力した
DCT係数を変位せずに出力するものとする。図9と同
様の離散コサイン変換部91は、各関節に対する3次元
関節角度を時系列データとして扱い、その時系列データ
に離散コサイン変換を適用し、そして、各DCT係数を
出力する。変換係数変位部111は、変位せずに入力し
た各DCT係数を出力する。逆離散コサイン変換部11
2は、変換次数制限部113を備えており、(数4)に
より、パラメータnを用いて、逆離散コサイン変換のう
ち必要な次数だけを用いて、入力した各DCT係数に逆
離散コサイン変換を適用し、次数が制限された各関節に
対する3次元関節角度を出力する。
N: total number of data (number of frames) k: order of DCT coefficient M: operation modification setting parameter in order displacement mode m: data number (frame number) θ m (i, j): for m-th frame, For M such that the three-dimensional joint angle N> M after displacement with respect to the j-axis of the unique coordinate system for the i-th joint, the smaller this value is, the less data expresses fine movements. On the other hand, when the size becomes large, the amount of data that expresses a detailed motion increases. Therefore,
With this mode, it is possible to realize a motion modification mode in which a delicate motion can be set with one parameter. (3) Motion Velocity Displacement Mode FIG. 11 is a configuration diagram of the joint angle displacement unit 14 that performs displacement of the three-dimensional joint angle with respect to each joint in the motion velocity displacement mode. Here, in order to describe the motion modification only by the motion velocity displacement mode, the transform coefficient displacement unit 111 outputs the input DCT coefficient without displacement. The discrete cosine transform unit 91 similar to FIG. 9 handles the three-dimensional joint angle for each joint as time series data, applies the discrete cosine transform to the time series data, and outputs each DCT coefficient. The transform coefficient displacement unit 111 outputs each input DCT coefficient without displacement. Inverse discrete cosine transform unit 11
2 includes a transform order limiting unit 113, and according to (Equation 4), an inverse discrete cosine transform is applied to each input DCT coefficient by using a parameter n and using only a required order among the inverse discrete cosine transforms. It is applied to output a three-dimensional joint angle for each joint whose order is limited.

【0092】[0092]

【数4】 [Equation 4]

【0093】 N :全データ数(全フレーム数) k :DCT係数の次数 n :動作速度変位モードにおける速度設定パラ
メータ m :0,1,2,…,(N−1)/n θmn(i, j):mn番目のフレームについて、i番目の関
節に対する固有座標系のj軸に対する3次元関節角度 この動作速度変位モードによれば、パラメータnによ
り、n倍の動作速度で所定の動作を実行させることがで
きる。従って、このモードにより、標準動作モードに対
して、速い動作又は遅い動作を設定することができる動
作修飾モードをパラメータ1つで実現することができ
る。 (4)エネルギー・次数複合変位モード 図12は、エネルギー・次数複合変位モードにより、各
関節に対する3次元関節角度の変位を行う関節角度変位
部14の構成図である。図9と同様の離散コサイン変換
部91は、各関節に対する3次元関節角度を時系列デー
タとして扱い、その時系列データに離散コサイン変換を
適用して、そして、各DCT係数を出力する。変換係数
変位部121は、図9のエネルギー変位部93及び図1
0の次数選択部102と同様の回路を備えており、エネ
ルギー変位部93は、パラメータaを用いて、離散コサ
イン変換部91が出力した各DCT係数のエネルギーを
変位させ、そして、次数選択部102は、次数Mを用い
て、離散コサイン変換部91が出力した各DCT係数を
変位させる。逆離散コサイン変換部122は、(数5)
により、変位された各DCT係数に逆離散コサイン変換
を適用して、変位した各関節に対する3次元関節角度を
出力する。
N: Total number of data (total number of frames) k: Order of DCT coefficient n: Speed setting parameter in operating speed displacement mode m: 0, 1, 2, ..., (N-1) / n θ mn (i , j): Three-dimensional joint angle with respect to the j-axis of the unique coordinate system for the ith joint for the mnth frame. According to this movement speed displacement mode, a predetermined movement is executed at a movement speed n times that of the parameter n. Can be made. Therefore, with this mode, it is possible to realize a motion modification mode in which a fast motion or a slow motion can be set with respect to the standard motion mode with one parameter. (4) Energy / Order Compound Displacement Mode FIG. 12 is a configuration diagram of the joint angle displacement unit 14 that performs displacement of the three-dimensional joint angle with respect to each joint in the energy / order compound displacement mode. The discrete cosine transform unit 91 similar to FIG. 9 treats the three-dimensional joint angle for each joint as time series data, applies the discrete cosine transform to the time series data, and outputs each DCT coefficient. The conversion coefficient displacement unit 121 includes the energy displacement unit 93 of FIG.
The energy displacing unit 93 uses the parameter a to displace the energy of each DCT coefficient output from the discrete cosine transform unit 91, and includes the same circuit as the zero order selecting unit 102. Uses the order M to displace each DCT coefficient output by the discrete cosine transform unit 91. The inverse discrete cosine transform unit 122 uses (Equation 5)
Thus, the inverse discrete cosine transform is applied to each displaced DCT coefficient, and the three-dimensional joint angle for each displaced joint is output.

【0094】[0094]

【数5】 (Equation 5)

【0095】 N :全データ数(全フレーム数) k :DCT係数の次数 m :データ番号(フレーム番号) M :次数変位モードにおける動作修飾設定パラ
メータ a :エネルギー変位モードにおける動作修飾設
定パラメータ θm(i, j) :m番目のフレームについて、i番目の関節
に対する固有座標系のj軸に対する3次元関節角度 この動作修飾モードによれば、パラメータaで動作の大
きさを変えながら、比較的低次のパラメータMを選択す
ることにより、滑らかな動きを実現することができる。
また、パラメータMを増加して高次成分を付け加えてい
く毎に細かい動作を表現することができるようになる。
従って、このモードは、動作の大きさの設定と細かい微
妙な動作の設定を同時に行うことができる動作修飾モー
ドをパラメータ2つで実現することができる。 (5)エネルギー・次数・動作速度複合変位モード 図13は、エネルギー・次数・動作速度複合変位モード
により、各関節に対する3次元関節角度の変位を行う関
節角度変位部14の構成図である。図9と同様の離散コ
サイン変換部91は、各関節に対する3次元関節角度を
時系列データとして扱い、その時系列データに離散コサ
イン変換を適用し、そして、各DCT係数を出力する。
変換係数変位部121は、図9のエネルギー変位部93
及び図10の次数選択部102と同様の回路を備えてお
り、エネルギー変位部93は、パラメータaを用いて、
離散コサイン変換部91が出力した各DCT係数のエネ
ルギーを変位させ、そして、次数選択部102は、次数
Mを用いて、離散コサイン変換部91が出力した各DC
T係数を変位させる。逆離散コサイン変換部131は、
変換次数制限部132を備えており、(数6)により、
パラメータnを用いて、逆離散コサイン変換の変換次数
を制限した逆変換を前記変位した各DCT係数に適用
し、変位した各関節に対する3次元関節角度を出力す
る。
N: total number of data (total number of frames) k: order of DCT coefficient m: data number (frame number) M: motion modification setting parameter in order displacement mode a: motion modification setting parameter θ m in energy displacement mode i, j): For the m-th frame, the three-dimensional joint angle with respect to the j-axis of the intrinsic coordinate system for the i-th joint According to this motion modification mode, the motion magnitude is changed by the parameter a, By selecting the parameter M of, smooth movement can be realized.
In addition, it becomes possible to express a fine operation each time the parameter M is increased and higher-order components are added.
Therefore, in this mode, it is possible to realize the motion modification mode in which the size of the motion and the setting of the delicate motion can be performed at the same time with two parameters. (5) Energy / Order / Operation Speed Composite Displacement Mode FIG. 13 is a configuration diagram of the joint angle displacement unit 14 that displaces a three-dimensional joint angle with respect to each joint in the energy / order / operation speed composite displacement mode. The discrete cosine transform unit 91 similar to FIG. 9 handles the three-dimensional joint angle for each joint as time series data, applies the discrete cosine transform to the time series data, and outputs each DCT coefficient.
The conversion coefficient displacement unit 121 is the energy displacement unit 93 of FIG.
And a circuit similar to the order selection unit 102 of FIG. 10, the energy displacement unit 93 uses the parameter a,
The energy of each DCT coefficient output from the discrete cosine transform unit 91 is displaced, and the order selection unit 102 uses the order M to output each DC output from the discrete cosine transform unit 91.
Displace the T coefficient. The inverse discrete cosine transform unit 131
The conversion order limiting unit 132 is provided, and according to (Equation 6),
Using the parameter n, the inverse transform in which the transform order of the inverse discrete cosine transform is limited is applied to each of the displaced DCT coefficients, and the three-dimensional joint angle for each displaced joint is output.

【0096】[0096]

【数6】 (Equation 6)

【0097】 N :全データ数(全フレーム数) k :DCT係数の次数 m :0,1,2,…,(N−1)/n M :次数変位モードにおける動作修飾設定パラ
メータ a :エネルギー変位モードにおける動作修飾設
定パラメータ n :動作速度変位モードにおける速度設定パラ
メータ θmn(i, j):mn番目のフレームについて、i番目の関
節に対する固有座標系のj軸に対する3次元関節角度 この動作修飾モードによれば、パラメータnで動作速度
を、パラメータaで動作の大きさを、パラメータMで細
かい微妙な動作を設定することができる。従って、この
モードは、動作速度、動作の大きさ及び細かい微妙な動
作の設定を同時に行うことができる動作修飾モードをパ
ラメータ3つで実現することができる。
N: Total number of data (total number of frames) k: Order of DCT coefficient m: 0, 1, 2, ..., (N-1) / n M: Operation modification setting parameter in order displacement mode a: Energy displacement Motion modification setting parameter n in mode: Velocity setting parameter in motion speed displacement mode θ mn (i, j): Three-dimensional joint angle of the mnth frame with respect to the j-axis of the proper coordinate system for the i-th joint This motion modification mode According to this, it is possible to set the operation speed with the parameter n, the magnitude of the operation with the parameter a, and the fine delicate operation with the parameter M. Therefore, in this mode, it is possible to realize an operation modification mode in which the operation speed, the size of the operation, and the fine and delicate operation can be simultaneously set with three parameters.

【0098】次に、本実施の形態における動作合成部1
6の作用について、より具体的に説明する。根の関節に
対する固有座標系は、動作修飾によっても変化しない有
効関節に設定されているものとする。本実施の形態で
は、根の関節は、図2(a)に示す腰の関節21であ
る。固有座標系生成部を具備した動作合成部16による
合成手順は以下の通りである。
Next, the behavioral synthesis unit 1 in the present embodiment.
The operation of 6 will be described more specifically. It is assumed that the proper coordinate system for the root joint is set to an effective joint that does not change even by motion modification. In the present embodiment, the root joint is the hip joint 21 shown in FIG. The synthesis procedure by the behavioral synthesis unit 16 including the unique coordinate system generation unit is as follows.

【0099】1.根の関節を親関節とする(初期設
定)。
1. Use the root joint as the parent joint (initial setting).

【0100】2.親関節に対する固有座標系の原点をそ
の関節に当てはめる。
2. The origin of the proper coordinate system for the parent joint is applied to that joint.

【0101】3.前記固有座標系の原点から正のz軸に
沿って、その関節に対応する形状データを当てはめる。
3. Shape data corresponding to the joint is fitted along the positive z-axis from the origin of the intrinsic coordinate system.

【0102】4.前記形状データの原点でない方の端点
をその子関節に対する固有座標系の原点とする。
4. The end point of the shape data other than the origin is set as the origin of the unique coordinate system for the child joint.

【0103】5.親関節に対する3次元関節角度を用い
て、親関節に対する固有座標系をzxyの順番で軸回転
し、それをその子関節の固有座標系とする。
5. Using the three-dimensional joint angle with respect to the parent joint, the proper coordinate system for the parent joint is rotated in the zxy order, and this is used as the proper coordinate system for the child joint.

【0104】6.次の処理のため、子関節を親関節とす
る。
6. The child joint is made the parent joint for the next processing.

【0105】7.フレームに対する有効関節の各々につ
いての処理が終わるまで、前記2〜6を繰り返す。
7. The above steps 2 to 6 are repeated until the processing for each effective joint for the frame is completed.

【0106】8.所望するサイクルに基づき、前記1〜
7を繰り返す。
8. Based on the desired cycle,
Repeat 7.

【0107】なお、上記説明は、簡単の為、動作修飾の
態様は、全ての有効関節を対象とするものとした。
Note that, for the sake of simplicity in the above description, the mode of motion modification is intended for all effective joints.

【0108】以上のように、固有座標系を用いること
で、形状データを一義的に当てはめることが可能とな
り、そして、3次元関節角度を用いることにより、捻
り、回転などの動作が可能となるばかりか、3次元関節
角度を関数により処理することで、標準動作モードに対
して、様々に変化する動作を簡単に付加することができ
る。
As described above, by using the unique coordinate system, the shape data can be uniquely applied, and by using the three-dimensional joint angle, the operations such as twisting and rotating can be performed. Alternatively, by processing the three-dimensional joint angle with a function, it is possible to easily add variously changing motions to the standard motion mode.

【0109】図14は、本発明の請求項10記載の画像
処理装置に係る実施の一形態の構成図である。即ち、固
有座標系記憶部141は、例えば人が所定の動作を行っ
た場合、その動作の1周期を単位とする標準動作に対す
るフレーム毎に、有効関節の各々に対する固有座標系を
記憶している。形状データ記憶部145は、有効関節の
各々に対する複数の固有座標系に対応する人の部位に関
する形状データを記憶している。入力装置147は、操
作者が所望する動作に関する指示を入力する。制御部1
48は、入力装置147に入力された指示に従い、画像
処理に関する制御を行う。3次元関節角度算出部142
は、その操作者の指示による所望する動作修飾の態様に
応じて、固有座標系記憶部141が記憶している固有座
標系に基づき、有効関節の全部又は一部の各々に対する
3次元関節角度を算出する。関節角度変位部143は、
前記動作修飾の態様に応じて、3次元関節角度算出部1
42により算出された3次元関節角度に基づいて、有効
関節の全部又は一部の各々に対する3次元関節角度を変
位させる。固有座標系生成部144は、前記動作修飾の
態様に応じて、3次元関節角度算出部142により算出
された3次元関節角度及び/又は関節角度変位部143
により変位された3次元関節角度に基づき、有効関節の
全部又は一部の各々に対する固有座標系を生成する。動
作合成部146は、前記動作修飾の態様に応じて、固有
座標系記憶部141で記憶されている固有座標系及び/
又は固有座標系生成部144により生成された固有座標
系に基づき、形状データ記憶部145で記憶されている
形状データの中から該当する形状データを読み出して、
そして、それらを該当する有効関節の各々に割当てる。
FIG. 14 is a block diagram of an embodiment of an image processing apparatus according to claim 10 of the present invention. That is, for example, when a person performs a predetermined motion, the proper coordinate system storage unit 141 stores the proper coordinate system for each of the effective joints for each frame for the standard motion in which one cycle of the motion is a unit. . The shape data storage unit 145 stores shape data regarding a human body part corresponding to a plurality of unique coordinate systems for each effective joint. The input device 147 inputs an instruction regarding an operation desired by the operator. Control unit 1
The control unit 48 controls the image processing according to the instruction input to the input device 147. Three-dimensional joint angle calculation unit 142
Is a three-dimensional joint angle for each of all or some of the effective joints based on the proper coordinate system stored in the proper coordinate system storage unit 141 according to the desired mode of motion modification according to the operator's instruction. calculate. The joint angle displacement section 143 is
The three-dimensional joint angle calculation unit 1 according to the mode of motion modification.
Based on the three-dimensional joint angles calculated by 42, the three-dimensional joint angles for all or some of the effective joints are displaced. The unique coordinate system generation unit 144 has a three-dimensional joint angle and / or a joint angle displacement unit 143 calculated by the three-dimensional joint angle calculation unit 142 according to the mode of motion modification.
A unique coordinate system for each of all or some of the effective joints is generated based on the three-dimensional joint angles displaced by. The behavioral synthesis unit 146 determines the unique coordinate system and / or the unique coordinate system stored in the unique coordinate system storage unit 141 according to the behavior modification mode.
Alternatively, based on the unique coordinate system generated by the unique coordinate system generation unit 144, the corresponding shape data is read from the shape data stored in the shape data storage unit 145,
Then, they are assigned to each of the corresponding effective joints.

【0110】図15は、本発明の請求項19記載の画像
処理装置に係る実施の一形態の構成図である。即ち、3
次元関節角度記憶部151は、例えば、人が所定の動作
を行った場合、その動作の1周期を単位とする標準動作
に対するフレーム毎に、根の関節の固有座標系と有効関
節の各々に対する3次元関節角度を記憶している。形状
データ記憶部154は、有効関節の各々に対する複数の
固有座標系に対応する人の部位に関する形状データを記
憶保持している。入力装置157は、操作者が所望する
動作に関する指示を入力する。制御部158は、入力装
置157に入力された指示に従い、画像処理に関する制
御を行う。固有座標系決定部152は、3次元関節角度
記憶部151で記憶されている根の関節に対する固有座
標系と3次元関節角度を用いて、根の関節から親子の順
番に従って、有効関節の各々に対する固有座標系を決定
する。関節角度変位部153は、その操作者の指示によ
る所望する動作修飾の態様に応じて、3次元関節角度記
憶部で記憶されている3次元関節角度に基づいて、有効
関節の全部又は一部の各々に対する3次元関節角度を変
位させる。固有座標系生成部154は、前記動作修飾の
態様に応じて、3次元関節角度記憶部151で記憶され
ている3次元関節角度及び/又は関節角度変位部153
により変位された3次元関節角度に基づいて、有効関節
の全部又は一部の各々に対する固有座標系を生成する。
動作合成部155は、前記動作修飾の態様に応じて、固
有座標系決定部152により決定された固有座標系及び
/又は固有座標系生成部154により生成された固有座
標系に基づいて、形状データ記憶部156で記憶されて
いる形状データの中から該当する形状データを読み出し
て、そして、それらを該当する有効関節の各々に割当て
る。
FIG. 15 is a block diagram of an embodiment of an image processing apparatus according to claim 19 of the present invention. That is, 3
For example, when a person performs a predetermined motion, the dimensional joint angle storage unit 151 stores 3 for each of the proper coordinate system of the root joint and each effective joint for each frame for the standard motion in which one cycle of the motion is a unit. The dimensional joint angle is stored. The shape data storage unit 154 stores and holds shape data regarding a human body part corresponding to a plurality of unique coordinate systems for each effective joint. The input device 157 inputs an instruction regarding an operation desired by the operator. The control unit 158 controls the image processing according to the instruction input to the input device 157. The proper coordinate system determination unit 152 uses the proper coordinate system for the root joint and the three-dimensional joint angle stored in the three-dimensional joint angle storage unit 151, and determines the effective joints for each effective joint in the order from the root joint to the parent and child. Determine the intrinsic coordinate system. The joint angle displacement unit 153, based on the three-dimensional joint angle stored in the three-dimensional joint angle storage unit, determines all or some of the effective joints according to the desired mode of motion modification according to the operator's instruction. Displace the 3D joint angle for each. The unique coordinate system generation unit 154, according to the mode of motion modification, has the three-dimensional joint angle and / or joint angle displacement unit 153 stored in the three-dimensional joint angle storage unit 151.
A unique coordinate system for each of all or some of the effective joints is generated based on the three-dimensional joint angles displaced by.
The behavioral synthesis unit 155 determines the shape data based on the unique coordinate system determined by the unique coordinate system determination unit 152 and / or the unique coordinate system generated by the unique coordinate system generation unit 154 according to the behavior modification mode. The corresponding shape data is read out from the shape data stored in the storage unit 156, and is assigned to each corresponding effective joint.

【0111】なお、上記実施の形態では、入力装置1
7、147又は157により入力された操作者の指示に
基づいて、所望する動作に対応した画像処理が行われる
ものとしたが、必ずしもこれに限らず、アニメーション
のような動画を生成するように記述されたプログラムの
指示に基づいて、画像処理が行われるとしてもよい。
In the above embodiment, the input device 1 is used.
The image processing corresponding to the desired motion is supposed to be performed based on the operator's instruction input by 7, 147 or 157, but not limited to this, it is described that a moving image such as an animation is generated. Image processing may be performed based on an instruction of the executed program.

【0112】また、上記実施の形態では、固有座標系と
3次元関節角度は、有効関節により限定されるとした
が、必ずしもこれに限らず、固有座標系と3次元関節角
度は、有効関節とその親関節又は子関節とを結んだ線分
である親子線により限定されるとしてもよい。この場
合、親子線に対する固有座標系は有効関節に対する固有
座標系と同義であり、また親子線に対する3次元関節角
度は有効関節に対する3次元関節角度と同義である。
Further, in the above embodiment, the eigencoordinate system and the three-dimensional joint angle are limited by the effective joint, but the invention is not limited to this. The eigencoordinate system and the three-dimensional joint angle are defined by the effective joint. It may be limited by a parent-child line which is a line segment connecting the parent joint or the child joint. In this case, the proper coordinate system for the parent-child line is synonymous with the proper coordinate system for the effective joint, and the three-dimensional joint angle with respect to the parent-child line is synonymous with the three-dimensional joint angle with respect to the effective joint.

【0113】図16は、本発明の請求項25記載の画像
処理装置に係る実施の一形態の構成図である。画像処理
装置160の基本動作記憶部161は、複数の「動作の
基準となる有効関節」を有する物体が所定の動作を行う
場合、その周期的または非周期的な動作に対して、フレ
ーム毎に、その有効関節の全部又は一部の各々に対する
関数化された3次元関節角度を基本動作データとして記
憶している記憶部である。この記憶部は、画像処理装置
160の内部記憶装置又は外部記憶装置の何れの記憶装
置に記憶されていてもよい。
FIG. 16 is a block diagram of an embodiment of an image processing apparatus according to claim 25 of the present invention. When an object having a plurality of “effective joints serving as a reference of motion” performs a predetermined motion, the basic motion storage unit 161 of the image processing apparatus 160 performs a periodic motion or an aperiodic motion for each frame. , A storage unit that stores functionalized three-dimensional joint angles for all or some of the effective joints as basic motion data. This storage unit may be stored in either the internal storage device of the image processing device 160 or an external storage device.

【0114】入力装置162は、操作者が所望する動作
に関する指示を入力するための入力装置である。
The input device 162 is an input device for inputting an instruction regarding an operation desired by the operator.

【0115】基本動作選択部163は、入力装置162
により入力された指示に基づき、基本動作記憶部161
で記憶されている複数の基本動作データから所望の基本
動作データを選択するものである。基本動作記憶部16
1は、基本動作選択部163により選択された基本動作
データを基本動作修飾生成部165に出力する。
The basic operation selection section 163 has the input device 162.
Based on the instruction input by the basic operation storage unit 161.
The desired basic operation data is selected from the plurality of basic operation data stored in the above item. Basic operation storage unit 16
1 outputs the basic motion data selected by the basic motion selection unit 163 to the basic motion modification generation unit 165.

【0116】パラメータ設定部164は、入力装置16
2により入力された指示に基づき、基本動作選択手段に
より選択された基本動作データにより構成される動作
を、その指示に応じた動作修飾を伴った動作に変更する
際に必要となる動作修飾パラメータを設定するものであ
る。
The parameter setting section 164 uses the input device 16
Based on the instruction input by 2, the action modification parameter required when changing the action composed of the basic action data selected by the basic action selecting means to the action accompanied by the action modification according to the instruction is set. It is something to set.

【0117】基本動作修飾生成部165は、パラメータ
設定部164により設定された動作修飾パラメータを用
いて、基本動作選択部163により選択されて基本動作
記憶部161から入力した基本動作データにより構成さ
れる動作を操作者の所望する動作修飾を伴った動作に変
更して、基本動作修飾データを生成するものである。
The basic action modification generation unit 165 is configured by the basic action data selected by the basic action selection unit 163 and input from the basic action storage unit 161 by using the action modification parameter set by the parameter setting unit 164. The motion is changed to a motion accompanied by motion modification desired by the operator, and basic motion modification data is generated.

【0118】付加動作選択部166は、入力装置162
により入力された指示に基づき、基本動作修飾生成部1
65により生成された基本動作修飾データにより構成さ
れる動作と異なる動作であって、その基本動作修飾デー
タにより構成される動作に付加される所望の付加動作を
選択するものである。
The additional operation selecting section 166 uses the input device 162.
Based on the instruction input by the basic action modification generation unit 1
The operation is different from the operation configured by the basic action modification data generated by 65, and a desired additional action to be added to the operation configured by the basic motion modification data is selected.

【0119】付加動作生成部167は、基本動作修飾生
成部165により生成された基本動作修飾データと付加
動作選択部166により選択された付加動作により、付
加動作データを生成するものである。
The additional motion generating section 167 generates additional motion data by the basic motion modifying data generated by the basic motion modifying generating section 165 and the additional motion selected by the additional motion selecting section 166.

【0120】動作合成装置168は、基本動作修飾生成
部165により生成された基本動作修飾データと付加動
作生成部167により生成された付加動作データとを合
成して、その基本動作修飾データにより構成される動作
にその付加動作データにより構成される動作を付加した
動作に関する動作データを生成するものである。
The behavior synthesizing device 168 synthesizes the basic behavior modification data generated by the basic behavior modification generation unit 165 and the additional motion data generated by the additional motion generation unit 167, and is configured by the basic motion modification data. The action data relating to the action in which the action constituted by the additional action data is added to the action to be generated is generated.

【0121】次に、本実施の形態の動作について説明す
る。
Next, the operation of this embodiment will be described.

【0122】図2(b)で示した人に関するスケルトン
モデルが動作することにより、その有効関節に対する3
次元関節角度は、図17に示すように時間的に変化す
る。このように、動作は、有効関節の各々に対する3次
元関節角度の時間変化によって表現することができる。
そこで、図17で示される3次元関節角度の時間的変化
を、X軸回転θx、Y軸回転θy及びZ軸回転θz の各々
に適用する関数によって近似する。本実施の形態では、
近似関数に(数7)で表される離散コサイン変換を使用
する。但し、iはx、y、z軸、jはフレーム数、kは
有効関節に対応するものとする。
By operating the skeleton model for a person shown in FIG. 2B, 3 for the effective joint is obtained.
The dimensional joint angle changes with time as shown in FIG. In this way, the motion can be expressed by the time change of the three-dimensional joint angle for each of the effective joints.
Therefore, the temporal change of the three-dimensional joint angle shown in FIG. 17 is approximated by a function applied to each of the X-axis rotation θx, the Y-axis rotation θy, and the Z-axis rotation θz. In this embodiment,
The discrete cosine transform represented by (Equation 7) is used for the approximation function. However, i corresponds to the x, y, and z axes, j corresponds to the number of frames, and k corresponds to the effective joint.

【0123】[0123]

【数7】 (Equation 7)

【0124】図17を離散コサイン変換により関数近似
した例を図18に示す。歩く等の周期的動作については
その1周期分の動作が関数化される。また、水泳の飛び
込み等の非周期的動作についてはその一回分の動作が関
数化される。このように、離散コサイン変換により数近
似された「歩く」、「飛び込む」等の基本動作データ
が、基本動作記憶部161に記憶されている。ところ
で、ある動作をDCTによりモデル化した場合、DCT
の次数によりその動作の質を変化させることができる。
一般的に、図19に示すように、エネルギーは変換係数
の低周波成分に集中する。そこで、基本動作データをデ
ータベースに登録する場合に、その基本動作の再構成時
に影響の少ない高周波成分を無視すれば、3次元関節角
度の時系列データをそのまま登録するよりも少ないデー
タによってデータベースを構成することができる。
FIG. 18 shows an example of function approximation of FIG. 17 by discrete cosine transform. As for the periodical motion such as walking, the motion for one cycle is functionalized. In addition, for non-periodic motions such as diving in swimming, the motion for one time is made into a function. In this way, basic motion data such as “walk” and “dive” that are approximated by the discrete cosine transform are stored in the basic motion storage unit 161. By the way, when a certain operation is modeled by DCT, DCT
The quality of the operation can be changed by the order of.
In general, energy concentrates on the low frequency components of the transform coefficients, as shown in FIG. Therefore, when registering the basic motion data in the database, if the high-frequency components that have little influence on the reconstruction of the basic motion are ignored, the database is configured with less data than when the time series data of the three-dimensional joint angle is registered as it is. can do.

【0125】基本動作選択部163は、入力装置162
により入力された操作者の指示に基づき、基本動作記憶
部161に記憶されている関数化された基本動作データ
から所望の基本動作データを選択する。図1の関節角度
変位装置14が使用する、3次元関節角度を変位させる
所定の関数に関する5種類の変位モードについて既に説
明したが、パラメータ設定部164も同様の動作修飾パ
ラメータを使用することができる。基本動作修飾生成部
165は、パラメータ設定部164により設定された動
作修飾パラメータを用いて、基本動作選択部163によ
り選択されて基本動作記憶部161から入力した基本動
作データに、逆離散コサイン変換を適用することによ
り、基本動作修飾データとなる3次元関節角度を生成す
る。
The basic operation selection section 163 has the input device 162.
Based on the operator's instruction input by, the desired basic motion data is selected from the functionalized basic motion data stored in the basic motion storage unit 161. Although the five types of displacement modes relating to the predetermined function for displacing the three-dimensional joint angle used by the joint angle displacement device 14 in FIG. 1 have been described above, the parameter setting unit 164 can also use the same motion modification parameter. . The basic motion modification generation unit 165 uses the motion modification parameter set by the parameter setting unit 164 to perform an inverse discrete cosine transform on the basic motion data selected by the basic motion selection unit 163 and input from the basic motion storage unit 161. By applying it, a three-dimensional joint angle which is basic motion modification data is generated.

【0126】即ち、パラメータ設定部164は、入力装
置162により入力された操作者の指示に基づいて、動
作の大きさを表すパラメータaと動作の早さを表すパラ
メータbを有した動作修飾パラメータを設定する。そし
て、基本動作修飾生成部165は、その動作修飾パラメ
ータを用いて、基本動作選択部163により選択された
基本動作データに、(数8)の逆離散コサイン変換を適
用する。
That is, the parameter setting unit 164 sets a motion modification parameter having a parameter a representing the magnitude of the motion and a parameter b representing the speed of the motion based on the operator's instruction input by the input device 162. Set. Then, the basic motion modification generation unit 165 uses the motion modification parameter to apply the inverse discrete cosine transform of (Equation 8) to the basic motion data selected by the basic motion selection unit 163.

【0127】[0127]

【数8】 [Equation 8]

【0128】ここで、パラメータaによる動作の大きさ
について、a=1.0の場合、基本動作記憶部161で
記憶されている基本動作データを基準にした大きさの動
作が生成される。そして、a>1.0の場合はそれより
も大きい、0<a<1.0の場合はそれよりも小さい動
作が生成される。また、パラメータbによる動作の速さ
について、b=1の場合、基本動作記憶部161で記憶
されている基本動作データを基準にした速さの動作が生
成される。そして、b>1.0の場合はそれよりも速い
動作が生成される。ただし、パラメータbは整数であ
る。このように、これらの2つのパラメータを操作する
ことにより動作修飾を容易に行なうことができる。な
お、a=1及びb=1の場合の動作修飾では、基本動作
選択部163により選択された基本動作データがそのま
ま使用されるが、これも動作修飾の一態様に含めて取り
扱うものとする。
Here, with respect to the size of the motion by the parameter a, when a = 1.0, a motion having a size based on the basic motion data stored in the basic motion storage unit 161 is generated. Then, a larger motion is generated when a> 1.0, and a smaller motion is generated when 0 <a <1.0. Also, regarding the speed of the operation by the parameter b, when b = 1, the operation of the speed based on the basic operation data stored in the basic operation storage unit 161 is generated. Then, when b> 1.0, a faster operation is generated. However, the parameter b is an integer. In this way, operation modification can be easily performed by manipulating these two parameters. It should be noted that the basic motion data selected by the basic motion selection unit 163 is used as it is in the motion modification in the case of a = 1 and b = 1, but this is also handled as one aspect of the motion modification.

【0129】付加動作選択部166は、入力装置162
により入力された操作者の指示に基づいて、付加動作を
選択する。この付加動作は、基本動作修飾生成部165
により生成された基本動作修飾データにより構成される
動作と異なる動作であって、その構成される動作に付加
される動作である。付加動作生成部167は、基本動作
生成部165により生成された基本動作修飾データと付
加動作選択部166により選択された付加動作に基づ
き、付加動作データを生成する。例えば、基本動作を
「歩く」動作とすれば、「手を振る」付加動作がそれに
加えられる。動作合成部168は、基本動作修飾生成部
165により生成された基本動作修飾データと付加動作
生成部167により生成された付加動作データを合成し
て、その基本動作修飾データにより構成される動作にそ
の付加動作データにより構成される動作を付加した動作
に関する動作データを生成する。
The additional operation selecting section 166 uses the input device 162.
The additional operation is selected based on the operator's instruction input by. This additional operation is performed by the basic operation modification generation unit 165.
The operation is different from the operation configured by the basic action modification data generated by, and is an action added to the configured action. The additional action generation unit 167 generates additional action data based on the basic action modification data generated by the basic action generation unit 165 and the additional action selected by the additional action selection unit 166. For example, if the basic motion is a "walk" motion, an additional motion of "waving" is added to it. The behavioral synthesis unit 168 synthesizes the basic behavioral modification data generated by the basic behavioral modification generation unit 165 and the additional motional data generated by the additional motional generation unit 167 into a motion constituted by the basic motional modification data. The operation data regarding the operation to which the operation configured by the additional operation data is added is generated.

【0130】なお、本実施の形態では、基本動作選択部
163は、選択した基本動作データを基本動作記憶部1
61から基本動作修飾生成部165に出力させる構成と
したが、必ずしもこれに限らず、基本動作選択部163
は、選択した基本動作データを基本動作記憶部161か
ら読み出して、それを基本動作修飾生成部165に出力
する構成としてもよい。
In the present embodiment, the basic operation selecting section 163 stores the selected basic operation data in the basic operation storage section 1.
Although the configuration is such that 61 is output to the basic action modification generation unit 165, the present invention is not limited to this, and the basic action selection unit 163 is not limited to this.
May read the selected basic motion data from the basic motion storage unit 161 and output it to the basic motion modification generation unit 165.

【0131】また、本実施の形態では、入力装置162
により入力された指示に基づき動作修飾パラメータを設
定するとしたが、必ずしもこれに限らず、パラメータ設
定部164が操作者の所望する動作修飾パラメータを入
力するための入力部を備えているものとしてもよい。
Further, in the present embodiment, the input device 162 is used.
Although it has been stated that the motion modification parameter is set based on the instruction input by, the parameter setting unit 164 may be provided with an input unit for inputting the motion modification parameter desired by the operator. .

【0132】また、本実施の形態では、入力装置162
から入力された操作者の指示に基づき、所望する動作に
対応した画像処理が行われるものとしたが、必ずしもこ
れに限らず、アニメーションのような動画を生成するよ
うに記述されたプログラムの指示に基づき、画像処理が
行われるとしてもよい。
Further, in the present embodiment, the input device 162 is used.
Although it is assumed that the image processing corresponding to the desired motion is performed based on the operator's instruction input from, the instruction is not limited to this, and the instruction of the program described to generate a moving image such as animation is not limited to this. Based on this, image processing may be performed.

【0133】また、図16で示した本実施の形態の構成
では、付加動作生成部167は、基本動作修飾生成部1
65により生成された基本動作修飾データを考慮しなが
ら、付加動作データを生成し、そして、動作合成部16
8が、その基本動作修飾データと付加動作データを合成
する構成となっているが、必ずしもこれに限らず、付加
動作生成部167は、基本動作修飾データを考慮するこ
となく付加動作データを生成し、そして、動作合成部1
68が、基本動作修飾データを考慮しながら、その基本
動作修飾データに付加動作生成部167により生成され
た付加動作データを合成するとしてもよい。
In addition, in the configuration of the present embodiment shown in FIG. 16, the additional action generation section 167 is the basic action modification generation section 1
The additional motion data is generated while taking into consideration the basic motion modification data generated by 65, and the motion synthesis unit 16
8 is configured to combine the basic action modification data and the additional action data, but the configuration is not limited to this, and the additional action generation unit 167 generates the additional action data without considering the basic action modification data. , And behavioral synthesis unit 1
68 may combine the basic motion modification data with the basic motion modification data and combine the additional motion data generated by the additional motion generation unit 167.

【0134】図20は、図16で示した基本動作修飾生
成部165の別の実施の形態を示す構成図である。基本
動作修飾生成部165aの基本動作変更部201は、図
16のパラメータ設定部164により設定された動作修
飾パラメータを用いて、基本動作選択部163により選
択されて基本動作記憶部161から入力された基本動作
データに、基本動作修飾生成部165により使用された
逆離散コサイン変換を適用して、有効関節の各々に対す
る3次元関節角度を算出する。周期動作生成部202
は、基本動作変更部201により処理された動作が周期
的な動作である場合、その周期分の算出された3次元関
節角度を、所望する周期分反復することにより基本動作
修飾データを生成する。また、非周期動作生成部203
は、基本動作変更部201により処理された動作が非周
期的な動作である場合、反復せずに算出された3次元関
節角度から基本動作修飾データを生成する。
FIG. 20 is a block diagram showing another embodiment of the basic action modification generator 165 shown in FIG. The basic action modification unit 201 of the basic action modification generation unit 165a uses the action modification parameter set by the parameter setting unit 164 of FIG. 16, is selected by the basic action selection unit 163, and is input from the basic action storage unit 161. The inverse discrete cosine transform used by the basic motion modification generation unit 165 is applied to the basic motion data to calculate the three-dimensional joint angle for each effective joint. Periodic motion generation unit 202
When the motion processed by the basic motion changing unit 201 is a cyclic motion, the basic motion modification data is generated by repeating the calculated three-dimensional joint angle for the cycle for a desired period. In addition, the aperiodic motion generation unit 203
When the motion processed by the basic motion changing unit 201 is an aperiodic motion, the basic motion modification data is generated from the three-dimensional joint angle calculated without repeating.

【0135】図21は、図16で示した付加動作生成部
167の別の実施の形態を示す構成図である。付加動作
生成部167aの座標入力部211は、図16で示した
付加動作選択部166によって選択された付加動作に対
応して移動する座標を入力する。その移動する座標に関
するデータは、その付加動作に対応させられて、基本動
作記憶部161が記憶されている記憶装置又はそれとは
別の記憶装置に記憶されている。座標追跡部212は、
基本動作生成部165により生成された基本動作データ
による動作を考慮して、付加動作選択部166により選
択された付加動作の対象となる有効関節の先端に当たる
有効関節を、座標入力部211により入力される座標に
追従させることによって、付加動作データを生成する。
座標追跡部212は、インバースキネマティクスを使用
する。
FIG. 21 is a block diagram showing another embodiment of the additional action generator 167 shown in FIG. The coordinate input unit 211 of the additional action generation unit 167a inputs the coordinates that move in response to the additional action selected by the additional action selection unit 166 shown in FIG. The data relating to the coordinates to be moved is stored in the storage device in which the basic operation storage unit 161 is stored or in a storage device different from the storage device in association with the additional operation. The coordinate tracking unit 212
In consideration of the motion based on the basic motion data generated by the basic motion generation unit 165, the effective joint corresponding to the tip of the effective joint selected by the additional motion selection unit 166 is input by the coordinate input unit 211. The additional operation data is generated by following the coordinate set.
The coordinate tracking unit 212 uses inverse kinematics.

【0136】ここで、インバースキネマティクスの詳し
い計算方法について述べる。人が右手でボールを追う場
合の付加動作を例にして説明する。肘関節と肩関節の3
次元関節角度を、それぞれ(θ1x,θ1y,θ1z)と(θ
2x,θ2y,θ2z)とする。また、肩から肘までの長さを
l1z、肘から手までの長さをl2zとする。この時、肩の座
標系を基準とした時の、手先の位置の座標rは(数9)
で表すことができる。但し、o は肩の座標系の原点であ
る。また、Xθ、Yθ、Zθ、Ll は、それぞれ、X軸
回転、Y軸回転、Z軸回転、Z軸方向の平行移動のマト
リックスを表している。
Here, a detailed calculation method of inverse kinematics will be described. An additional operation when a person follows the ball with the right hand will be described as an example. Elbow joint and shoulder joint 3
The dimension joint angles are (θ1x, θ1y, θ1z) and (θ1x
2x, θ2y, θ2z). Also, the length from the shoulder to the elbow
l1z, and the length from the elbow to the hand is l2z. At this time, the coordinate r of the position of the hand with reference to the coordinate system of the shoulder is (Equation 9)
Can be represented by However, o is the origin of the shoulder coordinate system. Further, Xθ, Yθ, Zθ, and L 1 respectively represent a matrix of X-axis rotation, Y-axis rotation, Z-axis rotation, and parallel movement in the Z-axis direction.

【0137】[0137]

【数9】 [Equation 9]

【0138】これらの4式は、Θについて非線形である
ので、速度分解法により手先の位置の変化量がΘの変化
量に対して線形になり、(数10)で表される。但し、
Jはヤコビアンと呼ばれ、関数の偏微分値を要素として
持つマトリックスである。
Since these four expressions are non-linear with respect to Θ, the amount of change in the position of the hand becomes linear with respect to the amount of change in Θ by the velocity decomposition method and is represented by (Equation 10). However,
J is called a Jacobian, and is a matrix that has the partial differential value of the function as an element.

【0139】[0139]

【数10】 [Equation 10]

【0140】一般に、Jは正則では無いので、Jの転置
行列Jt を左からかけることで正則JtJとする。Jt
に逆行列が存在すると(数11)ようにδΘを求めるこ
とができる。
In general, since J is not regular, the transposed matrix J t of J is multiplied from the left to obtain regular J t J. J t J
If there is an inverse matrix in, δΘ can be obtained as in (Equation 11).

【0141】[0141]

【数11】 [Equation 11]

【0142】従って、ボールの移動量δrを手先の移動
量として入力することにより、有効関節の各々に対する
3次元関節角度の変化量δΘを計算することができ、付
加動作データを生成することができる。図22のように
「歩く」+「ボールを追う」という動きを実現できる。
このようにして、基本動作とは異なる動作をインバース
キネマティクスを用いて一部の関節に行なうことにより
状況に応じた動作をすることができる。図23は、付加
動作生成部167aを備えた図16の画像処理装置の動
作を示すフローチャートである。
Therefore, by inputting the movement amount δr of the ball as the movement amount of the hand, the change amount δΘ of the three-dimensional joint angle for each effective joint can be calculated, and the additional movement data can be generated. . As shown in FIG. 22, a motion of “walking” + “following the ball” can be realized.
In this way, by performing an action different from the basic action on some joints using inverse kinematics, it is possible to perform an action according to the situation. FIG. 23 is a flowchart showing the operation of the image processing apparatus of FIG. 16 provided with the additional operation generation unit 167a.

【0143】図24は、図16で示した付加動作生成部
167の別の実施の形態を示す構成図である。付加動作
生成部167bは、複数の座標入力部211-1から21
1-nと、それらに対応した複数の座標追跡部212-1か
ら212-nとにより構成される。各ペアの座標入力部と
座標追跡部は、図21と同様にして付加動作データを生
成する。これにより、例えば、人の左右の腕と左右の足
に対して付加動作データを生成することができる。各目
標座標をrk(xk, yk, zk)とすると、それぞれの目
標座標に対応する有効関節に対する付加動作生成部によ
る処理は(数12)で与えられる。
FIG. 24 is a block diagram showing another embodiment of the additional action generator 167 shown in FIG. The additional operation generation unit 167b is configured to include a plurality of coordinate input units 211-1 to 21-1.
1-n and a plurality of coordinate tracking units 212-1 to 212-n corresponding to them. The coordinate input unit and the coordinate tracking unit of each pair generate additional motion data in the same manner as in FIG. Thereby, for example, the additional motion data can be generated for the left and right arms and the left and right feet of a person. Assuming that each target coordinate is rk (xk, yk, zk), the process by the additional motion generation unit for the effective joint corresponding to each target coordinate is given by (Equation 12).

【0144】[0144]

【数12】 [Equation 12]

【0145】図21と同様にして、目標の移動量から有
効関節の各々に対する3次元関節角度の変化量を求め
る。δrkはk番目の目標座標の移動量(δx,δy,δ
z)、Jkは行列F(Θk)のヤコビアン、そしてΘkは
(θk1,θk2,…,θkN)tである。このように、それぞれ
の有効関節に対して独立に目標追跡動作をさせることも
可能である。従って、歩きながら右手と左手で違った目
標を追跡することができ、さらに複雑な動作をさせるこ
とが可能となる。
Similar to FIG. 21, the amount of change in the three-dimensional joint angle for each effective joint is obtained from the target amount of movement. δrk is the amount of movement of the kth target coordinate (δx, δy, δ
z), Jk is the Jacobian of the matrix F (Θk), and Θk is (θk1, θk2, ..., θkN) t. In this way, it is possible to independently perform the target tracking operation for each effective joint. Therefore, different targets can be tracked by the right hand and the left hand while walking, and more complicated motions can be performed.

【0146】図25は、図16で示した付加動作生成部
167の別の実施の形態を示す構成図である。付加動作
生成部167cの基準付加動作記憶部241は、所定の
付加動作に対して、フレーム毎に、有効関節の全部又は
一部の各々に対する3次元関節角度に関するデータを基
準付加動作データとして記憶するものである。基準付加
動作記憶部241では、例えば腕、脚、頭等の動きが関
数化されて記憶されている。頭部における動作は、「う
なずく」、「頭を横に振る」等の動作である。腕部にお
ける動作は、「手を振る」等、脚部の動作は「蹴る」等
である。図16の基本動作記憶部161と同様に、基準
付加動作記憶部241においても、3次元関節角度の時
間的変化に対して離散コサイン変換を適用した変換デー
タが記憶されている。基準付加動作記憶部241は、基
本動作記憶部161が記憶されている記憶装置に限ら
ず、別の記憶装置に記憶させてもよい。
FIG. 25 is a block diagram showing another embodiment of the additional action generator 167 shown in FIG. The reference additional motion storage unit 241 of the additional motion generating unit 167c stores, as the standard additional motion data, the data regarding the three-dimensional joint angles for all or some of the effective joints for each predetermined additional motion for each frame. It is a thing. In the reference addition operation storage unit 241, for example, the movements of the arm, leg, head, etc. are functionalized and stored. The motion on the head is a motion such as "nod" or "shake the head". The motion of the arm is "waving" and the motion of the leg is "kicking". Similar to the basic motion storage unit 161 of FIG. 16, the reference additional motion storage unit 241 also stores conversion data obtained by applying the discrete cosine transform to the temporal change of the three-dimensional joint angle. The reference addition operation storage unit 241 is not limited to the storage device in which the basic operation storage unit 161 is stored, and may be stored in another storage device.

【0147】付加動作読み出し部242は、基準付加動
作記憶部241で記憶されている複数の基準付加動作デ
ータから、図16で示した付加動作選択部166により
選択された付加動作に対応する基準付加動作データを読
み出し、それを付加動作修飾生成部244に入力させる
ものである。
The additional operation reading unit 242 adds the reference operation corresponding to the additional operation selected by the additional operation selecting unit 166 shown in FIG. 16 from the plurality of reference additional operation data stored in the reference additional operation storage unit 241. The action data is read out and input to the additional action modification generation unit 244.

【0148】付加動作修飾設定部243は、付加動作選
択部166により選択された付加動作に応じた動作修飾
パラメータを設定するものである。ここでは、図16で
示したパラメータ設定部164と同様の動作修飾パラメ
ータを使用するものとする。
The additional action modification setting unit 243 sets the action modification parameter according to the additional action selected by the additional action selecting unit 166. Here, it is assumed that the same operation modification parameter as that of the parameter setting unit 164 shown in FIG. 16 is used.

【0149】付加動作修飾生成部244は、図16で示
した基本動作修飾生成部165により生成された基本動
作修飾データを考慮して、付加動作修飾設定部243に
より設定された動作修飾パラメータを用いて、付加動作
読み出し部242により読み出された基準付加動作デー
タを変更し、付加動作データを生成するものである。
The additional action modification generation unit 244 uses the action modification parameter set by the additional motion modification setting unit 243 in consideration of the basic motion modification data generated by the basic motion modification generation unit 165 shown in FIG. Then, the reference additional motion data read by the additional motion reading unit 242 is changed to generate the additional motion data.

【0150】即ち、付加動作修飾生成部244は、付加
動作修飾設定部243により設定された動作修飾パラメ
ータを用いて、付加動作読み出し部242により読み出
された基準付加動作データに、基本動作修飾生成部16
5と同様の逆離散コサイン変換を適用して、3次元関節
角度を計算するものである。
That is, the additional motion modification generation unit 244 uses the motion modification parameter set by the additional motion modification setting unit 243 to generate the basic motion modification data in the standard additional motion data read by the additional motion read unit 242. Part 16
The inverse discrete cosine transform similar to that in 5 is applied to calculate the three-dimensional joint angle.

【0151】次に、「歩く」という基本動作に対して
「手を振る」という付加動作を付加する場合を例にし
て、付加動作生成部167cの動作について説明する。
付加動作選択部166により選択された付加動作が「大
きく手を振る」という動作である場合、付加動作読み出
し部242は基準付加動作記憶部241から「手を振
る」という動作を読み出す。付加動作修飾設定部243
は、付加動作選択部166により選択された付加動作の
「大きく」という動作に応じた動作修飾パラメータを設
定する。この場合、パラメータaは1.0より大きく設
定される。付加動作修飾生成部244は、「大きく」と
いう動作を表す動作修飾パラメータを用いて、読み出さ
れた「手を振る」を変更して、「大きく手を振る」とい
う動作である付加動作データを生成する。
Next, the operation of the additional motion generating section 167c will be described by taking as an example the case where the additional motion of "waving" is added to the basic motion of "walking".
When the additional action selected by the additional action selection unit 166 is the action of “shaking a large hand”, the additional action reading unit 242 reads the action of “waving a hand” from the reference additional action storage unit 241. Additional motion modification setting unit 243
Sets the motion modification parameter according to the motion of the additional motion “large” selected by the additional motion selection unit 166. In this case, the parameter a is set to be larger than 1.0. The additional motion modification generation unit 244 uses the motion modification parameter representing the motion of “large” to change the read “waving hand” to generate the additional motion data that is the motion of “large motion”. To generate.

【0152】また、動作修飾パラメータのbを1.0よ
り大きくすることにより、「速く」という動作修飾を
「手を振る」に加えることができる。
By setting the motion modification parameter b to be larger than 1.0, the motion modification of "fast" can be added to "waving".

【0153】このようにして、図26のように「歩く」
+「(大きく)手を振る」という動作を実現することが
できる。このように、意味のある部分的な動作を付加動
作とすることで、状況に合った動作をさせることが可能
となる。また、付加動作データに対する動作修飾パラメ
ータを変化させることにより、大きな動作、小さな動作
を実現することができる。また、図27は、付加動作生
成部167cを備えた図16の画像処理装置の動作を示
すフローチャートを示す。
In this way, "walk" as shown in FIG.
+ It is possible to realize an operation of “waving hands (largely)”. In this way, by making a meaningful partial operation an additional operation, it is possible to perform an operation suitable for the situation. Further, by changing the motion modification parameter for the additional motion data, it is possible to realize a large motion and a small motion. Further, FIG. 27 is a flowchart showing the operation of the image processing apparatus of FIG. 16 provided with the additional operation generating unit 167c.

【0154】図28は、図16で示した付加動作生成部
167の別の実施の形態を示す構成図である。付加動作
生成部167dは、複数の付加動作データを生成するこ
とができるものであり、個々の構成要素は図25と同様
のものである。基準付加動作記憶部271は、所定の付
加動作に対して、フレーム毎に、有効関節の全部又は一
部の各々に対する3次元関節角度に関するデータを基準
付加動作データとして記憶するものである。
FIG. 28 is a block diagram showing another embodiment of the additional action generator 167 shown in FIG. The additional operation generation unit 167d is capable of generating a plurality of additional operation data, and individual constituent elements are the same as those in FIG. The reference additional motion storage unit 271 stores, as reference additional motion data, data regarding a three-dimensional joint angle for all or some of the effective joints for each frame for a predetermined additional motion.

【0155】付加動作読み出し部242-1から242-n
は、それぞれ、基準付加動作記憶部271で記憶されて
いる複数の基準付加動作データから、図16で示した付
加動作選択部166により選択された付加動作に対応す
る基準付加動作データを読み出し、付加動作修飾生成部
244-1から244-nに入力させるものである。
Additional operation reading units 242-1 to 242-n
Respectively reads the reference addition operation data corresponding to the addition operation selected by the addition operation selection unit 166 shown in FIG. 16 from the plurality of reference addition operation data stored in the reference addition operation storage unit 271 and adds the data. The motion modification generation units 244-1 to 244-n are made to input.

【0156】付加動作修飾設定部243-1から243-n
は、それぞれ付加動作選択部166により選択された付
加動作に応じた動作修飾パラメータを設定するものであ
る。
Additional action modification setting units 243-1 to 243-n
Are for setting motion modification parameters corresponding to the additional motions selected by the additional motion selection unit 166.

【0157】付加動作修飾生成部244-1から244-n
は、それぞれ、図16で示した基本動作修飾生成部16
5により生成された基本動作修飾データを考慮して、付
加動作修飾設定部243-1から243-nにより設定され
た動作修飾パラメータを用いて、付加動作読み出し部2
42-1から242-nにより読み出された基準付加動作デ
ータを変更し、付加動作データを生成するものである。
Additional action modification generators 244-1 to 244-n
Are respectively the basic action modification generation units 16 shown in FIG.
In consideration of the basic motion modification data generated by 5, the additional motion reading unit 2 uses the motion modification parameters set by the additional motion modification setting units 243-1 to 243-n.
The reference additional motion data read by 42-1 to 242-n is changed to generate the additional motion data.

【0158】この付加動作生成部167dを具備した図
16の画像処理装置によれば、基本動作に追加すること
ができる複数の付加動作を選択することができる。付加
動作生成部167dは、付加動作選択部166により選
択された複数の付加動作に対して、それぞれ動作修飾パ
ラメータを設定し、それらに基づき複数の付加動作デー
タを生成する。
According to the image processing apparatus of FIG. 16 equipped with the additional motion generating section 167d, it is possible to select a plurality of additional motions that can be added to the basic motion. The additional motion generation unit 167d sets motion modification parameters for each of the plurality of additional motions selected by the additional motion selection unit 166, and generates a plurality of additional motion data based on these parameters.

【0159】例えば、「うなずく」と「手を振る」とい
う付加動作を基本動作「歩く」に加えることが可能とな
る。このとき、動作修飾パラメータを変化することによ
り、大きくうなずく、速くうなずくなど、また、大きく
手を振る、速く手を振るなどの動作を同時に実現するこ
とができる。このように、さらにバリエーションのある
動作を生成することができる。
For example, it becomes possible to add the additional motions of "nodding" and "waving" to the basic motion "walking". At this time, by changing the motion modification parameter, it is possible to simultaneously realize a large nod, a fast nod, a large hand shake, and a fast hand shake. In this way, it is possible to generate more varied motions.

【0160】また付加動作として、データベースを用い
る方法とインバースキネマティクスを用いる方法を併用
することにより、さらに柔軟な動作生成を実現すること
ができる。例えば、左手でボールを追いながら、右手を
振りながら大きく歩くということも実現することができ
る。図29は、データベースを用いる方法とインバース
キネマティクスを用いる方法を結合した時の処理の流れ
を示したフローチャートである。
Further, by additionally using the method using the database and the method using the inverse kinematics as the additional operation, it is possible to realize more flexible operation generation. For example, it is possible to realize walking the ball with the left hand and waving while swinging the right hand. FIG. 29 is a flowchart showing the flow of processing when the method using the database and the method using the inverse kinematics are combined.

【0161】[0161]

【発明の効果】以上説明したことから明らかなように、
本発明の画像処理装置は、有効関節とそれと隣接する有
効関節との間に対応する物体の部位を一義的に当てはめ
ることができ、また、物体の1方向の向きを考慮するこ
とができる固有座標系を用いることにより、標準動作に
おける画像の合成を簡単に行うことができる効果を有す
る。
As is apparent from the above description,
The image processing apparatus of the present invention can uniquely fit the corresponding part of the object between the effective joint and the adjacent effective joint, and can also take into account the unidirectional orientation of the object. By using the system, it is possible to easily synthesize images in standard operation.

【0162】また、本発明の画像処理装置は、有効関節
に対する3次元関節角度を用いて、捻り、回転等の動作
を簡単に行わせることができる効果を有する。
Further, the image processing apparatus of the present invention has an effect that operations such as twisting and rotating can be easily performed by using the three-dimensional joint angle with respect to the effective joint.

【0163】また、本発明の画像処理装置は、有効関節
に対する固有座標系と3次元関節角度を用いれば、様々
な動作修飾を簡単に実行させることができる効果を有す
る。
Further, the image processing apparatus of the present invention has an effect that various motion modifications can be easily executed by using the proper coordinate system and the three-dimensional joint angle with respect to the effective joint.

【0164】また、本発明の画像処理装置によれば、3
次元関節角度を関数化した基本動作データとそれに付加
できる付加動作データとに分割することにより、動作の
データ量、計算量を小さくするだけでなく、状況に応じ
た多様動作データの生成が可能となる。
Further, according to the image processing apparatus of the present invention, 3
By dividing the dimensional joint angle into basic motion data that has been converted into a function and additional motion data that can be added to it, it is possible to not only reduce the amount of motion data and calculation amount, but also generate various motion data according to the situation. Become.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の請求項1記載の画像処理装置に係る実
施の一形態の構成図
FIG. 1 is a configuration diagram of an embodiment of an image processing apparatus according to claim 1 of the present invention.

【図2】人が走っている時の関節の位置を模式的に示し
た図
FIG. 2 is a diagram schematically showing the positions of joints when a person is running.

【図3】4関節固有座標系の決定の様子を示す図FIG. 3 is a diagram showing how the four-joint unique coordinate system is determined.

【図4】3関節固有座標系の決定の様子を示す図FIG. 4 is a diagram showing a state of determining a unique coordinate system for three joints.

【図5】2関節固有座標系の決定の様子を示す図FIG. 5 is a diagram showing how the two-joint unique coordinate system is determined.

【図6】2関節固有座標系、3関節固有座標系及び4関
節固有座標系の決定に関するフローチャート
FIG. 6 is a flowchart regarding determination of a 2-joint unique coordinate system, a 3-joint unique coordinate system, and a 4-joint unique coordinate system.

【図7】関節に対する3次元関節角度の算出の様子を示
す図
FIG. 7 is a diagram showing a state of calculating a three-dimensional joint angle with respect to a joint.

【図8】図7で示した親関節に対する固有座標系をzx
y軸の順番で軸回転させた場合に、その子関節に対する
固有座標系になること示す図
FIG. 8 is a graph showing the unique coordinate system for the parent joint shown in FIG.
Diagram showing that when the axes are rotated in the order of the y-axis, the unique coordinate system for the child joint is obtained.

【図9】エネルギー変位モードにより、関節に対する3
次元関節角度の変位を行う関節角度変位装置14の構成
FIG. 9 shows 3 for a joint according to the energy displacement mode.
Configuration diagram of a joint angle displacement device 14 for performing displacement of a three-dimensional joint angle

【図10】次数変位モードにより、各々の関節に対する
各々の3次元関節角度の変位を行う関節角度変位装置1
4の構成図
FIG. 10 is a joint angle displacement device 1 for performing displacement of each three-dimensional joint angle with respect to each joint in the order displacement mode.
Configuration diagram of 4

【図11】動作速度変位モードにより、各々の関節に対
する各々の3次元関節角度の変位を行う関節角度変位装
置14の構成図
FIG. 11 is a configuration diagram of a joint angle displacement device 14 that performs displacement of each three-dimensional joint angle with respect to each joint in a motion velocity displacement mode.

【図12】エネルギー・次数複合変位モードにより、3
次元関節角度の変位を行う関節角度変位装置14の構成
FIG. 12: 3 by the energy / order composite displacement mode
Configuration diagram of a joint angle displacement device 14 for performing displacement of a three-dimensional joint angle

【図13】エネルギー・次数・動作速度複合変位モード
により、3次元関節角度の変位を行う関節角度変位装置
14の構成図
FIG. 13 is a configuration diagram of a joint angle displacement device 14 that displaces a three-dimensional joint angle by an energy / order / movement speed composite displacement mode.

【図14】本発明の請求項10記載の画像処理装置に係
る実施の一形態の構成図
FIG. 14 is a configuration diagram of an embodiment of an image processing apparatus according to claim 10 of the present invention.

【図15】本発明の請求項19記載の画像処理装置に係
る実施の一形態の構成図
FIG. 15 is a configuration diagram of an embodiment of an image processing apparatus according to claim 19 of the present invention.

【図16】本発明の請求項25記載の画像処理装置に係
る実施の一形態の構成図
FIG. 16 is a configuration diagram of an embodiment of an image processing apparatus according to claim 25 of the present invention.

【図17】図2(b)で示した人に関するスケルトンモ
デルが動作することにより、その有効関節の各々に対す
る3次元関節角度が時間的に変化する様子を示す図
FIG. 17 is a diagram showing that the three-dimensional joint angle with respect to each of the effective joints changes temporally by operating the skeleton model for the person shown in FIG. 2B.

【図18】図17を離散コサイン変換により関数近似し
た例を示す図
FIG. 18 is a diagram showing an example of function approximation of FIG. 17 by discrete cosine transform.

【図19】DCT変換後のエネルギーが、変換係数の低
周波成分に集中する例を示す図
FIG. 19 is a diagram showing an example in which energy after DCT conversion is concentrated on low-frequency components of conversion coefficients.

【図20】図16で示した基本動作修飾生成部165の
別の実施の形態を示す構成図
FIG. 20 is a configuration diagram showing another embodiment of the basic action modification generation unit 165 shown in FIG.

【図21】図16で示した付加動作生成部167の別の
実施の形態を示す構成図
FIG. 21 is a configuration diagram showing another embodiment of the additional action generation unit 167 shown in FIG.

【図22】「歩く」+「ボールを追う」という動作を実
現する例を示す図
FIG. 22 is a diagram showing an example of realizing an operation of “walking” + “following the ball”.

【図23】付加動作生成部167aを備えた図16の画
像処理装置の動作を示すフローチャート
FIG. 23 is a flowchart showing the operation of the image processing apparatus of FIG. 16 including the additional operation generation unit 167a.

【図24】図16で示した付加動作生成部167の別の
実施の形態を示す構成図
FIG. 24 is a configuration diagram showing another embodiment of the additional action generation unit 167 shown in FIG.

【図25】図16で示した付加動作生成部167の別の
実施の形態を示す構成図
FIG. 25 is a configuration diagram showing another embodiment of the additional action generation unit 167 shown in FIG.

【図26】「歩く」+「(大きく)手を振る」という動
作を実現する例を示す図
FIG. 26 is a diagram showing an example of realizing an operation of “walking” + “waving hands (largely)”.

【図27】付加動作生成部167cを備えた図16の画
像処理装置の動作を示すフローチャート
FIG. 27 is a flowchart showing the operation of the image processing apparatus of FIG. 16 provided with the additional operation generation unit 167c.

【図28】図16で示した付加動作生成部167の別の
実施の形態を示す構成図
28 is a configuration diagram showing another embodiment of the additional action generation unit 167 shown in FIG.

【図29】データベースを用いる方法とインバースキネ
マティクスを用いる方法を結合した時の処理の流れを示
したフローチャート
FIG. 29 is a flowchart showing a processing flow when a method using a database and a method using inverse kinematics are combined.

【符号の説明】[Explanation of symbols]

10…画像処理装置 11…3次元関節位置記憶部 12…固有座標系決定部 13…3次元関節角度算出部 14…3次元関節角度変位部 15…形状データ記憶部 16…動作合成部 17…入力装置 18…制御部 140…画像処理装置 141…固有座標系記憶部 142…3次元関節角度算出部 143…関節角度変位部 144…固有座標系生成部 145…形状データ記憶部 146…動作合成部 147…入力装置 148…制御部 150…画像処理装置 151…3次元関節角度記憶部 152…固有座標系決定部 153…関節角度変位部 154…固有座標系生成部 155…動作合成部 156…形状データ記憶部 157…入力装置 158…制御部 160…画像処理装置 161…基本動作記憶部 162…入力装置 163…基本動作選択部 164…パラメータ設定部 165…基本動作修飾生成部 166…付加動作選択部 167…付加動作生成部 168…動作合成部 10 ... Image processing device 11 ... 3D joint position storage unit 12 ... Unique coordinate system determination unit 13 ... 3D joint angle calculation unit 14 ... 3D joint angle displacement unit 15 ... Shape data storage unit 16 ... Motion synthesis unit 17 ... Input Device 18 ... Control unit 140 ... Image processing device 141 ... Unique coordinate system storage unit 142 ... Three-dimensional joint angle calculation unit 143 ... Joint angle displacement unit 144 ... Unique coordinate system generation unit 145 ... Shape data storage unit 146 ... Motion synthesis unit 147 Input device 148 Control unit 150 Image processing device 151 Three-dimensional joint angle storage unit 152 Proper coordinate system determination unit 153 Joint angle displacement unit 154 Proper coordinate system generation unit 155 Behavior combination unit 156 Shape data storage Unit 157 ... Input device 158 ... Control unit 160 ... Image processing device 161 ... Basic operation storage unit 162 ... Input device 163 ... Basic operation selection unit 16 4 ... Parameter setting unit 165 ... Basic action modification generation unit 166 ... Additional action selection unit 167 ... Additional action generation unit 168 ... Behavior synthesis unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 9365−5H G06F 15/62 322 M 9365−5H 340 K ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location 9365-5H G06F 15/62 322 M 9365-5H 340 K

Claims (30)

【特許請求の範囲】[Claims] 【請求項1】 複数の関節を有する物体が所定の動作を
行う場合、その動作の1周期又は複数の周期を単位とす
る標準動作に対するフレーム毎に、前記複数の関節の全
部又は一部である有効関節の各々に対する3次元座標位
置を記憶している3次元関節位置記憶手段と、 前記有効関節の各々に対する複数の、前記有効関節に対
して固有の3次元座標系である、固有座標系に対応する
前記物体の部位に関する形状データを記憶している形状
データ記憶手段と、 前記3次元関節位置記憶手段で記憶されている3次元座
標位置に基づき、前記有効関節の各々に対する固有座標
系を決定する固有座標系決定手段と、 所望する動作修飾の態様に従って、前記固有座標系決定
手段により決定された固有座標系に基づき、前記有効関
節の全部又は一部の各々に対する、固有座標系とそれと
隣接する固有座標系との間の3次元角度である、3次元
関節角度を算出する3次元関節角度算出手段と、 前記動作修飾の態様に応じて、前記3次元関節角度算出
手段により算出された3次元関節角度に基づき、前記有
効関節の全部又は一部の各々に対する3次元関節角度を
変位させる関節角度変位手段と、 前記動作修飾の態様に応じて、前記3次元関節角度算出
手段により算出された3次元関節角度及び/又は前記関
節角度変位手段により変位された3次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する固有座
標系を生成する固有座標系生成手段と、 前記動作修飾の態様に応じて、前記固有座標系決定手段
により決定された固有座標系及び/又は前記固有座標系
生成手段により生成された固有座標系に基づいて、前記
有効関節の各々に、該当する前記形状データの割当てを
行う動作合成手段とを備えたことを特徴とする画像処理
装置。
1. When an object having a plurality of joints performs a predetermined motion, all or some of the plurality of joints are included in each frame for a standard motion in which one cycle of the motion or a plurality of cycles is a unit. A three-dimensional joint position storage unit that stores a three-dimensional coordinate position for each effective joint, and a plurality of unique joint coordinate systems for each of the effective joints, which is a unique three-dimensional coordinate system for the effective joint. A unique coordinate system for each of the effective joints is determined based on the shape data storage unit that stores the shape data relating to the corresponding part of the object and the three-dimensional coordinate position stored by the three-dimensional joint position storage unit. And a unique coordinate system determining means for performing each of the effective joints based on the unique coordinate system determined by the unique coordinate system determining means according to a desired mode of motion modification. A three-dimensional joint angle calculating means for calculating a three-dimensional joint angle, which is a three-dimensional angle between the intrinsic coordinate system and an adjacent intrinsic coordinate system, and the three-dimensional joint according to the mode of motion modification. Joint angle displacement means for displacing the three-dimensional joint angles for all or some of the effective joints based on the three-dimensional joint angles calculated by the angle calculation means, and the three-dimensional joints according to the mode of motion modification. Unique coordinates for generating a unique coordinate system for all or some of the effective joints based on the three-dimensional joint angle calculated by the joint angle calculation means and / or the three-dimensional joint angle displaced by the joint angle displacement means A system generation means, and a fixed coordinate system generated by the proper coordinate system determined by the proper coordinate system determination means and / or the proper coordinate system generation means in accordance with the behavior modification mode. Based on the coordinate system, the effective in each of the joints, corresponding image processing apparatus characterized by comprising an operation combining means for performing the allocation of the shape data.
【請求項2】 前記固有座標系決定手段は、 固有座標系が決定される有効関節である目的関節からそ
れと隣接する第1の関節に向かうベクトルを、その目的
関節に対する固有座標系の第1軸とし、 前記目的関節にそれぞれ隣接する第2の関節から第3の
関節に向かうベクトルを仮のベクトルとし、 前記仮のベクトルと前記第1軸との外積を前記目的関節
に対する固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記目的関節に対す
る固有座標系の第3軸とすることを特徴とする請求項1
記載の画像処理装置。
2. The proper coordinate system determining means determines a vector from a target joint, which is an effective joint for which the proper coordinate system is determined, to a first joint adjacent thereto, as a first axis of the proper coordinate system for the target joint. And a vector from the second joint adjacent to the target joint to the third joint is defined as a temporary vector, and an outer product of the temporary vector and the first axis is defined as a second coordinate of the unique coordinate system with respect to the target joint. An axis is defined as an axis, and an outer product of the first axis and the second axis is defined as a third axis of an intrinsic coordinate system with respect to the target joint.
The image processing device described.
【請求項3】 前記固有座標系決定手段は、 固有座標系が決定される有効関節である目的関節からそ
れと隣接する第1の関節に向かうベクトルを、その目的
関節に対する固有座標系の第1軸とし、 前記目的関節からそれと隣接する第2の関節に向かうベ
クトルと前記第1軸との合成ベクトル又はその逆ベクト
ルを仮のベクトルとし、 前記仮のベクトルと前記第1軸との外積を前記目的関節
に対する固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記目的関節に対す
る固有座標系の第3軸とすることを特徴とする請求項1
記載の画像処理装置。
3. The proper coordinate system determining means determines a vector from a target joint, which is an effective joint for which the proper coordinate system is determined, to a first joint adjacent to the target joint, as a first axis of the proper coordinate system for the target joint. And a composite vector of the vector from the target joint to the second joint adjacent thereto and the first axis or its inverse vector is a temporary vector, and an outer product of the temporary vector and the first axis is the target The second axis of the proper coordinate system for the joint, and the outer product of the first axis and the second axis is the third axis of the proper coordinate system for the target joint.
The image processing device described.
【請求項4】 前記固有座標系決定手段は、 固有座標系が決定される有効関節である目的関節からそ
れと隣接する第1の関節に向かうベクトルを、その目的
関節に対する固有座標系の第1軸とし、 前記目的関節と隣接する第2の関節に対する固有座標系
のうち、その第2の関節から前記目的関節に向かうベク
トルに基づき決定された座標軸を除く残りのどちらか一
方の座標軸と前記第1軸との外積を前記目的関節に対す
る固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記目的関節に対す
る固有座標系の第3軸とすることを特徴とする請求項1
記載の画像処理装置。
4. The proper coordinate system determining means determines a vector from a target joint, which is an effective joint for which the proper coordinate system is determined, to a first joint adjacent thereto, as a first axis of the proper coordinate system for the target joint. In the proper coordinate system for the second joint adjacent to the target joint, one of the remaining coordinate axes other than the coordinate axis determined based on the vector from the second joint to the target joint and the first joint An outer product with an axis is set as a second axis of the proper coordinate system for the target joint, and a cross product of the first axis and the second axis is set as a third axis of the proper coordinate system for the target joint. Item 1
The image processing device described.
【請求項5】 前記関節角度変位手段は、 前記有効関節の全部又は一部の各々に対する3次元関節
角度に離散コサイン変換を適用し、DCT係数を出力す
る離散コサイン変換手段と、 前記DCT係数の各々に含まれる所定の要素を変位する
変換係数変位手段と、 前記離散コサイン変換手段により出力されたDCT係数
又は前記変換係数変位手段により変位されたDCT係数
に逆離散コサイン変換を適用する逆離散コサイン変換手
段とを備えたことを特徴とする請求項1記載の画像処理
装置。
5. The joint angle displacement means applies a discrete cosine transform to a three-dimensional joint angle for each of all or some of the effective joints, and outputs a DCT coefficient. Transform coefficient displacing means for displacing a predetermined element included in each of them, and inverse discrete cosine transform for applying an inverse discrete cosine transform to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacing means The image processing apparatus according to claim 1, further comprising a conversion unit.
【請求項6】 前記所定の要素とは、周波数成分のエネ
ルギー及び/又は選択次数であることを特徴とする請求
項5記載の画像処理装置。
6. The image processing apparatus according to claim 5, wherein the predetermined element is energy of a frequency component and / or a selected order.
【請求項7】 前記逆離散コサイン変換手段は、前記D
CT係数又は前記変位されたDCT係数に適用する前記
逆離散コサイン変換を制限することを特徴とする請求項
5記載の画像処理装置。
7. The inverse discrete cosine transforming means comprises:
The image processing apparatus according to claim 5, wherein the inverse discrete cosine transform applied to the CT coefficient or the displaced DCT coefficient is limited.
【請求項8】 前記固有座標系生成手段は、前記有効関
節に対する3次元関節角度を用いて、その有効関節に対
する固有座標系の3軸をそれぞれ軸回転することによ
り、その有効関節と隣接する有効関節に対する固有座標
系を生成することを特徴とする請求項1記載の画像処理
装置。
8. The unique coordinate system generation means uses the three-dimensional joint angle with respect to the effective joint to rotate each of the three axes of the unique coordinate system with respect to the effective joint so that the effective joint adjacent to the effective joint is rotated. The image processing apparatus according to claim 1, wherein a unique coordinate system for the joint is generated.
【請求項9】 複数の関節を有する物体が所定の動作を
行う場合、その動作の1周期又は複数の周期を単位とす
る標準動作に対するフレーム毎に、前記複数の全部又は
一部である有効関節の各々に対する、前記有効関節に対
して固有の3次元座標系である、固有座標系を記憶して
いる固有座標系記憶手段と、 前記有効関節の各々に対する複数の固有座標系に対応す
る前記物体の部位に関する形状データを記憶している形
状データ記憶手段と、 所望する動作修飾の態様に従って、前記固有座標系記憶
手段で記憶されている固有座標系に基づき、前記有効関
節の全部又は一部の各々に対する、固有座標系とそれと
隣接する固有座標系との間の3次元角度である、3次元
関節角度を算出する3次元関節角度算出手段と、 前記動作修飾の態様に応じて、前記3次元関節角度算出
手段により算出された3次元関節角度に基づき、前記有
効関節の全部又は一部の各々に対する3次元関節角度を
変位させる関節角度変位手段と、 前記動作修飾の態様に応じて、前記3次元関節角度算出
手段により算出された3次元関節角度及び/又は前記関
節角度変位手段により変位された3次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する固有座
標系を生成する固有座標系生成手段と、 前記動作修飾の態様に応じて、前記固有座標系記憶手段
で記憶されている固有座標系及び/又は前記固有座標系
生成手段により生成された固有座標系に基づいて、前記
有効関節の各々に、該当する前記形状データの割当てを
行う動作合成手段とを備えたことを特徴とする画像処理
装置。
9. When an object having a plurality of joints performs a predetermined motion, effective joints that are all or a part of the plurality of motions for each frame for a standard motion in a unit of one cycle or a plurality of cycles of the motion. A unique coordinate system storage unit that stores a unique coordinate system, which is a three-dimensional coordinate system unique to the effective joint, and the object corresponding to a plurality of unique coordinate systems for each of the effective joints. Shape data storage means for storing shape data relating to the body part, and all or part of the effective joint based on the proper coordinate system stored in the proper coordinate system storage means according to a desired mode of motion modification. Three-dimensional joint angle calculation means for calculating a three-dimensional joint angle, which is a three-dimensional angle between the proper coordinate system and the adjacent proper coordinate system for each of them, and, according to the mode of motion modification, A joint angle displacing means for displacing the three-dimensional joint angles for all or some of the effective joints based on the three-dimensional joint angles calculated by the three-dimensional joint angle calculating means; Then, based on the three-dimensional joint angle calculated by the three-dimensional joint angle calculation means and / or the three-dimensional joint angle displaced by the joint angle displacement means, a proper coordinate system for all or some of the effective joints. And a unique coordinate system generated by the unique coordinate system generation means, and / or the unique coordinate system stored in the unique coordinate system storage means according to the mode of operation modification. An image processing apparatus comprising: a motion synthesizing unit that allocates the corresponding shape data to each of the effective joints based on the motion synthesizing unit.
【請求項10】 前記固有座標系記憶手段が記憶してい
る固有座標系は、 固有座標系が決定される有効関節である目的関節からそ
れと隣接する第1の関節に向かうベクトルを、その目的
関節に対する固有座標系の第1軸とし、 前記目的関節にそれぞれ隣接する第2の関節から第3の
関節に向かうベクトルを仮のベクトルとし、 前記仮のベクトルと前記第1軸との外積を前記目的関節
に対する固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記目的関節に対す
る固有座標系の第3軸とすることにより決定されること
を特徴とする請求項9記載の画像処理装置。
10. The proper coordinate system stored in the proper coordinate system storage means is a vector that directs a vector from a target joint, which is an effective joint for which the proper coordinate system is determined, to a first joint adjacent to the target joint. Is a first axis of the proper coordinate system, and a vector from the second joint adjacent to the target joint to the third joint is a temporary vector, and an outer product of the temporary vector and the first axis is the target 10. The second axis of the unique coordinate system for the joint is determined, and the outer product of the first axis and the second axis is determined as the third axis of the unique coordinate system for the target joint. The image processing device described.
【請求項11】 前記固有座標系記憶手段が記憶してい
る固有座標系は、 固有座標系が決定される有効関節である目的関節からそ
れと隣接する第1の関節に向かうベクトルを、その目的
関節に対する固有座標系の第1軸とし、 前記目的関節からそれと隣接する第2の関節に向かうベ
クトルと前記第1軸との合成ベクトル又はその逆ベクト
ルを仮のベクトルとし、 前記仮のベクトルと前記第1軸との外積を前記目的関節
に対する固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記目的関節に対す
る固有座標系の第3軸とすることにより決定されること
を特徴とする請求項9記載の画像処理装置。
11. The eigencoordinate system stored in the eigencoordinate system storage means is a vector from a target joint, which is an effective joint for which the eigencoordinate system is determined, to a first joint adjacent thereto, Is a first axis of the proper coordinate system with respect to the first joint, a vector from the target joint to the second joint adjacent thereto and the first axis or the inverse vector thereof is a temporary vector, and the temporary vector and the first vector It is determined by setting the outer product of the first axis as the second axis of the proper coordinate system for the target joint, and the outer product of the first axis and the second axis as the third axis of the proper coordinate system for the target joint. The image processing apparatus according to claim 9, wherein
【請求項12】 前記固有座標系記憶手段が記憶してい
る固有座標系は、 固有座標系を決定する関節となる目的関節からそれと隣
接する第1の関節に向かうベクトルを、その目的関節に
対する固有座標系の第1軸とし、 前記目的関節と隣接する第2の関節に対する固有座標系
のうち、その第2の関節から前記目的関節に向かうベク
トルに基づき決定された座標軸を除く残りのどちらか一
方の座標軸と前記第1軸との外積を前記目的関節に対す
る固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記目的関節に対す
る固有座標系の第3軸とすることにより決定されること
を特徴とする請求項9記載の画像処理装置。
12. The eigencoordinate system stored in the eigencoordinate system storage means is a vector for directing a vector from a target joint, which is a joint that determines the eigencoordinate system, toward a first joint adjacent thereto, to the target joint. The first axis of the coordinate system, and one of the other than the coordinate axis determined based on the vector from the second joint to the target joint in the proper coordinate system for the second joint adjacent to the target joint The outer product of the coordinate axes of the above and the first axis is the second axis of the proper coordinate system for the target joint, and the outer product of the first axis and the second axis is the third axis of the proper coordinate system for the target joint. The image processing device according to claim 9, wherein the image processing device is determined by
【請求項13】 前記関節角度変位手段は、 前記有効関節の全部又は一部の各々に対する3次元関節
角度に離散コサイン変換を適用し、DCT係数を出力す
る離散コサイン変換手段と、 前記DCT係数の各々に含まれる所定の要素を変位する
変換係数変位手段と、 前記離散コサイン変換手段により出力されたDCT係数
又は前記変換係数変位手段により変位されたDCT係数
に逆離散コサイン変換を適用する逆離散コサイン変換手
段とを備えたことを特徴とする請求項9記載の画像処理
装置。
13. The joint angle displacement means applies a discrete cosine transform to the three-dimensional joint angles for all or some of the effective joints, and outputs a DCT coefficient. Transform coefficient displacing means for displacing a predetermined element included in each of them, and inverse discrete cosine transform for applying an inverse discrete cosine transform to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacing means The image processing apparatus according to claim 9, further comprising a conversion unit.
【請求項14】 前記所定の要素とは、周波数成分のエ
ネルギー及び/又は選択次数であることを特徴とする請
求項13記載の画像処理装置。
14. The image processing apparatus according to claim 13, wherein the predetermined element is energy of a frequency component and / or a selected order.
【請求項15】 前記逆離散コサイン変換手段は、前記
DCT係数又は前記変位されたDCT係数に適用する前
記逆離散コサイン変換を制限することを特徴とする請求
項13記載の画像処理装置。
15. The image processing apparatus according to claim 13, wherein the inverse discrete cosine transform means limits the inverse discrete cosine transform applied to the DCT coefficient or the displaced DCT coefficient.
【請求項16】 前記固有座標系生成手段は、前記有効
関節に対する3次元関節角度を用いて、その有効関節に
対する固有座標系の3軸をそれぞれ軸回転することによ
り、その有効関節と隣接する有効関節に対する固有座標
系を生成することを特徴とする請求項9記載の画像処理
装置。
16. The proper coordinate system generating means uses the three-dimensional joint angle with respect to the effective joint to rotate each of the three axes of the proper coordinate system with respect to the effective joint, thereby enabling the effective joint adjacent to the effective joint. The image processing apparatus according to claim 9, wherein a unique coordinate system for the joint is generated.
【請求項17】 複数の関節を有する物体が所定の動作
を行う場合、その動作の1周期又は複数の周期を単位と
する標準動作に対するフレーム毎に、前記複数の関節の
全部又は一部である有効関節の各々に対する、前記有効
関節に対して固有の3次元座標系である固有座標系とそ
れと隣接する固有座標系との間の3次元角度である、3
次元関節角度を記憶している3次元関節角度記憶手段
と、 前記有効関節の各々に対する複数の固有座標系に対応す
る前記物体の部位に関する形状データを記憶している形
状データ記憶手段と、 根の関節に対する固有座標系と前記3次元関節角度記憶
手段で記憶されている3次元関節角度に基づき、前記有
効関節の各々に対する固有座標系を決定する固有座標系
決定手段と、 所望する動作修飾の態様に応じて、前記3次元関節角度
記憶手段で記憶されている3次元関節角度に基づき、前
記有効関節の全部又は一部の各々に対する3次元関節角
度を変位させる関節角度変位手段と、 前記動作修飾の態様に応じて、前記3次元関節角度記憶
手段で記憶されている3次元関節角度及び/又は前記関
節角度変位手段により変位された3次元関節角度に基づ
き、前記有効関節の全部又は一部の各々に対する固有座
標系を生成する固有座標系生成手段と、 前記動作修飾の態様に応じて、前記固有座標系決定手段
により決定された固有座標系及び/又は前記固有座標系
生成手段により生成された固有座標系に基づいて、前記
有効関節の各々に、該当する前記形状データの割当てを
行う動作合成手段とを備えたことを特徴とする画像処理
装置。
17. When an object having a plurality of joints performs a predetermined motion, all or some of the plurality of joints are included in each frame for a standard motion in which one cycle of the motion or a plurality of cycles is used as a unit. For each of the effective joints, the three-dimensional angle between the proper coordinate system which is the proper three-dimensional coordinate system for the effective joint and the adjacent proper coordinate system, 3
A three-dimensional joint angle storage unit that stores a three-dimensional joint angle; a shape data storage unit that stores shape data relating to a part of the object corresponding to a plurality of unique coordinate systems for each of the effective joints; A unique coordinate system determining unit that determines a unique coordinate system for each of the effective joints based on the unique coordinate system for the joint and the three-dimensional joint angle stored in the three-dimensional joint angle storage unit, and a desired motion modification mode. According to the three-dimensional joint angle storage means, the joint angle displacement means for displacing the three-dimensional joint angles for all or some of the effective joints based on the three-dimensional joint angles stored in the three-dimensional joint angle storage means; According to the aspect, the three-dimensional joint angle stored in the three-dimensional joint angle storage means and / or the three-dimensional joint angle displaced by the joint angle displacement means Based on the proper coordinate system generating means for generating a proper coordinate system for each of all or some of the effective joints, and the proper coordinate system determined by the proper coordinate system determining means according to the mode of motion modification, and / or Alternatively, the image processing apparatus is provided with a motion synthesizing unit that assigns the corresponding shape data to each of the effective joints based on the unique coordinate system generated by the unique coordinate system generating unit.
【請求項18】 前記根の関節に対する固有座標系は、 前記根の関節からそれと隣接する第1の関節に向かうベ
クトルを、前記根の関節に対する固有座標系の第1軸と
し、 前記根の関節にそれぞれ隣接する第2の関節から第3の
関節に向かうベクトルを仮のベクトルとし、 前記仮のベクトルと前記第1軸との外積を前記根の関節
に対する固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記根の関節に対す
る固有座標系の第3軸とすることにより決定されること
を特徴とする請求項17記載の画像処理装置。
18. The unique coordinate system for the root joint is such that a vector from the root joint to a first joint adjacent to the root joint is a first axis of the unique coordinate system for the root joint. A vector from the second joint adjacent to the third joint to the third joint is a temporary vector, and an outer product of the temporary vector and the first axis is a second axis of an intrinsic coordinate system with respect to the root joint, 18. The image processing apparatus according to claim 17, wherein the outer product of the first axis and the second axis is determined as the third axis of the unique coordinate system for the joint of the root.
【請求項19】 前記根の関節に対する固有座標系は、 前記根の関節からそれと隣接する第1の関節に向かうベ
クトルを、前記根の関節に対する固有座標系の第1軸と
し、 前記根の関節からそれと隣接する第2の関節に向かうベ
クトルと前記第1軸との合成ベクトル又はその逆ベクト
ルを仮のベクトルとし、 前記仮のベクトルと前記第1軸との外積を前記根の関節
に対する固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記根の関節に対す
る固有座標系の第3軸とすることにより決定されること
を特徴とする請求項17記載の画像処理装置。
19. The proper coordinate system for the root joint has a vector from the joint of the root to a first joint adjacent thereto as a first axis of the proper coordinate system for the joint of the root. To a second joint adjacent thereto and a composite vector of the first axis or the inverse vector thereof is a temporary vector, and an outer product of the temporary vector and the first axis is a unique coordinate with respect to the root joint. 18. The image according to claim 17, wherein the second axis of the system is determined, and the outer product of the first axis and the second axis is determined as the third axis of the unique coordinate system with respect to the root joint. Processing equipment.
【請求項20】 前記根の関節に対する固有座標系は、 前記根の関節からそれと隣接する第1の関節に向かうベ
クトルを、前記根の関節に対する固有座標系の第1軸と
し、 前記根の関節と隣接する第2の関節に対する固有座標系
のうち、その第2の関節から前記根の関節に向かうベク
トルに基づき決定された座標軸を除く残りのどちらか一
方の座標軸と前記第1軸との外積を前記根の関節に対す
る固有座標系の第2軸とし、 前記第1軸と前記第2軸との外積を前記根の関節に対す
る固有座標系の第3軸とすることにより決定されること
を特徴とする請求項17記載の画像処理装置。
20. The intrinsic coordinate system for the root joint is a vector that extends from the root joint to a first joint adjacent to the root joint as a first axis of the intrinsic coordinate system for the root joint. Outer product of one of the remaining coordinate axes other than the coordinate axis determined based on the vector from the second joint to the root joint in the proper coordinate system for the second joint adjacent to Is the second axis of the proper coordinate system for the root joint, and the outer product of the first axis and the second axis is the third axis of the proper coordinate system for the root joint. The image processing device according to claim 17.
【請求項21】 前記関節角度変位手段は、 前記有効関節の全部又は一部の各々に対する3次元関節
角度に離散コサイン変換を適用し、DCT係数を出力す
る離散コサイン変換手段と、 前記DCT係数の各々に含まれる所定の要素を変位する
変換係数変位手段と、 前記離散コサイン変換手段により出力されたDCT係数
又は前記変換係数変位手段により変位されたDCT係数
に逆離散コサイン変換を適用する逆離散コサイン変換手
段とを備えたことを特徴とする請求項17記載の画像処
理装置。
21. The joint angle displacement means applies a discrete cosine transform to a three-dimensional joint angle for each of all or some of the effective joints, and outputs a DCT coefficient. Transform coefficient displacing means for displacing a predetermined element included in each of them, and inverse discrete cosine transform for applying an inverse discrete cosine transform to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacing means The image processing apparatus according to claim 17, further comprising a conversion unit.
【請求項22】 前記所定の要素とは、周波数成分のエ
ネルギー及び/又は選択次数であることを特徴とする請
求項21記載の画像処理装置。
22. The image processing apparatus according to claim 21, wherein the predetermined element is energy of a frequency component and / or a selected order.
【請求項23】 前記逆離散コサイン変換手段は、前記
離散コサイン変換手段により出力されたDCT係数又は
前記変換係数変位手段により変位されたDCT係数に適
用する前記逆離散コサイン変換を制限することを特徴と
する請求項21記載の画像処理装置。
23. The inverse discrete cosine transform means limits the inverse discrete cosine transform applied to the DCT coefficient output by the discrete cosine transform means or the DCT coefficient displaced by the transform coefficient displacing means. The image processing device according to claim 21.
【請求項24】 前記固有座標系生成手段は、前記有効
関節に対する3次元関節角度を用いて、その有効関節に
対する固有座標系の3軸をそれぞれ軸回転することによ
り、その有効関節と隣接する有効関節に対する固有座標
系を生成することを特徴とする請求項17記載の画像処
理装置。
24. The unique coordinate system generation means rotates each of the three axes of the unique coordinate system with respect to the effective joint by using the three-dimensional joint angle with respect to the effective joint, so that the effective joint adjacent to the effective joint is rotated. The image processing apparatus according to claim 17, wherein a unique coordinate system for the joint is generated.
【請求項25】 複数の、動作の基準となる有効関節を
有する物体が所定の動作を行う場合、その周期的又は非
周期的な動作に対して、フレーム毎に、前記有効関節の
全部又は一部の各々に対する3次元関節角度に関するデ
ータを基本動作データとして記憶している基本動作記憶
手段と、 その基本動作記憶手段で記憶されている複数の基本動作
データから所望の基本動作データを選択する基本動作選
択手段と、 その基本動作選択手段により選択された基本動作データ
により構成される動作を、所望の動作修飾を伴った動作
に変更する際に必要となる動作修飾パラメータを設定す
るパラメータ設定手段と、 前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データにより構成される動
作を、前記所望の動作修飾を伴った動作に変更して、基
本動作修飾データを生成する基本動作修飾生成手段と、 前記基本動作修飾データにより構成される動作と異なる
動作であって、その基本動作修飾データにより構成され
る動作に付加される所望の付加動作を選択する付加動作
選択手段と、 前記基本動作修飾データと前記付加動作により付加動作
データを生成する付加動作生成手段と、 前記基本動作修飾データと前記付加動作データとを合成
して、前記基本動作修飾データにより構成される動作に
前記付加動作データにより構成される動作を付加した動
作に関する動作データを生成する動作合成手段とを備え
たことを特徴とする画像処理装置。
25. When an object having a plurality of effective joints serving as a reference of movements performs a predetermined movement, all or one of the effective joints is frame by frame with respect to the periodic or aperiodic movement. Basic motion storage means for storing data relating to three-dimensional joint angles for each part as basic motion data, and basic for selecting desired basic motion data from a plurality of basic motion data stored in the basic motion storage means. A motion selecting means, and a parameter setting means for setting a motion modification parameter required when changing a motion constituted by the basic motion data selected by the basic motion selecting means into a motion accompanied by a desired motion modification. , A motion constituted by the basic motion data selected by the basic motion selection means by using the motion modification parameter, the desired motion modification And a basic action modification generation means for generating basic action modification data, and an action different from the action configured by the basic action modification data and configured by the basic action modification data. Additional motion selection means for selecting a desired additional motion to be added to the basic motion modification data, additional motion generation means for generating the additional motion data by the additional motion, the basic motion modification data and the additional motion data And an action synthesizing unit that generates action data related to an action in which the action configured by the additional action data is added to the action configured by the basic action modification data. .
【請求項26】 前記基本動作修飾生成手段は、 前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データを変更する基本動作
変更手段と、 その基本動作変更手段により変更された基本動作データ
が周期的な動作である場合、前記変更された基本動作デ
ータを所望する周期分反復することにより、前記基本動
作修飾データを生成する周期動作生成手段とを備えたこ
とを特徴とする請求項25記載の画像処理装置。
26. The basic motion modification generation means uses the motion modification parameter to modify the basic motion data selected by the basic motion selection means, and the basic motion modification means modifies the basic motion modification means. When the basic motion data is a cyclic motion, the basic motion data is repeated for a desired period to generate the basic motion modification data. The image processing device according to claim 25.
【請求項27】 前記基本動作修飾生成手段は、 前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データを変更する基本動作
変更手段と、 その基本動作変更手段により変更された基本動作データ
が非周期的な動作である場合、反復せずに前記変更され
た基本動作データから、前記基本動作修飾データを生成
する非周期動作生成手段とを備えたことを特徴とする請
求項25記載の画像処理装置。
27. The basic motion modification generation means uses the motion modification parameter to modify the basic motion data selected by the basic motion selection means, and the basic motion modification means modifies the basic motion modification means. And a non-periodic motion generation means for generating the basic motion modification data from the changed basic motion data without repeating when the basic motion data is an aperiodic motion. Item 25. The image processing device.
【請求項28】 前記基本動作修飾生成手段は、 前記動作修飾パラメータを用いて、前記基本動作選択手
段により選択された基本動作データを変更する基本動作
変更手段と、 その基本動作変更手段により変更された基本動作データ
が周期的な動作である場合、前記変更された基本動作デ
ータを所望する周期分反復することにより、前記基本動
作修飾データを生成する周期動作生成手段と前記基本動
作変更手段により変更された基本動作データが非周期的
な動作である場合、反復せずに前記変更された基本動作
データから、前記基本動作修飾データを生成する非周期
動作生成手段とを備えたことを特徴とする請求項25記
載の画像処理装置。
28. The basic motion modification generation means uses the motion modification parameter to modify the basic motion data selected by the basic motion selection means, and the basic motion modification means modifies the basic motion modification means. When the basic motion data is a cyclic motion, the basic motion modification unit and the basic motion changing unit generate the basic motion modification data by repeating the modified basic motion data for a desired period of time. And a non-periodic motion generation means for generating the basic motion modification data from the changed basic motion data without repeating if the generated basic motion data is an aperiodic motion. The image processing apparatus according to claim 25.
【請求項29】 前記付加動作生成手段は、 前記付加動作選択手段により選択された付加動作に対応
して移動する座標を入力する座標入力手段と、 前記付加動作選択手段により選択された付加動作の対象
となる有効関節の先端に当たる関節を前記座標に追従さ
せることにより、前記付加動作データを生成する座標追
跡手段とを備えたことを特徴とする請求項25、26、
27又は28記載の画像処理装置。
29. The additional motion generating means includes coordinate input means for inputting coordinates that move corresponding to the additional motion selected by the additional motion selecting means, and the additional motion selected by the additional motion selecting means. 27. Coordinate tracking means for generating the additional motion data by causing a joint corresponding to a tip end of a target effective joint to follow the coordinates, 27.
27. The image processing device according to 27 or 28.
【請求項30】 前記付加動作生成手段は、 所定の付加動作に対して、フレーム毎に、前記有効関節
の全部又は一部の各々に対する3次元関節角度に関する
データを基準付加動作データとして記憶している基準付
加動作記憶手段と、 その基準付加動作記憶手段で記憶されている複数の基準
付加動作データから、前記付加動作選択手段により選択
された付加動作に対応する基準付加動作データを読み出
す付加動作読み出し手段と、 前記付加動作選択手段により選択された付加動作に応じ
た動作修飾パラメータを設定する付加動作修飾設定手段
と、 その付加動作修飾設定手段により設定された動作修飾パ
ラメータを用いて、前記付加動作読み出し手段により読
み出された基準付加動作データを変更して、前記付加動
作データを生成する付加動作修飾生成手段とを備えたこ
とを特徴とする請求項25、26、27又は28記載の
画像処理装置。
30. The additional motion generating means stores, as reference additional motion data, data regarding a three-dimensional joint angle for all or some of the effective joints for each frame for a predetermined additional motion. The reference addition operation storage means and the reference addition operation data corresponding to the addition operation selected by the addition operation selection means from the plurality of reference addition operation data stored in the reference addition operation storage means Means, an additional motion modification setting means for setting a motion modification parameter according to the additional motion selected by the additional motion selecting means, and the motion modification parameter set by the additional motion modification setting means. Additional operation for changing the reference additional operation data read by the reading means to generate the additional operation data The image processing apparatus according to claim 25, 26, 27 or 28, wherein in that a decorative generating means.
JP7176177A 1994-07-21 1995-07-12 Image processor Pending JPH0887609A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP7176177A JPH0887609A (en) 1994-07-21 1995-07-12 Image processor
US08/505,607 US6166746A (en) 1994-07-21 1995-07-21 Three-dimensional image processing apparatus for jointed objects

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6-169392 1994-07-21
JP16939294 1994-07-21
JP7176177A JPH0887609A (en) 1994-07-21 1995-07-12 Image processor

Publications (1)

Publication Number Publication Date
JPH0887609A true JPH0887609A (en) 1996-04-02

Family

ID=26492742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7176177A Pending JPH0887609A (en) 1994-07-21 1995-07-12 Image processor

Country Status (2)

Country Link
US (1) US6166746A (en)
JP (1) JPH0887609A (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6628286B1 (en) * 1999-10-08 2003-09-30 Nintendo Software Technology Corporation Method and apparatus for inserting external transformations into computer animations
WO2004070573A2 (en) * 2003-02-04 2004-08-19 Z-Kat, Inc. Computer-assisted external fixation apparatus and method
EP1627272B2 (en) * 2003-02-04 2017-03-08 Mako Surgical Corp. Interactive computer-assisted surgery system and method
US7333111B2 (en) * 2003-04-25 2008-02-19 Honda Giken Kogyo Kabushiki Kaisha Joint component framework for modeling complex joint behavior
US20060262119A1 (en) * 2005-05-20 2006-11-23 Michael Isner Transfer of motion between animated characters
US7760201B2 (en) * 2005-07-29 2010-07-20 Autodesk, Inc. Transfer of attributes between geometric surfaces of arbitrary topologies with distortion reduction and discontinuity preservation
US7859538B2 (en) * 2006-07-31 2010-12-28 Autodesk, Inc Converting deformation data for a mesh to animation data for a skeleton, skinning and shading in a runtime computer graphics animation engine
US8094156B2 (en) * 2006-07-31 2012-01-10 Autodesk Inc. Rigless retargeting for character animation
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US8571637B2 (en) 2008-01-21 2013-10-29 Biomet Manufacturing, Llc Patella tracking method and apparatus for use in surgical navigation
KR100886486B1 (en) 2008-01-28 2009-03-05 주식회사 매크로그래프 Articulated body motions data save method
KR101667029B1 (en) * 2009-08-10 2016-10-17 삼성전자 주식회사 Method and apparatus of path planing for a robot
US10255083B2 (en) * 2014-09-12 2019-04-09 Ubisoft Entertainment Method and system for unified input in cross-platform streaming applications in cloud computing environments
US10816994B2 (en) 2018-10-10 2020-10-27 Midea Group Co., Ltd. Method and system for providing remote robotic control
US10803314B2 (en) 2018-10-10 2020-10-13 Midea Group Co., Ltd. Method and system for providing remote robotic control
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600919A (en) * 1982-08-03 1986-07-15 New York Institute Of Technology Three dimensional animation
JP3109738B2 (en) * 1990-07-12 2000-11-20 株式会社日立製作所 Computer graphic display method and apparatus
US5483630A (en) * 1990-07-12 1996-01-09 Hitachi, Ltd. Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller

Also Published As

Publication number Publication date
US6166746A (en) 2000-12-26

Similar Documents

Publication Publication Date Title
Shin et al. Computer puppetry: An importance-based approach
Mohr et al. Building efficient, accurate character skins from examples
Bodenheimer et al. The process of motion capture: Dealing with the data
JPH0887609A (en) Image processor
Tak et al. A physically-based motion retargeting filter
JP7061238B2 (en) Reinforcement learning to train characters using heterogeneous target animation data
Molet et al. A real time anatomical converter for human motion capture
US7333111B2 (en) Joint component framework for modeling complex joint behavior
Rose et al. Efficient generation of motion transitions using spacetime constraints
Chadwick et al. Layered construction for deformable animated characters
Glardon et al. PCA-based walking engine using motion capture data
US6191798B1 (en) Limb coordination system for interactive computer animation of articulated characters
CN112686976A (en) Processing method and device of skeleton animation data and communication equipment
Shapiro et al. Interactive motion correction and object manipulation
Meredith et al. Real-time inverse kinematics: The return of the jacobian
US10621384B2 (en) Method and system of constraint-based optimization of digital human upper limb models
Shao et al. A general joint component framework for realistic articulation in human characters
Lee et al. Spline joints for multibody dynamics
Yasumuro et al. Three-dimensional modeling of the human hand with motion constraints
Zeng et al. PE-DLS: A novel method for performing real-time full-body motion reconstruction in VR based on Vive trackers
JP2004062692A (en) Motion generating system using multiple structure
Choi et al. Processing motion capture data to achieve positional accuracy
Zhang et al. Real-time human motion capture with simple marker sets and monocular video
Wen et al. From motion capture data to character animation
Meredith et al. Using a half-jacobian for real-time inverse kinematics