WO2010027015A1 - モーションキャプチャ装置 - Google Patents

モーションキャプチャ装置 Download PDF

Info

Publication number
WO2010027015A1
WO2010027015A1 PCT/JP2009/065407 JP2009065407W WO2010027015A1 WO 2010027015 A1 WO2010027015 A1 WO 2010027015A1 JP 2009065407 W JP2009065407 W JP 2009065407W WO 2010027015 A1 WO2010027015 A1 WO 2010027015A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sensor
motion
tactile
posture
Prior art date
Application number
PCT/JP2009/065407
Other languages
English (en)
French (fr)
Inventor
康夫 國吉
達也 原田
吉幸 大村
祐樹 藤森
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Priority to JP2010527813A priority Critical patent/JPWO2010027015A1/ja
Publication of WO2010027015A1 publication Critical patent/WO2010027015A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6806—Gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints

Definitions

  • the present invention relates to a motion capture device, and more particularly to a motion capture device that acquires contact information when an object comes into contact with the environment in addition to motion information of the object.
  • Motion capture technology is used in various fields such as sports engineering, robot engineering, medicine, and CG animation. More specifically, in sports engineering, it is used for motion analysis for improving skills, and in robot engineering, it is used for motion generation and motion input of a humanoid robot. In medicine, it is used for rehabilitation, and in the field of CG animation, it is used for character motion input and motion generation. As described above, motion capture is used for various purposes such as measurement of motion of a measurement target, motion analysis, and reuse of motion data.
  • the presence of an object can be known by adding contact information here.
  • the contact information associates the body of the person with the body of the other person. This is very meaningful in that it is possible to know how the contact between one's own body and the other's body affects the movement and what kind of contact is caused by the movement. If contact information can be obtained simultaneously with motion data, various possibilities can be created.
  • the conventional motion capture device is not suitable for measuring the contact movement.
  • an optical motion capture device that measures a joint position and posture by attaching a marker or a pattern to an individual and measuring it from the outside with a camera or the like is well known.
  • the optical motion capture device has a problem that when a contact operation is measured, measurement cannot be performed because a marker or a pattern is hidden.
  • an internal motion capture device that measures the movement and movement of an individual by attaching a position / posture measurement device such as a GPS, acceleration sensor, or gyro sensor to the individual and its joint is known ( Patent Documents 1 to 3).
  • the error is large because the position and posture are measured by integrating the angular velocity and acceleration of the joints. There is a problem that a measurement result that cannot occur is output.
  • the conventional motion capture device includes a hybrid type device that acquires, for example, myoelectric potential information at the same time as the motion information of the object, but the contact position in the motion involving various contacts such as surface contact and rolling contact There is nothing to measure the movement at the same time.
  • a wearable motion capture having a posture sensor and a foot tactile sensor has also been proposed for measuring daily movements (Non-Patent Document 1).
  • environmental information is acquired by the tactile sensor on the sole, and an attempt is made to associate the movement information with the environmental information.
  • the tactile sensor is limited to a few points in the sole plane, and the constraint condition is also point constraint. It is limited to. For this reason, the meaning of the operation can be given only in a very limited situation.
  • the conventional motion capture system can obtain motion information that is visually equivalent, but cannot capture the essence of the measured motion due to the absence of contact information associated with physical interaction.
  • the action of holding an object is essentially different from the action of pushing the arm forward, but may be the same as the superficial movement. Even when measuring actions involving physical interaction of multiple people, such as judo and dance, the force information that interacts is essential information for the establishment of the action. When the motion is reused for animation or the like, a completely different motion is generated.
  • the conventional motion capture device has the following drawbacks. Only physical motion information is acquired, so physical / mechanical consistency is not considered. Information on contact with the environment, others, and oneself is important information that implies movement, but it is used at all or only locally. Since the time series of exercise information cannot be separated and classified based on a clear standard, the meaning and interpretation of the measured motion data depended on humans.
  • the present invention is directed to overcoming one or more of the problems set forth above.
  • the present invention is a motion capture device for an object that operates automatically or passively in contact with the environment, One or more tactile sensors provided on the object for acquiring tactile information when the object contacts the environment; A motion capture means provided on the object for acquiring motion information of the object; An information integration device that receives the tactile information and the motion information and stores the information in association with each other.
  • the object is not limited as long as it is an object that moves automatically or by other movement.
  • the object is an articulated link structure such as a human body.
  • the information integration device acquires geometric constraint conditions using tactile information acquired by the tactile sensor.
  • the geometric constraint condition is acquired using at least one of geometric shape information, dynamics information, and environmental information in addition to the tactile information.
  • the geometric constraint calculation can be appropriately set based on an environmental model, a body geometric model, a body dynamics model, or the like given as prior knowledge.
  • the information integration device corrects the motion information acquired by the motion capture unit using the geometric constraint condition.
  • the geometric constraint and the joint posture are evaluated for consistency by the information integration device. For example, when a contradiction occurs between the calculated joint angle and the geometric constraint information, the joint angle is slightly displaced and corrected so as to minimize the evaluation function representing the degree of contradiction. There are a great many variations for correcting the motion information.
  • the conventional motion capture means can successfully capture an unnatural motion.
  • the posture that can be taken can be known from the contact information at that time.
  • a constraint condition can be given to the posture space from the premise that the back, arms, and legs do not sink into the floor when sleeping on a flat floor.
  • contact position information for example, a position on the body surface of the tactile sensor
  • contact position information in the environmental model is required.
  • the tactile information includes contact information indicating presence / absence of contact.
  • the said information integration apparatus determines the presence or absence of the contact of the one or more site
  • the information integration device divides the motion information into a plurality of motion units, with the time when the contact state determined by the presence or absence of contact of the one or more parts changed as a motion break. For example, when the contact of one or more parts of the target object changes from “Yes” to “No” and “No” to “Yes”, both are the criteria for separation.
  • the motion unit here includes a posture.
  • each movable part eg, link
  • the movement can be separated depending on whether both the movable parts 1 and 2 are in contact with each other.
  • the information integration device classifies the motion information using the tactile information.
  • the classification of the motion information is performed based on contact state transition information determined by the presence or absence of contact of the one or more parts. For example, when a tactile sensor is provided in each of two movable parts A and B having different objects, the contact states are A “Yes” B “Yes”, A “Yes” B “No”, A “ There are four patterns of “no” B “present”, A “no” B “no”, and 12 transition patterns. The operation information can be classified based on such a transition pattern, that is, the transition information.
  • the tactile information may include at least one of pressure information and shear information in addition to or instead of the contact information indicating the presence or absence of contact.
  • the restraint strength can be changed based on the pressure information.
  • a slip constraint can be set by knowing the presence or absence of a slip based on the shearing force. In the case of a motion sensor, since the accuracy in the translation direction is difficult to obtain, such slip detection is useful.
  • the motion capture means is an inner-field motion capture means using a posture sensor, but the motion capture means may be appropriately selected depending on the object and the type of action.
  • the motion capture means may be optical, magnetic, mechanical, or ultrasonic.
  • the attitude sensor is an attitude sensor module including an acceleration sensor, a gyroscope and / or a geomagnetic sensor, and a microcomputer that acquires six-axis information from each sensor information.
  • the posture sensor module comprises a three-axis acceleration sensor and a two-axis gyro sensor, Each link constituting the object is provided with two or more posture sensor modules.
  • the information integration device acquires contact position information.
  • the contact position information is acquired from the posture information of the object acquired from the motion information and the relative position information of the tactile sensor with respect to the posture of the target object.
  • the tactile sensor includes a plurality of tactile sensor modules, and each tactile sensor module includes a plurality of sensor elements.
  • the relative position of each sensor element in each tactile sensor module is known.
  • a posture sensor is provided corresponding to each tactile sensor module, and the posture sensor corresponds to the target object. A change in the mounting position of each tactile sensor module accompanying the operation is detected.
  • the posture sensor that acquires the motion information of the object also serves as the posture sensor corresponding to each tactile sensor module.
  • a plurality of tactile sensors and posture sensors are modularized to measure the position and posture of the tactile sensor module itself. Movement and contact information can be acquired by associating with a body surface model. Further, the posture sensor and the tactile sensor may be mounted independently. For example, a configuration in which the posture sensor is mounted on the whole body and the tactile sensor is provided only on the sole and the hand, or the whole body is provided with the tactile sensor and the posture sensor is provided only on the waist.
  • a motion capture suit that integrates a whole body distribution tactile sensor and a posture angle sensor is proposed as a specific method for realizing a motion capture system that can simultaneously measure a person's movement and the environment and situation around that person. To do.
  • tactile sensors By distributing tactile sensors throughout the body, it is possible to know the contact relationship of the whole body with the environment, and by adding information from the tactile sensor to the posture angle sensor used in the conventional inner-field system, It can solve the problem of measurement accuracy, which is a disadvantage of the field system, and the problem that position change cannot be measured.
  • the present invention by integrating the contact information and the motion information, it is possible to obtain various information that cannot be known by the conventional motion capture device. Since the environment directly affects the movement, it is possible to obtain the environmental information at that time from the movement information and the contact information. Conversely, when the environmental information is known, the movement information and the contact information are corrected. It is also possible. In the present invention, by integrating the motion information and the contact information, it is possible to output high-quality contact motion measurement data by eliminating the output that cannot actually occur.
  • Integrating exercise information and contact information can make exercise meaningful and divide motion information into motion units.
  • motion recognition, motion classification, search, and the like are possible. Accordingly, it is possible to automatically classify the motion measurement data of the object.
  • Tactile information becomes important information when a robot performs intelligent actions like a human, so the robot can learn more by applying the action information obtained by integrating human contact information and motion information to the robot. Can be considered to be able to take action.
  • motion information obtained by integrating motion information and contact information is important. Movements that involve physical interaction with the environment and others are essential information for the establishment of the movement, and by integrating movement information and contact information, more accurate movement expression can be achieved. It becomes possible.
  • the motions can be automatically synchronized by segmenting the motions into motion units based on the contact information and normalizing them in the time direction according to the tactile timing. By using the contact information in this way, the animation creation can be automated.
  • a tactile sensor for acquiring contact information, a posture sensor for acquiring motion information of an object, and a communication function are modularized and connected to the information integration apparatus by the communication function.
  • the information integration apparatus calculates a constraint condition from the contact information, and uses the constraint condition to perform motion information correction, body model / environment model correction, motion segmentation, motion classification, and the like.
  • motion information correction body model / environment model correction
  • motion segmentation motion classification
  • motion classification motion classification
  • the basic configuration of the motion capture device includes a tactile sensor that acquires tactile information when the target object comes into contact with the environment, a posture sensor as a motion capture unit that acquires motion information of the target object,
  • the tactile sensor and the information integration device, and the posture sensor and the information integration device are connected to each other by a communication function.
  • the communication function may be wired or wireless, but serial communication is used in one preferred mode for reasons of reduced wiring.
  • the tactile sensor and the posture sensor are attached to the object.
  • the information integration device is attached to an object, but is not necessarily attached to the object.
  • the posture sensor is a sensor that measures movement information such as the position and posture of the object.
  • the posture sensor needs to acquire six-axis information of rotation / translation from an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
  • the tactile sensor is a sensor for acquiring contact information associated with physical interaction.
  • a tactile sensor means a sensor that can acquire in some form a force that acts when an object comes into contact with the environment, and is treated as including a force sensor.
  • By using the tactile sensor to detect the contact and the contact portion it is possible to obtain a constraint condition regarding the position.
  • pressure sensors distributed on a curved surface it is possible to obtain rolling restraint.
  • slip restraint can be detected by using a shear force sensor.
  • As a technique for mounting a tactile sensor for the whole body the technique disclosed in Japanese Patent Application Laid-Open No. 2007-078382 “Tactile Sensor Module and Tactile Sensor Mounting Method” can be used.
  • the tactile sensor is a distributed tactile sensor that is flexible and lightweight and does not interfere with the contact movement, and is composed of, for example, a pressure-sensitive rubber, a pressure-sensitive fiber, or the like.
  • types of tactile sensors include, but are not limited to, pressure sensitive resistors, capacitors, imaging devices, light diffusion methods, inductances, EIT methods, strain gauges, and MEMS sensors.
  • the light diffusion method is a method disclosed in Japanese Patent Application Laid-Open No. 2007-078382.
  • EIT method an electrode is mounted around a material whose resistance changes with pressure (pressure-sensitive rubber, pressure-sensitive fabric), and the voltage of other electrodes is measured when a voltage is applied between any two points.
  • a highly elastic tactile sensor can be realized and is suitable for mounting on a human body.
  • the information integration apparatus performs geometric constraint calculation using tactile information acquired by a tactile sensor, joint posture calculation using motion information acquired by a posture sensor, and these calculations.
  • a comprehensive calculation for example, maximum likelihood estimation is performed using the result.
  • the contact information is used for constraint calculation.
  • Geometric constraints are information on the contact position, such as the sole of the foot touching the ground, the buttocks touching the chair, and the movement information of the contact surface such as the sole slipping or rolling on the back. is there.
  • the constraint condition obtained from the contact information between the object and the environment is expressed as follows using the position xi from the absolute coordinate system of the tactile sensor mounted on the object.
  • dx i is a change in the position of the contact point
  • W is a weight matrix.
  • the weighting matrix expresses the restraint strength and restraint direction. For example, by restricting the constraint in the normal direction on the surface of the object and weakening the constraint in the tangential direction, it is possible to express a constraint that allows movement in the sliding direction.
  • the position / posture of the multi-link system so as to satisfy the constraints described in Japanese Patent Laid-Open No. 10-340354 “Operation Generation Device, Operation Control Method, and Storage Medium that Stores Program for Executing the Operation”
  • ⁇ Classification / identification of constraint conditions> By using the contact information obtained from the tactile sensor, it is possible to classify and identify the constraint conditions based on the contact part information and the direction of transition of the contact part. For example, the constraint conditions are classified according to which part (arm, leg, etc.) of the body is in contact. In addition, even under conditions where the same part (for example, the back) is attached, the constraint conditions can be classified according to differences in the rolling direction (forward, lateral direction) and the like (which can be understood from both contact information and motion information).
  • ⁇ Model correction based on constraint conditions> By simultaneously obtaining position / posture information when the object moves and tactile information when the moving object contacts the environment, it is possible to correct the body model, the environment model, and the estimated posture value. Based on the posture information, it is possible to calculate the position of each part of the individual with respect to the environment. At this time, possible contact can be estimated by the environment model and the body model, but if this is different from the actual, there is an error in any of the body model, the environment model, and the posture estimation value.
  • J # is a Jacobian pseudo inverse matrix.
  • Model parameters are variables that determine the model and take the form of multidimensional vectors. If it is a body model, it is a model that is necessary for determining the shape of the skin of the whole body when a posture is given, and information on the length and thickness of the link is exemplified as a simple model parameter.
  • the environmental model is a three-dimensional geometric model and includes information on unevenness in the environment. The space is expressed by voxels, and information indicating whether or not an object occupies the space is stored.
  • ⁇ Meaning and segmentation / classification of exercise information> The movement is divided according to the difference of the contact part and the constraint condition.
  • the change in contact is a clear reference for isolating movement.
  • the operation units are classified based on the constraint conditions and their transitions.
  • the large frame is classified for contact changes, and further redifferentiated based on motion information. This facilitates movement classification.
  • a method for establishing a model related to the position of the tactile sensor by fixing the tactile sensor to the suit There is a method of measuring the position / posture of a tactile sensor by modularizing the tactile sensor and the corresponding posture sensor and associating it with a model of the body surface.
  • the contact site between the individual and the environment can be measured.
  • it can be converted into a motion with physical consistency based on the constraints on the external force and moment received from the environment.
  • Japanese Patent No. 3944656 “Method for Dynamically Obtaining Joint Acceleration in Link Mechanism” is used.
  • the motion information obtained from the motion capture is cut into the minimum unit of “motion” using the contact information.
  • motion recognition can be performed, transition relations can be graphed, and motion classification can be performed.
  • the minimum unit is usually motion information, but the minimum unit may be one frame data, that is, attitude data.
  • Tv t can be obtained at each time t.
  • the value of part i is Tv t (i)
  • the change of the contact part is extracted and the operation is divided.
  • a threshold value is set for each sensor element in the link, the number of elements that have been subjected to pressure exceeding the threshold value is counted, and contact of the link is detected when the threshold value regarding the number of elements is exceeded. 2. The total output of each sensor element in the link is calculated, and the link is contacted when a certain threshold is exceeded.
  • blending a technology that mixes multiple motion data and generates new motion, contact information and motion information are simultaneously measured and stored, so that data with different lengths of time and ways of movement can be normalized at the timing of contact. And can be mixed. For example, when combining a plurality of walking data, it is possible to synchronize the left and right of the standing leg and the free leg and the switching timing of contact. Such processing is automatically possible only from data.
  • a plurality of types of posture information may include raw data of each sensor; position / posture of each sensor module; position / posture of a joint; one or a plurality of skeleton models.
  • Tactile information (with respect to position) includes raw data of the tactile sensor (a unique ID is assigned to each element); the topology is known (relative positional relationship) for the ID of each element of the tactile sensor; One or more of the known position / posture of each element of the sensor may be included.
  • the type of tactile information may include one or more of contact information (binary); pressure information; pressure + shear; six-axis information (force and moment).
  • ⁇ Contact position information> In order to obtain information on the “contact position” when the moving object touches the environment when multiple tactile sensors are arranged on the surface of the object, “Which tactile sensor is responding?” ? "And” Where is the tactile sensor? " Usually, a tactile sensor is provided with a unique ID for identifying each tactile sensor, and it is possible to know which tactile sensor is responding to the ID. If the ID of the tactile sensor is not integrated with the information “where the tactile sensor is located”, the contact position is not specified. Several cases where the position of the tactile sensor can be specified will be exemplified below. 1.
  • the contact position is specified in the range of the position specified by the symbol.
  • the contact position can be acquired only from the tactile information of the tactile sensor, but does not have a three-dimensional position.
  • the contact position information can be used for segmentation of the motion of the object. 2.
  • the position and orientation of the tactile sensor are known on the object: In this case, the three-dimensional position of the tactile sensor can be specified, but the correspondence of where the tactile sensor is in contact with the environment cannot be specified.
  • the closest contact can be associated with the three-dimensional position, and the contact position can be known.
  • 1 is only a tactile sensor
  • 2 and 3 are tactile sensors and models, and posture sensors (for moving objects, bodies, etc.).
  • the position of the tactile sensor is not shifted and the skin is not deformed.
  • the position / orientation of the tactile sensor is measured by mounting the attitude sensor corresponding to the tactile sensor module.
  • ⁇ Attitude sensor that measures the attitude of the tactile module When the distributed tactile sensor is attached to an object, there is no means for estimating the position / posture of the distributed tactile sensor.
  • a pressure distribution and force distribution can be obtained from the tactile sensor suit, but in order to reconstruct the pressure distribution in the three-dimensional space from the two-dimensional distribution, it is necessary to obtain position / posture information of the tactile sensor module itself. . Therefore, a plurality of tactile sensors and posture sensors are modularized, the posture of the tactile sensor module is estimated, and integrated with an individual / object model to obtain position / posture information.
  • the attitude sensor module always has a triaxial acceleration sensor. In addition, it has a single axis or more gyro or a single axis or more geomagnetic sensor. In order to integrate with the distributed tactile sensor, the number of gyros and geomagnetism is minimized and the size and thickness are reduced. In order to measure the position / posture of an unconstrained rigid body, 6-axis information including 3-axis acceleration information and 3-axis angular velocity information is required. In the above configuration, since the number of axes is insufficient, the position / posture cannot be estimated. In order to solve this problem, a plurality of the attitude sensor modules are distributed on a rigid body.
  • Independent six-axis information can be obtained by adjusting the mounting posture of each posture sensor module.
  • By integrating the information of the distributed posture sensors it is possible to calculate changes in the position and posture of the rigid body. Furthermore, it is possible to calculate how each module is attached in the rigid body by using the information of the triaxial acceleration sensor of each module. This information means the posture information of the tactile sensor at the same time.
  • a rigid body is assumed for the sake of convenience. However, when the deformation is small, it is acceptable as the position / posture change of each posture sensor.
  • attitude estimation algorithm An attitude estimation algorithm when a plurality of sets of three-axis acceleration sensors and two-axis gyro sensors are mounted in a single link. Since each attitude sensor module rotates with respect to the link coordinates, an observation value input to the Kalman filter / particle filter is obtained by multiplying each sensor value by a rotation matrix.
  • the Kalman filter / particle filter has a joint posture as a state, and outputs a posture estimated value having high consistency with the observed value.
  • the rotation matrix of each module is corrected by comparing the output value with the sensor output. Thereby, the posture of the posture sensor module and the posture of the tactile sensor corresponding to the posture are simultaneously estimated.
  • the Kalman filter / particle filter includes a Kalman filter, an extended Kalman filter, an unscented Kalman filter, a nonlinear Kalman filter, and a particle filter.
  • the posture of the rigid body is represented by a gravity vector g k and a geomagnetic vector h k observed from the link coordinate system, and is defined as a state variable.
  • the equation of state uses the angular velocity vector ⁇ k and the sampling time T, It expresses.
  • I is a unit matrix.
  • w is an error vector.
  • ⁇ is a time constant of the high-pass filter.
  • the observation equation is expressed as an attitude matrix R i and an observation noise R in the rigid coordinate system of each sensor module.
  • the posture of the rigid body is estimated by a linear Kalman filter.
  • the posture of each sensor module can be estimated from the posture matrix of the rigid body and the posture matrix of each sensor module. Also, the change in position is calculated by subtracting the gravity component from the output of the acceleration sensor and integrating it.
  • ⁇ Distributed attitude sensor> When estimating the position / posture of an object, a module that can acquire all six-axis information is usually used, but a sensor appropriately selected from a three-axis acceleration sensor, a one-axis gyro, a two-axis gyro, and a three-axis geomagnetic sensor
  • a sensor appropriately selected from a three-axis acceleration sensor, a one-axis gyro, a two-axis gyro, and a three-axis geomagnetic sensor The same communication standard as the combination is modularized and used in combination according to the target model and mounting space to be measured. Examples of combinations include 3-axis acceleration + 1-axis gyro, 3-axis acceleration + 2-axis gyro, 3-axis acceleration + 3-axis gyro, 3-axis acceleration + 3-axis geomagnetism.
  • the number of gyro axes is small.
  • a sensor configuration suitable for the model can be realized, and the mounting space can be effectively utilized.
  • accuracy of posture estimation and position estimation can be improved.
  • the distribution posture sensor described here is characterized in that six-axis information for measuring the posture is dividedly mounted and integrated.
  • this distributed orientation sensor can be regarded as a technical idea that can be established independently of the tactile sensor.
  • the use of contact when operating by hand is measured by distributing many sets of posture sensor modules and tactile sensors in the glove.
  • the glove has a function of mounting a triaxial acceleration, a triaxial geomagnetic sensor, and a plurality of tactile sensors over a plurality of joints, and transmitting the information to the integrated device using a communication function. Finger movement / posture and contact information can be obtained simultaneously.
  • the integrated device performs maximum likelihood estimation of the position / orientation using the contact constraint between fingers and the contact constraint between objects.
  • Example 1 Integration of a tactile sensor into a posture sensor
  • Motion capture using a conventional posture sensor reconstructs motion from only link posture information based on a link model. For this reason, even if it looks similar, it was impossible to distinguish completely different actions.
  • the tactile sensor and the constraint condition identification based on the surface model of the target object or object with the motion sensor type motion capture, the motion classification, motion database, and mechanically consistent motion
  • a system for generating and correcting a model is configured. The system configuration will be described below.
  • a posture sensor is mounted on each part of the body, and a tactile sensor is mounted independently of the posture sensor according to the desired action.
  • Each attitude sensor module independently calculates attitude estimation.
  • each posture sensor module is equipped with a sensor for acquiring 6-axis information and a computer for calculation, and performs real-time processing. By mounting such a posture sensor module on an object, the position / posture is estimated.
  • the tactile sensor information of each tactile sensor element is transmitted to the integrated machine by communication.
  • the integrated machine uses the posture sensor and tactile sensor information to convert it into the position / posture of a surface model of an individual or an object. At this time, a plurality of types of constraint conditions obtained from the tactile sensor are classified and processed.
  • Each attitude sensor module has a three-axis acceleration sensor, a three-axis gyro, a three-axis geomagnetic sensor, a microcontroller for calculation, and a serial communication function. Each attitude sensor module independently calculates a change in position / attitude and transmits it to the integrated machine via communication.
  • Non-Patent Document 1 An attitude angle is estimated from acceleration information and angular velocity information using an extended Kalman filter.
  • FIGS. The specific algorithm is described below.
  • a method using a rotation matrix, a method using Euler angles, and a method using unit quaternions are generally used for posture representation (Joao Luis Marins, Xiaopoing Yun, Eric R. Bachmann, Robert B. McGhee, and Michael J. Zyda. An extended kalman filter for quaternion-based orientation In Proceedings of the 2001 IEEE / RSJ International Conference on Intelligent Robots and Systems, 2001.), here, the attitude is expressed by unit quaternions.
  • the unit quaternion q is defined as follows. Moreover, it can be easily corrected to the rotation axis and the rotation amount by using the following equation. Since unit quaternions can express one posture for one value, there is no singularity that is a problem in other representations, and continuous posture changes can be described by continuous changes in unit quaternions. Cheap.
  • Observation model As observed values, there are acceleration values obtained from acceleration sensors and geomagnetic values obtained from geomagnetic sensors. Since the geomagnetic value is often unreliable due to the influence of metal, for example, the acceleration value alone is used as the observation value, and the acceleration value and the geomagnetism value are both used as the observation values.
  • the acceleration value is used as a reference representing the direction of gravity
  • the acceleration value observed when the sensor itself moves is obtained in a state where the acceleration motion component is added to the gravity component. This cannot be used as a reference. Therefore, when the acceleration value can be used as a reference in the direction of gravity (defining that the direction of gravity is reliable at this time) and when it is not possible (defining that the direction of gravity is not reliable at this time), Use the switching method.
  • ⁇ Calculation of contact constraint> The sum total of the outputs of the tactile sensor is calculated, and the geometric constraint is calculated when the threshold value is exceeded (see FIG. 3). Based on the amount of premise knowledge given, the contact constraints that can be calculated are different.
  • the body geometric shape information a constraint on which part of the body is in contact with which part and which part is not in contact is calculated.
  • kinetic information such as mass information of each part of the body
  • environmental information a constraint such as being incapable of interfering with the environment or being in contact with a specific part of the environment is calculated. In FIG.
  • the environmental model means information on the geometric shape of the environment and information on its position and orientation.
  • the body model includes the following models. Skeleton model: Assuming a joint link system, it is defined by the link length, joint type (constraint), and its connection relationship. Body surface model 1: For each link, a corresponding surface shape (assuming a small deformation) is defined, and it moves along with the link. Body surface model 2: A model in which the skin near the joint stretches and contracts to fill a gap generated on the body surface during flexion and extension. The dynamic model is information regarding the mass, moment of inertia, and position of the center of gravity of each link in the joint link system.
  • As body shape models there are a technique for measuring the shape of a human body, a technique for animating it, and a technique for three-dimensional scanning of an object, and these techniques can be used.
  • the joint posture estimation value is slightly corrected so as to satisfy the geometric constraint (see FIG. 4).
  • An evaluation function for evaluating the consistency between the geometric constraint and the joint posture estimated value is defined, a Jacobian between the joint position and posture is calculated, and a correction amount is calculated. Iterative calculation is performed to obtain an estimated value of the posture position / posture. After that, using this, inverse kinematics calculation is performed by Newton-Raphson method.
  • ⁇ Measurement example> In motion analysis in the field of sports science and rehabilitation, it is considered that new knowledge can be obtained by analyzing which part of the body is in contact with the environment and others at what timing.
  • a measurement example is shown in FIG. (1) By using the contact of the soles during walking and walking, it is possible to correct the change in the joint position and obtain the movement amount.
  • the joint posture By comparing with the sitting environment information (chair shape), the joint posture can be corrected so that the buttocks do not sink into the chair or float.
  • (3) By correcting the impossible joint position / posture output that causes the arm to squeeze in due to yoga self-interference, it is possible to measure the movement even for movements involving complex contact.
  • the conventional motion capture device could not measure movements involving various contacts. Since the conventional method of attaching only the posture sensor to an individual does not have means for obtaining contact information at the time of the contact operation, an operation that is impossible in practice is output.
  • the posture sensor and the tactile sensor are modularized and attached to the individual, whereby the contacted part and the position / posture at the time of the contact operation can be measured. By integrating these pieces of information and eliminating the output that cannot actually occur, high-quality measurement data of the contact movement can be output. More specifically, it is possible to measure a human motion such as a wrestling / judo / dance-related exercise, a nursing operation / rescue operation, etc., which has been difficult to measure in the past, and import it into a computer. The obtained data can be used for various contents such as CG / animation, simulation, and robot motion control.
  • Example 2 Motion capture suit that integrates a whole body distribution tactile sensor
  • the importance of motion capture technology has been asserted in various fields such as sports engineering, robot engineering, and CG animation.
  • motion capture systems Although research on motion capture systems has been conducted extensively, they are unsuitable for measuring natural movements in an environment where there are various other objects or objects around the measurement target.
  • an optical system is useful because it can perform highly accurate motion measurement, but in a miscellaneous environment, the marker is hidden and measurement cannot be performed appropriately.
  • Mechanical systems hinder the movement of the whole body and are not suitable for measuring natural movements. In the system using the attitude angle sensor, the movement is less disturbed, and more natural movement can be measured in various environments.
  • Harada et al. suggests that position information can be measured by using the information of the foot touch sensor together with the posture angle information. Natural movements in various environments are not limited to contact with the sole of the foot, but may occur at various parts of the body, such as sitting on a chair, lying on a bed, or contacting another person. Therefore, it is considered that Harada et al.'S method can be generalized by using information from tactile sensors distributed throughout the body.
  • Attitude information obtained from the attitude angle sensor is generally inferior in accuracy to optical systems due to the influence of drift and noise.
  • it is necessary to rely on the twice integration of acceleration information for position information it is difficult to obtain position information with high accuracy.
  • Harada et al. (Non-Patent Document 1) succeeded in obtaining position change information from contact information on the soles.
  • the obtained contact information cannot be used completely.
  • the position change information is obtained by using the tactile sensor information extended to the whole body, and at the same time, when a multipoint contact is detected, the information is used to estimate a more likely position and posture.
  • We propose an algorithm to A constraint condition related to the position and posture of the link is derived from the contact information obtained from the tactile sensor and integrated with the posture information obtained from the posture angle sensor.
  • the concept of this motion capture system is shown in FIG.
  • the system includes a human model, an environment model, a whole body tactile sensor for obtaining tactile information when the subject contacts the environment, and a motion sensor for obtaining motion information of the subject. Information from the whole body tactile sensor, the human model, and the environment model is input to the whole body constraint condition estimation module.
  • Information from the motion sensor is input to the kinematics evaluation module.
  • the subject's motion is estimated by providing the kinematic evaluation module with the constraint condition estimated by the whole body constraint condition estimation module. Furthermore, by providing environmental information such as the level of the floor as prior knowledge, it is possible to measure motion with higher accuracy.
  • the contact constraint information uses the information of each tactile sensor element, the method of setting the constraint point by looking at the average of the compressed pressure center point and its neighborhood, and assuming a plane for the contact.
  • Various methods such as a method of handling three points as constraint conditions are conceivable.
  • the function that calculates such a contact point from the obtained tactile information is called a contact constraint calculator.
  • the calculator determines whether line contact can be detected by principal component analysis or the like. If line contact can be detected by principal component analysis or the like, it is possible to give a line constraint that allows only rotation around a certain axis.
  • the calculator to be handled differs depending on the environmental information available at the time of motion measurement, the model information of the measurement target, etc., and it is considered that more accurate position / posture estimation can be performed by appropriately selecting this calculator.
  • a method is used in which the position of the link is constrained when the sum of the tactile data of each link exceeds a threshold value.
  • how to determine the threshold value is important.
  • the threshold value is determined by the following equation.
  • i represents a link index
  • T represents tactile data
  • t represents time
  • k represents the number of tactile elements in link i.
  • max and min represent a maximum value and a minimum value in all times, respectively.
  • the posture information obtained from the attitude angle sensor is given as the constraint conditions, so it is likely that these will be satisfied.
  • the position and orientation can be estimated.
  • a tactile sensor module disclosed in Japanese Patent Application Laid-Open No. 2007-078382 is used.
  • the tactile sensor module includes a flexible substrate having a plurality of strip portions, a plurality of sensor elements disposed on the plurality of strip portions constituting the flexible substrate, one or more communication terminals provided on the flexible substrate, and a flexible substrate. Communication that is provided on the substrate and is electrically connected to the sensor element and the communication terminal by wiring extending from the flexible substrate, receives information acquired by each sensor element, and transmits the information to the communication terminal.
  • At least any one of the plurality of strip portions has a foldable region and / or a cuttable region, and the position of the sensor element is adjusted by folding one or more strip portions, By cutting one or more strips, the number of sensor elements can be reduced, or the density of sensor elements can be adjusted and / or the mounting area can be adjusted by bending or cutting the strips. It is possible.
  • Each tactile sensor module can be connected to each other via a communication terminal.
  • the communication terminal is a serial communication terminal.
  • the wiring between the electronic circuit unit and the communication terminal is a serial bus.
  • the electronic circuit unit includes a processor unit, can serially communicate with an external device via a serial communication terminal, and can transmit information acquired by the sensor element to the external device. It is configured.
  • the electronic circuit unit includes analog / digital conversion means, and the processor unit takes in the analog information acquired by the sensor element as digital information.
  • the sensor element is a pressure detector. As shown in FIGS. 12 and 13, a tactile sensor module disclosed in Japanese Patent Application Laid-Open No. 2007-078382 is prepared in accordance with the shape of each part of the body. Each of the prepared tactile sensor modules is sandwiched between elastic sheets.
  • a back module is formed from nine modules
  • a waist module is formed from three modules
  • a chest module is formed from three modules
  • the left and right foot modules each consist of one module.
  • a body shape change is allowed by providing a gap between the modules.
  • the tactile sensor is fixed by detachably attaching the modular tactile sensor to the base suit using a hook-and-loop fastener.
  • urethanes with different sensitivities and rubber sheets for sensor protection were used.
  • this sensor was put in the upper shoe to protect the sole from strong contact with the environment and to fix it to the body at the same time.
  • attitude angle sensor This ensures real-time performance with the attitude angle sensor, and the PC can concentrate on data collection.
  • the gyro sensor, acceleration sensor, geomagnetic sensor, CPU, and other components were selected, and circuit design and board design were performed.
  • the structure and system of the attitude angle sensor are shown in FIGS.
  • This attitude angle sensor can measure the angular velocity, acceleration value, and geomagnetism value of three axes, and by installing the CPU, the attitude angle is calculated inside the sensor.
  • An extended Kalman filter used by Harada et al. Non-Patent Document 1 is used for the attitude angle calculation.
  • a battery pack dedicated to PC is used as a power source for the processing unit, and USB bus power is used for power supply to the sensor unit.
  • the tactile sensor module includes a back module, a waist module, a chest module, and a foot module, and the back module, the waist module, and the chest module are base suits by hook-and-loop fasteners. It is detachably mounted on the surface.
  • the foot module is configured as a shoe insole.
  • Each tactile sensor module is electrically connected to a processing unit (PC) housed in a pouch via an SMBus.
  • PC processing unit
  • the base suit and a plurality of tactile sensor modules that are detachably attached to the base suit are shown.
  • the tactile sensor modules may be integrated into the base suit.
  • the tactile sensor module is provided on the surface or inside of the base suit.
  • the tactile sensor module is shown in FIGS. 15A-D.
  • the tactile sensor module created on the back was used to get up.
  • FIG. 16 shows how the contact points change at that time.
  • One square represents a tactile sensor element and is shown in white when there is no contact. As the contact becomes stronger, the color changes from yellow to red (change in density in the figure).
  • FIG. 18 shows some snapshots of moving images constructed from the measured data.
  • tactile elements are displayed one by one with white dots.
  • frame 1 of FIG. 18 it was confirmed that when the right chest was pressed, the corresponding haptic element reacted. It was confirmed that the tactile element on the back reacted when the back hit another person in frame 3.
  • FIG. 19 shows several snaps of moving images constructed by the measured data. It can be confirmed that the movement is correctly measured in the middle (A). It can be confirmed that the contact information of the back when getting up is detected in the lower part (B). By calculating the pressure center point from the contact information and using that point as a contact constraint condition, the position change information was successfully obtained.
  • FIG. 20 and FIG. FIG. 21 is a diagram showing the vertical component of the base link position at the start of getting up, and it can be seen that the position of the base link changes in the vertical direction.
  • a contact constraint condition is calculated from tactile information obtained from a tactile sensor attached to the whole body, and the constraint point is switched according to the contact constraint condition.
  • the behavior was reconstructed from the information on the restraint points and the motion information at that time.
  • the result of the experiment is shown in FIG.
  • the restraint point is switched by tactile information.
  • the foot is calculated as the contact restraint point in frames 1 and 5, the buttocks in frames 2 and 4, and the back in frame 3 as the contact restraint points. A change in position was detected.
  • the conventional restraint of the lowest point the foot is restrained by the ground when it goes up to the bed, and the body is sunk into the bed. This experiment showed the usefulness of determining contact constraint conditions from tactile information.
  • a motion capture system that can measure the natural movements of people with various contact changes in an environment where other people and objects are present.
  • a wearable system using an attitude angle sensor that has no restrictions on the measurement range and no occlusion problems
  • measurement in various environments is possible.
  • whole body contact information gives position information by combining it with environmental information.
  • the information on the vertical position change can be obtained by the contact information in the rising motion.
  • posture and position errors can be reduced by integrating with the contact information when the floor geometric information is known.
  • the position information can be corrected even when the position information in the chair environment is known.
  • the tactile information and the environment information well, it is possible to acquire information related to the position that could not be measured by the conventional posture angle sensor alone.
  • environmental information it is possible to construct a system that can measure the natural movements of people in various environments with higher accuracy.
  • Example 3 Development of a motion capture device for measuring human contact skills
  • Many work robots aim to control the trajectory of the hand and avoid collisions, but in the case of nursing care, it is required to skillfully control the body shape and contact area of the whole body.
  • Contact and detection are essential.
  • information such as what kind of posture the person wants to be, whether it is not overwhelming, whether it is in an impossible posture, etc. is necessary.
  • Skills that can be estimated skillfully and generate motion skillfully are required. Skillful contact control according to such a situation is called contact skill.
  • the tactile sensor sheet is modularized with multiple sensor elements and communication functions, and has a mounting area adjustment by connecting and cutting multiple elements, a position adjustment function by bending, and a curved surface adaptation function. A combined tactile skin can be constructed (see FIG. 23).
  • the tactile skin is created according to the link shape and mounted by tightening and fixing with mechanical fasteners.
  • a tactile sensor sheet was used to construct a detachable tactile skin for a robot, and more than 1800 analog pressure sensors were implemented throughout the body (Y. Ohmura, A. Nagakubo, and Y. Kuniyoshi, “Conformable and scalable tactile sensor skin for curved surface ”, In Proc. of the IEEE Int. Conf. on Robotics and Automation, pp.1348.1353, 2006.).
  • a method for mounting the tactile sensor on an arbitrary curved surface is being established. However, when mounting on a human, there is a difficulty different from mounting on a robot.
  • the tactile sensor sheet can constitute tactile sensor skin suitable for an arbitrary curved surface, the tactile sensor sheet is not high in elasticity, and therefore cannot be adapted to all human body shapes with one tactile sensor skin. Therefore, it is necessary to divide the touch sensor skin into several parts and connect them with a highly stretchable cloth. When the tactile sensor skin is formed in this way, it is difficult to identify the mounting position of the tactile sensor when measuring the contact skill.
  • the combination of the tactile sensor module and the motion capture device makes it possible to measure the posture of the tactile sensor skin.
  • a module combining a tactile sensor module and a motion capture device is called a tactile skin module.
  • a tactile supporter with this module connected with rubber is constructed and wrapped around the human body.
  • the sensor element position in the tactile sensor sheet It is uniquely determined by the curved surface of the body and the mounting position / posture of the module.
  • the likelihood of the mounting position can be calculated from the posture information of the tactile skin module and the constraint condition between the modules. Before the measurement, it is possible to estimate how the tactile sensor is mounted on the body by geometric constraints by calibrating the position and posture of the single tactile skin module in the support.
  • the positions / postures of all tactile sensor elements can be estimated under conditions where the wearer's body shape is known.
  • attitude sensors using MEMS are known as an integrated acceleration sensor, gyro sensor, and geomagnetic sensor.
  • the gyro sensor is a sensor that detects the Coriolis force (acceleration) acting on the vibrator, and therefore it is difficult to reduce the size and increase the performance as compared with the acceleration sensor. Therefore, when configuring a practical posture sensor module, a trade-off between miniaturization and high performance becomes a problem.
  • the geomagnetic sensor is strongly affected by the disturbance of the magnetic field, it often prevents correct posture estimation.
  • the posture sensor for measuring the contact skill must not interfere with the contact operation, it is particularly required to be small, light and thin. To that end, the trade-off between high performance and miniaturization of the gyro is an issue.
  • two-axis gyros, one-axis yaw-axis gyros, acceleration sensors, and geomagnetic sensors mounted on a single silicon wafer are also proposed (J. J. Allen, R. D. Kinney, J. Sarsfield, MR Daily JR Ellis, JH Smith, and S. Montague, “Integrated micro-electro-mechanical sensor development for inertial applications ”, In Position Location and Navigation Symposium 98, pp. 9.16, 1998.).
  • the conventional attitude sensor module is small in size as the triaxial acceleration sensor and triaxial geomagnetic sensor, but the module is large and thick because the uniaxial gyroscope is inclined to three orthogonal axes. 7mm or more), so it is not suitable for contact operation. Therefore, in this embodiment, a new attitude sensor module that emphasizes small size and thinness is developed. Because it uses a gyro sensor that is small and does not have good performance, A new processing algorithm will be developed to compensate for this.
  • ⁇ Attitude sensor module design> In order to design with an emphasis on small size and thinness, a 2-axis gyro, 3-axis acceleration sensor, and microcontroller with communication function are designed as a minimum configuration.
  • the geomagnetic sensor is not used because it is not suitable for experiments in the room, especially near the nursing bed.
  • the gyro sensor is thinned by using a biaxial gyro. By mounting the two orthogonal axes of the gyro sensor so as to be independent between the modules, it is possible to measure an arbitrary angular velocity of the link.
  • attitude sensor module ⁇ Development of attitude sensor module>
  • the outline of the attitude sensor module is shown in FIG. Basically, a planar 2-axis gyro, a 3-axis acceleration sensor, and a small microcontroller are mounted on a thin substrate, and an optional yaw-axis gyro is mounted on the back surface. In this way, a small and thin sensor module is configured. Sensor data is digitized and communication is performed using a serial bus in order to save wiring.
  • the parts used were a 2-axis gyro (InvenSenseTM IDG-300 [6mmx6mmx1.4mm]), a 3-axis acceleration sensor (Bosch BMA140 [3mmx3mmx0.9mm]), and a small microcomputer (Silicon Laboratories C8051F300 [3mmx3mmx0.9mm]).
  • the board shape is 15mmx15mmx0.6mm. In the minimum configuration, it is very small and thin at 15mmx15mmx3mm.
  • the acceleration detection range is ⁇ 4 G
  • the angular velocity detection range is ⁇ 500 [deg / sec]. These values are considered to be a sufficient detection range in the contact operation.
  • FIG. 25 shows the coordinate system of the attitude sensor module fixed to a single link and the coordinate system of the link itself.
  • Posture estimation is based on the method of Zhu et al. (R. Zhu, D. Sun, Z. Zhou, and D. Wang, “A linear fusion algorithm for attitude determination using low cost mems-based sensors ”, Measurement, Vol. 40, pp. 322.328, 2007.)
  • the difference between the method of Zhu et al. and this method is that the variable that can be observed is different. This is a point where a sensor drift removal term is added (high-pass filter), and there is a change in posture between the observed variable and the state variable.
  • the gravity vector g and geomagnetic vector h observed at the link coordinates are in the state.
  • the state equation of the angular velocity vector is a high-pass filter for canceling the drift term of the gyro, and as the rotation of the gravity vector and the geomagnetic vector Model the posture of the link.
  • the observation equation uses the attitude matrix R i seen from the link coordinates of each attitude sensor module, And Note that some of the geomagnetic and gyroscopic yaw axis directions cannot be observed.
  • the gravity vector and the geomagnetic vector are estimated by the Kalman filter, and the posture is estimated. At this time, it is necessary to give initial states g 0 , h 0 , and ⁇ 0 . Further, in the above formulation, posture estimation cannot be performed unless Ri is given.
  • the present invention can be used for motion measurement devices, specifically, motion capture devices, computer game input interfaces, ergonomic evaluation devices, and the like.
  • 1 shows a basic configuration of the present invention. It is a block diagram which shows one aspect of this invention. It is a block diagram which shows one aspect of contact constraint calculation. It is a block diagram which shows one aspect of integrated calculation. It is a flowchart which shows an attitude
  • 1 shows a motion capture device according to the present invention configured as a finger glove.
  • the sensor ID of the back part and its arrangement are shown.
  • the sensor ID of the lumbar region (buttock) and its arrangement are shown.
  • a chest sensor ID and its arrangement are shown.
  • the sensor ID and the arrangement of both foot soles are shown.
  • the state of the contact point change at the time of getting up is shown.
  • the measurement result of push and bang action is shown.
  • the upper row is an actual image at the time of measurement, and the lower row is an image constructed from the measured data.
  • the measurement result of roll and rise motion is shown.
  • the upper row is an actual image at the time of measurement, and the lower rows A and B are both images constructed from measured data.
  • Lower stage A is a front view
  • lower stage B is a bottom view.
  • the vertical component when the base link position rises is shown.
  • the upper figure shows the experimental scene.
  • the center diagram shows the acquisition result of the position information using the contact constraint condition according to the method of the present invention.
  • the figure below shows the results of the conventional method (the lowest point is the constraint condition).
  • the method of manufacturing the tactile sensor skin is shown.
  • the structure of an attitude sensor module is shown.
  • the coordinate system of the attitude sensor module fixed to a single link and the coordinate system of the link itself are shown. It is a block diagram which shows one aspect of an attitude

Abstract

接触情報と動作情報とを統合することで、従来のモーションキャプチャ装置では知ることのできなかった様々な情報を得る。環境と接触しながら自動あるいは他動で動作する対象物のモーションキャプチャ装置であって、対象物に設けられ、対象物が環境と接触した時の触覚情報を取得するための１つ以上の触覚センサと、対象物に設けられ、対象物の動作情報を取得するためのモーションキャプチャ手段と、前記触覚情報及び前記動作情報を受信して、これらの情報を対応付けて格納する情報統合装置と、を備えている。

Description

モーションキャプチャ装置
　本発明は、モーションキャプチャ装置に係り、詳しくは、対象物の動作情報に加えて対象物が環境に接触した時の接触情報を取得するモーションキャプチャ装置に関するものである。
　モーションキャプチャ技術は、スポーツ工学やロボット工学、医学、CG アニメーション等の多岐の分野で用いられている。より具体的には、スポーツ工学では技能の向上のための運動解析に、ロボット工学ではヒューマノイドロボットの動作生成や動作入力などに用いられる。医学ではリハビリテーション等に活用され、CG アニメーションの分野ではキャラクタの動作入力及び動作生成に用いられている。このようにモーションキャプチャは計測対象の運動計測、運動解析、運動データの再利用など、様々な目的に用いられている。
　計測対象の動作時の触覚の情報に着目してみると、人は常に環境と接触しており、運動時に起こる環境との接触の変化をとらえることは、その運動を理解する上で重要である。なぜなら、歩く、座る、物を持つなどといった動作は人の動作が接触を引き起こし、転ぶ、跳ね返る、殴られるなどといった動作は接触が動作を引き起こす。このように接触と動作の間には密接な関係があるといえる。接触が重要な意味を持つ動作の具体例として、物体操作や他者との身体的インタラクションが挙げられる。物体操作は物を持つ、押す、物に乗る、座るなど多様であるが、いずれもその物体との接触が人と物体とを関連づけている。物体操作においてモーションデータのみが得られた場合、本当に物体を操作しているのか知ることはできない。ここに接触情報を加えることで物体の存在を知ることができる。他者との身体的インタラクションは日常生活や介護動作、救助動作、スポーツの場面において多く存在する。このような動作において接触情報は自らの身体と他者の身体を関連づける。自らの身体と他者の身体との接触がどのように動作に影響しているか、また動作によってどのような接触が生じるかを知ることができるという意味で大変意義がある。モーションデータと同時に接触情報が得られれば様々な可能性を生み出すことができる。
　しかしながら、従来のモーションキャプチャ装置は、接触運動を計測することには不向きであった。モーションキャプチャとしては、個体にマーカや模様をつけ、外からカメラなどで計測することで関節位置・姿勢を測定する光学式モーションキャプチャ装置が良く知られている。しかしながら、光学式モーションキャプチャ装置は、接触動作を計測する場合には、マーカや模様が隠れるため計測ができないという問題がある。光学式モーションキャプチャの他にも、個体およびその関節にGPSや加速度センサ、ジャイロセンサなど位置・姿勢測定装置を取り付け、個体の移動や動きを計測する内界式モーションキャプチャ装置が知られている（特許文献１～３）。しかしながら、内界式モーションキャプチャ装置においては、関節の角速度や加速度を積分することで位置や姿勢を計測するため誤差が大きく、接触動作を測定する場合に、個体と個体、個体と環境がめり込むなどの起こりえない計測結果を出力してしまうという問題がある。
　また、従来のモーションキャプチャ装置は、対象物の動作情報と同時に例えば筋電位情報を取得するようなハイブリッド式のものはあるが、面接触や転がり接触などの多様な接触を伴う動作における接触位置とその運動を同時に計測するものはない。日常動作の計測のために、姿勢センサと足裏触覚センサをもつウェアラブルモーションキャプチャも提案されている（非特許文献１）。ここでは、足裏の触覚センサにより環境の情報を取得し、動きの情報と環境情報の関連付けが試みられているが、触覚センサが足裏平面内の数点に限定され、拘束条件も点拘束に限定されている。このため、非常に限定的な状況でしか動作の意味付けをすることができない。
　すなわち、従来のモーションキャプチャシステムは、見た目には等しい運動情報を取得することを可能としているが、物理的インタラクションに伴う接触情報がないことによって、計測した動作の本質をとらえることができない。物体を持つという動作は、腕を前に出す動作とは本質的に異なるが、表面的な動きとしては同じということがある。柔道やダンスのような複数人の物理的インタラクションを伴う動作を計測する場合にも、相互に働く力情報がその動作の成立に本質的な情報であり、このような接触情報なしでは、計測した動作をアニメーションなどに再利用する際に、実際とは全く異なる動きを生成することになる。
　また、従来のモーションキャプチャから得られる情報は、動きの時間変化であり、それらを意味あるカテゴリに分類するための指標は存在しない。そのため、とりためたデータは未整理の状態で蓄積されるのに対し、接触情報を用いて運動情報を意味付け、分節化することで、計測された動作情報を自動的に分類・整理することが可能となる。
特開２００１－１９８１１０ 特開２００４－１８４３５１ 特表２００７－５０８５４１ Haradaet.al. 「Development of Wireless Networked Tiny OrientationDevice for Wearable Motion Capture and Measurement of Walking Around, WalkingUp and Down, and Jumping Tasks 」,Proc. Of the 2007IEEE/RSJ Int. Conf. on Intelligent Robots and Systems,2007.
　上述のとおり、従来のモーションキャプチャ装置には、以下のような欠点を有していた。
　見た目の動き情報のみを取得するため、物理的・力学的整合性が考慮されていない。
　環境や他者、自己との接触に関する情報は、運動を意味付けする重要な情報であるが、全く、あるいは局所的にしか用いられていない。
　運動情報の時系列は、明確な基準で切り分け、分類をすることができないため、計測されたモーションデータの意味付け、解釈のすべてが人手に頼られていた。
　本発明は、上記課題の一つないし複数を解決することを目的とするものである。
　本発明は、環境と接触しながら自動あるいは他動で動作する対象物のモーションキャプチャ装置であって、
　対象物に設けられ、対象物が環境と接触した時の触覚情報を取得するための１つ以上の触覚センサと、
　対象物に設けられ、対象物の動作情報を取得するためのモーションキャプチャ手段と、
　前記触覚情報及び前記動作情報を受信して、これらの情報を対応付けて格納する情報統合装置と、を備えている。
　対象物は、自動あるいは他動で運動する物体であれば限定されない。一つの態様では、対象物は、人体等の多関節リンク構造体である。
　一つの態様では、前記情報統合装置は、前記触覚センサにより取得された触覚情報を用いて幾何拘束条件を取得する。
　一つの態様では、前記幾何拘束条件の取得は、前記触覚情報に加えて、対象物の幾何形状情報、動力学情報、環境情報の少なくとも１つを用いる。
　幾何拘束計算は、事前知識として与えられる環境モデル、身体幾何モデル、身体動力学モデル等に基づいて適宜設定され得る。
　一つの態様では、前記情報統合装置は、前記幾何拘束条件を用いて、前記モーションキャプチャ手段によって取得された動作情報を補正する。幾何拘束と関節姿勢は、情報統合装置によって整合性を評価される。例えば、計算された関節角と幾何拘束情報との間に矛盾が生じた場合には、矛盾度を表す評価関数を最小とするように関節角を微小変位させ、補正する。
　動作情報の補正は、非常にたくさんのバリエーションを考えられる。特に従来のモーションキャプチャ手段であると不自然であった動作のキャプチャがうまくできるようになることが期待される。姿勢情報と同時に全身の接触情報を得ることで、推定される姿勢空間にさらなる制約条件を加えることができる。例えば、環境の情報が既知であれば、その時の接触情報から、取りうる姿勢を知ることができる。より具体的な例として、平な床面に寝ている時、背中や腕、脚が床面にめりこむことはないという前提知識から、姿勢空間に制約条件を与えることができる。
　幾何拘束条件を用いて動作情報を補正するためには、接触位置情報（例えば、触覚センサの身体表面上の位置）が必要となる。また、環境モデルを補正するような場合には、環境モデルにおける接触位置情報が必要となる。
　一つの態様では、前記触覚情報には、接触の有無を示す接触情報が含まれる。
　一つの態様では、前記情報統合装置は、前記接触情報を用いて、前記対象物の予め選択した１つ以上の部位の接触の有無を判定する。
　一つの態様では、前記情報統合装置は、前記１つ以上の部位の接触の有無によって決定される接触状態が変化した時を動作の区切りとして、前記動作情報を複数の動作単位に分割する。例えば、対象物の１つ以上の部位の接触が「有」から「無」、「無」から「有」となったときの両方が切り分けの基準となる。ここでの動作単位には、姿勢も含まれる。
　動作の分割、すなわち、運動のセグメンテーションのみであれば、必要な情報は、複数の触覚センサの情報をいくつかにクラスタリングし、ベクトルデータとして接触有り／無しという情報が与えられれば、切り分ける基準とすることができる。触覚情報としては、「接触の有無」情報しか必要とせず、触覚センサのグループ化さえできていれば、表面のモデルも不要である。運動のセグメンテーションのためには、各可動部位（例えば、リンク）に1個以上の触覚センサが実装されて、可動部位1の接触か、可動部位2の接触か、可動部位1、2の両方接触なしか、可動部位1，2の両方が接触しているか等によって動きを切り分けることができる。
　一つの態様では、前記情報統合装置は、前記触覚情報を用いて、前記動作情報を分類する。
　一つの態様では、前記動作情報の分類は、前記１つ以上の部位の接触の有無によって決定される接触状態の遷移の情報に基づいて行なわれる。
　例えば、対象物の異なる２つの可動部位Ａ、Ｂにそれぞれ触覚センサが設けてある場合には、接触状態としては、Ａ「有」Ｂ「有」、Ａ「有」Ｂ「無」、Ａ「無」Ｂ「有」、Ａ「無」Ｂ「無」の４パターンとなり、遷移パターンは１２種類となる。このような遷移パターン、すなわち遷移情報に基づいて動作情報を分類することができる。
　前記触覚情報には、接触の有無を示す接触情報に加えて、あるいは、代えて、圧力情報、せん断情報の少なくとも一方を含んでもよい。圧力情報に基づいて拘束の強さを変えたりすることができる。せん断力に基づいてすべりの有無を知ることで、滑り拘束を設定できる。モーションセンサの場合、並進方向の精度が出しにくいので、このような滑り検知は有用である。
　一つの態様では、前記モーションキャプチャ手段は、姿勢センサを用いた内界式モーションキャプチャ手段であるが、モーションキャプチャ手段は、対象物や動作の種類によって適宜選択され得る。モーションキャプチャ手段は、光学式、磁気式、機械式、超音波式であってもよい。
　内界式モーションキャプチャ手段として用いられる姿勢センサには、幾つかの種類が知られている。例えば、MEMSの技術によって小型化したジャイロセンサで各リンクの角速度値を取得しその積分値として姿勢角を得ることができる。さらに、加速度センサ、地磁気センサなどのセンサを組み合わせることで姿勢推定の精度を向上することもできる。
　一つの態様では、前記姿勢センサは、加速度センサ、及び、ジャイロあるいは／および地磁気センサ、及び、各センサ情報から６軸情報を取得するマイクロコンピュータと、を含む姿勢センサモジュールである。
　一つの態様では、前記姿勢センサモジュールは、３軸の加速度センサと、２軸のジャイロからなるジャイロセンサと、からなり、
　前記対象物を構成する各リンクに、２個以上の前記姿勢センサモジュールを設けてなる。
　光学式モーションキャプチャでは、カメラで囲まれた空間に座標原点を仮定して、そこからの絶対的な位置を測定できるのに対して、姿勢センサによるモーションキャプチャの場合、位置の情報は、積分によってのみ得られる。すなわち、どこからかの変化量であるので相対位置の推定にとどまる。尚、内界式のシステムに加えて、身体と環境との拘束条件を用いることで、内界式のみでは計測できない位置情報を計測することもできる。
　一つの態様では、前記情報統合装置は、接触位置情報を取得するものである。
　一つの態様では、前記接触位置情報は、前記動作情報から取得される前記対象物の姿勢情報と、前記対象物の姿勢に対する前記触覚センサの相対的な位置情報と、から取得される。
　一つの態様では、前記触覚センサは、複数の触覚センサモジュールから構成されており、各触覚センサモジュールは、複数のセンサエレメントを備えている。
　一つの態様では、各触覚センサモジュールにおける各センサエレメントの相対的な位置が既知である
　一つの態様では、各触覚センサモジュールに対応して姿勢センサが設けてあり、当該姿勢センサは、対象物の動作に伴う各触覚センサモジュールの装着位置の変化を検出する。一つの態様では、対象物の動作情報を取得する姿勢センサが、各触覚センサモジュールに対応する姿勢センサを兼用する。
　複数の触覚センサと姿勢センサをモジュール化して、触覚センサモジュール自体の位置・姿勢を測定する。身体の表面モデルと対応付けることで、動作と接触情報を取得できる。
　また、姿勢センサと触覚センサは独立して装着されてもよい。例えば、姿勢センサを全身に実装して、触覚センサは、足裏と手先だけ、あるいは、全身に触覚センサをつけて、姿勢センサは腰だけのような構成も考えられる。
　後述する実施例では、人の動作、及びその人の周りの環境や状況を同時に計測できるモーションキャプチャシステムの具体的な実現方法として、全身分布触覚センサと姿勢角センサを統合したモーションキャプチャスーツを提案する。全身に触覚センサを分布することで、全身の環境への接触関係を知ることができ、従来の内界式のシステムで用いられている姿勢角センサに触覚センサからの情報を加えることによって、内界式システムの短所である測定精度の問題や、位置変化の測定ができないといった問題を解決し得る。
　本発明では、接触情報と動作情報とを統合することで、従来のモーションキャプチャ装置では知ることのできなかった様々な情報を得ることができる。
　環境は動作に直接影響を及ぼすものであることから、運動情報と接触情報からそのときの環境情報を得ることが可能であり、逆に環境情報が既知の場合は運動情報と接触情報を補正することも可能となる。本発明では、動作情報と接触情報を統合することで、実際には起こりえない出力を排除することで、質の高い接触動作の計測データを出力することができる。
　運動情報と接触情報との統合により、運動に意味づけを行い、動作情報を動作単位に分割することができる。この動作単位を用いることで動作認識や動作の分類、検索などが可能となる。したがって、対象物の動作計測データの自動分類が可能となる。
　接触情報と運動情報を同時に計測し、保存することで、力学的・物理的整合性を考慮した自然なモーションの再構成を可能とする。
　運動情報と接触情報によって得られたいわゆる行動情報をロボットに入力することで、ヒトの支援をするロボットシステムが可能となる。ロボットがヒトのような賢い行動を行う上で触覚情報は重要な情報となるため、ヒトの接触情報と運動情報とを統合して得られた行動情報をロボットに適用することでロボットがより知的な行動を行うことができると考えられる。
　CGアニメーションの分野においても動作情報と接触情報を統合して得られた動作情報は重要である。環境や他者との物理的インタラクションを伴うような運動は、相互に働く接触情報がその運動の成立に本質的な情報であり、動作情報と接触情報を統合することで、より正しい動作表現が可能となる。また、２つの運動を合成しようとするとき、運動を接触情報によって動作単位に分節化し、触覚のタイミングによって時間方向に正規化することで運動の同期を自動的に行うことができる。このように接触情報を利用することで、アニメーション作成の自動化を進めることができる。
　本発明の一つの実施形態は、接触情報を取得するための触覚センサと対象物の運動情報を取得するための姿勢センサと通信機能をモジュール化し、通信機能によって情報統合装置と接続する。情報統合装置は、接触情報から拘束条件を計算し、この拘束条件を用いて、運動情報の補正、身体モデルや環境モデルの補正、動作のセグメンテーション、動作の分類等を行う。また、拘束条件と運動情報を同時にデータベースに蓄積することで、力学的・物理的に矛盾のない動作の復元（アニメーション生成）を可能とする。
　モーションキャプチャ装置の基本構成は、図１に示すように、対象物が環境と接触したときの触覚情報を取得する触覚センサと、対象物の運動情報を取得するモーションキャプチャ手段としての姿勢センサと、情報統合装置とを含み、触覚センサと情報統合装置、姿勢センサと情報統合装置は、それぞれ通信機能によって接続されている。通信機能は、有線でも無線でもよいが、省配線の理由から、一つの好ましい態様ではシリアル通信を用いる。触覚センサおよび姿勢センサは、対象物に装着される。情報統合装置は、一つの態様では対象物に装着されるが、必ずしも対象物に装着される必要はない。
　姿勢センサは、対象物の位置・姿勢などの運動情報を計測するセンサである。剛体の位置・姿勢を計測するためには、一つの態様では、姿勢センサは、加速度センサ、ジャイロセンサ、地磁気センサから回転・並進の６軸の情報を取得する必要がある。
　触覚センサは、物理的インタラクションに伴う接触情報を取得するためのセンサである。本明細書においては、触覚センサは、対象物が環境と接触した時に働く力を何らかの形で取得できるセンサを意味し、力覚センサも含むものとして扱う。
　触覚センサを用いて、接触及び接触部位を検知することで、位置に関する拘束条件を得ることが可能となる。曲面に分布した圧力センサを用いることで、転がり拘束を得ることが可能となる。また、せん断力センサを用いることで、すべり拘束を検知することができる。身体の全身の触覚センサを実装する技術に関しては、特開2007-078382「触覚センサ用モジュールおよび触覚センサの実装方法」に開示された技術を用いることができる。
　一つの態様では、触覚センサは、柔軟軽量で接触運動の邪魔にならない分布触覚センサであり、例えば、感圧ゴム、感圧繊維等から構成される。
　触覚センサの種類の例としては、感圧抵抗、キャパシタ、撮像素子、光拡散方式、インダクタンス、EIT方式、ひずみゲージ、MEMSセンサが挙げられるが、これらに限定されない。光拡散方式は、特開2007-078382に開示されている方式である。EIT方式は、圧力によって抵抗が変化する材質（感圧ゴム、感圧ファブリック）の周辺に電極を実装し、任意の2点の間に電圧をかけたときの、その他の電極の電圧を測定し、逆問題解析を行うことで圧力分布を再構成する方法。伸縮性の高い触覚センサを実現可能であり、人体への実装に適している。
＜接触情報と姿勢情報を統合した接触動作の計測・分類・復元＞
　一つの態様では、図２に示すように、情報統合装置は、触覚センサにより取得された触覚情報を用いた幾何拘束計算、姿勢センサにより取得された動作情報を用いた関節姿勢計算、これらの計算結果を用いて総合計算（例えば最尤推定）が行われる。
（接触情報からの拘束条件の決定）
　一つの態様では、接触情報は拘束条件計算に用いられる。幾何拘束とは、足裏が地面に接地している、臀部がイスに接地しているなどの接触位置に関する情報、足裏がすべっている、背中で転がっているなどの接触面の運動情報である。
（拘束条件の表現と運動情報の修正）
　対象物と環境との接触情報から得られる拘束条件は、対象物に実装された触覚センサの絶対座標系からの位置ｘｉを用いて次のように表現される。
Figure JPOXMLDOC01-appb-M000001
 ｄｘｉは接触点の位置の変化であり、Ｗは重み行列である。重み行列によって、拘束の強さや拘束の方向を表現する。例えば、対象物の表面の法線方向の拘束を強くし、接線方向の拘束を弱くすることで、滑り方向の動きを許容する拘束を表現できる。
　一つの態様では、特開平１０－３４０３５４「動作生成装置、動作制御方法、および、これを実行するためのプログラムを記憶した記憶媒体」に記された拘束を満たすように多リンク系の位置・姿勢を補正する方法を用いることで、接触情報と姿勢情報の両方を考慮した運動情報を取得することができる。
＜拘束条件の分類・同定＞
　触覚センサから得られる接触情報を用いて、接触部位情報や、接触部位の遷移の方向から拘束条件を分類・同定することができる。例えば、身体のどの部位（腕、脚等）が接触しているかによって拘束条件を分類する。また、同じ部位（たとえば背中）がついている条件でも、転がる方向（前方、横方向）などの違い（接触情報と動作情報の両方によってわかる）によって拘束条件を分類することができる。
＜拘束条件に基づくモデル修正＞
　対象物が運動した時の位置・姿勢情報と、運動中の対象物が環境に接触した時の触覚情報が同時に得られることで、身体モデル、環境モデル、姿勢推定値の補正が可能となる。姿勢情報によって、個体の各部位が環境に対して、どのような位置にあるかを計算できる。このとき、環境モデル、身体モデルによって、起こりうる接触を推定できるが、これが実際と異なる場合には、身体モデル、環境モデル、姿勢推定値のいずれかに誤りがある。身体モデル、環境モデル、姿勢推定値の信頼度を定義し、信頼度で重みづけされたエラーｅと、モデルパラメータｐとの関係を、ｅ＝ｆ（ｐ）とあらわし、ｄｐ＝Ｊ#ｅによって各モデルパラメータの修正を行う。ここでＪ#はヤコビアンの擬似逆行列である。モデルパラメータは、モデルを決定する変数で、多次元ベクトルの形をとる。身体モデルであれば、姿勢が与えられたときに全身の皮膚の形状を決定するために必要となるモデルであり、単純なモデルパラメータとしては、リンクの長さや太さの情報が例示される。環境モデルとは、３次元の幾何モデルであり、環境中の凹凸情報を備えている。空間をボクセルで表現して、その空間を物体が占めるかどうかという情報を格納する。
＜運動情報の意味付けとセグメンテーション・分類＞
　接触部位の違い、拘束条件の違いによって運動を切り分ける。接触の変化は動作を切り分ける際の明確な基準となる。
　切り分けた単位に対して、拘束条件とその遷移に基づいて動作単位を分類する。大枠を接触の変化について分類し、さらに動き情報に基づいて再分化する。このことによって、動きの分類が容易となる。
＜接触情報運動情報を統合した動作の表現＞
　従来のモーションキャプチャのデータは、スケルトンモデルの関節姿勢の計測にとどまっていたため、動作において本質的な接触情報については、人手による補正に頼るしかなかった。接触情報と姿勢情報を同時に保存しデータベース化することで、動作において不可欠な接触条件を満たすアニメーション生成やロボット制御が可能となる。
　これを実現するためには、接触情報を身体のどの部位のどのような拘束かという情報に変換する必要がある。
　接触情報が得られる身体部位を同定するための方法として、１．触覚センサをスーツに固定して触覚センサの位置に関するモデルを立てる方法、２．触覚センサとそれに対応する姿勢センサをモジュール化することで触覚センサの位置・姿勢を計測し、身体表面のモデルと対応づける方法がある。
＜接触情報と力学的整合性を考慮した運動の再構成＞
　得られた動作情報から、個体と環境との接触部位が計測できる。個体の動力学パラメータを有する場合には、環境から受ける外力・モーメントに関する制約に基づいて、物理学的な整合性のとれた動作に変換することができる。例えば、特許第3944566 号「リンク機構において動力学的に関節加速度を求める方法」を用いる。
＜動作の切り分け＞
　モーションキャプチャから得られる動きの情報を接触情報を用いて、「動作」の最小単位に切り分ける。このような動作単位に対して、動作認識を行ったり、遷移関係をグラフにしたり、動作の分類を行ったりすることができる。最小単位は、通常は、動作情報であるが、最小単位は、１フレームデータ、すなわち姿勢データであってもよい。
　身体表面をリンクごとに分ける。リンクｉに対する身体表面に存在する触覚センサがＯＮのとき１、ＯＦＦのときに０とする。すると、全身の触覚センサパーツ数Ｎのベクトルを定義できる。
Figure JPOXMLDOC01-appb-M000002
 触覚情報をこのように表現したとき、各時刻ｔにＴｖｔを得ることができる。
パーツｉの値をＴｖｔ(i)としたときに、
Figure JPOXMLDOC01-appb-M000003
 という条件式によって、接触部位の変化を抽出し動作の切り分けを行う。
（分布触覚センサからの接触判定）
１．リンク内の各センサエレメントに対して、閾値を設定し、それを超えた圧力のかかった、エレメントの数を数え、エレメント数に関する閾値を超えたときに、リンクの接触を検知する。
２．リンク内の各センサエレメントの出力の総和をもとめ、ある閾値を超えたときにリンクの接触とする
＜ブレンディング＞
　複数のモーションデータを混合して、新しいモーションを生成する技術であるブレンディングにおいて、接触情報と動き情報を同時に計測し、蓄積することで、時間の長さや動き方の異なるデータを接触のタイミングで正規化し、混合することができる。たとえば、複数の歩行データを組み合わせるとき、立脚と遊脚の左右や接触の切り替えのタイミングを合わせることができる。このような、処理が、自動的に、データのみから可能となる。
＜触覚情報と動作情報の蓄積＞
　複数のタイプが考えられる
　姿勢情報としては、各センサの生データ；各センサモジュールの位置・姿勢；関節の位置・姿勢；スケルトンモデルの一つあるいは複数が含まれ得る。
　触覚情報（位置に関して）としては、触覚センサの生データ（各エレメントには固有のIDが割り振られる）；触覚センサの各エレメントのIDに対して、トポロジが既知（相対的な位置関係）；触覚センサの各エレメントの位置・姿勢が既知；の一つあるいは複数が含まれ得る。
　触覚情報の種類としては、接触情報（2値）；圧力情報；圧力＋せん断；6軸情報（力とモーメント）；の一つあるいは複数が含まれ得る。
＜接触位置の情報＞
　対象物の表面に複数の触覚センサが配置されている場合に、動作中の対象物が環境に接触した時の「接触位置」の情報を得るためには、「どの触覚センサが反応しているか？」、「その触覚センサがどこにあるか？」の情報が必要となる。通常、触覚センサには、各触覚センサを識別するための固有のＩＤを備えており、ＩＤによってどの触覚センサが反応しているかを知ることができる。触覚センサのＩＤが「触覚センサがどの位置にあるか」という情報と統合されないと接触位置は特定されない。触覚センサの位置を特定できる幾つかの場合を以下に例示する。
１．環境や身体の幾何的なモデルを持たない場合：
　この場合、各触覚センサのＩＤが、右腕、左腕、あるいは、物体Aなどのシンボルと対応付けられている時には、シンボルによって特定される位置の範囲において接触位置が特定される。この場合、接触位置は、触覚センサの触覚情報のみから取得することができるが、３次元的な位置を有していない。この場合では、接触位置情報は、対象物の動作のセグメンテーションに用いることができる。
２．対象物上で触覚センサの位置・姿勢が分かる場合：
　この場合、触覚センサの３次元位置は特定できるが、触覚センサが環境のどこに接触しているかの対応は特定できない。
３．２に追加して環境のモデルがある場合：
　例えば、床の位置、物体の位置とその接触部位まですべてわかる場合には、３次元位置でもっとも近い接触を対応付けることができて、接触位置がわかる。
　このように、１は触覚センサのみ、２、３は触覚センサとモデル、姿勢センサ（物体、身体など動くため）が必須になる。
　姿勢から触覚センサの位置を推定する場合、関節の位置・姿勢がわかると触覚の位置がわかるとする場合、触覚センサの位置はずれない、皮膚は変形しないなどの仮定をおいている。
　以下の記載では、皮膚の多少の変形や触覚センサの位置ずれを考慮に入れるために、触覚センサモジュールに対応した姿勢センサを実装することで、触覚センサ自体の位置・姿勢を測定する。
＜触覚モジュールの姿勢を測定する姿勢センサ＞
　分布触覚センサを対象物に装着する場合において、分布触覚センサの位置・姿勢の推定をする手段がなかった。触覚センサスーツからは圧力分布、力分布が得られるが、その２次元分布から、３次元空間上の圧力分布を再構成するためには、触覚センサモジュール自体の位置・姿勢情報を得る必要がある。
　そこで、複数の触覚センサと姿勢センサをモジュール化し、触覚センサモジュールの姿勢を推定し、個体・物体のモデルと統合することで、位置・姿勢の情報を得る。
（システム構成）
　複数の触覚センサと姿勢センサと通信機能をモジュール化する。姿勢センサモジュールは、必ず３軸の加速度センサを持つ。それに加えて、１軸以上のジャイロまたは、１軸以上の地磁気センサを有する。分布触覚センサと統合するために、ジャイロや地磁気の数を最小限の構成とし小型化・薄型化を実現する。
　拘束のない剛体の位置・姿勢を計測するためには、３軸の加速情報と３軸の角速度情報の６軸の情報が必要である。上記構成では、軸が不足しているために、位置・姿勢の推定を行うことができない。
　この問題を解決するために、上記姿勢センサモジュールを剛体上に複数分布させる。各姿勢センサモジュールの取り付け姿勢を調整することで、独立の６軸情報を得られるようにする。
　分布した姿勢センサの情報を統合することで、剛体の位置・姿勢の変化を計算することができる。さらに、各モジュールの持つ３軸加速度センサの情報を用いることで、各モジュールが剛体内でどのようにとりついているか計算することができる。この情報は触覚センサの姿勢情報を同時に意味する。
　上記では、便宜上剛体を仮定したが、変形が小さい場合には、各姿勢センサの位置・姿勢変化として許容できる。
（姿勢推定アルゴリズム）
　単一リンク内に複数の３軸加速度センサと２軸ジャイロセンサの組が実装された場合の姿勢推定アルゴリズム。
　各姿勢センサモジュールはリンク座標に対して回転しているため、それぞれのセンサ値に回転行列をかけることで、カルマンフィルタ・パーティクルフィルタに入力する観測値を得る。カルマンフィルタ・パーティクルフィルタは、関節姿勢を状態として持ち、観測値と整合性の高い姿勢推定値を出力する。出力値とセンサ出力を比較することで、それぞれのモジュールの回転行列を補正する。これによって、姿勢センサモジュールの姿勢とそれに対応する触覚センサの姿勢を同時推定する。
　カルマンフィルタ・パーティクルフィルタには、カルマンフィルタ、拡張カルマンフィルタ、アンセンテッドカルマンフィルタ、非線形カルマンフィルタ、パーティクルフィルタが含まれる。
（定式）
　剛体の姿勢を、リンク座標系から観測される重力ベクトルｇｋ、地磁気ベクトルｈｋで表現し、状態変数とする。状態方程式は、角速度ベクトルωｋとサンプリングタイムＴを用いて、
Figure JPOXMLDOC01-appb-M000004
 と表す。Ｉは単位行列。ｗは誤差ベクトル。τはハイパスフィルタの時定数である。
　観測方程式を、各センサモジュールの剛体座標系における姿勢行列Ｒｉ、観測ノイズＲとして、
Figure JPOXMLDOC01-appb-M000005
 として、線形カルマンフィルタによって剛体の姿勢を推定する。剛体の姿勢行列と各センサモジュールの姿勢行列から各センサモジュールの姿勢が推定できる。また、加速度センサの出力から重力成分を差し引き、積分することで位置の変化も計算する。
＜分布姿勢センサ＞
　物体の位置・姿勢を推定する際に、普通は、６軸情報をすべて取得可能なモジュールを用いるが、３軸加速度センサと、１軸ジャイロ、２軸ジャイロ、３軸地磁気センサから適宜選択したセンサを組み合わせをと同じ通信規格をモジュール化し、計測したい対象のモデルや実装スペースに応じて、組み合わせて用いる。組み合わせの態様としては、３軸加速度＋１軸ジャイロ、３軸加速度＋２軸ジャイロ、３軸加速度＋３軸ジャイロ、３軸加速度＋３軸地磁気が例示される。姿勢センサモジュールの省スペース化を考えると、ジャイロの軸数が少ない方が有利である。このように、複数センサに分離することで、モデルに適したセンサ構成を実現し、実装スペースを有効活用できる。
　センサの冗長性を用いることで、姿勢推定や位置推定の精度を向上させることもできる。全身に分布させて身体曲面の位置・姿勢を計測する場合に、必ずしも6軸情報を持っていない姿勢センサモジュールを分布させても、ゆるい拘束条件によって、統合して、位置・姿勢情報を取得できる。
　ここで述べた分布姿勢センサは、姿勢を測定するための６軸情報を分割実装し、統合する点に特徴を備えている。
　また、この分布姿勢センサは、触覚センサから独立して成立し得る技術思想として捉えることが可能である。
＜指用グローブ＞
　図８に示すように、手袋内に、姿勢センサモジュールと触覚センサのセットを多数分布させることで、手で動作をする際の接触の利用を計測する。一つの態様では、３軸加速度と３軸地磁気センサと複数の触覚センサを、複数の関節に亘って実装し、これらの情報を通信機能で統合装置に送信する機能をもつグローブである。指の動き・姿勢と接触情報を同時に得ることができる。統合装置は、指間の接触拘束、物体との間の接触拘束を利用して、位置・姿勢の最尤推定を行う。
［１］実施例１：姿勢センサに触覚センサを統合
　従来の姿勢センサを用いたモーションキャプチャは、リンクモデルに基づいて、リンクの姿勢情報のみから動きの再構成を行っていた。このため、見た目に似ていても全く異なる動作を区別することはできなかった。触覚センサと対象物である個体や物体の表面モデルに基づいた拘束条件の同定を姿勢センサ式モーションキャプチャと統合することで、動作の分類、動作のデータベース化、力学的整合性のとれたモーションの生成、モデルの補正などを行うシステムを構成する。以下に、システム構成について説明する。
　身体の各部に姿勢センサを実装し、とりたい動作に応じて触覚センサを姿勢センサとは独立に実装する。各姿勢センサモジュールは、独立に姿勢推定の計算を行う。そのために、各姿勢センサモジュールには、６軸情報を取得するためのセンサと計算のためのコンピュータが実装され、リアルタイムの処理がなされる。このような姿勢センサモジュールを対象物に実装することで、位置・姿勢の推定を行う。
　触覚センサについては、各触覚センサエレメントの情報を通信によって統合機に伝達する。統合機では、姿勢センサと触覚センサ情報を用いて、個体や物体の表面モデルの位置・姿勢に変換する。この際、触覚センサから得られる複数種類の拘束条件を分類し、処理を行う。
＜システム詳細＞
　各姿勢センサモジュールは、３軸の加速度センサ、３軸のジャイロ、３軸の地磁気センサ、計算のためのマイクロコントローラ、シリアル通信機能を有する。各姿勢センサモジュールは、独立に位置・姿勢の変化を計算し、通信を介して統合機に伝達する。
＜姿勢推定アルゴリズム＞
（姿勢推定：拡張カルマンフィルタ）
　本実施例では、姿勢角推定のために原田ら（非特許文献１）の手法を用いる。非特許文献１では、拡張カルマンフィルタを用いて、加速度情報と角速度情報から姿勢角を推定している。そのアルゴリズムを図５、図６に示す。以下で具体的なアルゴリズムを記述する。
（姿勢表現）
　姿勢表現には回転行列を用いる方法や、オイラー角を用いる方法、ユニットクォータニオンを用いる方法が一般的に用いられる（Joao Luis Marins, Xiaopoing Yun, Eric R. Bachmann, Robert B.McGhee，and Michael J.Zyda. An extended kalman filter for quaternion-based orientation
estimation using marg sensors. In Proceedings of the 2001 IEEE/RSJ　International Conference on Intelligent Robots and Systems, 2001.）が、ここでは、ユニットクォータニオンによる姿勢表現を行う。ユニットクォータニオンｑは次のように定義される。
Figure JPOXMLDOC01-appb-M000006
 また、次の式を用いて、回転軸と回転量に簡単に直すことができる。
Figure JPOXMLDOC01-appb-M000007
 ユニットクォータニオンは一つの値にたいして一つの姿勢が表現できるので、他の表現で問題になっている特異点が存在せず、連続な姿勢の変化が、ユニットクォータニオンの連続な変化によって記述できるため、扱いやすい。
（システムモデル）
　姿勢角推定におけるシステム方程式は以下のように記述される。
Figure JPOXMLDOC01-appb-M000008
 (1.1) においてＵ（ｑｋ）は以下の式で表される：
Figure JPOXMLDOC01-appb-M000009
（観測モデル）
　観測値として加速度センサから得られる加速度値、および地磁気センサから得られる地磁気値がある。地磁気値は金属の影響を受けるなどで信頼がおけないことが多いので加速度値のみを観測値として用いたものと、加速度値と地磁気値の両方を観測値として用いたもととの二通りを用いる。加速度値は重力方向を表すリファレンスとして用いるが、センサ自体が動いた場合に観測される加速度値は、重力成分に加速度運動の成分が足された状態で得られる。これではリファレンスとして用いることができない。そこで、加速度値を重力方向のリファレンスとして用いることができる場合（このとき重力方向に信頼がおけると定義する）と、できない場合（このとき重力方向に信頼がおけないと定義する）で観測モデルを切り替える方法を用いる。
(1)重力方向に信頼がおける場合
ここではまず加速度値のみを観測値として用いた場合の説明をする。このとき観測方程式は以下のように記述される。
Figure JPOXMLDOC01-appb-M000010
 1.4 においてＲ（ｑ）は以下の式で表される：
Figure JPOXMLDOC01-appb-M000011
 地磁気値を観測値として使う場合はｚｋとして次の値を用いる．
Figure JPOXMLDOC01-appb-M000012
 (2)重力方向に信頼がおけない場合
この場合観測方程式を利用することはできない。姿勢角はシステム方程式1.1 のみを用いて推定する。
（拡張カルマンフィルタ）
　上述したシステム方程式と観測方程式を用いて拡張カルマンフィルタを構成する。以下にその方法を記述する。
(1)重力方向の信頼度の算出
まず、前節で述べた重力方向の信頼度の算出方法について記述する。
Figure JPOXMLDOC01-appb-M000013
 あるいは、加速度の絶対値と方向の両方を考慮する以下の式、
Figure JPOXMLDOC01-appb-I000014
とする。θは、ｚｋとｗｇとの間の角度である。
式1.6あるいは1.6Aにおいてフラグが１のとき重力方向に信頼がおけると判断する。この場合(3)のステップへ。一方、フラグが０のとき重力方向に信頼がおけないと判断する。この場合(2)のステップへ。
(2)観測モデルを利用しない姿勢角推定
重力方向に信頼がおけない場合、重力方向のリファレンスとして加速度値を用いることはできないのでシステム方程式1.1のみを用いて姿勢角推定を行う。
Figure JPOXMLDOC01-appb-M000015
 誤差共分散行列は一つ前の時刻のものをそのまま用いる。
Figure JPOXMLDOC01-appb-M000016
 このあと(4)のステップへ。
(3)観測モデルを利用した姿勢角推定
(3.1)推定値の時間更新
Figure JPOXMLDOC01-appb-M000017
 (3.2)カルマンゲインの更新
Figure JPOXMLDOC01-appb-M000018
 (3.3)推定値の観測更新
Figure JPOXMLDOC01-appb-M000019
 このあと(4)のステップへ。ここで、観測値（加速度情報）ｚｋを正規化すると良い結果が得られる。
(4)正規化
クォータニオンをユニットクォータニオンにするために正規化を行う。
Figure JPOXMLDOC01-appb-M000020
 このあと時刻を1ステップ進めて(1)のステップへ戻り、繰り返す。
＜接触拘束の計算＞
　触覚センサの出力の総和を計算し、閾値を超えた場合に幾何拘束を計算する（図３参照）。与える前提知識の量に基づいて、計算可能な接触拘束が異なる。身体幾何形状情報を用いることで、身体のどの部位とどの部位が接触し、どの部位は接触していないかという拘束を計算する。動力学情報（身体各部位の質量情報など）を用いることで、バランスをとりえない（物理学的にありえない）というＺＭＰ拘束を計算することができる。環境情報を用いることで、環境と干渉してとりえない、あるいは環境の特定の部位と接触しているといった拘束を計算する。
　図３において、環境モデルは、環境の幾何形状の情報、その位置や姿勢に関する情報を意味する。
　身体モデルには、以下のようなモデルが含まれる。
　スケルトンモデル：関節リンク系を仮定し、リンク長さ、関節の種類（拘束）とその接続関係によって規定される。
　身体表面モデル１：各リンクに対して、対応する表面形状（微小変形を仮定）を定義し、リンクに付随して動くものとする。
　身体表面モデル２：関節付近の皮膚が伸び縮みすることで、屈曲伸展時の身体表面に生じる隙間を埋めるモデル。
　また、動力学モデルは、関節リンク系において、各リンクのもつ質量、慣性モーメント、重心の位置に関する情報である。
　また、身体形状モデルとしては、人体の形状を測定する技術やそれをアニメーション化する技術や、物体の3次元スキャンの技術が存在し、これらの技術を用いることができる。
＜統合計算＞
　統合計算では、幾何拘束を満たすように関節姿勢推定値を微小修正する（図４参照）。幾何拘束と関節姿勢推定値との間の整合性を評価する評価関数を定義し、関節位置姿勢との間のヤコビアンを計算し、修正量を計算する。繰り返し計算を行い、姿勢位置姿勢の推定値とする。
Figure JPOXMLDOC01-appb-M000021
 後はこれを用いてNewton-Raphson法によって逆運動学計算を行う。
＜計測例＞
　スポーツ科学やリハビリテーションの分野における動作解析において、身体のどの部分がどういったタイミングで環境や他者と接触しているかを解析することによって、新たな知見を得ることができると考えられる。
　計測例を図７に示す。
(1)歩行
歩行時の足裏の接触を用いることで、関節位置の変化を補正し移動量を得ることができる。
(2)着座
環境情報（イスの形状）と比較することで、臀部がイスにめり込んだり、浮いたりしないように関節姿勢を修正することができる。
(3)ヨガ
自己干渉して、腕と腕がめり込むようなありえない関節位置姿勢出力を補正することで、複雑な接触を伴う動作に対しても運動計測できる。
(4)柔道
２人の人間が接触するような運動においても、互いの身体がめり込んだりしないように補正を行い、接触運動を計測できる。同様に、二人の協調動作が重要な社交ダンスにおいても、動作のみならずお互いの接触状況を計測することで、スキル向上の重要な指標を得ることができる。
　従来のモーションキャプチャ装置は、さまざまな接触を伴う動作を計測することができなかった。従来の姿勢センサのみを個体に装着させる方法は、接触動作時の接触情報を得る手段を持たないため、実際にはありえない動作を出力する。これに対して、本実施例では、姿勢センサと触覚センサをモジュール化し、個体に装着することで、接触動作時の接触した部位とその位置・姿勢を計測することができる。これらの情報を統合し、実際には起こりえない出力を排除することで、質の高い接触動作の計測データを出力することができる。より具体的には、従来計測が困難であった、レスリング・柔道・ダンスなどの接触を多く伴う運動、介護動作・救助動作などを行う人間の動作を計測し、コンピュータに取り込むことができる。得られたデータは、CG・アニメーション、シミュレーション、ロボット運動制御などさまざまなコンテンツに利用可能となる。
［２］実施例２：全身分布触覚センサを統合したモーションキャプチャスーツ
　モーションキャプチャ技術の重要性は、スポーツ工学やロボット工学、CGアニメーションの分野など多岐に亘り主張されている。モーションキャプチャシステムに関する研究は幅広く行われているが、それらは測定対象の周囲に他者や物体が雑多に存在する環境での自然な動作の測定には不向きである。例えば、光学式システムは精度の高い運動計測ができることで重宝されているが、雑多な環境ではマーカの隠れが生じ、適切に計測ができない。機械式のシステムは全身の動きを阻害するため、自然な動作の計測には向いていない。姿勢角センサを用いたシステムでは、動きの阻害が少なく、より自然な動作を雑多な環境で測定可能である。このシステムは光学式システムに比べ精度の面で劣るが、いくつかのセンサ情報を組み合わせて精度向上を目指す研究が多くなされている。しかし、位置変化の情報を得るためには加速度情報の二回積分を用いる方法に頼る必要があり、一般的にこれは大きな誤差を含む。
　原田ら（非特許文献１）はこの問題に対して、姿勢角情報とともに足裏触覚センサの情報を利用することで、位置情報の測定が可能であることを示唆している。雑多な環境中での自然な動作は、足裏の接触に限らず、椅子に座る、ベッドに寝ころぶ、他者と接触する、など身体の様々な部位での接触が起こり得る。そこで、全身に分布した触覚センサからの情報を利用することで、原田らの手法をより一般化することができると考えられる。
　さらに環境の幾何情報が既知である場合、それらの情報を有効に利用することで本来姿勢角センサが不得手であった測定精度の面でも改善の可能性が考えられる。また、多数の他者や物体が存在する雑多な環境中を広く動き回る場合、測定装置やその配線が被験者の身体にすべて取り付けられている必要がある。
　このような観点から、本実施例では姿勢角センサと全身分布触覚センサを統合したウェアラブルなモーションキャプチャスーツを開発し、これらセンサ情報を統合することで全身の位置と姿勢を推定するアルゴリズムを提案し、その有効性を示す。
＜姿勢角情報に触覚情報を統合した位置・姿勢推定アルゴリズム＞
　姿勢角センサから得られる姿勢情報はドリフトやノイズの影響によって、一般的に光学式などのシステムよりも精度の面で劣る。また位置の情報を加速度情報の二回積分に頼る必要があるため、精度の高い位置情報を得るのは困難である。位置情報の問題を解決する方法として、原田ら（非特許文献１）は足裏の接触情報から位置変化情報を得ることに成功している。しかし足裏の接触に限定していることと、同時に多リンクが接触することを許していないため、得られる接触情報を完全に利用できてはいない。そこで、本実施例では全身に拡張した触覚センサ情報を用いて、位置変化の情報を得ると同時に、多点接触が検知された際に、その情報を利用してより尤もらしい位置と姿勢を推定するアルゴリズムを提案する。触覚センサから得られる接触情報からリンクの位置や姿勢に関する拘束条件を導き出し、姿勢角センサから得られる姿勢情報と統合する。このモーションキャプチャシステムのコンセプトを図９に示す。システムは、人間モデルと、環境モデルと、対象者が環境に接した時の触覚情報を取得するための全身触覚センサと、対象者の動作情報を取得するためのモーションセンサと、を備える。全身触覚センサ、人間モデル、環境モデルからの情報が全身拘束条件推定モジュールに入力される。モーションセンサからの情報が運動学評価モジュールに入力される。全身拘束条件推定モジュールにより推定された拘束条件を運動学評価モジュールに与えることで、対象者の動作を推定する。さらに、床面が水平であるなどの環境情報を事前知識として与えることで、より精度の高い動作計測が可能になる。
（接触拘束算出器）
　ここで、接触拘束条件の算出方法について述べる。接触拘束情報は触覚センサエレメント一つ一つの情報を用いることや、それらの情報を圧縮した圧力中心点や近傍との平均を見て拘束点とする方法、接触に平面を仮定し、平面中の３点を拘束条件として扱う方法など様々に考えられる。本研究では得られた触覚情報からこのような接触点を割り出す関数を接触拘束算出器と呼ぶことにする。この算出器から割り出された接触リンクの拘束条件が点拘束の場合、リンクは位置のみの拘束を受け、面拘束の場合位置と姿勢の両方が拘束される。主成分分析などにより、線接触を検出できれば、ある軸周りの回転のみ許すような線拘束を与えることもできる。動作計測時に利用可能な環境情報や測定対象のモデル情報などによって扱うべき算出器が異なり、この算出器を適切に選ぶことにより、より精度の良い位置・姿勢推定ができると考えられる。
　本実施例では最も基本的な拘束として、各リンクの触覚データの総和が閾値を越えたらそのリンクの位置を拘束するという方法を用いる。ここでは閾値の決め方が重要となる。本実施例では以下の式によって閾値を決定した。
Figure JPOXMLDOC01-appb-M000022
 　ただしｉはリンクのインデックス、Ｔは触覚データ、ｔは時刻、ｋはリンクｉにおける触覚エレメントの個数を表す。ｍａｘ，ｍｉｎはそれぞれ全時刻内での最大値、最小値を表す。
（姿勢拘束と接触拘束条件に基づく位置・姿勢推定）
　接触拘束算出器から一点の接触拘束条件のみが得られた場合について記述する。この接触点の絶対座標をｒとすると、ｒを固定してその点から順運動学計算を行うことで全身の位置と姿勢が推定できる。また、接触点が増えた場合は山根らの手法が有効であると考えられる。山根らはヒューマンフィギュアにユーザが多数の目標位置や目標関節角度を与えたとき、それらを尤も矛盾なく満たす位置と姿勢を計算することに成功している（山根克, 中村仁彦. ヒューマンフィギュアの全身運動生成のための協応構造化インタフェース. 日本ロボット学会誌, Vol. 20, No. 3, 2002.）。この手法を応用して、接触拘束算出器から得られる拘束条件に加え、姿勢拘束の与えられていないリンクに関しては姿勢角センサから得られる姿勢情報を拘束条件として与えることで、それらを満たす尤もらしい位置と姿勢を推定できると考えられる。
＜システムの要求機能と実現方法＞
（要求機能）
　周囲に雑多に他者や物体が存在するような環境で動作計測を行うには、計測範囲が制限されず、オクルージョン問題がないということが要求される。また、動作測定は姿勢だけでなく、位置の変化も重要な情報となるため、それらをともに計測できることが求められる。さらに雑多な環境中を動き回る自然な動作を測定する場合、測定装置や配線が被験者や環境に大きな影響を与えてはいけない。以上の要求を満たすモーションキャプチャシステムを開発するために姿勢角センサと全身分布触覚センサを統合したウェアラブルなモーションキャプチャスーツを開発する。
（全身分布触覚皮膚モジュールの構成）
　雑多な環境中における日常の自然な動作は、全身での接触を伴うため、全身に起こり得る接触拘束を検出するためには全身に触覚センサを分布させる必要がある。
　１つの態様では、特開2007-078382に開示された触覚センサ用モジュールを用いる。触覚センサ用モジュールは、複数の帯状部を有するフレキシブル基板と、フレキシブル基板を構成する複数の帯状部に配置された複数のセンサエレメントと、フレキシブル基板に設けた１つ以上の通信用端子と、フレキシブル基板に設けられ、フレキシブル基板を延出する配線によってセンサエレメント及び通信用端子に電気的に接続されており、各センサエレメントにより取得された情報を受信し、当該情報を通信用端子に送信する通信機能を有する１つ以上の電子回路部と、からなる。複数の帯状部の少なくともいずれか１つは、折り曲げ可能領域、あるいは／および、切断可能領域を有しており、１つあるいは複数の帯状部を折り曲げることで、センサエレメントの位置を調整したり、１つあるいは複数の帯状部を切断することで、センサエレメントの数を減らしたり、帯状部の折り曲げあるいは／および切断によって、センサエレメントの密度調整、あるいは／および、実装領域の調整、を行うことが可能となっている。各触覚センサ用モジュールは、通信用端子を介して互いに接続可能である。１つの態様では、通信用端子はシリアル通信用端子である。１つの態様では、電子回路部と通信用端子間の配線はシリアルバスである。１つの態様では、電子回路部は、プロセッサユニットを備えており、シリアル通信用端子を介して外部装置とシリアル通信可能であり、センサエレメントにより取得された情報を、外部装置へ送信可能なように構成されている。１つの態様では、電子回路部は、アナログ・デジタル変換手段を備えており、センサエレメントにより取得されたアナログ情報をデジタル情報としてプロセッサユニットが取り込む。１つの態様では、センサエレメントは圧力検知器である。
　図１２、図１３に示すように、特開2007-078382に開示された触覚センサ用モジュールを身体の各部位の形状に合わせて用意する。用意された各触覚センサ用モジュールはそれぞれ弾性シートに挟み込まれている。図示の態様では、９個のモジュールから背中モジュールが形成され、３つのモジュールから腰モジュールが形成され、３つのモジュールから胸モジュールが形成され、左右の足モジュールは、それぞれ１つのモジュールからなる。複数のモジュールにおいて、各モジュール間に隙間を設けることで身体の形状変化を許容する。また、測定したい部位のみにモジュールを取り付けることで、動きの阻害を少なくすることを可能とした。モジュール化した触覚センサを面ファスナーを用いてベーススーツに着脱可能に装着することで、触覚センサの固定を行う。足裏のように特に大きな荷重がかかる部位に対応するために、感度の異なるウレタンと、センサ保護のためのゴムシートを用いた。さらに足裏部を環境との強い接触から保護し、同時に身体に固定するために上履きの中にこのセンサを入れて使用した。
（各センサ内で姿勢角計算が可能な姿勢角センサ）
　ウェアラブルなシステムを実現するには、処理系となるＰＣや電源系、配線部をすべて被験者の身体にとりつける必要がある。無線を用いて処理系を外部に置くことも考えられるが、その場合測定範囲が限られてしまう。処理系のＰＣを身体に取り付ける場合、動きの阻害を最小限にするため、小型のＰＣを用いる必要がある。そのため計算能力をＰＣに頼ることができない。一方、姿勢角センサによる姿勢角計算にはリアルタイム性が求められ、さらに人の動作を測定する場合、多数のリンクの姿勢を同時に計算する必要がある。本実施例では、姿勢角計算を各姿勢角センサに搭載するＣＰＵで計算することでこれらの問題を解決する。これにより、姿勢角センサでリアルタイム性を確保し、ＰＣはデータの収集に専念することができる。姿勢角センサの作成にあたり、ジャイロセンサ、加速度センサ、地磁気センサ、CPU、など各部品の選定を行い、回路設計、基板設計を行った。姿勢角センサの構造及びシステムを図１０、図１１に示す。この姿勢角センサは３軸の角速度、加速度値、地磁気値が測定可能で、CPUを搭載することで、センサ内部で姿勢角計算を行う。姿勢角計算には原田ら（非特許文献１）の用いた拡張カルマンフィルタを用いる。
（ウェアラブルモーションキャプチャスーツ）
　ウェアラブルにするためにセンサ部、電源系、処理系、配線をすべて搭載したスーツを作成する。処理系には小型のPCを用いた。PC と電源系、を全て腰に装着したポーチの中に収納することで、動きの阻害を軽減した。姿勢角センサの通信方式は省配線かつ高信頼度のCANを採用した。以上の方法により、本実施例では図１２乃至１４に示すモーションキャプチャスーツを作製した。全身の１０リンクに姿勢角センサを搭載し、背中、胸、尻、足裏に触覚センサを分布させて配置し、処理PCや電源部を腰の収納部（ポーチ）に収納した。電源部は処理部への電源とセンサ部への電源に分類できる。１つの態様では、処理部の電源にはＰＣ専用のバッテリパックを用い、センサ部への電源供給はＵＳＢのバスパワーを用いる。
　図１２、図１４に示すように、触覚センサモジュールは、背部モジュールと、腰部モジュールと、胸部モジュールと、足部モジュールと、からなり、背部モジュール、腰部モジュール、胸部モジュールは、面ファスナーによってベーススーツの表面に着脱可能に装着されている。足部モジュールは、靴の中敷として構成されている。各触覚センサモジュールは、SMBusを介してポーチに収納された処理部(PC)に電気的に接続されている。図示の例では、ベーススーツと、ベーススーツに対して着脱可能に装着される複数の触覚センサモジュールを示したが、触覚センサモジュールをベーススーツに組み込んで一体的に形成してもよい。触覚センサモジュールはベーススーツの表面あるいは内部に設けられる。また、必要に応じて、脚部（大腿部や下肢部等）にも触覚センサモジュールを設けてもよい。
　触覚センサモジュールを図１５Ａ～Ｄに示す。
　背中部に作成した触覚センサモジュールを用いて、起き上がり動作を行った。その際の接触点の変化の様子を図１６に示す。一マス一マスが触覚センサエレメントを表し、接触のない状態では白色で示される。接触が強くなるにつれ、黄色から赤色（図では濃度の変化）へと変化する。測定結果として、起きあがり動作時の触覚情報の移り変わりを取得することができた。この方法を用いて全身に触覚センサを分布させることで、全身における接触情報を得ることができることを確かめた。
＜開発したシステムの動作実験＞
開発したシステムを用いて、突きとばされる際と起き上がる際の測定実験を行った。前者をpush and bang動作、後者をroll and rise動作と呼ぶことにする。前者の実験は人の自然な振舞を測定することを目的とし、後者の実験は人のダイナミックな運動を位置の変化もふくめて測定することを目的としている。
（push and bang動作）
push and bang動作の計測結果を示す。図１８に計測されたデータによって構築された動画のスナップをいくつか示す。図１８の下段において、白い点によって触覚エレメントの一つ一つ表示されている。図１８のフレーム1において、右胸を押されるとそこに対応する触覚エレメントが反応したことを確認した。フレーム3において背中が他者にぶつかった際に背中の触覚エレメントが反応したことを確認した。
（roll and rise動作）
roll and rise動作の計測結果を示す。図１９に計測されたデータによって構築された動画のスナップをいくつか示す。中段(A)で動作が正しく計測されていることが確認できる。下段(B)で起き上がる際の背中の接触情報が検知されていることが確認できる。この接触情報から圧力中心点を算出し、その点を接触拘束条件として用いることで位置変化の情報の取得に成功した。その結果を図２０と図２１に示す。図２１は起き上がり開始時のベースリンク位置の鉛直方向成分を表した図であり、鉛直方向にベースリンクの位置が変化していることがわかる。
（接触拘束条件を用いた位置情報の獲得）
　全身に取り付けた触覚センサから得られる触覚情報から、接触拘束条件を算出し、その接触拘束条件によって拘束点を切り替える。この拘束点の情報とその時の運動情報から行動の再構築を行った。実験の結果を図２２に示す。触覚情報によって拘束点を切り替える。フレーム1、５においては足が、フレーム２、４おいては臀部が、フレーム3においては背中が接触拘束点として算出され、それぞれの間で拘束点が切り替わることによって結果に示すように鉛直方向の位置の変化が検出できた。一方、従来の最下点拘束ではベッドに上がるところで、足が地面に拘束されてしまい、身体がベッドにめり込んでしまった。この実験により、触覚情報から接触拘束条件を割出すことの有用性が示すことができた。
　本実施例では他者や物体が雑多に存在するような環境で、様々な接触変化を伴う人の自然な動作を計測可能なモーションキャプチャシステムを開発した。測定範囲に制約がなく、オクルージョンの問題のない姿勢角センサを用いたウェアラブルなシステムを採用することで雑多な環境中での計測を可能にした。さらに、このような環境下で頻繁に生じる接触情報を全身に分布させた触覚センサから得ることによって本来姿勢角センサに取得困難な位置の情報を取得することを可能にした。全身の接触情報は、環境の情報と組み合わせることで位置の情報を与える。本実施例では起き上がり動作における接触情報によって鉛直方向の位置変化の情報を得ることができることを示した。この他に、床の幾何情報が既知の場合接触情報と統合することで、姿勢や位置の誤差を軽減できると考えられる。また、椅子への着座のような動作を考えた場合、椅子の環境中での位置情報が既知の場合にも位置情報の補正が行える。このように触覚情報と環境情報をうまく利用することで、従来姿勢角センサのみでは測定不可能であった位置に関する情報を取得することができる。環境の情報を有効に利用することで、雑多な環境下における人の自然な動作をより精度よく測定できるシステムを構築することができる。
［３］実施例３：ヒトの接触スキルを測定するためのモーションキャプチャデバイスの開発
　少子高齢化社会の到来によって、今後介護者の増大と被介護者の不足が問題となることが懸念され、ロボット技術の貢献が期待される。多くの作業ロボットは、手先の軌道のコントロールや衝突回避を目的とするが、介護動作の場合には、全身の体の形や接触部位を巧みにコントロールすることが要求されるため、全身での接触やその検知が不可欠である。介護においては、そのヒトがどのような姿勢になりたいのか、無理な力がかかっていないか、無理な姿勢ではないかなどの情報が必要であり、これらの情報を視覚、聴覚、全身の触覚・力覚から推定し、巧みに運動生成を行なうスキルが必要となる。このような状況に応じた巧みな接触制御を接触スキルと呼ぶ。
　ヒトは接触状態を巧みに制御する接触スキルを持っているが、それをロボットに実現することが要望されている。接触スキルの計測のためには、実際に介護動作を行なう人間の接触状態、姿勢情報、視覚情報を計測する必要がある。本実施例では、触覚センサから得られる接触情報とモーションキャプチャシステムから得られる姿勢情報を統合するのに適したモーションキャプチャシステムについて説明する。
＜接触スキル計測方法＞
　接触スキルは、状況に応じた接触の巧みな使用方法であるため、体のどの部位が接触しているか、それが３次元空間上でどのように遷移するかが重要と考える。これを計測するためには、局所的な力情報や位置情報ではなく、全身の接触情報ならびに接触センサの位置・姿勢情報が不可欠である。全身の接触情報の取得に関しては、特開2007-078382に開示された任意曲面に容易に実装可能な触覚センサを用いることができる。触覚センサシートは、複数のセンサエレメントと通信機能がモジュール化され、複数枚の接続やエレメント切り取りによる実装領域調整、折り曲げによる位置調整機能、曲面適応機能を有し、任意の曲面の形状・曲率にあわせた触覚皮膚を構成することができる(図２３参照)。リンク形状にあわせて触覚皮膚を作成し、締めつけとメカニカルファスナによって固定することで実装する。実際に触覚センサシートを用いてロボット用の着脱可能な触覚皮膚を構成し、全身に1800個以上のアナログの圧力センサを実装した(Y. Ohmura, A.
Nagakubo, and Y. Kuniyoshi, “Conformable and scalable tactile sensor skin for
curved surface”, In Proc. of the IEEE Int. Conf. on Robotics and Automation,
pp.1348.1353, 2006.）。このように、触覚センサを任意の曲面へ実装する方法は確立されつつあるが、人間に実装する場合には、ロボットへの実装と異なる困難がある。
＜人への実装時の問題点＞
　接触スキル計測のためには、さまざまな人の接触動作を測定する必要があるが、人ごとの異なる体型に適応する必要があるという問題がある。触覚センサシートは、任意の曲面に適した触覚センサ皮膚を構成できるが、伸縮性は高くないため、１つの触覚センサ皮膚ですべての人の体型に適応することはできない。そのため、触覚センサ皮膚をいくつかに分割して伸縮性の高い布などで接続する必要がある。このように触覚センサ皮膚を形成した場合、接触スキル測定時の触覚センサの実装位置を同定することは困難である。
　触覚センサモジュールとモーションキャプチャデバイスを組み合わせることで、触覚センサ皮膚の姿勢を測定可能とする。触覚センサモジュールとモーションキャプチャデバイスを組み合わせたモジュールを触覚皮膚モジュールと呼ぶ。このモジュールをゴムなどで接続した触覚サポータを構成し、人体に巻き付ける。
　触覚センサシートとモーションキャプチャデバイスとの間の位置・姿勢が固定され、触覚センサシート内のエレメントの位置関係の変化が無視できるほど小さい場合、触覚センサシート内のセンサエレメント位置は、着用した人の身体曲面とモジュールの実装位置・姿勢によって一意に決まる。身体曲面の形状が既知の場合には、触覚皮膚モジュールの姿勢情報とモジュール間の拘束条件から実装位置の尤度が計算できる。計測前に、サポート内の単一触覚皮膚モジュールの位置・姿勢のキャリブレーションを行なうことで、幾何拘束により触覚センサが身体にどのように実装されているか推定可能である。
　触覚皮膚モジュールの姿勢と着用した人の関節角・姿勢を同時に計測することで、着用した人の体型が既知の条件では、すべての触覚センサエレメントの位置・姿勢が推定可能である。
＜モーションキャプチャデバイスの選定＞
　モーションキャプチャに関しては、人間の運動計測ならびにアニメーション、CG応用のために広く研究がなされている。その高い精度から広く用いられている光学式モーションキャプチャシステムは、オクルージョンの影響によってマーカをトラッキングできないため、限られた状況でしかよい結果を得ることができない。接触スキルの計測にはオクルージョンが不可避であるため、光学式モーションキャプチャシステムは相性がよくない。接触スキルの計測において最も重要なのは、計測デバイスが接触運動を妨げないことであるので、機械式システムも適さない。そこで、近年小型化が目覚しいMEMS式の加速度センサおよびジャイロセンサを用いた内界式のセンサを用いる。
　MEMSを用いた姿勢センサは、加速度センサ、ジャイロセンサ、地磁気センサを統合したものとして幾つかのものが知られている。例えば、
　E. Foxlin,M.Harrington，and Y.Alshuler, “Miniture 6-dof inertial system for HMDs”, In SPICE Volume:3362,
Helmet and Head-Mounted Displays III, pp. 214.228,1998.;
　J.L.Marins，X.Yun, E.R. Bachmann, R. B. McGhee, and M. J. Zyda,“An extended kalman
filter for quaternion-based orientation estimation using marg sensors”, In Proc.
Of the 2001 IEEE/RSJ Int. Conf. on Interlligent Robots and Systems, pp. 2003.2011,
2001.;
　に開示されている。
　姿勢を表すクォータニオンの状態方程式を表現し、カルマンフィルタなどの確率フィルタを用いた姿勢推定についても盛んに研究がなされている（R. Zhu, D. Sun, Z. Zhou, and D. Wang, “A linear fusion algorithm for
attitude determination using low cost mems-based sensors”, Measurement, Vol 40,
pp.322.328, 2007.）。
　これらの姿勢センサでは、静的な姿勢の推定を重力情報および地磁気情報により行ない、姿勢の動的な回転をジャイロセンサによって推定するもので、光学式に比較すると精度は低い。特にジャイロセンサは、振動子に働くコリオリ力(加速度)を検出するセンサであるため加速度センサに比較して小型化や高性能化が困難である。そのため、実用的な姿勢センサモジュールを構成する場合には、小型化と高性能化のトレードオフが問題となる。また、地磁気センサは磁場の乱れの影響を強く受けるため、正しい姿勢推定を妨げることが多い。
　接触スキルを計測するための姿勢センサは接触動作の妨げになってはならないことから、特に、小型・軽量で薄型であることが要求される。それには、ジャイロの高性能化と小型化のトレードオフが課題となる。研究レベルでは、2軸ジャイロと1軸ヨー軸ジャイロ、加速度センサ、地磁気センサを1つのシリコンウェハ上に実装した10mm角のものも提案されている（J. J. Allen, R. D. Kinney,
J. Sarsfield, M.R. Daily J.R. Ellis, J.H. Smith, and S.Montague, “Integrated
micro-electro-mechanical sensor development for inertial applications”, In Position
Location and Navigation Symposium 98, pp. 9.16, 1998.）。このような小型のジャイロセンサは、安定した性能を保証することが困難であり、高性能化のためにはある程度大きくならざるを得ない。水晶を用いたジャイロは性能がよく、シリコンでしばしば問題になる温度ドリフトが極めて小さいが、ヨー軸ジャイロのみしか開発されていない。
　このような背景から、従来の姿勢センサモジュールは、３軸の加速度センサ、３軸の地磁気センサは小型であるが、１軸のジャイロを直交３軸に傾けて使用するためにモジュールが大きく厚い(7mm以上)ため接触動作に適していない。そこで、本実施例では新規に小型で薄いことを重視した姿勢センサモジュールを開発する。小型で性能がよいとはいえないジャイロセンサを用いるため、
それを補うための処理アルゴリズムも新規に開発する。
＜姿勢センサモジュールの設計＞
　小型と薄さを重視した設計を行なうために、２軸ジャイロ、３軸加速度センサ、通信機能付きマイクロコントローラを最小構成として設計を行なう。地磁気センサは室内、特に介護ベッドの近くでの実験には不向きであるので使用しない。ジャイロセンサは２軸のジャイロを用いることで薄型化を行なう。ジャイロセンサの直交２軸が、モジュール間で独立になるように実装することで、リンクの任意の角速度を測定可能となる。
＜姿勢センサモジュールの開発＞
　姿勢センサモジュールの概要を図２４に示す。平面２軸ジャイロと３軸加速度センサおよび小型のマイクロコントローラを薄い基板に実装するのを基本とし、オプショナルで裏面にヨー軸ジャイロを実装する。このようにすることで、小型で薄型のセンサモジュールを構成する。省配線のためにセンサデータをデジタル化しシリアルバスを用いて通信する。使用した部品は、2軸ジャイロ(InvenSenseTM IDG- 300[6mmx6mmx1.4mm])、3軸加速度センサ(Bosch BMA140[3mmx3mmx0.9mm])、小型マイコン(Silicon Laboratories C8051F300[3mmx3mmx0.9mm])である。基板形状は15mmx15mmx0.6mmである。最小構成では、15mmx15mmx3mmと非常に小型で薄い。
　加速度の検出範囲は、±4Gであり、角速度の検出範囲は±500[deg/sec]である。これらの値は、接触動作においては十分な検出範囲であると考える。
＜姿勢計測アルゴリズム＞
　１リンクに最低２個の姿勢モジュールを実装することで、リンクの姿勢を推定する。図２５に単一リンクに固定される姿勢センサモジュールの座標系とリンク自体の座標系を示す。
　姿勢推定は、Zhuらの手法（R. Zhu, D. Sun, Z. Zhou,
and D. Wang, “A linear fusion algorithm for attitude determination using low
cost mems-based sensors”, Measurement, Vol. 40, pp. 322.328, 2007.）を拡張して用いる。Zhuらの手法と本実施例との手法との違いは、観測できる変数が異なる点、ジャイロセンサのドリフトを除去する項を追加した点（ハイパスフィルタ）、観測変数と状態変数との間に姿勢の変換がある点、である。リンク座標で観測される重力ベクトルｇおよび地磁気ベクトルｈを状態変数とし、リンク座標での角速度ベクトルωを用いて状態方程式を次のようする。角速度ベクトルの状態方程式はジャイロのドリフト項を打ち消すためのハイパスフィルタとなっており、重力ベクトルと地磁気ベクトルの回転としてリンクの姿勢をモデル化する。
Figure JPOXMLDOC01-appb-M000023
 　観測方程式は、各姿勢センサモジュールのリンク座標から見た姿勢行列Ｒｉを用いて、
Figure JPOXMLDOC01-appb-M000024
 とする。地磁気センサとジャイロセンサのヨー軸方向のいくつかは観測できないことに注意する。この方程式を用いてカルマンフィルタにより、重力ベクトルおよび地磁気ベクトルを推定し、姿勢の推定を行なう。このとき、初期状態ｇ0,ｈ0,ω0を与える必要がある。さらに、上記の定式化ではＲｉを与えなければ姿勢の推定を行なうことができない。
＜触覚皮膚モジュールの姿勢推定＞
　触覚皮膚モジュールのリンク座標からの姿勢Ｒｉに関しては初期値が十分真の値に近ければ補正することができる。Ｒｉは計測中大きく変化しないと仮定すると、回転によって生じる加速度が無視できるときにはｇｉ＝Ｒ-1 ｉｇｋが常に成り立つ。ｇが単位ベクトルに十分近いときの幾つかのサンプリングデータからＲｉを推定し、平均化することでＲｉは統計的に真の値に近付く。これは、すなわちリンク座標系からの相対的な触覚皮膚モジュールの姿勢を推定できることを意味する。
　３軸の加速度センサと２軸ジャイロという構成のモジュールを複数用いた場合でも、３軸加速度センサと３軸地磁気センサという一般的な構成と同等の姿勢推定が可能である。本手法は、冗長センサを用いることによって、薄型・小型化のために性能の低いセンサを使用しているという欠点を補うことができる。
　本実施例では、人の接触スキルを計測するためのシステムとして、触覚センサ皮膚モジュールに姿勢センサを統合することで、触覚センサ皮膚の姿勢を推定することを提案した。単一リンクを複数のモジュールで覆うことで、リンクの姿勢を推定することも可能となる。また、リンク姿勢と触覚センサモジュールの姿勢を線形カルマンフィルタにより同時に推定する方法を提案した。
　本発明は、動作計測装置、具体的には、モーションキャプチャ装置、コンピュータ・ゲーム入力インタフェース、人間工学における評価装置等に利用することができる。
本発明の基本構成を示す。 本発明の一つの態様を示すブロック図である。 接触拘束計算の一つの態様を示すブロック図である。 統合計算の一つの態様を示すブロック図である。 姿勢推定アルゴリズムを示すフロー図である。 姿勢推定方法を示すブロック図である。 幾つかの接触を伴う動作を例示する。 本発明に係るモーションキャプチャ装置を指用グローブとして構成したものを示す。 触覚情報を統合した位置・姿勢推定システムを示す。 姿勢角センサの立体構造を示す。 姿勢角センサのシステム図である。 触覚センサモジュールの実装方法を示す。 左図、右図はそれぞれ触覚センサモジュールの構成を示す。 モーションキャプチャスーツのシステム図である。 背中部のセンサＩＤとその配置を示す。 腰部（臀部）のセンサＩＤとその配置を示す。 胸部のセンサＩＤとその配置を示す。 両足裏部のセンサＩＤとその配置を示す。 起き上がり動作時の接触点変化の様子を示す。 位置・姿勢推定方法を示すブロック図である。 push and bang動作の計測結果を示す。上段は計測時の実画像、下段は計測されたデータから構築した画像である。 roll and rise動作の計測結果を示す。上段は計測時の実画像、下段Ａ、Ｂは共に、計測されたデータから構築した画像である。下段Ａは正面図、下段Ｂは底面図である。 起き上がり時の位置変化の検出を示す。 ベースリンク位置の起き上がり時の鉛直方向成分を示す。 上図は、実験風景を示す。中央図は、本発明の手法にしたがって接触拘束条件を用いた位置情報の獲得結果を示す。下図は、従来手法（最も低い点が拘束条件）による結果を示す。 触覚センサ皮膚の製作法を示す。 姿勢センサモジュールの構造を示す。 単一リンクに固定される姿勢センサモジュールの座標系とリンク自体の座標系を示す。 姿勢推定アルゴリズムの一つの態様を示すブロック図である。

Claims (21)

  1. 　環境と接触しながら自動あるいは他動で動作する対象物のモーションキャプチャ装置であって、
    　対象物に設けられ、対象物が環境と接触した時の触覚情報を取得するための１つ以上の触覚センサと、
    　対象物に設けられ、対象物の動作情報を取得するためのモーションキャプチャ手段と、
    　前記触覚情報及び前記動作情報を受信して、これらの情報を対応付けて格納する情報統合装置と、
    　を備えた、モーションキャプチャ装置。
  2. 　前記情報統合装置は、前記触覚センサにより取得された触覚情報を用いて幾何拘束条件を取得する、請求項１に記載のモーションキャプチャ装置。
  3. 　前記幾何拘束条件の取得は、前記触覚情報に加えて、対象物の幾何形状情報、動力学情報、環境情報の少なくとも１つを用いる、請求項２に記載のモーションキャプチャ装置。
  4. 　前記情報統合装置は、前記幾何拘束条件を用いて、前記モーションキャプチャ手段によって取得された動作情報を補正する、請求項２、３いずれかに記載のモーションキャプチャ装置。
  5. 　前記触覚情報には、接触の有無を示す接触情報が含まれる、請求項１乃至４いずれかに記載のモーションキャプチャ装置。
  6. 　前記情報統合装置は、前記接触情報を用いて、前記対象物の予め選択した１つ以上の部位の接触の有無を判定する、請求項５に記載のモーションキャプチャ装置。
  7. 　前記情報統合装置は、前記１つ以上の部位の接触の有無によって決定される接触状態が変化した時を動作の区切りとして、前記動作情報を複数の動作単位に分割する、請求項６に記載のモーションキャプチャ装置。
  8. 　前記情報統合装置は、前記触覚情報を用いて、前記動作情報を分類する、請求項５乃至７いずれか記載のモーションキャプチャ装置。
  9. 　前記動作情報の分類は、前記１つ以上の部位の接触の有無によって決定される接触状態の遷移の情報に基づいて行なわれる、請求項５乃至８いずれかに記載のモーションキャプチャ装置。
  10. 　前記モーションキャプチャ手段は、姿勢センサを用いた内界式モーションキャプチャ手段である、請求項１乃至９いずれかに記載のモーションキャプチャ装置。
  11. 　前記姿勢センサは、加速度センサ、及び、ジャイロあるいは／および地磁気センサ、及び、各センサ情報から６軸情報を取得するマイクロコンピュータと、を含む姿勢センサモジュールである、請求項１０に記載のモーションキャプチャ装置。
  12. 　前記姿勢センサモジュールは、３軸の加速度センサと、２軸のジャイロからなるジャイロセンサと、からなり、
    　前記対象物を構成する各リンクに、２個以上の前記姿勢センサモジュールを設けてなる、請求項１１に記載のモーションキャプチャ装置。
  13. 　前記情報統合装置は、接触位置情報を取得するものである、請求項１乃至１２いずれかに記載のモーションキャプチャ装置。
  14. 　前記接触位置情報は、前記動作情報から取得される前記対象物の姿勢情報と、前記対象物の姿勢に対する前記触覚センサの相対的な位置情報と、から取得される、請求項１３に記載のモーションキャプチャ装置。
  15. 　前記触覚センサは、対象物の表面の一部あるいは全部に亘って設けられている、請求項１乃至１４いずれかに記載のモーションキャプチャ装置。
  16. 　前記触覚センサは、複数の触覚センサモジュールから構成されており、各触覚センサモジュールは、複数のセンサエレメントを備えている、請求項１３に記載のモーションキャプチャ装置。
  17. 　各触覚センサモジュールにおける各センサエレメントの相対的な位置が既知である、請求項１６に記載のモーションキャプチャ装置。
  18. 　各触覚センサモジュールに対応して姿勢センサが設けてあり、当該姿勢センサは、対象物の動作に伴う各触覚センサモジュールの装着位置の変化を検出する、請求項１６、１７いずれかに記載のモーションキャプチャ装置。
  19. 　対象物の動作情報を取得する姿勢センサが、各触覚センサモジュールに対応する姿勢センサを兼用する、請求項１８に記載のモーションキャプチャ装置。
  20. 　前記触覚情報には、圧力情報、せん断情報の少なくとも一方が含まれる、請求項１乃至１９いずれかに記載のモーションキャプチャ装置。
  21. 　対象物が被着するためのベーススーツと、
    　触覚情報を取得するためにベーススーツに設けられた複数の触覚センサと、
    　動作情報を取得するためにベーススーツに設けられた複数の姿勢センサと、
    　触覚情報及び動作情報を受信するためにベーススーツに設けられた処理部と、
    　触覚センサ、姿勢センサと処理部とを電気的に接続するためにベーススーツに設けられた配線部と、
    　処理部、触覚センサ、姿勢センサへ電力を供給するための１つ以上の電源部と、
    を有するモーションキャプチャスーツを備えた請求項１に記載のモーションキャプチャ装置。
PCT/JP2009/065407 2008-09-05 2009-09-03 モーションキャプチャ装置 WO2010027015A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010527813A JPWO2010027015A1 (ja) 2008-09-05 2009-09-03 モーションキャプチャ装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008228449 2008-09-05
JP2008-228449 2008-09-05

Publications (1)

Publication Number Publication Date
WO2010027015A1 true WO2010027015A1 (ja) 2010-03-11

Family

ID=41797181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/065407 WO2010027015A1 (ja) 2008-09-05 2009-09-03 モーションキャプチャ装置

Country Status (2)

Country Link
JP (1) JPWO2010027015A1 (ja)
WO (1) WO2010027015A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142399A1 (ja) * 2010-05-12 2011-11-17 株式会社コナミデジタルエンタテインメント 方向検出装置及びこれを用いたゲームシステム
WO2013118623A1 (ja) * 2012-02-10 2013-08-15 富士機械製造株式会社 動作設定方法
JP2015514467A (ja) * 2012-03-27 2015-05-21 ビー１０ニックス エッセ．エッレ．エッレ． 筋肉活動の取得および分析用のシステムならびにその動作方法
WO2017043181A1 (ja) * 2015-09-09 2017-03-16 ソニー株式会社 センサ装置、センサシステム及び情報処理装置
JP2017511906A (ja) * 2014-01-09 2017-04-27 イクセンス・ホールディング・ベー・フェーＸｓｅｎｓ Ｈｏｌｄｉｎｇ Ｂ．Ｖ． 数を減らした装着センサセットを用いたモーショントラッキング
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
KR20170118971A (ko) * 2014-09-04 2017-10-25 레오모, 인코포레이티드 정보단말장치, 모션 캡처 시스템 및 모션 캡처 방법
JP6424293B1 (ja) * 2014-12-05 2018-11-14 マイフィジーク リミテッド ボディの画像化
JP2019500083A (ja) * 2015-11-10 2019-01-10 エイエックスエス モーションシステム カーエフテー．Ａｘｓ Ｍｏｔｉｏｎｓｙｓｔｅｍ Ｋｆｔ． 運動をデジタル化し評価する装置
JP2020006034A (ja) * 2018-07-11 2020-01-16 カシオ計算機株式会社 運動データ取得装置及び運動データ取得方法、運動データ取得プログラム
US10625131B2 (en) 2015-12-25 2020-04-21 Axell Inc. Game machine and game system
CN111080756A (zh) * 2019-12-19 2020-04-28 米哈游科技（上海）有限公司 一种交互动画生成方法、装置、设备及介质
CN112085105A (zh) * 2020-09-10 2020-12-15 上海庞勃特科技有限公司 一种基于人体形状与姿态估计的动作相似度评价方法
CN113820944A (zh) * 2021-09-10 2021-12-21 上海赐创信息技术有限公司 一种老人智能手表系统
CN114533039A (zh) * 2021-12-27 2022-05-27 重庆邮电大学 基于冗余传感器的人体关节位置及角度解算方法
TWI797048B (zh) * 2022-09-01 2023-03-21 洞見資訊股份有限公司 骨骼矯正設備設計系統及其骨骼矯正設備

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068300A (ja) * 2004-09-02 2006-03-16 Fukushima Prefecture 身体状態監視装置
JP2006068312A (ja) * 2004-09-02 2006-03-16 Tamagawa Seiki Co Ltd リハビリ用姿勢モニタリング方法及びリハビリ用姿勢モニタ
JP2006075456A (ja) * 2004-09-13 2006-03-23 Tohoku Univ 人体モデルに基づく装着型支援システム
JP2006348554A (ja) * 2005-06-15 2006-12-28 Anecom Japan Kk 手摺の位置決め方法及び歩行機能調査方法
JP2007078382A (ja) * 2005-09-12 2007-03-29 Univ Of Tokyo 触覚センサ用モジュールおよび触覚センサの実装方法
JP2007089633A (ja) * 2005-09-27 2007-04-12 Casio Comput Co Ltd 筋力補助装置
JP2008168133A (ja) * 2007-01-12 2008-07-24 Internatl Business Mach Corp <Ibm> ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277048B2 (ja) * 2006-08-29 2009-06-10 マイクロストーン株式会社 モーションキャプチャ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068300A (ja) * 2004-09-02 2006-03-16 Fukushima Prefecture 身体状態監視装置
JP2006068312A (ja) * 2004-09-02 2006-03-16 Tamagawa Seiki Co Ltd リハビリ用姿勢モニタリング方法及びリハビリ用姿勢モニタ
JP2006075456A (ja) * 2004-09-13 2006-03-23 Tohoku Univ 人体モデルに基づく装着型支援システム
JP2006348554A (ja) * 2005-06-15 2006-12-28 Anecom Japan Kk 手摺の位置決め方法及び歩行機能調査方法
JP2007078382A (ja) * 2005-09-12 2007-03-29 Univ Of Tokyo 触覚センサ用モジュールおよび触覚センサの実装方法
JP2007089633A (ja) * 2005-09-27 2007-04-12 Casio Comput Co Ltd 筋力補助装置
JP2008168133A (ja) * 2007-01-12 2008-07-24 Internatl Business Mach Corp <Ibm> ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INABA M. ET AL: "Dendosei Fabric o Mochiita Zenshin Hifukugata Shokkaku Sensor Suit.", THE ROBOTIC SOCIETY OF JAPAN, vol. 16, no. 1, 15 January 1998 (1998-01-15), pages 80 - 86 *
SAGISAKA T. ET AL: "Hajimen Zentai ni Shokkaku o Jisso Kano na Robot Finger Kiko to sono Jitsugen.", THE JAPAN SOCIETY OF MECHANICAL ENGINEERS, 5 June 2008 (2008-06-05), pages 1A1-A12 (1) - A1A-A12 (4) *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011237352A (ja) * 2010-05-12 2011-11-24 Konami Digital Entertainment Co Ltd 方向検出装置及びこれを用いたゲームシステム
WO2011142399A1 (ja) * 2010-05-12 2011-11-17 株式会社コナミデジタルエンタテインメント 方向検出装置及びこれを用いたゲームシステム
WO2013118623A1 (ja) * 2012-02-10 2013-08-15 富士機械製造株式会社 動作設定方法
JP2013162896A (ja) * 2012-02-10 2013-08-22 Fuji Mach Mfg Co Ltd 動作設定方法
CN104114140A (zh) * 2012-02-10 2014-10-22 富士机械制造株式会社 动作设定方法
CN104114140B (zh) * 2012-02-10 2017-05-17 富士机械制造株式会社 动作设定方法
US9669549B2 (en) 2012-02-10 2017-06-06 Fuji Machine Mfg. Co., Ltd. Motion setting method
JP2015514467A (ja) * 2012-03-27 2015-05-21 ビー１０ニックス エッセ．エッレ．エッレ． 筋肉活動の取得および分析用のシステムならびにその動作方法
JP2017511906A (ja) * 2014-01-09 2017-04-27 イクセンス・ホールディング・ベー・フェーＸｓｅｎｓ Ｈｏｌｄｉｎｇ Ｂ．Ｖ． 数を減らした装着センサセットを用いたモーショントラッキング
JP2018029988A (ja) * 2014-09-04 2018-03-01 リオモ インクLEOMO, Inc. モーションキャプチャシステム、方法及びプログラム
KR101969512B1 (ko) * 2014-09-04 2019-04-16 레오모, 인코포레이티드 정보단말장치, 모션 캡처 시스템 및 모션 캡처 방법
KR20170118971A (ko) * 2014-09-04 2017-10-25 레오모, 인코포레이티드 정보단말장치, 모션 캡처 시스템 및 모션 캡처 방법
JP6424293B1 (ja) * 2014-12-05 2018-11-14 マイフィジーク リミテッド ボディの画像化
JP2019012532A (ja) * 2014-12-05 2019-01-24 マイフィジーク リミテッド ボディの画像化
US10976343B2 (en) 2015-09-09 2021-04-13 Sony Corporation Sensor device, sensor system, and information processing device
WO2017043181A1 (ja) * 2015-09-09 2017-03-16 ソニー株式会社 センサ装置、センサシステム及び情報処理装置
JPWO2017043181A1 (ja) * 2015-09-09 2018-06-21 ソニー株式会社 センサ装置、センサシステム及び情報処理装置
JP2019500083A (ja) * 2015-11-10 2019-01-10 エイエックスエス モーションシステム カーエフテー．Ａｘｓ Ｍｏｔｉｏｎｓｙｓｔｅｍ Ｋｆｔ． 運動をデジタル化し評価する装置
US10625131B2 (en) 2015-12-25 2020-04-21 Axell Inc. Game machine and game system
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
JP7159658B2 (ja) 2018-07-11 2022-10-25 カシオ計算機株式会社 運動データ取得装置及び運動データ取得方法、運動データ取得プログラム
JP2020006034A (ja) * 2018-07-11 2020-01-16 カシオ計算機株式会社 運動データ取得装置及び運動データ取得方法、運動データ取得プログラム
CN111080756A (zh) * 2019-12-19 2020-04-28 米哈游科技（上海）有限公司 一种交互动画生成方法、装置、设备及介质
CN111080756B (zh) * 2019-12-19 2023-09-08 米哈游科技（上海）有限公司 一种交互动画生成方法、装置、设备及介质
CN112085105A (zh) * 2020-09-10 2020-12-15 上海庞勃特科技有限公司 一种基于人体形状与姿态估计的动作相似度评价方法
CN113820944A (zh) * 2021-09-10 2021-12-21 上海赐创信息技术有限公司 一种老人智能手表系统
CN113820944B (zh) * 2021-09-10 2023-12-22 江苏纽锐电子科技有限公司 一种老人智能手表系统
CN114533039A (zh) * 2021-12-27 2022-05-27 重庆邮电大学 基于冗余传感器的人体关节位置及角度解算方法
CN114533039B (zh) * 2021-12-27 2023-07-25 重庆邮电大学 基于冗余传感器的人体关节位置及角度解算方法
TWI797048B (zh) * 2022-09-01 2023-03-21 洞見資訊股份有限公司 骨骼矯正設備設計系統及其骨骼矯正設備

Also Published As

Publication number Publication date
JPWO2010027015A1 (ja) 2012-02-02

Similar Documents

Publication Publication Date Title
WO2010027015A1 (ja) モーションキャプチャ装置
US9278453B2 (en) Biosleeve human-machine interface
Baldi et al. GESTO: A glove for enhanced sensing and touching based on inertial and magnetic sensors for hand tracking and cutaneous feedback
Brigante et al. Towards miniaturization of a MEMS-based wearable motion capture system
Zhou et al. Human motion tracking for rehabilitation—A survey
Liu et al. High-fidelity grasping in virtual reality using a glove-based system
Ben-Tzvi et al. Sensing and force-feedback exoskeleton (SAFE) robotic glove
TWI549655B (zh) 關節活動度量測裝置及其量測方法
JP4595727B2 (ja) 外力推定システム及び外力推定方法、並びにコンピュータ・プログラム
Lee et al. Wearable finger tracking and cutaneous haptic interface with soft sensors for multi-fingered virtual manipulation
Zhang et al. Rider trunk and bicycle pose estimation with fusion of force/inertial sensors
Yuan et al. SLAC: 3D localization of human based on kinetic human movement capture
Yuan et al. Human velocity and dynamic behavior tracking method for inertial capture system
Xu et al. Development of a hybrid motion capture method using MYO armband with application to teleoperation
TWI427558B (zh) 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
CN112041785A (zh) 跟踪手姿势的方法及其电子设备
Fujimori et al. Wearable motion capture suit with full-body tactile sensors
Zheng et al. Pedalvatar: An IMU-based real-time body motion capture system using foot rooted kinematic model
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
Mohammadi et al. Fingertip force estimation via inertial and magnetic sensors in deformable object manipulation
RU2662399C1 (ru) Система и способ для захвата движений и положения тела человека и частей тела человека
JP6822715B1 (ja) 身体負荷推定装置及び身体負荷推定方法
CN110209270B (zh) 一种数据手套、数据手套系统、校正方法及存储介质
Tsekleves et al. Wii your health: a low-cost wireless system for home rehabilitation after stroke using Wii remotes with its expansions and blender
Liu et al. Three-dimensional lower limb kinematic and kinetic analysis based on a wireless sensor system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811540

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010527813

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09811540

Country of ref document: EP

Kind code of ref document: A1