WO2011016302A1 - モーションキャプチャ用のマーカ - Google Patents

モーションキャプチャ用のマーカ Download PDF

Info

Publication number
WO2011016302A1
WO2011016302A1 PCT/JP2010/061022 JP2010061022W WO2011016302A1 WO 2011016302 A1 WO2011016302 A1 WO 2011016302A1 JP 2010061022 W JP2010061022 W JP 2010061022W WO 2011016302 A1 WO2011016302 A1 WO 2011016302A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
motion capture
vector
sensor
human body
Prior art date
Application number
PCT/JP2010/061022
Other languages
English (en)
French (fr)
Inventor
本蔵義信
正木竜二
Original Assignee
アイチ・マイクロ・インテリジェント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイチ・マイクロ・インテリジェント株式会社 filed Critical アイチ・マイクロ・インテリジェント株式会社
Publication of WO2011016302A1 publication Critical patent/WO2011016302A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/36—Speed measurement by electric or magnetic parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry

Definitions

  • the present invention relates to a motion capture marker that is used in motion capture for detecting the motion of an object such as a human body and is attached to a plurality of parts of the object.
  • a marker is attached to each part such as a human body, the movement of the marker is detected, detection data is captured in a computer, and the movement of the human body or the like is captured.
  • the motion capture is roughly classified into an optical type and a magnetic type.
  • optical motion capture a marker is photographed by a camera, the movement of the marker is read from the photographed image, and the movement of a human body or the like is captured (Patent Document 1).
  • magnetic motion capture a magnetic field is generated by an exciting coil in an area where a human body or the like moves, and the movement of a magnetic sensor (marker) attached to the human body is detected in the magnetic field (Patent Document 2).
  • Patent Document 3 motion capture using a gyro sensor as a marker attached to a human body or the like has been proposed (Patent Document 3).
  • the conventional motion capture has the following problems. That is, in the optical motion capture (Patent Document 1), since the marker is photographed by the camera, it cannot be read when the marker enters the blind spot. Further, since a camera is required, the entire system becomes large. Another problem is that real-time analysis is difficult.
  • Patent Document 2 since the magnetic motion capture (Patent Document 2) requires an exciting coil for generating a magnetic field in a region where a human body or the like moves, there is a limit to an area where a sufficient magnetic field is generated. In addition, wiring for taking the detection signal of the magnetic sensor into the analysis device is required, and there are restrictions on the movement of the human body and the like.
  • Patent Document 3 As a motion capture that does not require a camera or an excitation coil as described above, there is one using a gyro sensor (Patent Document 3). However, since the gyro sensor detects an angular velocity, it is necessary to time-integrate the detected angular velocity in order to obtain a motion (posture) of a human body or the like. For this reason, the error in the relative position and the relative posture of each part becomes larger with time as the detection error of acceleration accumulates. For this reason, the time during which the movement of the human body or the like can be analyzed accurately is limited to a short time.
  • the present invention has been made in view of such conventional problems, and does not restrict the operation of an object, does not require an increase in equipment size, and provides a highly accurate marker for motion capture. Is.
  • the present invention is a motion capture marker used in motion capture for detecting the motion of an object and attached to a plurality of parts of the object
  • the marker includes a magnetic sensor that detects each component of a geomagnetic vector in three axis directions orthogonal to each other in a marker coordinate system fixed to the marker, An acceleration sensor for detecting each component of the gravitational acceleration vector in the three-axis directions; A signal processing unit for processing detection signals detected by the magnetic sensor and the acceleration sensor; A power supply for supplying power to the signal processor;
  • a motion capture marker comprising: wireless means for wirelessly transmitting data of the geomagnetic vector and the gravitational acceleration vector processed by the signal processing unit to an external receiving device.
  • the motion capture marker includes the magnetic sensor and the acceleration sensor. Thereby, it is possible to detect the geomagnetic vector and the acceleration vector in the three-axis coordinate system (marker coordinate system) orthogonal to each other fixed to the marker, and based on these, the earth coordinate system based on the marker coordinate system Can be requested. Based on the relationship between the earth coordinate system and the marker coordinate system, the posture (azimuth and inclination) of the marker can be obtained.
  • the position of each part relative to the reference position can be obtained based on the posture data of the markers arranged in each part of the object thus obtained and the skeleton data of the object prepared in advance.
  • the position and orientation relative to the reference position can be obtained for each part of the target object to which the marker is attached.
  • the marker detects its posture using the magnetic sensor and the acceleration sensor. That is, by using geomagnetism and gravitational acceleration existing in the natural world, the posture of the marker can be detected, and based on this, the relative position of the marker at each part can also be obtained. Therefore, it is not necessary to artificially form a magnetic field in the entire motion region of the object, and it is not necessary to use a large-scale device such as an excitation coil, and the size of the facility can be prevented. In other words, the movement area of the object can be greatly widened.
  • the marker detects a geomagnetic vector and a gravitational acceleration vector by a magnetic sensor and an acceleration sensor built in itself, and a camera for imaging the marker as in optical motion capture is not necessary. From this point of view, the facility can be reduced in size and simplified. Furthermore, unlike the case of the marker imaged by the camera, the marker does not become a blind spot of the target object and cannot detect a motion. Therefore, there is no restriction on the posture of the object that can be detected.
  • the position and relative position of each part can be detected using geomagnetism and gravitational acceleration, detection errors are unlikely to occur, and highly accurate detection can be achieved. That is, unlike the case of the gyro sensor, the posture of the marker can be accurately derived from the obtained geomagnetic vector and gravity acceleration vector without the need for time integration of the detected angular velocity, and the skeleton data The position of the marker can also be accurately derived from the superposition of. Therefore, accurate measurement over a long time is possible. Further, since the posture of each marker is obtained from the obtained geomagnetic vector and gravitational acceleration vector, it is not necessary to store the initial posture.
  • the marker since the marker has the wireless means, the data of the geomagnetic vector and the gravitational acceleration vector can be wirelessly transmitted from each marker to an external receiving device. Thereby, it is not necessary to connect between each marker, or to connect each marker and the receiving device, and it is possible to reduce restrictions on the movement of the object.
  • the perspective view of the marker for motion capture in an Example Explanatory drawing of the state which attached the marker to the target object (human body) in an Example.
  • examples of the object include a human body and other animals.
  • the data wirelessly transmitted by the wireless means to the receiving device may be the attitude data of the marker calculated based on these.
  • the motion data of the object captured by the motion capture can be used for various purposes such as medicine, sports, animation, and advertisement.
  • the magnetic sensor is preferably composed of three magneto-impedance sensor elements that respectively detect the geomagnetic components in the three axial directions.
  • the detection accuracy of the magnetic sensor can be easily improved and downsized, and a small motion capture marker with excellent detection accuracy can be obtained. Thereby, it is possible to smoothly capture fine and delicate movements of the object. Furthermore, it is possible to accurately capture the detailed movement of the object, such as the movement of the finger.
  • FIG. 2 A motion capture marker according to an embodiment of the present invention will be described with reference to FIGS.
  • the motion capture marker 1 of this example is used in motion capture for detecting the operation of a target (human body) and is attached to a plurality of parts of the target (human body).
  • the marker 1 includes the following magnetic sensor 2, acceleration sensor 3, signal processing unit 4, power supply unit 5, and wireless unit 6.
  • the magnetic sensor 2 detects each component of the geomagnetic vector in the three axis directions orthogonal to each other in the marker coordinate system fixed to the marker 1.
  • the acceleration sensor 3 detects each component of the gravitational acceleration vector in the three axis directions.
  • the signal processing unit 4 processes the detection signals detected by the magnetic sensor 2 and the acceleration sensor 3.
  • the power supply unit 5 supplies power to the signal processing unit 4.
  • the wireless means 6 wirelessly transmits the geomagnetic vector and gravity acceleration vector data processed by the signal processing unit 4 to an external receiving device 81 (see FIGS. 2 and 3).
  • the marker 1 has a magnetic sensor 2, an acceleration sensor 3, a signal processing unit 4, and a power supply on one surface (component mounting surface 51) of a power supply unit 5 made of a disk-shaped coin-type battery.
  • the unit 5 and the wireless means 6 are mounted.
  • the magnetic sensor 2 includes three magneto-impedance sensor elements 21x, 21y, and 21z that detect the geomagnetic components in the three axial directions.
  • the magneto-impedance sensor elements 21x, 21y, and 21z perform magnetic sensing using an MI (Magneto-impedance) phenomenon, and are disclosed in, for example, Japanese Patent Application Laid-Open No. 2007-113993.
  • the acceleration sensor 3 a capacitive acceleration sensor can be used as the acceleration sensor 3.
  • the signal processing unit 4 includes a microcomputer including a CPU, a ROM, a RAM, an I / O, and a connection line that connects them, and the magnetic sensor 2, the acceleration sensor 3, and the wireless unit 6 are connected to the signal processing unit 4. Then, detection signals of the geomagnetic vector and the gravitational acceleration vector are input to the signal processing unit 4 from the magnetic sensor 2 and the acceleration sensor 3.
  • the wireless unit 6 includes a wireless IC 61 and an antenna 62.
  • the antenna 62 is formed on the entire circumference of the component mounting surface 51 in the power supply unit 5.
  • the marker 1 (1a to 1p) in this example includes a head, left and right shoulders, left and right elbows, left and right wrists, left and right hands, waist, left and right knees, left and right heels, and left and right toes. It attaches to each site
  • the basic posture for example, an upright posture
  • the position (initial position) of each part to which the marker 1 is attached in this initial state is set in advance based on the skeleton data. That is, before starting the exercise, the basic posture is taken in order to adjust each part to the initial position.
  • each marker 1 (1a to 1p) detects the geomagnetic vector and the gravitational acceleration vector from moment to moment, and, as shown in FIG. 3, the geomagnetic vector and gravitational acceleration vector data are transferred from each marker 1 to the receiving device 81. Sequential wireless transmission. The data of the geomagnetic vector and the gravitational acceleration vector received by the receiving device 81 is analyzed by the personal computer 82 to obtain the motion of the human body 7. Thereby, the movement of the human body 7 is captured.
  • the earth coordinate system fixed to the earth with respect to the marker coordinate system fixed to the marker 1 in each marker 1 is obtained from the data of the geomagnetic vector and the gravitational acceleration vector.
  • each marker 1 is defined as the yaw angle ⁇ with respect to the true north in the horizontal direction, the roll angle ⁇ around the Y axis of the marker coordinate system fixed to the marker 1, and the pitch around the X axis of the marker coordinate system. Obtained as the angle ⁇ .
  • the yaw angle ⁇ , roll angle ⁇ , and pitch angle ⁇ can be derived from the following calculation formula (Formula 2) using the components (Formula 1) of the geomagnetic vector M and the gravitational acceleration vector G.
  • This posture calculation method is disclosed in, for example, “Robot Manipulator ⁇ Mathematical Foundations, Programming, and Control>” (Corona, RP Paul, Tsuneo Yoshikawa, P.46) This is a well-known method.
  • Mx, My, and Mz in [Equation 1] and [Equation 2] are the components of the geomagnetic vectors in the X-axis direction, the Y-axis direction, and the Z-axis direction, which are three axis directions orthogonal to each other in the marker coordinate system.
  • Gx, Gy, and Gz are components of gravitational acceleration vectors in the X-axis direction, the Y-axis direction, and the Z-axis direction, which are three axis directions orthogonal to each other in the marker coordinate system.
  • the relative position of each part is obtained from the obtained posture data of each part and the skeleton data. That is, for example, the positions of the head, hands, feet, etc. with respect to the waist are obtained. Thereby, the posture and position of each part of the human body 7 are obtained, and the movement of the human body 7 is obtained. The obtained movement of the human body 7 is displayed or recorded in real time on an image display device connected to the personal computer 82.
  • the signal processing unit 4 in each marker 1 is provided with a filter for removing acceleration components other than the gravitational acceleration component from the obtained acceleration component, and the acceleration data passing through the filter, that is, the gravitational acceleration vector Only the data remains.
  • a digital filter such as an IIR filter can be used as a filter for realizing this.
  • the motion capture marker 1 includes a magnetic sensor 2 and an acceleration sensor 3. Thereby, it is possible to detect the geomagnetic vector and the acceleration vector in a three-axis coordinate system (marker coordinate system) orthogonal to each other fixed to the marker 1, and based on these, the earth coordinates based on the marker coordinate system A system can be obtained. Based on the relationship between the earth coordinate system and the marker coordinate system, the posture (azimuth and inclination) of the marker 1 can be obtained.
  • the position of each part relative to the reference position can be obtained based on the posture data of the marker 1 arranged at each part of the human body 7 and the skeleton data of the human body 7 prepared in advance. As a result, the position and posture relative to the reference position can be obtained for each part of the human body 7 to which the marker 1 is attached. By capturing the position and posture data of each part continuously and momentarily, the motion capture can accurately grasp the movement of the entire human body 7.
  • the marker 1 detects its posture using the magnetic sensor 2 and the acceleration sensor 3. That is, it is possible to detect the posture of the marker 1 by using the geomagnetism and the gravitational acceleration existing in the natural world, and to obtain the relative position of the marker 1 at each part based on this. Therefore, it is not necessary to artificially form a magnetic field in the entire motion region of the human body 7, and it is not necessary to use a large-scale device such as an excitation coil, thereby preventing an increase in size of the facility. In other words, the motion area of the human body 7 can be significantly widened.
  • the marker 1 detects the geomagnetic vector and the gravitational acceleration vector by the magnetic sensor 2 and the acceleration sensor 3 incorporated in the marker 1 and does not require a camera or the like for imaging the marker as in the optical motion capture. . From this point of view, the facility can be reduced in size and simplified. Furthermore, unlike the case of the marker imaged by the camera, the marker 1 does not become a blind spot of the human body 7 so that the movement cannot be detected. Therefore, there is no restriction on the posture of the human body 7 that can be detected.
  • the position and relative position of each part can be detected using geomagnetism and gravitational acceleration, detection errors are unlikely to occur, and highly accurate detection can be achieved. That is, unlike the case of the gyro sensor, the posture of the marker 1 can be accurately derived from the obtained geomagnetic vector and the gravitational acceleration vector without the need for time integration of the detected angular velocity. From the overlay with the data, the position of the marker 1 can also be accurately derived. Therefore, accurate measurement over a long time is possible. Further, since the posture of each marker 1 is obtained from the obtained geomagnetic vector and the gravitational acceleration vector, it is not necessary to store the initial posture.
  • the marker 1 since the marker 1 has the wireless means 6, the data of the geomagnetic vector and the gravitational acceleration vector can be wirelessly transmitted from each marker 1 to the external receiving device 81. Thereby, it is not necessary to connect between the markers 1 or connect the markers 1 and the receiving device 81, and the restriction of the movement of the human body 7 can be reduced.
  • the magnetic sensor 2 includes three magneto-impedance sensor elements 21x, 21y, and 21z. Therefore, the detection accuracy of the magnetic sensor 2 can be easily improved and downsized, and the small motion capture marker 1 with excellent detection accuracy can be obtained. Thereby, the fine delicate movement of the human body 7 can be captured smoothly. Furthermore, it is possible to accurately capture the movement of details in the human body 7, such as the movement of a finger.

Abstract

　対象物の動作を検知するモーションキャプチャにおいて用いられ、対象物の複数の部位に取り付けられるモーションキャプチャ用のマーカ１。マーカ１は、マーカ１に固定されたマーカ座標系の互いに直交する３軸方向における地磁気ベクトルの各成分を検出する磁気センサ２と、３軸方向における、重力加速度ベクトルの各成分を検出する加速度センサ３と、磁気センサ２と加速度センサ３とが検出した検出信号を処理する信号処理部４と、信号処理部４に電力を供給する電源部５と、信号処理部４において処理された地磁気ベクトル及び重力加速度ベクトルのデータを外部の受信装置へ無線送信するための無線手段６とを備える。

Description

モーションキャプチャ用のマーカ
　本発明は、人体等の対象物の動作を検知するモーションキャプチャにおいて用いられ、上記対象物の複数の部位に取り付けられるモーションキャプチャ用のマーカに関する。
　モーションキャプチャは、人体等の各部位にマーカを取り付け、そのマーカの動きを検出して検出データをコンピュータに取り込んで、人体等の動きを捕捉する。
　モーションキャプチャには、一般に、大きく分けて光学式と磁気式とがある。
　光学式のモーションキャプチャは、マーカをカメラで撮影して、その撮影画像からマーカの動きを読み取り、人体等の動きを捕捉する（特許文献１）。
　磁気式のモーションキャプチャは、人体等が動く領域に、励磁コイルによって磁界を生じさせて、その磁界の中で人体に取り付けた磁気センサ（マーカ）の動きを検知する（特許文献２）。
　また、上記以外にも、人体等に取り付けるマーカとしてジャイロセンサを用いたモーションキャプチャが提案されている（特許文献３）。
特開２００５－２５６２３２号公報 特開２０００－１４６５０９号公報 特開２００５－３３７９８３号公報
　しかしながら、上記従来のモーションキャプチャには、以下の問題がある。
　すなわち、光学式のモーションキャプチャ（特許文献１）においては、マーカをカメラで撮影するために、マーカが死角に入るとこれを読み取ることができない。また、カメラが必要であるため、システム全体が大掛かりになる。また、リアルタイムでの解析が困難であるという問題もある。
　また、磁気式のモーションキャプチャ（特許文献２）は、人体等が動く領域に磁界を生じさせるための励磁コイルが必要であるため、充分な磁界を発生させるエリアに限界がある。また、磁気センサの検出信号を解析装置に取り込む配線が必要となり、人体等の動きにも制約が生じる。
　上記のようにカメラや励磁コイル等を必要としないモーションキャプチャとして、ジャイロセンサを用いたもの（特許文献３）がある。
　しかし、ジャイロセンサは、角速度を検出するものであるため、人体等の動き（姿勢）を求めるためには、検出される角速度を時間積分する必要がある。そのため、各部位の相対位置や相対姿勢の誤差は、加速度の検出誤差が累積することによって、時間を追うごとに大きくなってしまう。そのため、正確に人体等の動きを解析することができる時間が短く限られてしまう。
　また、ジャイロセンサの初期位置のみならず初期姿勢（ヨー、ロール、ピッチ）の記憶が必要となり、実際の初期位置及び初期姿勢と、記憶された初期位置及び初期姿勢との間に誤差があると、人体等の動きを正確に捉えることができない。
　また、複数のジャイロセンサから直接信号を外部の解析装置に無線送信することはできず、各ジャイロセンサを発信装置に結線し、この発信装置を人体に固定する必要があるため、人体の動きに制約が生じる。
　本発明は、かかる従来の問題点に鑑みてなされたもので、対象物の動作を制約することなく、装備の大型化を必要とせず、かつ精度の高いモーションキャプチャ用のマーカを提供しようとするものである。
　本発明は、対象物の動作を検知するモーションキャプチャにおいて用いられ、上記対象物の複数の部位に取り付けられるモーションキャプチャ用のマーカであって、
　該マーカは、該マーカに固定されたマーカ座標系の互いに直交する３軸方向における地磁気ベクトルの各成分を検出する磁気センサと、
　上記３軸方向における、重力加速度ベクトルの各成分を検出する加速度センサと、
　上記磁気センサと上記加速度センサとが検出した検出信号を処理する信号処理部と、
　該信号処理部に電力を供給する電源部と、
　上記信号処理部において処理された上記地磁気ベクトル及び上記重力加速度ベクトルのデータを外部の受信装置へ無線送信するための無線手段とを備えることを特徴とするモーションキャプチャ用のマーカにある。
　上記モーションキャプチャ用のマーカは、上記磁気センサと上記加速度センサとを有する。これにより、マーカに固定された互いに直交する３軸の座標系（マーカ座標系）における地磁気ベクトルと加速度ベクトルとを検出することができ、これらに基づいて、マーカ座標系を基準とした地球座標系を求めることができる。そして、この地球座標系と上記マーカ座標系との関係に基づいて、マーカの姿勢（方位および傾き）を求めることができる。
　このように求められる対象物の各部位に配置されたマーカの姿勢データと、予め用意しておいた対象物の骨格データとに基づいて、基準位置に対する各部位の位置を求めることができる。
　その結果、マーカを取り付けた対象物の各部位について、基準位置に対する位置及び姿勢を求めることができる。この各部位の位置及び姿勢のデータを、時々刻々と連続的に採取することにより、モーションキャプチャは、対象物全体の動きを正確に把握することができる。
　ここで、上記マーカは、上記磁気センサ及び上記加速度センサを用いて、自身の姿勢を検知する。すなわち、自然界に存在する地磁気と重力加速度とを利用して、マーカの姿勢を検知し、これに基づいて各部位のマーカの相対位置をも求めることができる。
　そのため、対象物の運動領域全体に人工的に磁界を形成する必要がなく、励磁コイルなどの大掛かりな装置を用いる必要がなく、設備の大型化を防ぐことができる。逆の観点から言えば、対象物の運動領域を格段に広くすることができる。
　また、上記マーカは、それ自身に内蔵された磁気センサ及び加速度センサによって地磁気ベクトルと重力加速度ベクトルとを検出するものであり、光学式モーションキャプチャのようにマーカを撮像するカメラなども必要ない。かかる観点からも設備の小型化、簡略化を図ることができる。
　さらに、カメラで撮像するマーカの場合のように、マーカが対象物の死角となって動きを検出することができない状態となることがない。そのため、検出できる対象物の姿勢に制約がなくなる。
　また、地磁気と重力加速度とを利用して各部位の姿勢及び相対位置を検出することができるため、検出誤差を生じ難く、精度の高い検出を可能にすることができる。
　すなわち、ジャイロセンサの場合のように、検出される角速度を時間積分するなどの必要もなく、得られた地磁気ベクトルと重力加速度ベクトルとから、マーカの姿勢を正確に導き出すことができ、上記骨格データとの重ね合わせから、マーカの位置も正確に導き出すことができる。そのため、長時間にわたる正確な計測が可能となる。
　また、各マーカの姿勢は、得られた地磁気ベクトルと重力加速度ベクトルとから求められるため、初期姿勢の記憶も不要である。
　また、上記マーカは、上記無線手段を有するため、各マーカからそれぞれ上記地磁気ベクトル及び上記重力加速度ベクトルのデータを、外部の受信装置へ無線送信することができる。これにより、各マーカ間を結線したり、各マーカと受信装置とを結線したりする必要がなく、対象物の運動の制約を低減することができる。
　以上のごとく、本発明によれば、対象物の動作を制約することなく、装備の大型化を必要とせず、かつ精度の高いモーションキャプチャ用のマーカを提供することができる。
実施例における、モーションキャプチャ用のマーカの斜視図。 実施例における、マーカを対象物（人体）に取り付けた状態の説明図。 実施例における、マーカと受信装置とパソコンとの間のデータ送受信のイメージ図。
　本発明において、上記対象物としては、例えば人体、その他の動物等が挙げられる。
　また、上記無線手段が上記受信装置へ無線送信するデータは、上記地磁気ベクトル及び上記重力加速度ベクトルのデータそのものの他、これらを基にして算出された上記マーカの姿勢データなどであってもよい。
　また、上記モーションキャプチャによって捕捉した対象物の運動データは、例えば、医学、スポーツ、アニメーション、広告など、種々の目的に用いることができる。
　また、上記磁気センサは、上記３軸方向の地磁気成分をそれぞれ検出する３基のマグネト・インピーダンス・センサ素子からなることが好ましい。
　この場合には、上記磁気センサの検出精度の向上及び小型化を容易に図ることができ、検出精度に優れた小型のモーションキャプチャ用のマーカを得ることができる。これにより、対象物の細かな微妙な動きも円滑に捉えることができる。さらには、例えば指の動きなど、対象物における細部の動きも正確に捉えることが可能となる。
　本発明の実施例にかかるモーションキャプチャ用のマーカにつき、図１～図３を用いて説明する。
　本例のモーションキャプチャ用のマーカ１は、図２に示すごとく、対象物（人体）の動作を検知するモーションキャプチャにおいて用いられ、対象物（人体）の複数の部位に取り付けられるものである。
　図１に示すごとく、マーカ１は、下記の磁気センサ２と、加速度センサ３と、信号処理部４と、電源部５と、無線手段６とを備える。
　磁気センサ２は、マーカ１に固定されたマーカ座標系の互いに直交する３軸方向における地磁気ベクトルの各成分を検出する。
　加速度センサ３は、上記３軸方向における、重力加速度ベクトルの各成分を検出する。
　信号処理部４は、磁気センサ２と加速度センサ３とが検出した検出信号を処理する。
　電源部５は、信号処理部４に電力を供給する。
　無線手段６は、信号処理部４において処理された地磁気ベクトル及び重力加速度ベクトルのデータを外部の受信装置８１（図２、図３参照）へ無線送信する。
　図１に示すごとく、マーカ１は、円盤状のコイン型電池からなる電源部５の一方の面（部品搭載面５１）に、磁気センサ２と、加速度センサ３と、信号処理部４と、電源部５と、無線手段６とを搭載してなる。
　磁気センサ２は、上記３軸方向の地磁気成分をそれぞれ検出する３基のマグネト・インピーダンス・センサ素子２１ｘ、２１ｙ、２１ｚからなる。マグネト・インピーダンス・センサ素子２１ｘ、２１ｙ、２１ｚは、ＭＩ（Ｍａｇｎｅｔｏ－ｉｍｐｅｄａｎｃｅ）現象を利用して磁気センシングを行うものであり、例えば、特開２００７－１１３９９３号公報に開示されているものである。
　また、加速度センサ３としては、静電容量型加速度センサを用いることができる。
　信号処理部４は、ＣＰＵとＲＯＭとＲＡＭとＩ／Ｏとこれらを接続する接続ラインとを備えるマイコンからなり、磁気センサ２、加速度センサ３、及び無線手段６が接続されている。そして、磁気センサ２と加速度センサ３とから、地磁気ベクトルと重力加速度ベクトルとの検出信号が信号処理部４に入力される。
　また、無線手段６は、無線ＩＣ６１とアンテナ６２とからなる。アンテナ６２は、電源部５における部品搭載面５１の全周に形成されている。
　本例のマーカ１（１ａ～１ｐ）は、図２に示すごとく、頭部、左右の肩、左右の肘、左右の手首、左右の手、腰部、左右の膝、左右の踵、左右の爪先など、被測定者の人体７における各部位に取り付けられる。マーカ１の取付部位については、モーションキャプチャの目的や用途に応じて適宜変更される。
　また、マーカ１の取り付けられる人体７の骨格データを用意しておく。この骨格データは、マーカ１とは別体であって人体７には取り付けられないパソコン８２内に格納されている。また、人体７におけるマーカ１の取り付け位置のデータを、骨格データに対応させて、パソコン８２に記憶させておく。
　そして、人体７の運動開始前において、基本姿勢（例えば直立姿勢）を保つ。この初期状態におけるマーカ１を取り付けた各部位の位置（初期位置）は、骨格データを基に予め設定されている。すなわち、運動開始前においては、各部位を初期位置に合わせるべく、基本姿勢をとる。
　この状態で、各マーカ１において、地磁気ベクトル及び重力加速度ベクトルの検出を開始したうえで、人体７の運動を開始する。そして、各マーカ１（１ａ～１ｐ）が時々刻々と地磁気ベクトル及び重力加速度ベクトルを検知すると共に、図３に示すごとく、地磁気ベクトル及び重力加速度ベクトルのデータを、各マーカ１から受信装置８１へ、逐次無線送信する。受信装置８１が受け取った地磁気ベクトル及び重力加速度ベクトルのデータを、パソコン８２によって解析して人体７の動きを求める。これにより、人体７の動きを捕捉する。
　パソコン８２による地磁気ベクトル及び重力加速度ベクトルのデータ解析に当たっては、地磁気ベクトルと重力加速度ベクトルとのデータから、各マーカ１における、マーカ１に固定されたマーカ座標系に対する地球に固定された地球座標系を求め、これらの関係からマーカ１の方位及び姿勢を求める。すなわち、人体７の各部位が向く方位や姿勢（ヨー、ロール、ピッチ）を求める。
　たとえば、各マーカ１の姿勢を、水平方向真北に対するヨー角η、マーカ１に固定されたマーカ座標系のＹ軸を中心としたロール角φ、同じくマーカ座標系のＸ軸を中心としたピッチ角θとして求める。ヨー角η、ロール角φ、ピッチ角θは、地磁気ベクトルＭ及び重力加速度ベクトルＧの成分（数１）を用いて、以下の計算式（数２）によって導くことができる。この姿勢算出方法は、例えば、「ロボット・マニピュレータ〈数学的基礎、プログラミング、および制御〉」（コロナ社、Ｒ．Ｐ．ポール著、吉川恒夫訳、Ｐ．４６）等に開示されているように周知の方法である。
　なお、〔数１〕、〔数２〕におけるＭx、Ｍy、Ｍzは、マーカ座標系におけるそれぞれ互いに直交する３軸方向であるＸ軸方向、Ｙ軸方向、Ｚ軸方向の地磁気ベクトルの各成分であり、Ｇx、Ｇy、Ｇzは、マーカ座標系におけるそれぞれ互いに直交する３軸方向であるＸ軸方向、Ｙ軸方向、Ｚ軸方向の重力加速度ベクトルの各成分である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　更に、求められた各部位の姿勢のデータと、上記骨格データとから、各部位の相対位置を求める。すなわち、例えば腰部に対する頭部や手、足などの位置を求める。
　これにより、人体７の各部位の姿勢及び位置が求まり、人体７の動きが求まる。そして、求めた人体７の動きを、パソコン８２に接続した画像表示装置においてリアルタイムに画像表示し、あるいは記録する。
　なお、加速度センサ３による重力加速度の検出に当たっては、重力加速度以外の加速度をノイズとして除去する必要がある。すなわち、人体７の各部位の動きには加速度がつきものであるため、マーカ１には重力加速度以外の加速度も重ねて作用することとなる。そこで、各マーカ１における信号処理部４においては、得られた加速度成分から重力加速度成分以外の加速度成分を除去するためのフィルタを設けてあり、このフィルタを通過した加速度データ、すなわち重力加速度ベクトルのデータのみが残る。これを実現するためのフィルタとして、例えばＩＩＲフィルタ等のデジタルフィルタを用いることができる。
　次に、本例の作用効果につき説明する。
　上記モーションキャプチャ用のマーカ１は、磁気センサ２と加速度センサ３とを有する。これにより、マーカ１に固定された互いに直交する３軸の座標系（マーカ座標系）における地磁気ベクトルと加速度ベクトルとを検出することができ、これらに基づいて、マーカ座標系を基準とした地球座標系を求めることができる。そして、この地球座標系と上記マーカ座標系との関係に基づいて、マーカ１の姿勢（方位および傾き）を求めることができる。
　このように求められる人体７の各部位に配置されたマーカ１の姿勢データと、予め用意しておいた人体７の骨格データとに基づいて、基準位置に対する各部位の位置を求めることができる。
　その結果、マーカ１を取り付けた人体７の各部位について、基準位置に対する位置及び姿勢を求めることができる。この各部位の位置及び姿勢のデータを、時々刻々と連続的に採取することにより、モーションキャプチャは、人体７全体の動きを正確に把握することができる。
　ここで、マーカ１は、磁気センサ２及び加速度センサ３を用いて、自身の姿勢を検知する。すなわち、自然界に存在する地磁気と重力加速度とを利用して、マーカ１の姿勢を検知し、これに基づいて各部位のマーカ１の相対位置をも求めることができる。
　そのため、人体７の運動領域全体に人工的に磁界を形成する必要がなく、励磁コイルなどの大掛かりな装置を用いる必要がなく、設備の大型化を防ぐことができる。逆の観点から言えば、人体７の運動領域を格段に広くすることができる。
　また、マーカ１は、それ自身に内蔵された磁気センサ２及び加速度センサ３によって地磁気ベクトルと重力加速度ベクトルとを検出するものであり、光学式モーションキャプチャのようにマーカを撮像するカメラなども必要ない。かかる観点からも設備の小型化、簡略化を図ることができる。
　さらに、カメラで撮像するマーカの場合のように、マーカ１が人体７の死角となって動きを検出することができない状態となることがない。そのため、検出できる人体７の姿勢に制約がなくなる。
　また、地磁気と重力加速度とを利用して各部位の姿勢及び相対位置を検出することができるため、検出誤差を生じ難く、精度の高い検出を可能にすることができる。
　すなわち、ジャイロセンサの場合のように、検出される角速度を時間積分するなどの必要もなく、得られた地磁気ベクトルと重力加速度ベクトルとから、マーカ１の姿勢を正確に導き出すことができ、上記骨格データとの重ね合わせから、マーカ１の位置も正確に導き出すことができる。そのため、長時間にわたる正確な計測が可能となる。
　また、各マーカ１の姿勢は、得られた地磁気ベクトルと重力加速度ベクトルとから求められるため、初期姿勢の記憶も不要である。
　また、マーカ１は、無線手段６を有するため、各マーカ１からそれぞれ地磁気ベクトル及び重力加速度ベクトルのデータを、外部の受信装置８１へ無線送信することができる。これにより、各マーカ１間を結線したり、各マーカ１と受信装置８１とを結線したりする必要がなく、人体７の運動の制約を低減することができる。
　また、磁気センサ２は３基のマグネト・インピーダンス・センサ素子２１ｘ、２１ｙ、２１ｚからなる。そのため、磁気センサ２の検出精度の向上及び小型化を容易に図ることができ、検出精度に優れた小型のモーションキャプチャ用のマーカ１を得ることができる。これにより、人体７の細かな微妙な動きも円滑に捉えることができる。さらには、例えば指の動きなど、人体７における細部の動きも正確に捉えることが可能となる。
　以上のごとく、本例によれば、人体の動作を制約することなく、装備の大型化を必要とせず、かつ精度の高いモーションキャプチャ用のマーカを提供することができる。

Claims (2)

  1. 　対象物の動作を検知するモーションキャプチャにおいて用いられ、上記対象物の複数の部位に取り付けられるモーションキャプチャ用のマーカであって、
    　該マーカは、該マーカに固定されたマーカ座標系の互いに直交する３軸方向における地磁気ベクトルの各成分を検出する磁気センサと、
    　上記３軸方向における、重力加速度ベクトルの各成分を検出する加速度センサと、
    　上記磁気センサと上記加速度センサとが検出した検出信号を処理する信号処理部と、
    　該信号処理部に電力を供給する電源部と、
    　上記信号処理部において処理された上記地磁気ベクトル及び上記重力加速度ベクトルのデータを外部の受信装置へ無線送信するための無線手段とを備えることを特徴とするモーションキャプチャ用のマーカ。
  2. 　請求項１において、上記磁気センサは、上記３軸方向の地磁気成分をそれぞれ検出する３基のマグネト・インピーダンス・センサ素子からなることを特徴とするモーションキャプチャ用のマーカ。
PCT/JP2010/061022 2009-08-03 2010-06-29 モーションキャプチャ用のマーカ WO2011016302A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009180340A JP2011033489A (ja) 2009-08-03 2009-08-03 モーションキャプチャ用のマーカ
JP2009-180340 2009-08-03

Publications (1)

Publication Number Publication Date
WO2011016302A1 true WO2011016302A1 (ja) 2011-02-10

Family

ID=43544203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061022 WO2011016302A1 (ja) 2009-08-03 2010-06-29 モーションキャプチャ用のマーカ

Country Status (2)

Country Link
JP (1) JP2011033489A (ja)
WO (1) WO2011016302A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011244873B1 (en) * 2011-04-29 2012-09-06 Zepp Labs, Inc. Method of confirming motion parameters, apparatus for the same, and motion assisting device
EP3346298A4 (en) * 2015-10-06 2019-06-12 Aichi Steel Corporation MAGNETIC MICROSUBSTANCE DETECTION SENSOR AND FOREIGN BODY DETECTION APPARATUS
CN110906927A (zh) * 2019-12-06 2020-03-24 中国空空导弹研究院 一种凝固坐标系下重力加速度简化算法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043231A1 (en) * 2011-04-20 2014-02-13 Nec Casio Mobile Communications, Ltd. Information display device, control method, and program
DE102012111304A1 (de) * 2012-11-22 2014-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Rekonstruktion einer Bewegung eines Objekts
JP6856897B2 (ja) * 2017-02-20 2021-04-14 株式会社アシックス 投球解析システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084051A (ja) * 2001-09-17 2003-03-19 Ricoh Co Ltd 磁界ベクトルセンサ及びセンサシステム
WO2008026357A1 (fr) * 2006-08-29 2008-03-06 Microstone Corporation Procédé de capture de mouvements
JP2009125229A (ja) * 2007-11-21 2009-06-11 Advanced Telecommunication Research Institute International 動き測定装置
JP2009526980A (ja) * 2006-02-17 2009-07-23 コミツサリア タ レネルジー アトミーク モーションキャプチャー装置およびそれに係る方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084051A (ja) * 2001-09-17 2003-03-19 Ricoh Co Ltd 磁界ベクトルセンサ及びセンサシステム
JP2009526980A (ja) * 2006-02-17 2009-07-23 コミツサリア タ レネルジー アトミーク モーションキャプチャー装置およびそれに係る方法
WO2008026357A1 (fr) * 2006-08-29 2008-03-06 Microstone Corporation Procédé de capture de mouvements
JP2009125229A (ja) * 2007-11-21 2009-06-11 Advanced Telecommunication Research Institute International 動き測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKASHI OKABAYASHI: "Motion Capturing using Kinetic and Magnetostatic Sensors", DAI 42 KAI PROCEEDINGS OF THE ANNUAL CONFERENCE OF THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS, 20 May 1998 (1998-05-20), pages 551 - 552 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011244873B1 (en) * 2011-04-29 2012-09-06 Zepp Labs, Inc. Method of confirming motion parameters, apparatus for the same, and motion assisting device
EP3346298A4 (en) * 2015-10-06 2019-06-12 Aichi Steel Corporation MAGNETIC MICROSUBSTANCE DETECTION SENSOR AND FOREIGN BODY DETECTION APPARATUS
US10539701B2 (en) 2015-10-06 2020-01-21 Aichi Steel Corporation Minute magnetic body detecting sensor and foreign substance detecting device
CN110906927A (zh) * 2019-12-06 2020-03-24 中国空空导弹研究院 一种凝固坐标系下重力加速度简化算法
CN110906927B (zh) * 2019-12-06 2023-04-14 中国空空导弹研究院 一种凝固坐标系下重力加速度简化算法

Also Published As

Publication number Publication date
JP2011033489A (ja) 2011-02-17

Similar Documents

Publication Publication Date Title
Roetenberg Inertial and magnetic sensing of human motion
KR101320035B1 (ko) 위치 및 경로-맵 생성 데이터 획득 및 분석 시스템들
US20180089841A1 (en) Mixed motion capture system and method
Roetenberg et al. Estimating body segment orientation by applying inertial and magnetic sensing near ferromagnetic materials
KR101214227B1 (ko) 동작 추적 방법.
JP6322960B2 (ja) 慣性装置、方法及びプログラム
JP6268945B2 (ja) 慣性装置、方法及びプログラム
WO2011016302A1 (ja) モーションキャプチャ用のマーカ
JP2004264060A (ja) 姿勢の検出装置における誤差補正方法及びそれを利用した動作計測装置
CN107923740B (zh) 传感器设备、传感器系统以及信息处理设备
CN104956648B (zh) 用于在固定参照系中感测物体在空间中的取向的方法和设备
US20130310711A1 (en) Joint motion measuring apparatus and measuring method thereof
JP2009526980A (ja) モーションキャプチャー装置およびそれに係る方法
EP2461748A2 (en) Inertial sensor kinematic coupling
Fang et al. Development of a wearable device for motion capturing based on magnetic and inertial measurement units
WO2017028579A1 (zh) 用于视频监控的摄像机及监控系统
Lin et al. Development of an ultra-miniaturized inertial measurement unit WB-3 for human body motion tracking
KR20210093866A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2011047950A (ja) デッドレコニング装置
WO2020232727A1 (zh) 一种基于mimu的便携脊柱测量仪及方法
Abbate et al. Development of a MEMS based wearable motion capture system
JP2013111407A (ja) 軌跡演算装置および軌跡演算方法
KR101654156B1 (ko) 센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법
Lobo et al. Integration of inertial information with vision towards robot autonomy
KR20120028416A (ko) 통합 움직임 감지 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806302

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10806302

Country of ref document: EP

Kind code of ref document: A1