JP6707327B2 - Motion discriminating apparatus and motion discriminating method - Google Patents

Motion discriminating apparatus and motion discriminating method Download PDF

Info

Publication number
JP6707327B2
JP6707327B2 JP2015163262A JP2015163262A JP6707327B2 JP 6707327 B2 JP6707327 B2 JP 6707327B2 JP 2015163262 A JP2015163262 A JP 2015163262A JP 2015163262 A JP2015163262 A JP 2015163262A JP 6707327 B2 JP6707327 B2 JP 6707327B2
Authority
JP
Japan
Prior art keywords
motion
unit
sensor
translational
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015163262A
Other languages
Japanese (ja)
Other versions
JP2017038821A (en
Inventor
武蔵 重山
武蔵 重山
尾崎　健司
健司 尾崎
朋美 菱沼
朋美 菱沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2015163262A priority Critical patent/JP6707327B2/en
Publication of JP2017038821A publication Critical patent/JP2017038821A/en
Application granted granted Critical
Publication of JP6707327B2 publication Critical patent/JP6707327B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明の実施形態は、動作判別装置及び動作判別方法に関する。 Embodiments of the present invention relate to a motion determination device and a motion determination method.

プラントの建設現場や保守現場では、優れた技能を持つ熟練された作業員の退職などによって世代交代が進み、技能の継承や訓練が急務となっている。経験の浅い作業員が現場に多数割り当てられた場合には、いわゆるヒューマンエラーの増加や作業品質の低下が懸念される。このような状況においても、現場での安全性や作業品質を確保するために、個々の作業員の技能レベルに応じた適切な訓練カリキュラムなどを提供する必要がある。例えば、実際に現場で働く作業員が、安全でない行動や禁止された作業を行った場合、これを検知して作業員本人に注意を促すことが効果的である。 At the plant construction site and maintenance site, generational changes are progressing due to the retirement of skilled workers with excellent skills, etc., and there is an urgent need to pass on skills and provide training. When a large number of inexperienced workers are assigned to the site, there is concern that so-called human error may increase and work quality may deteriorate. Even in such a situation, it is necessary to provide an appropriate training curriculum according to the skill level of each worker in order to ensure safety and work quality on site. For example, when a worker who actually works on the site performs unsafe behavior or prohibited work, it is effective to detect this and warn the worker himself.

この一方で、作業員が直接作業することが困難な環境、例えば高温、有毒ガス、高い線量の放射線などが発生する環境では、マスター・スレーブ・マニピュレータなどの操縦型ロボットや、自走式ロボットの活用が有効である。これらを遠隔操作するためには、周囲の環境に加えてロボット本体の姿勢を含めた動作の検出が必要となる。 On the other hand, in environments where it is difficult for workers to work directly, for example, in environments where high temperatures, toxic gases, and high doses of radiation are generated, control robots such as master/slave manipulators and self-propelled robots Utilization is effective. In order to operate these remotely, it is necessary to detect the motion including the posture of the robot body in addition to the surrounding environment.

作業員やロボットなどの検出対象物の動作の検出に有効な技術として、モーションキャプチャ技術が利用されている。今日のモーションキャプチャ技術は、赤外線カメラなどで撮影した映像を用いて検出対象物の動作を検出する方式や、また、検出対象物に加速度センサや角速度センサなどを装着することによって検出対象物の動作を検出する方式などが採用されている。 Motion capture technology is used as an effective technology for detecting the motion of a detection target such as a worker or a robot. Today's motion capture technology is a method of detecting the motion of a detection target by using an image captured by an infrared camera or the motion of the detection target by mounting an acceleration sensor or an angular velocity sensor on the detection target. The method of detecting is adopted.

特許第３６６８６６３号公報Japanese Patent No. 3668663 特開２００１−１９８１１０号公報JP 2001-198110 A

しかしながら、撮影した映像を利用する前者の動作検出方式は、作業員やロボットなどの検出対象物を、カメラなどを含む撮影機材で取り囲む必要があるため、検出対象物の移動可能範囲が制限される。したがって、プラントの工場内のような広範囲にわたって、検出対象物の移動を追跡する場合、工場内全体に多数の撮影機材を設置する必要がある。さらに、この方式は、人が立ち入ることができない空間に適用しようする場合、撮影機材の設置や調整が実質的に不可能となる。 However, in the former motion detection method that uses captured images, the movable range of the detection target is limited because it is necessary to surround the detection target such as workers and robots with imaging equipment including a camera. .. Therefore, when tracking the movement of an object to be detected over a wide area such as in a factory of a plant, it is necessary to install a large number of imaging equipment in the entire factory. Further, when this method is applied to a space where people cannot enter, it is virtually impossible to install or adjust the photographing equipment.

一方、センサを利用する後者の動作検出方式は、全体として多数のセンサを検出対象物の各部に装着する必要があるため、センサの着脱に多大な労力を要する。また、マニピュレータなどの常設設備にセンサを装着する場合、保守管理に要する手間が増大することになる。以上の理由から、検出対象物の動作の検出にモーションキャプチャ技術を適用することは難しくなっている。 On the other hand, in the latter motion detection method using a sensor, it is necessary to attach a large number of sensors to each part of the detection target as a whole, and thus a great deal of labor is required to attach and detach the sensor. Further, when the sensor is mounted on a permanent facility such as a manipulator, the labor required for maintenance and management increases. For the above reasons, it is difficult to apply the motion capture technology to the detection of the motion of the detection target.

本発明が解決しようとする課題は、検出対象物の動作を効率的に判別できる動作判別装置及び動作判別方法を提供することである。 The problem to be solved by the present invention is to provide an operation determination device and an operation determination method capable of efficiently determining the operation of a detection target.

実施の形態の動作判別装置は、第１及び第２のセンサ、第１及び第２の抽出部、並びに動作判定部を備える。第１のセンサは、胴部と前記胴部に関節部を介してつながる肢部とを含む検出対象物の前記胴部の軸心部分に装着され、前記軸心部分における並進運動及び回転運動を検出する。第２のセンサは、前記肢部の先端部分に装着され、前記先端部分における並進運動及び回転運動を検出する。第１の抽出部は、前記検出された軸心部分における並進運動と前記先端部分における並進運動とを比較することによって、互いに共通する並進運動と各々独立した並進運動とを抽出する。第２の抽出部は、前記検出された軸心部分における回転運動と前記先端部分における回転運動とを比較することによって、互いに共通する回転運動と各々独立した回転運動とを抽出する。動作判定部は、前記検出対象物についての動作の判別の指標となる複数の動作のパターンを予め記憶する動作パターン記憶部と、前記予め記憶された複数の動作のパターンの中から、前記第１及び第２の抽出部による抽出結果に対応した動作のパターンを選出する動作パターン選出部と、を有し、前記第１及び第２の抽出部による抽出結果に基づいて、前記検出対象物の動作のパターンを判定する。また、第１及び第２のセンサは、直交３軸方向における加速度を検出する加速度検出部と、直交３軸方向における角速度を検出する角速度検出部と、をそれぞれ備える。さらに、第１の抽出部は、互いの前記加速度検出部でそれぞれ検出された直交３軸方向における加速度の向きを比較する並進方向比較部と、前記それぞれ検出された加速度の大きさを比較する並進量比較部と、を含む。また、第２の抽出部は、互いの前記角速度検出部でそれぞれ検出された直交３軸方向における角速度の向きを比較する回転運動方向比較部と、前記それぞれ検出された角速度の大きさを比較する回転量比較部と、を含む。 The motion determining apparatus according to the embodiment includes first and second sensors, first and second extracting units, and a motion determining unit. The first sensor is attached to a shaft center portion of the body of the detection target including a body portion and a limb portion connected to the body portion through a joint portion, and performs a translational motion and a rotational motion in the shaft center portion. To detect. The second sensor is attached to the tip portion of the limb and detects translational movement and rotational movement of the tip portion. The first extraction unit extracts a translational motion common to each other and a translational motion independent of each other by comparing the translational motion in the detected axial center portion and the translational motion in the tip portion. The second extraction unit extracts the rotational movement common to each other and the independent rotational movement by comparing the detected rotational movement in the axial center portion with the detected rotational movement in the tip portion. The motion determination unit stores the first pattern from the motion pattern storage unit that stores in advance a plurality of motion patterns serving as an index for determining the motion of the detection target, and the plurality of pre-stored motion patterns. And a motion pattern selection unit that selects a motion pattern corresponding to the extraction result by the second extraction unit, and the motion of the detection target object based on the extraction results by the first and second extraction units. Pattern is determined. The first and second sensors each include an acceleration detection unit that detects acceleration in the orthogonal three-axis directions and an angular velocity detection unit that detects angular velocity in the orthogonal three-axis directions. Further, the first extraction unit is a translation direction comparison unit that compares the directions of the accelerations in the orthogonal three-axis directions detected by the acceleration detection units, and a translation unit that compares the magnitudes of the detected accelerations. And a quantity comparison unit. The second extraction unit compares the detected angular velocities with a rotational movement direction comparison unit that compares the angular velocity directions in the orthogonal three-axis directions detected by the angular velocity detection units. And a rotation amount comparison unit.

本発明によれば、検出対象物の動作を効率的に判別できる動作判別装置及び動作判別方法を提供することが可能である。 According to the present invention, it is possible to provide a motion determination device and a motion determination method that can efficiently determine the motion of a detection target.

第１の実施形態に係る動作判別装置の構成を機能的に示すブロック図。FIG. 3 is a block diagram functionally showing the configuration of the operation determination device according to the first embodiment. 図１の動作判別装置が備える一部の構成を具体的に示すブロック図。FIG. 2 is a block diagram specifically showing a part of the configuration included in the operation determination device in FIG. 1. 図１の動作判別装置が備える胴体部センサ及び肢部センサの装着位置を概略的に示す図。The figure which shows schematically the mounting position of the trunk|body part sensor and limb sensor with which the operation determination device of FIG. 1 is equipped. 図３の胴体部センサ及び肢部センサの並進運動に伴う変位の一例を上方からみた模式図。The schematic diagram which looked at an example of the displacement accompanying the translational motion of the body part sensor and limb part sensor of FIG. 3 from the upper side. 図４Ａとは異なる他の変位の例を示す模式図。The schematic diagram which shows the example of another displacement different from FIG. 4A. 図４Ａ、図４Ｂとは異なる他の変位の例を示す模式図。The schematic diagram which shows the example of another displacement different from FIG. 4A and FIG. 4B. 図３の胴体部センサ及び肢部センサの回転運動に伴う変位の一例を上方からみた模式図。The schematic diagram which looked at an example of the displacement accompanying the rotational motion of the body part sensor and limb part sensor of FIG. 3 from the upper side. 図５Ａとは異なる他の変位の例を示す模式図。The schematic diagram which shows the example of another displacement different from FIG. 5A. 図５Ａ、図５Ｂとは異なる他の変位の例を示す模式図。The schematic diagram which shows the example of another displacement different from FIG. 5A and FIG. 5B. 図３の胴体部センサ及び肢部センサの変位の方向を説明するための図。FIG. 4 is a diagram for explaining the directions of displacement of the body sensor and the limb sensor of FIG. 3. 図６の胴体部センサ及び肢部センサの並進運動に対応した加速度の変化を示す図。FIG. 7 is a diagram showing changes in acceleration corresponding to translational movements of the body sensor and the limb sensor of FIG. 6. 図７Ａとは異なる他の加速度の変化を示す図。The figure which shows the change of another acceleration different from FIG. 7A. 図７Ａ、図７Ｂとは異なる他の加速度の変化を示す図。The figure which shows the change of another acceleration different from FIG. 7A and FIG. 7B. 図６の胴体部センサ及び肢部センサの回転運動に対応した角速度の変化を示す図。FIG. 7 is a diagram showing changes in angular velocity corresponding to rotational movements of the body sensor and the limb sensor of FIG. 6. 図８Ａとは異なる他の角速度の変化を示す図。The figure which shows the change of another angular velocity different from FIG. 8A. 図８Ａ、図８Ｂとは異なる他の角速度の変化を示す図。The figure which shows the change of another angular velocity different from FIG. 8A and FIG. 8B. 図１の動作判別装置による動作判別方法を示すフローチャート。3 is a flowchart showing a method of discriminating an operation by the operation discriminating apparatus of FIG. 1. 第２の実施形態に係る動作判別装置の構成を機能的に示すブロック図。The block diagram functionally showing the composition of the operation discriminating device concerning a 2nd embodiment. 図１０の動作判別装置を用いた第１及び第２のキャリブレーション動作について説明するための図。FIG. 11 is a diagram for explaining first and second calibration operations using the operation determination device of FIG. 10. 図１１の第１のキャリブレーション動作を具体的に説明するための図。FIG. 12 is a diagram for specifically explaining the first calibration operation of FIG. 11. 図１２の例とは異なる他の第１のキャリブレーション動作について説明するための図。FIG. 13 is a diagram for explaining another first calibration operation different from the example of FIG. 12. 図１１の第２のキャリブレーション動作の一例を平面方向からみた図。The figure which looked at an example of the 2nd calibration operation of Drawing 11 from the plane direction. 図１４とは異なる他の例を平面方向からみた図。The figure which looked at another example different from FIG. 14 from the planar direction. 図１４、図１５とは異なる他の例を平面方向からみた図。The figure which looked at the other example different from FIG. 14, FIG. 15 from the plane direction. 第３の実施形態に係る動作判別装置の構成を機能的に示すブロック図。The block diagram functionally showing the composition of the operation discriminating device concerning a 3rd embodiment.

以下、実施の形態を図面に基づき説明する。
＜第１の実施の形態＞
図１に示すように、本実施形態の動作判別装置１０は、例えばプラント内で作業する作業者や作業ロボットなどの動作を判別するための装置である。この動作判別装置１０は、図１、図２に示すように、第１のセンサとしての胴体部センサ１１、第２のセンサとしての肢部センサ１２、第１の抽出部１５、第２の抽出部１６及び動作判定部１７を備えている。 Hereinafter, embodiments will be described with reference to the drawings.
<First Embodiment>
As shown in FIG. 1, the motion determination device 10 of the present embodiment is a device for determining the motion of a worker or a work robot working in a plant, for example. As shown in FIG. 1 and FIG. 2, the motion determining apparatus 10 includes a body sensor 11 as a first sensor, a limb sensor 12 as a second sensor, a first extraction unit 15, and a second extraction. The unit 16 and the operation determination unit 17 are provided.

ここで、図３に示すように、作業者の他、作業ロボットなどを例示できる検出対象物５０は、体幹部分となる胴体部（胴部）５１と、この胴体部５１に関節部（肩関節部）５３を介してつながる肢部としての腕部５２と、を有する。この腕部５２は、肘関節部５４を含む。 Here, as shown in FIG. 3, a detection target 50 that can be exemplified by a worker, a work robot, and the like is a body part (body part) 51 that is a trunk part, and a joint part (shoulder) on the body part 51. Arm portion 52 as a limb portion connected through a joint portion 53. The arm portion 52 includes an elbow joint portion 54.

胴体部センサ１１は、図３に示すように、胴体部５１の体幹軸（例えば人体の背骨など）に沿った部位である軸心部分７１に装着されている。この胴体部センサ１１は、軸心部分７１（胴体部センサ装着部分）における並進運動（並進移動）及び回転運動を検出（計測）する。一方、肢部センサ１２は、肢部としての腕部５２の先端部分（例えば人体の手首など）７２に装着されている。肢部センサ１２は、腕部５２の先端部分７２（肢部センサ装着部分）における並進運動及び回転運動を検出する。 As shown in FIG. 3, the body part sensor 11 is attached to an axial center part 71 which is a part along the trunk axis of the body part 51 (for example, the spine of the human body). The body sensor 11 detects (measures) a translational movement (translational movement) and a rotational movement in an axial center portion 71 (body portion sensor mounting portion). On the other hand, the limb sensor 12 is attached to a distal end portion (for example, a wrist of a human body) 72 of an arm 52 as a limb. The limb sensor 12 detects translational motion and rotational motion in the tip portion 72 (limb sensor mounting portion) of the arm 52.

なお、以降の説明では、作業者や作業ロボットなどの上半身の動作の判別について例示するが、本実施形態は、これに代えて、作業者や作業ロボットなどの下半身の動作の判別にも適用可能である。つまり、図３の例では、肢部センサ１２を腕部５２に装着した例を示しているが、下半身の動作を判別する場合、肢部センサ１２を脚部（例えば人体の足首など）に装着してもよい。また、図３の例では、肢部センサ１２を左腕に装着した例を示しているが、右腕に装着してもよいし、さらには、左又は右の脚部に装着してもよい。 It should be noted that in the following description, the determination of the motion of the upper body of the worker or the work robot is exemplified, but the present embodiment can be applied to the determination of the motion of the lower body of the worker or the work robot instead of this. Is. That is, although the example of FIG. 3 shows an example in which the limb sensor 12 is attached to the arm 52, when the movement of the lower half of the body is determined, the limb sensor 12 is attached to the leg (for example, the ankle of the human body). You may. Further, in the example of FIG. 3, the limb sensor 12 is attached to the left arm, but the limb sensor 12 may be attached to the right arm or further to the left or right leg.

図１〜図３に示すように、胴体部センサ１１及び肢部センサ１２は、直交３次元座標系（直交３次元空間上）の座標値を検出するものであり、上記した軸心部分７１及び先端部分７２の並進運動としては、Ｘ軸、Ｙ軸、Ｚ軸を基準とした軸方向に沿った移動量を取得し、軸心部分７１及び先端部分７２の回転運動としては、Ｘ軸、Ｙ軸、Ｚ軸を基準とした軸周りの回転量（回転角度）を取得する。 As shown in FIGS. 1 to 3, the body sensor 11 and the limb sensor 12 detect coordinate values in an orthogonal three-dimensional coordinate system (on an orthogonal three-dimensional space), and the above-described axial center portion 71 and As the translational movement of the tip portion 72, the amount of movement along the axial direction based on the X-axis, Y-axis, and Z-axis is obtained, and as the rotational movement of the shaft center portion 71 and the tip portion 72, the X-axis, Y-axis is obtained. The amount of rotation (rotation angle) about the axis and the Z axis is acquired.

より具体的には、図２に示すように、胴体部センサ１１及び肢部センサ１２は、例えば６軸センサを共に適用しており、加速度検出部１１ａ、１２ａ及び角速度検出部（ジャイロセンサ）１１ｂ、１２ｂをそれぞれ備えている。加速度検出部１１ａ、１２ａは、直交３軸方向（直交３軸座標系）における加速度を検出する。一方、角速度検出部１１ｂ、１２ｂは、直交３軸方向における角速度を検出する。 More specifically, as shown in FIG. 2, the body sensor 11 and the limb sensor 12 are, for example, 6-axis sensors applied together, and the acceleration detection units 11a and 12a and the angular velocity detection unit (gyro sensor) 11b are used. , 12b respectively. The acceleration detection units 11a and 12a detect acceleration in the orthogonal triaxial directions (orthogonal triaxial coordinate system). On the other hand, the angular velocity detectors 11b and 12b detect the angular velocity in the directions of the three orthogonal axes.

なお、胴体部センサ１１及び肢部センサ１２は、上記した加速度及び角速度の値を直接計測する直接的計測手段、又は、これら加速度及び角速度の値を算出するために必要な数値を間接的に計測する間接的計測手段を有するものである。これらの計測手段を有するセンサとしては、主に慣性センサや３次元磁気センサなどが例示されるが、この限りではなく、カメラやデプスセンサを用いたモーションキャプチャ技術を利用してもよい。 The body sensor 11 and the limb sensor 12 directly measure the above-mentioned acceleration and angular velocity values, or indirectly measure the numerical values required to calculate these acceleration and angular velocity values. Indirect measuring means for An inertial sensor, a three-dimensional magnetic sensor, etc. are mainly exemplified as the sensor having these measuring means, but the present invention is not limited to this, and a motion capture technique using a camera or a depth sensor may be used.

図１〜図３に示すように、第１の抽出部１５は、胴体部センサ１１によって検出された胴体部５１の軸心部分（胴体部センサ装着部分）７１における並進運動と、肢部センサ１２によって検出された腕部５２の先端部分（肢部センサ装着部分）７２における並進運動と、を比較することによって、互いに共通する並進運動と各々独立した並進運動とを抽出する。 As shown in FIGS. 1 to 3, the first extraction unit 15 includes a translational movement in the axial center portion (body portion sensor mounting portion) 71 of the body portion 51 detected by the body portion sensor 11, and the limb sensor 12. By comparing the translational movements at the tip portion (limb sensor mounting portion) 72 of the arm portion 52 detected by, the translational movements common to each other and the independent translational movements are extracted.

一方、第２の抽出部１６は、胴体部センサ１１によって検出された胴体部５１の軸心部分７１における回転運動と、肢部センサ１２によって検出された腕部５２の先端部分７２における回転運動と、を比較することによって、互いに共通する回転運動と各々独立した回転運動とを抽出する。なお、胴体部センサ１１及び肢部センサ１２側と第１及び第２の抽出部１５、１６側とは、例えば無線通信可能なネットワークなどを介して互いに接続されている。 On the other hand, the second extraction unit 16 performs the rotational movement in the axial center portion 71 of the body portion 51 detected by the body portion sensor 11 and the rotational movement in the tip portion 72 of the arm portion 52 detected by the limb sensor 12. , Are compared with each other to extract the common rotary motion and the independent rotary motion. The body part sensor 11 and the limb part sensor 12 side and the first and second extracting parts 15 and 16 side are connected to each other via, for example, a network capable of wireless communication.

第１及び第２の抽出部１５、１６について詳述すると、図１に示すように、第１の抽出部１５は、上記した互いに共通する並進運動を抽出する共通並進運動抽出部１５ａ及び上記した各々独立した並進運動を抽出する独立並進運動抽出部１５ｂとを備えている。一方、第２の抽出部１６は、上記した互いに共通する回転運動を抽出する共通回転運動抽出部１６ａ及び上記した各々独立した回転運動を抽出する独立回転運動抽出部１６ｂを備えている。 The first and second extraction units 15 and 16 will be described in detail. As shown in FIG. 1, the first extraction unit 15 includes the common translational motion extraction unit 15a and the common translational motion extraction unit 15a described above that extract the translational motions that are common to each other. An independent translational motion extracting unit 15b for extracting an independent translational motion is provided. On the other hand, the second extractor 16 includes a common rotary motion extractor 16a for extracting the above-mentioned common rotary motions and an independent rotary motion extractor 16b for extracting the independent rotary motions.

さらに、図１、図２に示すように、第１の抽出部１５の共通並進運動抽出部１５ａは、並進方向比較部１５ｃ及び並進量比較部１５ｄを有する。並進方向比較部１５ｃは、胴体部センサ１１の加速度検出部１１ａと肢部センサ１２の加速度検出部１２ａとによってそれぞれ検出された直交３軸方向における加速度の向きを比較する。より具体的には、並進方向比較部１５ｃは、加速度検出部１１ａ及び加速度検出部１２ａの各検出結果から二つの加速度ベクトルを取得し、二つの加速度ベクトルのなす角度が例えばゼロであるか否かの判定や、角度の差が例えば閾値内に収まっているか否かの判定を行う。つまり、並進方向比較部１５ｃは、二つの加速度ベクトルの方向（加速度の向き）の同一性を判定する。 Further, as shown in FIGS. 1 and 2, the common translational motion extraction unit 15a of the first extraction unit 15 includes a translation direction comparison unit 15c and a translation amount comparison unit 15d. The translation direction comparison unit 15c compares the directions of accelerations in the three orthogonal directions detected by the acceleration detection unit 11a of the body sensor 11 and the acceleration detection unit 12a of the limb sensor 12. More specifically, the translation direction comparing unit 15c acquires two acceleration vectors from the detection results of the acceleration detecting unit 11a and the acceleration detecting unit 12a, and determines whether the angle formed by the two acceleration vectors is zero, for example. And whether or not the angle difference is within a threshold, for example. That is, the translation direction comparison unit 15c determines the identity of the directions (acceleration directions) of the two acceleration vectors.

一方、並進量比較部１５ｄは、上記した加速度検出部１１ａ及び加速度検出部１２ａによってそれぞれ検出された直交３軸方向における加速度の大きさを比較する。詳述すると、並進量比較部１５ｄは、例えば並進方向比較部１５ｃによって方向の同一性を認められた二つの加速度ベクトルどうしの各成分を比較し、共通する成分を特定（抽出）する。 On the other hand, the translation amount comparison unit 15d compares the magnitudes of accelerations in the directions of the three orthogonal axes detected by the acceleration detection unit 11a and the acceleration detection unit 12a. More specifically, the translation amount comparison unit 15d compares, for example, each component of the two acceleration vectors whose direction identity is recognized by the translation direction comparison unit 15c, and identifies (extracts) a common component.

一方、第２の抽出部１６の共通回転運動抽出部１６ａは、回転運動方向比較部１６ｃ及び回転量比較部１６ｄを有する。また、図１、図２に示すように、回転運動方向比較部１６ｃは、胴体部センサ１１の角速度検出部１１ｂと肢部センサ１２の角速度検出部１２ｂとによってそれぞれ検出された直交３軸方向における角速度の向きを比較する。より詳細には、回転運動方向比較部１６ｃは、角速度検出部１１ｂ及び角速度検出部１２ｂの各検出結果から回転運動の中心軸の単位ベクトルをそれぞれ取得し、二つの単位ベクトルのなす角度が例えばゼロであるか否かの判定や、角度の差が例えば閾値内に収まっているか否かの判定を行う。つまり、回転運動方向比較部１６ｃは、二つの単位ベクトルの方向（回転運動の中心軸の向き）の同一性を判定する。 On the other hand, the common rotary motion extraction unit 16a of the second extraction unit 16 has a rotary motion direction comparison unit 16c and a rotation amount comparison unit 16d. Further, as shown in FIG. 1 and FIG. 2, the rotational movement direction comparison unit 16c is in the orthogonal three-axis directions respectively detected by the angular velocity detection unit 11b of the body sensor 11 and the angular velocity detection unit 12b of the limb sensor 12. Compare the direction of angular velocity. More specifically, the rotational movement direction comparison unit 16c respectively acquires the unit vector of the central axis of the rotational movement from the detection results of the angular velocity detection unit 11b and the angular velocity detection unit 12b, and the angle formed by the two unit vectors is, for example, zero. And whether or not the angle difference is within a threshold value, for example. That is, the rotational movement direction comparison unit 16c determines the identity of the directions of the two unit vectors (the orientation of the central axis of the rotational movement).

一方、回転量比較部１６ｄは、上記した角速度検出部１１ｂ及び角速度検出部１２ｂによってそれぞれ検出された直交３軸方向における角速度の大きさを比較する。具体的には、回転量比較部１６ｄは、回転運動方向比較部１６ｃによって例えば方向の同一性を認められた二つの単位ベクトルに対応した回転運動どうしの各成分（運動要素）を比較し、共通する成分を特定（共通する回転運動の要素を抽出）する。 On the other hand, the rotation amount comparison unit 16d compares the magnitudes of the angular velocities in the orthogonal triaxial directions detected by the angular velocity detection unit 11b and the angular velocity detection unit 12b described above. Specifically, the rotation amount comparison unit 16d compares the respective components (motion elements) of the rotation motions corresponding to the two unit vectors whose direction identity is recognized by the rotation motion direction comparison unit 16c, for example. Identify the component to be extracted (extract common rotational motion elements).

さらに、独立並進運動抽出部１５ｂは、図１、図３示すように、胴体部センサ１１及び肢部センサ１２によりそれぞれ検出された検出対象物５０の軸心部分（胴体部センサ装着部分）７１及び先端部分（肢部センサ装着部分）７２における並進運動の要素から、共通並進運動抽出部１５ａによって抽出された互いに共通する並進運動の要素を差し引くことで、検出対象物５０の軸心部分７１及び先端部分７２がそれぞれ独立して動作した並進運動の要素を抽出する。 Further, the independent translational motion extraction unit 15b, as shown in FIGS. 1 and 3, has an axial center portion (body portion sensor mounting portion) 71 of the detection target 50 detected by the body portion sensor 11 and the limb sensor 12, respectively. By subtracting the elements of the translational motion common to each other extracted by the common translational motion extraction unit 15a from the elements of the translational motion in the tip portion (limb sensor mounting portion) 72, the axial center portion 71 and the tip of the detection target object 50. The parts 72 extract the elements of the translational motion in which they each operate independently.

一方、独立回転運動抽出部１６ｂは、胴体部センサ１１及び肢部センサ１２によりそれぞれ検出された検出対象物５０の軸心部分７１及び先端部分７２における回転運動の要素から、共通回転運動抽出部１６ａによって抽出された互いに共通する回転運動の要素を差し引くことで、検出対象物５０の軸心部分７１及び先端部分７２がそれぞれ独立して動作した回転運動の要素を抽出する。 On the other hand, the independent rotary motion extractor 16b extracts the common rotary motion extractor 16a from the rotary motion elements in the axial center portion 71 and the tip portion 72 of the detection object 50 detected by the body part sensor 11 and the limb sensor 12, respectively. By subtracting the elements of the rotational movement common to each other extracted by the above, the elements of the rotational movement in which the axial center portion 71 and the tip portion 72 of the detection object 50 independently operate are extracted.

ここで、上述した第１の抽出部１５の機能を以下の式１〜式４を用いて詳述する。まず、胴体部センサ１１及び肢部センサ１２によってそれぞれ検出された並進運動（並進移動）は、次の式１、式２によって表すことが可能である。式１のｘbody、ｙbody、ｚbodyそれぞれは、胴体部センサ１１の加速度検出部１１ａの検出結果から得られたベクトル（加速度ベクトル）のｘ軸成分、ｙ軸成分、ｚ軸成分である。一方、式１のｘbody、ｙbody、ｚbodyそれぞれは、肢部センサ１２の加速度検出部１２ａの検出結果から得られたベクトルのｘ軸成分、ｙ軸成分、ｚ軸成分である。 Here, the function of the above-described first extraction unit 15 will be described in detail using the following Expressions 1 to 4. First, the translational motion (translational movement) detected by the body sensor 11 and the limb sensor 12 can be expressed by the following equations 1 and 2. Each of x body, y body , and z body in Expression 1 is an x-axis component, a y-axis component, and a z-axis component of a vector (acceleration vector) obtained from the detection result of the acceleration detection unit 11a of the body sensor 11. On the other hand, x body, y body , and z body in Expression 1 are the x-axis component, the y-axis component, and the z-axis component of the vector obtained from the detection result of the acceleration detection unit 12a of the limb sensor 12.

Figure 0006707327
Figure 0006707327
Figure 0006707327
Figure 0006707327

並進方向比較部１５ｃは、並進運動の比較において、次の式３を用いて二つのベクトル（加速度ベクトル）のなす角度θを算出する。二つのベクトルの向きが一致する場合、算出された角度θはゼロになる。実際には加速度検出部１１ａ、１１ｂによる計測誤差などの要因で、角度θがゼロにならない場合も想定されるため、例えば角度の値が予め定めた閾値内に収まっている場合、並進方向比較部１５ｃは、二つのベクトルの向きが同一であると判定する。 The translational direction comparison unit 15c calculates the angle θ formed by the two vectors (acceleration vector) using the following Equation 3 in the translational motion comparison. When the directions of the two vectors match, the calculated angle θ becomes zero. Actually, it may be assumed that the angle θ does not become zero due to a factor such as a measurement error by the acceleration detection units 11a and 11b. Therefore, for example, when the angle value is within a predetermined threshold value, the translation direction comparison unit 15c determines that the two vectors have the same direction.

Figure 0006707327
Figure 0006707327

次に、並進量比較部１５ｄは、以下の式４を用いて、検出対象物５０の軸心部分（胴体部センサ装着部分）７１及び先端部分（肢部センサ装着部分）７２についての互いに共通する並進移動を抽出する。つまり、並進量比較部１５ｄは、並進方向比較部１５ｃにより二つのベクトル（加速度ベクトル）の向きが同一である（角度θがゼロ又は閾値内にある）と判定された場合、さらに、加速度の計測値の±の符号（二つのベクトルの例えばｘ軸成分の進行方向）を確認し、符号が一致する場合は絶対値（加速度の大きさ）がより小さいものを共通する並進運動として抽出する。一方、符号が一致しない場合、並進量比較部１５ｄは、共通する並進運動は実行されていないと判定する。また、以下の式４では、ベクトルのｘ軸成分について例示しているが、他のｙ軸成分、ｚ軸成分についても、並進量比較部１５ｄは、同様の処理を行う。 Next, the translation amount comparison unit 15d is common to the axial center portion (body portion sensor mounting portion) 71 and the tip portion (limb sensor mounting portion) 72 of the detection target object 50 using the following Expression 4. Extract translations. That is, when the translation amount comparison unit 15c determines that the directions of the two vectors (acceleration vectors) are the same (the angle θ is zero or within the threshold value), the translation amount comparison unit 15d further measures the acceleration. The sign of ± of the value (for example, the advancing direction of the x-axis component of the two vectors) is confirmed, and if the signs match, the one having a smaller absolute value (magnitude of acceleration) is extracted as a common translational motion. On the other hand, when the signs do not match, the translation amount comparison unit 15d determines that the common translation motion is not executed. Further, in the following Expression 4, although the x-axis component of the vector is illustrated, the translation amount comparison unit 15d performs the same processing for other y-axis components and z-axis components.

Figure 0006707327
Figure 0006707327

なお、回転運動方向比較部１６ｃによる回転運動の中心軸（二つの単位ベクトル）の向きの比較についても、上記した式１〜式３と同様の式を利用して、回転運動の中心軸の向きの同一性を判定することができる。また、本実施形態では、単一の肢部センサ１２を装着している例を示しているが、複数の肢部センサ１２が装着される場合であっても同様の比較の処理を適用することができる。この場合、単一の胴体部センサの検出結果から得られたベクトルと、個々の肢部センサの検出結果から得られたベクトルと、が個別に比較されることになる。 In addition, regarding the comparison of the directions of the central axes (two unit vectors) of the rotational movement by the rotational movement direction comparison unit 16c, the same equations as the above-described Equations 1 to 3 are used, and the orientations of the central axes of the rotational movements are used. The identity of can be determined. Further, in the present embodiment, an example in which a single limb sensor 12 is worn is shown, but the same comparison process should be applied even when a plurality of limb sensors 12 are worn. You can In this case, the vector obtained from the detection result of the single body part sensor and the vector obtained from the detection result of the individual limb sensor are individually compared.

次に、動作判定部１７の機能を図３、図４Ａ〜図４Ｃ、図５Ａ〜図５Ｃ、図６、図７Ａ〜図７Ｃ、図８Ａ〜図８Ｃに基づき説明する。図４Ａ〜図４Ｃは、並進運動についての動作のパターンを例示したものあって、胴体部センサ１１及び肢部センサ１２の変位を、図３に示す検出対象物５０を上方からみた例を示している。なお、図４Ａ〜図４Ｃは、動作のパターンの判定の説明を容易にするために一方向への変位を例示している。 Next, the function of the operation determination unit 17 will be described with reference to FIGS. 3, 4A to 4C, 5A to 5C, 6, 7A to 7C, and 8A to 8C. FIGS. 4A to 4C are examples of motion patterns regarding translational motion, and show an example of displacement of the body sensor 11 and the limb sensor 12 when the detection target 50 shown in FIG. 3 is viewed from above. There is. 4A to 4C exemplify displacement in one direction in order to facilitate the description of the determination of the motion pattern.

図４Ａの動作のパターンは、腕部５２のみが並進運動する場合、図４Ｂの動作のパターンは、胴体部５１のみが並進運動する場合、図４Ｃの動作のパターンは、胴体部５１及び腕部５２の両方が並進運動する場合を表している。詳述すると、図４Ａの動作のパターンでは、腕部５２のみが並進運動するので、胴体部センサ１１（軸心部分７１）の位置は変化せず、一方、肢部センサ１２（先端部分７２）は、位置１２ｃまで移動する。 The motion pattern of FIG. 4A is the case where only the arm portion 52 is translated, the motion pattern of FIG. 4B is the case where only the body portion 51 is translated, and the motion pattern of FIG. 4C is the body portion 51 and the arm portion. Both of the two 52 are translated. More specifically, in the operation pattern of FIG. 4A, since only the arm 52 moves in translation, the position of the body sensor 11 (axial center portion 71) does not change, while the limb sensor 12 (tip portion 72) does not change. Moves to position 12c.

また、図４Ｂの動作のパターンでは、胴体部５１のみが並進運動するため、胴体部センサ１１は、位置１１ｃまで移動し、肢部センサ１２も胴体部５１と一体となって並進運動するため、肢部センサ１２は、位置１２ｃまで移動する。さらに、図４Ｃの動作のパターンでは、肢部センサ１２は、胴体部５１と一体になって動作する並進運動に加えて、腕部５２も並進運動するため、肢部センサ１２は、位置１２ｄまで移動する。この図４Ｃの動作のパターンでは、図４Ｂの動作のパターンとは異なり、胴体部センサ１１（軸心部分７１）とは独立して、肢部センサ１２（先端部分７２）の位置が移動する。 Further, in the operation pattern of FIG. 4B, since only the body part 51 moves in translation, the body part sensor 11 moves to the position 11c, and the limb sensor 12 also moves in translation with the body part 51. The limb sensor 12 moves to the position 12c. Further, in the operation pattern of FIG. 4C, the limb sensor 12 moves in parallel with the body 51, and the arm 52 also moves in translation. Therefore, the limb sensor 12 moves to the position 12d. Moving. In the operation pattern of FIG. 4C, unlike the operation pattern of FIG. 4B, the position of the limb sensor 12 (tip portion 72) moves independently of the body sensor 11 (axial center portion 71).

図５Ａ〜図５Ｃは、回転運動についての動作のパターンを例示したものあって、胴体部センサ１１及び肢部センサ１２の変位を、図３に示す検出対象物５０の上方からみた例を示している。図５Ａの動作のパターンは、腕部５２のみが回転運動する場合、図５Ｂの動作のパターンは、胴体部５１のみが回転運動する場合、図５Ｃの動作のパターンは、胴体部５１及び腕部５２の両方が回転運動する場合を表している。具体的には、図５Ａの動作のパターンでは、腕部５２のみが回転運動するので、胴体部センサ１１（軸心部分７１）の位置は変化せず、一方、肢部センサ１２（先端部分７２）の位置は、位置１２ｅまで移動する。ここで、胴体部センサ１１及び肢部センサ１２は、回転運動を検出した際の検出結果の一つとして回転角度を得る。 FIGS. 5A to 5C are examples of motion patterns regarding rotational movement, and show an example of displacement of the body sensor 11 and the limb sensor 12 viewed from above the detection target object 50 shown in FIG. 3. There is. The operation pattern of FIG. 5A is the case where only the arm portion 52 rotates, the operation pattern of FIG. 5B is the case where only the body portion 51 rotates, and the operation pattern of FIG. 5C is the body portion 51 and the arm portion. The case where both 52 are rotationally moved is shown. Specifically, in the operation pattern of FIG. 5A, since only the arm 52 rotates, the position of the body sensor 11 (axial center portion 71) does not change, while the limb sensor 12 (tip portion 72). The position of () moves to the position 12e. Here, the body sensor 11 and the limb sensor 12 obtain the rotation angle as one of the detection results when the rotational movement is detected.

また、図５Ｂの動作のパターンでは、胴体部５１のみが回転運動するため、胴体部センサ１１の姿勢は、姿勢１１ｄへと変化し、また、肢部センサ１２も胴体部５１と一体となって回転運動するため、肢部センサ１２は、姿勢を変化させつつ位置１２ｆまで移動する。この場合、肢部センサ１２の移動軌跡と胴体部センサ１１の移動軌跡とは、同心円上を移動する軌跡となり、これらの回転角度は等しくなる。 Further, in the operation pattern of FIG. 5B, only the torso 51 moves rotationally, so the posture of the torso sensor 11 changes to the posture 11d, and the limb sensor 12 is also integrated with the torso 51. Because of the rotational movement, the limb sensor 12 moves to the position 12f while changing its posture. In this case, the movement locus of the limb sensor 12 and the movement locus of the body sensor 11 are loci that move on a concentric circle, and their rotation angles are equal.

さらに、図５Ｃの動作のパターンでは、肢部センサ１２は、胴体部５１と一体になって動作する回転運動に加えて、腕部５２も回転運動するため、肢部センサ１２は、姿勢を変化させつつ位置１２ｇまで移動する。この図５Ｃの動作のパターンでは、図５Ｂの動作のパターンとは異なり、肢部センサ１２の移動軌跡と胴体部センサ１１の移動軌跡とは、同心円上を移動する軌跡にはならず、互いの回転角度も異なる。 Further, in the operation pattern of FIG. 5C, the limb sensor 12 changes the posture because the limb sensor 12 also performs the rotational movement of the arm 52 in addition to the rotational movement that operates integrally with the body 51. While moving, move to position 12g. In the operation pattern of FIG. 5C, different from the operation pattern of FIG. 5B, the movement locus of the limb sensor 12 and the movement locus of the body sensor 11 do not become concentric circles, but mutually. The rotation angle is also different.

次に、図６、図７Ａ〜図７Ｃ、図８Ａ〜図８Ｃについて説明する。図６は、胴体部センサ１１及び肢部センサ１２の変位の方向を説明するための図である。なお、図６では、Ｘ、Ｙ、Ｚの直交３軸方向を図示している。また、図７Ａ、図７Ｂ及び図７Ｃは、各々異なる並進運動についての動作のパターンにそれぞれ対応した胴体部５１の軸心部分（胴体部センサ装着部分）７１及び腕部５２の先端部分（肢部センサ装着部分）７２における加速度の時系列データを示す図である。さらに、図８Ａ、図８Ｂ及び図８Ｃは、各々異なる回転運動についての動作のパターンにそれぞれ対応した胴体部５１の軸心部分７１及び腕部５２の先端部分７２における角速度の時系列データを示す図である。 Next, FIGS. 6, 7A to 7C, and 8A to 8C will be described. FIG. 6 is a diagram for explaining the directions of displacement of the body sensor 11 and the limb sensor 12. In addition, in FIG. 6, three orthogonal directions of X, Y, and Z are illustrated. 7A, 7B, and 7C show the axial center portion (body portion sensor mounting portion) 71 of the body portion 51 and the tip portion (limb portion) of the arm portion 52 corresponding to the respective motion patterns for different translational movements. It is a figure which shows the time series data of the acceleration in (sensor mounting part) 72. Further, FIGS. 8A, 8B, and 8C are diagrams showing time-series data of angular velocities at the axial center portion 71 of the body portion 51 and the tip portion 72 of the arm portion 52 corresponding to the respective motion patterns for different rotational movements. Is.

図７Ａの動作のパターンは、例えばＸ−Ｙ平面上で腕部５２のみを動作させる並進運動であるため、胴体部センサ１１ではＸ軸、Ｙ軸、Ｚ軸とも加速度が変化せず、一方、肢部センサ１２ではＸ軸、Ｙ軸の成分のみ加速度の変化が検知される。また、図７Ｂの動作のパターンは、腕部５２が胴体部５１と一体となって動作する並進運動であるため、胴体部センサ１１及び肢部センサ１２の双方において加速度の変化を検知され、検知された加速度の成分の軸及び加速度の大きさは等しくなる。さらに、図７Ｃの動作のパターンは、胴体部５１と腕部５２とが共に動作する並進運動であるため、肢部センサ１２で検出される加速度の値が、胴体部センサ１１で検出される加速度の値よりも大きな値となっている。 The movement pattern of FIG. 7A is, for example, a translational movement in which only the arm portion 52 is moved on the XY plane, so that the body portion sensor 11 does not change the acceleration on the X axis, the Y axis, and the Z axis, while The limb sensor 12 detects a change in acceleration only in the X-axis and Y-axis components. In the operation pattern of FIG. 7B, since the arm portion 52 is a translational movement in which the arm portion 52 operates integrally with the body portion 51, a change in acceleration is detected by both the body portion sensor 11 and the limb sensor 12, and is detected. The axis of the acceleration component and the magnitude of the acceleration are equal. Further, since the motion pattern of FIG. 7C is a translational motion in which the body part 51 and the arm part 52 move together, the value of the acceleration detected by the limb sensor 12 is the acceleration detected by the body part sensor 11. It is larger than the value of.

また、図８Ａの動作のパターンは、腕部５２のみを動作させる回転運動であるため、胴体部センサ１１では角速度が変化せず、一方、肢部センサ１２では角速度の変化が検知される。また、図８Ｂの動作のパターンは、腕部５２が胴体部５１と一体となって動作する回転運動であるため、胴体部センサ１１及び肢部センサ１２の双方において角速度の変化が検知され、角速度の大きさは等しくなる。さらに、図８Ｃの動作のパターンは、胴体部５１と腕部５２とが共に動作する回転運動であるため、肢部センサ１２で検出される角速度の値が、胴体部センサ１１で検出される角速度の値よりも大きな値となっている。 In addition, since the operation pattern of FIG. 8A is a rotational motion in which only the arm 52 is operated, the body part sensor 11 does not change the angular velocity, while the limb sensor 12 detects the change in the angular velocity. In the operation pattern of FIG. 8B, since the arm 52 moves integrally with the body 51, a change in angular velocity is detected by both the body sensor 11 and the limb sensor 12, and the angular velocity is detected. Are equal in size. Further, since the motion pattern of FIG. 8C is a rotational motion in which the body portion 51 and the arm portion 52 both move, the angular velocity value detected by the limb sensor 12 is the angular velocity detected by the body portion sensor 11. It is larger than the value of.

ここで、図１に示すように、動作判定部１７は、動作パターン記憶部１７ａ及び動作パターン選出部１７ｂを備えている。動作パターン記憶部１７ａは、検出対象物５０についての動作の判別の指標となる複数の動作のパターン（すなわち、図４Ａ〜図４Ｃ、図５Ａ〜図５Ｃ、図７Ａ〜図７Ｃ、図８Ａ〜図８Ｃなどを用いて例示した複数の動作のパターン）を、例えば数値化（特徴量化）して予め記憶している。 Here, as shown in FIG. 1, the motion determination unit 17 includes a motion pattern storage unit 17a and a motion pattern selection unit 17b. The motion pattern storage unit 17a includes a plurality of motion patterns serving as an index for determining the motion of the detection target object 50 (that is, FIGS. 4A to 4C, 5A to 5C, 7A to 7C, and 8A to FIG. A plurality of operation patterns illustrated by using 8C and the like are stored in advance, for example, by being digitized (characterized).

一方、動作パターン選出部１７ｂは、動作パターン記憶部１７ａに予め記憶された複数の動作のパターンの中から、第１及び第２の抽出部１５、１６による抽出結果に対応した動作のパターンを選出（特定）する。具体的には、動作パターン選出部１７ｂは、検出対象物５０の胴体部５１の軸心部分（胴体部センサ装着部分）７１及び腕部５２の先端部分（肢部センサ装着部分）７２において、前記抽出された互いに共通する並進運動及び回転運動と各々独立した並進運動及び回転運動とに対応する動作のパターンを生成する。 On the other hand, the motion pattern selection unit 17b selects a motion pattern corresponding to the extraction result by the first and second extraction units 15 and 16 from the plurality of motion patterns stored in advance in the motion pattern storage unit 17a. (Identify. Specifically, the operation pattern selection unit 17b is configured to operate at the axial center portion (body portion sensor mounting portion) 71 of the body portion 51 of the detection target 50 and the tip portion (limb sensor mounting portion) 72 of the arm portion 52 as described above. A pattern of motion corresponding to the extracted translational motion and rotational motion that are common to each other and independent translational motion and rotational motion that are independent of each other is generated.

さらに、動作パターン選出部１７ｂは、この生成された動作のパターンを、予め記憶された複数の動作のパターンと照合し、照合の結果、適合した動作のパターンを選出（特定）する。つまり、このような動作パターン記憶部１７ａ及び動作パターン選出部１７ｂを有する動作判定部１７は、第１及び第２の抽出部１５、１６により抽出された互いに共通する並進運動及び回転運動と各々独立した並進運動及び回転運動とに基づいて、検出対象物５０の動作のパターンを判定する。 Further, the motion pattern selection unit 17b compares the generated motion pattern with a plurality of pre-stored motion patterns, and selects (specifies) a suitable motion pattern as a result of the matching. That is, the motion determination unit 17 having the motion pattern storage unit 17a and the motion pattern selection unit 17b as described above is independent of the common translational motion and rotational motion extracted by the first and second extraction units 15 and 16, respectively. The motion pattern of the detection target object 50 is determined based on the translational motion and the rotational motion.

次に、本実施形態の動作判別装置１０による動作判別方法を、図９に示すフローチャートに基づき説明する。なお、図９では、開始から終了までワンススルーの形式で図示しているが、胴体部センサ１１及び肢部センサ１２では、一定周期ごとに運動を検出し、その都度、図９中のＳ１〜Ｓ５の処理が実行される。 Next, the operation determination method by the operation determination device 10 of the present embodiment will be described based on the flowchart shown in FIG. Although FIG. 9 shows a once-through form from the start to the end, the body sensor 11 and the limb sensor 12 detect motion at regular intervals, and S1 to S1 in FIG. The process of S5 is executed.

図９に示すように、胴体部センサ１１は、検出対象物５０の胴体部５１の軸心部分（胴体部センサ装着部分）７１における並進運動及び回転運動を検出する（Ｓ１）。一方、肢部センサ１２は、検出対象物５０の腕部５２の先端部分（肢部センサ装着部分）７２における並進運動及び回転運動を検出する（Ｓ２）。 As shown in FIG. 9, the body part sensor 11 detects translational motion and rotational motion in the axial center part (body part sensor mounting part) 71 of the body part 51 of the detection object 50 (S1). On the other hand, the limb sensor 12 detects the translational movement and the rotational movement in the tip portion (limb sensor mounting portion) 72 of the arm 52 of the detection target object 50 (S2).

次に、第１の抽出部１５は、胴体部センサ１１によって検出された胴体部５１の軸心部分７１における並進運動と肢部センサ１２によって検出された腕部５２の先端部分７２における並進運動とを比較することによって、互いに共通する並進運動と各々独立した並進運動とを抽出する（Ｓ３）。 Next, the first extracting unit 15 performs the translational movement in the axial center portion 71 of the body portion 51 detected by the body portion sensor 11 and the translational movement in the tip portion 72 of the arm portion 52 detected by the limb sensor 12. The translational motions that are common to each other and the translational motions that are independent of each other are extracted by comparing (S3).

一方、第２の抽出部１６は、胴体部センサ１１によって検出された胴体部５１の軸心部分７１における並進運動と肢部センサ１２によって検出された腕部５２の先端部分７２における並進運動とを比較することによって、互いに共通する並進運動と各々独立した並進運動とを抽出する（Ｓ４）。さらに、動作判定部１７は、第１及び第２の抽出部１５、１６により抽出された互いに共通する並進運動及び回転運動と各々独立した並進運動及び回転運動とに基づいて、検出対象物５０の動作のパターンを判定する（Ｓ５）。 On the other hand, the second extraction unit 16 performs the translational movement in the axial center portion 71 of the body portion 51 detected by the body portion sensor 11 and the translational movement in the tip portion 72 of the arm portion 52 detected by the limb sensor 12. By comparing, translational motions common to each other and translational motions independent of each other are extracted (S4). Further, the motion determination unit 17 of the detection target object 50 is based on the translational motion and the rotational motion that are common to each other and the independent translational motion and the rotational motion that are extracted by the first and second extraction units 15 and 16, respectively. The operation pattern is determined (S5).

既述したように、本実施形態の動作判別装置１０によれば、検出対象物５０の胴体部５１及び腕部５２に装着した少なくとも２つのセンサを用いて、検出対象物５０の動作のパターンを効率的に判別することができる。これにより、多数のセンサを着脱する手間や作業者などが多数のセンサを装着した状態で作業する際の煩雑さを軽減できる。 As described above, according to the motion determining apparatus 10 of the present embodiment, the motion pattern of the detection target object 50 is determined using at least two sensors mounted on the body part 51 and the arm part 52 of the detection target object 50. It can be efficiently determined. As a result, it is possible to reduce the time and effort for attaching and detaching a large number of sensors and the complexity of a worker when working with a large number of sensors attached.

＜第２の実施の形態＞
次に、第２の実施形態を図１０〜図１６に基づき説明する。なお、図１０〜図１３において、図１、図３に示した第１の実施形態中の構成要素と同一の構成要素については、同一の符号を付与し重複する説明を省略する。 <Second Embodiment>
Next, a second embodiment will be described based on FIGS. 10 to 13, the same components as those in the first embodiment shown in FIGS. 1 and 3 are designated by the same reference numerals, and a duplicate description will be omitted.

図１０に示すように、第２の実施形態の動作判別装置２０は、キャリブレーション（校正）機能を有するものであって、第１の実施形態の動作判別装置１０の構成に加え、関節位置算出部２１及び軸心位置算出部２２をさらに備えている。図１１〜図１３に示すように、関節位置算出部２１は、関節部（肩関節部５３又は肘関節部５４）を回転中心として腕部（肢部）５２の先端部分（肢部センサ装着部分）７２が円弧状の移動軌跡（移動軌跡２３又は移動軌跡２５）をなすように腕部（肢部）５２を変位させた場合の肢部センサ１２による検出結果に基づいて、腕部５２の先端部分７２の位置に対する相対的な関節部（肩関節部５３又は肘関節部５４）の位置を算出する。 As shown in FIG. 10, the motion determining apparatus 20 of the second embodiment has a calibration function, and in addition to the configuration of the motion determining apparatus 10 of the first embodiment, joint position calculation The unit 21 and the axial center position calculation unit 22 are further provided. As shown in FIGS. 11 to 13, the joint position calculation unit 21 uses the joint portion (shoulder joint portion 53 or elbow joint portion 54) as the center of rotation for the tip portion of the arm portion (limb portion) 52 (limb sensor mounting portion). ) Based on the detection result by the limb sensor 12 when the arm (limb) 52 is displaced so that 72 forms an arc-shaped movement locus (movement locus 23 or movement locus 25), the tip of the arm 52 is The position of the joint (shoulder joint 53 or elbow joint 54) relative to the position of the portion 72 is calculated.

言い換えると、関節位置算出部２１は、作業者や作業ロボットなどの検出対象物５０が第１のキャリブレーション動作を実行した際（腕部５２の先端部分７２が円弧状の移動軌跡をなすように腕部５２を変位させた際）に、肢部センサ１２によって検出された腕部５２の先端部分７２における実際の移動軌跡に基づいて、腕部５２の先端部分（肢部センサ装着部分）７２と肩関節部５３との離間距離、及び、腕部５２の先端部分７２と肘関節部５４との離間距離、を推測（算出）する。 In other words, the joint position calculation unit 21 performs the first calibration operation of the detection target object 50 such as the worker or the work robot (so that the distal end portion 72 of the arm 52 makes an arc-shaped movement locus. When the arm portion 52 is displaced), based on the actual movement trajectory of the tip portion 72 of the arm portion 52 detected by the limb sensor 12, the tip portion of the arm portion 52 (limb sensor mounting portion) 72 and The distance between the shoulder joint 53 and the distance between the tip portion 72 of the arm 52 and the elbow joint 54 is estimated (calculated).

ここで、関節位置算出部２１の機能を図１１〜図１３に基づきさらに詳述する。図１２、図１３は、肩関節部５３又は肘関節部５４を回転中心として腕部５２を旋回させる第１のキャリブレーション動作をそれぞれ示している。図１２に示すように、肩関節部５３を回転中心とした第１のキャリブレーション動作は、作業者や作業ロボットなどの検出対象物５０が起立した状態で、伸展させた腕部５２を、肩関節部５３を回転中心として矢印Ｖ１（又はＶ２）方向に旋回させる。つまり、この動作は、回転中心となる肩関節部５３から腕部５２の先端部分（肢部センサ装着部分）７２までの距離を回転半径とし、さらに先端部分７２が円弧状の移動軌跡２３を描く円運動となる。 Here, the function of the joint position calculation unit 21 will be described in more detail with reference to FIGS. 11 to 13. 12 and 13 show the first calibration operation of turning the arm 52 around the shoulder joint 53 or the elbow joint 54 as the center of rotation, respectively. As shown in FIG. 12, in the first calibration operation with the shoulder joint 53 as the center of rotation, when the detection target 50 such as a worker or a work robot stands up, The joint 53 is rotated about the rotation center in the direction of arrow V1 (or V2). That is, in this operation, the distance from the shoulder joint 53, which is the center of rotation, to the tip portion (limb sensor mounting portion) 72 of the arm portion 52 is set as the radius of rotation, and the tip portion 72 further draws the arc-shaped movement trajectory 23. It becomes a circular movement.

一方、図１３に示すように、肘関節部５４を回転中心とした第１のキャリブレーション動作は、検出対象物５０が起立した状態で、肘関節部５４を回転中心として腕部５２を矢印Ｖ１（又はＶ２）方向に旋回させる。つまり、この動作は、回転中心となる肘関節部５４から腕部５２の先端部分（肢部センサ装着部分）７２までの距離を回転半径とし、さらに先端部分７２が円弧状の移動軌跡２５を描く円運動となる。 On the other hand, as shown in FIG. 13, in the first calibration operation with the elbow joint 54 as the center of rotation, the arm 52 with the elbow joint 54 as the center of rotation and the arrow V1 in the state where the detection object 50 is standing upright. It is turned in the (or V2) direction. That is, in this operation, the radius of rotation is the distance from the elbow joint 54, which is the center of rotation, to the tip portion (limb sensor mounting portion) 72 of the arm portion 52, and the tip portion 72 draws an arc-shaped movement trajectory 25. It becomes a circular movement.

このような第１のキャリブレーション動作の際に、関節位置算出部２１は、まず、肢部センサ１２による検出結果から、腕部５２における先端部分（肢部センサ装着部分）７２の３次元座標位置（直交３軸方向の座標位置）の時系列情報（円弧状の移動軌跡２３、２５）を得る。また、関節位置算出部２１は、円弧状の移動軌跡２３、２５上の複数箇所からそれぞれ法線方向に延びる複数のベクトルを求め、さらに、図１２、図１３に示すように、これらのベクトルどうしが交わる交点２４、２６をそれぞれ算出（検出）する。 In such a first calibration operation, the joint position calculation unit 21 first determines the three-dimensional coordinate position of the distal end portion (limb sensor mounting portion) 72 of the arm portion 52 based on the detection result of the limb sensor 12. Time series information (arc-shaped movement loci 23, 25) of (coordinate positions in the directions of the three orthogonal axes) is obtained. Further, the joint position calculation unit 21 obtains a plurality of vectors extending in the normal direction from a plurality of locations on the arcuate movement trajectories 23 and 25, respectively, and further, as shown in FIG. 12 and FIG. The intersections 24 and 26 at which are intersected are calculated (detected).

さらに、関節位置算出部２１は、算出された交点２４、２６をそれぞれ肩関節部５３及び肘関節部５４の位置として認識（設定）する。また、関節位置算出部２１は、図１２、図１３に示すように、上述した回転半径を、腕部５２の先端部分（肢部センサ装着部分）７２と肩関節部５３との離間距離、及び、腕部５２の先端部分７２と肘関節部５４との離間距離、として認識する。これにより、関節位置算出部２１は、図１２、図１３に示すように、肩関節部５３及び肘関節部５４と、腕部５２の先端部分７２と、の相対的な位置関係を取得する。 Further, the joint position calculation unit 21 recognizes (sets) the calculated intersections 24 and 26 as the positions of the shoulder joint portion 53 and the elbow joint portion 54, respectively. Further, as shown in FIGS. 12 and 13, the joint position calculation unit 21 calculates the above-described radius of gyration by the distance between the distal end portion (limb sensor mounting portion) 72 of the arm portion 52 and the shoulder joint portion 53, and , The separation distance between the tip portion 72 of the arm portion 52 and the elbow joint portion 54. As a result, the joint position calculation unit 21 acquires the relative positional relationship between the shoulder joint unit 53 and the elbow joint unit 54 and the distal end portion 72 of the arm unit 52, as shown in FIGS. 12 and 13.

一方、図１０、図１１、図１４に示すように、軸心位置算出部２２は、胴体部５１を回転中心として腕部５２の先端部分（肢部センサ装着部分）７２が水平面上に円弧状の移動軌跡２７をなすように胴体部５１及び腕部（肢部）５２を共に変位させた場合の胴体部センサ１１及び肢部センサ１２による検出結果に基づいて、腕部５２の先端部分７２及び胴体部５１の軸心部分（胴体部センサ装着部分）７１のそれぞれの位置に対する相対的な胴体部５１の前記回転中心となった軸心位置２８を算出する。 On the other hand, as shown in FIGS. 10, 11, and 14, in the shaft center position calculating unit 22, the distal end portion (limb sensor mounting portion) 72 of the arm portion 52 is arcuate on a horizontal plane with the body portion 51 as the center of rotation. Based on the detection results by the body part sensor 11 and the limb sensor 12 when the body part 51 and the arm part (limb part) 52 are both displaced so as to form the movement locus 27 of The axial center position 28 that is the rotation center of the body portion 51 relative to the respective positions of the shaft center portion (body portion sensor mounting portion) 71 of the body portion 51 is calculated.

言い換えると、軸心位置算出部２２は、作業者や作業ロボットなどの検出対象物５０が第２のキャリブレーション動作を実行した際（水平面上に円弧状の移動軌跡２７をなすように胴体部５１及び腕部５２を共に変位させた際）に、胴体部センサ１１及び肢部センサ１２によって検出された腕部５２の先端部分（肢部センサ装着部分）７２と胴体部５１の軸心部分（胴体部センサ装着部分）７１との実際の各々の移動軌跡に基づいて、胴体部５１の前記回転中心となった軸心位置２８（作業者の体幹軸などの位置）と、腕部５２の先端部分７２と、の離間距離を算出する。また、これにより、軸心位置算出部２２は、関節位置算出部２１で算出された肩関節部５３の位置と実際の胴体部センサ装着部分（７１）との間の水平方向の離間距離を得る。 In other words, the shaft center position calculation unit 22 performs the second calibration operation of the detection target object 50 such as the worker or the work robot (the body portion 51 so as to form the arc-shaped movement locus 27 on the horizontal plane). And the arm portion 52 are both displaced), the tip portion (limb sensor mounting portion) 72 of the arm portion 52 and the axial center portion of the body portion 51 (body) detected by the body sensor 11 and the limb sensor 12 Based on the actual movement loci of the body sensor mounting portion) 71 and the axial center position 28 (position of the worker's trunk axis or the like) that is the center of rotation of the body portion 51, and the tip of the arm portion 52. The distance between the portion 72 and the portion 72 is calculated. Further, as a result, the axial position calculating unit 22 obtains the horizontal separation distance between the position of the shoulder joint 53 calculated by the joint position calculating unit 21 and the actual body part sensor mounting portion (71). ..

さらに、軸心位置算出部２２の機能を図１０、図１１、図１４〜図１６に基づき詳述する。第２のキャリブレーション動作は、図１０に示すように、検出対象物５０が腕部５２を水平に広げ、上半身部分を水平面上で矢印Ｈ１（又はＨ２）方向にひねる（旋回させる）動作である。つまり、この動作は、図１４に示すように、胴体部５１の体幹軸を回転中心として、肢部センサ１２の移動軌跡２７が水平面上で円弧を描く動作である。 Further, the function of the shaft center position calculation unit 22 will be described in detail with reference to FIGS. 10, 11, and 14 to 16. As shown in FIG. 10, the second calibration operation is an operation in which the detection object 50 spreads the arms 52 horizontally and twists (turns) the upper half of the body in the direction of arrow H1 (or H2) on the horizontal plane. .. That is, as shown in FIG. 14, this operation is an operation in which the movement locus 27 of the limb sensor 12 draws an arc on the horizontal plane with the trunk axis of the body 51 as the center of rotation.

ここで、図１４は、胴体部センサ１１が実際に装着されている胴体部５１の軸心部分７１と第２のキャリブレーション動作の回転中心となった胴体部５１の軸心位置２８とが一致している例を平面方向からみた図である。この場合、胴体部センサ１１で検出される運動は、前記回転中心を軸とする軸周りの回転運動のみである。さらに、胴体部センサ１１で検出されるこの回転運動の角速度は、肢部センサ１２で検出される回転運動の角速度と一致する。 Here, FIG. 14 shows that the axial center portion 71 of the body portion 51 on which the body portion sensor 11 is actually mounted and the axial center position 28 of the body portion 51 that is the rotation center of the second calibration operation are the same. It is the figure which looked at the done example from the plane direction. In this case, the motion detected by the body sensor 11 is only a rotational motion about the axis about the rotation center. Furthermore, the angular velocity of this rotational movement detected by the body sensor 11 matches the angular velocity of the rotational movement detected by the limb sensor 12.

図１５は、第２のキャリブレーション動作の回転中心（胴体部５１の軸心位置２８）を挟む位置に胴体部センサ１１と肢部センサ１２とが装着された例を示している。この場合、第２のキャリブレーション動作に伴い、胴体部センサ１１では並進運動も検出される。また、第２のキャリブレーション動作時の胴体部センサ装着部分と肢部センサ装着部分とは、回転中心を挟んで対向する位置関係となる。一方、図１６は、第２のキャリブレーション動作の回転中心（胴体部５１の軸心位置２８）と肢部センサ１２とで胴体部センサ１１を挟む位置に各センサが装着された例を示している。この場合も、第２のキャリブレーション動作に伴い、胴体部センサ１１では並進運動も検出される。また、第２のキャリブレーション動作時では、胴体部センサ装着部分を挟んで回転中心と肢部センサ装着部分とは、対向する位置関係となる。 FIG. 15 shows an example in which the body part sensor 11 and the limb part sensor 12 are mounted at positions sandwiching the rotation center of the second calibration operation (the axial center position 28 of the body part 51). In this case, with the second calibration operation, the body part sensor 11 also detects translational motion. In addition, the body sensor mounting portion and the limb sensor mounting portion during the second calibration operation have a positional relationship in which they face each other with the center of rotation therebetween. On the other hand, FIG. 16 shows an example in which each sensor is mounted at a position where the body sensor 11 is sandwiched between the rotation center (axial center position 28 of the body 51) of the second calibration operation and the limb sensor 12. There is. Also in this case, the translational motion is also detected by the body part sensor 11 along with the second calibration operation. Further, during the second calibration operation, the rotation center and the limb sensor mounting portion are in a positional relationship of facing each other with the body sensor mounting portion sandwiched therebetween.

つまり、軸心位置算出部２２は、このような第２のキャリブレーション動作時の胴体部センサ１１及び肢部センサ１２による検出結果に基づいて、関節位置算出部２１で算出された肩関節部５３の位置と実際の胴体部センサ装着部分（胴体部５１の軸心部分７１）との間の水平方向の離間距離（肩幅の半分の寸法値）を得ることが可能となる。 That is, the shaft center position calculation unit 22 calculates the shoulder joint unit 53 calculated by the joint position calculation unit 21 based on the detection results of the body sensor 11 and the limb sensor 12 during the second calibration operation. It is possible to obtain the horizontal distance (half the shoulder width dimension value) between the position and the actual body sensor mounting portion (the axial center portion 71 of the body portion 51).

ここで、本実施形態の動作判別装置２０に対する比較例となる前記特許文献１の技術について概略的に説明する。特許文献１の技術は、いくつかのセンサを用いて人体の上半身の動作を検出するものであり、３次元磁気センサを背中の中心や頭部、両手首に装着し、個々のセンサ装着部分の相対位置の変化に基づき頭部や腕部の動作を推測する。これにより、特許文献１の技術は、肘や両肩にセンサを装着しなくても上半身の動作を実質的に検出できるため、必要となるセンサの数を削減することが可能である。 Here, the technique of Patent Document 1 as a comparative example with respect to the operation determination device 20 of the present embodiment will be schematically described. The technique of Patent Document 1 detects the movement of the upper body of a human body by using several sensors. A three-dimensional magnetic sensor is attached to the center of the back, the head, and both wrists, and Estimate the movement of the head or arm based on the change in relative position. With this, the technique of Patent Document 1 can substantially detect the motion of the upper body without mounting the sensors on the elbows or both shoulders, and thus it is possible to reduce the number of required sensors.

具体的には、特許文献１の技術は、まず、各関節の角度を変化させて身体におけるセンサ装着部分を変位させた後に、各関節の座標位置を算出し、さらに身体におけるセンサ装着部分の位置と実測された所定の座標位置との距離を測定している。次に、その測定結果に基づいて、実測位置に対し各関節の座標位置が接近したか否かを評価することで最終的な関節屈曲角度を決定する演算を行っている。この演算では、関節角度の推定結果を評価する際に身体の寸法が必要となる。そこで、特許文献１の技術では、頭部に装着されているセンサで検出した高さに基づいて身長を推測し、寸法情報を得ている。 Specifically, in the technique of Patent Document 1, first, after changing the angle of each joint to displace the sensor mounting portion in the body, the coordinate position of each joint is calculated, and the position of the sensor mounting portion in the body is further calculated. And the distance from the actually measured predetermined coordinate position is measured. Next, based on the measurement result, a calculation for determining the final joint flexion angle is performed by evaluating whether or not the coordinate position of each joint approaches the actual measurement position. This calculation requires the body size when evaluating the joint angle estimation result. Therefore, in the technique of Patent Document 1, the height is estimated based on the height detected by the sensor attached to the head to obtain the dimensional information.

しかしながら、特許文献１の技術は、体型の個人差やセンサ取り付けの位置ずれなどの影響によって、肩、肘の位置やそれらの離間距離などが実際の値とはかけ離れている可能性がある。また、上述した身体の寸法をある程度、正しく推測できたとしても、手首に装着したセンサにおける取り付けの位置ずれなどが要因となって、関節角度の推測結果にも誤差が生じることになる。特許文献１の技術は、これらの誤差が累積して行く結果となるため、身体の動作の検出精度の低下が懸念される。 However, in the technique of Patent Document 1, there is a possibility that the positions of the shoulders and elbows, the distances between them, and the like may be far from actual values due to individual differences in body type, displacement of sensor attachment, and the like. Further, even if the above-mentioned body size can be correctly estimated to some extent, an error occurs in the estimation result of the joint angle due to the displacement of the attachment position of the sensor attached to the wrist. Since the technique of Patent Document 1 results in the accumulation of these errors, there is a concern that the detection accuracy of body movements may decrease.

これに対して、関節位置算出部２１及び軸心位置算出部２２を有する本実施形態の動作判別装置２０では、上述した第１又は第２のキャリブレーション動作を実行している状態で、胴体部センサ１１及び肢部センサ１２による検出結果に基づいて、図１２、図１３に示すように、肢部センサ１２が装着されている腕部５２の先端部分７２と肩関節部５３及び肘関節部５４との離間距離や、肩関節部５３の位置と胴体部５１の軸心位置２８（実際の胴体部センサ装着部分の位置）７１との水平方向の離間距離（言い換えれば、図１５、図１６に示した胴体部センサ５１の取り付けの位置ずれ）、などを得ることができる。したがって、本実施形態の動作判別装置２０によれば、作業者や作業ロボットなどの検出対象物５０の各部の寸法を別途測定する労力などを削減でき、また、センサ取り付けの位置ずれなどを当該動作判別装置２０本体が実質的に認識できるため、検出対象物５０における動作のパターンの判定精度を高めることが可能となる。 On the other hand, in the motion discriminating apparatus 20 of the present embodiment including the joint position calculating unit 21 and the axial center position calculating unit 22, the body portion is in a state where the above-described first or second calibration operation is executed. As shown in FIGS. 12 and 13, based on the detection results of the sensor 11 and the limb sensor 12, the tip portion 72 of the arm 52, the shoulder joint 53, and the elbow joint 54 on which the limb sensor 12 is mounted. And a horizontal separation distance between the position of the shoulder joint portion 53 and the axial position 28 (actual position of the body portion sensor mounting portion) 71 of the body portion 51 (in other words, in FIGS. 15 and 16). It is possible to obtain (the positional displacement of the attachment of the body part sensor 51 shown), and the like. Therefore, according to the motion determining apparatus 20 of the present embodiment, it is possible to reduce the labor of separately measuring the dimensions of each part of the detection target object 50 such as the worker and the work robot, and to detect the position displacement of the sensor attachment or the like. Since the main body of the discriminating device 20 can be substantially recognized, it is possible to improve the precision of discriminating the motion pattern of the detection target object 50.

＜第３の実施の形態＞
次に、第３の実施形態を図１７に基づき説明する。なお、図１７中において、図１０に示した第２の実施形態中の構成要素と同一の構成要素については、同一の符号を付与し重複する説明を省略する。 <Third Embodiment>
Next, a third embodiment will be described based on FIG. Note that in FIG. 17, the same components as those in the second embodiment shown in FIG. 10 are assigned the same reference numerals and overlapping description will be omitted.

図１７に示すように、第３の実施形態の動作判別装置３０は、第２の実施形態の動作判別装置２０の構成に加え、関節位置運動検出部３１及び相対運動検出部３２をさらに備えている。関節位置運動検出部３１は、胴体部センサ１１による検出結果と関節位置算出部２１による算出結果（肩関節部５３の位置と実際の胴体部センサ装着部分の位置と離間距離など）とに基づいて、関節部（肩関節部５３及び肘関節部５４）における並進運動及び回転運動を検出する。一方、相対運動検出部３２は、上記した関節位置運動検出部３１による検出結果と肢部センサ１２による検出結果とに基づいて、関節部（肩関節部５３及び肘関節部５４）の位置に対する相対的な腕部５２の先端部分（肢部センサ装着部分）７２の並進運動及び回転運動を検出する。 As shown in FIG. 17, the motion determining device 30 of the third embodiment further includes a joint position motion detecting unit 31 and a relative motion detecting unit 32 in addition to the configuration of the motion determining device 20 of the second embodiment. There is. The joint position movement detection unit 31 is based on the detection result by the body portion sensor 11 and the calculation result by the joint position calculation unit 21 (the position of the shoulder joint portion 53, the actual position of the body portion sensor mounting portion, the separation distance, etc.). , Translational motions and rotational motions in the joints (shoulder joint 53 and elbow joint 54) are detected. On the other hand, the relative motion detection unit 32 performs relative movement with respect to the positions of the joints (shoulder joint 53 and elbow joint 54) based on the detection result by the joint position motion detection unit 31 and the detection result by the limb sensor 12. The translational movement and the rotational movement of the distal end portion (limb sensor mounting portion) 72 of the conventional arm portion 52 are detected.

ここで、関節位置運動検出部３１によって検出される例えば肩関節部５３の並進運動は、下記の式５によって表現できる。 Here, for example, the translational motion of the shoulder joint 53 detected by the joint position motion detector 31 can be expressed by the following Expression 5.

Figure 0006707327
Figure 0006707327

次に、肢部センサ１２によって検出される腕部５２の先端部分（肢部センサ装着部分）７２の並進運動を下記の式６とすると、肩関節部５３に対する肢部センサ装着部分の相対位置の変化（Ｘ，Ｙ，Ｚ）は、次の式７で表される。 Next, when the translational motion of the distal end portion (limb sensor mounting portion) 72 of the arm portion 52 detected by the limb sensor 12 is represented by the following Expression 6, the relative position of the limb sensor mounting portion with respect to the shoulder joint portion 53 is calculated. The change (X, Y, Z) is represented by the following Expression 7.

Figure 0006707327
Figure 0006707327
Figure 0006707327
Figure 0006707327

上述したように、本実施形態の動作判別装置３０では、例えば肩関節部５３に対する肢部センサ装着部分の相対的な並進運動及び回転運動を検出する。したがって、動作判別装置３０では、作業者や作業ロボットなどの検出対象物５０における胴体部５１の運動と腕部５２の運動とを実質的に分離して検出することが可能となる。これにより、検出対象物５０についての動作のパターンの判定精度をより向上させることができる。 As described above, the motion determining apparatus 30 of the present embodiment detects the relative translational motion and rotational motion of the limb sensor mounting portion with respect to the shoulder joint 53, for example. Therefore, the motion determining apparatus 30 can detect the movement of the body portion 51 and the movement of the arm portion 52 in the detection target 50 such as a worker or a work robot substantially separately. This makes it possible to further improve the accuracy of determining the motion pattern of the detection target 50.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modified examples are included in the scope and the gist of the invention, and are also included in the invention described in the claims and the equivalent scope thereof.

１０，２０，３０…動作判別装置、１１…胴体部センサ、１１ａ，１２ａ…加速度検出部、１１ｂ，１２ｂ…角速度検出部、１２…肢部センサ、１５…第１の抽出部、１５ａ…共通並進運動抽出部、１５ｂ…独立並進運動抽出部、１５ｃ…並進方向比較部、１５ｄ…並進量比較部、１６…第２の抽出部、１６ａ…共通回転運動抽出部、１６ｂ…独立回転運動抽出部、１６ｃ…回転運動方向比較部、１６ｄ…回転量比較部、１７…動作判定部、１７ａ…動作パターン記憶部、１７ｂ…動作パターン選出部、２１…関節位置算出部、２２…軸心位置算出部、２３，２５，２７…円弧状の移動軌跡、２４，２６…交点、２８…軸心位置（回転中心）、３１…関節位置運動検出部、３２…相対運動検出部、５０…検出対象物、５１…胴体部（胴部）、５２…腕部（肢部）、５３…関節部（肩関節部）、５４…関節部（肘関節部）、７１…胴体部の軸心部分、７２…腕部の先端部分。 10, 20, 30... Motion discrimination device, 11... Body part sensor, 11a, 12a... Acceleration detection part, 11b, 12b... Angular velocity detection part, 12... Limb part sensor, 15... First extraction part, 15a... Common translation Motion extraction unit, 15b... Independent translational motion extraction unit, 15c... Translation direction comparison unit, 15d... Translation amount comparison unit, 16... Second extraction unit, 16a... Common rotary motion extraction unit, 16b... Independent rotary motion extraction unit, 16c...Rotary movement direction comparison unit, 16d...Rotation amount comparison unit, 17...Motion determination unit, 17a...Motion pattern storage unit, 17b...Motion pattern selection unit, 21...Joint position calculation unit, 22...Axis center position calculation unit, 23, 25, 27... Arc-shaped movement locus, 24, 26... Intersection point, 28... Shaft center position (rotation center), 31... Joint position motion detection unit, 32... Relative motion detection unit, 50... Detection target object, 51 ... body part (body part), 52... arm part (limb part), 53... joint part (shoulder joint part), 54... joint part (elbow joint part), 71... axial part of body part, 72... arm part Tip of the.

Claims (5)

胴部と前記胴部に関節部を介してつながる肢部とを含む検出対象物の前記胴部の軸心部分に装着され、前記軸心部分における並進運動及び回転運動を検出する第１のセンサと、
前記肢部の先端部分に装着され、前記先端部分における並進運動及び回転運動を検出する第２のセンサと、
前記検出された軸心部分における並進運動と前記先端部分における並進運動とを比較することによって、互いに共通する並進運動と各々独立した並進運動とを抽出する第１の抽出部と、
前記検出された軸心部分における回転運動と前記先端部分における回転運動とを比較することによって、互いに共通する回転運動と各々独立した回転運動とを抽出する第２の抽出部と、
前記検出対象物についての動作の判別の指標となる複数の動作のパターンを予め記憶する動作パターン記憶部と、前記予め記憶された複数の動作のパターンの中から、前記第１及び第２の抽出部による抽出結果に対応した動作のパターンを選出する動作パターン選出部と、を有し、前記第１及び第２の抽出部による抽出結果に基づいて、前記検出対象物の動作のパターンを判定する動作判定部と、を備え、
前記第１及び第２のセンサは、直交３軸方向における加速度を検出する加速度検出部と、直交３軸方向における角速度を検出する角速度検出部と、をそれぞれ備え、
前記第１の抽出部は、互いの前記加速度検出部でそれぞれ検出された直交３軸方向における加速度の向きを比較する並進方向比較部と、前記それぞれ検出された加速度の大きさを比較する並進量比較部と、を含み、
前記第２の抽出部は、互いの前記角速度検出部でそれぞれ検出された直交３軸方向における角速度の向きを比較する回転運動方向比較部と、前記それぞれ検出された角速度の大きさを比較する回転量比較部と、を含む、動作判別装置。 A first sensor that is attached to an axial center portion of the body of the detection target object including a torso portion and a limb portion connected to the torso portion through a joint portion, and detects translational movement and rotational movement in the axial center portion. When,
A second sensor attached to the distal end portion of the limb portion for detecting translational movement and rotational movement in the distal end portion;
A first extracting unit for extracting a translational motion common to each other and a translational motion independent of each other by comparing the translational motion in the detected axial center part and the translational motion in the tip part;
A second extraction unit that extracts a common rotational movement and an independent rotational movement by comparing the detected rotational movement in the axial center portion with the rotational movement in the tip portion;
An operation pattern storage unit that stores in advance a plurality of operation patterns that serve as an index for determining the operation of the detection target; and the first and second extractions from the plurality of prestored operation patterns. A motion pattern selection unit that selects a motion pattern corresponding to the extraction result of the detection unit, and determines a motion pattern of the detection target object based on the extraction results of the first and second extraction units. An operation determination unit,
The first and second sensors each include an acceleration detection unit that detects acceleration in the three orthogonal directions, and an angular velocity detection unit that detects angular velocity in the three orthogonal directions.
The first extraction unit is a translation direction comparison unit that compares the directions of accelerations in the three orthogonal directions detected by the acceleration detection units, and a translation amount that compares the magnitudes of the detected accelerations. Including a comparison unit,
The second extraction unit includes a rotational movement direction comparison unit that compares directions of angular velocities in the orthogonal three-axis directions detected by the angular velocity detection units, and a rotation that compares magnitudes of the detected angular velocities. An operation determination device including an amount comparison unit. 胴部と前記胴部に関節部を介してつながる肢部とを含む検出対象物の前記胴部の軸心部分に装着され、前記軸心部分における並進運動及び回転運動を検出する第１のセンサと、
前記肢部の先端部分に装着され、前記先端部分における並進運動及び回転運動を検出する第２のセンサと、
前記検出された軸心部分における並進運動と前記先端部分における並進運動とを比較することによって、互いに共通する並進運動と各々独立した並進運動とを抽出する第１の抽出部と、
前記検出された軸心部分における回転運動と前記先端部分における回転運動とを比較することによって、互いに共通する回転運動と各々独立した回転運動とを抽出する第２の抽出部と、
前記検出対象物についての動作の判別の指標となる複数の動作のパターンを予め記憶する動作パターン記憶部と、前記予め記憶された複数の動作のパターンの中から、前記第１及び第２の抽出部による抽出結果に対応した動作のパターンを選出する動作パターン選出部と、を有し、前記第１及び第２の抽出部による抽出結果に基づいて、前記検出対象物の動作のパターンを判定する動作判定部と、
前記関節部を回転中心として前記先端部分が円弧状の移動軌跡をなすように前記肢部を変位させた場合の前記第２のセンサによる検出結果に基づいて、前記先端部分の位置に対する相対的な前記関節部の位置を算出する関節位置算出部と、
前記胴部を回転中心として前記先端部分が水平面上に円弧状の移動軌跡をなすように前記胴部及び前記肢部を共に変位させた場合の前記第１及び第２のセンサによる検出結果に基づいて、前記先端部分及び前記軸心部分のそれぞれの位置に対する相対的な前記胴部の前記回転中心となった軸心位置を算出する軸心位置算出部と、
を備える動作判別装置。 A first sensor that is attached to an axial center portion of the body of the detection target object including a torso portion and a limb portion connected to the torso portion through a joint portion, and detects translational movement and rotational movement in the axial center portion. When,
A second sensor attached to the distal end portion of the limb portion for detecting translational movement and rotational movement in the distal end portion;
A first extracting unit for extracting a translational motion common to each other and a translational motion independent of each other by comparing the translational motion in the detected axial center part and the translational motion in the tip part;
A second extraction unit that extracts a common rotational movement and an independent rotational movement by comparing the detected rotational movement in the axial center portion with the rotational movement in the tip portion;
An operation pattern storage unit that stores in advance a plurality of operation patterns that serve as an index for determining the operation of the detection target; and the first and second extractions from the plurality of prestored operation patterns. A motion pattern selection unit that selects a motion pattern corresponding to the extraction result of the detection unit, and determines a motion pattern of the detection target object based on the extraction results of the first and second extraction units. A motion determination unit,
Based on the detection result by the second sensor when the limb is displaced such that the distal end portion forms an arcuate movement locus with the joint portion as the center of rotation, relative to the position of the distal end portion. A joint position calculation unit that calculates the position of the joint unit;
Based on the detection results of the first and second sensors when the body and the limb are both displaced so that the tip portion forms an arcuate movement locus on a horizontal plane with the body as the center of rotation. An axial center position calculation unit that calculates an axial center position that is the rotation center of the body relative to the respective positions of the tip portion and the axial center portion,
An operation determination device including. 前記関節部を回転中心として前記先端部分が円弧状の移動軌跡をなすように前記肢部を変位させた場合の前記第２のセンサによる検出結果に基づいて、前記先端部分の位置に対する相対的な前記関節部の位置を算出する関節位置算出部と、
前記胴部を回転中心として前記先端部分が水平面上に円弧状の移動軌跡をなすように前記胴部及び前記肢部を共に変位させた場合の前記第１及び第２のセンサによる検出結果に基づいて、前記先端部分及び前記軸心部分のそれぞれの位置に対する相対的な前記胴部の前記回転中心となった軸心位置を算出する軸心位置算出部と、
をさらに備える請求項１記載の動作判別装置。 Based on the detection result by the second sensor when the limb is displaced such that the distal end portion forms an arcuate movement locus with the joint portion as the center of rotation, relative to the position of the distal end portion. A joint position calculation unit that calculates the position of the joint unit;
Based on the detection results of the first and second sensors when the body and the limb are both displaced so that the tip portion forms an arcuate movement locus on a horizontal plane with the body as the center of rotation. An axial center position calculation unit that calculates an axial center position that is the rotation center of the body relative to the respective positions of the tip portion and the axial center portion,
The operation determination device according to claim 1, further comprising: 前記第１のセンサによる検出結果と前記関節位置算出部による算出結果とに基づいて、前記関節部における並進運動及び回転運動を検出する関節位置運動検出部と、
前記関節位置運動検出部による検出結果と前記第２のセンサによる検出結果とに基づいて、前記関節部の位置に対する相対的な前記先端部分の並進運動及び回転運動を検出する相対運動検出部と、
をさらに備える請求項２又は３に記載の動作判別装置。 A joint position motion detection unit that detects translational motion and rotational motion in the joint unit based on the detection result of the first sensor and the calculation result of the joint position calculation unit;
A relative motion detection unit that detects translational motion and rotational motion of the distal end portion relative to the position of the joint unit based on the detection result of the joint position motion detection unit and the detection result of the second sensor;
The operation determination device according to claim 2, further comprising: 胴部と前記胴部に関節部を介してつながる肢部とを含む検出対象物の前記胴部の軸心部分に装着された第１のセンサが、前記軸心部分の並進運動及び回転運動を検出するステップと、
前記肢部の先端部分に装着された第２のセンサが、前記先端部分の並進運動及び回転運動を検出するステップと、
前記検出された軸心部分の並進運動と前記先端部分の並進運動とを比較することによって、互いに共通する並進運動と各々独立した並進運動とを第１の抽出部が抽出するステップと、
前記検出された軸心部分の回転運動と前記先端部分の回転運動とを比較することによって、互いに共通する回転運動と各々独立した回転運動とを第２の抽出部が抽出するステップと、
動作パターン記憶部に予め記憶された前記検出対象物についての動作の判別の指標となる複数の動作のパターンの中から、前記抽出された互いに共通する並進運動及び回転運動と前記各々独立した並進運動及び回転運動とに対応する動作のパターンを選出し、前記検出対象物の動作のパターンを判定するステップと、を有し、
前記第１及び第２のセンサは、直交３軸方向における加速度を検出する加速度検出部と、直交３軸方向における角速度を検出する角速度検出部と、をそれぞれ備え、
前記第１の抽出部は、互いの前記加速度検出部でそれぞれ検出された直交３軸方向における加速度の向きを比較する並進方向比較部と、前記それぞれ検出された加速度の大きさを比較する並進量比較部と、を含み、
前記第２の抽出部は、互いの前記角速度検出部でそれぞれ検出された直交３軸方向における角速度の向きを比較する回転運動方向比較部と、前記それぞれ検出された角速度の大きさを比較する回転量比較部と、を含む、動作判別方法。 A first sensor attached to an axial center portion of the body of the detection target including a body portion and a limb portion connected to the body portion through a joint portion detects translational movement and rotational movement of the axial center portion. The step of detecting,
A second sensor attached to the tip of the limb detects translational and rotational movements of the tip;
Comparing the detected translational movement of the axial center portion and the translational movement of the tip portion by a first extraction unit to extract a translational movement common to each other and a translational movement independent of each other;
Comparing the detected rotational movement of the shaft center portion and the detected rotational movement of the tip portion by a second extraction unit to extract a rotational movement common to each other and a rotational movement independent of each other;
From the plurality of motion patterns that are stored in advance in the motion pattern storage unit and serve as an index for determining the motion of the detection target, the extracted translational motions and rotational motions that are common to each other and the translational motions that are independent of each other. And selecting a motion pattern corresponding to the rotational movement, and determining the motion pattern of the detection target,
The first and second sensors each include an acceleration detection unit that detects acceleration in the three orthogonal directions, and an angular velocity detection unit that detects angular velocity in the three orthogonal directions.
The first extraction unit is a translation direction comparison unit that compares the directions of accelerations in the orthogonal three-axis directions detected by the acceleration detection units, and a translation amount that compares the magnitudes of the detected accelerations. Including a comparison unit,
The second extraction unit includes a rotational movement direction comparison unit that compares the angular velocity directions in the orthogonal three-axis directions detected by the angular velocity detection units, and a rotation that compares the magnitudes of the detected angular velocities. A method for determining motion, including a quantity comparison unit.
JP2015163262A 2015-08-20 2015-08-20 Motion discriminating apparatus and motion discriminating method Active JP6707327B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015163262A JP6707327B2 (en) 2015-08-20 2015-08-20 Motion discriminating apparatus and motion discriminating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015163262A JP6707327B2 (en) 2015-08-20 2015-08-20 Motion discriminating apparatus and motion discriminating method

Publications (2)

Publication Number Publication Date
JP2017038821A JP2017038821A (en) 2017-02-23
JP6707327B2 true JP6707327B2 (en) 2020-06-10

Family

ID=58205948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015163262A Active JP6707327B2 (en) 2015-08-20 2015-08-20 Motion discriminating apparatus and motion discriminating method

Country Status (1)

Country Link
JP (1) JP6707327B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6555149B2 (en) * 2016-02-15 2019-08-07 オムロン株式会社 Arithmetic apparatus, arithmetic method and arithmetic program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668663B2 (en) * 2000-02-21 2005-07-06 日本電信電話株式会社 Motion input method and apparatus in virtual space and recording medium recording the motion input program
JP2002007030A (en) * 2000-06-16 2002-01-11 Olympus Optical Co Ltd Movement detecting device and operation input device
FR2916069B1 (en) * 2007-05-11 2009-07-31 Commissariat Energie Atomique PROCESSING METHOD FOR MOTION CAPTURE OF ARTICULATED STRUCTURE
WO2009116597A1 (en) * 2008-03-18 2009-09-24 株式会社日立製作所 Physical configuration detector, physical configuration detecting program, and physical configuration detecting method
JP2011078728A (en) * 2009-03-10 2011-04-21 Shinsedai Kk Body state evaluation unit, state estimation unit, step estimation unit, and health management system

Also Published As

Publication number Publication date
JP2017038821A (en) 2017-02-23

Similar Documents

Publication Publication Date Title
CN112672860B (en) Robot calibration for AR and digital twinning
Du et al. Human–manipulator interface based on multisensory process via Kalman filters
US10585167B2 (en) Relative object localization process for local positioning system
US11720185B2 (en) Method and system for determining a correct reproduction of a movement
Du et al. Online serial manipulator calibration based on multisensory process via extended Kalman and particle filters
US20190193947A1 (en) Article transfer apparatus, robot system, and article transfer method
KR101645392B1 (en) Tracking system and tracking method using the tracking system
Schlagenhauf et al. Comparison of kinect and vicon motion capture of upper-body joint angle tracking
JP2021529391A (en) Visualization and modification of operational boundary zones using augmented reality
Cantelli et al. A joint-angle estimation method for industrial manipulators using inertial sensors
WO2019014238A1 (en) Systems and methods for tracking body movement
CN108789416A (en) System and method for controlling double mechanical arms flexibility livewire work
KR102314092B1 (en) Calibration apparatus and the method for robot
CN112476489B (en) Flexible mechanical arm synchronous measurement method and system based on natural characteristics
Burrell et al. Towards a cooperative robotic system for autonomous pipe cutting in nuclear decommissioning
Tarabini et al. Monitoring the human posture in industrial environment: A feasibility study
JP6663219B2 (en) Posture motion detection device
CN109983299A (en) The measuring system and method for industrial robot
JP6707327B2 (en) Motion discriminating apparatus and motion discriminating method
JP4910552B2 (en) Operation data creation apparatus and method
JP2016206081A (en) Operation inference device and operation inference method
WO2022176928A1 (en) Teaching device
CN110720922A (en) Method, device and system for measuring body size of object
JP2015174206A (en) Robot control device, robot system, robot, robot control method and robot control program
JP2014117409A (en) Method and apparatus for measuring body joint position

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171201

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200520

R150 Certificate of patent or registration of utility model

Ref document number: 6707327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150