JP6523804B2 - Work movement measuring device, method and program - Google Patents
Work movement measuring device, method and program Download PDFInfo
- Publication number
- JP6523804B2 JP6523804B2 JP2015117695A JP2015117695A JP6523804B2 JP 6523804 B2 JP6523804 B2 JP 6523804B2 JP 2015117695 A JP2015117695 A JP 2015117695A JP 2015117695 A JP2015117695 A JP 2015117695A JP 6523804 B2 JP6523804 B2 JP 6523804B2
- Authority
- JP
- Japan
- Prior art keywords
- joint
- mass point
- point coordinates
- axis sensor
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、空間における関節の動きを追跡して作業動作を計測する技術に関する。 The present invention relates to technology for tracking movement of joints in space and measuring work operation.
プラントの建設、保守現場では、熟練ノウハウを持つ作業員の退職により世代交代が進み、技能の継承や訓練が急務となっている。
また、経験の浅い作業員が多数現場に配備されることで、作業品質の低下やヒューマンエラーの増加が懸念される。
このような、技術的に未熟な作業員を戦力として早期現場投入するためには、個々の作業員の技能レベルを正確に把握し、それに応じた訓練カリキュラムを設定することが求められる。
At plant construction and maintenance sites, generation change is advanced by the retirement of workers with skilled know-how, and succession of skills and training are urgently needed.
In addition, many inexperienced workers are deployed at the site, which may cause a decrease in work quality and an increase in human error.
In order to put such a technically immature worker into the field at an early stage as a battle force, it is required to accurately grasp the skill level of each worker and to set a training curriculum accordingly.
また、経験の浅い作業員が現場に多数配備される場合には、禁止作業や手抜き作業が発生してしまうことが懸念される。
このような場合、個々の作業員の行動を逐次モニタリングし、不適切な作業を検知した場合に注意を促すことで、未然に不適合を防止することができる。
したがって、現場作業員の動作を計測する技術は、世代交代に伴う技能継承の観点から有効である。
In addition, when many inexperienced workers are deployed on the site, there is concern that prohibited work or manual work may occur.
In such a case, nonconformity can be prevented in advance by monitoring the behavior of each worker one by one and alerting when an inappropriate work is detected.
Therefore, the technology to measure the action of field workers is effective from the viewpoint of skill inheritance associated with generational change.
モーションキャプチャと呼ばれる人間の動作を計測する技術は、身体を外部観察する技術と身体に装着させたセンサを用いて計測する技術との二つに大別される。
外部観察する技術としては、身体に取り付けたマーカを複数のカメラでステレオ視することで三次元座標を計測するものがある。
また、センサを用いる技術は、六軸センサを取り付けて各関節の変位を算出するものがある。また、それ以外に磁気センサや赤外線パターン照射を用いるものがあり、スポーツや医療、遊技機などで活用されている。
Technologies for measuring human motion, called motion capture, can be roughly divided into technology for observing the body externally and technology for measuring using a sensor worn on the body.
As a technique for external observation, there is one that measures three-dimensional coordinates by stereo-viewing a marker attached to the body with a plurality of cameras.
In addition, there is a technique using a sensor, in which a six-axis sensor is attached to calculate the displacement of each joint. In addition, there are those using a magnetic sensor and infrared pattern irradiation, and they are used in sports, medicine, game machines and the like.
動作計測技術を技能評価や訓練に適用した公知例として次のものが開示されている。
一つ目は、光学式のモーションキャプチャシステムを用いて作業者の動作を計測し、任意の作業環境を再現できる特殊な部屋で環境変化に対処する作業員の技能を評価する技術である。この技術によれば、作業者が予期していない事態に対して適切に対処するノウハウ的技能を定量的に評価することができる。
The following are disclosed as known examples in which motion measurement technology is applied to skill evaluation and training.
The first is a technology that measures the worker's motion using an optical motion capture system, and evaluates the worker's skill in dealing with environmental changes in a special room where any work environment can be reproduced. According to this technology, it is possible to quantitatively evaluate know-how-like skills for appropriately dealing with situations that the operator does not expect.
二つ目は、生産ラインでの組み立て作業訓練を支援するシステムであり、ヘッドマウントディスプレイ内に仮想的な作業空間を構築し、その中で実際に組立作業を仮想体験する技術である。
従来は大型スクリーンに作業現場の映像を表示して指導を行っていたが、このシステムによれば、磁気式三次元センサを用いて、片手あるいは両手の動作を計測し、標準的な作業軌跡と比較することで作業の正誤を判定することができる。
The second is a system that supports assembly operation training on a production line, and is a technology for constructing a virtual work space in a head mounted display and virtually experiencing assembly operations in that.
In the past, instruction was given by displaying the image of the work site on a large screen, but according to this system, the motion of one hand or both hands is measured using a magnetic three-dimensional sensor, and a standard work trajectory and It is possible to determine whether the work is correct or not by comparing.
三つ目は、六軸センサを手首と腰に装着して動作を計測する技術である。
この技術によれば、歩く、座る等の行動を行った際に計測される振動パターンをあらかじめ取得しておき、実際に計測された動作が取得したパターンのどれに類似しているか判定することで行動が認識される。
The third is a technology for measuring motion by mounting a six-axis sensor on the wrist and the waist.
According to this technique, a vibration pattern measured when performing an action such as walking or sitting is acquired in advance, and it is determined which of the acquired patterns the movement actually measured is similar to. Behavior is recognized.
しかしながら、従来のモーションキャプチャシステムを用い、実際の現場において作業者の動作を計測する場合、以下のような課題がある。
光学式の場合、作業者が動作する空間をカメラで取り囲む必要があるため、計測可能な領域が制限される。また、実際の作業現場をカメラで取り囲むことは、装置が大掛かりになり、適用が困難である。
また、入り組んだ作業環境や、複数の作業員で協調して行動する場合、計測対象がカメラの死角に入るため、動作の計測が不可能になる。
However, there are the following problems when measuring a worker's motion at an actual site using a conventional motion capture system.
In the case of the optical method, since it is necessary to surround the space in which the operator operates with the camera, the measurable area is limited. In addition, surrounding the actual work site with a camera requires a large-scale apparatus and is difficult to apply.
In addition, in the case of a complicated work environment or when a plurality of workers cooperate and act, the measurement target is in the blind spot of the camera, so measurement of motion becomes impossible.
また、六軸センサを用いる場合、上述した光学式の場合の欠点は解消されるが、作業者の関節毎にセンサを取りつけた場合、大量のセンサが装着されて多大な負荷がかかり作業の妨げになることが懸念される。 In addition, when using a six-axis sensor, the drawbacks of the above-mentioned optical type are eliminated, but when the sensor is attached to each joint of the worker, a large amount of sensors are attached and a large load is applied, which hinders the operation. There is concern that it will be.
本発明の実施形態はこのような事情を考慮してなされたもので、センサの未装着部位の動作をセンサの装着部位の動作から推測し、装着させるセンサの総数を減らすことができる作業動作計測技術を提供することを目的とする。 The embodiment of the present invention has been made in consideration of such circumstances, and it is possible to estimate the operation of the unmounted part of the sensor from the operation of the mounting part of the sensor and reduce the total number of mounted sensors. The purpose is to provide technology.
実施形態に係る作業動作計測装置において、基端が第1関節に回動自在に支持され先端に第2関節が設けられている第1ロッドと一端が前記第2関節に回動自在に支持され他端が自由端である第2ロッドとからなる作業動作体の前記自由端に設けられた六軸センサと、前記六軸センサが送信する三軸方向の並進運動及び軸周運動の検出信号を受信する受信部と、前記検出信号に基づいて空間における前記六軸センサの質点座標を演算する第1演算部と、前記六軸センサの質点座標の円弧状軌跡の曲率中心点座標及び曲率半径を演算する第2演算部と、前記六軸センサの質点座標、前記第1関節の質点座標、前記曲率中心座標及び曲率半径に対応する前記第2関節の質点座標を関連付けしたデータベースの登録部と、前記六軸センサの質点座標の演算出力に同期する前記第2関節の質点座標を前記データベースに基づき出力する座標出力部と、を備えることを特徴とする。 In the work movement measuring apparatus according to the embodiment, the first rod rotatably supported at the proximal end by the first joint and the first rod provided with the second joint at the tip and one end rotatably supported by the second joint A six-axis sensor provided at the free end of the working body including a second rod whose other end is a free end, and detection signals of translational movement and axial movement in three axial directions transmitted by the six-axis sensor The reception center for reception, the first operation unit for calculating the mass point coordinates of the six-axis sensor in space based on the detection signal, the curvature center point coordinates and the curvature radius of the arc-shaped locus of the mass point coordinates of the six-axis sensor A second calculation unit to calculate, a registration unit of a database in which mass point coordinates of the six-axis sensor, mass point coordinates of the first joint, curvature center coordinates, and mass point coordinates of the second joint corresponding to a curvature radius are associated; Mass point coordinates of the six-axis sensor The mass point coordinates of the second joint for synchronizing the operation output, characterized in that it comprises a coordinate output section that outputs based on the database.
本発明の実施形態により、センサの未装着部位の動作をセンサの装着部位の動作から推測し、装着させるセンサの総数を減らすことができる作業動作計測技術が提供される。 According to an embodiment of the present invention, there is provided a work motion measurement technique capable of estimating the motion of the unmounted region of the sensor from the motion of the mounted region of the sensor and reducing the total number of sensors to be mounted.
(第1実施形態)
以下、本発明の実施形態を添付図面に基づいて説明する。
図1に示すように作業動作計測装置20は、基端が第1関節11に回動自在に支持され先端に第2関節12が設けられている第1ロッド13と一端が第2関節12に回動自在に支持され他端が自由端である第2ロッド14とからなる作業動作体10の前記自由端に設けられた六軸センサ15と、この六軸センサ15が送信する三軸方向の並進運動及び軸周運動の検出信号atを受信する受信部21と、検出信号atに基づいて空間における六軸センサ15の質点座標γtを演算する第1演算部22と、六軸センサ15の質点座標γtの円弧状軌跡の曲率中心点座標Qt及び曲率半径rtを演算する第2演算部23と、六軸センサの質点座標γt、第1関節の質点座標α、曲率中心座標Qt及び曲率半径rtに対応する第2関節の質点座標βtを関連付けしたデータベースの登録部24と、六軸センサの質点座標γtの演算出力に同期する第2関節の質点座標βtをデータベースに基づき出力する座標出力部28と、を備えている。
First Embodiment
Hereinafter, embodiments of the present invention will be described based on the attached drawings.
As shown in FIG. 1, the work
作業動作体10は、例えば人体の腕部や脚部等のように、長管骨と関節からなる身体部位が例示される。この場合、第1関節11は肩関節や股関節のように特定の二軸を中心として回動する玉関節として把握される。また、第2関節12は肘関節や膝関節のように特定の一軸を中心として回動する蝶番関節として把握される。
そして、第1ロッド13は、上腕骨や大腿骨のような長管骨として把握される。また、第2ロッド14は橈骨や脛骨のような長管骨として把握される。
なお作業動作体10は、ロボットアームとして把握することもでき、この場合、第1関節11及び第2関節12のそれぞれは一軸回動又は二軸回動のいずれの機能を持たせることができる。
The working
Then, the
The
六軸センサ15は、加速度センサとジャイロセンサから構成され、直交三次元座標軸に沿った加速度及び軸周りの角速度を検出した検出信号atに検出時刻を付与して受信部21に送信する機能を有する。
Six-
第1演算部22は、受信部21が受信した検出信号atのうち加速度信号を二階積分し、角速度信号を一階積分し、さら座標変換することにより、空間における六軸センサ15の質点座標γtを演算する。
第1関節11及び/又は第2関節12が回動すると、六軸センサの質点座標γtは、空間に円弧状の軌跡を描く。
The
When the
第2演算部23は、この六軸センサの質点座標γtが描く円弧状軌跡の曲率中心点座標Qt及び曲率半径rtを演算する。
曲率中心点座標Qtは、時刻情報t−1における円弧状軌跡の六軸センサの質点座標γt-1からの法線と、時刻情報tにおける円弧状軌跡の六軸センサの質点座標γtからの法線と、の交点として求められる。
曲率半径rtは、二つの法線の交点から六軸センサの質点座標γtまでの距離として表される。
The second
The curvature center point coordinate Qt is a normal from the mass point coordinate γt -1 of the six-axis sensor of the circular arc trajectory at the time information t-1, and the mass point coordinate γt of the six axis sensor at the circular trajectory at the time information t It is determined as the intersection of the normal from.
The radius of curvature r t is represented as the distance from the intersection of two normals to the mass point coordinate γ t of the six-axis sensor.
登録部24には、六軸センサの質点座標γt、第1関節の質点座標α、曲率中心座標Qt及び曲率半径rtに対応する第2関節12の質点座標βtを関連付けしたデータベースが登録されている。このデータベースは、標準的な筋骨格モデルに基づいて作成される
なお、第1実施形態において、空間における第1関節11の位置は固定されており、その質点座標αは定点として登録部24に予め設定登録されている。
The
パラメータ登録部25は、図2に示すように、身長、体重等、直接的に身体寸法を決定する情報に加え、年齢、性別といった身体寸法に影響を与える情報をパラメータ化してまとめたテーブルデータを登録する。
キーボード等のユーザインターフェイス26は、作業動作体10に適合するパラメータを登録部25から取得し、データベース補正部27に転送する。
このデータベース補正部27は、標準的な筋骨格モデルで設定されているデータベースの情報を、転送されたパラメータに基づき補正する。
これにより、計測対象となる作業動作体10の姿勢に忠実に対応する、各種座標γt、α、Qt、rt、βtの関連付けデータベース(補正データベース)が作成される。
As shown in FIG. 2, the
The
The
As a result, an association database (correction database) of various coordinates γ t , α, Q t , r t , and β t that correspond faithfully to the posture of the
図2は、パラメータ登録部25に登録されている情報テーブルを示している。
図2に示すようにパラメータは、骨情報テーブル41、関節情報テーブル42、筋肉情報テーブ43から構成される。そして、これら3つのテーブルを一組として年齢、性別毎に作成されている。
骨情報テーブルに格納される情報は、骨No.、骨名称、寸法、接続する関節のNo.、接続する筋肉のNo.である。骨No.は人体を構成するすべての骨に付与されるIDである。骨No.、関節No.及び筋肉No.は、骨、関節、筋肉の接続関係を記述するために参照される番号である。
FIG. 2 shows an information table registered in the
As shown in FIG. 2, the parameters include a bone information table 41, a joint information table 42, and a muscle information table 43. Then, these three tables are created as a set for each age and sex.
The information stored in the bone information table is bone number. , Bone name, size, joint no. , No. of connecting muscle It is. Bone No. Is an ID assigned to all bones constituting the human body. Bone No. , Joint No. And muscle no. Is a number referenced to describe the connection between bones, joints, and muscles.
取り合い情報は、接続関節及び接続筋肉、接続骨、作用関節の項目に格納される。また、寸法には、性別、世代ごとの標準的な大きさが記述されている。
関節情報テーブル42に記述される情報は、関節No.、関節名称、形状、可動範囲、接続骨、接続筋肉である。形状は、蝶番型や玉関節型等の関節の形状に関する情報が記述されており、可動範囲情報とともに関節の曲り方向や角度を制限する情報である。
筋肉情報テーブ43に格納される情報は、筋肉No.、筋肉名称、張力、接続骨、作用関節である。
The connection information is stored in the items of connecting joints and connecting muscles, connecting bones, and acting joints. In addition, the dimensions describe the standard size of each gender and generation.
The information described in the joint information table 42 includes no. , Joint name, shape, movable range, connecting bone, connecting muscle. The shape describes information on the shape of a joint such as a hinge type or a ball joint type, and is information that limits the bending direction and angle of the joint as well as movable range information.
Information stored in the muscle information table 43 includes muscle no. , Muscle name, tension, connecting bone, working joint.
座標出力部28は、六軸センサの質点座標γtの演算出力に同期する第2関節の質点座標βtをデータベースに基づき出力する。
つまり、演算する元となる検出信号atに付与された時刻情報tをキーとして、これら質点座標γt,βtは紐付される。
動作描画部29は、質点座標α,βt,γtに基づいて、バーチャル空間に作業動作体10の骨格モデルを再現し、この骨格モデルを動作させる。
Coordinate
That is, the detection signal a t the applied time information t as a source for calculating as a key, these mass coordinates gamma t, beta t is pegging.
The
初期化部30は、第1関節の質点座標α、六軸センサの質点座標γt、曲率中心座標Qt及び曲率半径rtの関連がデータベースに登録されていないものである場合は、六軸センサ15の座標軌跡の演算過程で蓄積された誤差が許容範囲を超過したとみなし、この演算過程を初期化する。
静止系における六軸センサの質点座標γtは、その検出信号atを積分処理して得ている関係で、検出誤差が累積されていく。
このために、現実的にありえない位置関係を示す質点座標α,βt,γtの組み合わせが演算上に導き出される場合がある。
If the association between the mass point coordinates α of the first joint, the mass point coordinates γ t of the six-axis sensor, the curvature center coordinates Q t and the curvature radius r t of the first joint is not registered in the database, the
Mass coordinates gamma t of six-axis sensor in the stationary system is a relationship that obtained by integrating processes the detection signal a t, detection error will be cumulative.
For this reason, a combination of mass point coordinates α, β t , and γ t that indicate a practically impossible positional relationship may be derived on the operation.
初期化部30は、この誤差を許容値と比較して超過が検知された場合、受信部21における検出信号atの受信を中止し、第1演算部22における積分を初期状態にリセットする。そして六軸センサ15が初期位置にくるように、作業動作体10の姿勢を調整し、検出信号atの受信を再開する。
なお、誤差の検出は、質点座標α,βt,γtの距離と、第1ロッド13及び第2ロッド14の長さとを対比することにより行われる
これにより、動作計測を長時間実施した場合でも、真値とのズレを最小限に抑えることができる。
The error detection is performed by comparing the distance between the mass point coordinates α, β t , and γ t with the lengths of the
(第2実施形態)
第1実施形態において座標出力部28は、データベースのみに基づいて、第2関節の質点座標βtを出力していた。第2実施形態では、図3に示すように、第1関節11及び第2関節12の動きに分類して、第2関節の質点座標βtの出力方法を変更する。
Second Embodiment
In the first embodiment, the coordinate
図3(a)は、第1関節11が固定され、第2関節12が回動している場合の、円弧状軌跡の曲率中心点座標Qt及び曲率半径rtを示している。
この場合、曲率中心座標Qtが第1関節の質点座標αとは異なる位置に留まり、曲率半径rtが第2ロッド14の長さに一致して不変(rt=rt-1)である。
この条件が成立した場合、第1ロッド13を回動させる第1関節11は固定状態と判定され、座標出力部28は、曲率中心座標Qtを、第2関節の質点座標βtとして出力する。
3 (a) is the first joint 11 is fixed, when the second joint 12 is rotated, shows a curvature center point coordinates Q t and the curvature radius r t of the arcuate path.
In this case, remains in a position different from the center of curvature coordinates Q t is the mass point coordinates α of the first joint, the radius of curvature r t is matched to the length of the
If this condition is satisfied, the first joint 11 for rotating the
図3(b)は、第1関節11が回動し、第2関節12が固定している場合の、円弧状軌跡の曲率中心点座標Qt及び曲率半径rtを示している。
この場合、曲率中心座標Qtが第1関節の質点座標αと一致する位置に留まり、曲率半径rtが不変(rt=rt-1)である。
この条件が成立した場合、第1ロッド13と第2ロッド14とを回動させる第2関節12は固定状態と判定される。
そして、座標出力部28は、第1関節の質点座標αを中心とする六軸センサの質点座標γtの角変位φと同量だけ前回の第2関節の質点座標βt-1を角変位させて第2関節の質点座標βtを出力する。
FIG. 3 (b), the first joint 11 is rotated, when the second joint 12 is fixed, shows a curvature center point of the arc-shaped locus coordinates Q t and the curvature radius r t.
In this case, remains in the position of curvature center coordinates Q t coincides with mass coordinate α of the first joint, the radius of curvature r t is unchanged (r t = r t-1 ).
When this condition is satisfied, it is determined that the second joint 12 which rotates the
Then, the coordinate
図3(c)は、第1関節及び第2関節が共に回動している場合の円弧状軌跡の曲率中心点座標Qt及び曲率半径rtを示している。
この場合、曲率中心座標Qtの移動が観測される。
この条件が成立した場合、第1関節11と第2関節12とは同時に回動状態にあると判定され、座標出力部28は、第1実施形態のようにデータベースのみに基づいて、第2関節の質点座標βtを出力する。
第2実施形態によれば、第2関節の質点座標βtの動作を、バーチャル空間において高精度で再現させることができる。
FIG. 3 (c) show a first joint and center of curvature of the arcuate path when the second joint is rotated together coordinate Q t and the curvature radius r t.
In this case, the movement of the center of curvature coordinate Q t is observed.
When this condition is established, it is determined that the first joint 11 and the second joint 12 are simultaneously in the pivoting state, and the coordinate
According to the second embodiment, the motion of the mass point coordinates β t of the second joint can be reproduced with high accuracy in the virtual space.
以上説明した作業動作計測装置20は、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、又はCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信I/Fとを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
The work
また作業動作計測装置20で実行されるプログラムは、ROM等に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。
The program executed by the work
また、この作業動作計測装置20で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。
また、作業動作計測装置20は、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワーク又は専用線で相互に接続し、組み合わせて構成することもできる。
Further, the program executed by the work
The work
図4のフローチャートに基づいて第2実施形態に係る作業動作計測プログラムの動作及び作業動作計測方法について説明する(適宜、図1、図2及び図3参照)。
標準的な筋骨格モデルに基づいて質点座標α,βt,γt、曲率中心座標Qt及び曲率半径rtの関連性を示すデータベースを作成し、さらに身体特徴に応じてこのデータベースを補正するパラメータを作成し、登録する(S11)。
The operation of the work operation measurement program and the work operation measurement method according to the second embodiment will be described based on the flowchart of FIG. 4 (see FIGS. 1, 2 and 3 as appropriate).
Based on the standard musculoskeletal model, create a database showing the relationship between mass point coordinates α, β t , γ t , curvature center coordinates Q t and curvature radius r t , and correct this database according to the body features A parameter is created and registered (S11).
ユーザインターフェイス26を操作して作業動作体10に適合するパラメータを取得し、データベースを補正する(S12)。空間内の定点である第1関節11の質点座標αを設定し(S13)、六軸センサ15の初期状態(t=0)の質点座標γt(初期座標γ0)を設定する(S14)。
The
作業動作体10の動作を開始するとともに、六軸センサ15から検出信号atの送信を開始し、受信部21において受信する(S15)。この検出信号atに基づいて、空間における六軸センサの質点座標γtを演算し(S16)、この質点座標γtが描く軌跡の曲率中心点座標Qt及び曲率半径rtを演算する(S17,S18)。
It starts the operation of the working
ここで、曲率中心座標Qtが第1関節の質点座標αとは異なる位置に留まり(S19 No)、曲率半径rtが第2ロッド14の長さに一致して不変(rt=rt-1)である場合は(S20 Yes)、第1ロッド13を回動させる第1関節11は固定状態と判定され、曲率中心座標Qtを、第2関節の質点座標βtとして設定する(S21)。
Here, the curvature center coordinate Q t remains at a position different from the mass point coordinate α of the first joint (
そして、曲率中心座標Qtが第1関節の質点座標αと一致する位置に留まり(S19 Yes)、曲率半径rtが不変(rt=rt-1)である場合は(S22 Yes)、第1ロッド13と第2ロッド14とを回動させる第2関節12は固定状態と判定される。
そして、第1関節の質点座標αを中心とする六軸センサの質点座標γtの角変位φが演算され(S23)、この角変位φと同量だけ前回の第2関節の質点座標βt-1を角変位させて第2関節の質点座標βtを設定する(S24)。
Then, remain in a position of curvature center coordinates Q t coincides with mass coordinate α of the first joint (S19 Yes), if the radius of curvature r t is unchanged (r t = r t-1 ) (S22 Yes), The second joint 12 for rotating the
The angular displacement phi of mass coordinates gamma t of six-axis sensor around the mass point coordinates α of the first joint is calculated (S23), mass coordinates of the second joint of the previous by the same amount and the angular displacement phi beta t The angular displacement of -1 is made to set the mass point coordinate β t of the second joint (S24).
(S20 No)及び(S22 No)の場合は、第1関節11と第2関節12とは同時に回動状態にあると判定され、データベースを参照して、第2関節の質点座標βtが設定される(S25)。
次に、各種の条件判定を経て設定された第2関節の質点座標βtの積分累積誤差について検証する。質点座標α,βt,γtの距離と、第1ロッド13及び第2ロッド14の長さとを対比して、不整合があればエラー信号を送信する(S26 No)。
In the case of (S20 No) and (S22 No), it is determined that the first joint 11 and the second joint 12 are simultaneously in the rotating state, and the mass point coordinate β t of the second joint is set with reference to the database. (S25).
Next, the integrated cumulative error of the mass point coordinates β t of the second joint set after various condition determinations is verified. The distance between mass point coordinates α, β t , γ t and the lengths of the
この場合、六軸センサ15の位置を初期座標γ0に戻し、積分をリセットして検出信号atの演算を再開する(S14)。
積分累積誤差の検証でエラーが無ければ(S26 Yes)、時刻情報tにおける質点座標α,βt,γtに基づいて、バーチャル空間に作業動作体10の骨格モデルを再現する(S27)。上述のフローを動作計測が終了するまで繰り返すことにより、作業動作体10の動作を再現することができる(S28 No Yes END)。
なお、第1実施形態の動作は、(S19)〜(S24)までのフローを省略し、(S18)から(S25)に直接ジャンプすることで、説明される。
In this case, return the position of the six-
If there is no error in the verification of the integral cumulative error (S26 Yes), the skeleton model of the
The operation of the first embodiment is described by skipping the flow from (S19) to (S24) and directly jumping from (S18) to (S25).
(第3実施形態)
第1実施形態及び第2実施形態では、時刻情報tにおける質点座標α,βt,γtに基づいて骨格モデルの動作をバーチャル空間に再現することを示したが、第3実施形態では、作業動作体10の三次元形態を模擬したアニメーション像31で動作を再現させる。
アニメーション像31の特定部位を第1関節の質点座標α、第2関節の質点座標βt及び六軸センサの質点座標γtに対応させ、これら質点座標α,βt,γtの軌跡に対応させてアニメーション像31をバーチャル空間内で動作させる。
これにより、アニメーション像31の観察方向を変化させることにより、その動作様態を直感的に理解することが可能になる。
Third Embodiment
In the first embodiment and the second embodiment, it has been shown that the operation of the skeletal model is reproduced in the virtual space based on the mass point coordinates α, β t , γ t in the time information t, but in the third embodiment The motion is reproduced by an
Mass coordinates of the specific part first
Thereby, by changing the observation direction of the
さらに、このアニメーション像31の配置される空間の背景像32をバーチャル像の移動や観察方向に合わせて移動させる。
この空間の背景像32は、作業動作体10が行動する建屋のフロアマップから作成される。このフロアマップは、建屋構造物の寸法、階層、部屋、壁や扉等の構造物、ポンプやモータのように建屋内に固定されている設備の位置と外形の情報を含む。
これにより、プラント建屋内で業務を行う作業者の様子をアニメーションで描画することができ、監視カメラの映像では視認できない角度から作業者をモニタリングすることができる。
Furthermore, the
The
As a result, it is possible to draw the state of the worker who performs work in the plant building with animation, and to monitor the worker from an angle that can not be visually recognized by the video of the monitoring camera.
一つの空間内で複数の作業動作体10を互いに近接させて動作させる場合がある。この場合、一方のアニメーション像31の第2関節12が、その誤差計測に由来して、他方のアニメーション像31の一部と重なり合うか突き抜けてしまう場合がある。
このような場合をエラーとして検知した場合は、演算上の累積誤差をリセットするために初期化を実施する。
There are cases where a plurality of
If such a case is detected as an error, initialization is performed to reset the accumulated error in operation.
これにより、複数の作業者の動作を描画するアニメーションを作成する際に、ある作業者の腕が他の作業者の体を突き抜けるなどの不自然な描画を回避することができる。これにより、プラント内で協調作業をする複数の作業者を同時にモニタリングすることを可能とする。また、モニタリング結果を利用して、作業計画や作業手順、作業員の配置を見直すことができる。 This makes it possible to avoid unnatural drawing such as the arm of a certain worker penetrating the body of another worker when creating an animation for drawing the motions of a plurality of workers. This makes it possible to simultaneously monitor a plurality of workers who cooperate in the plant. In addition, using the monitoring results, it is possible to review work plans, work procedures, and the placement of workers.
(第4実施形態)
図5に示すように、第4実施形態に適用される作業動作体40は、複数(n個;n≧2)の単位作業動作体10nが連結して構成されている。
つまり、一つの単位作業動作体10n-1の自由端が、他の単位作業動作体10nの第1関節11nに回動自在に支持されるように構成されている。
Fourth Embodiment
As shown in FIG. 5, the
That is, the free end of one
第1実施形態において第1関節11の質点座標αは空間内において定点であるとした。
しかし、第4実施形態に適用される作業動作体40は、第1関節111の質点座標αを定点とするが、それ以外の第1関節11n(n≧2)の質点座標は、単位作業動作体10n-1の自由端に設けられた六軸センサ15n-1が送信する検出信号に基づいて導かれる質点座標γn-1が設定される。
In the first embodiment, the mass point coordinate α of the first joint 11 is a fixed point in the space.
However, the
そして、この質点座標γnの円弧状軌跡の曲率中心点座標Qn及び曲率半径rnを演算により求め、六軸センサの質点座標γn、第1関節の質点座標γn-1、曲率中心座標Qn及び曲率半径rnに対応する第2関節の質点座標βn(n≧2)を導く。
なお第2関節の質点座標βn(n=1)は、第1実施形態(又は第2実施形態)で示した方法により導かれる。
これにより、多関節から構成される作業動作体の動作を計測することが可能となる。
Then, the mass point coordinate obtained by calculating the curvature center point coordinates Q n and the curvature radius r n of the circular trajectory of the gamma n, mass coordinates of six-axis sensor gamma n, mass coordinate gamma n-1, the center of curvature of the first joint The mass point coordinates β n (n ≧ 2) of the second joint corresponding to the coordinates Q n and the curvature radius r n are derived.
The mass point coordinates β n (n = 1) of the second joint are derived by the method shown in the first embodiment (or the second embodiment).
As a result, it is possible to measure the motion of the work operation body constituted by the multi-joints.
以上述べた少なくともひとつの実施形態の作業動作計測装置によれば、センサの未装着部位の動作をセンサの装着部位の動作から推測し、装着させるセンサの総数を減らすことが可能となる。 According to the work movement measuring apparatus of at least one embodiment described above, it is possible to estimate the movement of the unmounted part of the sensor from the movement of the part to which the sensor is mounted and to reduce the total number of mounted sensors.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While certain embodiments of the present invention have been described, these embodiments have been presented by way of example only, and are not intended to limit the scope of the invention. These embodiments can be implemented in other various forms, and various omissions, substitutions, changes, and combinations can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the invention described in the claims and the equivalents thereof as well as included in the scope and the gist of the invention.
10,40…作業動作体、11…第1関節、12…第2関節、13…第1ロッド、14…第2ロッド、15…六軸センサ、20…作業動作計測装置、21…受信部、22…第1演算部、23…第2演算部、24…登録部、25…パラメータ登録部、26…ユーザインターフェイス、27…データベース補正部、28…座標出力部、29…動作描画部、30…初期化部、31…アニメーション像、32…背景像、40…作業動作体、41…骨情報テーブル、42…関節情報テーブル、43…筋肉情報テーブル、a…検出信号、α…第1関節の質点座標、β…第2関節の質点座標、γ…六軸センサの質点座標、Q…曲率中心点座標、r…曲率半径。
DESCRIPTION OF
Claims (8)
前記六軸センサが送信する三軸方向の並進運動及び軸周運動の検出信号を受信する受信部と、
前記検出信号に基づいて空間における前記六軸センサの質点座標を演算する第1演算部と、
前記六軸センサの質点座標の円弧状軌跡の曲率中心点座標及び曲率半径を演算する第2演算部と、
前記六軸センサの質点座標、前記第1関節の質点座標、前記曲率中心座標及び曲率半径に対応する前記第2関節の質点座標を関連付けしたデータベースの登録部と、
前記六軸センサの質点座標の演算出力に同期する前記第2関節の質点座標を前記データベースに基づき出力する座標出力部と、を備えることを特徴とする作業動作計測装置。 A first rod rotatably supported at its first joint at its first end and provided with a second joint at its tip, and a second rod whose one end is rotatably supported at the second joint and whose other end is a free end A six-axis sensor provided at the free end of the work operation body comprising
A receiving unit that receives detection signals of translational movement and axial movement in three axial directions transmitted by the six-axis sensor;
A first calculation unit that calculates mass point coordinates of the six-axis sensor in space based on the detection signal;
A second operation unit that calculates a curvature center point coordinate and a curvature radius of an arc-like locus of mass point coordinates of the six-axis sensor;
A registration unit of a database in which mass point coordinates of the six-axis sensor, mass point coordinates of the first joint, curvature center coordinates, and mass point coordinates of the second joint corresponding to the curvature radius are associated;
And a coordinate output unit that outputs, based on the database, the mass point coordinates of the second joint synchronized with the calculation output of the mass point coordinates of the six-axis sensor.
前記曲率中心座標が前記第1関節の質点座標とは異なる位置に留まり、前記曲率半径が前記第2ロッドの長さに一致して不変である場合、
前記第1ロッドを回動させる前記第1関節は固定状態と判定され、前記曲率中心座標を前記第2関節の質点座標として出力することを特徴とする作業動作計測装置。 In the work operation measuring apparatus according to claim 1,
If the curvature center coordinates remain at a different position than the mass point coordinates of the first joint, and the radius of curvature is invariant to match the length of the second rod,
The work movement measuring apparatus according to claim 1, wherein the first joint for rotating the first rod is determined to be in a fixed state, and the curvature center coordinate is output as a mass point coordinate of the second joint.
前記曲率中心座標が前記第1関節の質点座標と一致する位置に留まり、前記曲率半径が不変である場合、
前記第1ロッドと前記第2ロッドとを回動させる前記第2関節は固定状態と判定され、
前記第2関節の質点座標は、前記第1関節の質点座標を中心とする前記六軸センサの質点座標の角変位と同量だけ角変位して出力されることを特徴とする作業動作計測装置。 In the work operation measuring apparatus according to claim 1,
If the curvature center coordinates remain at a position coincident with the mass point coordinates of the first joint, and the curvature radius is invariant:
It is determined that the second joint for rotating the first rod and the second rod is in a fixed state,
The work movement measuring apparatus is characterized in that the mass point coordinates of the second joint are angularly displaced by the same amount as the angular displacement of the mass point coordinates of the six-axis sensor centering on the mass point coordinates of the first joint .
前記六軸センサの質点座標、前記第1関節の質点座標、前記曲率中心座標及び曲率半径の関連が前記データベースに登録されていないものである場合は、
前記六軸センサの座標軌跡の演算過程で蓄積された誤差が許容範囲を超過したとみなし、この演算過程を初期化する初期化部をさらに備えることを特徴とする作業動作計測装置。 The work operation measuring apparatus according to any one of claims 1 to 3.
When the relationship between the mass point coordinates of the six-axis sensor, the mass point coordinates of the first joint, the curvature center coordinates, and the curvature radius is not registered in the database,
The work operation measuring apparatus according to claim 1, further comprising: an initialization unit that regards the error accumulated in the process of calculating the coordinate trajectory of the six-axis sensor as exceeding the allowable range and initializes the process.
動作描画部を備え、
前記動作描画部は、アニメーション像の特定部位を前記第1関節の質点座標、前記第2関節の質点座標及び前記六軸センサの質点座標に対応させてこれら質点座標の軌跡に対応させてバーチャル像を三次元的に動作させ、
同一の空間で動作している複数のバーチャル像のうち、いずれか一つのバーチャル像の前記第2関節の質点座標が、他のバーチャル像の内部に含まれたことを検知することを特徴とする作業動作計測装置。 The work operation measuring apparatus according to any one of claims 1 to 4.
Equipped with a motion drawing unit,
The motion drawing unit corresponds a specific part of the animation image to the mass point coordinates of the first joint, the mass point coordinates of the second joint, and the mass point coordinates of the six-axis sensor, and corresponds to the locus of these mass point coordinates. Work in three dimensions,
It is characterized in that it is detected that the mass point coordinates of the second joint of any one virtual image among a plurality of virtual images operating in the same space are included in another virtual image. Work movement measuring device.
一つの作業動作体の前記自由端が、他の作業動作体の前記第1関節に回動自在に支持されるように構成され、この第1関節の質点座標は、前記自由端に設けられた前記六軸センサが送信する前記検出信号に基づいて設定されることを特徴とする作業動作計測装置。 In the work operation measuring apparatus according to any one of claims 1 to 5,
The free end of one work operation body is rotatably supported by the first joint of another work operation body, and the mass point coordinates of the first joint are provided at the free end. It is set based on said detection signal which said six-axis sensor transmits.
前記六軸センサが送信する三軸方向の並進運動及び軸周運動の検出信号を受信するステップと、
前記検出信号に基づいて空間における前記六軸センサの質点座標を演算するステップと、
前記六軸センサの質点座標の円弧状軌跡の曲率中心点座標及び曲率半径を演算するステップと、
前記六軸センサの質点座標、前記第1関節の質点座標、前記曲率中心座標及び曲率半径に対応する前記第2関節の質点座標を関連付けしたデータベースを登録するステップと、
前記六軸センサの質点座標の演算出力に同期する前記第2関節の質点座標を前記データベースに基づき出力するステップと、を含むことを特徴とする作業動作計測方法。 A first rod rotatably supported at its first end by a first joint and having a second joint at its tip, and a six-axis sensor at its other end, one end of which is rotatably supported at the second joint and is a free end Allowing a working body comprising a second rod provided with
Receiving triaxial translational and axial motion detection signals transmitted by the six-axis sensor;
Computing mass point coordinates of the six-axis sensor in space based on the detection signal;
Calculating a curvature center point coordinate and a curvature radius of an arc-like locus of mass point coordinates of the six-axis sensor;
Registering a database associating the mass point coordinates of the second joint corresponding to the mass point coordinates of the six-axis sensor, the mass point coordinates of the first joint, the curvature center coordinates, and the curvature radius;
And D. outputting based on the database the mass point coordinates of the second joint synchronized with the calculation output of the mass point coordinates of the six-axis sensor.
基端が第1関節に回動自在に支持され先端に第2関節が設けられている第1ロッドと一端が前記第2関節に回動自在に支持され他端が自由端である第2ロッドとからなる作業動作体の前記自由端に設けられた六軸センサが送信する三軸方向の並進運動及び軸周運動の検出信号を受信する機能、
前記検出信号に基づいて空間における前記六軸センサの質点座標を演算する機能、
前記六軸センサの質点座標の円弧状軌跡の曲率中心点座標及び曲率半径を演算する機能、
前記六軸センサの質点座標、前記第1関節の質点座標、前記曲率中心座標及び曲率半径に対応する前記第2関節の質点座標を関連付けしたデータベースを登録する機能、
前記六軸センサの質点座標の演算出力に同期する前記第2関節の質点座標を前記データベースに基づき出力する機能、を実行させることを特徴とする作業動作計測プログラム。 On the computer
A first rod rotatably supported at its first joint at its first end and provided with a second joint at its tip, and a second rod whose one end is rotatably supported at the second joint and whose other end is a free end A function of receiving detection signals of triaxial translational movement and axial movement transmitted by the six-axis sensor provided at the free end of the work operation body,
A function of calculating mass point coordinates of the six-axis sensor in space based on the detection signal;
A function of calculating a curvature center point coordinate and a curvature radius of an arc-like locus of mass point coordinates of the six-axis sensor;
A function of registering a database associating mass point coordinates of the second joint corresponding to mass point coordinates of the six-axis sensor, mass point coordinates of the first joint, the curvature center coordinates, and the curvature radius,
And a function of outputting based on the database the mass point coordinates of the second joint synchronized with the calculation output of the mass point coordinates of the six-axis sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015117695A JP6523804B2 (en) | 2015-06-10 | 2015-06-10 | Work movement measuring device, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015117695A JP6523804B2 (en) | 2015-06-10 | 2015-06-10 | Work movement measuring device, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017003433A JP2017003433A (en) | 2017-01-05 |
JP6523804B2 true JP6523804B2 (en) | 2019-06-05 |
Family
ID=57754107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015117695A Active JP6523804B2 (en) | 2015-06-10 | 2015-06-10 | Work movement measuring device, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6523804B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5171290B2 (en) * | 2007-02-02 | 2013-03-27 | 本田技研工業株式会社 | Legged mobile robot |
FR2916069B1 (en) * | 2007-05-11 | 2009-07-31 | Commissariat Energie Atomique | PROCESSING METHOD FOR MOTION CAPTURE OF ARTICULATED STRUCTURE |
US20100042357A1 (en) * | 2008-08-15 | 2010-02-18 | Oceaneering International, Inc. | Manipulator Position Sensor System |
-
2015
- 2015-06-10 JP JP2015117695A patent/JP6523804B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017003433A (en) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5870969B2 (en) | Motion analysis apparatus and motion analysis program | |
US10646157B2 (en) | System and method for measuring body joint range of motion | |
Zhao et al. | A Kinect-based rehabilitation exercise monitoring and guidance system | |
Ahmadi et al. | 3D human gait reconstruction and monitoring using body-worn inertial sensors and kinematic modeling | |
US8743054B2 (en) | Graphical representations | |
US20180070864A1 (en) | Methods and devices for assessing a captured motion | |
US20100194879A1 (en) | Object motion capturing system and method | |
CN102281856B (en) | Method for auto-alignment position and orientation indicator and the equipment for the movement of monitoring body part | |
US20150119158A1 (en) | Motion analyzing apparatus and motion analyzing program | |
CN107330967A (en) | Knight's athletic posture based on inertia sensing technology is caught and three-dimensional reconstruction system | |
WO2019014238A1 (en) | Systems and methods for tracking body movement | |
US10433725B2 (en) | System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task | |
US20210154529A1 (en) | Interactive visualization system for biomechanical assessment | |
KR101784415B1 (en) | System for correcting an appearance of golf swing | |
US20180216959A1 (en) | A Combined Motion Capture System | |
Callejas-Cuervo et al. | Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes | |
JP6523804B2 (en) | Work movement measuring device, method and program | |
Celigueta | Multibody simulation of the human body motion in sports | |
JP2016206081A (en) | Operation inference device and operation inference method | |
JP6993866B2 (en) | Golf swing evaluation system and golf swing evaluation method | |
US11694360B2 (en) | Calibrating 3D motion capture system for skeletal alignment using x-ray data | |
KR101795474B1 (en) | Golf posture correction method and golf posture correction system using the same. | |
US10549426B2 (en) | Method for estimating movement of a poly-articulated mass object | |
JP7017921B2 (en) | Golf swing evaluation system and golf swing evaluation method | |
JP6311727B2 (en) | Display device, display method, and display program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171127 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20171128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6523804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |