JP2557789B2 - Human interface device - Google Patents
Human interface deviceInfo
- Publication number
- JP2557789B2 JP2557789B2 JP17126493A JP17126493A JP2557789B2 JP 2557789 B2 JP2557789 B2 JP 2557789B2 JP 17126493 A JP17126493 A JP 17126493A JP 17126493 A JP17126493 A JP 17126493A JP 2557789 B2 JP2557789 B2 JP 2557789B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- interface device
- trajectory
- human interface
- muscle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
【0001】[0001]
【産業上の利用分野】この発明はヒューマンインタフェ
ース装置に関し、たとえば、計算機の一般的使用環境に
おいて現在広く用いられているマウスやトラックボール
などに代わり、より操作性と自然度に優れた仮想腕や仮
想手など計算機環境の中で身体の分身として機能する仮
想身体を実現するようなヒューマンインタフェース装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a human interface device, for example, a virtual arm which is superior in operability and naturalness in place of a mouse and a trackball which are widely used at present in a general use environment of a computer. The present invention relates to a human interface device that realizes a virtual body that functions as an alter ego of the body in a computer environment such as a virtual hand.
【0002】[0002]
【従来の技術】従来の計算機とオペレータの間のヒュー
マンインタフェース装置は、マウスやジョイスティック
やトラックボールやケーブルによる三次元マウス,三次
元磁気位置計測装置,ゴニオメータ,マスタアーム,デ
ータグローブ,データスーツなどに代表されるように、
身体の一部または全体である手,腕,体幹などの運動の
結果として生じた物理的変化を位置や力として様々な手
段で計測し、それを計算機世界の中のカーサや手,腕な
どの動きに反映するものである。2. Description of the Related Art A conventional human interface device between a computer and an operator is a mouse, a joystick, a three-dimensional mouse using a trackball or a cable, a three-dimensional magnetic position measuring device, a goniometer, a master arm, a data glove, a data suit, etc. As represented,
Physical changes that occur as a result of movements of hands, arms, trunks, etc., which are part or whole of the body, are measured by various means as positions and forces, and they are measured in various ways, such as the Casa, hands and arms in the computer world. Is reflected in the movement of.
【0003】マウスのような簡単な二次元位置変化計測
装置は、従来のキーボードに比べれば、格段に自然性の
高いヒューマンインタフェースを提供するが、位置計測
だけのインタフェース装置は、たとえデータグローブや
データスーツのように自由度を増しても使用感が不自然
で、力フィードバックがかからず、速度や加速度,力の
制御が行なえないために、使用中に激しい疲労感を覚え
るという欠点がある。A simple two-dimensional position change measuring device such as a mouse provides a human interface which is much more natural than a conventional keyboard, but an interface device only for measuring a position has data glove and data. Even if you increase the degree of freedom like a suit, the feeling of use is unnatural, force feedback is not applied, and you cannot control the speed, acceleration, and force, so you will feel a lot of fatigue during use.
【0004】一方、力を計測することもできるテレオペ
レーションシステムのマスタロボットアームやゴニオメ
ータは機械装置として、大変大がかりで高価なものとな
り、かつ暴走時には極めて危険であるため、原子炉内の
作業など特殊な用途以外にはその安全性,利便性,価
格,スペースユーティリティなどの点で汎用のヒューマ
ンインタフェース装置としては成立しにくい。On the other hand, a master robot arm and a goniometer of a tele-operation system capable of measuring force are very large and expensive as mechanical devices, and are extremely dangerous at the time of runaway. It is difficult to be established as a general-purpose human interface device because of its safety, convenience, price, space utility, etc.
【0005】[0005]
【発明が解決しようとする課題】ところで、従来より筋
電信号を用いたコンピュータとのインタフェース装置
が、たとえば特開昭63−172322号公報において
提案されている。これは、人体の任意の動作時に得られ
る筋電信号パターンと予め設定された特定の情報を持っ
た複数の基準パターンとを比較し、最も近い基準パター
ンに設定された情報のデータを入力して、キーボードを
操作することなく、所望のデータ入力を可能とする。し
かし、このようなパターン認識によるクラス分けの方法
では、アルファベットや小数の動作などの限られた数の
離散データの入力は行なえても、マウスやデータグロー
ブに代わるような高速で多数の自由度を持つベクトル入
力値を連続的に変更するようなヒューマンインタフェー
ス装置を構成することができないという欠点がある。An interface device with a computer using a myoelectric signal has been proposed in Japanese Patent Laid-Open No. 172322/1988, for example. This is to compare the myoelectric signal pattern obtained during any movement of the human body with a plurality of reference patterns having preset specific information, and input the data of the information set to the closest reference pattern. Allows desired data input without operating the keyboard. However, with such a classification method by pattern recognition, a limited number of discrete data such as alphabets and decimal motions can be input, but a large number of degrees of freedom can be provided instead of a mouse or data glove. There is a drawback that it is not possible to construct a human interface device that continuously changes the vector input value that it has.
【0006】それゆえに、この発明の主たる目的は、運
動を生じさせる原因である脳,神経系の活動を何らかの
非侵襲的な方法で計測し、それに基づいて計算機内の世
界で身体の一部または全部のモデルである仮想身体をあ
たかも自分の分身であるかのように自然に制御し、位置
のみならず力,速度,加速度を自由に操れるようなヒュ
ーマンインタフェース装置を提供することである。Therefore, the main object of the present invention is to measure the activity of the brain and the nervous system, which is the cause of the movement, by some non-invasive method, and based on the measurement, a part of the body or The objective is to provide a human interface device that naturally controls the virtual body that is the entire model as if it were its own alternator, and can freely control not only position but also force, velocity, and acceleration.
【0007】この発明の他の目的は、安全性,利便性,
価格,スペースユーティリティなどの点で従来のマウ
ス,データグローブと同等で機械式の力計測インタフェ
ース装置に比べてはるかに優れたヒューマンインタフェ
ース装置を提供することである。Another object of the present invention is safety, convenience,
It is to provide a human interface device that is similar to conventional mice and data gloves in terms of price and space utility and is far superior to mechanical force measurement interface devices.
【0008】[0008]
【課題を解決するための手段】請求項1に係る発明は、
オペレータの操作により必要な情報を計算機に入力する
ためのヒューマンインタフェース装置であって、オペレ
ータの複数の筋肉の活動に応じた信号を検出するため
に、オペレータの身体に装着される表面電極と、表面電
極の各検出出力を各筋肉か発生する張力に対応する擬似
張力を表わす信号に変換し、その信号に基づいて運動軌
道や力軌道を推定する非線形ダイナミクスモデルと、こ
の非線形ダイナミクスモデルの出力に応じて、推定され
た運動軌道や力軌道で動作する仮想身体とを備えて構成
される。The invention according to claim 1 is
A human interface device for inputting necessary information to a computer by an operator's operation, which includes a surface electrode worn on the operator's body and a surface electrode for detecting a signal according to the activities of a plurality of muscles of the operator. Depending on the output of this nonlinear dynamics model and the nonlinear dynamics model that converts each detection output of the electrode into a signal representing pseudo tension corresponding to the tension generated by each muscle and estimates the motion trajectory and force trajectory based on that signal And a virtual body operating on the estimated motion trajectory or force trajectory.
【0009】[0009]
【0010】請求項2に係る発明では、請求項1の非線
形ダイナミクスモデルは、神経回路を含み、この神経回
路は、表面電極から入力される複数の筋肉の活動に応じ
た信号をフィルタリングし、各筋肉が発生する張力に対
応する擬似張力を表わす信号を出力する前段の回路と、
前段の回路からの信号を受け、擬似張力,位置,速度か
らトルク,外界へ及ぼす力および加速度信号を推定する
複数層からなる後段の回路を含む。In the invention according to claim 2, the nonlinear dynamics model according to claim 1 includes a neural circuit, and this neural circuit filters signals corresponding to the activities of a plurality of muscles inputted from the surface electrodes, A preceding circuit that outputs a signal representing a pseudo tension corresponding to the tension generated by the muscle,
It includes a latter-stage circuit composed of a plurality of layers for receiving signals from the former-stage circuit and estimating pseudo tension, torque from the position and velocity, force exerted on the outside and acceleration signals.
【0011】請求項3に係る発明では、請求項2の神経
回路は、パラメータを決定するために所定の学習則を用
いて学習する。In the invention according to claim 3, the neural circuit according to claim 2 learns by using a predetermined learning rule for determining a parameter.
【0012】請求項4に係る発明では、請求項3の神経
回路は、推定されたトルクを身体の力学を記述する非線
形方程式に代入して数値積分を行なって軌道を推定する
か、あるいは推定された加速度を巡回結合で数値積分し
て軌迫を推定し、仮想身体を制御する。In the invention according to claim 4, the neural circuit according to claim 3 substitutes the estimated torque into a non-linear equation for describing the dynamics of the body and performs numerical integration to estimate the trajectory, or the trajectory is estimated. The acceleration is numerically integrated by cyclic coupling to estimate the trajectories and control the virtual body.
【0013】請求項5に係る発明では、請求項4の神経
回路は、位置,速度から静止中と運動中における加速
度,トルク,力などを推定する部分に分割される。In the invention according to claim 5, the neural circuit according to claim 4 is divided into portions for estimating acceleration, torque, force, etc. during rest and movement from position and velocity.
【0014】[0014]
【作用】この発明に係るヒューマンインタフェース装置
は、オペレータの複数の筋肉の活動に応じた信号を表面
電極によって検出し、その検出信号を各筋肉が発生する
張力に対応する擬似張力を表わす信号に変換した後、非
線形ダイナミクスモデルによって運動軌道や力軌道を推
定し、その推定した運動軌道や力軌道で仮想身体を動作
させる。The human interface device according to the present invention detects a signal corresponding to the activity of a plurality of muscles of the operator by the surface electrode and converts the detected signal into a signal representing a pseudo tension corresponding to the tension generated by each muscle. After that, the motion trajectory and the force trajectory are estimated by the nonlinear dynamics model, and the virtual body is operated on the estimated motion trajectory and the force trajectory.
【0015】[0015]
【実施例】図1はこの発明の一実施例の概略ブロック図
である。図1において、表面電極1はオペレータの筋肉
の活動に応じた信号、たとえば筋電信号を検出するもの
であり、オペレータの身体に装着される。検出された筋
電信号は筋電信号増幅器2に与えられて増幅され、フィ
ルタ3に与えられる。フィルタ3は、増幅された筋電信
号をフィルタリングし、擬似張力を表わす信号に変換
し、身体ダイナミクスモデル4に与える。身体ダイナミ
クスモデル4はたとえば非線形神経回路が用いられ、擬
似張力を表わす信号に基づいて、運動軌道や力軌道を推
定し、コンピュータ5に与える。コンピュータ5は身体
ダイナミクスモデル4から与えられた運動軌道や力軌道
のパターンに応じて、内蔵されているソフトプログラム
に基づいて仮想身体6を制御する。1 is a schematic block diagram of an embodiment of the present invention. In FIG. 1, the surface electrode 1 detects a signal corresponding to the muscle activity of the operator, for example, a myoelectric signal, and is attached to the operator's body. The detected myoelectric signal is given to the myoelectric signal amplifier 2, amplified, and given to the filter 3. The filter 3 filters the amplified myoelectric signal, converts it into a signal representing pseudo tension, and supplies the signal to the body dynamics model 4. The body dynamics model 4 uses, for example, a non-linear neural circuit, estimates a motion trajectory and a force trajectory based on a signal representing a pseudo tension, and gives them to the computer 5. The computer 5 controls the virtual body 6 according to the pattern of the motion trajectory and the force trajectory given from the body dynamics model 4 based on a built-in software program.
【0016】図2はこの発明の一実施例の動作を説明す
るためのフローチャートである。次に、図2を参照し
て、図1の動作について説明する。表面電極1を使用者
の身体に装着し、使用者が身体を動かしたり力を発生し
たりすると、筋電信号が筋電信号増幅器2に与えられ、
増幅される。この増幅された筋電信号はフィルタ3に与
えられ、擬似張力が身体ダイナミクスモデル4に与えら
れる。身体ダイナミクスモデルはその擬似張力に基づい
て、運度軌道や力軌道を推定する。この推定された運動
パターンはコンピュータ5に与えられ、内蔵されている
プログラムに基づいて、仮想身体を推定した軌道に基づ
いて運動シミュレーションし、ディスプレイに表示す
る。そして、使用を終了していなければ初期状態に戻
り、上述の動作を繰り返す。FIG. 2 is a flow chart for explaining the operation of one embodiment of the present invention. Next, the operation of FIG. 1 will be described with reference to FIG. When the surface electrode 1 is attached to the user's body and the user moves the body or generates a force, a myoelectric signal is given to the myoelectric signal amplifier 2,
Amplified. The amplified myoelectric signal is applied to the filter 3 and the pseudo tension is applied to the body dynamics model 4. The body dynamics model estimates the trajectory of force and the force trajectory based on the pseudo tension. This estimated movement pattern is given to the computer 5, and based on a program stored therein, a movement simulation is performed based on the estimated trajectory of the virtual body, and the result is displayed on the display. Then, if the use has not been completed, the operation returns to the initial state and the above operation is repeated.
【0017】図3は筋電信号を計測する10個の筋肉と
表面電極の大まかな位置を示す図である。この発明の一
実施例では、腕の10個の筋肉から筋電信号が測定され
る。すなわち、図3に示すように、肩関節の伸筋,屈筋
として三角筋前部DLS,三角筋上部DLA,三角筋後
部DLC,大胸筋PMJ,大円筋TEM,肩,肘の2関
節筋として上腕二頭筋長頭BIL,上腕三頭筋長頭TR
L,肘関節の伸筋,屈筋として上腕筋BRC,上腕三頭
筋内側頭TRM,上腕三頭筋外側頭TRAである。図1
に示した表面電極は、たとえば1対の銀塩化銀表面電極
を用いて、表面筋電位を双極誘導し、筋電信号増幅器2
で差動増幅した後、その筋電信号を2kHzのサンプリ
ングクロックにより12bitサンプリングされる。表
面電極1の直径は約10mmで、筋線維に沿って電極間
の距離を15mmで身体に張付けられる。この信号を全
波整流した後に10点ごとの平均(EMGave)をと
り、さらに第(1)式のように5点ごとの移動平均をと
って平滑化される。この信号を平均筋電信号(EMGm
a)と呼ぶ。FIG. 3 is a diagram showing the rough positions of ten muscles for measuring myoelectric signals and surface electrodes. In one embodiment of the invention, myoelectric signals are measured from the ten muscles of the arm. That is, as shown in FIG. 3, the extensor muscle of the shoulder joint, the anterior deltoid muscle DLS as the flexor muscle, the upper delta muscle DLA, the posterior deltoid muscle DLC, the pectoralis major muscle PMJ, the great oval muscle TEM, and the two joint muscles of the shoulder and elbow. Biceps long head BIL, triceps long head TR as
L, extensor muscle of elbow joint, brachial muscle BRC as flexor muscle, triceps medial temporal muscle TRM, and triceps lateral temporal muscle TRA. FIG.
The surface electrode shown in FIG. 2 uses, for example, a pair of silver-silver chloride surface electrodes to induce the surface myoelectric potential in a bipolar manner, and the myoelectric signal amplifier
After being differentially amplified by, the myoelectric signal is sampled by 12 bits by a sampling clock of 2 kHz. The surface electrode 1 has a diameter of about 10 mm and is attached to the body with a distance between the electrodes of 15 mm along the muscle fiber. After this signal is full-wave rectified, the average (EMGave) for every 10 points is taken, and the moving average for every 5 points is taken as in the equation (1) to smooth the signal. This signal is the average myoelectric signal (EMGm
Call a).
【0018】[0018]
【数1】 [Equation 1]
【0019】したがって、200Hzサンプリングした
ことになる。随意運動では、上位中枢からの制御信号が
脊髄のα運動ニューロンを介して各筋肉に伝えられ、筋
肉が収縮し、各関節にトルクを生じさせ、望みの運動が
起こる。人で上位中枢からの制御信号を計測しようとし
た場合、非侵襲では表面筋電信号が考えられる。筋収縮
時の膜の興奮電位を皮膚上で計測した信号が表面筋電信
号である。表面筋電信号は、中枢神経系からの随意的な
信号だけでなく、末梢のフィードバックも含めて筋肉に
伝えられた信号が、時間的,空間的に重ね合されたもの
である。Therefore, 200 Hz sampling is performed. In voluntary movements, control signals from the upper center are transmitted to each muscle via α motor neurons of the spinal cord, causing the muscles to contract, producing torque in each joint, and the desired movement occurs. When a person tries to measure the control signal from the upper center, the non-invasive surface electromyographic signal is considered. The signal obtained by measuring the excitatory potential of the membrane during muscle contraction on the skin is the surface myoelectric signal. The surface myoelectric signal is not only an optional signal from the central nervous system but also a signal transmitted to the muscle including peripheral feedback, which is temporally and spatially superimposed.
【0020】中枢神経系からの随意的な信号だけでな
く、末梢のフィードバックも含めて筋肉に伝えられた信
号を運動指令と呼ぶ。表面筋電信号は筋の活動をまとま
った単位で記録していることから、身体運動を解析する
には適している。筋肉の発生する張力は同じ運動指令で
あっても筋長が長くなると増加する。この変化の仕方は
非線形であり、長さ−張力曲線と呼ばれている。また、
同じ運動指令であっても、筋長の短縮速度が大きくなる
と張力が減少する。この変化の仕方も非線形であり、短
縮速度−張力曲線と呼ばれている。A signal transmitted to muscle including not only an optional signal from the central nervous system but also peripheral feedback is called a motion command. Surface EMG signals are suitable for analyzing body movements because they record muscle activity in a unit. The tension generated by a muscle increases as the muscle length increases even with the same motion command. The manner of this change is non-linear and is called the length-tension curve. Also,
Even with the same motion command, the tension decreases as the muscle shortening speed increases. The manner of this change is also non-linear, and is called a shortening speed-tension curve.
【0021】人の場合、筋肉を直接取出して張力を計測
できないため、従来からも、筋電信号から筋肉の発生す
る張力を推定することが試みられてきた。筋電信号の信
号処理としては、全波整流した後に、一定時間平均をと
る方法,ローパスフィルタを通す方法,積分する方法な
どがある。ローパスフィルタを用いる方法は、筋肉の収
縮が遅い場合にはよく筋張力を推定する。しかし、速い
伸縮の場合は正確に推定できないし、長さ−張力曲線の
ような筋肉の非線形な性質は考慮できない。しかし、ロ
ーパスフィルタを通った出力信号を擬似張力と呼び、α
運動ニューロンの発火頻度を反映していると期待される
のでかなり真の張力に近いと考えられる。このローパス
フィルタは二次系で十分なことが知られている。つま
り、伝達関数は次の第(2)式で表わされる。In the case of humans, it is not possible to directly take out the muscle and measure the tension. Therefore, it has been attempted to estimate the tension generated by the muscle from the myoelectric signal. As signal processing of the myoelectric signal, there are a method of averaging for a fixed time after full-wave rectification, a method of passing through a low-pass filter, a method of integrating, and the like. The method using a low-pass filter often estimates the muscle tension when the muscle contracts slowly. However, in the case of fast expansion and contraction, it cannot be accurately estimated, and the nonlinear characteristics of muscles such as the length-tension curve cannot be considered. However, the output signal that has passed through the low-pass filter is called pseudo tension, and α
Since it is expected to reflect the firing frequency of motor neurons, it is considered to be close to the true tension. It is known that this low-pass filter is sufficient for a secondary system. That is, the transfer function is expressed by the following equation (2).
【0022】[0022]
【数2】 [Equation 2]
【0023】このインパルス応答は、第(3)式で表わ
すことができ、入力u,出力yとしてFIRフィルタで
実現すると第(4)式のようになる。This impulse response can be expressed by the equation (3), and when the input u and the output y are realized by the FIR filter, the equation (4) is obtained.
【0024】[0024]
【数3】 (Equation 3)
【0025】この係数は等尺性収縮において表面筋電信
号からトルクを推定する最適化によって求めることがで
きる。This coefficient can be obtained by optimization by estimating the torque from the surface myoelectric signal in isometric contraction.
【0026】図4は図1に示した身体ダイナミクスモデ
ル4の一例を示す4層構造のパーセプトロンを示し、図
5は図4の基本回路の精度を上げるためにモジュール構
造を導入した2層から4層までのブロック図であり、図
6は図5のネットワークをリカレント接続して運動軌道
を筋電信号から推測するようにした非線形ダイナミカル
システムモデルを示す図である。FIG. 4 shows a four-layer perceptron showing an example of the body dynamics model 4 shown in FIG. 1, and FIG. 5 shows a two-layer perceptron having a module structure for improving the accuracy of the basic circuit of FIG. FIG. 6 is a block diagram up to layers, and FIG. 6 is a diagram showing a nonlinear dynamical system model in which the network of FIG. 5 is recurrently connected to infer a motion trajectory from an myoelectric signal.
【0027】次に、図4ないし図6を参照して、図1に
示した身体ダイナミクスモデル4を具体的に説明する。
図4において、身体ダイナミクスモデル4は第1層4
1,第2層42,第3層43および第4層44とを含
み、第1層41には過去から現在に至る筋電信号EMG
ma(n)…EMGma(n−N+1)が入力される。
第1層41から第2層42までの変換によって、上述の
FIRフィルタ3を実現しており、フィルタ3の出力と
して擬似張力11が第2層42に与えられる。また、第
2層42には、肩の関節角度θs1,肘の関節角度θe1,
肩の関節角速度θs2,肘の関節角速度θe2が入力され
る。第2層42と第3層43はシナプス結合45されて
おり、さらに第3層43と第4層44とはシナプス結合
46によって結合されている。Next, the body dynamics model 4 shown in FIG. 1 will be specifically described with reference to FIGS. 4 to 6.
In FIG. 4, the body dynamics model 4 is the first layer 4
1, the second layer 42, the third layer 43, and the fourth layer 44, and the first layer 41 includes the myoelectric signal EMG from the past to the present.
ma (n) ... EMGma (n−N + 1) is input.
The FIR filter 3 described above is realized by the conversion from the first layer 41 to the second layer 42, and the pseudo tension 11 is applied to the second layer 42 as the output of the filter 3. Further, in the second layer 42, the shoulder joint angle θ s1 , the elbow joint angle θ e1 ,
The shoulder joint angular velocity θ s2 and the elbow joint angular velocity θ e2 are input. The second layer 42 and the third layer 43 are connected by a synapse connection 45, and the third layer 43 and the fourth layer 44 are connected by a synapse connection 46.
【0028】この図4に示した身体ダイナミクスモデル
4は以下の原理により、運動軌道や力軌道を推定する。
すなわち、筋肉は張力のみを発生するので、関節の角度
を変えるためには、関節の両側に拮抗的に働く1対の筋
を配置する必要がある。関節を伸ばす筋を伸筋,曲げる
筋を屈筋と呼ぶ。関節の回転軸と筋肉の作用線との距離
がモーメントアームである。関節を曲げ伸ばしすると、
筋肉は皮膚や骨によって曲げられるため、この距離は一
定でなく、トルクと張力の関係が関節角度に非線形に依
存する。関節トルクは伸筋と屈筋の発生するトルクの差
によって生じ、張力とモーメントアームに依存して決ま
ることになる。この関節トルクは次の第(5)式で表わ
される。The body dynamics model 4 shown in FIG. 4 estimates a motion trajectory and a force trajectory according to the following principle.
That is, since the muscle only generates tension, it is necessary to arrange a pair of muscles that act antagonistically on both sides of the joint in order to change the angle of the joint. The muscles that extend the joints are called extensors and the muscles that bend are called flexors. The distance between the axis of rotation of the joint and the line of action of the muscle is the moment arm. When you bend and stretch your joints,
Since muscles are bent by the skin and bones, this distance is not constant and the relationship between torque and tension depends non-linearly on the joint angle. The joint torque is generated by the difference between the torques generated by the extensor and flexor muscles, and depends on the tension and the moment arm. This joint torque is expressed by the following equation (5).
【0029】[0029]
【数4】 [Equation 4]
【0030】ここで、τs は肩のトルク,τe は肘のト
ルク,θs1は肩の関節角度,θe1は肘の関節角度であ
る。αis(θ),αie(θ)はi番目の筋肉のモーメン
トアーム(単関節筋なら関与しない関節については
0),Ti はi番目の筋肉の筋張力,Ti ′はi番目の
筋肉の擬似張力を表わす。Where τ s is the shoulder torque, τ e is the elbow torque, θ s1 is the shoulder joint angle, and θ e1 is the elbow joint angle. α is (θ), α ie (θ) are the moment arms of the i-th muscle (0 for joints that are not involved in a single joint muscle), T i is the muscle tension of the i-th muscle, and T i ′ is the i-th muscle Represents the pseudo tension of a muscle.
【0031】平面内の2関節運動における関節トルクと
軌道の関係は、次の第(7)式に示す運動方程式に従
う。The relationship between the joint torque and the trajectory in the two-joint motion within the plane follows the motion equation shown in the following equation (7).
【0032】[0032]
【数5】 (Equation 5)
【0033】ここで、τi ,θi1,θi2,θi3は各関節
の駆動トルク,関節角,関節角速度,関節角加速度を表
わし、Mi ,Li ,lgi,Ii ,bi は、各リンクの質
量,長さ,関節から質量中心までの長さ,関節まわりの
慣性モーメント,粘性抵抗の係数を表わす。Here, τ i , θ i1 , θ i2 , and θ i3 represent driving torque, joint angle, joint angular velocity, and joint angular acceleration of each joint, and M i , L i , l gi , I i , and b i. Represents the mass of each link, the length, the length from the joint to the center of mass, the moment of inertia around the joint, and the coefficient of viscous resistance.
【0034】神経回路モデルにより、表面筋電信号か
ら、各関節の角加速度を推定することを考える。表面筋
電信号は膜の興奮電位が時間的,空間的に重畳されてい
る信号である。図4で示したとおり、二次のローパスフ
ィルタを通すことにより、表面筋電信号から擬似張力を
計算することができる。人が運動を行なっているときの
各関節に発生しているトルクを自然な状態で計測するこ
とはできない。したがって、上述のごとく、軌道から運
動方程式を用いた逆ダイナミクス計算でトルクを推定す
ることになる。しかし、必要なパラメータの値を推定す
る必要がある。It is considered that the angular acceleration of each joint is estimated from the surface myoelectric signal using a neural circuit model. The surface myoelectric signal is a signal in which the membrane excitation potential is superimposed temporally and spatially. As shown in FIG. 4, the pseudo tension can be calculated from the surface myoelectric signal by passing a second-order low-pass filter. The torque generated in each joint when a person is exercising cannot be measured in a natural state. Therefore, as described above, the torque is estimated from the trajectory by the inverse dynamics calculation using the equation of motion. However, it is necessary to estimate the required parameter values.
【0035】一方、擬似張力から直接関節角加速度を推
定できれば、張力やトルクを陽に計算することなしに軌
道を生成することもできる。そこで、この発明の一実施
例では、筋電信号,関節角度と関節角速度とから各関節
の角加速度を第1層41〜第4層44のネットワークを
用いて推定している。擬似張力は、筋肉の非線形な性質
を含んではいないため、筋肉骨格系の非線形な性質や腕
のダイナミクスをネットワークの第2層42から第4層
44の間で学習により獲得することになる。On the other hand, if the joint angular acceleration can be estimated directly from the pseudo tension, the trajectory can be generated without explicitly calculating the tension or torque. Therefore, in one embodiment of the present invention, the angular acceleration of each joint is estimated from the myoelectric signal, the joint angle, and the joint angular velocity using the network of the first layer 41 to the fourth layer 44. Since the pseudo tension does not include the non-linear property of the muscle, the non-linear property of the musculoskeletal system and the dynamics of the arm are acquired by learning between the second layer 42 and the fourth layer 44 of the network.
【0036】腕をある位置に静止させているときでも、
リラックスしていたり、伸筋と屈筋を同時に活性化させ
ることにより腕を固くしたり、筋肉の発生する張力で比
較するといろいろな場合が考えられる。しかし、腕が静
止しているときは加速度は0であり、加速度だけを見る
と違いはわからない。また、このとき、関節角度が変わ
らないため、短縮速度−張力曲線の影響は受けていな
い。Even when the arm is stationary at a certain position,
There are various cases in which you can relax, stiffen the arm by activating the extensor and flexor muscles at the same time, and compare the tension generated by the muscles. However, the acceleration is 0 when the arm is stationary, and the difference cannot be understood by looking only at the acceleration. At this time, since the joint angle does not change, the shortening speed-tension curve is not affected.
【0037】逆に、運動しているときは、運動指令の中
に伸張反射などのローカルなフィードバックの影響があ
る。1つのネットワークで静止しているときと動いてい
るときの加速度を推定すると、加速度の小さいところ、
つまりほとんど止まっているような状態では、動いてい
るときに比べ加速度の値が小さいため、相対的に誤差が
小さく評価されてしまう。このため、リカレントネット
ワークを用いて軌道を生成するときに誤差の蓄積が起こ
り、正しい軌道を生成できない場合がある。以上の考察
に基づき、図5に示したモジュール構造を取入れること
によって問題を解決する。すなわち、図5に示すよう
に、ネットワークを2つのエキスパートネットワーク2
1,22に分割し、これらのエキスパートネットワーク
21,22の出力はゲートネットワーク23によって切
換えられる。エキスパートネットワーク21,22の入
力には、筋肉の張力Tと肩の関節角度θs1,肘の関節角
度θ e1と肩の関節角速度θs2と肘の関節角速度θe2が入
力され、ゲートネットワーク23の入力には、筋肉の張
力Tと肩の関節角度θs1と肘の関節角度θe1と肩の関節
角速度θs2の絶対値,肘の関節角速度θe2の絶対値と、
肩の関節角加速度θs3の絶対値と、肘の関節角加速度θ
e3の絶対値とが入力される。On the contrary, when exercising, the motion command
Is affected by local feedback such as stretch reflex.
You. One network is stationary and moving
When estimating the acceleration at the time of
In other words, when it is almost stopped, it is moving
Since the value of acceleration is smaller than that when
It will be evaluated small. Therefore, the recurrent net
Accumulation of errors occurs when generating trajectories using a workpiece.
Therefore, the correct trajectory may not be generated. Consideration above
Incorporate the module structure shown in FIG.
Solve the problem by. That is, as shown in FIG.
2 expert networks 2
1, 22 divided into these expert networks
The outputs of 21, 22 are cut off by the gate network 23.
Can be replaced. Entering expert networks 21 and 22
The force includes muscle tension T and shoulder joint angle θ.s1, Elbow joint angle
Degree θ e1And shoulder joint angular velocity θs2And elbow joint angular velocity θe2Is in
Applied to the gate network 23, the muscle tension
Force T and shoulder joint angle θs1And elbow joint angle θe1And shoulder joint
Angular velocity θs2Absolute value of, elbow joint angular velocity θe2The absolute value of
Shoulder joint angular acceleration θs3Absolute value of and elbow joint angular acceleration θ
e3The absolute value of and is input.
【0038】図5に示すように、2つのエキスパートネ
ットワーク21,22を用いることにより、学習がうま
く行なわれると、ゲートネットワーク23は入力信号に
よりエキスパートネットワーク21,22のいずれか一
方を選ぶことになる。今の場合、2つのエキスパートネ
ットワーク21,22のうちの一方が止まっていると
き、他方が動いているときに正しい加速度を推定するこ
とができる。このように、ゲートネットワーク23は入
力信号によっていずれか一方のエキスパートネットワー
クがどのくらい確率的に正しい出力を出すかを判断する
ことになるので、ゲートネットワーク23の出力はすべ
て正で合計が1であることが必要である。このため、第
(7)式に示すように、j番目のエキスパートネットワ
ークに対応するゲートネットワーク23の出力gj は正
規化されている。As shown in FIG. 5, when the learning is successfully performed by using the two expert networks 21 and 22, the gate network 23 will select one of the expert networks 21 and 22 according to the input signal. . In the present case, the correct acceleration can be estimated when one of the two expert networks 21, 22 is stationary and the other is moving. In this way, since the gate network 23 determines how much one of the expert networks stochastically outputs the correct output depending on the input signal, all the outputs of the gate network 23 are positive and the sum is 1. is necessary. Therefore, as shown in the equation (7), the output g j of the gate network 23 corresponding to the j-th expert network is normalized.
【0039】[0039]
【数6】 (Equation 6)
【0040】ここで、xi はゲートネットワーク23の
入力信号によって決まる値であり、Nはゲートネットワ
ーク23の出力の数である。そして、最終的な出力は、
第(8)式に示すように、各エキスパートネットワーク
の出力θi3′にゲートネットワーク23の出力を掛けて
和がとられる。Here, x i is a value determined by the input signal of the gate network 23, and N is the number of outputs of the gate network 23. And the final output is
As shown in Expression (8), the output θ i3 ′ of each expert network is multiplied by the output of the gate network 23 to obtain the sum.
【0041】[0041]
【数7】 (Equation 7)
【0042】個々のエキスパートネットワークは、対数
尤度lnLを最大化するように、第(9)式の誤差逆伝
搬を利用して学習を行なう。The individual expert networks perform learning by using the error back propagation of the equation (9) so as to maximize the log likelihood lnL.
【0043】[0043]
【数8】 (Equation 8)
【0044】加速度推定ネットワークは、現在の筋電信
号,関節角度と角速度から単位時間後の速度の変化(加
速度)を推定できるので、入力の関節角度,角速度と出
力の角速度から単位時間後の関節角度,角速度を計算す
ることができる。この関節角度,角速度と次の時刻の筋
電信号から次の単位時間後の関節角度,角速度を計算し
ていくことを繰り返していくと、初期の関節角度,角速
度と全運動時間の筋電信号だけから軌道を生成すること
ができる。この場合の神経回路モデルとしては、図6に
示すようなリカレント型となる。Since the acceleration estimation network can estimate the change (acceleration) in velocity after a unit time from the current myoelectric signal, joint angle and angular velocity, the joint after a unit time from the input joint angle and angular velocity and output angular velocity. Angle and angular velocity can be calculated. By repeating the calculation of the joint angle and angular velocity after the next unit time from the joint angle and angular velocity and the myoelectric signal at the next time, the myoelectric signals of the initial joint angle, angular velocity and total exercise time are repeated. The trajectory can be generated from only. The neural circuit model in this case is a recurrent type as shown in FIG.
【0045】図6において、筋電信号EMGはモデル3
1に入力される。モデル31は筋電信号に基づいて加速
度信号を出力する。この加速度信号は加算器32によっ
て一単位時間の遅れ要素33の出力と加算され、速度信
号が出力される。この速度信号は一単位時間の遅れ要素
33と34に入力され、一単位時間の遅れ要素33の出
力は上述の加算器32に与えられるとともに、モデル3
1にフィードバックされる。一単位時間の遅れ要素34
の出力は加算器36によって一単位時間の遅れ要素35
の出力と加算される。加算器36の出力は位置信号とな
り、一単位時間の遅れ要素35にあたえられ、一単位時
間の遅れ要素35の出力はモデル31にフィードバック
される。In FIG. 6, the myoelectric signal EMG is model 3
Input to 1. The model 31 outputs an acceleration signal based on the myoelectric signal. This acceleration signal is added by the adder 32 to the output of the delay element 33 for one unit time, and the speed signal is output. This speed signal is input to the one-unit-time delay elements 33 and 34, and the output of the one-unit-time delay element 33 is given to the above-mentioned adder 32 and the model 3
It is fed back to 1. One unit time delay element 34
Of the output of the delay element 35 of one unit time by the adder 36.
Is added to the output of. The output of the adder 36 becomes a position signal, which is given to the delay element 35 for one unit time, and the output of the delay element 35 for one unit time is fed back to the model 31.
【0046】図7は図6に示したモデルを用いて仮想腕
をある点からある点まで動かしたときの軌道の様子を示
している。図7(a)は肩の位置の時間変化を示し、
(b)は肩の速度の時間変化を示し、(c)は肩の加速
度の時間変化を示している。ただし、点線は実際の腕の
運動であり、実線が仮想腕の運動を示している。図7
(d)は肩のための2つのゲートネットワークの出力を
示しており、点線が運動中であり、実線が静止中の出力
である。さらに、図7(e)は肘の位置の時間変化を示
し、(f)は肘の速度の時間変化を示し、(g)は肘の
加速度の時間変化を示している。この場合においても、
点線が実際の腕の運動であり、実線が仮想腕の運動を示
している。図7(h)は肘のゲートネットワーク23の
出力を示したものであり、点線が運動中であり、実線が
静止中の出力である。FIG. 7 shows the state of the trajectory when the virtual arm is moved from a certain point to a certain point using the model shown in FIG. FIG. 7 (a) shows the change over time in the position of the shoulder,
(B) shows the time change of the shoulder speed, and (c) shows the time change of the shoulder acceleration. However, the dotted line shows the actual arm movement, and the solid line shows the virtual arm movement. Figure 7
(D) shows the output of the two gate networks for the shoulders, the dotted line is in motion and the solid line is in stationary. Further, FIG. 7E shows a time change of the elbow position, FIG. 7F shows a time change of the elbow speed, and FIG. 7G shows a time change of the elbow acceleration. Even in this case,
The dotted line shows the actual arm movement, and the solid line shows the virtual arm movement. FIG. 7 (h) shows the output of the elbow gate network 23, where the dotted line is the motion and the solid line is the output when the robot is stationary.
【0047】図7(d),(h)から明らかなように、
止まっているときにはエキスパートネットワーク21,
22がほぼ同じ確率で出力しており、運動しているとき
にはエキスパートネットワーク22が主に出力してい
る。また、運動の初めと終りの部分でゲートネットワー
ク23が切換わるところでも遅れがなく、加速度の変化
をよく推定している。As is apparent from FIGS. 7D and 7H,
Expert network 21 when stopped,
22 outputs with almost the same probability, and the expert network 22 mainly outputs when exercising. Also, there is no delay even when the gate network 23 is switched at the beginning and end of the exercise, and the change in acceleration is well estimated.
【0048】[0048]
【発明の効果】以上のように、この発明によれば、オペ
レータの複数の筋肉の活動に応じた信号を検出し、その
検出信号を各筋肉が発生する張力に対応する擬似張力を
表わす信号に変換し、その信号に基づいて運動軌道や力
軌道を推定して仮想身体を制御するようにしたので、計
算機内の世界で身体の一部または全部のモデルである仮
想身体をあたかも自分の分身であるかのように自然に制
御し、位置のみならず力,速度,加速度を自由に操るこ
とができるようなヒューマンインタフェース装置を実現
できる。しかも、安全性や利便性や価格性やスペースユ
ーティリティなどの点で従来のマウスやデータグローブ
と同等で、機械式力計測インタフェース装置に比べては
るかに優れた装置を実現できる。As described above, according to the present invention, a signal corresponding to the activity of a plurality of muscles of an operator is detected, and the detected signal is converted into a signal representing a pseudo tension corresponding to the tension generated by each muscle. It transforms and estimates the motion trajectory and force trajectory based on the signal to control the virtual body, so the virtual body, which is a model of part or all of the body in the computer world, is as if It is possible to realize a human interface device that can be naturally controlled as if it were present and can freely manipulate not only position but also force, velocity, and acceleration. Moreover, in terms of safety, convenience, price, space utility, etc., it is possible to realize a device that is equivalent to the conventional mouse and data glove and is far superior to the mechanical force measurement interface device.
【図1】この発明の一実施例の概略ブロック図である。FIG. 1 is a schematic block diagram of an embodiment of the present invention.
【図2】図1の動作を説明するためのフローチャートで
ある。FIG. 2 is a flowchart for explaining the operation of FIG.
【図3】筋電信号を計測した10個の筋肉と表面電極の
大まかな位置を示す図である。FIG. 3 is a diagram showing the rough positions of ten muscles and surface electrodes for measuring myoelectric signals.
【図4】筋電信号と位置,速度から関節角加速度を推定
する基本的な4層構造のパーセプトロンを示す図であ
る。FIG. 4 is a diagram showing a basic four-layer perceptron for estimating joint angular acceleration from myoelectric signals, position, and velocity.
【図5】図4に示した基本回路の精度を上げるためにモ
ジュール構造を導入した2層から4層までのネットワー
クのブロック図である。5 is a block diagram of a network of 2 to 4 layers in which a module structure is introduced to improve the accuracy of the basic circuit shown in FIG.
【図6】図5のネットワークをリカレント接続して運動
軌道を筋電信号から推測するようにした非線形のダイナ
ミカルシステムモデルを示す図である。6 is a diagram showing a non-linear dynamical system model in which the network of FIG. 5 is recurrently connected to estimate a motion trajectory from an myoelectric signal.
【図7】図6のモデルを用いて仮想腕をある点からある
点まで動かしたときの軌道の様子を示す図である。FIG. 7 is a diagram showing a state of a trajectory when the virtual arm is moved from a certain point to a certain point using the model of FIG.
1 表面電極 2 筋電信号増幅器 3 フィルタ 4 身体ダイナミクスモデル 5 コンピュータ 41 第1層 42 第2層 43 第3層 44 第4層 21,22 エキスパートネットワーク 23 ゲートネットワーク 31 モデル 32,36 加算器 33,34,35 一単位時間の遅れ要素 1 surface electrode 2 myoelectric signal amplifier 3 filter 4 body dynamics model 5 computer 41 1st layer 42 2nd layer 43 3rd layer 44 4th layer 21,22 expert network 23 gate network 31 model 32,36 adder 33,34 , 35 One unit time delay factor
Claims (5)
算機に入力するためのヒューマンインタフェース装置で
あって、 前記オペレータの複数の筋肉の活動に応じた信号を検出
するために、該オペレータの身体に装着される表面電
極、 前記表面電極の各検出出力を各筋肉が発生する張力に対
応する擬似張力を表わす信号に変換し、その信号に基づ
いて運動軌道や力軌道を推定する非線形ダイナミクスモ
デル、および 前記非線形ダイナミクスモデルの出力に応じて、前記推
定された運動軌道や力軌道で動作する仮想身体を備え
た、ヒューマンインタフェース装置。1. A human interface device for inputting necessary information to a computer by an operator's operation, which is worn on the operator's body to detect signals corresponding to activities of a plurality of muscles of the operator. A surface electrode, a non-linear dynamics model for converting each detection output of the surface electrode into a signal representing a pseudo tension corresponding to the tension generated by each muscle, and estimating a motion trajectory and a force trajectory based on the signal, and A human interface device comprising a virtual body operating on the estimated motion trajectory or force trajectory in accordance with the output of a nonlinear dynamics model.
回路を含み、 前記神経回路は、 前記表面電極から入力される複数の筋肉の活動に応じた
信号をフィルタリングし、各筋肉が発生する張力に対応
する擬似張力を表わす信号を出力する前段の回路と、 前記前段の回路からの信号を受け、擬似張力,位置,速
度からトルク,外界へ及ぼす力および加速度信号を推定
する複数層からなる後段の回路とを含む、請求項1のヒ
ューマンインタフェース装置。2. The non-linear dynamics model includes a neural circuit, and the neural circuit filters a signal according to the activities of a plurality of muscles input from the surface electrode and corresponds to a tension generated by each muscle. A front-stage circuit that outputs a signal representing the pseudo tension, and a rear-stage circuit that includes a plurality of layers that receives the signal from the front-stage circuit and estimates the pseudo tension, the torque from the position and speed, the force exerted on the outside world, and the acceleration signal. The human interface device of claim 1, comprising:
ために所定の学習則を用いて学習することを特徴とす
る、請求項2のヒューマンインタフェース装置。3. The human interface device according to claim 2, wherein the neural circuit learns using a predetermined learning rule to determine a parameter.
を身体の力学を記述する非線形方程式に代入して数値積
分を行なって軌道を推定するか、前記推定された加速度
を巡回結合で数値積分して軌道を推定し、前記仮想身体
を制御することを特徴とする、請求項3のヒューマンイ
ンタフェース装置。4. The neural circuit substitutes the estimated torque into a non-linear equation that describes the dynamics of the body and performs numerical integration to estimate a trajectory, or numerically integrates the estimated acceleration by cyclic coupling. The human interface device according to claim 3, wherein the trajectory is estimated to control the virtual body.
止中と運動中における加速度,トルク,力などを推定す
る部分に分割されていることを特徴とする、請求項4の
ヒューマンインタフェース装置。5. The human interface device according to claim 4, wherein the neural circuit is divided into a portion for estimating acceleration, torque, force, etc. during rest and movement from the position and velocity.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17126493A JP2557789B2 (en) | 1993-07-12 | 1993-07-12 | Human interface device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17126493A JP2557789B2 (en) | 1993-07-12 | 1993-07-12 | Human interface device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0728592A JPH0728592A (en) | 1995-01-31 |
JP2557789B2 true JP2557789B2 (en) | 1996-11-27 |
Family
ID=15920109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17126493A Expired - Lifetime JP2557789B2 (en) | 1993-07-12 | 1993-07-12 | Human interface device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2557789B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990066563A (en) * | 1998-01-30 | 1999-08-16 | 전주범 | Virtual reality system for arm disabled |
JP3660330B2 (en) * | 2002-08-13 | 2005-06-15 | 独立行政法人科学技術振興機構 | Impedance measurement device and motor learning support device |
JP6732167B2 (en) * | 2016-06-02 | 2020-07-29 | 株式会社ブリヂストン | Joint torque measuring method, inverse dynamics calculation system, and joint torque measuring program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0358214A (en) * | 1989-07-27 | 1991-03-13 | Nec Corp | Pointing data input device |
-
1993
- 1993-07-12 JP JP17126493A patent/JP2557789B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0728592A (en) | 1995-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11069148B2 (en) | Visualization of reconstructed handstate information | |
CN111902077B (en) | Calibration technique for hand state representation modeling using neuromuscular signals | |
US10817795B2 (en) | Handstate reconstruction based on multiple inputs | |
US11127143B2 (en) | Real-time processing of handstate representation model estimates | |
US10489986B2 (en) | User-controlled tuning of handstate representation model parameters | |
US9392954B2 (en) | Classification estimating system and classification estimating program | |
Zhao et al. | An EMG-driven musculoskeletal model for estimating continuous wrist motion | |
CN112074225A (en) | Method and apparatus for reducing neuromuscular signaling artifacts | |
Rao et al. | Evaluation of an isometric and a position joystick in a target acquisition task for individuals with cerebral palsy | |
Rezzoug et al. | Prediction of fingers posture using artificial neural networks | |
JPH0724766A (en) | Robot controller | |
JP2557789B2 (en) | Human interface device | |
JP2542336B2 (en) | Robot controller | |
DaSalla et al. | Robot control using electromyography (EMG) signals of the wrist | |
Dasanayake et al. | Estimation of prosthetic arm motions using stump arm kinematics | |
Beninati et al. | A dynamic model of hand movements for proportional myoelectric control of a hand prosthesis | |
CN118061200B (en) | Force feedback method and device for teleoperation system based on vibration induction | |
WO2023276239A1 (en) | Information processing device, information processing method, and program | |
Kakoty et al. | A two layered control architecture for prosthetic grasping | |
Amsing | Validation of machine learning computed muscle activation with experimental EMG | |
Bull | Robotic Grasp Control using Tactile Feedback | |
Gwon et al. | Continuous Intention Prediction of Lifting Motions Using EMG-Based CNN-LSTM | |
Dwivedi | Extraction, Interpretation and Application of Nonlinear Muscle Synergies toward Proportional Myoelectric Control | |
Alsayegh | EMG-Based position and trajectory estimation of human arm gestures: theoretical development and experimental investigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960618 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |