JP6652252B2 - Myoelectric signal processing method, apparatus and program - Google Patents

Myoelectric signal processing method, apparatus and program Download PDF

Info

Publication number
JP6652252B2
JP6652252B2 JP2015241474A JP2015241474A JP6652252B2 JP 6652252 B2 JP6652252 B2 JP 6652252B2 JP 2015241474 A JP2015241474 A JP 2015241474A JP 2015241474 A JP2015241474 A JP 2015241474A JP 6652252 B2 JP6652252 B2 JP 6652252B2
Authority
JP
Japan
Prior art keywords
variance
myoelectric signal
signal
myoelectric
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015241474A
Other languages
Japanese (ja)
Other versions
JP2017104333A (en
Inventor
辻 敏夫
敏夫 辻
雄一 栗田
雄一 栗田
英朗 早志
英朗 早志
彬 古居
彬 古居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiroshima University NUC
Original Assignee
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiroshima University NUC filed Critical Hiroshima University NUC
Priority to JP2015241474A priority Critical patent/JP6652252B2/en
Publication of JP2017104333A publication Critical patent/JP2017104333A/en
Application granted granted Critical
Publication of JP6652252B2 publication Critical patent/JP6652252B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、表面筋電位信号(以下、筋電信号という)の処理技術に関し、特に、整流平滑化後の筋電信号から信号強度依存ノイズが重畳された整流平滑化前の筋電信号の分散の分布を推定し、さらに当該推定した分布に基づいて人工筋電信号を生成する技術に関する。   The present invention relates to a technique for processing a surface electromyogram signal (hereinafter, referred to as an electromyogram signal), and in particular, dispersion of a myoelectric signal before rectification and smoothing in which signal intensity-dependent noise is superimposed on an electromyography signal after rectification and smoothing. And a technique for generating an artificial myoelectric signal based on the estimated distribution.

筋電信号は筋活動の定量評価に有用であり、従来、筋電義手の制御や、リハビリ時やトレーニング時の運動解析に応用されてきた。それらの応用においては、筋電信号から特徴量を抽出すべく、筋電信号がモデル化され用いられる(例えば、非特許文献1参照)。   Myoelectric signals are useful for quantitative evaluation of muscle activity, and have been applied to control of myoelectric prosthetic hands and to exercise analysis during rehabilitation and training. In those applications, a myoelectric signal is modeled and used to extract a feature amount from the myoelectric signal (for example, see Non-Patent Document 1).

近年、筋電信号を含む生体信号の研究が進むにつれ、信号強度依存ノイズの存在が明らかになってきた(例えば、非特許文献2参照)。すなわち、腕に思いきり力を入れると腕が震えるように、筋電信号には筋力の強さに応じた信号強度依存ノイズが重畳される。   In recent years, with the progress of research on biological signals including myoelectric signals, the existence of signal intensity-dependent noise has become apparent (for example, see Non-Patent Document 2). In other words, signal strength-dependent noise corresponding to the strength of the muscular force is superimposed on the myoelectric signal so that the arm vibrates when the force is applied to the arm.

N. Hogan and R. W. Mann, “Myoelectric signal processing: Optimal estimation applied to electromyography-part i: Derivation of the optimal myoprocessor,” IEEE Trans. Biomed. Eng., vol. BME-27, no.7, pp.382-395, 1980.N. Hogan and RW Mann, “Myoelectric signal processing: Optimal estimation applied to electromyography-part i: Derivation of the optimal myoprocessor,” IEEE Trans. Biomed. Eng., Vol. BME-27, no.7, pp.382- 395, 1980. C. M. Harris and D. M. Wolpert, “Signal-dependent noise determines motor planning,” Nature, vol. 394, no. 6695, pp. 780-784, 1998.C. M. Harris and D. M. Wolpert, “Signal-dependent noise determines motor planning,” Nature, vol. 394, no.6695, pp. 780-784, 1998.

従来の筋電信号モデルでは筋電信号の分散は一定であると仮定しているが、実際には筋電信号には筋力に応じた信号強度依存ノイズが重畳されるため、筋電信号の分散は一定ではなく信号強度依存ノイズに応じてばらつきが生じる。すなわち、従来の筋電信号モデルは信号強度依存ノイズの存在を十分に反映できていない。   In the conventional myoelectric signal model, the variance of the myoelectric signal is assumed to be constant. However, since the signal strength-dependent noise according to the muscular strength is superimposed on the myoelectric signal, the variance of the myoelectric signal is actually increased. Is not constant but varies according to the signal strength dependent noise. That is, the conventional myoelectric signal model does not sufficiently reflect the presence of signal intensity-dependent noise.

一方、筋電信号に重畳された信号強度依存ノイズは筋電信号を解析することで推定することができるが、計測筋電信号のサンプリング周波数は1000〜2000[Hz]であり信号帯域幅が広く情報量が多いため、現実には筋電計において計測筋電信号は5[Hz]程度でダウンサンプリングされて情報量を落とした整流平滑化信号に変換される。そのような筋電計から得られる整流平滑化信号から信号強度依存ノイズを推定したり、計測筋電信号を復元したりすることのニーズがあるが、従来の筋電信号モデルでは整流平滑化信号から信号強度依存ノイズを推定することも計測筋電信号を復元することも困難である。   On the other hand, the signal intensity-dependent noise superimposed on the myoelectric signal can be estimated by analyzing the myoelectric signal, but the sampling frequency of the measured myoelectric signal is 1000 to 2000 [Hz], and the signal bandwidth is wide. Since the amount of information is large, the measured myoelectric signal is actually down-sampled at about 5 [Hz] in an electromyograph and converted into a rectified smoothed signal with a reduced amount of information. There is a need to estimate signal strength-dependent noise from the rectified and smoothed signal obtained from such an electromyograph and to restore the measured myoelectric signal. It is difficult to estimate the signal-intensity-dependent noise from the noise and to restore the measured myoelectric signal.

さらに、特に筋電義手制御の分野において、信号強度依存ノイズを考慮して人工筋電信号を生成することへのニーズがある。筋電義手の制御には、サポートベクターマシンやニューラルネットワークが利用され、事前に識別対象動作の筋電信号のパターンを学習させる必要があるが、筋電義手の使用者の負担を考え、軽い発揮筋力での機械学習が行われる。このため、実生活において大きな筋力が発揮されると、信号強度依存ノイズの影響で識別対象動作の誤識別が起こり、筋電義手が誤作動するおそれがある。そのような誤識別や誤作動を防ぐには、実生活において発揮されると考えられるさまざまな大きさの筋力に対応した筋活動度での筋電信号を、信号強度依存ノイズを考慮した形で人工的に生成し、この人工筋電信号を用いて機械学習することが望まれる。   Furthermore, in the field of myoelectric prosthetic hand control, there is a need for generating an artificial myoelectric signal in consideration of signal intensity-dependent noise. Support vector machines and neural networks are used to control the myoelectric prosthesis, and it is necessary to train the myoelectric signal pattern of the motion to be identified in advance. Machine learning with muscle strength is performed. For this reason, if a large muscular strength is exerted in real life, erroneous identification of the identification target operation may occur due to the influence of signal intensity-dependent noise, and the myoelectric hand may malfunction. In order to prevent such misidentification or malfunction, the myoelectric signal at the muscle activity corresponding to the muscular strength of various sizes considered to be exerted in real life is generated in consideration of the signal intensity-dependent noise. It is desired to generate artificially and perform machine learning using this artificial myoelectric signal.

上記問題に鑑み、本発明は、整流平滑化後の筋電信号から信号強度依存ノイズが重畳された整流平滑化前の筋電信号の分散の分布を推定し、さらに当該推定した分布に基づいて人工筋電信号を生成することを課題とする。   In view of the above problems, the present invention estimates the distribution of the variance of the myoelectric signal before rectification and smoothing in which signal intensity-dependent noise is superimposed from the myoelectric signal after rectification and smoothing, and further based on the estimated distribution. An object is to generate an artificial myoelectric signal.

本発明の一局面に従った筋電信号処理方法は、時間窓処理部が、信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号について所定の時間長ごとに平均を計算するステップと、分散平均推定部が、整流平滑化信号の平均および筋電信号の整流平滑化に係るフィルタゲインの逆数から筋電信号の分散の平均の推定値を計算するステップと、信号強度依存ノイズ分散推定部が、筋電信号の分散の平均の推定値および筋電信号の分散の分布を規定するパラメータから信号強度依存ノイズの分散の推定値を計算するステップとを備え、前記筋電信号の分散の分布は、前記筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布であるIn the myoelectric signal processing method according to one aspect of the present invention, the time window processing section averages the rectified and smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal intensity-dependent noise is superimposed for each predetermined time length. Calculating, and a variance average estimating unit calculating an average value of the variance of the myoelectric signal from the reciprocal of the average of the rectified and smoothed signal and the filter gain related to the rectification and smoothing of the myoelectric signal; dependent noise variance estimation unit, and a step of calculating an estimated value of the myoelectric signal of the variance of the mean of the estimates and Sujiden signal variance of the distribution variance from the parameters defining the signal strength dependent noise, the muscle wire The distribution of the variance of the signal has a property conjugate to the distribution of the myoelectric signal and satisfies the non-negativeness of the variance .

同様に、筋電信号処理装置は、信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号について所定の時間長ごとに平均を計算する時間窓処理部と、整流平滑化信号の平均および筋電信号の整流平滑化に係るフィルタゲインの逆数から筋電信号の分散の平均の推定値を計算する分散平均推定部と、筋電信号の分散の平均の推定値および筋電信号の分散の分布を規定するパラメータから信号強度依存ノイズの分散の推定値を計算する信号強度依存ノイズ分散推定部とを備え、前記筋電信号の分散の分布は、前記筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布であるSimilarly, the myoelectric signal processing device includes a time window processing section that calculates an average of a rectified and smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal intensity-dependent noise is superimposed for each predetermined time length; A variance average estimator for calculating an average of the variance of the myoelectric signal from the reciprocal of the average of the signal and the filter gain relating to the rectification and smoothing of the myoelectric signal; an average of the variance of the myoelectric signal; A signal strength-dependent noise variance estimating unit that calculates an estimated value of the variance of the signal strength-dependent noise from a parameter that defines the distribution of the variance of the signal , wherein the distribution of the variance of the myoelectric signal is the distribution of the myoelectric signal. It is a distribution that has properties that are conjugate to that, and that satisfies the non-negative nature of variance .

同様に、筋電信号処理プログラムは、信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号について所定の時間長ごとに平均を計算する手段、整流平滑化信号の平均および筋電信号の整流平滑化に係るフィルタゲインの逆数から筋電信号の分散の平均の推定値を計算する手段、および筋電信号の分散の平均の推定値および筋電信号の分散の分布を規定するパラメータから信号強度依存ノイズの分散の推定値を計算する手段としてコンピュータを機能させ、前記筋電信号の分散の分布は、前記筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布であるSimilarly, the myoelectric signal processing program is a means for calculating an average for each predetermined time length of the rectified and smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal intensity-dependent noise is superimposed, the average of the rectified and smoothed signal and defining means, and the average of the variance of the myoelectric signal distribution of the variance of the estimate and Sujiden signal to calculate an estimate of the mean from the reciprocal of filter gain of the variance of the myoelectric signal according to the rectified and smoothed myoelectric signal The computer functions as a means for calculating an estimated value of the variance of the signal intensity-dependent noise from the parameters to be performed, and the distribution of the variance of the myoelectric signal has a property conjugate to the distribution of the myoelectric signal, and It is a distribution that satisfies non-negativeness .

当該筋電信号処理方法、装置およびプログラムによると、信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号から筋電信号の分散の平均の推定値および信号強度依存ノイズの分散の推定値が計算され、これら推定値を用いて、信号強度依存ノイズが重畳された整流平滑化前の筋電信号の分散の分布を推定することができる。   According to the myoelectric signal processing method, the apparatus and the program, from the rectified smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal intensity-dependent noise is superimposed, the estimated value of the average of the variance of the myoelectric signal and the Estimates of the variance are calculated, and using these estimates, the distribution of the variance of the myoelectric signal before rectification and smoothing on which the signal intensity-dependent noise is superimposed can be estimated.

上記筋電信号処理方法は、第1の乱数発生器が、白色正規乱数を発生させるステップと、シェイピングフィルタが、白色正規乱数の周波数特性を筋電信号と同様の周波数特性に整形するステップと、第2の乱数発生器が、筋電信号の分散の平均の推定値および信号強度依存ノイズの分散の推定値で規定される筋電信号の分散の分布に従った乱数を発生させるステップと、人工筋電信号生成部が、整形された乱数および筋電信号の分散の分布に従った乱数から人工筋電信号を生成するステップとを備えていてもよい。   In the myoelectric signal processing method, the first random number generator generates a white normal random number, and the shaping filter shapes the frequency characteristic of the white normal random number into a frequency characteristic similar to that of the myoelectric signal. A second random number generator for generating a random number according to a distribution of the variance of the myoelectric signal defined by the estimated value of the average of the variance of the myoelectric signal and the estimated value of the variance of the signal intensity-dependent noise; Generating an artificial myoelectric signal from the shaped random number and a random number according to the distribution of the variance of the myoelectric signal.

同様に、上記筋電信号処理装置は、白色正規乱数を発生させる第1の乱数発生器と、白色正規乱数の周波数特性を筋電信号と同様の周波数特性に整形するシェイピングフィルタと、筋電信号の分散の平均の推定値および信号強度依存ノイズの分散の推定値で規定される筋電信号の分散の分布に従った乱数を発生させる第2の乱数発生器と、整形された乱数および筋電信号の分散の分布に従った乱数から人工筋電信号を生成する人工筋電信号生成部とを備えていてもよい。   Similarly, the myoelectric signal processing device includes a first random number generator that generates white normal random numbers, a shaping filter that shapes the frequency characteristics of the white normal random numbers into frequency characteristics similar to those of the myoelectric signal, A random number generator that generates random numbers according to the distribution of the variance of the myoelectric signal defined by the average value of the variance and the estimated value of the variance of the signal intensity-dependent noise, and the shaped random number and the myoelectric signal An artificial myoelectric signal generation unit that generates an artificial myoelectric signal from random numbers in accordance with the distribution of signal variances.

同様に、上記筋電信号処理プログラムは、白色正規乱数を発生させる手段、白色正規乱数の周波数特性を筋電信号と同様の周波数特性に整形する手段、筋電信号の分散の平均の推定値および信号強度依存ノイズの分散の推定値で規定される筋電信号の分散の分布に従った乱数を発生させる手段、および整形された乱数および筋電信号の分散の分布に従った乱数から人工筋電信号を生成する手段としてコンピュータを機能させてもよい。   Similarly, the myoelectric signal processing program includes means for generating white normal random numbers, means for shaping the frequency characteristics of the white normal random numbers into frequency characteristics similar to those of the myoelectric signal, an estimated value of the variance of the myoelectric signal and Means for generating a random number according to the distribution of the myoelectric signal defined by the estimated value of the variance of the signal intensity-dependent noise, and an artificial myoelectric signal from the shaped random number and the random number according to the distribution of the myoelectric signal variance The computer may function as a means for generating a signal.

当該筋電信号処理方法、装置およびプログラムによると、整形された白色正規乱数および筋電信号の分散の分布に従った乱数から信号強度依存ノイズを考慮した人工筋電信号を生成することができる。   According to the myoelectric signal processing method, apparatus and program, an artificial myoelectric signal can be generated in consideration of signal intensity-dependent noise from a shaped white normal random number and a random number according to a distribution of variance of the myoelectric signal.

上記筋電信号処理方法は、分散平均推定部が、最大随意筋収縮時の整流平滑化信号、指定された筋活動度および筋電信号の整流平滑化に係るフィルタゲインの逆数から当該筋活動度での筋電信号の分散の平均の推定値を計算するステップと、信号強度依存ノイズ分散推定部が、筋電信号の分散の分布を規定するパラメータおよび当該筋活動度での筋電信号の分散の平均の推定値から当該筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値を計算するステップと、第2の乱数発生器が、当該筋活動度での筋電信号の分散の平均の推定値および当該筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値で規定される当該筋活動度での筋電信号の分散の分布に従った乱数を発生させるステップとを備えていてもよい。 In the myoelectric signal processing method, the variance average estimating section calculates the rectified smoothed signal at the maximum voluntary muscle contraction, the specified muscular activity and the reciprocal of the filter gain related to the rectified smoothing of the myoelectric signal with the muscular activity. Calculating an estimated value of the average of the variance of the myoelectric signal, and a signal intensity-dependent noise variance estimating section calculates a parameter defining a distribution of the variance of the myoelectric signal and a variance of the myoelectric signal at the muscle activity. Calculating an estimate of the variance of the signal intensity dependent noise superimposed on the myoelectric signal at that muscle activity from the average estimate; and wherein the second random number generator generates the myoelectric signal at that muscle activity. The distribution of the variance of the myoelectric signal at the muscle activity defined by the estimated value of the average of the variance of the muscular activity and the estimated value of the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the myoactivity Generating a random number. There.

同様に、上記筋電信号処理装置において、分散平均推定部が、最大随意筋収縮時の整流平滑化信号、指定された筋活動度および筋電信号の整流平滑化に係るフィルタゲインの逆数から当該筋活動度での筋電信号の分散の平均の推定値を計算するものであり、信号強度依存ノイズ分散推定部が、筋電信号の分散の分布を規定するパラメータおよび当該筋活動度での筋電信号の分散の平均の推定値から当該筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値を計算するものであり、第2の乱数発生器が、当該筋活動度での筋電信号の分散の平均の推定値および当該筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値で規定される当該筋活動度での筋電信号の分散の分布に従った乱数を発生させるものであってもよい。 Similarly, in the myoelectric signal processing apparatus, the variance average estimating section calculates the muscular rectified smoothed signal at the maximum voluntary muscle contraction, the designated muscular activity, and the reciprocal of the filter gain related to rectified and smoothed myoelectric signal. The signal strength-dependent noise variance estimator calculates a mean value of the average of the variance of the myoelectric signal at the activity level, and a parameter defining the distribution of the variance of the myoelectric signal and the myoelectric signal at the myoactivity level. A second random number generator calculates the estimated value of the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the muscle activity from the estimated value of the average of the variance of the muscle activity. Of the average of the variance of the myoelectric signal at the same time and the variance of the myoelectric signal at the relevant myoactivity defined by the estimated value of the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the relevant myoactivity Generates random numbers according to the distribution of It may be.

同様に、上記筋電信号処理プログラムは、最大随意筋収縮時の整流平滑化信号、指定された筋活動度および筋電信号の整流平滑化に係るフィルタゲインの逆数から当該筋活動度での筋電信号の分散の平均の推定値を計算する手段、筋電信号の分散の分布を規定するパラメータおよび当該筋活動度での筋電信号の分散の平均の推定値から当該筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値を計算する手段、および当該筋活動度での筋電信号の分散の平均の推定値および当該筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値で規定される当該筋活動度での筋電信号の分散の分布に従った乱数を発生させる手段としてコンピュータを機能させてもよい。 Similarly, the myoelectric signal processing program calculates the myoelectric signal at the myoelectric activity from the reciprocal of the rectified and smoothed signal at the maximum voluntary muscle contraction, the designated myoactivity and the filter gain related to the myoelectric signal rectifying and smoothing. Means for calculating an estimate of the average of the variance of the signal, a parameter defining the distribution of the variance of the myoelectric signal, and the EMG at the muscle activity from the estimate of the average of the variance of the myoelectric signal at the muscle activity. Means for calculating an estimate of the variance of the signal intensity dependent noise superimposed on the signal, and an estimate of the average of the variance of the myoelectric signal at that muscle activity and being superimposed on the myoelectric signal at that muscle activity The computer may function as means for generating a random number according to the distribution of the variance of the myoelectric signal at the muscle activity defined by the estimated value of the variance of the signal intensity-dependent noise.

当該筋電信号処理方法、装置およびプログラムによると、任意の筋活動度を指定して、その筋活動度での人工筋電信号を生成することができる。   According to the myoelectric signal processing method, apparatus, and program, it is possible to designate an arbitrary myoactivity and generate an artificial myoelectric signal at the myoactivity.

上記筋電信号処理方法、装置およびプログラムにおいて、例えば、筋電信号の分散の分布が逆ガンマ分布であってもよく、パラメータが逆ガンマ分布の形状母数であってもよい。   In the myoelectric signal processing method, apparatus and program, for example, the distribution of the variance of the myoelectric signal may be an inverse gamma distribution, and the parameter may be a shape parameter of the inverse gamma distribution.

本発明によると、整流平滑化後の筋電信号から信号強度依存ノイズが重畳された整流平滑化前の筋電信号の分散の分布を推定することができる。さらに、当該推定した分布に基づいて人工筋電信号を生成することができる。   According to the present invention, it is possible to estimate the distribution of the variance of the myoelectric signal before rectification and smoothing on which the signal intensity dependent noise is superimposed, from the myoelectric signal after rectification and smoothing. Further, an artificial myoelectric signal can be generated based on the estimated distribution.

本発明で採用する筋電信号モデルの概略図Schematic diagram of the myoelectric signal model used in the present invention 本発明の一実施形態に係る筋電信号処理装置を含むシステムの概略図1 is a schematic diagram of a system including a myoelectric signal processing device according to an embodiment of the present invention. 筋電信号処理装置のブロック図Block diagram of myoelectric signal processing device 各サンプリング周波数での筋電信号の分散の平均の推定に係る平均誤差率を示すグラフGraph showing the average error rate for estimating the average of the variance of the myoelectric signal at each sampling frequency 各時間窓での筋電信号の分散の平均の推定に係る平均誤差率を示すグラフGraph showing the average error rate for estimating the average of the variance of the myoelectric signal in each time window 各サンプリング周波数での信号強度依存ノイズの分散の推定に係る平均誤差率を示すグラフGraph showing the average error rate for estimating the variance of signal strength-dependent noise at each sampling frequency ある1試行における各負荷での筋電信号の分散の事後分布を示すグラフGraph showing the posterior distribution of the variance of the myoelectric signal at each load in a certain trial 全試行における各筋力での筋電信号の分散の平均および信号強度依存ノイズの分散の各推定値を示すグラフGraph showing the average of the variance of the myoelectric signal and the estimated value of the variance of the signal strength-dependent noise at each muscle strength in all trials 各負荷での計測筋電信号とそれを元に生成した人工筋電信号を示すグラフGraph showing measured myoelectric signals at each load and artificial myoelectric signals generated based on them 各負荷での計測筋電信号と人工筋電信号の平均振幅の平均絶対誤差率を示すグラフGraph showing the average absolute error rate of the average amplitude of the measured myoelectric signal and artificial myoelectric signal at each load 各負荷での計測筋電信号と人工筋電信号とのパワースペクトル密度の相関係数を示すグラフGraph showing correlation coefficient of power spectral density between measured myoelectric signal and artificial myoelectric signal at each load 各負荷での筋電信号の分散の分布に係るパラメータの平均絶対誤差率を示すグラフGraph showing the average absolute error rate of the parameter related to the distribution of the electromyographic signal variance at each load

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。   Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, an unnecessary detailed description may be omitted. For example, detailed description of well-known matters and redundant description of substantially the same configuration may be omitted. This is to prevent the following description from being unnecessarily redundant and to facilitate the understanding of those skilled in the art.

なお、発明者らは、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。   The inventors provide the accompanying drawings and the following description so that those skilled in the art can fully understand the present invention, and they are intended to limit the subject matter described in the claims. is not.

≪筋電信号の分散の事後分布の推定≫
(筋電信号モデル)
図1は、本発明で採用する筋電信号モデルの概略図である。当該筋電信号モデルは、時刻tにおける筋電信号xを、シェイピングフィルタHを通したホワイトガウスノイズWおよび分散σ に基づいて表現する。ここで、σ は時刻tにおける確率変数σの値であり、σの分布は筋力fに応じて決まるσ ̄(本明細書ではσの平均(シグマバー)を便宜上「σ ̄」と表す)および信号強度依存ノイズεによって決定される。さらに、xを整流平滑化した信号yを用いてσの分布を推定可能である。
≫Estimation of posterior distribution of EMG signal variance≫
(EMG signal model)
FIG. 1 is a schematic diagram of a myoelectric signal model used in the present invention. The EMG signal model, a myoelectric signal x t at time t, expressed on the basis of the white Gaussian noise W and variance sigma t 2 through the shaping filter H. Here, σ t 2 is the value of the random variable σ 2 at time t, and the distribution of σ 2 is determined by muscular strength f σ  ̄ 2 (in this specification, the average of σ (sigma bar) is referred to as “σ  ̄” for convenience). And signal strength dependent noise ε. Further, the distribution of σ 2 can be estimated using the signal y t obtained by rectifying and smoothing x t .

まず、fとσ ̄との関係は次のように表現できる。   First, the relationship between f and σ ̄ can be expressed as follows.

Figure 0006652252
Figure 0006652252

ここで、kとaは定数であり、実験的に求められる。 Here, k and a are constants and are experimentally obtained.

次に、σはσ ̄とノイズεの和として表される。 Next, sigma 2 is represented as the sum of Shiguma 2 and noise epsilon.

Figure 0006652252
Figure 0006652252

ここで、ノイズεは平均0の確率変数である。 Here, the noise ε is a random variable having an average of 0.

これにより、σの平均E[σ]と分散Var[σ]は、 Thus, sigma 2 average E [σ 2] and variance Var [σ 2] may,

Figure 0006652252
Figure 0006652252

と表される。 It is expressed as

はシェイピングフィルタHを通したホワイトガウスノイズWとσの積で表されるため、平均0、分散σ の正規分布に従う。 x t is because it is expressed by the product of the white Gaussian noise W and sigma t through a shaping filter H, average 0 follows a normal distribution with variance sigma t 2.

Figure 0006652252
Figure 0006652252

はxをN次のローパスフィルタを用いて整流平滑化したものである。 y t is obtained by rectifying and smoothing by using the N-order low-pass filter x t.

Figure 0006652252
Figure 0006652252

ここで、a,a,・・・,aN−1およびb,b,・・・,bはフィルタ係数である。 Here, a 0, a 1, ··· , a N-1 and b 0, b 1, ···, b N is the filter coefficient.

(分散分布推定)
次に、xからσの分布を推定する方法について説明する。まず、筋電信号xが計測されたとき、分散の事後分布P(σ|x)はベイズの定理を用いると次のように表現できる。
(Dispersion distribution estimation)
Next, a method for estimating the distribution of the sigma 2 from x t. First, when the myoelectric signal xt is measured, the posterior distribution P (σ 2 | xt ) of the variance can be expressed as follows using Bayes' theorem.

Figure 0006652252
Figure 0006652252

ここで、尤度P(x|σ)は(5)式より、 Here, the likelihood P (x t | σ 2 ) is given by the following equation (5).

Figure 0006652252
Figure 0006652252

である。また、事前分布P(σ)にはσ>0を考慮して正規分布と共役の事前分布である逆ガンマ分布IG(α,β)を仮定する。 It is. In addition, an inverse gamma distribution IG (α, β) which is a prior distribution conjugate to a normal distribution is assumed for the prior distribution P (σ 2 ) in consideration of σ 2 > 0.

Figure 0006652252
Figure 0006652252

ただし、α,βは逆ガンマ分布を決定するパラメータである。このとき、(7)式の右辺分子は次のように展開できる。 Here, α and β are parameters for determining the inverse gamma distribution. At this time, the numerator on the right side of the equation (7) can be expanded as follows.

Figure 0006652252
Figure 0006652252

ここで、κ(α,β)は定数項をまとめたものであり、 Here, κ (α, β) is a collection of constant terms,

Figure 0006652252
Figure 0006652252

となる。(7)式のP(x)は定数、P(σ|x)は確率密度関数でなければならないため、κ(α,β)とP(x)がキャンセルされP(σ|x)はIG(α+1/2,β+x /2)と一致する。このとき、σの事後平均E[σ|x]、事後分散Var[σ|x]は、 Becomes In equation (7), P (x t ) must be a constant, and P (σ 2 | x t ) must be a probability density function. Therefore, κ (α, β) and P (x t ) are canceled and P (σ 2 | x t) is IG (α + 1/2, β + x t 2/2) to match. In this case, sigma 2 the posterior mean E [σ 2 | x t] , the posterior variance Var [σ 2 | x t] is

Figure 0006652252
Figure 0006652252

となる。このとき、(3)式、(4)式よりE[σ|x]とVar[σ|x]はxが観測された条件下におけるσ ̄とVar[ε]の推定値にそれぞれ一致するため、αをあらかじめ設定することでσ ̄からVar[ε]を求めることができる。 Becomes At this time, according to equations (3) and (4), E [σ 2 | x t ] and Var [σ 2 | x t ] are estimated values of σ ̄ 2 and Var [ε] under the condition where x t is observed. to match each value, it can be determined Var [epsilon] from Shiguma 2 by setting the α advance.

(σの推定)
次に、整流平滑化後の信号yからσ ̄を推定する方法について説明する。yは(6)式で表現できるため、yの期待値は次のようになる。
2 of the estimate)
Next, a method for estimating the Shiguma 2 from the signal y t rectified smoothed. Since y t can be expressed by equation (6), the expected value of y t is as follows.

Figure 0006652252
Figure 0006652252

ここで、xは(5)式に従うためE[|x|]は、 Here, x t is E to follow the formula (5) [| x t |] is

Figure 0006652252
Figure 0006652252

となる。εが時刻tにおけるεの値である。また、E[y]は時刻に依存しないとすると、(14)式は(15)式を用いて、 Becomes ε t is the value of ε at time t. Assuming that E [y t ] does not depend on time, Expression (14) uses Expression (15).

Figure 0006652252
Figure 0006652252

となる。ここで、(16)式の右辺第2項は期待値0であり、ε(≪σ ̄)のb(>0)による荷重平均を含むため、第1項より十分小さく、無視できる。これにより、σ ̄は(16)式を用いて、 Becomes Here, the second term on the right side of the equation (16) has an expected value of 0, and includes a load average based on b i (> 0) of ε t (≪σ ̄), and is therefore sufficiently smaller than the first term and can be ignored. Thus, σ ̄ 2 is calculated by using equation (16).

Figure 0006652252
Figure 0006652252

と推定できる。このとき、右辺の分数係数項はフィルタゲインの逆数に相当する。 Can be estimated. At this time, the fractional coefficient term on the right side corresponds to the reciprocal of the filter gain.

以上のことから、整流平滑化された筋電信号yと形状母数αを用いて(13)式、(17)式に基づきσ ̄とVar[ε]を推定することができる。 From the above, by using the EMG signal y t and the shape parameter α, which is rectified and smoothed (13), it can be estimated (17) σ¯ 2 and Var [epsilon] based on the formula.

≪人工筋電信号の生成≫
整流平滑化後の信号yから整流平滑化前の信号xの分散σ の事後分布が推定できれば、当該推定した分布を用いて整流平滑化前の信号xと同じ統計学的性質を持つ人工筋電信号を生成することができる。
の Generation of artificial myoelectric signal≫
If the posterior distribution of the variance sigma t 2 from the signal y t rectified smoothed rectified smoothed signal before x t is estimated, the same statistical properties as the rectified smoothed signal before x t using the distributions the estimated An artificial myoelectric signal having the following can be generated.

(筋電信号の再現)
時刻tにおける人工筋電信号zは、シェイピングフィルタHを通した正規乱数w´と分散σ に基づいて表現することができる。
(Reproduction of myoelectric signal)
Time Artificial EMG z t at t can be expressed on the basis of the normal random number w 't through a shaping filter H to the variance sigma t 2.

w´は筋電信号xと同様の周波数特性を持つ正規乱数であり、次数Mの自己回帰モデルに基づくシェイピングフィルタHによって生成される。 w 't is a normal random number having the same frequency characteristics and EMG signals x t, generated by the shaping filter H based on the autoregressive model of order M.

Figure 0006652252
Figure 0006652252

ここで、wは平均0、分散1の白色正規乱数、v,a(j=1,・・・,M)はそれぞれ自己回帰モデルにおける推定誤差分散とパラメータである。また、自己回帰モデルパラメータの推定において、分散が1となるように正規化した筋電信号xを用いることによって、w´は平均0、分散1の正規乱数となる。 Here, w t is a white normal random number having a mean of 0 and a variance of 1, and v, a j (j = 1,..., M) are an estimated error variance and parameters in the autoregressive model, respectively. Further, in the estimation of the autoregressive model parameters, by using the myoelectric signal x t dispersion is normalized to a 1, w 't mean 0 and normal random number of dispersion 1.

そして、人工筋電信号zは(3)(4)式に基づく分布により生成される乱数σとw´の積で次のように定義される。すなわち、図1の筋電信号モデルにおいて筋電信号xを人工筋電信号zに置換することができる。 The artificial EMG z t is defined as follows: the product of (3) (4) and the random number sigma t generated by distribution based on formula w 't. That is, it is possible to replace the myoelectric signal x t to artificial EMG z t in EMG model of FIG.

Figure 0006652252
Figure 0006652252

以上より、(1)式のパラメータk,aとσの分布、およびシェイピングフィルタHのパラメータをあらかじめ設定することで、発揮筋力fに応じた人工筋電信号zを生成することができる。すなわち、整流平滑化後の信号yから整流平滑化前の信号xを人工筋電信号zとして復元(擬似的に再現)することができる。 From the above, it is possible to generate a parameter k, the distribution of a and sigma 2, and by pre-set parameters of the shaping filter H, corresponding to exert muscle force f artificial EMG z t of equation (1). That is, it is possible to restore the rectified smoothed before signal x t as artificial EMG z t from the signal y t rectified smoothed (artificially reproduced).

(任意の筋活動度での人工筋電信号の生成)
さらに、任意の筋活動度での筋電信号を人工的に生成することもできる。例えば、最大随意筋収縮時の整流平滑化後の信号をymax、筋活動度(%MVC)をrとすると、
=y/ymax (20)
と表される。したがって、yの期待値E[y]は、
E[y]=E[r]・ymax (21)
と表され、(21)式を(17)式に代入すると、
(Generation of artificial myoelectric signal at any muscle activity)
Further, a myoelectric signal at an arbitrary muscle activity can be artificially generated. For example, the maximum voluntary signals rectified smoothed during contraction y max, the muscle activity degree (% MVC) and r t,
r t = y t / y max (20)
It is expressed as Therefore, the expected value of y t E [y t] is,
E [y t] = E [ r t] · y max (21)
And substituting equation (21) into equation (17),

Figure 0006652252
Figure 0006652252

となる。すなわち、最大随意筋収縮時の整流平滑化後の信号ymaxを与え、任意の筋活動度rを指定すれば、(13)式、(22)式に基づいて、筋活動度rでの筋電信号xの分散の事後分布を推定することができる。そして、(19)式に基づいて筋活動度rでの人工筋電信号zを生成することができる。 Becomes That gives a signal y max rectified smoothed at the maximum voluntary contraction, by specifying any muscle activity r t, (13) equation (22) based on the equation of muscle activity r t it is possible to estimate the posterior distribution of the variance of the myoelectric signal x t. Then, it is possible to produce an artificial myoelectric signal z t of muscle activity r t on the basis of the equation (19).

なお、複数チャネルの筋電信号を計測している場合、被験者のある動作中に着目するチャンネルlおよびその動作に係る主動作筋のチャンネルmの各筋電信号から各チャンネルの筋活動度の時間平均λおよびλを計算し、その比率λ/λを筋活動度rに乗じた値r×λ/λを(22)式中のE[r]として使用してもよい。例えば手を開く動作について考えると、軽く手を開いても思い切り手を開いても各チャネルの筋電信号のパターンは同じようになると考えられるため、上記のように主動作筋の筋活動度の時間平均に対する着目チャンネルの筋活動度の時間平均の比率を乗じて指定された筋活動度を補正することで、動作に対応した特徴的な筋電パターンを崩さずに所望の筋活動度での人工筋電信号を生成することができる。 In the case where the myoelectric signals of a plurality of channels are measured, the time of the muscle activity of each channel is calculated from the myoelectric signals of the channel l of interest and the channel m of the main operating muscle related to the operation during a certain motion of the subject. calculate the average lambda l and lambda m, using the ratio λ l / λ m as a value r t × λ l / λ m multiplied muscle activity r t (22) in the formula E [r t] You may. For example, considering the hand-opening operation, the pattern of the myoelectric signal of each channel is considered to be the same regardless of whether the hand is opened lightly or openly. By correcting the designated muscle activity by multiplying the ratio of the time average of the muscle activity of the channel of interest to the time average, the desired muscle activity at the desired muscle activity can be maintained without breaking the characteristic myoelectric pattern corresponding to the motion. An artificial myoelectric signal can be generated.

≪筋電信号処理装置≫
次に、本発明に係る筋電信号処理装置について説明する。図2は、本発明の一実施形態に係る筋電信号処理装置を含むシステムの概略図である。本システム100は、筋電計10と筋電信号処理装置20とで構成される。
≪Myoelectric signal processing device≫
Next, a myoelectric signal processing device according to the present invention will be described. FIG. 2 is a schematic diagram of a system including a myoelectric signal processing device according to an embodiment of the present invention. The system 100 includes an electromyograph 10 and an electromyography signal processing device 20.

筋電計10は、任意の個数(本実施形態では4個)の筋電センサ11とデータ収集装置12とを備えている。データ収集装置12と筋電センサ11とはパラレルケーブルまたはシリアルケーブルで接続されている。さらに、これらケーブルは、データ収集装置12から取り外しできるようになっている。   The electromyograph 10 includes an arbitrary number (four in the present embodiment) of myoelectric sensors 11 and a data collection device 12. The data collection device 12 and the myoelectric sensor 11 are connected by a parallel cable or a serial cable. Further, these cables can be detached from the data collection device 12.

筋電センサ11は、被験者の任意の身体部位の表面筋電位信号(筋電信号)を計測するためのものである。筋電信号は筋肉の複合活動電位を波形化して表したものであり、複合活動電位とは筋肉を構成する各筋線維から発生し、容積伝導により体表面に伝搬する活動電位を合計したものをいう。複合活動電位は筋収縮の程度により変化する。例えば、筋肉が小さな力を出している場合には収縮する筋線維の数は少なく、筋線維から発生する活動電位の数も少ない。そこから力を増加させていくと収縮する筋線維の数が徐々に増加し、活動電位の数も増加する。これにより、筋電信号として観測される複合活動電位は増大する。このように、力の出し方と筋電信号とは相関関係にある。   The myoelectric sensor 11 is for measuring a surface myoelectric potential signal (myoelectric signal) of an arbitrary body part of the subject. The myoelectric signal is a waveform of the compound action potential of the muscle, and the compound action potential is the sum of the action potentials generated from each muscle fiber constituting the muscle and propagated to the body surface by volume conduction. Say. Complex action potentials vary with the degree of muscle contraction. For example, when the muscle exerts a small force, the number of contracting muscle fibers is small, and the number of action potentials generated from the muscle fibers is also small. As the force is increased from there, the number of contracting muscle fibers gradually increases, and the number of action potentials also increases. Thereby, the composite action potential observed as a myoelectric signal increases. As described above, there is a correlation between how to output the force and the myoelectric signal.

表面信号は2つの表面電極間の電位差として捕捉される。具体的には、各筋電センサ11は、2個の表面電極101(プラス電極とマイナス電極)を有している。これら電極101を対象部位の筋繊維の走行方向に沿って数cm程度の間隔で被験者の体表面に貼付する。なお、いずれか一つの筋電センサ11は、図略のリファレンス電極をさらに有する。   The surface signal is captured as a potential difference between two surface electrodes. Specifically, each myoelectric sensor 11 has two surface electrodes 101 (a plus electrode and a minus electrode). These electrodes 101 are attached to the body surface of the subject at intervals of about several cm along the running direction of the muscle fiber at the target site. Note that any one of the myoelectric sensors 11 further includes a reference electrode (not shown).

データ収集装置12は、図略のアンプ、フィルタ、AD変換器、CPU、通信デバイスなどを備えており、筋電センサ11が計測した筋電信号(筋電信号モデルにおけるx)を収集し、当該収集した信号を整流および平滑化して整流平滑化信号(筋電信号モデルにおけるy)を生成して筋電信号処理装置20へ送信する。データ収集装置12と筋電信号処理装置20との間の通信には、Wi−Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)、特定小電力無線などの無線通信を使用することができる。このようにデータ収集装置12において計測筋電信号を整流平滑化してデータ量を削減することで、比較的低速の通信回線で多くのチャネルの筋電信号を筋電信号処理装置20へ送信することができる。 The data collection device 12 includes an unillustrated amplifier, a filter, an AD converter, a CPU, a communication device, and the like, and collects a myoelectric signal (x t in a myoelectric signal model) measured by the myoelectric sensor 11, and The collected signal is rectified and smoothed to generate a rectified and smoothed signal (y t in the myoelectric signal model) and transmit it to the myoelectric signal processing device 20. Wireless communication such as Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), or specific low-power wireless is used for communication between the data collection device 12 and the myoelectric signal processing device 20. be able to. As described above, by rectifying and smoothing the measured myoelectric signal in the data collection device 12 and reducing the data amount, the myoelectric signal of many channels can be transmitted to the myoelectric signal processing device 20 through a relatively low-speed communication line. Can be.

筋電信号処理装置20は、図1の筋電信号モデルに基づく上記の筋電信号処理を行う装置である。すなわち、筋電信号処理装置20は、筋電計10から整流平滑化信号yを受信して上述の筋電信号処理を行い、筋電センサ11が計測した筋電信号xの分散の事後分布を推定し、さらに当該推定した分布に基づいて人工筋電信号を生成する。筋電信号処理装置20が生成した人工筋電信号は、筋電信号処理装置20または別の装置のモニター画面にリアルタイムで表示したり、筋電義手制御の機械学習用の信号として別の装置に出力したりすることができる。 The myoelectric signal processing device 20 is a device that performs the above-described myoelectric signal processing based on the myoelectric signal model of FIG. That is, the myoelectric signal processing device 20 receives the rectified and smoothed signal y t from the electromyograph 10 and performs the above-described myoelectric signal processing, and after the dispersion of the myoelectric signal x t measured by the myoelectric sensor 11, The distribution is estimated, and an artificial myoelectric signal is generated based on the estimated distribution. The artificial myoelectric signal generated by the myoelectric signal processing device 20 is displayed in real time on a monitor screen of the myoelectric signal processing device 20 or another device, or is transmitted to another device as a signal for machine learning of myoelectric prosthetic hand control. Output.

筋電信号処理装置20として、汎用コンピュータ(デスクトップコンピュータやノートコンピュータなど)、スマートフォン、タブレット端末などを使用することができる。これらコンピュータや端末に、上述の筋電信号処理を実現するためのプログラムまたはアプリケーションをインストールすることで、当該コンピュータや端末を筋電信号処理装置20として利用することができる。   As the myoelectric signal processing device 20, a general-purpose computer (a desktop computer, a notebook computer, or the like), a smartphone, a tablet terminal, or the like can be used. By installing a program or application for realizing the above-described myoelectric signal processing in these computers and terminals, the computers and terminals can be used as the myoelectric signal processing device 20.

図3は、筋電信号処理装置20のブロック図である。筋電信号処理装置20は、時間窓処理部21、分散平均推定部22、信号強度依存ノイズ分散推定部23、ホワイトガウスノイズ発生器24、シェイピングフィルタ25、逆ガンマ分布乱数発生器26および人工筋電信号生成部27を備えている。このうち、整流平滑化信号yから筋電センサ11が計測した筋電信号xの分散の事後分布を推定するのに必要なブロックは時間窓処理部21、分散平均推定部22および信号強度依存ノイズ分散推定部23の3つであり、残り4つのブロックを追加することで人工筋電信号の生成が可能となる。 FIG. 3 is a block diagram of the myoelectric signal processing device 20. The myoelectric signal processing device 20 includes a time window processing unit 21, a variance average estimating unit 22, a signal intensity dependent noise variance estimating unit 23, a white Gaussian noise generator 24, a shaping filter 25, an inverse gamma distribution random number generator 26, and an artificial muscle. An electric signal generation unit 27 is provided. Among them, the rectified smoothed signal y t myoelectric sensors 11 EMG measured is x t is the block required to estimate the posterior distribution of the variance of the time window processing section 21, the dispersion average estimator 22 and the signal strength There are three dependent noise variance estimators 23, and an artificial myoelectric signal can be generated by adding the remaining four blocks.

時間窓処理部21は、所定の時間長(時間窓)ごとに整流平滑化信号yの平均E[y]を計算する。ここで、yは信号強度依存ノイズεが重畳された筋電信号xを整流平滑化したものであり、時間窓処理部21は、実質的に(14)式の演算を実行する。 The time window processing unit 21 calculates an average E [y t ] of the rectified and smoothed signal y t for each predetermined time length (time window). Here, y t is a signal obtained by rectifying and smoothing the myoelectric signal x t on which the signal intensity-dependent noise ε is superimposed, and the time window processing unit 21 substantially executes the calculation of Expression (14).

分散平均推定部22は、整流平滑化信号の平均E[y]および筋電信号xの整流平滑化に係るフィルタゲインの逆数から筋電信号の分散の平均σ ̄の推定値を計算する。すなわち、分散平均推定部22は、実質的に(17)式の演算を実行する。 Dispersion average estimation unit 22, rectification average E of the smoothed signal [y t] and calculate an estimate of the average Shiguma 2 of the variance of the EMG from the reciprocal of filter gain in accordance with the rectified and smoothed myoelectric signal x t I do. That is, the variance-average estimating unit 22 substantially executes the calculation of Expression (17).

また、任意の筋活動度rでの人工筋電信号zを生成する場合、分散平均推定部22は、最大随意筋収縮時の整流平滑化信号ymax、指定された筋活動度rおよび筋電信号の整流平滑化に係るフィルタゲインの逆数から筋活動度rでの筋電信号の分散の平均σ ̄の推定値を計算する。この場合、分散平均推定部22は、実質的に(22)式の演算を実行する。なお、分散平均推定部22は、指定された筋活動度rをそのまま使用してもよいし、上述したように、主動作筋の筋活動度の時間平均に対する着目チャンネルの筋活動度の時間平均の比率を乗じて補正した値を使用してもよい。 Also, when generating the artificial myoelectric signal z t in any muscle activity r t, the dispersion average estimation unit 22, the maximum voluntary rectified smoothed signal y max during contraction, the muscle activity r t and designated calculating an estimate of the average Shiguma 2 of the variance of the EMG signals from the reciprocal of filter gain in accordance with the rectified and smoothed by the muscle activity r t of the EMG. In this case, the variance-average estimating unit 22 substantially executes the calculation of the expression (22). The dispersion average estimation unit 22, to the designated muscle activity r t may be used as it is, as described above, the time of the muscle activity of the target channel for the time average of the muscle activity of the main operation muscle A value corrected by multiplying by the average ratio may be used.

最大随意筋収縮時の筋電信号を計測するには被験者に筋活動度100(100%MVC)で筋力を発揮してもらう必要があるが、被験者に負担がかかるなどの理由でそれができない場合がある。そのような場合には最大随意筋収縮時の整流平滑化信号を取得できないため、分散平均推定部22に入力する最大随意筋収縮時の整流平滑化信号ymaxとして、例えば、他の被験者の実測値などで代用した想定値を用いることができる。もちろん、被験者の最大随意筋収縮時の筋電信号が計測できる場合にはymaxとして想定値ではなく実測値を用いてもよいことは言うまでもない。 In order to measure the myoelectric signal during the maximum voluntary muscle contraction, it is necessary to have the subject demonstrate muscle strength at a muscle activity level of 100 (100% MVC), but in some cases it is not possible because of the burden on the subject. is there. In such a case, since the rectified smoothed signal at the time of the maximum voluntary muscle contraction cannot be obtained, the rectified smoothed signal y max at the time of the maximum voluntary muscle contraction input to the variance average estimating unit 22 is, for example, an actual measurement value of another subject. Can be used as the assumed value. Of course, when a myoelectric signal at the time of the maximum voluntary muscle contraction of the subject can be measured, it is needless to say that an actual measurement value may be used instead of an assumed value as y max .

信号強度依存ノイズ分散推定部23は、筋電信号の分散の平均σ ̄の推定値および筋電信号の分散の分布に係るパラメータから信号強度依存ノイズの分散Var[ε]の推定値を計算する。ここで、筋電信号の分散の分布として逆ガンマ分布を想定すると、当該パラメータとして逆ガンマ分布の形状母数αを採用することができる。すなわち、信号強度依存ノイズ分散推定部23は、実質的に(13)式の演算を実行する。 Signal intensity dependent noise variance estimation unit 23, calculates an estimate of the variance Var of the parameters from the signal intensity dependent noise according to the distribution of the variance of the average Shiguma 2 estimates and Sujiden signal variance [epsilon] of the EMG I do. Here, assuming an inverse gamma distribution as the distribution of the variance of the myoelectric signal, the shape parameter α of the inverse gamma distribution can be adopted as the parameter. That is, the signal intensity dependent noise variance estimating unit 23 substantially executes the calculation of the expression (13).

また、任意の筋活動度rでの人工筋電信号zを生成する場合、信号強度依存ノイズ分散推定部23は、筋電信号の分散の分布に係るパラメータおよび筋活動度rでの筋電信号の分散の平均σ ̄の推定値から筋活動度rでの筋電信号に重畳される信号強度依存ノイズの分散Var[ε]の推定値を計算する。 Also, when generating the artificial EMG z t in any muscle activity r t, the signal strength dependent noise variance estimation unit 23, according to the distribution of the variance of the electromyographic signal parameter and muscle activity r t calculate the estimate of the variance Var [epsilon] of the signal strength dependent noise from the estimated value of the average Shiguma 2 of the variance of the myoelectric signal is superimposed on the EMG in muscle activity r t.

ホワイトガウスノイズ発生器24は、白色正規乱数wを発生させる。ここで、wの平均は0、分散は1である。 White Gaussian noise generator 24 generates a white Gaussian random numbers w t. Here, the average of w t is 0 and the variance is 1.

シェイピングフィルタ25は、白色正規乱数wの周波数特性を筋電信号xと同様の周波数特性に整形して乱数w´を生成する。ここで、w´の平均は0、分散は1である。すなわち、シェイピングフィルタ25は、実質的に(18)式の演算を実行する。 Shaping filter 25, the frequency characteristics of the white Gaussian random numbers w t to produce an electromyographic signal x t the same random number w 't is shaped in the frequency characteristic. Here, the average of w 't 0, the dispersion is 1. That is, the shaping filter 25 substantially executes the operation of the expression (18).

逆ガンマ分布乱数発生器26は、筋電信号の分散の平均σ ̄の推定値および信号強度依存ノイズの分散Var[ε]の推定値で規定される筋電信号の分散の分布に従った乱数σを発生させる。ここで、筋電信号の分散の分布として逆ガンマ分布を想定しているため、当該乱数σとして逆ガンマ分布乱数を使用する。 Inverse gamma distribution random number generator 26, in accordance with the distribution of the variance of the myoelectric signal defined by the estimated value of the variance Var [epsilon] of the estimate of the mean Shiguma 2 of the variance of the myoelectric signal and the signal strength dependent noise Generate a random number σ t . Here, it is assumed the inverse gamma distribution as a distribution of the variance of the myoelectric signal, using the inverse gamma distribution random number as the random sigma t.

また、任意の筋活動度rでの人工筋電信号zを生成する場合、逆ガンマ分布乱数発生器26は、筋活動度rでの筋電信号の分散の平均σ ̄の推定値および筋活動度rでの筋電信号に重畳される信号強度依存ノイズの分散Var[ε]の推定値で規定される筋活動度rでの筋電信号の分散の分布に従った乱数σを発生させる。 Also, when generating the artificial EMG z t in any muscle activity r t, inverse gamma distribution random number generator 26, the average Shiguma 2 of estimation of the variance of the EMG in muscle activity r t in accordance with the distribution of the variance of the electromyographic signals in value and muscle activity r variance of the signal intensity depends noise superimposed on the myoelectric signal at t Var [epsilon] muscle activity r t defined by the estimated value of Generate a random number σ t .

なお、逆ガンマ分布を規定するパラメータである形状母数αおよび尺度母数βは、例えば、第2種の最尤推定に基づいて、あらかじめ得られた筋電信号系列について周辺尤度を最大化することで求めることができる。   The shape parameter α and the scale parameter β, which are parameters that define the inverse gamma distribution, maximize the marginal likelihood of a myoelectric signal sequence obtained in advance based on, for example, the second type of maximum likelihood estimation. You can ask for it.

人工筋電信号生成部27は、シェイピングフィルタ25で整形後の乱数w´および筋電信号の分散の分布に従った乱数σから人工筋電信号zを生成する。すなわち、人工筋電信号生成部27は、実質的に(19)式の演算を実行する。 Artificial electromyogram signal generator 27 generates an artificial EMG z t from random sigma t in accordance with the distribution of the variance of the random number w 't and electromyographic signals after shaping in shaping filter 25. That is, the artificial myoelectric signal generation unit 27 substantially executes the calculation of Expression (19).

≪実証実験≫
(分散分布推定精度)
筋電信号処理装置20による分散分布推定精度を確認するため人工的に生成した人工筋電信号を用いて実験を行った。人工筋電信号の生成は以下の手順で行うことで、分散にノイズが重畳した信号を擬似的に生成した。
(1)長さTの離散系列{σ ;t=1,・・・,T}を逆ガンマ分布IG(α,β)に従う乱数で発生させる。
(2)各tにおいて正規分布N(0,σ )に従う乱数を1サンプルずつ発生させ、これを系列{x}とする。
(3){x}をサンプリング周波数F[Hz]で計測された筋電信号とみなす。
このとき、{x}の分散の平均、および分散の分散の真値はそれぞれ以下の値となる。
≪Demonstration experiment≫
(Dispersion distribution estimation accuracy)
An experiment was performed using artificial myoelectric signals generated artificially to confirm the variance distribution estimation accuracy by the myoelectric signal processing device 20. The generation of the artificial myoelectric signal was performed in the following procedure, so that a signal in which noise was superimposed on the variance was pseudo-generated.
(1) Generate a discrete sequence {σ t 2 ; t = 1,..., T} of length T with random numbers according to an inverse gamma distribution IG (α 0 , β 0 ).
(2) At each t, a random number according to the normal distribution N (0, σ t 2 ) is generated one sample at a time, and this is defined as a sequence {x t }.
(3) {x t } is regarded as a myoelectric signal measured at the sampling frequency F s [Hz].
At this time, the average of the variance of {x t } and the true value of the variance of the variance are as follows.

Figure 0006652252
Figure 0006652252

分散分布推定精度検証は、これら真値と筋電信号処理装置20で推定したσ ̄およびVar[ε]とを比較することによって行った。 Dispersion distribution estimation accuracy verification was performed by comparing the σ¯ estimated by these true values and myoelectric signal processing device 20 2 and Var [epsilon].

σ ̄の推定は、{x}を整流平滑化した信号を{y}とし、{y}をFdown[Hz]でダウンサンプリングした信号のうち最初のL[ms]を用いて行った。このとき、Lを1000[ms]に固定してFdownを500[Hz]、200[Hz]、100[Hz]、50[Hz]、20[Hz]、10[Hz]と変更した場合、およびFdownを1000[Hz]に固定してLを1000[ms]、500[ms]、200[ms]、100[ms]、50[ms]、20[ms]、10[ms]と変更した場合の各条件において、真値σ ̄ とσ ̄との%誤差を算出した。比較手法として、同様の条件において{x}から算出した分散の最尤推定値を用いた。 Estimation of Shiguma 2, using {x t} rectified smoothed signal as {y t}, the first L of {y t} was downsampling F down [Hz] signal [ms] went. At this time, when L is fixed to 1000 [ms] and F down is changed to 500 [Hz], 200 [Hz], 100 [Hz], 50 [Hz], 20 [Hz], and 10 [Hz], And F down is fixed at 1000 [Hz], and L is changed to 1000 [ms], 500 [ms], 200 [ms], 100 [ms], 50 [ms], 20 [ms], and 10 [ms]. Under each condition, the% error between the true values σ ̄ 0 2 and σ ̄ 2 was calculated. As a comparison method, the maximum likelihood estimated value of the variance calculated from {x t } under the same conditions was used.

Var[ε]の推定精度検証では、Lを1000[ms]に固定してFdownを1000[Hz]、50[Hz]と変更した各条件において、Var[ε]との%誤差を算出した。また、最尤推定に基づく分散の分散との比較を行った。ここで、最尤推定に基づく分散の分散とは、L[ms]の{x}をK分割し、各分割において算出したK個の分散最尤推定値の分散のことをいう。なお、事前分布パラメータは経験ベイズ法を用いて決定した。 In the estimation accuracy verification of Var [ε], under each condition in which L is fixed to 1000 [ms] and F down is changed to 1000 [Hz] and 50 [Hz], the% error from Var [ε 0 ] is calculated. did. The variance based on the maximum likelihood estimation was compared with the variance. Here, the variance of the variance based on the maximum likelihood estimation refers to the variance of the K variance maximum likelihood estimation values calculated by dividing the {x t } of L [ms] into K and calculating each division. Note that the prior distribution parameters were determined using the empirical Bayes method.

各実験において、T=1000、F=1000とし、平滑化処理にはカットオフ周波数1[Hz]の2次のバターワースフィルタを使用した。また、%誤差は真値を20通り(α=15、β=0.5,1,1.5,・・・,10)変更した際の平均値である。 In each experiment, and T = 1000, F s = 1000 , was used a second-order Butterworth filter having a cut-off frequency of 1 [Hz] in the smoothing process. The% error is an average value when the true value is changed in 20 ways (α = 15, β = 0.5, 1, 1.5,..., 10).

図4は、各サンプリング周波数での筋電信号の分散の平均σ ̄の推定に係る平均誤差率を示すグラフである。図5は、各時間窓での筋電信号の分散の平均σ ̄の推定に係る平均誤差率を示すグラフである。図4のグラフからはFdown≦200で、図5のグラフからはL≦100で、本発明(図1の筋電信号モデルに基づく推定)と従来技術(最尤推定)との間に有意差が認められた。図6は、各サンプリング周波数での信号強度依存ノイズの分散Var[ε]の推定に係る平均誤差率を示すグラフである。Bonferroni法に基づく多重比較検定を行った結果、本発明と従来技術との間に有意差が確認できた。 Figure 4 is a graph showing average error rate according to the estimation of the average Shiguma 2 of the variance of myoelectric signals at each sampling frequency. Figure 5 is a graph showing average error rate according to the average Shiguma 2 of estimation of the variance of the electromyographic signals in each time window. From the graph of FIG. 4, F down ≦ 200, and from the graph of FIG. 5, L ≦ 100, there is a significant difference between the present invention (estimation based on the myoelectric signal model of FIG. 1) and the conventional technique (maximum likelihood estimation). Differences were noted. FIG. 6 is a graph showing the average error rate for estimating the variance Var [ε] of the signal strength dependent noise at each sampling frequency. As a result of performing a multiple comparison test based on the Bonferroni method, a significant difference was confirmed between the present invention and the prior art.

図4のグラフを参照すると、Fdownが高い場合には本発明および従来技術ともに誤差率5[%]以下であり推定精度が高いが、Fdownが下がるにつれ従来技術の精度は悪化し、本発明は高精度を維持する。また、図5のグラフを参照すると、窓幅Lを短くすると本発明および従来技術ともに精度が悪化するが、L=10[ms]においても本発明の推定誤差は5[%]程度であり、従来技術よりも有意に小さい。このことから、本発明によると、より少ないサンプルでσ ̄を推定できると言える。 Referring to the graph of FIG. 4, when F down is high, the error rate is 5% or less for both the present invention and the conventional technology, and the estimation accuracy is high. However, as the F down decreases, the accuracy of the conventional technology deteriorates. The invention maintains high accuracy. Referring to the graph of FIG. 5, if the window width L is shortened, the accuracy of both the present invention and the conventional technology deteriorates. However, even when L = 10 [ms], the estimation error of the present invention is about 5%, and Significantly smaller than the prior art. Therefore, according to the present invention, it can be said that can be estimated Shiguma 2 with fewer samples.

また、図6のグラフを参照すると、本発明は従来技術と比較して、Var[ε]の推定誤差が有意に小さい。これは、従来技術の最尤法が各分割において分散一定を仮定するため、各時刻独立に重畳するノイズを十分に表現できないことが原因である。一方、本発明では各時刻独立の分散値を仮定し、それらの母集団の事後分布を推定することで、分散の分散を誤差率10[%]以下の良好な精度で推定することができる。   Referring to the graph of FIG. 6, the estimation error of Var [ε] of the present invention is significantly smaller than that of the related art. This is because the conventional maximum likelihood method assumes that the variance is constant in each division, so that noise superimposed independently at each time cannot be sufficiently expressed. On the other hand, in the present invention, it is possible to estimate the variance of the variance with a good accuracy of 10% or less by estimating the posterior distribution of the population by assuming the variance value independent of each time.

以上のように、本発明の一実施形態に係る筋電信号処理装置20によると、信号強度依存ノイズが重畳された筋電信号の分散の分布を高精度に推定することができる。   As described above, according to the myoelectric signal processing device 20 according to the embodiment of the present invention, the distribution of the variance of the myoelectric signal on which the signal intensity-dependent noise is superimposed can be estimated with high accuracy.

次に、実データに対する本発明の有効性を確認するために、筋電信号を用いて分散事後分布P(σ|x)の推定実験を行った。筋電信号の計測では、被験者5名(平均年齢:23.3±0.8、右利き)の上腕二頭筋上の皮膚表面にAg/AgCl電極を貼付し、座位で上腕を下垂し手掌を上に向けて前腕を水平前方に曲げた姿勢をとらせ、肘を机につき手首に負荷をのせ姿勢を10秒間維持させた際の筋電信号をサンプリング周波数1000[Hz]で取得した。このとき、負荷を500[g]、1000[g]、1500[g]、2000[g]と変更し、それぞれ5試行計測した。なお、計測には日本光電工業株式会社製マルチテレメータシステムWEB−5000(高域遮断周波数:100[Hz]、低域遮断周波数:5.3[Hz])を用いた。 Next, in order to confirm the effectiveness of the present invention with respect to actual data, an experiment of estimating the variance posterior distribution P (σ 2 | x) was performed using myoelectric signals. In the measurement of the myoelectric signal, an Ag / AgCl electrode was attached to the skin surface on the biceps of five subjects (mean age: 23.3 ± 0.8, right-handed), and the upper arm was dropped in a sitting position and palms were applied. With the forearm bent horizontally and forward with the elbow facing upward, the elbow was placed on the wrist, the load was placed on the wrist, and the myoelectric signal when the posture was maintained for 10 seconds was acquired at a sampling frequency of 1000 [Hz]. At this time, the load was changed to 500 [g], 1000 [g], 1500 [g], and 2000 [g], and measurement was performed for 5 trials each. Note that a multi-telemeter system WEB-5000 (high-frequency cutoff frequency: 100 [Hz], low-frequency cutoff frequency: 5.3 [Hz]) manufactured by Nihon Kohden Corp. was used for the measurement.

筋電信号の解析には、計測した10秒間のうち後半の5秒間のデータを用いた。このとき、前腕および手の自重を体重比0.022、質量中心を肘関節からの長さ比0.318、上腕二頭筋の肘関節回転中心に対するモーメントアーム長を0.03[m]と仮定し、上腕二頭筋の発揮筋力を計算した。そして、負荷の増加に伴う分散事後分布P(σ|x)の変化と、筋力の変化に伴うE[σ|x]およびVar[σ|x]の変化を求めた。 For the analysis of the myoelectric signal, data of the latter 5 seconds out of the measured 10 seconds was used. At this time, the weight of the forearm and the hand is 0.022, the center of mass is 0.318, the length ratio from the elbow joint is 0.318, and the moment arm length of the biceps relative to the rotation center of the elbow joint is 0.03 [m]. Assuming, the muscular strength of the biceps was calculated. Then, the change of the distribution posterior distribution P (σ 2 | x) with the increase in the load and the change of E [σ 2 | x] and Var [σ 2 | x] with the change of the muscular strength were obtained.

なお、事前分布パラメータはあらかじめ計測した2000[g]の負荷時の筋電信号1試行分を用いて、経験ベイズ法に基づき被験者ごとに設定した。   The prior distribution parameters were set for each subject based on the empirical Bayes method using one trial of the myoelectric signal under a load of 2000 [g] measured in advance.

図7は、ある1試行における各負荷での筋電信号の分散の事後分布を示すグラフである。図8は、全試行における各筋力での筋電信号の分散の平均および信号強度依存ノイズの分散の各推定値を示すグラフである。図8にはSteel-Dwass法に基づく検定結果を併記している。   FIG. 7 is a graph showing the posterior distribution of the variance of the myoelectric signal at each load in one trial. FIG. 8 is a graph showing the average of the variance of the myoelectric signal and the estimated value of the variance of the signal strength-dependent noise at each muscle strength in all trials. FIG. 8 also shows test results based on the Steel-Dwass method.

図7のグラフを参照すると、負荷が大きくなるにつれてP(σ|x)が右に移動し広がりが大きくなっている。これは、負荷の増加に伴い、事後平均と事後分散が増加傾向にあることを意味する。また、図8のグラフを参照すると、筋力と事後平均E[σ|x]が単調増加傾向にあることから、(1)式で筋力が表現可能であることがわかる。このとき、(1)式中の指数aを求めると、被験者順にa=1.18,0.56,0.81,0.74,0.65となった。一方、非特許文献1と同様に最尤推定に基づく求めた分散σを使用して指数aを求めると、a=1.17,0.55,0.78,0.73,0.65となった。このことから、本発明で算出できる事後平均E[σ|x]は非特許文献1の方法において最尤法で求められる分散と同様の役割を果たしていることがわかる。 Referring to the graph of FIG. 7, as the load increases, P (σ 2 | x) moves to the right and spreads. This means that the posterior average and posterior variance tend to increase as the load increases. Referring to the graph of FIG. 8, it can be seen that the muscular strength can be expressed by the equation (1) since the muscular strength and the posterior average E [σ 2 | x] tend to increase monotonically. At this time, when the index a in the equation (1) was obtained, a = 1.18, 0.56, 0.81, 0.74, and 0.65 in the order of the subject. On the other hand, when the index a is obtained using the variance σ 2 obtained based on the maximum likelihood estimation as in Non-patent Document 1, a = 1.17, 0.55, 0.78, 0.73, 0.65 It became. From this, it can be seen that the posterior average E [σ 2 | x] that can be calculated in the present invention plays the same role as the variance obtained by the maximum likelihood method in the method of Non-Patent Document 1.

一方、筋力に応じた事後分散Var[σ|x]の増加は事後平均E[σ|x]の増加と(13)式により明らかであるが、特筆すべきは、本発明において事後分散Var[σ|x]が事後平均E[σ|x]の2乗に比例する点である。過去に、等尺性収縮時における筋力の分散が平均筋力のおよそ2乗に比例するという実験結果が報告されているが、本発明は、筋電信号の分散について同様の関係が成立することを示している。このことは、信号強度依存ノイズにより筋電信号の分散値に対してもノイズが重畳することを意味している。 On the other hand, the increase of the posterior variance Var [σ 2 | x] according to the muscle strength is apparent from the increase of the posterior mean E [σ 2 | x] and the equation (13). Var [σ 2 | x] is a point proportional to the square of the posterior average E [σ 2 | x]. In the past, it has been reported that the variance of muscle strength during isometric contraction is proportional to the square of the average muscular strength, but the present invention has found that a similar relationship holds for the variance of myoelectric signals. Is shown. This means that the noise is superimposed on the variance of the myoelectric signal due to the signal intensity-dependent noise.

以上のように、本発明の一実施形態に係る筋電信号処理装置20によると、筋電信号の分散分布を推定でき、さらに分散に重畳するノイズを推定することができる。   As described above, according to the myoelectric signal processing device 20 according to the embodiment of the present invention, the variance distribution of the myoelectric signal can be estimated, and the noise superimposed on the variance can be estimated.

(人工筋電信号の生成実験)
次に、筋電信号処理装置20による人工筋電信号の生成実験を行った。実験では、まず健常大学生1名から筋電信号を計測し、分散分布パラメータσ ̄とVar[ε]、およびシェイピングフィルタ25のパラメータを推定した。そして、推定したパラメータに基づき生成した人工筋電信号と計測した筋電信号との比較を行った。
(Experiment for generating artificial myoelectric signals)
Next, an experiment of generating an artificial myoelectric signal by the myoelectric signal processing device 20 was performed. In the experiment, first measure the myoelectric signal from healthy college one person, dispersion distribution parameters Shiguma 2 and Var [epsilon], and estimated the parameters of the shaping filter 25. Then, a comparison was made between the artificial myoelectric signal generated based on the estimated parameters and the measured myoelectric signal.

筋電信号の計測条件は上記と同じである。負荷を500[g]、1000[g]、1500[g]、2000[g]と変更し、それぞれ1試行計測した。パラメータ推定および比較には計測した10秒間のうち後半の5秒間のデータを使用した。   The measurement conditions of the myoelectric signal are the same as above. The load was changed to 500 [g], 1000 [g], 1500 [g], and 2000 [g], and each was measured for one trial. For the parameter estimation and comparison, data of the latter 5 seconds of the measured 10 seconds was used.

分散事後分布の推定は負荷ごとに行った。ただし、事前パラメータはあらかじめ計測した負荷2000[g]時の筋電信号を用いて第2種の最尤推定に基づき設定し、実験を通じて共通とした。また、シェイピングフィルタ25のパラメータは負荷2000[g]時の筋電信号をBurg法によって決定し、モデル次数はベイズ情報量規準に基づきM=20とした。人工筋電信号の生成は負荷ごとに5回ずつ行い、逆ガンマ分布乱数σの生成にはTanizaki法を用いた。 The post-variance distribution was estimated for each load. However, the prior parameters were set based on the second type of maximum likelihood estimation using a pre-measured myoelectric signal at a load of 2000 [g], and were made common throughout the experiment. The parameters of the shaping filter 25 were determined by the Burg method based on the myoelectric signal at a load of 2000 [g], and the model order was set to M = 20 based on the Bayesian information criterion. The artificial myoelectric signal was generated five times for each load, and the Tanizaki method was used to generate the inverse gamma distribution random number σ t .

比較は、平均振幅、周波数成分、分散分布の3項目について行った。平均振幅は信号を整流平滑化した値の平均値とし、計測筋電信号における値を真値としたときの平均絶対誤差率を各負荷において算出した。周波数成分の比較では、計測筋電信号と人工筋電信号のパワースペクトル密度をそれぞれ求め、それらの間の相関関係を算出した。分散分布の比較については、筋電信号の分散の分布を逆ガンマ分布と仮定することでパラメータα、βを第2種の最尤推定によって推定し、平均振幅の場合と同様に平均絶対誤差率を算出した。   The comparison was performed for three items: average amplitude, frequency component, and variance distribution. The average amplitude was the average value of the values obtained by rectifying and smoothing the signal, and the average absolute error rate when the value in the measured myoelectric signal was a true value was calculated for each load. In the comparison of the frequency components, the power spectral densities of the measured myoelectric signal and the artificial myoelectric signal were obtained, respectively, and the correlation between them was calculated. As for the comparison of the variance distributions, the parameters α and β are estimated by the second type of maximum likelihood estimation by assuming the distribution of the variance of the myoelectric signal to be an inverse gamma distribution, and the average absolute error rate is calculated similarly to the case of the average amplitude Was calculated.

図9は、各負荷での計測筋電信号とそれを元に生成した人工筋電信号を示すグラフである。図9のグラフを参照すると、負荷が大きくなるにつれて計測筋電信号と人工筋電信号の振幅がともに大きくなることがわかる。   FIG. 9 is a graph showing a measured myoelectric signal at each load and an artificial myoelectric signal generated based on the measured myoelectric signal. Referring to the graph of FIG. 9, it can be seen that the amplitude of both the measured myoelectric signal and the artificial myoelectric signal increases as the load increases.

図10は、各負荷での計測筋電信号と人工筋電信号の平均振幅の平均絶対誤差率を示すグラフである。図10のグラフを参照すると、人工筋電信号はどの負荷においても5[%]程度の平均絶対誤差率で筋電信号の振幅を再現できていることが確認できる。   FIG. 10 is a graph showing the average absolute error rate of the average amplitude of the measured myoelectric signal and the artificial myoelectric signal at each load. Referring to the graph of FIG. 10, it can be confirmed that the artificial myoelectric signal can reproduce the amplitude of the myoelectric signal with an average absolute error rate of about 5% under any load.

図11は、各負荷での計測筋電信号と人工筋電信号とのパワースペクトル密度の相関係数を示すグラフである。図11のグラフを参照すると、すべての負荷において相関係数は0.8以上であり、周波数成分においても人工筋電信号が高い精度で筋電信号を再現できていることがわかる。   FIG. 11 is a graph showing the correlation coefficient of the power spectral density between the measured myoelectric signal and the artificial myoelectric signal at each load. Referring to the graph of FIG. 11, it can be seen that the correlation coefficient is 0.8 or more for all loads, and that the artificial myoelectric signal can reproduce the myoelectric signal with high accuracy even in the frequency component.

図12は、各負荷での筋電信号の分散の分布に係るパラメータの平均絶対誤差率を示すグラフである。図12のグラフを参照すると、形状母数αは負荷が大きくなるにつれて平均誤差率が大きくなる傾向があるものの0.01[%]未満と非常に小さい。一方、尺度母数βの平均誤差率はαの平均誤差率よりも大きい5−10[%]程度である。この原因として、(13)式および(17)式においてαは事後分布の導出に直接用いられているが、βはそれに用いられていないため、事後分布の尺度に関して推定誤差が大きくなったことが考えられる。しかし、形状母数αは分布の本質的な形を決定するのに対して尺度母数βは分布の広がりを決定するものであるため、βが人工筋電信号の生成に及ぼす影響はαに比べて小さく問題にならないと考える。   FIG. 12 is a graph showing the average absolute error rate of the parameter related to the distribution of the variance of the myoelectric signal at each load. Referring to the graph of FIG. 12, the shape parameter α is very small, less than 0.01 [%], although the average error rate tends to increase as the load increases. On the other hand, the average error rate of the scale parameter β is about 5 to 10%, which is larger than the average error rate of α. The reason for this is that, in Equations (13) and (17), α is directly used to derive the posterior distribution, but β is not used in it, and the estimation error for the scale of the posterior distribution has increased. Conceivable. However, since the shape parameter α determines the essential shape of the distribution, while the scale parameter β determines the spread of the distribution, the effect of β on the generation of artificial myoelectric signals is α. We think that it is small and does not matter.

以上のように、本発明の一実施形態に係る筋電信号処理装置20によると、計測筋電信号の振幅、周波数、分散分布を再現する人工筋電信号を生成することができる。   As described above, the myoelectric signal processing device 20 according to one embodiment of the present invention can generate an artificial myoelectric signal that reproduces the amplitude, frequency, and variance distribution of a measured myoelectric signal.

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。   As described above, the embodiments have been described as examples of the technology according to the present invention. For that purpose, the accompanying drawings and the detailed description have been provided.

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。   Accordingly, among the components described in the accompanying drawings and the detailed description, not only those components that are essential for solving the problem, but also those that are not essential for solving the problem in order to exemplify the technology. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential based on the fact that the non-essential components are described in the accompanying drawings and the detailed description.

また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。例えば、上記では筋電信号の分散の分布として逆ガンマ分布を想定したが、筋電信号の分散の分布として逆ガンマ分布以外に、筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布を適用してもよい。 Further, since the above-described embodiment is for exemplifying the technology of the present invention, various changes, replacements, additions, omissions, and the like can be made within the scope of the claims or the equivalents thereof. For example, in the above description, the inverse gamma distribution is assumed as the distribution of the myoelectric signal, but in addition to the inverse gamma distribution, the distribution of the myoelectric signal has a property conjugate to the distribution of the myoelectric signal. May be applied.

20 筋電信号処理装置
21 時間窓処理部
22 分散平均推定部
23 信号強度依存ノイズ分散推定部
24 ホワイトガウスノイズ発生器(第1の乱数発生器)
25 シェイピングフィルタ
26 逆ガンマ分布乱数発生器(第2の乱数発生器)
27 人工筋電信号生成部
Reference Signs List 20 myoelectric signal processing device 21 time window processing unit 22 variance average estimation unit 23 signal intensity dependent noise variance estimation unit 24 white Gaussian noise generator (first random number generator)
25 shaping filter 26 inverse gamma distribution random number generator (second random number generator)
27 Artificial myoelectric signal generator

Claims (12)

時間窓処理部が、信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号について所定の時間長ごとに平均を計算するステップと、
分散平均推定部が、前記整流平滑化信号の平均および前記筋電信号の整流平滑化に係るフィルタゲインの逆数から前記筋電信号の分散の平均の推定値を計算するステップと、
信号強度依存ノイズ分散推定部が、前記筋電信号の分散の平均の推定値および前記筋電信号の分散の分布を規定するパラメータから前記信号強度依存ノイズの分散の推定値を計算するステップとを備え
前記筋電信号の分散の分布は、前記筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布である
筋電信号処理方法。
A time window processing unit that calculates an average for each predetermined time length for a rectified and smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal strength dependent noise is superimposed;
A variance average estimating unit for calculating an average of the variance of the myoelectric signal from the reciprocal of the average of the rectified and smoothed signal and the filter gain related to the rectification and smoothing of the myoelectric signal;
A step of calculating an estimated value of the variance of the signal intensity-dependent noise from the parameter that defines the average value of the variance of the myoelectric signal and the distribution of the variance of the myoelectric signal. Prepared ,
The myoelectric signal processing method , wherein the distribution of the myoelectric signal variance has a property conjugate to the distribution of the myoelectric signal and satisfies the non-negativeness of the variance .
第1の乱数発生器が、白色正規乱数を発生させるステップと、
シェイピングフィルタが、前記白色正規乱数の周波数特性を前記筋電信号と同様の周波数特性に整形するステップと、
第2の乱数発生器が、前記筋電信号の分散の平均の推定値および前記信号強度依存ノイズの分散の推定値で規定される前記筋電信号の分散の分布に従った乱数を発生させるステップと、
人工筋電信号生成部が、前記整形された乱数および前記筋電信号の分散の分布に従った乱数から人工筋電信号を生成するステップとを備えた請求項1に記載の筋電信号処理方法。
A first random number generator generating white normal random numbers;
A shaping filter shapes the frequency characteristic of the white normal random number to a frequency characteristic similar to the myoelectric signal,
A second random number generator for generating random numbers according to the distribution of the variance of the myoelectric signal defined by the estimated value of the average of the variance of the myoelectric signal and the estimated value of the variance of the signal intensity-dependent noise. When,
The myoelectric signal processing method according to claim 1, further comprising the step of: generating an artificial myoelectric signal from the shaped random number and a random number according to a distribution of variance of the myoelectric signal. .
前記分散平均推定部が、最大随意筋収縮時の前記整流平滑化信号、指定された筋活動度および前記筋電信号の整流平滑化に係るフィルタゲインの逆数から前記筋活動度での筋電信号の分散の平均の推定値を計算するステップと、
前記信号強度依存ノイズ分散推定部が、前記筋電信号の分散の分布を規定するパラメータおよび前記筋活動度での筋電信号の分散の平均の推定値から前記筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値を計算するステップと、
前記第2の乱数発生器が、前記筋活動度での筋電信号の分散の平均の推定値および前記筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値で規定される前記筋活動度での筋電信号の分散の分布に従った乱数を発生させるステップとを備えた請求項2に記載の筋電信号処理方法。
The variance average estimating unit calculates the myoelectric signal at the myoactivity from the reciprocal of the rectified and smoothed signal at the time of maximum voluntary muscle contraction, a designated muscle activity and a reciprocal of a filter gain related to the rectification and smoothing of the myoelectric signal. Calculating an estimate of the mean of the variance;
The signal intensity-dependent noise variance estimating unit converts the parameter that defines the distribution of the variance of the myoelectric signal and the estimated value of the average of the variance of the myoelectric signal at the muscular activity into the myoelectric signal at the muscular activity. Calculating an estimate of the variance of the signal strength dependent noise to be superimposed;
The second random number generator defines an average value of the variance of the myoelectric signal at the muscle activity and an estimated value of the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the muscle activity. Generating a random number in accordance with the distribution of the variance of the myoelectric signal at the muscle activity level to be performed.
前記筋電信号の分散の分布が逆ガンマ分布であり、
前記パラメータが逆ガンマ分布の形状母数である、請求項1ないし請求項3のいずれかに記載の筋電信号処理方法。
The distribution of the variance of the myoelectric signal is an inverse gamma distribution,
4. The myoelectric signal processing method according to claim 1, wherein the parameter is a shape parameter of an inverse gamma distribution.
信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号について所定の時間長ごとに平均を計算する時間窓処理部と、
前記整流平滑化信号の平均および前記筋電信号の整流平滑化に係るフィルタゲインの逆数から前記筋電信号の分散の平均の推定値を計算する分散平均推定部と、
前記筋電信号の分散の平均の推定値および前記筋電信号の分散の分布を規定するパラメータから前記信号強度依存ノイズの分散の推定値を計算する信号強度依存ノイズ分散推定部とを備え、
前記筋電信号の分散の分布は、前記筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布である
筋電信号処理装置。
A time window processing unit that calculates an average for each predetermined time length with respect to a rectified and smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal strength dependent noise is superimposed,
A variance average estimating unit that calculates an average of the variance of the myoelectric signal from the reciprocal of the average of the rectified and smoothed signal and the filter gain related to the rectification and smoothing of the myoelectric signal,
A signal strength-dependent noise variance estimator that calculates an estimated value of the variance of the signal strength-dependent noise from a parameter that defines an average value of the variance of the myoelectric signal and a distribution of the variance of the myoelectric signal,
The myoelectric signal processing device is a distribution of the variance of the myoelectric signal having a property conjugate to the distribution of the myoelectric signal and satisfying the non-negativeness of the variance .
白色正規乱数を発生させる第1の乱数発生器と、
前記白色正規乱数の周波数特性を前記筋電信号と同様の周波数特性に整形するシェイピングフィルタと、
前記筋電信号の分散の平均の推定値および前記信号強度依存ノイズの分散の推定値で規定される前記筋電信号の分散の分布に従った乱数を発生させる第2の乱数発生器と、
前記整形された乱数および前記筋電信号の分散の分布に従った乱数から人工筋電信号を生成する人工筋電信号生成部とを備えた請求項5に記載の筋電信号処理装置。
A first random number generator for generating white normal random numbers;
A shaping filter for shaping the frequency characteristics of the white normal random numbers into the same frequency characteristics as the myoelectric signal,
A second random number generator that generates a random number according to the distribution of the variance of the myoelectric signal defined by the estimated value of the average of the variance of the myoelectric signal and the estimated value of the variance of the signal intensity-dependent noise;
The myoelectric signal processing device according to claim 5, further comprising: an artificial myoelectric signal generation unit configured to generate an artificial myoelectric signal from the shaped random number and a random number according to a distribution of the variance of the myoelectric signal.
前記分散平均推定部が、最大随意筋収縮時の前記整流平滑化信号、指定された筋活動度および前記筋電信号の整流平滑化に係るフィルタゲインの逆数から前記筋活動度での筋電信号の分散の平均の推定値を計算するものであり、
前記信号強度依存ノイズ分散推定部が、前記筋電信号の分散の分布を規定するパラメータおよび前記筋活動度での筋電信号の分散の平均の推定値から前記筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値を計算するものであり、
前記第2の乱数発生器が、前記筋活動度での筋電信号の分散の平均の推定値および前記筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値で規定される前記筋活動度での筋電信号の分散の分布に従った乱数を発生させるものである、請求項6に記載の筋電信号処理装置。
The variance average estimating unit calculates the myoelectric signal at the myoactivity from the reciprocal of the rectified and smoothed signal at the time of maximum voluntary muscle contraction, a designated muscle activity and a reciprocal of a filter gain related to the rectification and smoothing of the myoelectric signal. Computes an estimate of the mean of the variance,
The signal intensity-dependent noise variance estimating unit converts the parameter that defines the distribution of the variance of the myoelectric signal and the estimated value of the average of the variance of the myoelectric signal at the muscular activity into the myoelectric signal at the muscular activity. Calculating an estimate of the variance of the signal strength dependent noise to be superimposed,
The second random number generator defines an average value of the variance of the myoelectric signal at the muscle activity and an estimated value of the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the muscle activity. The myoelectric signal processing device according to claim 6, wherein a random number is generated in accordance with a distribution of a variance of the myoelectric signal at the muscle activity.
前記筋電信号の分散の分布が逆ガンマ分布であり、
前記パラメータが逆ガンマ分布の形状母数である、請求項5ないし請求項7のいずれかに記載の筋電信号処理装置。
The distribution of the variance of the myoelectric signal is an inverse gamma distribution,
The myoelectric signal processing device according to claim 5, wherein the parameter is a shape parameter of an inverse gamma distribution.
信号強度依存ノイズが重畳された筋電信号を整流平滑化した整流平滑化信号について所定の時間長ごとに平均を計算する手段、
前記整流平滑化信号の平均および前記筋電信号の整流平滑化に係るフィルタゲインの逆数から前記筋電信号の分散の平均の推定値を計算する手段、および
前記筋電信号の分散の平均の推定値および前記筋電信号の分散の分布を規定するパラメータから前記信号強度依存ノイズの分散の推定値を計算する手段としてコンピュータを機能させ、
前記筋電信号の分散の分布は、前記筋電信号の分布に対して共役な性質を有するとともに、分散の非負性を満たす分布である
筋電信号処理プログラム。
Means for calculating an average for each predetermined time length for a rectified and smoothed signal obtained by rectifying and smoothing the myoelectric signal on which the signal strength dependent noise is superimposed,
Means for calculating an average of the variance of the myoelectric signal from the average of the rectified and smoothed signal and the reciprocal of a filter gain relating to the rectification and smoothing of the myoelectric signal; and estimating the average of the variance of the myoelectric signal. A computer functioning as a means for calculating an estimated value of the variance of the signal strength-dependent noise from a value and a parameter defining a distribution of the variance of the myoelectric signal,
A myoelectric signal processing program , wherein the distribution of the myoelectric signal variance has a property conjugate to the distribution of the myoelectric signal and satisfies the non-negativeness of the variance .
白色正規乱数を発生させる手段、
前記白色正規乱数の周波数特性を前記筋電信号と同様の周波数特性に整形する手段、
前記筋電信号の分散の平均の推定値および前記信号強度依存ノイズの分散の推定値で規定される前記筋電信号の分散の分布に従った乱数を発生させる手段、および
前記整形された乱数および前記筋電信号の分散の分布に従った乱数から人工筋電信号を生成する手段としてコンピュータを機能させる請求項9に記載の筋電信号処理プログラム。
Means for generating white normal random numbers,
Means for shaping the frequency characteristics of the white normal random numbers into the same frequency characteristics as the myoelectric signal,
Means for generating a random number according to the distribution of the variance of the myoelectric signal defined by the estimated value of the variance of the myoelectric signal and the estimated value of the variance of the signal intensity-dependent noise; and 10. The myoelectric signal processing program according to claim 9, causing a computer to function as means for generating an artificial myoelectric signal from random numbers according to a distribution of the variance of the myoelectric signal.
最大随意筋収縮時の前記整流平滑化信号、指定された筋活動度および前記筋電信号の整流平滑化に係るフィルタゲインの逆数から前記筋活動度での筋電信号の分散の平均の推定値を計算する手段、
前記筋電信号の分散の分布を規定するパラメータおよび前記筋活動度での筋電信号の分散の平均の推定値から前記筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値を計算する手段、および
前記筋活動度での筋電信号の分散の平均の推定値および前記筋活動度での筋電信号に重畳される信号強度依存ノイズの分散の推定値で規定される前記筋活動度での筋電信号の分散の分布に従った乱数を発生させる手段としてコンピュータを機能させる請求項10に記載の筋電信号処理プログラム。
The rectified smoothed signal at the maximum voluntary muscle contraction, the estimated value of the average of the variance of the myoelectric signal at the myoelectric activity from the reciprocal of the filter gain according to the specified muscular activity and the rectifying and smoothing of the myoelectric signal. Means to calculate,
The parameter defining the distribution of the variance of the myoelectric signal and the estimated value of the average of the variance of the myoelectric signal at the muscular activity, the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the muscular activity Means for calculating an estimated value, defined by an estimated value of the average of the variance of the myoelectric signal at the muscular activity and an estimated value of the variance of the signal intensity-dependent noise superimposed on the myoelectric signal at the muscular activity. The myoelectric signal processing program according to claim 10, causing a computer to function as a means for generating a random number according to a distribution of variance of the myoelectric signal at the muscle activity level.
前記筋電信号の分散の分布が逆ガンマ分布であり、
前記パラメータが逆ガンマ分布の形状母数である、請求項9ないし請求項11のいずれかに記載の筋電信号処理プログラム。
The distribution of the variance of the myoelectric signal is an inverse gamma distribution,
The myoelectric signal processing program according to claim 9, wherein the parameter is a shape parameter of an inverse gamma distribution.
JP2015241474A 2015-12-10 2015-12-10 Myoelectric signal processing method, apparatus and program Active JP6652252B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015241474A JP6652252B2 (en) 2015-12-10 2015-12-10 Myoelectric signal processing method, apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015241474A JP6652252B2 (en) 2015-12-10 2015-12-10 Myoelectric signal processing method, apparatus and program

Publications (2)

Publication Number Publication Date
JP2017104333A JP2017104333A (en) 2017-06-15
JP6652252B2 true JP6652252B2 (en) 2020-02-19

Family

ID=59058060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015241474A Active JP6652252B2 (en) 2015-12-10 2015-12-10 Myoelectric signal processing method, apparatus and program

Country Status (1)

Country Link
JP (1) JP6652252B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965847B (en) * 2019-04-08 2023-11-07 清华大学 Server and signal analysis system
JP7390716B2 (en) 2020-02-21 2023-12-04 国立大学法人広島大学 Sympathetic nerve activity estimation device, sympathetic nerve activity estimation method and program
CN115034273B (en) * 2021-12-27 2023-09-01 驻马店市中心医院 Myoelectricity biofeedback equipment and system based on pattern recognition
CN114469142A (en) * 2022-01-06 2022-05-13 中南大学 Muscle force decoding method based on human muscle dynamics model and myoelectric signal

Also Published As

Publication number Publication date
JP2017104333A (en) 2017-06-15

Similar Documents

Publication Publication Date Title
Khushaba et al. A framework of temporal-spatial descriptors-based feature extraction for improved myoelectric pattern recognition
Heintz et al. Static optimization of muscle forces during gait in comparison to EMG-to-force processing approach
JP6652252B2 (en) Myoelectric signal processing method, apparatus and program
KR101666399B1 (en) Human joint kinematics information extraction method from multi-channel surface electromyogram signals, recording medium and device for performing the method
Kamavuako et al. Relationship between grasping force and features of single-channel intramuscular EMG signals
Kamavuako et al. Estimation of grasping force from features of intramuscular EMG signals with mirrored bilateral training
Hou et al. A real-time QRS detection method based on phase portraits and box-scoring calculation
Zhang et al. Extracting time-frequency feature of single-channel vastus medialis EMG signals for knee exercise pattern recognition
CN110801226A (en) Human knee joint moment testing system method based on surface electromyographic signals and application
Rocha et al. Weighted-cumulated S-EMG muscle fatigue estimator
TWI583355B (en) Heart rate detection method and heart rate detection device
Zhang et al. Human joint motion estimation for electromyography (EMG)-based dynamic motion control
US20200054262A1 (en) Method for real time analyzing stress using deep neural network algorithm
Sidek et al. Mapping of EMG signal to hand grip force at varying wrist angles
Javaid et al. Comparative analysis of emg signal features in time-domain and frequency-domain using myo gesture control
Flood et al. Gait event detection from accelerometry using the teager–kaiser energy operator
JP2010125287A (en) Digital joint angle estimating device
CN106901732B (en) Measuring method and measuring device for muscle strength and muscle tension in mutation state
Bai et al. Novel time-frequency approach for muscle fatigue detection based on sEMG
Wang et al. Prediction of lower limb joint angle using sEMG based on GA-GRNN
Too et al. Exploring the relation between EMG pattern recognition and sampling rate using spectrogram
De la Fuente et al. Understanding the effect of window length and overlap for assessing sEMG in dynamic fatiguing contractions: A non-linear dimensionality reduction and clustering
Dong et al. Development of a fatigue-tracking system for monitoring human body movement
CN106983511B (en) Method and device for identifying muscle strength and muscle tension state mutation points
Montes et al. Comparison of 4 different smoothness metrics for the quantitative assessment of movement's quality in the upper limb of subjects with cerebral palsy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200116

R150 Certificate of patent or registration of utility model

Ref document number: 6652252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250