JP6297951B2 - Motion estimation device - Google Patents
Motion estimation device Download PDFInfo
- Publication number
- JP6297951B2 JP6297951B2 JP2014184835A JP2014184835A JP6297951B2 JP 6297951 B2 JP6297951 B2 JP 6297951B2 JP 2014184835 A JP2014184835 A JP 2014184835A JP 2014184835 A JP2014184835 A JP 2014184835A JP 6297951 B2 JP6297951 B2 JP 6297951B2
- Authority
- JP
- Japan
- Prior art keywords
- patient
- motion estimation
- weight vector
- unit
- biological signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003183 myoelectrical effect Effects 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 230000001054 cortical effect Effects 0.000 claims description 6
- 210000000852 deltoid muscle Anatomy 0.000 claims description 6
- 210000002976 pectoralis muscle Anatomy 0.000 claims description 4
- 210000001364 upper extremity Anatomy 0.000 claims description 4
- 238000000034 method Methods 0.000 description 25
- 238000007781 pre-processing Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007659 motor function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Rehabilitation Tools (AREA)
Description
本発明は運動推定装置、及び運動推定方法に関し、特にリハビリテーションを行っている患者の運動を推定する運動推定装置、及び運動推定方法に関する。 The present invention relates to a motion estimation device and a motion estimation method, and more particularly to a motion estimation device and a motion estimation method for estimating the motion of a patient who is performing rehabilitation.
運動機能が損なわれた人は、リハビリテーションを行うことで運動機能の回復を図ることができる。昨今、このようなリハビリテーションを適切に行うための様々な装置が開発されている。 A person whose motor function is impaired can recover the motor function by performing rehabilitation. In recent years, various devices for appropriately performing such rehabilitation have been developed.
また、特許文献1には、人の動作を補助するための動作補助装置に関する技術が開示されている。特許文献1に開示されている動作補助装置では、装着者に装着された状態において装着者固有の動力学パラメータをパラメータ同定部により同定し、同定した動力学パラメータを代入した運動方程式に基づき制御装置により駆動源を制御するように構成している。これにより、装着者の個人差や体調等の変動要因に影響されない動作補助装置を提供することができる。
特許文献1に開示されている技術では、装着者の個人差を補うために装着者固有の動力学パラメータをパラメータ同定部により同定し、同定した動力学パラメータを代入した運動方程式に基づいて駆動源を制御している。
In the technique disclosed in
しかしながら、特許文献1に開示されている技術では、装着者固有の動力学パラメータを重力補償や慣性補償に使用しているのみであり、装着者の意図を推定した制御には使用していない。このため、リハビリテーションのような連続的に患者の意図を推定し、アシストを行うような制御系には特許文献1にかかる技術を適用することができない。
However, in the technique disclosed in
つまり、リハビリテーションでは連続的に患者の意図を推定することが求められている。このため、患者の生体信号から患者の意図を読み取り、この生体信号に基づいてリアルタイムで患者の運動を推定する運動推定装置および運動推定方法が求められている。 That is, in rehabilitation, it is required to continuously estimate the patient's intention. Therefore, there is a need for a motion estimation device and a motion estimation method that reads a patient's intention from a patient's biological signal and estimates the patient's motion in real time based on the biological signal.
本発明にかかる運動推定装置は、リハビリテーションを行っている患者によって操作される操作部と、前記操作部の操作量を検出する操作量検出部と、前記患者が前記操作部を操作した際の前記患者の生体信号を検出する生体信号検出部と、前記操作量検出部で検出された操作量と前記生体信号検出部で検出された生体信号とを用いて前記患者の運動を推定する運動推定部と、を有し、前記運動推定部は、前記操作部の操作量を用いて算出された前記患者の運動量の真値と前記患者が前記操作部を操作した際の前記患者の生体信号とを用いてスパースな重みベクトルを生成する重みベクトル生成部と、前記重みベクトル生成部で生成された前記スパースな重みベクトルと前記患者がリハビリテーションを行っている際に前記生体信号検出部でリアルタイムで検出された生体信号とを用いて前記患者の運動推定値を生成する運動推定値生成部と、を備える。 The motion estimation device according to the present invention includes an operation unit that is operated by a patient who is performing rehabilitation, an operation amount detection unit that detects an operation amount of the operation unit, and the patient when the patient operates the operation unit. A biological signal detection unit that detects a biological signal of the patient, and a motion estimation unit that estimates the motion of the patient using the operation amount detected by the operation amount detection unit and the biological signal detected by the biological signal detection unit And the motion estimation unit calculates a true value of the patient's exercise amount calculated using the operation amount of the operation unit and a biological signal of the patient when the patient operates the operation unit. A weight vector generation unit that generates a sparse weight vector using the sparse weight vector generated by the weight vector generation unit and the biological signal detection unit when the patient is performing rehabilitation. And a motion estimation value generating unit for generating a motion estimation value of the patient using a biological signal detected in real time.
本発明にかかる運動推定方法は、リハビリテーションを行っている患者によって操作される操作部の操作量と前記患者が前記操作部を操作した際の前記患者の生体信号とを用いて前記患者の運動を推定する運動推定方法であって、前記操作部の操作量を用いて算出された前記患者の運動量の真値と前記患者が前記操作部を操作した際の前記患者の生体信号とを用いてスパースな重みベクトルを生成する重みベクトル生成工程と、前記重みベクトル生成工程で生成された前記スパースな重みベクトルと前記患者がリハビリテーションを行っている際にリアルタイムで検出された生体信号とを用いて前記患者の運動推定値を生成する運動推定値生成工程と、を備える。 The motion estimation method according to the present invention uses the operation amount of an operation unit operated by a patient undergoing rehabilitation and the patient's biological signal when the patient operates the operation unit. A motion estimation method for estimating the sparseness using a true value of the patient's motion amount calculated using the operation amount of the operation unit and a biological signal of the patient when the patient operates the operation unit. The patient using a weight vector generation step for generating a weight vector, the sparse weight vector generated in the weight vector generation step, and a biological signal detected in real time when the patient is performing rehabilitation A motion estimation value generating step of generating a motion estimation value of
本発明では、患者の運動量の真値と患者の生体信号とを用いてスパースな重みベクトルを予め生成している。そして、患者がリハビリテーションを行っている際にリアルタイムで検出された生体信号とこのスパースな重みベクトルとを用いて、患者の運動推定値を生成している。このとき、本発明では、患者の運動推定値を生成する際にスパースな重みベクトルを用いているので、運動推定値を算出する際の計算負荷を低減することができる。よって、リハビリテーションのように生体信号が連続的に検出される場合であっても、迅速に運動推定値を算出することができ、患者の生体信号に基づいた運動推定値をリアルタイムで求めることができる。 In the present invention, a sparse weight vector is generated in advance using the true value of the patient's momentum and the patient's biological signal. And the patient's motion estimated value is produced | generated using the biometric signal detected in real time when the patient is performing rehabilitation, and this sparse weight vector. At this time, in the present invention, since the sparse weight vector is used when generating the motion estimation value of the patient, the calculation load when calculating the motion estimation value can be reduced. Therefore, even when a biological signal is continuously detected as in rehabilitation, a motion estimation value can be calculated quickly, and a motion estimation value based on the patient's biological signal can be obtained in real time. .
本発明により、リアルタイムで患者の運動を推定することが可能な運動推定装置および運動推定方法を提供することができる。 According to the present invention, it is possible to provide a motion estimation device and a motion estimation method capable of estimating a patient's motion in real time.
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本実施の形態にかかる運動推定装置1を示すブロック図である。図1に示すように、本実施の形態にかかる運動推定装置1は、リハビリテーション用ロボット10、生体信号検出部14、制御部15、サーボアンプ17、及び表示部18を備える。リハビリテーション用ロボット10は、操作部11、モータ12、及び操作量検出部13を備える。また、制御部15は運動推定部16を備える。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a
本発明は患者の運動を推定する点に特徴があるため、図1に示す装置を運動推定装置として説明するが、運動推定装置1はリハビリテーション装置としても使用することができる。なお、運動推定装置1として使用する場合は、構成要素として少なくとも操作部11、操作量検出部13、生体信号検出部14、運動推定部16を備えていればよい。
Since the present invention is characterized in that the motion of the patient is estimated, the apparatus shown in FIG. 1 will be described as a motion estimation apparatus. However, the
リハビリテーション用ロボット10が備える操作部11は、患者19がリハビリテーションを行うために操作を行うものである。モータ12は、例えばサーボモータを用いて構成されており、操作部11にトルクを付与する。操作量検出部13は、操作部11の操作量を検出する。例えば、操作量検出部13は、エンコーダを用いて構成することができる(以下では、エンコーダ13とも記載する)。
The
図2、図3に示すように、リハビリテーション用ロボット10は、筐体31、関節32、34、アーム33、35、及び操作部11を備える。アーム33は関節32を介して筐体31に取り付けられている。つまり、アーム33は筐体31に対して回転可能に取り付けられている。アーム33とアーム35は関節34を介して回転可能に連結されている。アーム35の先端には操作部11が回転可能に取り付けられている。
As shown in FIGS. 2 and 3, the
関節32にはアーム33にトルクを与えるためのモータ12_1が取り付けられている。モータ12_1は、サーボアンプ17から供給された駆動信号に応じて駆動する。また、関節32には、筐体31に対するアーム33の回転角を検出するためのエンコーダ13_1が取り付けられている。エンコーダ13_1から出力された回転角情報21_1は制御部15に供給される。
A motor 12_1 for applying torque to the
関節34にはアーム33、35にトルクを与えるためのモータ12_2が取り付けられている。モータ12_2は、サーボアンプ17から供給された駆動信号に応じて駆動する。また、関節34には、アーム33に対するアーム35の回転角を検出するためのエンコーダ13_2が取り付けられている。エンコーダ13_2から出力された角度情報21_2は制御部15に供給される。
A motor 12_2 for applying torque to the
このように、操作部11は患者19の上肢運動によって2次元平面(px、py)上を変位可能に構成されている(図2参照)。患者19は、表示部18に表示された指示にしたがって操作部11を操作する。患者19が操作部11を動かした際の操作量は、角度情報21_1、21_2としてエンコーダ13_1、13_2から制御部15に供給される。
Thus, the
図1に示す生体信号検出部14は、患者19が操作部11を操作した際の患者19の生体信号を検出する。生体信号検出部14には、患者19の運動部位の筋電位を検出する筋電位センサを用いることができる。また、患者19の脳波(EEG:Electroencephalogram)を検出する脳波センサ、患者19の皮質脳波(EcoG:Electrocorticogram)を検出する皮質脳波センサを用いてもよい。また、筋電位センサ、脳波センサ、皮質脳波センサを組み合わせて使用してもよい。以下では、生体信号検出部14として筋電位センサを用いた場合について説明する。
The biological
生体信号検出部14として筋電位センサを用いる場合は、例えば、図2に示すように、患者19の大胸筋(PMJC)に対応する位置に筋電位センサ14_1を配置し、三角筋後部(DELS)に対応する位置に筋電位センサ14_2を配置する。ここで、大胸筋と三角筋後部は互いに拮抗する筋肉である。また、患者19の上腕二頭筋長頭(BILH)に対応する位置に筋電位センサ14_3を配置し、上腕三頭筋外側頭(TRIA)に対応する位置に筋電位センサ14_4を配置する。ここで、上腕二頭筋長頭と上腕三頭筋外側頭は互いに拮抗する筋肉である。
When a myoelectric potential sensor is used as the biological
各筋電位センサ14_1〜14_4(以下では、総称して筋電位センサ14とも記載する)で検出された筋電位信号emgi kは制御部15に供給される。
The myoelectric potential signals emg i k detected by the myoelectric potential sensors 14_1 to 14_4 (hereinafter collectively referred to as the myoelectric potential sensor 14) are supplied to the
制御部15が備える運動推定部16は、エンコーダ13で検出された操作部11の操作量21と生体信号検出部(筋電位センサ)14で検出された生体信号22(筋電位信号emgi k)とを用いて患者19の運動を推定する。
The
また、制御部15は、表示部18に患者19が操作部11を操作すべき方向が表示されるように制御する。リハビリテーション装置として使用する場合、制御部15は、運動推定部16で生成した運動推定値に応じてモータ12がトルクを発生するように、サーボアンプ17に制御目標値を出力する。
Further, the
図4は、運動推定部16を詳細に説明するためのブロック図である。図4に示すように、運動推定部16は重みベクトル生成部40と運動推定値生成部50とを備える。重みベクトル生成部40は、前処理部41、時間シフト操作部42、順キネマティクス処理部43、及び重みベクトル算出部44を備える。運動推定値生成部50は、前処理部51、時間シフト操作部52、及び運動推定値算出部53を備える。
FIG. 4 is a block diagram for explaining the
重みベクトル生成部40は、エンコーダ13で検出された操作量(角度情報)を用いて算出された患者19の運動量の真値yと筋電位センサ14で検出された筋電位信号emgi kとを用いてスパースな重みベクトルθhを生成する。運動推定値生成部50は、重みベクトル生成部40で生成されたスパースな重みベクトルθhと患者19がリハビリテーションを行っている際に筋電位センサ14で検出された筋電位信号emgi kとを用いて患者19の運動推定値yhを生成する。
The weight
ここで、スパースな重みベクトルとは、非ゼロの要素の数が少ないベクトルであり、本実施の形態では、重みベクトルに含まれる非ゼロの要素の数が所定の数以下になるようにスパースな重みベクトルを生成する。 Here, the sparse weight vector is a vector with a small number of non-zero elements. In this embodiment, the sparse weight vector is a sparse weight so that the number of non-zero elements included in the weight vector is equal to or less than a predetermined number. Generate a weight vector.
以下、運動推定部16の処理について、図4に示す運動推定部16のブロック図および図5に示すフローチャートを用いて詳細に説明する。なお、図5に示すフローチャートにおいて、スパースな重みベクトルθhを生成するためのステップS1〜S5の処理は学習フェーズ(重みベクトル生成工程:重みベクトル生成部40の処理に対応)であり、運動推定値yhを生成するためのステップS6〜S8の処理はテストフェーズ(運動推定値生成工程:運動推定値生成部50の処理に対応)である。
Hereinafter, the process of the
まず、重みベクトル生成部40の処理(学習フェーズにおける処理)について説明する。重みベクトル生成部40は、筋電位信号emgi kを入力する(ステップS1)。ここで、筋電位信号emgi kは、図2に示す4チャンネルの筋電位センサ14_1〜14_4で測定された信号である。次に、筋電位信号emgi kに対して前処理および時間シフト操作を行う(ステップS2)。
First, processing (processing in the learning phase) of the weight
具体的には、前処理部41は、4チャンネルの筋電位信号emgi kに対して整流化処理を実施した後、時間フィルタをかけて筋電位信号の低周波成分を強調させる。このとき、時間フィルタとして5次のバンドパスフィルタGBPF(z)をチャンネル毎に適用して0.5Hzから2Hzの帯域を通過させる。このときの処理を式(1)に示す。
Specifically, the
ここで、kは時刻、iは筋電位センサ14_1〜14_4のチャンネル番号であり、i=1、2、3、4はそれぞれ、大胸筋(PMJC)、三角筋後部(DELS)、上腕二頭筋長頭(BILH)、上腕三頭筋外側頭(TRIA)に対応している。また、|emgi k|は整流化処理を表している。zはz変換を示している。 Here, k is the time, i is the channel number of the myoelectric potential sensors 14_1 to 14_4, and i = 1, 2, 3, and 4 are the greater pectoral muscle (PMJC), deltoid muscle (DELS), and biceps. It corresponds to the long muscle head (BILH) and the triceps lateral head (TRIA). Further, | egg i k | represents a rectification process. z indicates z conversion.
その後、前処理部41は、式(2)に示す時間方向の差分処理を行い、低周波成分に関する筋電位(EMG)速度信号di kを作成する。式(2)を適用することで、デコーディング時の応答性を高めることができる。
Then, the preprocessing
次に、時間シフト操作部42は、上記式(2)で求めた筋電位(EMG)速度信号di kに対してチャンネル毎に時間シフト操作を行い、応答行列Ameasを作成する。以下に、時間シフト操作を表す式(3)を示す。
Then, the time
次に、学習フェーズ処理部40は、エンコーダ13で検出された操作量(角度情報)を入力する(ステップS3)。その後、エンコーダ13で検出された操作量(角度情報)を用いて順キネマティクス処理により、患者19の運動量の真値yを算出する(ステップS4)。
Next, the learning
具体的には、順キネマティクス処理部43は、エンコーダ13で検出された操作量(角度情報)を用いて、順キネマティクス処理により、患者19の運動量の真値yを算出する。このときの運動量の真値yを式(4)に示す。
Specifically, the forward
ここで、Mは計測、演算したサンプル数であり、その際のサンプリング周波数は128Hzとする。なお、式(4)では、患者19のx方向の手先速度vxを推定する場合について示している。患者19のy方向の手先速度vy、x方向の手先変位px、y方向の手先変位pyについては、式(4)の真値を該当する運動物理量に変更することで求めることができる。
Here, M is the number of measured and calculated samples, and the sampling frequency at that time is 128 Hz. Equation (4) shows a case where the hand speed v x in the x direction of the
次に、重みベクトル算出部44は、応答行列Ameasおよび運動量の真値yを用いてスパースな重みベクトルθhを生成する(ステップS5)。以下、スーパースな重みベクトルθhを生成する方法について具体的に説明する。
Next, the weight
筋電位(EMG)速度信号di kに基づく線形デコーディングモデルは次の式(5)で表すことができる。 A linear decoding model based on the electromyogram (EMG) velocity signal d i k can be expressed by the following equation (5).
ここで、Cは筋電位センサ14_1〜14_4のチャンネル数(C=4)、Nはデコーディングで用いた時間シフトの個数(N=14)、aとθi jはモデルの重み係数である。この式(5)を行列を用いて表現すると以下の式(6)のように表すことができる。 Here, C is the number of channels of the myoelectric sensors 14_1 to 14_4 (C = 4), N is the number of time shifts used in decoding (N = 14), and a and θ i j are model weighting factors. When Expression (5) is expressed using a matrix, it can be expressed as Expression (6) below.
ここで、Ameasは応答行列、θは重みベクトルである。上記式(6)において、運動量の真値yおよび応答行列Ameasは既知であるため、上記式(6)を用いて重みベクトルθを求めることができる。このとき、重みベクトルθを求める際にスパースコーディングを用いることで、非ゼロの要素の数が重みベクトルθよりも少ないスパースな重みベクトルθh(以下では、重みベクトルの推定値θhとも記載する)を生成することができる。以下で、スパースコーディングを用いて重みベクトルの推定値θhを生成する場合について具体的に説明する。 Here, A meas is a response matrix, and θ is a weight vector. In the above equation (6), since the true value y of the momentum and the response matrix A meas are known, the weight vector θ can be obtained using the above equation (6). At this time, the sparse coding is used when obtaining the weight vector θ, so that the sparse weight vector θ h in which the number of non-zero elements is smaller than the weight vector θ (hereinafter also referred to as an estimated value θ h of the weight vector). ) Can be generated. Hereinafter, a case where the estimated value θ h of the weight vector is generated using sparse coding will be described in detail.
スパースコーディングを用いて重みベクトルの推定値θhを求める問題は、次の式(7)のように表すことができる。 The problem of obtaining an estimated value θ h of the weight vector using sparse coding can be expressed as the following equation (7).
ここで、||θ||0は、重みベクトルθのうちの非ゼロ要素の数であり、式(7)は条件を満たしながら非常にスパース、すなわち少数の非ゼロ要素からなる重みベクトルを求めることを表している。 Here, || θ || 0 is the number of non-zero elements in the weight vector θ, and Equation (7) is very sparse while satisfying the condition, that is, obtains a weight vector composed of a small number of non-zero elements. Represents that.
式(7)の条件部分をより正確に表すために、次の式(8)に示すように問題の定式化を書き換える。 In order to more accurately represent the condition part of Equation (7), the problem formulation is rewritten as shown in Equation (8) below.
ここで、εは最大許容誤差である。そして、スパース表現の目標値、すなわち非ゼロ要素数の目標値Sを下記の式(9)と与えて、再帰的アルゴリズムにより式(8)を数値的に計算する。この計算には、例えば再帰計算の収束性に優れたOMP(Orthogonal Matching Pursuit)法を用いることができる。 Here, ε is the maximum allowable error. Then, the target value of sparse expression, that is, the target value S of the number of non-zero elements is given as the following expression (9), and the expression (8) is numerically calculated by a recursive algorithm. For this calculation, for example, an OMP (Orthogonal Matching Pursuit) method having excellent convergence of recursive calculation can be used.
このような処理により、重みベクトル生成部44はスパースな重みベクトルθhを生成することができる。なお、上記例ではスパースな重みベクトルを求めるために、OMP法によるスパースコーディングを用いた。しかし、本発明の最終的な目的は、線形デコーディングモデルに対するスパースな重みを求めることであるので、別の手法のスパースコーディングを用いてもよい。更に、最小二乗法で求めた重みの要素のうちの一部の要素をゼロに設定し、式(7)が成立する最適な重みベクトルを求めてもよい(式(11)参照)。
By such processing, the weight
次に、運動推定値生成部50の処理(テストフェーズにおける処理)について説明する。患者19が操作部11を操作すると、図2に示した4チャンネルの筋電位センサ14_1〜14_4から筋電位信号emgi kがリアルタイムで出力される。運動推定値生成部50はこの筋電位信号emgi kを入力する(ステップS6)。次に、筋電位信号emgi kに対して前処理および時間シフト操作を行う(ステップS7)。
Next, processing (processing in the test phase) of the motion estimated
具体的には、前処理部51は、4チャンネルの筋電位信号emgi kに対して整流化処理を実施した後、時間フィルタをかけて筋電位信号の低周波成分を強調させる。その後、前処理部51は、時間方向の差分処理を行い、低周波成分に関する筋電位(EMG)速度信号di kを作成する。なお、前処理部51における処理は、上記で説明した前処理部41における処理と同様であるので重複した説明は省略する。
Specifically, the
次に、時間シフト操作部52は、上記で求めた筋電位(EMG)速度信号di kに対してチャンネル毎に時間シフト操作を行い、応答行列Ameasを作成する。なお、時間シフト操作部52における処理は、上記で説明した時間シフト操作部42における処理と同様であるので重複した説明は省略する。
Then, the time
次に、運動推定値算出部53は、時間シフト操作部52で生成された応答行列Ameasと重みベクトル生成部40で生成されたスパースな重みベクトルθhとを用いて、患者19の運動推定値yhを生成する(ステップS8)。
Next, the motion estimation
具体的には、運動推定値算出部53は、下記の式(10)に、時間シフト操作部52で生成された応答行列Ameasと重みベクトル生成部40で生成されたスパースな重みベクトルθhとを代入することで患者19の運動推定値yhを算出する。
Specifically, the motion estimation
このように、運動推定値生成部50(テストフェーズ)では、運動推定(デコーディング)用に時不変の線形デコーディングモデルを考慮し、計測した筋電位信号emgi kに対して前処理(整流化、時間フィルタ、差分処理)および時間シフト操作を実施した応答行列Ameasを入力することで、運動推定値yh(手先の速度、変位)を出力する。なお、テストフェーズでは、上記のスパースな重みベクトルθhを時不変パラメータとして使用している。 As described above, the motion estimation value generation unit 50 (test phase) takes into account the time-invariant linear decoding model for motion estimation (decoding) and performs preprocessing (rectification) on the measured myoelectric potential signal emg i k . By inputting the response matrix A meas subjected to the time shift operation, the motion estimation value y h (hand speed, displacement) is output. In the test phase, the sparse weight vector θ h is used as a time-invariant parameter.
運動推定装置1をリハビリテーション装置として使用する場合は、運動推定値生成部50で生成された運動推定値yhを用いて、リハビリテーション用ロボット10を制御する(ステップS9)。具体的には、図1に示す制御部15は、生成された運動推定値yhに応じてモータ12がトルクを発生するように、サーボアンプ17に制御目標値を出力する。このような制御により、患者19の意図に応じたアシスト制御を行うことができる。
When the
その後、図5に示すテストフェーズの処理(ステップS6〜S9)を繰り返すことで、リアルタイムで患者の運動を推定することができ、患者19の意図に応じたアシスト制御を連続的に行うことができる。また、改めてスパースな重みベクトルθhを生成する必要が生じた場合は、学習フェーズの処理(ステップS1〜S5)を実施する。 Thereafter, by repeating the processing of the test phase shown in FIG. 5 (steps S6 to S9), the motion of the patient can be estimated in real time, and the assist control according to the intention of the patient 19 can be continuously performed. . Also, if the need to newly generate a sparse weight vector theta h occurs, it is implementing the processing of the learning phase (steps S1-S5).
次に、本実施の形態にかかる運動推定装置の性能の比較について説明する。性能比較のために3種類のデコーダ(重みベクトル算出部44であり、以下、デコーダとも記載する)を設計した。デコーダAは、式(9)の非ゼロ要素の目標値SをS=21に設定したデコーダである。デコーダBは、式(9)の非ゼロ要素の目標値SをS=9に設定したデコーダである。デコーダCは、最小二乗法で設計したデコーダである。
Next, the performance comparison of the motion estimation apparatus according to the present embodiment will be described. For performance comparison, three types of decoders (the weight
最小二乗法を用いて重みベクトルの推定値θhを求める場合は、順キネマティクス処理部43から出力された運動の真値yと、上記式(10)で求めた運動推定値yhとの二乗誤差を最小にする重みを下記の式(11)を用いて算出する。
When the estimated value θ h of the weight vector is obtained using the least square method, the true value y of the motion output from the forward
なお、全てのデコーダA〜Cにおいて設計した重みベクトルの要素数は57次元であるが、デコーダAではそのうちの21個が非ゼロ要素であり、デコーダBではそのうちの9個が非ゼロ要素であり、それ以外はゼロ要素である。 The number of elements of the weight vector designed in all decoders A to C is 57 dimensions. In decoder A, 21 of them are non-zero elements, and in decoder B, 9 of them are non-zero elements. The other elements are zero elements.
図6、図7はデコーダAを用いて患者の運動を推定した結果を示す図であり、各々、学習フェーズのデータを用いて求めた速度および位置を示している。図6の上側のグラフはx方向の速度vx、下側のグラフはy方向の速度vyを示している。図7の上側のグラフはx方向の位置px、下側のグラフはy方向の位置pyを示している。図中、実線はスパースな重みベクトルθhを用いて求めた運動推定値yhを示しており、破線はエンコーダの角度情報から求めた運動真値yを示している。 FIG. 6 and FIG. 7 are diagrams showing the results of estimating the patient's motion using the decoder A, and each showing the velocity and position obtained using the data in the learning phase. The upper graph in FIG. 6 shows the velocity v x in the x direction, and the lower graph shows the velocity vy in the y direction. The upper graph in Figure 7 position p x in the x direction, the lower graph shows the position p y in the y direction. In the figure, the solid line indicates the motion estimation value y h obtained using the sparse weight vector θ h , and the broken line indicates the motion true value y obtained from the angle information of the encoder.
ここで、学習フェーズのデータを用いて求めた結果とは、スパースな重みベクトルθhを求める際に用いた筋電位信号emgi kと同一の筋電位信号emgi kを用いて運動推定値yhを求めたことを意味している。すなわち、図4の前処理部41に供給される筋電位信号emgi kと前処理部51に供給される筋電位信号emgi kとが同一の場合を意味している。
Here, the result obtained using the data of the learning phase is the motion estimation value y using the same myoelectric signal emg i k as the myoelectric signal emg i k used when obtaining the sparse weight vector θ h. It means that h is obtained. That means the case where the myoelectric potential signals emg i k supplied to the electromyogram emg i k preprocessing section 51 is supplied to the
図6に示すように、デコーダAを用いて患者の運動を推定した場合、x方向の速度vxおよびy方向の速度vyについて、運動推定値yhと運動真値yが高い相関関係を示した。また、図7に示すように、デコーダAを用いて患者の運動を推定した場合、x方向の位置pxおよびy方向の位置pyについて、運動真値yと運動推定値yhが高い相関関係を示した。 As shown in FIG. 6, when estimating the motion of the patient using the decoder A, the speed v y of the velocity v x and y direction of the x-direction, the motion estimation value y h exercise true value y is highly correlated Indicated. Further, as shown in FIG. 7, when estimating the motion of the patient using the decoder A, the position p y position p x and y direction of the x-direction, movement true value y and motion estimation value y h high correlation The relationship was shown.
図8、図9はデコーダAを用いて患者の運動を推定した結果を示す図であり、各々、テストフェーズのデータを用いて求めた速度および位置を示している。図8の上側のグラフはx方向の速度vx、下側のグラフはy方向の速度vyを示している。図9の上側のグラフはx方向の位置px、下側のグラフはy方向の位置pyを示している。図中、実線はスパースな重みベクトルθhを用いて求めた運動推定値yhを示しており、破線はエンコーダの角度情報から求めた運動真値yを示している。 FIG. 8 and FIG. 9 are diagrams showing the results of estimating the patient's motion using the decoder A, and each showing the velocity and position obtained using the data of the test phase. The upper graph in FIG. 8 shows the velocity v x in the x direction, and the lower graph shows the velocity vy in the y direction. The upper graph of Figure 9 is the position p x in the x direction, the lower graph shows the position p y in the y direction. In the figure, the solid line indicates the motion estimation value y h obtained using the sparse weight vector θ h , and the broken line indicates the motion true value y obtained from the angle information of the encoder.
ここで、テストフェーズのデータを用いて求めた結果とは、スパースな重みベクトルθhを求める際に用いた筋電位信号emgi kと異なる筋電位信号emgi kを用いて運動推定値yhを求めたことを意味している。すなわち、図4の前処理部41に供給される筋電位信号emgi kと前処理部51に供給される筋電位信号emgi kとが異なる場合を意味している。
Here, the results obtained by using the data of the test phase, the motion estimation value by using a myoelectric potential signal emg i k different electromyogram emg i k used in obtaining the sparse weight vector theta h y h Means that That means the case where the myoelectric potential signals emg i k supplied to the electromyogram emg i k preprocessing section 51 is supplied to the
図8に示すように、デコーダAを用いて患者の運動を推定した場合、x方向の速度vxおよびy方向の速度vyについて、運動推定値yhと運動真値yが高い相関関係を示した。また、図9に示すように、デコーダAを用いて患者の運動を推定した場合、x方向の位置pxおよびy方向の位置pyについて、運動真値yと運動推定値yhが高い相関関係を示した。 As shown in FIG. 8, when estimating the motion of the patient using the decoder A, the speed v y of the velocity v x and y direction of the x-direction, the motion estimation value y h exercise true value y is highly correlated Indicated. Further, as shown in FIG. 9, when estimating the motion of the patient using the decoder A, the position p y position p x and y direction of the x-direction, movement true value y and motion estimation value y h high correlation The relationship was shown.
これらの結果を定量的に評価するために、図6〜図9に示した運動真値yと運動推定値yhとの間の相関係数Rを求めた。更に、デコーダB、Cを用いた場合についても、運動真値yと運動推定値yhとの間の相関係数Rを求めた。各デコーダA〜Cを用いた場合の運動真値yと運動推定値yhとの間の相関係数Rを図10、図11に示す。なお、図10は学習フェーズのデータを用いた場合の性能比較を示しており、図11はテストフェーズのデータを用いた場合の性能比較を示している。 In order to quantitatively evaluate these results, the correlation coefficient R between the motion true value y and the motion estimated value y h shown in FIGS. 6 to 9 was obtained. Further, in the case of using the decoders B and C, the correlation coefficient R between the motion true value y and the motion estimated value y h was obtained. FIGS. 10 and 11 show the correlation coefficient R between the motion true value y and the motion estimated value y h when the decoders A to C are used. FIG. 10 shows a performance comparison when the learning phase data is used, and FIG. 11 shows a performance comparison when the test phase data is used.
図10に示す結果では、デコーダCを用いた場合が最も相関係数が高く、次に、デコーダA、デコーダBの順番で相関係数が小さくなった。この傾向は、図11に示す結果でも概ね同様であった。デコーダCで最も相関係数が高くなった理由は、最小二乗法で設計したデコーダCでは応答行列Ameasの全ての要素に対して57次元の重みベクトルをかけているためであると思われる。これに対して、スパースコーディングで設計したデコーダA、Bでは各々、21次元と9次元のスパースな重みしかかけていないため、デコーディングのための情報が減少し、相関係数が低下したものと思われる。 In the results shown in FIG. 10, the correlation coefficient is highest when the decoder C is used, and then the correlation coefficient decreases in the order of the decoder A and the decoder B. This tendency was substantially the same in the results shown in FIG. The reason why the correlation coefficient is the highest in the decoder C seems to be that the decoder C designed by the least square method applies a 57-dimensional weight vector to all elements of the response matrix A meas . On the other hand, since decoders A and B designed by sparse coding only apply 21-dimensional and 9-dimensional sparse weights, the information for decoding is reduced and the correlation coefficient is reduced. Seem.
ただし、各々の相関係数に着目すると、デコーダA、Bともにテストフェーズのデータにおいても0.748以上の強い相関を示しており、スパースコーディングを用いた場合でも本質的に重要な重みを維持しているといえる。一方、計算負荷の観点から考えると、デコーダA、Bは、デコーダCに比べて重みベクトルの非ゼロ要素がそれぞれ36.8%、15.8%に減少しており、演算時間の短縮化や必要なメモリ容量の低減を図ることができる。 However, paying attention to each correlation coefficient, both the decoders A and B show a strong correlation of 0.748 or more in the data of the test phase, and even when sparse coding is used, an essentially important weight is maintained. It can be said that. On the other hand, from the viewpoint of calculation load, the decoders A and B have non-zero elements of the weight vector reduced to 36.8% and 15.8%, respectively, compared with the decoder C, and the calculation time can be shortened. The required memory capacity can be reduced.
背景技術で説明した特許文献1にかかる技術では、装着者の個人差を補うために装着者固有の動力学パラメータをパラメータ同定部により同定し、同定した動力学パラメータを代入した運動方程式に基づいて駆動源を制御していた。
In the technology according to
しかしながら、特許文献1に開示されている技術では、装着者固有の動力学パラメータを重力補償や慣性補償に使用しているのみであり、装着者の意図を推定した制御には使用していない。このため、リハビリテーションのような連続的に患者の意図を推定し、アシストを行うような制御系には特許文献1にかかる技術を適用することができない。
However, in the technique disclosed in
つまり、リハビリテーションでは連続的に患者の意図を推定することが求められている。このため、患者の生体信号から患者の意図を読み取り、この生体信号に基づいてリアルタイムで患者の運動を推定する運動推定装置および運動推定方法が求められていた。 That is, in rehabilitation, it is required to continuously estimate the patient's intention. For this reason, there has been a demand for a motion estimation device and a motion estimation method for reading a patient's intention from a patient's biological signal and estimating the patient's motion in real time based on the biological signal.
また、特許文献1に開示されている技術では、生体信号として筋電位信号を用いている。しかし、特許文献1において筋電位信号の役割は動作フェーズの選定と、動作フェーズに応じた定型的な指令出力であり、装着者の運動を連続的かつ高精度に推定することは行っていない。
In the technique disclosed in
これに対して本実施の形態にかかる発明では、患者の運動量の真値と患者の生体信号とを用いてスパースな重みベクトルを予め生成している。そして、患者がリハビリテーションを行っている際にリアルタイムで検出された生体信号とこのスパースな重みベクトルとを用いて、患者の運動推定値を生成している。このとき、本実施の形態にかかる発明では、患者の運動推定値を生成する際にスパースな重みベクトルを用いているので、運動推定値を算出する際の計算負荷を低減することができる。よって、リハビリテーションのように生体信号が連続的に検出される場合であっても、迅速に運動推定値を算出することができ、患者の生体信号に基づいた運動推定値をリアルタイムで求めることができる。 On the other hand, in the invention according to the present embodiment, a sparse weight vector is generated in advance using the true value of the patient's momentum and the patient's biological signal. And the patient's motion estimated value is produced | generated using the biometric signal detected in real time when the patient is performing rehabilitation, and this sparse weight vector. At this time, in the invention according to the present embodiment, since the sparse weight vector is used when generating the motion estimation value of the patient, the calculation load when calculating the motion estimation value can be reduced. Therefore, even when a biological signal is continuously detected as in rehabilitation, a motion estimation value can be calculated quickly, and a motion estimation value based on the patient's biological signal can be obtained in real time. .
スパースコーディングを用いた場合は重みベクトルの非ゼロの要素の数が減少する。このとき、上記で説明したように、スパースコーディングを用いた場合でも本質的に重要な重みの要素は維持されているので、運動推定値を求める際の計算負荷を減少させつつ、運動推定値の精度を維持することができる。 When sparse coding is used, the number of non-zero elements of the weight vector is reduced. At this time, as described above, even when the sparse coding is used, the weight elements that are essentially important are maintained. Therefore, while reducing the calculation load when obtaining the motion estimation value, the motion estimation value is reduced. Accuracy can be maintained.
また、本実施の形態にかかる運動推定装置を用いることで、運動推定のための物理的センサ(ジャイロセンサや加速度センサ等)や画像認識によるモーションキャプチャ等が不要になり、運動推定装置の低コスト化が実現できる。また、本実施の形態にかかる運動推定装置では、上流側の生体信号を用いて患者の運動を推定しているので、患者の意図を迅速に推定することができる。 Further, by using the motion estimation device according to the present embodiment, a physical sensor for motion estimation (such as a gyro sensor or an acceleration sensor) or motion capture by image recognition becomes unnecessary, and the motion estimation device can be manufactured at low cost. Can be realized. Moreover, in the motion estimation apparatus according to the present embodiment, the patient's motion is estimated using the upstream biological signal, so that the patient's intention can be quickly estimated.
なお、上記実施の形態では、患者が手先で操作部11を操作する場合(つまり、上肢運動の推定)について説明した。しかし、本発明は患者の下肢運動の推定に適用してもよい。本発明を下肢運動に適用する場合は、患者の下肢の筋肉に筋電位センサを設ける。また、上記実施の形態では、操作部11が2次元平面上を変位する場合について説明した(図2参照)。しかし、本発明では、操作部が3次元的に変位するように構成してもよい。
In the above-described embodiment, the case where the patient operates the
また、生体信号として患者19の脳波(EEG)や皮質脳波(EcoG)を用いる場合は、図4に示す前処理部41、51に筋電位信号の代わりに脳波信号を入力する。脳波(EEG)や皮質脳波(EcoG)を用いる場合、前処理部41、51は整流化処理を省略してもよい。
When the patient's 19 electroencephalogram (EEG) or cortical electroencephalogram (EcoG) is used as a biological signal, an electroencephalogram signal is input to the
以上、本発明を上記実施形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。 Although the present invention has been described with reference to the above embodiment, the present invention is not limited to the configuration of the above embodiment, and those skilled in the art within the scope of the invention of the claims of the present application claims. It goes without saying that various modifications, modifications, and combinations that can be made are included.
1 運動推定装置
10 リハビリテーション用ロボット
11 操作部
12 モータ
13 操作量検出部
14 生体信号検出部
15 制御部
16 運動推定部
17 サーボアンプ
18 表示部
19 患者
21 操作量
22 生体信号
31 筐体
32、34 関節
33、35 アーム
40 重みベクトル生成部
41 前処理部
42 時間シフト操作部
43 順キネマティクス処理部
44 重みベクトル算出部
50 運動推定値生成部
51 前処理部
52 時間シフト操作部
53 運動推定値算出部
DESCRIPTION OF
Claims (6)
前記操作部の操作量を検出する操作量検出部と、
前記患者が前記操作部を操作した際の前記患者の生体信号を検出する生体信号検出部と、
前記操作量検出部で検出された操作量と前記生体信号検出部で検出された生体信号とを用いて前記患者の運動を推定する運動推定部と、を有し、
前記運動推定部は、
前記操作部の操作量を用いて算出された前記患者の運動量の真値と前記患者が前記操作部を操作した際の前記患者の生体信号とを用いてスパースな重みベクトルを生成する重みベクトル生成部と、
前記重みベクトル生成部で生成された前記スパースな重みベクトルと前記患者がリハビリテーションを行っている際に前記生体信号検出部でリアルタイムで検出された生体信号とを用いて前記患者の運動推定値を生成する運動推定値生成部と、を備える、
運動推定装置。 An operation unit operated by a patient undergoing rehabilitation;
An operation amount detection unit for detecting an operation amount of the operation unit;
A biological signal detection unit that detects a biological signal of the patient when the patient operates the operation unit;
A movement estimation unit that estimates the movement of the patient using the operation amount detected by the operation amount detection unit and the biological signal detected by the biological signal detection unit;
The motion estimator is
Weight vector generation for generating a sparse weight vector using the true value of the patient's momentum calculated using the operation amount of the operation unit and the patient's biological signal when the patient operates the operation unit And
Using the sparse weight vector generated by the weight vector generation unit and the biological signal detected in real time by the biological signal detection unit when the patient is performing rehabilitation, the motion estimation value of the patient is generated A motion estimation value generation unit that includes:
Motion estimation device.
前記重みベクトル生成部は、前記運動量の真値y、前記応答行列Ameas、及び前記関係式を用いて前記重みベクトルθを求める際にスパースコーディングを用いることで、非ゼロの要素の数が前記重みベクトルθよりも少ないスパースな重みベクトルを生成する、
請求項1または2に記載の運動推定装置。 A relational expression y = A meas θ is established between the true value y of the momentum, the response matrix A meas generated by performing the time shift operation on the biological signal, and the weight vector θ.
The weight vector generation unit uses sparse coding to determine the weight vector θ using the true value y of the momentum, the response matrix A meas , and the relational expression, so that the number of non-zero elements is Generate a sparse weight vector less than the weight vector θ,
The motion estimation apparatus according to claim 1.
前記生体信号検出部は、前記患者の大胸筋、三角筋後部、上腕二頭筋長頭、及び上腕三頭筋外側頭における筋電位を検出する筋電位センサであり、
前記運動推定部は、前記患者の上肢運動を推定する、
請求項1乃至4のいずれか一項に記載の運動推定装置。 The operation unit is configured to be displaceable on a two-dimensional plane by the upper limb movement of the patient,
The biological signal detection unit is a myoelectric sensor that detects a myoelectric potential in the patient's greater pectoral muscle, posterior deltoid muscle, biceps long head, and triceps lateral head,
The motion estimation unit estimates an upper limb motion of the patient;
The motion estimation apparatus according to any one of claims 1 to 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014184835A JP6297951B2 (en) | 2014-09-11 | 2014-09-11 | Motion estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014184835A JP6297951B2 (en) | 2014-09-11 | 2014-09-11 | Motion estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016054994A JP2016054994A (en) | 2016-04-21 |
JP6297951B2 true JP6297951B2 (en) | 2018-03-20 |
Family
ID=55756447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014184835A Active JP6297951B2 (en) | 2014-09-11 | 2014-09-11 | Motion estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6297951B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017213202A1 (en) | 2016-06-08 | 2017-12-14 | 株式会社国際電気通信基礎技術研究所 | Motion teaching system and motion teaching method |
WO2018187764A1 (en) * | 2017-04-06 | 2018-10-11 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Isotropic generalized diffusion tensor mri |
JP6590416B2 (en) | 2017-07-10 | 2019-10-16 | トヨタ自動車株式会社 | Rehabilitation evaluation apparatus, operation method of rehabilitation evaluation apparatus, and rehabilitation evaluation program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2611920B2 (en) * | 1993-07-19 | 1997-05-21 | 株式会社エイ・ティ・アール人間情報通信研究所 | Athletic skill learning device |
JP2001051726A (en) * | 1999-08-09 | 2001-02-23 | Sony Corp | Machine controller corresponding to character |
JP2002272795A (en) * | 2001-03-14 | 2002-09-24 | Japan Science & Technology Corp | Upper limb rehabilitation training system |
JP3660330B2 (en) * | 2002-08-13 | 2005-06-15 | 独立行政法人科学技術振興機構 | Impedance measurement device and motor learning support device |
-
2014
- 2014-09-11 JP JP2014184835A patent/JP6297951B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016054994A (en) | 2016-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Real-time intended knee joint motion prediction by deep-recurrent neural networks | |
Ren et al. | Deep learning based motion prediction for exoskeleton robot control in upper limb rehabilitation | |
KR20230033691A (en) | Method and apparatus of standing assistance | |
Just et al. | Exoskeleton transparency: feed-forward compensation vs. disturbance observer | |
CN110072678A (en) | The mankind for moving auxiliary are intended to detection system | |
US10631751B2 (en) | Motion analysis apparatus, method for analyzing motion, and motion analysis program | |
JP6297951B2 (en) | Motion estimation device | |
Karunarathne et al. | An adaptive complementary filter for inertial sensor based data fusion to track upper body motion | |
Nomm et al. | Monitoring of the human motor functions rehabilitation by neural networks based system with kinect sensor | |
Liu et al. | EMG-driven model-based knee torque estimation on a variable impedance actuator orthosis | |
Dwivedi et al. | A shared control framework for robotic telemanipulation combining electromyography based motion estimation and compliance control | |
Mobasser et al. | A method for online estimation of human arm dynamics | |
JP4862537B2 (en) | Strength training equipment | |
Lioulemes et al. | MAGNI dynamics: A vision-based kinematic and dynamic upper-limb model for intelligent robotic rehabilitation | |
Spasojević et al. | A vision-based system for movement analysis in medical applications: the example of Parkinson disease | |
Millor et al. | Drift-free position estimation for periodic movements using inertial units | |
Fong et al. | An investigation into the reliability of upper-limb robotic exoskeleton measurements for clinical evaluation in neurorehabilitation | |
Scaletta et al. | Development of a human assistive robot to support hip joint movement during sit-to-stand using non-linear springs | |
Wang et al. | Towards data-driven autonomous robot-assisted physical rehabilitation therapy | |
JP6087786B2 (en) | Voluntary movement identification device | |
KR101911506B1 (en) | Virtual brainwave generator and simulation apparatus for controlling external assisting equipment for brain signal-based three dimensional upper limb movement and method thereof | |
Mitsantisuk et al. | Robotics-assisted rehabilitation therapy for the hands and wrists using force sensorless bilateral control with shadow and mirror mode | |
Dasanayake et al. | Estimation of prosthetic arm motions using stump arm kinematics | |
Sommer et al. | Elbow joint angle estimation from surface electromyography using hammerstein-wiener models | |
Spasojević et al. | Kinect-based application for progress monitoring of the stroke patients |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6297951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |