JP5177070B2 - Wearable measuring device and walking assist device - Google Patents
Wearable measuring device and walking assist device Download PDFInfo
- Publication number
- JP5177070B2 JP5177070B2 JP2009110265A JP2009110265A JP5177070B2 JP 5177070 B2 JP5177070 B2 JP 5177070B2 JP 2009110265 A JP2009110265 A JP 2009110265A JP 2009110265 A JP2009110265 A JP 2009110265A JP 5177070 B2 JP5177070 B2 JP 5177070B2
- Authority
- JP
- Japan
- Prior art keywords
- leg
- camera
- foot
- calculation
- relative position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Rehabilitation Tools (AREA)
Description
本発明は、ユーザの一方の脚に装着し、一方の足位置に対する他方の足の相対位置を計測する装着型計測装置と、その計測技術を応用した歩行補助装置に関する。その歩行補助装置は、ユーザの一方の脚に装着するアクチュエータ付きの装具によってユーザの脚関節にトルクを与えて歩行動作を補助する。なお、本明細書では、ユーザの夫々の脚を区別するために、一方の脚を第1脚と称し、他方の脚を第2脚と称する場合がある。また、本明細書では、「足」とは足首関節から先の部分を意味し、大腿部と下腿部を含む「脚」とは区別して用いる。 The present invention relates to a wearable measurement device that is mounted on one leg of a user and measures the relative position of the other foot with respect to the position of one foot, and a walking assist device that applies the measurement technique. The walking assist device assists the walking motion by applying torque to the leg joints of the user by a device with an actuator that is worn on one leg of the user. In this specification, in order to distinguish each leg of the user, one leg may be referred to as a first leg and the other leg may be referred to as a second leg. Further, in this specification, “foot” means a portion ahead of the ankle joint, and is used separately from “leg” including the thigh and the lower leg.
ユーザの脚や腕に沿って装着し、ユーザの筋力を増強するいわゆるパワードスーツが開発されている。パワードスーツの応用として、ユーザの脚に装着して歩行動作を補助する歩行補助装置がある。歩行補助装置の一形態では、アクチュエータ付き多リンク機構を有する脚装具をユーザの大腿部から下腿部にかけて装着し、アクチュエータが脚にトルクを加えることによって歩行動作を補助する。例えば特許文献1に、ユーザの夫々の脚にアクチュエータ付き脚装具を装着し、両脚の歩行動作を補助する歩行補助装置が開示されている。また、特許文献2に、ユーザの一方の脚にのみアクチュエータ付き脚装具を装着してその一方の脚の動作を補助する歩行補助装置が開示されている。 So-called powered suits have been developed that are worn along the user's legs and arms to enhance the user's muscle strength. As an application of the powered suit, there is a walking assist device that is attached to a user's leg and assists walking motion. In one form of walking assist device, a leg brace having a multi-link mechanism with an actuator is worn from the user's thigh to lower leg, and the actuator applies torque to the leg to assist the walking motion. For example, Patent Literature 1 discloses a walking assistance device that attaches a leg brace with an actuator to each user's leg and assists the walking motion of both legs. Patent Document 2 discloses a walking assist device that attaches a leg brace with an actuator only to one leg of a user and assists the operation of the one leg.
歩行動作は両脚の協調した動作であるため、一方の脚の動きに応じて他方の脚の動作を補助する必要がある。従って、第1脚の動作を補助する際に第2脚の物理的状態を検出して参照できることが望ましい。特許文献1の歩行補助装置はユーザの両脚に装具を取り付けるため、夫々の装具に脚の物理的状態を検知するセンサを取り付ければよい。特許文献2の歩行補助装置では、第1脚にアクチュエータ付き脚装具を装着するとともに、第2脚に脚動作検出用の装具を装着することを要する。本明細書において「脚の物理的状態」とは、脚の関節角度、或いは足の位置を意味する。 Since the walking movement is a coordinated movement of both legs, it is necessary to assist the movement of the other leg according to the movement of one leg. Therefore, it is desirable to be able to detect and refer to the physical state of the second leg when assisting the operation of the first leg. Since the walking assist device of Patent Literature 1 attaches the brace to both legs of the user, a sensor for detecting the physical state of the leg may be attached to each brace. In the walking assistance device of Patent Document 2, it is necessary to wear a leg brace with an actuator on the first leg and to wear a leg motion detection brace on the second leg. In this specification, the “physical state of the leg” means the joint angle of the leg or the position of the foot.
片脚のみ不自由なユーザのための歩行補助装置は、不自由な脚にのみアクチュエータ付き装具を装着すればよい。特許文献2の歩行補助装置のごとく、他方の脚に脚動作検出用の装具を取り付けるのはユーザによってわずらわしい。第2脚にセンサ等を取り付けることなく、第1脚に取り付けた装具のセンサから他方の脚の状態を計測することがきる技術が望まれている。 A walking assistance device for a user who is disabled only on one leg only needs to be equipped with a device with an actuator only on the disabled leg. As in the walking assist device of Patent Document 2, it is troublesome for the user to attach a leg motion detection device to the other leg. There is a demand for a technique that can measure the state of the other leg from the sensor of the brace attached to the first leg without attaching a sensor or the like to the second leg.
本発明は上記の課題に鑑みて創作された。本発明の一つは、ユーザの第2脚にセンサ等を取り付けることなく、第1脚に取り付けた装具のセンサから、第1脚の足の位置に対する第2脚の足の相対位置を計測する装着型計測装置を提供する。 The present invention has been created in view of the above problems. One of the present invention measures the relative position of the foot of the second leg with respect to the position of the foot of the first leg from the sensor of the appliance attached to the first leg without attaching a sensor or the like to the second leg of the user. A wearable measuring device is provided.
後述するように、本発明は、第1脚に装着する脚装具に固定されたカメラをセンサとして用いて第2脚の足の位置を計測する。計測にカメラを用いる場合、カメラの固定位置のずれが計測誤差を生じる。大きな誤差を含む計測値に基づいて脚装具を制御することは好ましくない。特に、脚装具はボルト等を使って脚に取り付けることができないため、使用しているうちに脚に対する取り付け位置がずれてしまう虞がある。本発明の他の一つは、アクチュエータ付き脚装具の取り付け位置がずれたときにアクチュエータを停止する歩行補助装置を提供する。 As will be described later, the present invention measures the position of the leg of the second leg using a camera fixed to a leg brace attached to the first leg as a sensor. When a camera is used for measurement, a deviation in the fixed position of the camera causes a measurement error. It is not preferable to control the leg brace based on the measurement value including a large error. In particular, since the leg brace cannot be attached to the leg using a bolt or the like, there is a possibility that the attaching position with respect to the leg may be shifted during use. Another aspect of the present invention provides a walking assist device that stops an actuator when the mounting position of a leg brace with an actuator is shifted.
本発明の一つは、ユーザの第1脚に装着され、第1脚の足位置に対する第2脚の足の相対位置を計測する装着型計測装置に具現化することができる。その装置は、第1脚に装着される多リンク機構の脚装具と、脚装具の各ジョイントの角度を検出する角度センサと、脚装具に固定されているカメラと、角度センサの出力とカメラ画像に基づいて第1脚の足位置に対する第2脚の足の相対位置を算出するコントローラを備える。脚装具は先端リンクが第1脚の足に固定されるとともに他のリンク群が第1脚に沿って装着される。また、脚装具は、回転ジョイントによって連結された各リンクが第1脚の動きに合わせて揺動する。カメラは、第2脚を撮影できる配置で脚装具に取り付けられている。より詳しくは、カメラは、他のリンク群のうちの一つに固定されている。コントローラは、以下の第1演算、第2演算、及び、第3演算を実行する。第1演算では、角度センサが検出したジョイント角に基づいて、カメラ位置に対する第1脚の足の相対位置を算出する。第2演算では、第2脚を撮影した画像に基づいて、カメラ位置に対する第2脚の足の相対位置を算出する。第3演算では、第1演算と第2演算の結果に基づいて、第1脚の足位置に対する第2脚の足の相対位置を算出する。 One aspect of the present invention can be embodied in a wearable measurement device that is worn on the first leg of the user and measures the relative position of the foot of the second leg with respect to the foot position of the first leg. The apparatus includes a leg device of a multi-link mechanism attached to a first leg, an angle sensor for detecting an angle of each joint of the leg device, a camera fixed to the leg device, an output of the angle sensor, and a camera image. And a controller for calculating a relative position of the foot of the second leg with respect to the position of the foot of the first leg. In the leg brace, the distal end link is fixed to the leg of the first leg, and the other link group is attached along the first leg. Further, in the leg brace, each link connected by the rotary joint swings in accordance with the movement of the first leg. The camera is attached to the leg brace in an arrangement capable of photographing the second leg. More specifically, the camera is fixed to one of the other link groups. The controller executes the following first calculation, second calculation, and third calculation. In the first calculation, the relative position of the foot of the first leg with respect to the camera position is calculated based on the joint angle detected by the angle sensor. In the second calculation, the relative position of the leg of the second leg with respect to the camera position is calculated based on the image obtained by photographing the second leg. In the third calculation, the relative position of the foot of the second leg with respect to the foot position of the first leg is calculated based on the results of the first calculation and the second calculation.
この装着型計測装置は、第1脚に装着する脚装具に第2脚を撮影するカメラを固定し、カメラの画像に基づいて画像処理によってカメラ位置に対する第2脚の足の相対位置を算出する。本発明の装着型計測装置は、カメラを用いることで、第2脚にセンサ等を取り付けることなく、第2脚の足位置を計測することが可能となる。また、カメラの画像から得られる足位置はカメラ位置に対する相対位置であるが、本発明の計測装置は、ユーザの第1脚に装着する脚装具の各ジョイント角からカメラ位置に対する第1脚の足の相対位置を算出し、カメラ位置に対する第1脚の足の相対位置及び第2脚の足の相対位置を使って、第1脚の足位置に対する第2脚の足の相対位置を算出する。 In this wearable measuring apparatus, a camera for photographing the second leg is fixed to a leg brace attached to the first leg, and the relative position of the leg of the second leg with respect to the camera position is calculated by image processing based on the image of the camera. . The wearable measurement device of the present invention can measure the foot position of the second leg by using a camera without attaching a sensor or the like to the second leg. The foot position obtained from the camera image is a relative position with respect to the camera position. However, the measuring device according to the present invention allows the foot of the first leg with respect to the camera position from each joint angle of the leg brace attached to the user's first leg. The relative position of the second leg to the first leg is calculated by using the relative position of the first leg and the second leg relative to the camera position.
画像から足位置を算出しやすいように、第2脚に既知のマーカを取り付けることも好適である。対象物に既知のマーカを取り付けることで画像から対象物の位置を算出する手法は、画像処理の技術分野ではよく用いられる技術である。また、「足の位置」とは、足に固定の座標系における固定点でよい。そのような固定点は、脚装具の設計時点で定められる。例えば、固定点は、足のつま先に定められてよいし、足の踵に定められてもよい。また、「カメラ位置に対する足の相対位置」とは、「カメラ固定の座標系における足の座標」に相当する。 It is also preferable to attach a known marker to the second leg so that the foot position can be easily calculated from the image. A technique for calculating the position of an object from an image by attaching a known marker to the object is a technique often used in the technical field of image processing. The “foot position” may be a fixed point in a coordinate system fixed to the foot. Such a fixed point is determined at the time of designing the leg brace. For example, the fixing point may be determined on the toe of the foot or may be determined on the heel of the foot. The “relative position of the foot with respect to the camera position” corresponds to “the coordinates of the foot in the camera-fixed coordinate system”.
脚装具をユーザの第1脚に装着する場合、ベルトなどが用いられる。そのため、使用中に第1脚と脚装具の相対位置がずれる虞がある。第1脚と脚装具の相対位置がずれると、角度センサが検出したジョイント角に基づいて算出される、カメラ位置に対する第1脚の足の相対位置が誤差を含む虞がある。足位置の計測値に生じ得る誤差を抑制するために、本発明の装着型計測装置は、次の技術的特徴を備えることが好ましい。即ち、前記したカメラが、第2脚とともに第1脚を撮影可能な配置で固定されている。他方、コントローラは、第1脚に対するカメラの相対的な初期固定位置を記憶している。コントローラは、以下に示す第4演算とずれ量演算と補正演算を実行する。第4演算では、カメラが撮影した第1脚の画像から第1脚に対するカメラの相対位置を算出する。ずれ量演算では、第4演算によって算出された相対位置と、記憶している初期固定位置との位置ずれ量を算出する。補正演算では、第3演算によって算出された第2脚の足の相対位置を位置ずれ量で補正する。上記の技術的特徴によって、脚装具と第1脚の相対位置ずれに起因する足位置の計測誤差を抑制することができる。 When the leg brace is attached to the user's first leg, a belt or the like is used. Therefore, there is a possibility that the relative position of the first leg and the leg brace may be shifted during use. If the relative position between the first leg and the leg brace is deviated, the relative position of the foot of the first leg with respect to the camera position, which is calculated based on the joint angle detected by the angle sensor, may include an error. In order to suppress an error that may occur in the measurement value of the foot position, the wearable measurement device of the present invention preferably includes the following technical features. That is, the above-described camera is fixed in an arrangement capable of photographing the first leg together with the second leg. On the other hand, the controller stores the initial fixed position of the camera relative to the first leg. The controller executes the following fourth calculation, deviation amount calculation, and correction calculation. In the fourth calculation, the relative position of the camera with respect to the first leg is calculated from the image of the first leg taken by the camera. In the deviation amount calculation, a positional deviation amount between the relative position calculated by the fourth calculation and the stored initial fixed position is calculated. In the correction calculation, the relative position of the foot of the second leg calculated by the third calculation is corrected by the amount of displacement. With the above technical features, it is possible to suppress the measurement error of the foot position caused by the relative positional deviation between the leg brace and the first leg.
第2脚にセンサ等を取り付けることなく第2脚の物理的状態を計測する計測技術は、片脚のみを補助する歩行補助装置に好適である。即ち、第2脚にセンサ等を取り付けることなく、第1脚に装着したアクチュエータ付き装具のみで、第1脚の歩行動作を第2脚の動作に協調して補助することができるからである。ここで、上記した位置ずれ量は、脚装具の取り付けずれに起因する歩行動作補助の不具合防止に役立つ。本発明の他の一つは、上述した装着型計測装置を含む歩行補助装置に具現化することができる。その歩行補助装置は、上述した脚装具が、第1脚の関節にトルクを加えるアクチュエータを備えており、上述したコントローラが、ずれ量演算によって算出された位置ずれ量が閾値を超えたときにアクチュエータを停止することを特徴とする。そのようの技術的特徴を備える歩行補助装置は、アクチュエータ付き脚装具の取り付け位置がずれて計測誤差が大きくなることが予想される場合にアクチュエータを停止することができる。 A measurement technique for measuring the physical state of the second leg without attaching a sensor or the like to the second leg is suitable for a walking assist device that assists only one leg. That is, without attaching a sensor or the like to the second leg, the walking motion of the first leg can be assisted in cooperation with the motion of the second leg only by the appliance with the actuator attached to the first leg. Here, the amount of positional deviation described above is useful for preventing troubles in assisting walking motion caused by mounting deviation of leg braces. Another aspect of the present invention can be embodied in a walking assist device including the above-described wearing type measuring device. The walking assist device includes an actuator that applies torque to the joint of the first leg, and the controller described above is an actuator when the amount of positional deviation calculated by the deviation amount calculation exceeds a threshold value. It is characterized by stopping. The walking assistance device having such technical features can stop the actuator when the attachment position of the leg brace with the actuator is shifted and the measurement error is expected to increase.
本発明によれば、ユーザの第2脚にセンサ等を取り付けることなく、第1脚に取り付けた脚装具のセンサから、第1脚の足位置に対する第2脚の足の相対位置を計測する装着型計測装置を実現することができる。さらには、アクチュエータ付き脚装具の取り付け位置がずれたときにアクチュエータを停止する歩行補助装置を実現することができる。 According to the present invention, the attachment of measuring the relative position of the foot of the second leg with respect to the foot position of the first leg from the sensor of the leg brace attached to the first leg without attaching a sensor or the like to the second leg of the user. A mold measuring device can be realized. Furthermore, it is possible to realize a walking assist device that stops the actuator when the attachment position of the leg orthosis with the actuator is shifted.
図面を参照して実施例の歩行補助装置10を説明する。図1に、歩行補助装置10の模式的斜視図を示す。図2に、ユーザが装着した状態における歩行補助装置10の模式的斜視図を示す。歩行補助装置10は、左脚を自由に動かすことができないユーザのための装置である。歩行補助装置10は、ユーザの左脚に装着し、ユーザの左脚関節に適切なトルクを加えてユーザの歩行動作を補助する。なお、左脚が第1脚に相当し、右脚が第2脚に相当する。
A
歩行動作は両脚の協調した動きによって実現されるので、一方の脚に装着した脚装具を他方の脚の動作に基づいて制御する場合、他方の脚の動きを計測することが重要である。特に、他方の脚の関節角と足位置が重要である。他方の足の位置は、絶対座標系における位置である必要はなく、一方の脚の足位置に対する相対位置が計測できればよい。実施例の歩行補助装置10は、一方の脚に装着した脚装具が備えるセンサによって、一方の脚の足位置に対する他方の脚の足の相対位置、及び、他方の脚の関節角を計測できることに特徴がある。歩行補助装置10の機能のうち、足の相対位置を計測する処理を実行する部分が装着型計測装置の一例に相当する。以下では、まず歩行補助装置10の構成と機能を説明した後に、他方の脚の足位置と関節角の計測技術について説明する。
Since the walking movement is realized by the coordinated movement of both legs, it is important to measure the movement of the other leg when the leg brace attached to one leg is controlled based on the movement of the other leg. In particular, the joint angle and foot position of the other leg are important. The position of the other foot need not be a position in the absolute coordinate system, as long as the relative position with respect to the foot position of one leg can be measured. The
歩行補助装置10は、ユーザの左脚の大腿部から足に亘って装着される。即ち、歩行補助装置10の機構自体が脚装具12に相当する。従って図1、図2においては、符号10と12が同一の対象を指し示している。脚装具12は、大腿リンク14、下腿リンク16、及び足底リンク18を有する多リンク機構で構成される。大腿リンク14の上端が股ジョイント20aを介して支持リンク30に連結されている。下腿リンク16は、膝の外側に位置する膝ジョイント20bによって、大腿リンク14に連結されている。足底リンク18は、ユーザの踝の外側に位置する足首ジョイント20cによって、下腿リンク16に連結されている。なお、足底リンク18は、脚装具12の先端リンクに相当する。支持リンク30はユーザの腰に固定される。大腿リンク14はベルトでユーザの大腿部に固定される。下腿リンク16はベルトでユーザの下腿部に固定される。足底リンク18はベルトでユーザの足裏に固定される。なお足底リンク18を固定するベルト以外のベルトは、図示が省略されている。
The walking
ユーザが脚装具12を装着すると、大腿リンク14がユーザの大腿部の外側に位置し、下腿リンク16がユーザの下腿部の外側に位置し、足底リンク18がユーザの足裏に位置する。このとき、股ジョイント20a、膝ジョイント20b、及び、足首ジョイント20cは夫々、ユーザの股関節、膝関節、及び、足首関節に夫々隣接して位置する。より具体的には、ユーザが脚装具12を装着すると、股ジョイント20a、膝ジョイント20b、及び、足首ジョイント20cは夫々、ユーザの股関節のピッチ軸、膝関節のピッチ軸、及び、足首関節のピッチ軸と同軸に位置する。ジョイント20a、20b、及び20cは、連結している2本のリンクを相対的に回転させる回転ジョイントである。この脚装具12は、ユーザの左脚の動きに合わせて各リンクが揺動する。
When the user wears the
各ジョイント20a、20b、及び20cには、リンク間の角度を検出するためのエンコーダ21と、リンクを回転させるモータ(アクチュエータ)を備えている。エンコーダ21は、脚装具12のジョイント角を検出する角度センサに相当する。なお、図ではモータの図示を省略している。股ジョイント20aのモータが、支持リンク30に対して大腿リンク14を回転させる。膝ジョイント20bのモータが、大腿リンク14に対して下腿リンク16を回転させる。足首ジョイント20cのモータが、下腿リンク16に対して足底リンク18を回転させる。なお、モータによって各リンクが揺動する脚装具12は、アクチュエータ付き脚装具に相当する。
Each joint 20a, 20b, and 20c includes an
大腿リンク14の上端から前方へ梁40が伸びており、梁40の先端にカメラ42が固定されている。別言すれば、脚装具12の大腿リンク14にカメラ42が固定されている。図2に示すように、ユーザの右脚の大腿部、下腿部、及び足にはそれぞれマーカM1、M2、及び、M3が取り付けられている。他方、ユーザの左脚の大腿部にはマーカM4が取り付けられている。マーカM1〜M4は、その形状が既知であり、画像処理によって脚の位置や姿勢を特定することを容易にするために取り付けられている。ここで、ユーザの左脚は脚装具12が取り付けられている脚であり、右脚は脚装具12が取り付けられていない脚であることに留意されたい。カメラ42は超広角レンズを備えており、右脚と左脚に取り付けたマーカを撮影することができる。後述するように、歩行補助装置10は、カメラ42で撮影したマーカの画像に基づいて右脚の関節角と足の位置を計測する。
A
各ジョイントのモータは、支持リンク30に取り付けられているコントローラ32によって制御される。コントローラ32は、脚装具12のジョイント角と、カメラ42で撮影した右脚のマーカの画像に基づいて、右脚の関節角と足位置を計測する。そしてコントローラ32は、計測した右脚の関節角と足位置に基づいて、不自由な左脚が健常な右脚の動きに協調して動作するように脚装具を制御し、ユーザの歩行動作を補助する。即ち、歩行補助装置10は、他方の脚にセンサ等を装着することなしに、他方の脚の動作に協調して一方の脚が動作するようにアクチュエータ付き脚装具を制御する。ここで、他方の脚の動作を表す代表的なパラメータが、他方の脚の関節角、及び、一方の脚の足位置に対する他方の脚の足の相対位置である。なお、アクチュエータ付き脚装具の具体的な制御については説明を省略する。一方の脚に装着するアクチュエータ付き脚装具を備えている歩行補助装置であって、他方の脚の動作に協調して一方の脚が動作するように脚装具を制御する歩行補助装置に関しては、例えば特願2008−235463号や特願2008−276309号に例示されているので参照されたい。なお、特願2008−235463号と特願2008−276309号は、本願出願時には未公開である。
The motor of each joint is controlled by a
図3及び図4を参照して、右脚の関節角と、左脚の足位置に対する右脚の足の相対位置を計測する方法について説明する。歩行補助装置10のコントローラ32が、脚装具12に固定されたカメラ42の画像と、エンコーダ21が計測するジョイント角に基づいて関節角、及び、足の相対位置を計測する。
A method for measuring the joint angle of the right leg and the relative position of the right leg with respect to the position of the left leg will be described with reference to FIGS. The
図3は、ユーザが装着した状態の歩行補助装置10の模式的側面図を示している。なお、図3では、図面を理解し易くするため、図1に示す脚装具12の幾何学的形状を簡略化して描いている。図4は、計測処理のフローチャートを示している。なお、図4は、計測処理だけでなく、歩行補助装置10のモータの停止処理も含んでいる。停止処理については後述する。以下では、サジタル平面内での脚の動きに限定して説明する。「サジタル面」とは、ピッチ軸に直交する面を意味する。換言すれば、以下の説明は、脚の動きを脚関節のピッチ軸回りの回転に限定している。説明ではサジタル面に限定しているが、下記の説明は容易に3次元空間に拡張することが可能である。
FIG. 3 shows a schematic side view of the
図3と以下の説明で用いる新たな符号を説明する。符号Ahは、ユーザの左右の脚が形成する角度を表す。その角度を、股関節角Ahと称する。符号Anは、ユーザの右膝関節の角度を表す。その角度を、右膝関節角Anと称する。符号Aaは、ユーザの右足首関節の角度を表す。その角度を右足首関節角Aaと称する。符号Prは、ユーザの右足に固定されたポイントを表す。そのポイントを右足基準点Prと称する。符号Pqは、ユーザの左足に固定されたポイントを表す。そのポイントを左足基準点Pqと称する。右足基準点Prは、予め定められており、このポイントの位置で右足の位置が表される。左足基準点Pqも同様である。 A new code used in FIG. 3 and the following description will be described. A symbol Ah represents an angle formed by the left and right legs of the user. This angle is referred to as a hip joint angle Ah. The symbol An represents the angle of the user's right knee joint. This angle is referred to as a right knee joint angle An. The symbol Aa represents the angle of the user's right ankle joint. This angle is referred to as a right ankle joint angle Aa. The symbol Pr represents a point fixed to the user's right foot. This point is referred to as a right foot reference point Pr. The symbol Pq represents a point fixed to the user's left foot. This point is referred to as the left foot reference point Pq. The right foot reference point Pr is determined in advance, and the position of the right foot is represented by the position of this point. The same applies to the left foot reference point Pq.
符号Vcrは、カメラ固定の座標系におけるカメラ原点から右足位置へのベクトルを表す。このベクトルを、カメラ/右足ベクトルVcrと称する。別言すれば、カメラ/右足ベクトルVcrは、カメラ位置に対する右足の相対位置を表す。符号Vcqは、カメラ固定の座標系におけるカメラ原点から左足位置へのベクトルを表す。このベクトルを、カメラ/左足ベクトルVcqと称する。別言すれば、カメラ/左足ベクトルVcqは、カメラ位置に対する左足の相対位置を表す。符号Vqrは、カメラ固定の座標系における左足位置から右足位置へのベクトルを表す。このベクトルを、左足/右足ベクトルVqrと称する。別言すれば、左足/右足ベクトルVqrは、左足位置に対する右足の相対位置を表す。左足/右足ベクトルVqrが、最終的に計測したいベクトルである。 A symbol Vcr represents a vector from the camera origin to the right foot position in the camera fixed coordinate system. This vector is referred to as camera / right foot vector Vcr. In other words, the camera / right foot vector Vcr represents the position of the right foot relative to the camera position. The symbol Vcq represents a vector from the camera origin to the left foot position in the camera fixed coordinate system. This vector is referred to as camera / left foot vector Vcq. In other words, the camera / left foot vector Vcq represents the relative position of the left foot to the camera position. A symbol Vqr represents a vector from the left foot position to the right foot position in the camera-fixed coordinate system. This vector is referred to as a left foot / right foot vector Vqr. In other words, the left foot / right foot vector Vqr represents the relative position of the right foot with respect to the left foot position. The left foot / right foot vector Vqr is a vector to be finally measured.
計測方法について説明する。なお、ユーザの身体におけるマーカM1〜M4の固定位置は、予めコントローラ32に記憶されている。また、コントローラ32は、左脚に対する脚装具の相対的な初期固定位置を記憶している。カメラ42は脚装具12に固定されているので別言すると、コントローラ32は、脚装具12を装着する左脚に対するカメラ42の相対的な初期固定位置を記憶している。より厳密には、コントローラ32は、左脚に取り付けたマーカM4に対するカメラ42の相対的な初期固定位置を記憶している。
A measurement method will be described. The fixed positions of the markers M1 to M4 on the user's body are stored in the
コントローラ32は、エンコーダ21から、脚装具12の各ジョイントの角度を取得する(S2)。コントローラ32は、取得したジョイント角度を用いて、カメラ/左足ベクトルVcqを算出する(S4)。ここで、脚装具12の足底リンク18(先端リンク)が左足に固定されており、また、カメラ42が固定された大腿リンク14から足底リンク18に至るまでのジョイント角度が取得されているので、コントローラ32は、ロボット工学におけるいわゆる順運動学計算によって、ジョイント角からカメラ/左足ベクトルVcqを算出することができる。この演算が第1演算に相当する。
The
また、コントローラ32は、カメラ42の画像を取得する(S6)。画像にはマーカM1〜M4が写っている。別言すれば、コントローラ32は、右脚のマーカと左脚のマーカを撮影した画像を取得する。次いでコントローラ32は、カメラ固定の座標系における夫々のマーカの位置を特定する(S8)。ここで、「マーカの位置」という表現は、マーカの傾きも含む。画像から既知形状のマーカの位置及び傾きを特定する手法は、画像処理の技術分野でよく知られているので詳しい説明は省略する。コントローラ32は、右脚に取り付けられたマーカM1〜M3の位置から、股関節角Ah、右膝関節角An、及び、右足首関節角Aaを算出する(S10)。ここで、マーカM1は右脚の大腿部に取り付けられており、また、左脚に対するカメラ42の位置が既知である。これらの関係から、コントローラ32は、カメラ位置に対する右脚大腿部の相対位置と傾きを算出することができ、その相対位置と傾きから股関節角Ahを求めることができる。また、マーカM2は右脚の下腿部に取り付けられているので、画像から右脚の下腿部の位置と傾きが求められる。画像から右脚の大腿部と下腿部の位置と傾きが求まるので、コントローラ32はそれらの値から右膝関節角Anを算出することができる。同様に、マーカM3は右足に取り付けられていることから、コントローラ32は右足首関節角Aaを算出することができる。こうして、コントローラ32は、右脚の関節角を算出する。右脚の幾何学的構造が既知であるのでコントローラ32は、右脚の幾何学的構造と関節角に基づいて、順運動学計算によって、カメラ座標系における右足の位置、すなわち、カメラ/右足ベクトルVcrを算出する(S12)。ステップS8、S10、及びS12の処理によって、コントローラ32は、右脚を撮影した画像からカメラ/右足ベクトルVcrを算出する。この演算が第2演算に相当する。
Moreover, the
コントローラ32は、カメラ/左足ベクトルVcqと、カメラ/右足ベクトルVcrを用いて、左足/右足ベクトルVqr、即ち、左脚の足位置に対する右脚の足の相対位置を算出する(S14)。この演算が第3演算に相当する。第3演算は、カメラ/左足ベクトルVcqからカメラ/右足ベクトルVcrを差し引くベクトル演算でよい。以上の通りコントローラ32は、第1演算、第2演算、及び第3演算によって、左脚の足位置に対する右脚の足の相対位置を求める。
The
次にコントローラ32は、左脚に取り付けられたマーカM4の画像から、左脚に対するカメラ42の相対位置を算出する。この演算が第4演算に相当する。コントローラ32は、第4演算によって算出された相対位置と、記憶している初期固定位置の差ΔVを算出する(S16)。ΔVは、カメラ42の初期固定位置からのずれ量を表す。ステップS16の演算がずれ量演算に相当する。次いでコントローラ32は、ずれ量ΔVが予め定められている閾値を超えているか否かを判断する(S18)。閾値は予めコントローラ32に記憶されている。ずれ量ΔVが閾値を超えていない場合は、コントローラ32は、ずれ量ΔVで左足/右足ベクトルVqrを補正する(S18:NO、S20)。具体的にはコントローラ32は、ステップS14で算出されたベクトルVqrにずれ量ベクトルΔVをベクトル加算する。補正されたベクトルVqrは、脚装具12のずれ量ΔVが相殺された正確な足位置を表す。コントローラ32は、補正されたベクトルVqrを使って、脚装具12のモータを制御する。前述したように、ベクトルVqrを用いた脚装具12の制御については説明を省略する。
Next, the
他方、ΔVが閾値を超えている場合は、コントローラ32はモータの制御を停止する(S18:YES、S22)。ΔVが閾値を超えている場合とは、左脚に対するカメラ42の固定位置が、初期固定位置から大きくずれている場合であり、即ち、左脚に対する脚装具12の位置が初期固定位置から大きくずれている場合を意味する。左脚と脚装具12が大きくずれている場合には、脚装具12の駆動によって左脚を適切に補助できない虞があるため、モータを停止して不適切な補助が行われることを回避する。別言すれば、歩行補助装置10は、アクチュエータ付き脚装具12の取り付け位置が予め定められた閾値以上ずれたときにアクチュエータを停止する。
On the other hand, if ΔV exceeds the threshold, the
図3を用いた説明では、脚の動きをサジタル面内の動きに限定したが、上記の説明は容易に3次元に拡張できる。夫々のマーカが6個の既知の特徴点を有しており、画像処理によって6個の特徴点の位置を特定することによって、マーカの3次元位置と姿勢を特定することができることは良く知られている。ここで、「姿勢」とは、直交3軸各軸回りの回転角、いわゆるロール、ピッチ、ヨーを意味する。あるいは、夫々のマーカが3個の特徴点を有していても、脚装具に2台のカメラを備えることにより、マーカの3次元位置と姿勢を求めることができる。その場合は、脚装具12に固定された2台のカメラで立体視の原理で各マーカの各特徴点の3次元位置を求め、3個の特徴点の3次元位置からマーカの姿勢を特定すればよい。
In the description using FIG. 3, the movement of the legs is limited to the movement in the sagittal plane, but the above description can be easily extended to three dimensions. It is well known that each marker has six known feature points, and the three-dimensional position and orientation of the marker can be specified by specifying the positions of the six feature points by image processing. ing. Here, the “posture” means a rotation angle around each axis of three orthogonal axes, so-called roll, pitch, and yaw. Alternatively, even if each marker has three feature points, the three-dimensional position and posture of the marker can be obtained by providing two cameras on the leg brace. In that case, the three-dimensional position of each feature point of each marker is obtained by the principle of stereoscopic vision using two cameras fixed to the
実施例では、ユーザの一方の脚に取り付けられ、その一方の脚の動作を補助する歩行補助装置10を説明した。図4のフローチャートにおいてモータの制御処理であるステップS22を除く他の処理を実行する歩行補助装置10が、装着型計測装置の一例に相当する。
In the embodiment, the
歩行補助装置10(装着型計測装置)の技術的特徴の一つは次の通り表現することができる。歩行補助装置10は、第1脚と第2脚に取り付けるための既知形状のマーカM1、M2、M3、及びM4を含む。マーカM1、M2、M3は第2脚に取り付けられ、マーカM4は第1脚に取り付けられる。コントローラ32は、第1脚のマーカM4に対するカメラ42の相対的な初期固定位置を記憶している。カメラ42は、第2脚のマーカM1〜M3とともに第1脚のマーカM4を撮影可能な配置で固定されている。コントローラ32は、次の第4演算、ずれ量演算、及び補正演算を実行する。第4演算は、カメラ42が撮影した画像から第1脚のマーカM4に対するカメラ42の相対位置を算出する。ずれ量演算は、第4演算によって算出された相対位置と、記憶している初期固定位置との位置ずれ量ΔVを算出する。補正演算は、第3演算によって算出された第2脚の足の相対位置を位置ずれ量ΔVで補正する。
One of the technical features of the walking assist device 10 (wearable measurement device) can be expressed as follows. The walking
実施例の留意点について説明する。脚の幾何学的構造が既知である場合は、脚の関節角度と、股関節の位置に対する足の相対位置との間には一意の関係があり、脚の関節角度が検知できれば順運動学計算によって足の相対位置を求めることができる。上記の実施例では、マーカの画像から右脚の関節角を求め、関節角から順運動学計算によって足の相対位置を求めた。逆に、足の相対位置が検知できればいわゆる逆運動学計算によって脚の関節角を求めることができる。実施例の変形例として、右足に付したマーカM3の画像に基づいてまずカメラ位置に対する右足の相対位置Vcrを求め、右足の相対位置Vcrから逆運動学計算によって右脚の関節角を求めてもよい。 The points to be noted in the embodiment will be described. If the leg geometry is known, there is a unique relationship between the leg joint angle and the relative position of the foot relative to the hip position. The relative position of the foot can be determined. In the above embodiment, the joint angle of the right leg is obtained from the marker image, and the relative position of the foot is obtained from the joint angle by forward kinematics calculation. Conversely, if the relative position of the foot can be detected, the joint angle of the leg can be obtained by so-called inverse kinematics calculation. As a modified example of the embodiment, the relative position Vcr of the right foot with respect to the camera position is first obtained based on the image of the marker M3 attached to the right foot, and the joint angle of the right leg is obtained by inverse kinematics calculation from the relative position Vcr of the right foot. Good.
また、実施例の歩行補助装置10は、脚の位置や姿勢を求める画像処理を容易にするためにマーカを採用している。マーカを用いることなく、画像中の脚の形状から画像処理によって脚の関節角や足位置を求めてもよい。マーカを用いる場合よりも画像処理が複雑になる反面、マーカを不要とすることができる。
Further, the walking assist
実施例では最終的にカメラ座標系における左足位置に対する右足の相対位置Vqrを求めた。脚装具の幾何学的形状が既知であり、ジョイント角が検出できるので、ベクトルVqrをカメラ座標系から脚装具のいずれかのリンクに固定された座標系に変換することは容易である。コントローラは、カメラ座標系で表現されたベクトルVqrを脚装具のいずれかのリンクに固定の座標系表現に変換した後に脚装具12の制御に用いることができる。
In the embodiment, the relative position Vqr of the right foot with respect to the position of the left foot in the camera coordinate system was finally obtained. Since the geometry of the leg brace is known and the joint angle can be detected, it is easy to convert the vector Vqr from the camera coordinate system to a coordinate system fixed to any link of the leg brace. The controller can be used to control the
実施例の装置の好適な変形例を説明する。マーカとして、既知図形が描かれたズボンを採用してもよい。既知図形がマーカの機能を果す。この場合、ズボンの全体に既知図形が描かれているとよい。ズボンの全体に既知図形が描かれていると、マーカがカメラの死角に隠れてしまうことを防止できる。 A preferred modification of the apparatus of the embodiment will be described. You may employ | adopt the trousers in which the known figure was drawn as a marker. Known figures serve as markers. In this case, a known figure should be drawn on the entire pants. If a known figure is drawn on the entire pants, the marker can be prevented from being hidden in the blind spot of the camera.
蛍光塗料が塗布されているマーカを採用することも好適である。暗い環境でもマーカを識別する画像処理が容易となるからである。 It is also preferable to employ a marker to which a fluorescent paint is applied. This is because image processing for identifying a marker is facilitated even in a dark environment.
右脚のマーカを撮影するカメラとは別に、脚装具が装着されている左脚のマーカを撮影するための2台目のカメラを備えてもよい。 In addition to the camera for photographing the right leg marker, a second camera for photographing the left leg marker on which the leg brace is attached may be provided.
カメラは、CCD素子或いはCMOS素子を用いたものでよい。さらにカメラは、赤外領域まで撮影可能なカメラであるとよい。暗い環境でもマーカを識別する画像処理が容易となるからである。 The camera may use a CCD element or a CMOS element. Further, the camera may be a camera capable of photographing up to the infrared region. This is because image processing for identifying a marker is facilitated even in a dark environment.
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。 Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above. The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology exemplified in this specification or the drawings can achieve a plurality of objects at the same time, and has technical usefulness by achieving one of the objects.
10:歩行補助装置
12:脚装具
14:大腿リンク
16:下腿リンク
18:足底リンク
20a、20b、20c:ジョイント
21:エンコーダ(角度センサ)
30:支持リンク
32:コントローラ
40:梁
42:カメラ
10: Walking assist device 12: Leg orthosis 14: Thigh link 16: Lower leg link 18:
30: Support link 32: Controller 40: Beam 42: Camera
Claims (3)
先端リンクが第1脚の足に固定されるとともに他のリンク群が第1脚に沿って装着され、回転ジョイントによって連結された各リンクが第1脚の動きに合わせて揺動する多リンク機構の脚装具と、
脚装具の各ジョイントの角度を検出する角度センサと、
他のリンク群のうちの一つに固定されており、第2脚を撮影するカメラと、
脚装具の各ジョイントの角度と第2脚を撮影した画像に基づいて、第1脚の足位置に対する第2脚の足の相対位置を算出するコントローラと、を備えており、
コントローラが、
角度センサが検出したジョイント角に基づいて、カメラ位置に対する第1脚の足の相対位置を算出する第1演算と、
第2脚を撮影した画像に基づいて、カメラ位置に対する第2脚の足の相対位置を算出する第2演算と、
第1演算と第2演算の結果に基づいて、第1脚の足位置に対する第2脚の足の相対位置を算出する第3演算と、
を実行することを特徴とする装着型計測装置。 A wearable measurement device that is mounted on a user's first leg and measures the relative position of the second leg with respect to the first leg.
A multi-link mechanism in which the distal link is fixed to the leg of the first leg and another link group is mounted along the first leg, and each link connected by the rotary joint swings in accordance with the movement of the first leg. Leg brace,
An angle sensor for detecting the angle of each joint of the leg brace;
A camera fixed to one of the other link groups and shooting the second leg;
A controller that calculates the relative position of the foot of the second leg with respect to the position of the foot of the first leg based on the angle of each joint of the leg brace and an image of the second leg,
The controller
A first calculation for calculating a relative position of the foot of the first leg with respect to the camera position based on the joint angle detected by the angle sensor;
A second calculation for calculating a relative position of the leg of the second leg with respect to the camera position based on an image obtained by photographing the second leg;
A third operation for calculating a relative position of the foot of the second leg with respect to the foot position of the first leg based on the results of the first operation and the second operation;
A wearable measuring device characterized in that
コントローラは、第1脚に対するカメラの相対的な初期固定位置を記憶しているとともに、カメラが撮影した第1脚の画像から第1脚に対するカメラの相対位置を算出する第4演算と、
第4演算によって算出された相対位置と記憶している初期固定位置との位置ずれ量を算出するずれ量演算と、
第3演算によって算出された第2脚の足の相対位置を位置ずれ量で補正する補正演算と、
を実行することを特徴とする請求項1に記載の装着型計測装置。 The camera is fixed in an arrangement capable of photographing the first leg together with the second leg,
The controller stores an initial fixed position of the camera relative to the first leg, and calculates a relative position of the camera relative to the first leg from an image of the first leg captured by the camera;
A deviation amount calculation for calculating a positional deviation amount between the relative position calculated by the fourth calculation and the stored initial fixed position;
A correction calculation for correcting the relative position of the foot of the second leg calculated by the third calculation with the amount of displacement;
The wearable measuring apparatus according to claim 1, wherein:
脚装具が第1脚の関節にトルクを加えるアクチュエータを備えており、
コントローラは、ずれ量演算によって算出された位置ずれ量が閾値を超えたときにアクチュエータを停止することを特徴とする歩行補助装置。 A walking assist device including the wearing type measuring device according to claim 2,
The leg brace includes an actuator that applies torque to the joint of the first leg,
The walking assist device according to claim 1, wherein the controller stops the actuator when the positional deviation amount calculated by the deviation amount calculation exceeds a threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009110265A JP5177070B2 (en) | 2009-04-30 | 2009-04-30 | Wearable measuring device and walking assist device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009110265A JP5177070B2 (en) | 2009-04-30 | 2009-04-30 | Wearable measuring device and walking assist device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010259469A JP2010259469A (en) | 2010-11-18 |
JP5177070B2 true JP5177070B2 (en) | 2013-04-03 |
Family
ID=43358098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009110265A Expired - Fee Related JP5177070B2 (en) | 2009-04-30 | 2009-04-30 | Wearable measuring device and walking assist device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5177070B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11452661B2 (en) * | 2018-12-13 | 2022-09-27 | Samsung Electronics Co., Ltd. | Method and device for assisting walking |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5768021B2 (en) * | 2012-08-07 | 2015-08-26 | 日本電信電話株式会社 | Gait measuring device, method and program |
KR101511427B1 (en) * | 2012-08-30 | 2015-04-10 | 서울대학교산학협력단 | A treatment device for hemiplegia |
KR101583871B1 (en) * | 2013-10-08 | 2016-01-08 | 현대자동차주식회사 | Wearable driving device having driving and gait ability |
JP6161001B2 (en) * | 2013-10-18 | 2017-07-12 | 国立大学法人名古屋大学 | Measuring device, wearable motion assist device and wound risk evaluation method thereof |
JP6540489B2 (en) * | 2015-12-11 | 2019-07-10 | トヨタ自動車株式会社 | Walking support device |
KR101988166B1 (en) * | 2018-04-09 | 2019-06-11 | 주식회사 엠비젼 | Therapeutic apparatus for rehabilitation using vision system |
JP7014896B2 (en) * | 2018-04-13 | 2022-02-01 | 本田技研工業株式会社 | Walking aid |
JP7080722B2 (en) * | 2018-05-17 | 2022-06-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Detection method, detection device and detection system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4611580B2 (en) * | 2001-06-27 | 2011-01-12 | 本田技研工業株式会社 | Torque application system |
JP2006314670A (en) * | 2005-05-16 | 2006-11-24 | Kenichi Katsura | Walking supporting device, and rehabilitation system |
-
2009
- 2009-04-30 JP JP2009110265A patent/JP5177070B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11452661B2 (en) * | 2018-12-13 | 2022-09-27 | Samsung Electronics Co., Ltd. | Method and device for assisting walking |
Also Published As
Publication number | Publication date |
---|---|
JP2010259469A (en) | 2010-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5177070B2 (en) | Wearable measuring device and walking assist device | |
JP5802131B2 (en) | Method for controlling exercise assist device, walking assist device and rehabilitation method | |
KR102119536B1 (en) | Wearable robot and control method for the same | |
KR102163284B1 (en) | Wearable robot and control method for the same | |
JP5640991B2 (en) | Walking assist device | |
ES2538141T3 (en) | Movement assist apparatus of type to wear, calibration apparatus of movement assistance apparatus of wear and calibration program | |
US11534359B2 (en) | Actuator-equipped knee ankle foot orthosis | |
US20180177664A1 (en) | Motion assistance apparatus | |
US9833896B2 (en) | Wearable robot and method of controlling the same | |
JP5109891B2 (en) | Walking assist device | |
KR20150094427A (en) | Wearable robot and method for controlling the same | |
KR102146363B1 (en) | Wearable robot and control method for the same | |
US9050237B2 (en) | Walking assist device | |
JP5565037B2 (en) | Walking support device | |
KR101787557B1 (en) | The method of judging a fall of a pedestrian using a walking assist device | |
US20150265425A1 (en) | System and method for powered ankle-foot prosthesis with active control of dorsiflexion-plantarflexion and inversion-eversion | |
JP2019122664A (en) | Walking training device and control device thereof | |
Xu et al. | Adaptive stair-ascending and stair-descending strategies for powered lower limb exoskeleton | |
JP2014068869A (en) | Walking support device and walking support program | |
KR102162485B1 (en) | Controlling method of lower body assisting robot | |
JP6765989B2 (en) | Long leg orthosis with actuator | |
KR101787879B1 (en) | Method of ZMP-based gait trajectory generation for control of wearable robot and control method of gait trajectory generation system | |
JP2013048701A (en) | Walking assistance device, and walking assistance program | |
JP2013075042A (en) | Leg joint angle measuring apparatus, walking assist device, and leg joint angle measuring method | |
JP6712596B2 (en) | Knee joint control method and lower limb brace |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160118 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |