JP6620329B2 - Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system - Google Patents

Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system Download PDF

Info

Publication number
JP6620329B2
JP6620329B2 JP2018085299A JP2018085299A JP6620329B2 JP 6620329 B2 JP6620329 B2 JP 6620329B2 JP 2018085299 A JP2018085299 A JP 2018085299A JP 2018085299 A JP2018085299 A JP 2018085299A JP 6620329 B2 JP6620329 B2 JP 6620329B2
Authority
JP
Japan
Prior art keywords
electrode
electrical stimulation
finger
muscle displacement
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018085299A
Other languages
Japanese (ja)
Other versions
JP2018153648A5 (en
JP2018153648A (en
Inventor
絵美 玉城
絵美 玉城
健一郎 岩▲崎▼
健一郎 岩▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
H2L Inc
Original Assignee
H2L Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by H2L Inc filed Critical H2L Inc
Priority to JP2018085299A priority Critical patent/JP6620329B2/en
Publication of JP2018153648A publication Critical patent/JP2018153648A/en
Publication of JP2018153648A5 publication Critical patent/JP2018153648A5/en
Application granted granted Critical
Publication of JP6620329B2 publication Critical patent/JP6620329B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrotherapy Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、電気刺激信号を人の腕の筋肉に与えると共に、腕の筋肉の変位をセンサーで検出する電気刺激装置と、電気刺激装置の電極確率行列を較正する方法及びセンサーシステムの筋変位センサー較正方法に関する。 The present invention relates to an electrical stimulation device that applies an electrical stimulation signal to a human arm muscle and detects the displacement of the arm muscle with a sensor, a method for calibrating an electrode probability matrix of the electrical stimulation device, and a muscle displacement sensor of the sensor system. The present invention relates to a calibration method .

従来、人(ユーザー)の前腕に複数の電極を装着し、その電極から前腕の筋肉に電気刺激信号を与えることで、外部からの指令で、ユーザーの指又は手を動かそうとする試みが行われている。たとえば、手指のリハビリテーション、トレーニング、動きの補助などを、外部からの指令で行うことが考えられている。また、ヘッドマウントディスプレイなどを使用して、ユーザーに仮想空間の映像を提示する仮想現実処理(Virtual Reality)や、現実の空間映像に仮想的なオブジェクト画像を重畳する拡張現実処理(Argumented Reality)を実行する際に、外部からの指令で、仮想空間等の映像に合わせて手指を動かすことで、リアリティ性を高めることなども提案されている。   Conventionally, an attempt has been made to move a user's finger or hand in response to an external command by attaching a plurality of electrodes to the forearm of a person (user) and applying an electrical stimulation signal from the electrodes to the muscles of the forearm. It has been broken. For example, it is considered that finger rehabilitation, training, movement assistance, and the like are performed by an external command. In addition, using a head-mounted display, virtual reality processing (Virtual Reality) that presents virtual space images to the user, and augmented reality processing (Argumented Reality) that superimposes virtual object images on real space images It has also been proposed to improve reality by moving a finger in accordance with an image in a virtual space or the like in response to an instruction from the outside.

本願の発明者らは、先に特許文献1に記載されるような電気刺激装置を提案した。この特許文献1で提案した電気刺激装置は、ユーザーの前腕に装着されるバンドに複数の電極を取り付けて、前腕の筋肉に電気刺激を与える装置である。   The inventors of the present application have previously proposed an electrical stimulation apparatus as described in Patent Document 1. The electrical stimulation apparatus proposed in Patent Document 1 is an apparatus that applies electrical stimulation to muscles of the forearm by attaching a plurality of electrodes to a band worn on the user's forearm.

特開2014−104241号公報JP 2014-104241 A

特許文献1で提案した電気刺激装置を装着したユーザーは、外部からの指令により前腕の筋肉に電気刺激が与えられることで、指又は手が動くようになる。たとえば5本の指は、前腕のどの筋肉を刺激すれば動くかが予め判っており、電気刺激装置に取り付けられた電極によって、特定の筋肉を刺激することで、その筋肉に対応した指が動く。   A user wearing the electrical stimulation device proposed in Patent Document 1 moves his / her finger or hand by applying electrical stimulation to the muscles of the forearm according to an external command. For example, it is known in advance which muscle of the forearm to move when five fingers are stimulated, and the finger corresponding to the muscle moves by stimulating a specific muscle with an electrode attached to the electrical stimulator. .

ここで、ユーザーがバンド形状の電気刺激装置を前腕に装着した状況を想定する。このとき、バンド形状の電気刺激装置は複数の電極を備えるが、それぞれの電極がどの筋肉に対応しているのかを検知する必要がある。この検知を行うために、ユーザーがバンド形状の電気刺激装置を装着した際には、最初に較正作業を行って、電気刺激信号を各電極から出力させ、どの指が動くのかを予め確かめることが必要になる。
つまり、バンド形状の電気刺激装置をユーザーが装着した際に、電気刺激装置に配置された各々の電極がどの筋肉に対向しているのかを、電気刺激装置が予め正確に把握する必要がある。このため、較正作業は極めて重要な意味を持つ。
Here, it is assumed that the user wears a band-shaped electrical stimulation device on the forearm. At this time, the band-shaped electrical stimulation device includes a plurality of electrodes, but it is necessary to detect which muscle each electrode corresponds to. In order to perform this detection, when a user wears a band-shaped electrical stimulation device, a calibration operation is first performed to output an electrical stimulation signal from each electrode and confirm in advance which finger moves. I need it.
That is, when the user wears the band-shaped electrical stimulation device, it is necessary for the electrical stimulation device to accurately know in advance which muscle each electrode disposed on the electrical stimulation device faces. For this reason, calibration work is extremely important.

一方、人の腕の太さは、年齢、性別、体重などの個人差で大きく異なる。このため、一つの電気刺激装置だけで腕の太さにおける個人差を吸収するには、5本の指の数を超える数だけ、電極とセンサーを設ける必要がある。すると、電極の中には指の動きに対応しない電極が生じることとなる。すなわち、電気刺激装置を正しく動作させるためには、実際の指を動かす筋肉と、電極の対応関係を較正作業によって予め明らかにする必要がある。   On the other hand, the thickness of a person's arm varies greatly depending on individual differences such as age, sex, and weight. For this reason, in order to absorb individual differences in the thickness of the arm with only one electrical stimulation device, it is necessary to provide electrodes and sensors that exceed the number of five fingers. Then, an electrode that does not correspond to the movement of the finger is generated in the electrode. That is, in order for the electrical stimulation apparatus to operate correctly, it is necessary to clarify in advance the calibration relationship between the muscles that actually move the finger and the electrodes.

本発明は係る課題に鑑みてなされたものであり、ユーザーの腕に装着した状態や個人差に左右されず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる電気刺激装置と、電気刺激装置の電極確率行列を較正する方法及びセンサーシステムの筋変位センサー較正方法を提供することを目的とする。 The present invention has been made in view of such problems, is not affected by the state worn on the user's arm and individual differences, clarify the correspondence between the movement of the fingers and the electrodes in a short time, and there are very few malfunctions, It is an object of the present invention to provide an electrical stimulation device capable of driving a target finger with high accuracy, a method for calibrating an electrode probability matrix of the electrical stimulation device, and a muscle displacement sensor calibration method for a sensor system .

上記課題を解決するために、本発明の電気刺激装置は、ユーザーの前腕に巻き付けられるバンドと、バンドの一方の面に配置されてユーザーの腕に存在する複数の筋肉の変位をそれぞれ検出する、複数の筋変位センサーと、複数の筋変位センサーから一の筋変位センサーを選択するセンサー用マルチプレクサと、バンドの、複数の筋変位センサーが配置されている面に、複数の筋変位センサーに隣接して複数個配置されている電極を具備する。更に、複数の電極から一の電極を選択する電極用マルチプレクサと、筋変位センサーから得られる、ユーザーの腕の筋肉の変位に係る信号をデジタルデータに変換してホストに送信する近距離無線送信部と、手指の動きと複数の電極との相関関係が確率で記述されている電極確率行列を具備する。更に、通常モードにおいてホストから手指を動かす命令を受信し、較正モードにおいてホストから更新された電極確率行列を受信する近距離無線受信部と、手指を動かす命令に基づき、電極確率行列から最大の確率を示す電極を特定して、電極用マルチプレクサを制御して特定した電極を選択する指電極対応変換部とを具備する。
電極確率行列は、ホストが、筋変位センサーのデータをユーザーの手指の動きに変換した上で、現在のユーザーの腕と電気刺激装置の相対的な位置関係のずれを検出して電極確率行列の要素を並べ替えた上で、要素が更新される。
In order to solve the above problems, an electrical stimulation device of the present invention detects a band wound around a user's forearm and a plurality of muscles disposed on one surface of the band and present on the user's arm, A plurality of muscle displacement sensors, a sensor multiplexer for selecting one muscle displacement sensor from the plurality of muscle displacement sensors, and a surface of the band on which the plurality of muscle displacement sensors are arranged are adjacent to the plurality of muscle displacement sensors. A plurality of electrodes. Furthermore, a short-distance wireless transmission unit that converts a signal related to the displacement of the muscle of the user's arm obtained from the muscle displacement sensor into digital data and transmits it to the host, and a multiplexer for selecting one electrode from a plurality of electrodes And an electrode probability matrix in which the correlation between the finger movement and the plurality of electrodes is described with probability. Further, a short-range wireless receiving unit that receives a command to move a finger from the host in the normal mode and receives an updated electrode probability matrix from the host in the calibration mode, and a maximum probability from the electrode probability matrix based on the command to move the finger And a finger electrode corresponding conversion unit that controls the electrode multiplexer and selects the specified electrode.
In the electrode probability matrix, the host converts the data of the muscle displacement sensor into the movement of the user's finger, detects the relative positional relationship between the current user's arm and the electrical stimulator, and detects the electrode probability matrix. The elements are updated after rearranging the elements.

本発明により、ユーザーの腕に装着した状態や個人差に左右されず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる電気刺激装置と、電気刺激装置の電極確率行列を較正する方法及びセンサーシステムの筋変位センサー較正方法を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
The present invention, without being affected by the conditions and individual differences mounted on the user's arm, to clarify the relationship between the motion and the electrode finger in a short time, malfunctions is extremely small, electricity can drive the objective fingers with high precision A stimulation device, a method of calibrating an electrode probability matrix of an electrical stimulation device, and a muscle displacement sensor calibration method of a sensor system can be provided.
Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.

本発明の実施形態の例である電気刺激装置の外観斜視図である。It is an external appearance perspective view of the electrical stimulation apparatus which is an example of embodiment of this invention. 電極配置面の平面図である。It is a top view of an electrode arrangement | positioning surface. 電気刺激装置を前腕に装着する直前の状態と、直後の状態を示す図である。It is a figure which shows the state immediately before mounting | wearing a forearm with an electric stimulator, and the state immediately after. 電気刺激装置の使用形態の一例である、電気刺激装置を有する電気刺激システムを示す模式図である。It is a schematic diagram which shows an electrical stimulation system which has an electrical stimulation apparatus which is an example of the usage pattern of an electrical stimulation apparatus. ホストのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of a host. 電気刺激装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of an electrical stimulation apparatus. 通常モードにおける電気刺激装置とホストのソフトウェア機能を示すブロック図である。It is a block diagram which shows the software function of the electrical stimulation apparatus and host in normal mode. 較正モードにおける電気刺激装置とホストのソフトウェア機能を示すブロック図である。It is a block diagram which shows the software function of the electrical stimulator and host in a calibration mode. 較正モードにおける、電気刺激装置とホストが実行する較正動作の流れを示すタイムチャートである。It is a time chart which shows the flow of the calibration operation | movement which an electric stimulator and a host perform in a calibration mode. ユーザーが初めて電気刺激装置を腕に装着した際にホストにて実行される、初回の学習モードの動作の流れを説明するフローチャートである。It is a flowchart explaining the flow of operation | movement of the first learning mode performed by a host when a user wears an electric stimulator for the arm for the first time. 電気刺激と筋肉の収縮状態と筋変位センサーの動作を説明するタイムチャートである。It is a time chart explaining the operation | movement of an electrical stimulation, the contraction state of a muscle, and a muscle displacement sensor. 電気刺激に対する手指の動きを示す手指挙動行列の説明図と、手指挙動行列から有効な電気刺激を選択する手順を示す図と、手指挙動行列から有効な電気刺激を選択した結果を示すフラグ行列の説明図と、フラグ行列から生成した電極確率行列を示す図である。An explanatory diagram of the finger behavior matrix showing the movement of the finger with respect to the electrical stimulus, a diagram showing the procedure for selecting an effective electrical stimulus from the finger behavior matrix, and a flag matrix showing the result of selecting an effective electrical stimulus from the finger behavior matrix It is explanatory drawing and the figure which shows the electrode probability matrix produced | generated from the flag matrix. ユーザーが2回目以降に電気刺激装置を装着した際にホストにて実行される、2回目以降の学習モードの動作の流れを説明するフローチャートである。It is a flowchart explaining the flow of operation | movement of the learning mode after the 2nd time performed by a host, when a user wears an electrical stimulation apparatus after the 2nd time. ユーザーが2回目以降に電気刺激装置を装着した際にホストにて実行される、2回目以降の学習モードの動作の流れを説明するフローチャートである。It is a flowchart explaining the flow of operation | movement of the learning mode after the 2nd time performed by a host when a user wears an electrical stimulator after the 2nd time. ユーザーが電気刺激装置を初めて腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図と、ユーザーが電気刺激装置を再び腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。A schematic diagram for explaining the arrangement relationship between arm muscles and electrodes when the user first wears the electrostimulator on the arm, and the arm of the arm when the user puts the electrostimulator on the arm again. It is a typical schematic diagram for explaining the arrangement relationship between muscles and electrodes. 2回目以降の学習モードによって作成された手指挙動行列の例と、この手指挙動行列に基づいて作成された、仮想的な電極確率行列と、ホストに記憶されている学習モード適用前の電極確率行列と、この電極確率行列を並べ替えた行列を示す図である。An example of a finger behavior matrix created in the second and subsequent learning modes, a virtual electrode probability matrix created based on this finger behavior matrix, and an electrode probability matrix before applying the learning mode stored in the host FIG. 4 is a diagram showing a matrix in which this electrode probability matrix is rearranged. 一般化した電極確率行列の一例を示す図である。It is a figure which shows an example of the generalized electrode probability matrix.

図1は、本発明の実施形態の例である電気刺激装置100の外観斜視図である。
電気刺激装置100はV字形状のバンド101を備える。このバンド101はシリコーンゴム等の柔軟性を有する樹脂シートで構成されている。バンド101の両翼部分は、水平線L105から等しい傾斜角度θ1及びθ2だけ傾斜した形状である。傾斜角度θ1及びθ2は例えば32°である。バンド101の表面側の中心部分には長方形形状の回路収納ボックス103が設けられている。回路収納ボックス103には、後述する演算処理部150(図4参照)や二次電池などが内蔵されている。
FIG. 1 is an external perspective view of an electrical stimulation apparatus 100 that is an example of an embodiment of the present invention.
The electrical stimulation device 100 includes a V-shaped band 101. The band 101 is made of a flexible resin sheet such as silicone rubber. Both wing parts of the band 101 are inclined by equal inclination angles θ1 and θ2 from the horizontal line L105. The inclination angles θ1 and θ2 are, for example, 32 °. A rectangular circuit storage box 103 is provided at the center of the surface side of the band 101. The circuit storage box 103 incorporates an arithmetic processing unit 150 (see FIG. 4) described later, a secondary battery, and the like.

回路収納ボックス103の、一方の短辺側の側面には、第一シリアルインターフェース端子104が設けられている。第一シリアルインターフェース端子104は例えばmicroUSB用の端子である。電気刺激装置100はこの第一シリアルインターフェース端子104を通じて、内蔵する不図示の二次電池を充電する。また、第一シリアルインターフェース端子104をパソコン等に接続して、演算処理部の構成要素であるファームウェアをアップデートする等の機能拡張が可能である。   A first serial interface terminal 104 is provided on the side surface of one short side of the circuit storage box 103. The first serial interface terminal 104 is, for example, a microUSB terminal. The electrical stimulation device 100 charges a secondary battery (not shown) incorporated therein through the first serial interface terminal 104. Further, it is possible to expand functions such as connecting the first serial interface terminal 104 to a personal computer or the like and updating firmware as a component of the arithmetic processing unit.

バンド101の回路収納ボックス103が取り付けられた面とは反対側の裏面(図1の下側の面)は、図2にて後述する電極配置面100aである。
電気刺激装置100は、後述する図3A及び図3Bの装着例で説明するように、バンド101の裏面である電極配置面100aをユーザーの前腕に巻き付けることで、ユーザーに装着される。
The back surface (the lower surface in FIG. 1) opposite to the surface on which the circuit storage box 103 of the band 101 is attached is an electrode arrangement surface 100a which will be described later with reference to FIG.
The electrical stimulation device 100 is worn by the user by winding an electrode placement surface 100a, which is the back surface of the band 101, around the user's forearm, as will be described in the wearing example of FIGS. 3A and 3B described later.

図2は、電極配置面100aの平面図である。
電極配置面100aには、ユーザーの前腕の筋肉に電気刺激信号を与えるための電極201〜208と、その電極201〜208とペアで使用される接地電極である電極211〜213,216,217とを備える。但し、接地電極については対向する複数の電極について共通で使用するため、電極201〜208と電極211〜213,216,217の数は一致しない。
加えて、電極配置面100aは、ユーザーの前腕の筋肉の動きを検出する筋変位センサー221〜228を備える。
FIG. 2 is a plan view of the electrode arrangement surface 100a.
The electrode placement surface 100a includes electrodes 201 to 208 for applying an electrical stimulation signal to the muscles of the user's forearm, and electrodes 211 to 213, 216, and 217 that are ground electrodes used in pairs with the electrodes 201 to 208. Is provided. However, since the ground electrode is commonly used for a plurality of opposing electrodes, the numbers of the electrodes 201 to 208 and the electrodes 211 to 213, 216, and 217 do not match.
In addition, the electrode placement surface 100a includes muscle displacement sensors 221 to 228 that detect the movement of muscles of the user's forearm.

電極配置面100aの右側(図中の左側)には、右側電極配置箇所231が設けられており、右側電極配置箇所231には4個の電極201,202,211,212が配置される。4個の電極201,202,211,212の内で、電極201は第一の電極であり、電極202は第二の電極である。また、電極211は電極201に対向する接地電極であり、電極212は電極202に対向する接地電極である。   A right electrode arrangement location 231 is provided on the right side (left side in the drawing) of the electrode arrangement surface 100a, and four electrodes 201, 202, 211, and 212 are arranged in the right electrode arrangement location 231. Of the four electrodes 201, 202, 211, 212, the electrode 201 is a first electrode, and the electrode 202 is a second electrode. The electrode 211 is a ground electrode facing the electrode 201, and the electrode 212 is a ground electrode facing the electrode 202.

電極201と電極211は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
電極202と電極212も前腕の筋肉に刺激を与える電極であり、周方向Hに対して傾斜角度θ2で、傾斜した状態で配置されたほぼ長方形の電極である。電極202と電極212とは、腕の長手方向Lに隣接して配置される。
The electrodes 201 and 211 are electrodes for stimulating the forearm muscles, and are arranged adjacent to the longitudinal direction L of the arm when worn.
The electrodes 202 and 212 are also electrodes for stimulating the muscles of the forearm, and are substantially rectangular electrodes arranged in an inclined state at an inclination angle θ2 with respect to the circumferential direction H. The electrode 202 and the electrode 212 are disposed adjacent to the longitudinal direction L of the arm.

電極配置面100aの中央には、中央電極配置箇所232が設けられており、中央電極配置箇所232には5個の電極203,204,205,208,213が配置される。5個の電極203,204,205,208,213の内で、電極203は第三の電極であり、電極204は第四の電極であり、電極205は第五の電極である。これら3個の電極203,204,205は、腕の長手方向に伸びて、腕の周方向にほぼ平行に並んで配置されている。また、電極208は第八の電極である。この電極208は、腕の周方向に長く伸びた電極である。電極213は、電極203,204,205,208に対向して共通に使用される接地電極である。   A central electrode arrangement location 232 is provided at the center of the electrode arrangement surface 100 a, and five electrodes 203, 204, 205, 208, and 213 are arranged at the central electrode arrangement location 232. Of the five electrodes 203, 204, 205, 208, and 213, the electrode 203 is a third electrode, the electrode 204 is a fourth electrode, and the electrode 205 is a fifth electrode. These three electrodes 203, 204, and 205 extend in the longitudinal direction of the arm and are arranged side by side in substantially parallel to the circumferential direction of the arm. The electrode 208 is an eighth electrode. The electrode 208 is an electrode that extends long in the circumferential direction of the arm. The electrode 213 is a ground electrode commonly used facing the electrodes 203, 204, 205, and 208.

電極203と電極204と電極205とは、それぞれのチャンネルごとに前腕のそれぞれ別の筋肉に刺激を与える電極であり、接地電極として電極213が共通に使用される。3つの電極203,204,205は、腕の周方向Hに並んで配置され、この3つの電極203,204,205と長手方向Lに隣接して配置される共通の接地電極である電極213は、腕の周方向Hに長く伸びた長方形の電極である。
電極208は、電極213に隣接して、腕の周方向Hに長く伸びた長方形の電極である。電極213は、電極208の接地電位としても使用される。なお、電極208は予備に使用される電極であり、この電極208は腕の周方向Hに長く伸びているため、腕の複数の筋肉に同時に刺激を与えることができる。
The electrode 203, the electrode 204, and the electrode 205 are electrodes for stimulating different muscles of the forearm for each channel, and the electrode 213 is commonly used as a ground electrode. The three electrodes 203, 204, 205 are arranged side by side in the circumferential direction H of the arm, and the electrode 213, which is a common ground electrode arranged adjacent to the three electrodes 203, 204, 205 in the longitudinal direction L, A rectangular electrode extending in the circumferential direction H of the arm.
The electrode 208 is a rectangular electrode that is adjacent to the electrode 213 and extends long in the circumferential direction H of the arm. The electrode 213 is also used as the ground potential of the electrode 208. Note that the electrode 208 is a spare electrode, and the electrode 208 extends long in the circumferential direction H of the arm, so that a plurality of muscles of the arm can be simultaneously stimulated.

電極配置面100aの左側部102(図2中の右側)には、左側電極配置箇所233が設けられており、左側電極配置箇所233には4個の電極206,207,216,217が配置される。4個の電極206,207,216,217の内で、電極206は第六の電極であり、電極207は第七の電極である。また、電極216は電極206に対向する接地電極であり、電極217は電極207に対向する接地電極である。   A left electrode arrangement portion 233 is provided on the left side portion 102 (right side in FIG. 2) of the electrode arrangement surface 100a, and four electrodes 206, 207, 216, and 217 are arranged in the left electrode arrangement portion 233. The Of the four electrodes 206, 207, 216, and 217, the electrode 206 is a sixth electrode, and the electrode 207 is a seventh electrode. The electrode 216 is a ground electrode facing the electrode 206, and the electrode 217 is a ground electrode facing the electrode 207.

電極206と電極216は前腕の筋肉に刺激を与える電極であり、周方向Hに対して左側部102の傾斜角度θ1と同じ角度θ1で、傾斜した状態で配置されたほぼ長方形の電極である。
電極207と電極217は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
The electrodes 206 and 216 are electrodes for stimulating the muscles of the forearm, and are substantially rectangular electrodes arranged in an inclined state at the same angle θ1 as the inclination angle θ1 of the left side portion 102 with respect to the circumferential direction H.
The electrodes 207 and 217 are electrodes that stimulate the forearm muscles and are disposed adjacent to the longitudinal direction L of the arm when worn.

電極配置面100aの右側電極配置箇所231の近傍には、2個所に筋変位センサー221,222が配置されている。電極配置面100aの中央電極配置箇所232の近傍には、4個所に筋変位センサー223,224,225,226が配置されている。電極配置面100aの左側電極配置箇所233の近傍には、2個所に筋変位センサー227,228が配置されている。   Muscle displacement sensors 221 and 222 are arranged at two locations in the vicinity of the right electrode arrangement location 231 on the electrode arrangement surface 100a. Muscle displacement sensors 223, 224, 225, and 226 are arranged at four locations in the vicinity of the central electrode arrangement location 232 on the electrode arrangement surface 100a. Muscle displacement sensors 227 and 228 are arranged at two positions in the vicinity of the left electrode arrangement place 233 on the electrode arrangement surface 100a.

8個の筋変位センサー221〜228は周知のフォトリフレクターである。これらの筋変位センサーはそれぞれ赤外線発光素子221a〜228aと赤外線受光素子221b〜228b(図6参照)とで構成されており、筋変位センサー配置面から腕の筋肉の表面までの距離の変化を検出する。赤外線発光素子221a〜228aは例えば近赤外線LEDであり、赤外線受光素子221b〜228bは例えばフォトトランジスタである。
筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる隆起によって、フォトリフレクターと筋肉の表面部分との距離が変動する。フォトリフレクターはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の隆起状態を検出することに適している。
The eight muscle displacement sensors 221 to 228 are well-known photo reflectors. Each of these muscle displacement sensors includes infrared light emitting elements 221a to 228a and infrared light receiving elements 221b to 228b (see FIG. 6), and detects changes in the distance from the muscle displacement sensor placement surface to the muscle surface of the arm. To do. The infrared light emitting elements 221a to 228a are, for example, near infrared LEDs, and the infrared light receiving elements 221b to 228b are, for example, phototransistors.
When the muscle contracts, the distance between the photo reflector and the surface portion of the muscle fluctuates due to the bulge that occurs in the portion of the skin where the muscle exists. The photoreflector detects the intensity of near-infrared reflected light caused by the change in distance with a phototransistor. Near-infrared rays have the property of transmitting through the skin surface and are therefore suitable for detecting the state of muscle bulge.

なお、電極配置面100aの右側電極配置箇所231、中央電極配置箇所232、左側電極配置箇所233を除く個所には、粘着性を有する樹脂材(不図示)が配置され、その樹脂材の粘着性で、電極配置面100aを前腕に巻き付けた状態に装着できるようにしている。   In addition, a resin material (not shown) having adhesiveness is disposed at portions other than the right electrode arrangement portion 231, the central electrode arrangement portion 232, and the left electrode arrangement portion 233 on the electrode arrangement surface 100 a, and the adhesive property of the resin material Thus, the electrode placement surface 100a can be worn around the forearm.

[電気刺激装置100の装着例]
図3Aは、電気刺激装置100を前腕に装着する直前の状態を示す図である。
図3Bは、電気刺激装置100を前腕に装着した直後の状態を示す図である。
図3Aに示すように、ユーザーの右腕の前腕RAの手首寄りの個所に、バンド101の電極配置面100a(図2)の中央部分が触れた状態とする。このときには、図3Aに示すように手のひらが上側となった位置とする。また、ほぼV字形状をしたバンド101の中央にある回路収納ボックス103が、手のひら側を向くようにする。
[Installation example of electrical stimulation device 100]
FIG. 3A is a diagram showing a state immediately before the electrical stimulation device 100 is mounted on the forearm.
FIG. 3B is a diagram illustrating a state immediately after the electrical stimulation device 100 is mounted on the forearm.
As shown in FIG. 3A, the center portion of the electrode placement surface 100a (FIG. 2) of the band 101 is in contact with a portion near the wrist of the forearm RA of the user's right arm. At this time, as shown in FIG. Further, the circuit storage box 103 at the center of the substantially V-shaped band 101 is set to face the palm side.

そして、ユーザーは、バンド101の両翼を、矢印F1と矢印F2で示すように手首に巻き付ける作業を行う。
このようにして、図3Bに示すように、電気刺激装置100が前腕RAに巻き付いた状態で装着される。このときには、電極配置面100aに配置した粘着性を有する樹脂材の粘着性で、前腕RAに巻き付いた状態が維持される。
なお、樹脂材の粘着性だけで前腕RAに巻き付いた状態とするのは一例であり、例えばバンド101の両端に何らかのクリップ機構を設けて、両者が重なった状態で留まるようにしてもよい。
Then, the user performs an operation of winding both wings of the band 101 around the wrist as indicated by arrows F1 and F2.
In this way, as shown in FIG. 3B, the electrical stimulation device 100 is worn while being wound around the forearm RA. At this time, the state of being wound around the forearm RA is maintained by the adhesiveness of the adhesive resin material arranged on the electrode arrangement surface 100a.
Note that the state of being wrapped around the forearm RA only by the adhesiveness of the resin material is merely an example. For example, some kind of clip mechanism may be provided at both ends of the band 101 so that the two remain overlapped.

このように電気刺激装置100は、バンド101を前腕RAに巻き付けて装着するため、簡単に装着することができる。そして、バンド101がほぼV字形状をしているため、ユーザーは装着方向が判りやすく、確実に図3Bに示すような決められた方向に装着できるようになる。
なお、図3ではユーザーの右腕に電気刺激装置100を装着する例を示したが、左腕に電気刺激装置100を装着してもよい。
Thus, the electrical stimulation apparatus 100 can be easily mounted because the band 101 is wound around the forearm RA. Since the band 101 is substantially V-shaped, the user can easily understand the mounting direction, and can be securely mounted in the determined direction as shown in FIG. 3B.
Although FIG. 3 shows an example in which the electrical stimulation device 100 is worn on the user's right arm, the electrical stimulation device 100 may be worn on the left arm.

ところで、図3A及び図3Bに図示されているように、本発明の実施形態に係る電気刺激装置100は、ユーザーの前腕RAの手首寄りの箇所に巻きつける。しかし、その際、電気刺激装置100がユーザーの前腕RAの定位置に定まるような指標が、前腕RAには設けられていない。つまり、ユーザーが電気刺激装置100を前腕RAに装着する度、その装着位置が微妙にずれることが往々にして生じる。すると、ユーザーが電気刺激装置100を前腕に装着する度に、電気刺激装置100の電極配置面100aに設けられている電極と筋変位センサーと、ユーザーの腕の筋肉との相対的な位置関係がずれることとなる。
本発明はこの「ズレ」に対応して、電気刺激装置100が電極と手指の動きとの対応関係を正しく把握することを目的として想到されたものである。
Incidentally, as illustrated in FIGS. 3A and 3B, the electrical stimulation device 100 according to the embodiment of the present invention is wound around a portion of the user's forearm RA near the wrist. However, at this time, the forearm RA is not provided with an index that allows the electrical stimulation device 100 to be positioned at the home position of the user's forearm RA. That is, every time the user wears the electrical stimulation device 100 on the forearm RA, the wearing position often deviates slightly. Then, each time the user wears the electrical stimulation device 100 on the forearm, the relative positional relationship between the electrode provided on the electrode placement surface 100a of the electrical stimulation device 100, the muscle displacement sensor, and the muscle of the user's arm is changed. It will shift.
The present invention has been conceived for the purpose of correctly understanding the correspondence between the electrode and the movement of the finger in response to this “deviation”.

[電気刺激装置100の使用形態]
図4は、電気刺激装置100の使用形態の一例である、電気刺激装置100を有する電気刺激システム400を示す模式図である。
電気刺激装置100は、後述するBluetooth(登録商標)等の近距離無線通信機能を有する。一方、電気刺激装置100と同等の近距離無線通信機能を内蔵するパソコンか、近距離無線通信機能を提供する周辺機器をパソコンに接続する等で、電気刺激装置100はパソコンとの近距離無線通信による双方向通信を確立する。これ以降、電気刺激装置100と近距離無線通信にて双方向通信を確立するパソコンをホスト401と呼ぶ。図4中、ホスト401には近距離無線通信部402が接続されており、電気刺激装置100との間で双方向通信を確立する。
[Usage pattern of electrical stimulation device 100]
FIG. 4 is a schematic diagram illustrating an electrical stimulation system 400 having the electrical stimulation device 100, which is an example of a usage pattern of the electrical stimulation device 100.
The electrical stimulation device 100 has a short-range wireless communication function such as Bluetooth (registered trademark) described later. On the other hand, the electrical stimulation device 100 is connected to a personal computer with a short-range wireless communication function equivalent to that of the electrical stimulation device 100 or a peripheral device that provides a short-range wireless communication function. Establish two-way communication with. Hereinafter, a personal computer that establishes two-way communication with the electrical stimulation apparatus 100 through short-range wireless communication is referred to as a host 401. In FIG. 4, a short-range wireless communication unit 402 is connected to the host 401 and establishes bidirectional communication with the electrical stimulation apparatus 100.

ホスト401には、例えばシューティングゲーム等のアプリケーションプログラムが稼働している。そして、このアプリケーションプログラムに対するユーザーの操作に応じて、ホスト401は電気刺激装置100に対し、ユーザーの所定の筋肉へ電気刺激を与える命令を近距離無線通信にて送信する。電気刺激装置100は、ホスト401から受信した電気刺激の命令に基づき、ユーザーの所望の筋肉へ電気刺激を与える。
また、電気刺激装置100は前述の筋変位センサーにてユーザーの腕の筋肉の変位情報をデジタルデータとしてホスト401に送信する。
In the host 401, an application program such as a shooting game is running. Then, in response to the user's operation on the application program, the host 401 transmits a command for applying electrical stimulation to the user's predetermined muscle to the electrical stimulation apparatus 100 through short-range wireless communication. The electrical stimulation device 100 applies electrical stimulation to a desired muscle of the user based on the electrical stimulation command received from the host 401.
Further, the electrical stimulation device 100 transmits the displacement information of the muscles of the user's arm to the host 401 as digital data by the above-described muscle displacement sensor.

ところで、筋変位センサーの駆動には赤外線LEDの発光駆動を始め、比較的大きな電力消費を伴う。そこで、ホスト401のアプリケーションプログラムは必要最小限の電力消費で腕の筋肉の変位情報を電気刺激装置100から取得するべく、アプリケーションプログラムの状態に応じて、電気刺激装置100に筋変位センサーの駆動と停止を命じるコマンドを送信する。すなわち、ホスト401は、アプリケーションプログラムを実行中に、アプリケーションプログラムがユーザーの腕の筋肉の変位情報を必要とする状況になるまでは、電気刺激装置100に筋変位センサーを駆動させない。アプリケーションプログラムがユーザーの腕の筋肉の変位情報を必要とする状況に至ったら、その時点でホスト401から電気刺激装置100へ筋変位センサーを駆動するためのコマンドを送信する。このホスト401からのコマンドを受けて、電気刺激装置100は、腕の筋肉の変位情報を取得するべく筋変位センサーを駆動する。   By the way, the driving of the muscle displacement sensor is accompanied by relatively large power consumption, including the light emission driving of the infrared LED. Therefore, the application program of the host 401 is configured to drive the muscle displacement sensor in the electrical stimulation device 100 according to the state of the application program in order to acquire the displacement information of the arm muscles from the electrical stimulation device 100 with the minimum power consumption. Send a command to stop. That is, while executing the application program, the host 401 does not cause the electrical stimulation device 100 to drive the muscle displacement sensor until the application program is in a situation that requires information on the displacement of the user's arm muscles. When the application program reaches a situation where the user's arm muscle displacement information is required, a command for driving the muscle displacement sensor is transmitted from the host 401 to the electrical stimulation device 100 at that time. In response to the command from the host 401, the electrical stimulation device 100 drives the muscle displacement sensor to acquire the displacement information of the arm muscles.

そしてホスト401は、アプリケーションプログラムが必要な腕の筋肉の変位情報の取得を終了した時点で、筋変位センサーの駆動を停止するよう、電気刺激装置100へコマンドを送信する。このホスト401からのコマンドを受けて、電気刺激装置100は、筋変位センサーの駆動を停止する。
すなわち、電気刺激装置100は、ホスト401に対して、ユーザーの腕の筋肉の変位情報を収集する入力装置として、そして腕の筋肉に変位を与える出力装置として、機能する。また、電気刺激装置100は、ホスト401及び/またはアプリケーションプログラムに対する端末であるともいえる。
The host 401 transmits a command to the electrical stimulation apparatus 100 to stop driving the muscle displacement sensor when the acquisition of the displacement information of the arm muscles required by the application program is completed. In response to the command from the host 401, the electrical stimulation device 100 stops driving the muscle displacement sensor.
In other words, the electrical stimulation device 100 functions as an input device that collects displacement information of the user's arm muscles and an output device that applies displacement to the arm muscles to the host 401. It can also be said that the electrical stimulation device 100 is a terminal for the host 401 and / or an application program.

図2で説明したように、電気刺激装置100の電極配置面100aには、接地電極を除く電極が8個存在する。一方、人間の手には5本の指が存在する。これは、人の腕の太さにおける個人差を一つの電気刺激装置100だけで吸収するために、5本の指の数を超える数だけ、電極を設けていることによる。つまり、8個の電極の中には指の動きに対応しない電極も含まれることとなる。また、ユーザーの腕に電気刺激装置100を装着した状態によっては、装着位置のずれに起因して、電極に相対する筋肉の位置がずれることが往々にして生じ得る。このようなずれが生じても筋肉に電極が対応できるようにするためには、5本の指の数を超える数の電極を設けることが好ましい。   As described with reference to FIG. 2, the electrode arrangement surface 100 a of the electrical stimulation device 100 has eight electrodes excluding the ground electrode. On the other hand, a human hand has five fingers. This is because the number of electrodes exceeding the number of five fingers is provided in order to absorb individual differences in the thickness of a person's arm with only one electrical stimulation device 100. That is, the eight electrodes include electrodes that do not correspond to finger movements. In addition, depending on the state in which the electrical stimulation device 100 is worn on the user's arm, the position of the muscle relative to the electrode may often shift due to the displacement of the wearing position. In order to allow the electrodes to correspond to muscles even if such a shift occurs, it is preferable to provide more electrodes than the number of five fingers.

また、電気刺激装置100を正しく動作させるためには、実際の指を動かす筋肉と、電極と、筋変位センサーの対応関係を較正作業によって明らかにする必要がある。
このため、本発明の実施形態に係る電気刺激装置100の動作モードとしては、アプリケーションプログラムの端末として動作する通常モードと、実際の指を動かす筋肉と電極及び筋変位センサーとの対応関係を明らかにするための較正作業を遂行する較正モードとの、二種類の動作モードが存在する。
なお、後述するソフトウェア機能を説明するブロック図では、通常モードと較正モードに分けて説明する。本発明は、このうち特に較正モードに関する発明である。
In addition, in order for the electrical stimulation apparatus 100 to operate correctly, it is necessary to clarify the correspondence relationship between the muscle that moves the actual finger, the electrode, and the muscle displacement sensor by a calibration operation.
Therefore, as the operation mode of the electrical stimulation apparatus 100 according to the embodiment of the present invention, the normal mode that operates as a terminal of the application program, and the correspondence between the muscle that moves the actual finger, the electrode, and the muscle displacement sensor are clarified. There are two types of operation modes: a calibration mode for performing a calibration operation for the purpose.
In addition, in the block diagram explaining the software function mentioned later, it demonstrates by dividing into normal mode and calibration mode. Of these, the present invention relates to a calibration mode.

[ホスト401のハードウェア構成]
図5は、ホスト401のハードウェア構成を示すブロック図である。
前述のように一般的なパソコンよりなるホスト401は、バス507に接続された、CPU501、ROM502、RAM503、不揮発性ストレージ504、表示部505、操作部506及び近距離無線通信部402を備える。近距離無線通信部402は、電気刺激装置100と近距離無線通信を行うためのハードウェアである。不揮発性ストレージ504にはOSと、パソコンを電気刺激装置100のホスト401として動作させるためのアプリケーションプログラムが格納されている。
[Hardware configuration of host 401]
FIG. 5 is a block diagram illustrating a hardware configuration of the host 401.
As described above, the host 401 formed of a general personal computer includes the CPU 501, ROM 502, RAM 503, nonvolatile storage 504, display unit 505, operation unit 506, and short-range wireless communication unit 402 connected to the bus 507. The short-range wireless communication unit 402 is hardware for performing short-range wireless communication with the electrical stimulation device 100. The nonvolatile storage 504 stores an OS and an application program for operating the personal computer as the host 401 of the electrical stimulation apparatus 100.

[電気刺激装置100のハードウェア構成]
図6は、電気刺激装置100のハードウェア構成を示すブロック図である。
バス601に接続されているCPU602、ROM603、RAM604、A/D変換器605、そして第二シリアルインターフェース606(図6中「第二シリアルI/F」と略記)は、周知のワンチップマイコン607を構成する。
筋変位センサー221、222…228を構成する赤外線LEDである赤外線発光素子221a、222a…228aのアノードは電源電圧ノード+Vccに接続されている。赤外線発光素子221a、222a…228aのカソードは第一マルチプレクサ608を通じて電流制限抵抗R609の一端に接続されている。電流制限抵抗R609の他端は接地されている。
[Hardware Configuration of Electrical Stimulator 100]
FIG. 6 is a block diagram illustrating a hardware configuration of the electrical stimulation apparatus 100.
The CPU 602, ROM 603, RAM 604, A / D converter 605, and second serial interface 606 (abbreviated as “second serial I / F” in FIG. 6) connected to the bus 601 are connected to a well-known one-chip microcomputer 607. Constitute.
The anodes of the infrared light emitting elements 221a, 222a,... 228a, which are infrared LEDs constituting the muscle displacement sensors 221, 222,... 228, are connected to the power supply voltage node + Vcc. The cathodes of the infrared light emitting elements 221a, 222a... 228a are connected to one end of a current limiting resistor R609 through a first multiplexer 608. The other end of the current limiting resistor R609 is grounded.

筋変位センサー221、222…228を構成するフォトトランジスタである赤外線受光素子221b、222b…228bのコレクタは電源電圧ノード+Vccに接続されている。赤外線受光素子221b、222b…228bのエミッタは第二マルチプレクサ610を通じてA/D変換器605に接続されていると共に、抵抗R611a、R611b、…R611hを通じて接地されている。   The collectors of infrared light receiving elements 221b, 222b,... 228b, which are phototransistors constituting the muscle displacement sensors 221, 222,... 228, are connected to a power supply voltage node + Vcc. The emitters of the infrared light receiving elements 221b, 222b,... 228b are connected to the A / D converter 605 through the second multiplexer 610 and grounded through the resistors R611a, R611b,.

第一マルチプレクサ608及び第二マルチプレクサ610が、第二シリアルインターフェース606から制御信号を受けて、周期的に切り替え制御されることで、A/D変換器605には時分割で8個の筋変位センサー221、222…228の電圧信号が入力される。この第一マルチプレクサ608及び第二マルチプレクサ610は、複数の筋変位センサー221、222…228のうちの1個を選択する、センサー用マルチプレクサと総称することができる。   The first multiplexer 608 and the second multiplexer 610 receive control signals from the second serial interface 606 and are periodically switched and controlled, so that the A / D converter 605 has eight muscle displacement sensors in time division. Voltage signals 221, 222,... 228 are input. The first multiplexer 608 and the second multiplexer 610 can be collectively referred to as a sensor multiplexer that selects one of the plurality of muscle displacement sensors 221, 222,.

ワンチップマイコン607のバス601には周知の6軸センサー612と近距離無線通信部613も接続されており、6軸センサー612が出力する姿勢情報及び加速度情報は、A/D変換器605を通じて得られた8個の筋変位センサー221、222…228の情報と共に、近距離無線通信部613を通じてホスト401へ送信される。
ワンチップマイコン607のバス601には更に、第一シリアルインターフェース614(図6中「第一シリアルI/F」と略記)が接続されている。なお、この第一シリアルインターフェース614は、不図示の蓄電池に電力を供給するため、及びROM603に格納されているファームウェアをアップデートする際に用いられる。
A well-known 6-axis sensor 612 and a short-range wireless communication unit 613 are also connected to the bus 601 of the one-chip microcomputer 607, and posture information and acceleration information output from the 6-axis sensor 612 are obtained through the A / D converter 605. Are transmitted to the host 401 through the short-range wireless communication unit 613 together with the information of the eight muscle displacement sensors 221, 222.
A first serial interface 614 (abbreviated as “first serial I / F” in FIG. 6) is further connected to the bus 601 of the one-chip microcomputer 607. The first serial interface 614 is used to supply power to a storage battery (not shown) and to update firmware stored in the ROM 603.

第二シリアルインターフェース606には更に、周知のチョークコイルとコンデンサとトランジスタスイッチよりなる昇圧回路615が接続されている。そして、第二シリアルインターフェース606から昇圧回路615に、例えば100kHzで、ほぼ電源電圧+Vccに等しい電圧の矩形波パルス信号が供給される。この矩形波パルス信号は、昇圧回路615内の不図示のトランジスタスイッチをオン・オフ制御する。
そして、昇圧回路615によって矩形波パルス信号の電圧は2倍に昇圧される。昇圧回路615が出力する電気刺激電圧は、PWMスイッチ616と第三マルチプレクサ617を通じて電極201、202…208に供給される。
Further, a booster circuit 615 including a known choke coil, a capacitor, and a transistor switch is connected to the second serial interface 606. Then, a rectangular wave pulse signal having a voltage substantially equal to the power supply voltage + Vcc at 100 kHz, for example, is supplied from the second serial interface 606 to the booster circuit 615. This rectangular wave pulse signal controls on / off of a transistor switch (not shown) in the booster circuit 615.
The voltage of the rectangular wave pulse signal is boosted twice by the booster circuit 615. The electrical stimulation voltage output from the booster circuit 615 is supplied to the electrodes 201, 202... 208 through the PWM switch 616 and the third multiplexer 617.

PWMスイッチ616は第二シリアルインターフェース606によって制御され、昇圧回路615によって昇圧された電気刺激電圧にPWM変調を施す。電気刺激電圧は、PWM変調にてデューティ比が変化されるため、筋肉に与える電気刺激電圧が所望の電圧に変更される。第三マルチプレクサ617も第二シリアルインターフェース606を通じて制御され、ホスト401から近距離無線通信部613を通じて受信した命令に指定された電極を選択して、その電極にPWM変調された電気刺激電圧が印加される。
第三マルチプレクサ617は、複数の電極201、202…208のうちの1個を選択する、電極用マルチプレクサということもできる。
The PWM switch 616 is controlled by the second serial interface 606, and applies PWM modulation to the electrical stimulation voltage boosted by the booster circuit 615. Since the duty ratio of the electrical stimulation voltage is changed by PWM modulation, the electrical stimulation voltage applied to the muscle is changed to a desired voltage. The third multiplexer 617 is also controlled through the second serial interface 606, selects an electrode specified in the command received from the host 401 through the short-range wireless communication unit 613, and a PWM-modulated electrical stimulation voltage is applied to the electrode. The
The third multiplexer 617 can also be referred to as an electrode multiplexer that selects one of the plurality of electrodes 201, 202.

[通常モードにおける電気刺激装置100とホスト401のソフトウェア機能]
図7は、通常モードにおける電気刺激装置100とホスト401のソフトウェア機能を示すブロック図である。
電気刺激装置100は、ホスト401に対し、ユーザーの腕の筋肉の変動と電気刺激装置100自体の姿勢と加速度をホスト401へ送信する機能と、ホスト401から受信した命令に従って、ユーザーのの筋肉に電気刺激を与える機能を有する、入出力端末装置である。
すなわち、8個の筋変位センサー221〜228が出力するアナログ信号はA/D変換器605によって筋変位情報に変換され、6軸センサー612が出力する姿勢情報及び加速度情報と共に、入出力制御部701及び近距離無線送信部702を通じてホスト401へ送信される。
[Software Functions of Electrical Stimulation Device 100 and Host 401 in Normal Mode]
FIG. 7 is a block diagram illustrating software functions of the electrical stimulation apparatus 100 and the host 401 in the normal mode.
Electrostimulation device 100 to the host 401, a function of transmitting user's muscle change and electrostimulation device 100 itself arm posture and acceleration to the host 401, in accordance with instructions received from the host 401, the user's arm muscles This is an input / output terminal device having a function of applying electrical stimulation.
That is, analog signals output from the eight muscle displacement sensors 221 to 228 are converted into muscle displacement information by the A / D converter 605, and together with the posture information and acceleration information output from the six-axis sensor 612, the input / output control unit 701. And transmitted to the host 401 through the short-range wireless transmission unit 702.

ホスト401は、電気刺激装置100から近距離無線受信部711を通じて筋変位情報と姿勢情報及び加速度情報を受信すると、これらを入出力制御部712に供給する。入出力制御部712は、電気刺激装置100から受信した筋変位情報と姿勢情報及び加速度情報を、ゲーム等の所定のアプリケーションプログラムである情報処理部713に供給すると共に、情報処理部713が出力する描画情報に基づいて表示部505に所定の画面描画情報を出力する。また、入出力制御部712は、情報処理部713が出力する電気刺激情報を、近距離無線送信部714を通じて電気刺激装置100に送信する。 When the host 401 receives muscle displacement information, posture information, and acceleration information from the electrical stimulation device 100 through the short-range wireless reception unit 711, the host 401 supplies these to the input / output control unit 712. The input / output control unit 712 supplies the muscle displacement information, posture information, and acceleration information received from the electrical stimulation apparatus 100 to the information processing unit 713 that is a predetermined application program such as a game, and the information processing unit 713 outputs the information. Based on the drawing information, predetermined screen drawing information is output to the display unit 505. Further, the input / output control unit 712 transmits the electrical stimulation information output from the information processing unit 713 to the electrical stimulation device 100 through the short-range wireless transmission unit 714.

電気刺激装置100の指電極対応変換部703は、近距離無線受信部704を通じて、ホスト401から出力される電気刺激実行コマンドを受信すると、RAM604に保持されている電極確率行列705を参照する。そして、コマンドに指定されている指番号を電極番号に変換して、PWMスイッチ616と第三マルチプレクサ617を制御し、所望の電極201〜208に電気刺激電圧を印加する。
なお、電極確率行列705の詳細については図9以降に後述する。
When the finger electrode correspondence conversion unit 703 of the electrical stimulation apparatus 100 receives the electrical stimulation execution command output from the host 401 through the short-range wireless reception unit 704, the finger electrode correspondence conversion unit 703 refers to the electrode probability matrix 705 stored in the RAM 604. Then, the finger number specified in the command is converted into the electrode number, the PWM switch 616 and the third multiplexer 617 are controlled, and the electrical stimulation voltage is applied to the desired electrodes 201 to 208.
Details of the electrode probability matrix 705 will be described later with reference to FIG.

なお、筋変位センサー221〜228の切り替え動作を行う第一マルチプレクサ608及び第二マルチプレクサ610の動作タイミングを制御する入出力制御部712と、電極の切り替え動作を行う第三マルチプレクサ617の動作タイミングを制御する指電極対応変換部703は、完全に非同期である。このため、図7では別々の機能ブロックとして図示されている。   The input / output control unit 712 that controls the operation timing of the first multiplexer 608 and the second multiplexer 610 that performs the switching operation of the muscle displacement sensors 221 to 228 and the operation timing of the third multiplexer 617 that performs the electrode switching operation are controlled. The finger electrode corresponding conversion unit 703 is completely asynchronous. For this reason, in FIG. 7, it is illustrated as separate functional blocks.

[較正モードにおける電気刺激装置100とホスト401のソフトウェア機能]
図8は、較正モードにおける電気刺激装置100とホスト401のソフトウェア機能を示すブロック図である。
図8に示す電気刺激装置100とホスト401のソフトウェア機能の、図7との相違点は、
<1>較正モードにおいて不要である6軸センサー612の機能を停止させていること、
<2>ホスト401の入出力制御部712はRAM503または不揮発性ストレージ504に設けられるセンサー値記憶部801にセンサーの値を記憶して、電極確率行列705を作成し、またこれを更新して、電気刺激装置100へ電極確率行列705を送信すること、
<3>電気刺激装置100は、ホスト401から送信されるコマンドに基づき、電極に電気刺激を与え、これに同期して筋変位センサーをスキャンすること
である。
[Software Functions of Electrical Stimulator 100 and Host 401 in Calibration Mode]
FIG. 8 is a block diagram illustrating software functions of the electrical stimulation apparatus 100 and the host 401 in the calibration mode.
The difference between the software functions of the electrical stimulation apparatus 100 and the host 401 shown in FIG.
<1> The function of the 6-axis sensor 612 that is unnecessary in the calibration mode is stopped.
<2> The input / output control unit 712 of the host 401 stores sensor values in the sensor value storage unit 801 provided in the RAM 503 or the non-volatile storage 504, creates an electrode probability matrix 705, and updates it. Transmitting an electrode probability matrix 705 to the electrical stimulator 100;
<3> The electrical stimulation device 100 applies electrical stimulation to the electrode based on a command transmitted from the host 401, and scans the muscle displacement sensor in synchronization therewith.

特に、上記の<3>のため、電気刺激装置100の入出力制御部712はホスト401から送信されるコマンドに基づき、電極に電気刺激を与えた後、内蔵するタイマー803を起動する。そして所定時間が経過した後、筋変位センサーをスキャンする。
一方、ホスト401の入出力制御部712は、電気刺激装置100から受信した筋変位センサー221〜228の情報に基づき、確率演算部802の演算結果を取得して、電極確率行列705を作成し、または更新する。そして、作成または更新が完了した電極確率行列705を近距離無線送信部714を通じて電気刺激装置100へ送信する。また、入出力制御部712は、較正モードの動作中、表示部505に較正モードの進捗状況等を所定のメッセージ等にて表示する。
In particular, because of the above <3>, the input / output control unit 712 of the electrical stimulation device 100 activates a built-in timer 803 after applying electrical stimulation to the electrode based on a command transmitted from the host 401. Then, after a predetermined time has elapsed, the muscle displacement sensor is scanned.
On the other hand, the input / output control unit 712 of the host 401 acquires the calculation result of the probability calculation unit 802 based on the information of the muscle displacement sensors 221 to 228 received from the electrical stimulation device 100, creates the electrode probability matrix 705, Or update. Then, the electrode probability matrix 705 that has been created or updated is transmitted to the electrical stimulation device 100 through the short-range wireless transmission unit 714. Further, the input / output control unit 712 displays the progress of the calibration mode and the like on the display unit 505 with a predetermined message or the like during the operation of the calibration mode.

[較正モードにおけるホスト401のソフトウェア動作]
電極確率行列705とは、ユーザーの指を動かす筋肉に対応する、電極と手指の動きの対応関係を示す行列データである。図17に、電極確率行列705の一般化した一例を示す。電極確率行列705の縦(行)は電極を表し、横(列)は手指の動きを表す。各要素にはベイズ推定に依るベイズ事後確率が格納されている。
[Software Operation of Host 401 in Calibration Mode]
The electrode probability matrix 705 is matrix data indicating the correspondence between the movement of the electrode and the finger corresponding to the muscle that moves the user's finger. FIG. 17 shows a generalized example of the electrode probability matrix 705. The vertical (row) of the electrode probability matrix 705 represents the electrode, and the horizontal (column) represents the movement of the finger. Each element stores a Bayesian posterior probability based on Bayesian estimation.

通常モードにおいて、ホスト401から所望の手指を動かす命令を受けると、電気刺激装置100の指電極対応変換部703は、ホスト401から指定された手指の情報により、電極確率行列705を参照する。つまり、手指の情報に対応する、ホスト401に指定された電極確率行列705の行を見る。すると、その行を構成する要素には電極毎の確率が格納されている。これら要素のうち、最大の確率を示す要素に該当する電極が、当該手指を動かす可能性が最も高い電極である。このように、指電極対応変換部703はホスト401から指定された手指を電極の番号に変換し、この情報を以って第三マルチプレクサ617を制御する。   In the normal mode, when receiving a command to move a desired finger from the host 401, the finger electrode correspondence conversion unit 703 of the electrical stimulation apparatus 100 refers to the electrode probability matrix 705 based on the finger information designated by the host 401. That is, the electrode probability matrix 705 designated by the host 401 corresponding to the finger information is viewed. Then, the probabilities for each electrode are stored in the elements constituting the row. Among these elements, the electrode corresponding to the element showing the highest probability is the electrode most likely to move the finger. As described above, the finger electrode correspondence conversion unit 703 converts the finger specified by the host 401 into an electrode number, and controls the third multiplexer 617 using this information.

ある電極に電気刺激電圧を与えると、所定の筋肉が刺激され、この筋肉に対応する指が動く。そしてその筋肉の変位をある筋変位センサーが検出し、センサー値記憶部801に記憶されている対応データを参照して、どの指が曲がったかを判定する。すなわち、手指の動きと電極との関係は、1:1に対応させている。
図2において、電気刺激装置100の電極配置面100aには、接地電極を除く8個の電極と、8個の筋変位センサーが設けられていると説明した。前述の通り、5本の指に対して8個の電極と8個の筋変位センサーが設けられている理由は、人の腕の太さにおける個人差を一つの電気刺激装置100だけで吸収するためである。すると、電極の中には指の動きに対応しない電極が生じることとなる。すなわち、電気刺激装置100を正しく動作させるためには、実際の手指の動きと、電極との対応関係を較正作業によって明らかにする必要がある。
When an electrical stimulation voltage is applied to an electrode, a predetermined muscle is stimulated and a finger corresponding to the muscle moves. Then, a muscle displacement sensor detects the displacement of the muscle, and refers to correspondence data stored in the sensor value storage unit 801 to determine which finger is bent. That is, the relationship between the finger movement and the electrode is set to 1: 1.
In FIG. 2, it has been described that the electrode arrangement surface 100a of the electrical stimulation device 100 is provided with eight electrodes excluding the ground electrode and eight muscle displacement sensors. As described above, the reason for providing eight electrodes and eight muscle displacement sensors for five fingers is to absorb individual differences in the thickness of a person's arm with only one electrical stimulation device 100. Because. Then, an electrode that does not correspond to the movement of the finger is generated in the electrode. That is, in order for the electrical stimulation apparatus 100 to operate correctly, it is necessary to clarify the correspondence between the actual finger movement and the electrode by calibration work.

図9は、較正モードにおける、電気刺激装置100とホスト401が実行する較正動作の流れを示すタイムチャートである。
電気刺激装置100がユーザーの腕に装着されると、筋変位センサーはユーザーの皮膚が筋変位センサーの検出領域に近接したことを検出する。電気刺激装置100の入出力制御部712は、電気刺激装置100がユーザーの腕に装着されたことを検出すると(S901)、近距離無線通信部613を通じて、ホスト401に対し、通信の確立を要求する(S902)。ホスト401は電気刺激装置100から通信の要求を受けて、通信の確立を示すステータスメッセージを返信する(S903)。電気刺激装置100はホスト401からステータスメッセージを受信して、通信の確立を認識した旨のステータスメッセージをホスト401へ返信する(S904)。
FIG. 9 is a time chart showing the flow of the calibration operation executed by the electrical stimulation device 100 and the host 401 in the calibration mode.
When the electrical stimulation device 100 is worn on the user's arm, the muscle displacement sensor detects that the user's skin is close to the detection region of the muscle displacement sensor. When the input / output control unit 712 of the electrical stimulation device 100 detects that the electrical stimulation device 100 is worn on the user's arm (S901), the host 401 is requested to establish communication through the short-range wireless communication unit 613. (S902). The host 401 receives a communication request from the electrical stimulation device 100 and returns a status message indicating the establishment of communication (S903). The electrical stimulation device 100 receives the status message from the host 401, and returns a status message indicating that the establishment of communication is recognized to the host 401 (S904).

ホスト401の入出力制御部712は、近距離無線受信部704を通じて電気刺激装置100から通信の確立を認識した旨のステータスメッセージを受信すると、筋変位センサーの較正作業に入る。先ず、ホスト401の不揮発性ストレージ504に格納されている、「静止状態案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S905)。「静止状態案内ビデオ」とは、電気刺激装置100が上腕に装着された、力が入っていない手のイラストと、「手に力を入れない状態でそのままお待ち下さい」というメッセージを表示する動画データである。電気刺激装置100はホスト401からコマンドを受信すると、全ての筋変位センサーのデータをホスト401に返信する(S906)。この時点の筋変位センサーの値は、ユーザーが手指に力を入れていない状態における筋変位センサーの値であり、筋肉に力が入っているか否かを検出するための基礎となる値である。   When the input / output control unit 712 of the host 401 receives a status message indicating that the establishment of communication is recognized from the electrical stimulation apparatus 100 through the short-range wireless reception unit 704, the input / output control unit 712 starts the calibration process of the muscle displacement sensor. First, the moving image data “stationary state guide video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. And the command which collects the data of a muscle displacement sensor is transmitted to the electrical stimulation apparatus 100 (S905). “Stand-by state guidance video” is video data that displays an illustration of a hand with no power applied with the electrostimulator 100 attached to the upper arm and a message “Please wait with no force applied to the hand” It is. When receiving the command from the host 401, the electrical stimulation device 100 returns data of all muscle displacement sensors to the host 401 (S906). The value of the muscle displacement sensor at this time is the value of the muscle displacement sensor in a state where the user is not putting force on the finger, and is a value serving as a basis for detecting whether or not force is applied to the muscle.

ホスト401は、電気刺激装置100から8個の筋変位センサーのデータを受信すると、これを「静止状態データ」として記憶する(S907)。次に、ホスト401の不揮発性ストレージ504に格納されている「第一の動作案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S908)。「第一の動作案内ビデオ」とは、電気刺激装置100が上腕に装着された、親指を曲げた状態の手のイラストと、「親指を曲げた状態でそのままお待ち下さい」というメッセージを表示する動画データである。電気刺激装置100はホスト401からコマンドを受信すると、全ての筋変位センサーのデータをホスト401に返信する(S909)。この時点の筋変位センサーの値は、ユーザーが親指に力を入れた状態における筋変位センサーの値である。   When the host 401 receives data of the eight muscle displacement sensors from the electrical stimulation device 100, the host 401 stores the data as “stationary state data” (S907). Next, the moving image data “first operation guide video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. Then, a command for collecting the data of the muscle displacement sensor is transmitted to the electrical stimulation device 100 (S908). “First motion guide video” refers to an illustration of a hand with the electric stimulator 100 attached to the upper arm with the thumb bent and a message saying “Please wait with the thumb bent” It is data. When receiving the command from the host 401, the electrical stimulation apparatus 100 returns data of all muscle displacement sensors to the host 401 (S909). The value of the muscle displacement sensor at this time is the value of the muscle displacement sensor when the user puts force on the thumb.

ホスト401は、電気刺激装置100から8個の筋変位センサーのデータを受信すると、これを「第一の動作状態データ」として記憶する(S910)。次に、ホスト401の不揮発性ストレージ504に格納されている「第二の動作案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S911)。「第二の動作案内ビデオ」とは、電気刺激装置100が上腕に装着された、人差指を曲げた状態の手のイラストと、「人差指を曲げた状態でそのままお待ち下さい」というメッセージを表示する動画データである。   Upon receiving the data of the eight muscle displacement sensors from the electrical stimulation device 100, the host 401 stores this as “first motion state data” (S910). Next, the moving image data “second operation guidance video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. And the command which collects the data of a muscle displacement sensor is transmitted to the electrical stimulation apparatus 100 (S911). The “second motion guide video” is a video that displays an illustration of a hand with the electrical stimulation device 100 attached to the upper arm, with the index finger bent, and a message “Please wait with the index finger bent” It is data.

ステップS911以降、ステップS908、S909、S910に相当する動作が、ステップS908から合計8回行われる。その際、ホスト401が再生する動画データと、ホスト401が電気刺激装置100から受信してセンサー値記憶部801に記憶するデータは以下の通りである。
「第一の動作案内ビデオ」:親指を曲げた状態の動作案内、第一の動作状態データを記憶する。
「第二の動作案内ビデオ」:人差指を曲げた状態の動作案内、第二の動作状態データを記憶する。
「第三の動作案内ビデオ」:中指を曲げた状態の動作案内、第三の動作状態データを記憶する。
「第四の動作案内ビデオ」:薬指または小指を曲げた状態の動作案内、第四の動作状態データを記憶する。
「第五の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を掌の方向へ曲げた(掌屈)状態の動作案内、第五の動作状態データを記憶する。
「第六の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を手の甲の方向へ曲げた(背屈)状態の動作案内、第六の動作状態データを記憶する。
「第七の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を親指の方向へ曲げた(撓屈)状態の動作案内、第七の動作状態データを記憶する。
「第八の動作案内ビデオ」:手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態の動作案内、第八の動作状態データを記憶する。
After step S911, operations corresponding to steps S908, S909, and S910 are performed a total of eight times from step S908. At that time, moving image data reproduced by the host 401 and data received by the host 401 from the electrical stimulation device 100 and stored in the sensor value storage unit 801 are as follows.
“First motion guidance video”: motion guidance with the thumb bent, and first motion status data are stored.
“Second motion guidance video”: Stores motion guidance with the index finger bent and second motion status data.
“Third motion guide video”: Stores motion guide with the middle finger bent and third motion state data.
“Fourth operation guide video”: Stores the operation guide and fourth operation state data when the ring finger or little finger is bent.
“Fifth motion guidance video”: Stores motion guidance and fifth motion state data in a state where the wrist is bent straight toward the palm with the hand straightened (palm flexion).
“Sixth motion guidance video”: Stores motion guidance and sixth motion state data in a state where the wrist is bent straight toward the back of the hand (dorsiflexion) with the hand straightened.
“Seventh motion guide video”: Stores motion guide and seventh motion state data in a state where the wrist is bent in the direction of the thumb with the hand extended straight (flexion).
“Eighth motion guidance video”: Stores motion guidance and eighth motion state data in a state where the wrist is bent in the direction of the little finger with the hand stretched straight (scaled).

ホスト401は、電気刺激装置100から8個の筋変位センサーのデータを受信すると、これを「第七の動作状態データ」として記憶する(S912)。次に、ホスト401の不揮発性ストレージ504に格納されている「第八の動作案内ビデオ」という動画データを再生し、表示部505に表示する。そして、電気刺激装置100に筋変位センサーのデータを収集するコマンドを送信する(S913)。「第八の動作案内ビデオ」とは、電気刺激装置100が上腕に装着され、手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態の手のイラストと、「手をまっすぐに伸ばし、手首を小指の方向へ曲げた状態で、そのままお待ち下さい」というメッセージを表示する動画データである。電気刺激装置100はホスト401からコマンドを受信すると、全ての筋変位センサーのデータをホスト401に返信する(S914)。この時点の筋変位センサーの値は、ユーザーが手首を小指の方向へ曲げた尺屈状態における筋変位センサーの値である。
ホスト401は、電気刺激装置100から筋変位センサーのデータを受信すると、これを「第八の動作状態データ」として記憶する(S915)。
以上、ステップS905からステップS915にかけて、ホスト401は筋変位センサーの値の変動と、手指の動作との対応関係を把握したことになる。
Upon receiving the data of the eight muscle displacement sensors from the electrical stimulation device 100, the host 401 stores this as “seventh motion state data” (S912). Next, the moving image data “eighth operation guide video” stored in the nonvolatile storage 504 of the host 401 is reproduced and displayed on the display unit 505. And the command which collects the data of a muscle displacement sensor is transmitted to the electrical stimulator 100 (S913). The “eighth motion guide video” is an illustration of a hand with the electrostimulator 100 attached to the upper arm, with the hand stretched straight and the wrist bent in the direction of the little finger (scaled), Is a moving image data that displays a message “Please wait with your wrist straightened and your wrist bent in the direction of the little finger”. When receiving the command from the host 401, the electrical stimulation device 100 returns data of all muscle displacement sensors to the host 401 (S914). The value of the muscle displacement sensor at this time is the value of the muscle displacement sensor in a crooked state in which the user bends the wrist in the direction of the little finger.
When the host 401 receives the data of the muscle displacement sensor from the electrical stimulation device 100, the host 401 stores it as “eighth motion state data” (S915).
As described above, from step S905 to step S915, the host 401 has grasped the correspondence between the change in the value of the muscle displacement sensor and the movement of the finger.

ステップS915が終了した時点で、ホスト401の入出力制御部712は、各々の筋変位センサーの相対値を計算する。具体的には、第一の動作状態データから静止状態データを減算して、親指を曲げた状態に係る第一の基準値を得る。第二の動作状態データから静止状態データを減算して、人差指を曲げた状態に係る第二の基準値を得る。以下同様に、中指を曲げた状態に係る第三の基準値、薬指または小指を曲げた状態に係る第四の基準値、掌屈状態に係る第五の基準値、背屈状態に係る第六の基準値、撓屈状態に係る第七の基準値及び尺屈状態に係る第八の基準値を得る。これら第一から第八の基準値は、8個の筋変位センサーの相対値の集合である。ホスト401の入出力制御部712は、これら第一から第八の基準値をセンサー値記憶部801に記憶する。
次に、ホスト401の入出力制御部712は、これら第一から第八の基準値に対し、所定の比率を乗算して、閾値を得る。ここで第一から第八の基準値に乗算する比率は例えば50%である。ホスト401の入出力制御部712は、これら閾値もセンサー値記憶部801に記憶する。
When step S915 ends, the input / output control unit 712 of the host 401 calculates the relative value of each muscle displacement sensor. Specifically, the stationary state data is subtracted from the first operating state data to obtain a first reference value relating to a state where the thumb is bent. The stationary state data is subtracted from the second operation state data to obtain a second reference value relating to the state where the index finger is bent. In the same manner, the third reference value relating to the bent middle finger, the fourth reference value relating to the bent or little finger bent, the fifth reference value relating to the palm flexion state, and the sixth reference value relating to the dorsiflexion state. , The seventh reference value relating to the bent state, and the eighth reference value relating to the bent state. These first to eighth reference values are a set of relative values of the eight muscle displacement sensors. The input / output control unit 712 of the host 401 stores these first to eighth reference values in the sensor value storage unit 801.
Next, the input / output control unit 712 of the host 401 multiplies the first to eighth reference values by a predetermined ratio to obtain a threshold value. Here, the ratio of multiplying the first to eighth reference values is, for example, 50%. The input / output control unit 712 of the host 401 also stores these threshold values in the sensor value storage unit 801.

筋変位センサーのフォトトランジスタが検出する反射光の強度は、筋変位センサーに相対するユーザーの皮膚及び筋肉の状態や、筋変位センサーとユーザーの皮膚との相対的な位置関係等の要因(不確定要素)によって、大きく異なる。そこで、ホスト401の入出力制御部712は、ユーザーが手指に殆ど力を入れていない状態と、ユーザーが特定の手指を曲げた状態との、それぞれの筋変位センサーの値をセンサー値記憶部801に記憶して、その差分を計算する。得られた基準値は筋変位センサーの相対的な変動値であるので、不確定要素の影響を排除できる。   The intensity of reflected light detected by the phototransistor of the muscle displacement sensor depends on factors such as the condition of the user's skin and muscle relative to the muscle displacement sensor and the relative positional relationship between the muscle displacement sensor and the user's skin. It varies greatly depending on the element. Therefore, the input / output control unit 712 of the host 401 stores the values of the muscle displacement sensors in the state in which the user hardly applies force to the finger and the state in which the user has bent a specific finger, as the sensor value storage unit 801. And the difference is calculated. Since the obtained reference value is a relative variation value of the muscle displacement sensor, the influence of uncertain factors can be eliminated.

筋変位センサーが出力するアナログ信号をデジタル化するA/D変換器605は、例えば10ビット符号なし整数(0〜1023)である。発明者らが試験的に電気刺激装置100を作成した際、筋肉の変位を検出した筋変位センサーから得られる相対的な変動値は凡そ300〜900前後であることが判った。
後述するステップS916以降、ホスト401が電気刺激装置100から受信した筋変位センサーのデータは、全て静止状態データを減算して、筋変位センサーの相対値に変換される。そして入出力装置は、筋変位センサーの相対値を閾値と比較して、所定の手指が動いたか否かを判定する。
An A / D converter 605 that digitizes an analog signal output from the muscle displacement sensor is, for example, a 10-bit unsigned integer (0 to 1023). When the inventors created the electrical stimulation apparatus 100 experimentally, it was found that the relative fluctuation value obtained from the muscle displacement sensor that detected the displacement of the muscle was approximately 300 to 900.
After step S916, which will be described later, all the data of the muscle displacement sensor received by the host 401 from the electrical stimulation device 100 is converted into a relative value of the muscle displacement sensor by subtracting the stationary state data. Then, the input / output device compares the relative value of the muscle displacement sensor with a threshold value and determines whether or not a predetermined finger has moved.

ステップS905からステップS915にかけて、筋変位センサーの値の変動と手指の動作との対応関係を把握したホスト401は、次に、電極と、手指の動作との対応関係を把握するための作業に入る。
ホスト401の入出力制御部712は、電気刺激装置100へ、第一の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S916)。
電気刺激装置100はホスト401からコマンドを受信すると、第一の電極に電気刺激電圧を印加して(S917)、所定時間経過後に筋変位センサーのデータを収集し、これをホスト401へ返信する(S918)。
ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第一の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S919)。次に、ホスト401の入出力制御部712は、電気刺激装置100へ、第二の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S920)。
From step S905 to step S915, the host 401, which has grasped the correspondence between the change in the value of the muscle displacement sensor and the finger movement, next enters an operation for grasping the correspondence between the electrode and the finger movement. .
The input / output control unit 712 of the host 401 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the first electrode to the electrical stimulation device 100 (S916).
When the electrical stimulation device 100 receives a command from the host 401, it applies an electrical stimulation voltage to the first electrode (S917), collects data of the muscle displacement sensor after a predetermined time has elapsed, and sends this back to the host 401 ( S918).
When receiving the muscle displacement sensor data from the electrical stimulation device 100, the input / output control unit 712 of the host 401 stores the data in the sensor value storage unit 801 as sensor value data for the first electrode (S919). Next, the input / output control unit 712 of the host 401 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the second electrode to the electrical stimulation device 100 (S920).

ステップS920以降、ステップS916、S917、S918、S919に相当する動作が、ステップS916から合計8回行われる。その際、ホスト401が電気刺激装置100へ送信するコマンドと、ホスト401が電気刺激装置100から受信してセンサー値記憶部801に記憶するデータは以下の通りである。
第一の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第一の電極におけるセンサー値データを記憶する。
第二の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第二の電極におけるセンサー値データを記憶する。
第三の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第三の電極におけるセンサー値データを記憶する。
第四の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第四の電極におけるセンサー値データを記憶する。
第五の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第五の電極におけるセンサー値データを記憶する。
第六の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第六の電極におけるセンサー値データを記憶する。
第七の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第七の電極におけるセンサー値データを記憶する。
第八の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンド:第八の電極におけるセンサー値データを記憶する。
After step S920, operations corresponding to steps S916, S917, S918, and S919 are performed a total of eight times from step S916. At that time, the command that the host 401 transmits to the electrical stimulation device 100 and the data that the host 401 receives from the electrical stimulation device 100 and stores in the sensor value storage unit 801 are as follows.
Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the first electrode: Store sensor value data at the first electrode.
Command to collect muscle displacement sensor data after applying electrical stimulation voltage to the second electrode: store sensor value data at the second electrode.
Command to collect muscle displacement sensor data after applying electrical stimulation voltage to the third electrode: Store sensor value data at the third electrode.
Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the fourth electrode: Store sensor value data at the fourth electrode.
Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the fifth electrode: Store sensor value data at the fifth electrode.
Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the sixth electrode: Store sensor value data at the sixth electrode.
Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the seventh electrode: Store sensor value data at the seventh electrode.
Command for collecting muscle displacement sensor data after applying electrical stimulation voltage to the eighth electrode: Store sensor value data at the eighth electrode.

ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第七の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S921)。次に、ホスト401の入出力制御部712は、電気刺激装置100へ、第八の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S922)。
電気刺激装置100はホスト401からコマンドを受信すると、第八の電極に電気刺激電圧を印加して(S923)、所定時間経過後に筋変位センサーのデータを収集し、これをホスト401へ返信する(S924)。
When receiving the muscle displacement sensor data from the electrical stimulation device 100, the input / output control unit 712 of the host 401 stores the data in the sensor value storage unit 801 as sensor value data for the seventh electrode (S921). Next, the input / output control unit 712 of the host 401 transmits a command for collecting data of the muscle displacement sensor after applying the electrical stimulation voltage to the eighth electrode to the electrical stimulation device 100 (S922).
When the electrical stimulation device 100 receives a command from the host 401, it applies an electrical stimulation voltage to the eighth electrode (S923), collects the data of the muscle displacement sensor after a predetermined time has elapsed, and sends this back to the host 401 ( S924).

ホスト401の入出力制御部712は、電気刺激装置100から筋変位センサーのデータを受信すると、これを第八の電極におけるセンサー値データとしてセンサー値記憶部801に記憶する(S925)。次に、ホスト401の入出力制御部712は、ステップS905からS915迄の一連の動作で記憶した、各手指の動きに対応する第一から第八の動作状態データと、ステップS916からS925迄の一連の動作で記憶した、各電極におけるセンサー値データの生成または更新を行う。
なお、既に1回目の学習モード(図10以降で後述)が実行された結果、ホスト401に電極確率行列705が存在する場合には、確率演算部802を通じて電極確率行列705についても、その更新を行う。ホスト401の入出力制御部712は、生成または更新された電極確率行列705を電気刺激装置100に送信する(S926)。そして、電気刺激装置100は、ホスト401から受信した電極確率行列705をRAM503に記憶して(S927)、一連の処理を終了する。
When receiving the data of the muscle displacement sensor from the electrical stimulation device 100, the input / output control unit 712 of the host 401 stores this in the sensor value storage unit 801 as sensor value data for the eighth electrode (S925). Next, the input / output control unit 712 of the host 401 stores the first to eighth operation state data corresponding to the movement of each finger and the steps S916 to S925 stored in the series of operations from step S905 to S915. The sensor value data at each electrode stored or generated in a series of operations is generated or updated.
If the electrode probability matrix 705 exists in the host 401 as a result of the execution of the first learning mode (described later in FIG. 10 and subsequent figures), the electrode probability matrix 705 is also updated through the probability calculation unit 802. Do. The input / output control unit 712 of the host 401 transmits the generated or updated electrode probability matrix 705 to the electrical stimulation device 100 (S926). Then, the electrical stimulation apparatus 100 stores the electrode probability matrix 705 received from the host 401 in the RAM 503 (S927), and ends a series of processing.

図9のステップS905からステップS915までは、筋変位センサーと手指の動きとの相関関係を明らかにする、筋変位センサー較正モードである。ホスト401の入出力制御部712が筋変位センサー較正モードを実行することで、筋変位センサー221〜228から得られたデータにより、現在どの手指が動いているのかが明らかになる。
そして、図9の破線で囲まれている、ステップS916からステップS927までは、電極と手指の動きとの相関関係を、電極確率行列705を作成し更新することで明らかにする、学習モードである。ホスト401の入出力制御部712が学習モードを実行することで、所望の手指を動かすために、電極201〜208のどの電極に電気刺激電圧を印加すればよいのかが明らかになる。
すなわち、較正モードは筋変位センサー較正モードと学習モードを含む。以下、図10を参照して学習モードについて説明する。
Steps S905 to S915 in FIG. 9 are muscle displacement sensor calibration modes for clarifying the correlation between the muscle displacement sensor and the movement of the finger. When the input / output control unit 712 of the host 401 executes the muscle displacement sensor calibration mode, it becomes clear from the data obtained from the muscle displacement sensors 221 to 228 which finger is currently moving.
Then, steps S916 to S927 surrounded by a broken line in FIG. 9 are learning modes in which the correlation between the electrode and the finger movement is clarified by creating and updating the electrode probability matrix 705. . When the input / output control unit 712 of the host 401 executes the learning mode, it becomes clear to which electrode of the electrodes 201 to 208 the electrical stimulation voltage should be applied in order to move a desired finger.
That is, the calibration mode includes a muscle displacement sensor calibration mode and a learning mode. Hereinafter, the learning mode will be described with reference to FIG.

図10は、ユーザーが初めて電気刺激装置100を装着した際にホスト401で実行される、初回の学習モードの動作の流れを示すフローチャートである。
処理を開始すると(S1001)、ホスト401の入出力制御部712は、先ずカウンタ変数iを1に初期化すると共に、電極確率行列705の全ての要素を「0」に初期化する(S1002)。
これ以降はループである。入出力制御部712は、電気刺激装置100に対し、i番目の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S1003)。そして、電気刺激装置100から受信した筋変位センサーのデータから差分値を算出し、閾値と比較して、手指の動きがあったか否かを調べる(S1004)。もし、何れかの手指がi番目電極による電気刺激によって動いたと判定した場合には(S1005のYES)、入出力制御部712は、電極確率行列705の、動きを検出したx番目の手指に該当するx行の、i番目の電極に該当するi列の要素に「1」を記憶する(S1006)。
FIG. 10 is a flowchart showing the flow of the operation in the first learning mode executed by the host 401 when the user first wears the electrical stimulation device 100.
When the processing is started (S1001), the input / output control unit 712 of the host 401 first initializes the counter variable i to 1 and initializes all elements of the electrode probability matrix 705 to “0” (S1002).
The rest is a loop. The input / output control unit 712 transmits a command for collecting data of the muscle displacement sensor after applying the electrical stimulation voltage to the i-th electrode to the electrical stimulation device 100 (S1003). Then, a difference value is calculated from the data of the muscle displacement sensor received from the electrical stimulation device 100, and compared with a threshold value, it is checked whether or not there has been a finger movement (S1004). If it is determined that any finger has moved due to electrical stimulation by the i-th electrode (YES in S1005), the input / output control unit 712 corresponds to the x-th finger whose movement is detected in the electrode probability matrix 705. “1” is stored in the i-th column element corresponding to the i-th electrode in the x row (S1006).

ステップS1006を実行した後、またはステップS1005において何れの手指もi番目電極による電気刺激によって動いていないと判定した場合には(S1005のNO)、入出力制御部712はカウンタ変数iがiの最大値、すなわち電極の合計数に至ったか否かを確認する。カウンタ変数iが電極の合計数に至っていない場合には(S1007のNO)、入出力制御部712はカウンタ変数iを1インクリメントして(S1008)、再度ステップS1003から処理を繰り返す。
ステップS1007において、カウンタ変数iが電極の合計数に達した場合には(S1007のYES)、入出力制御部712は作成した電極確率行列705を不揮発性ストレージ504に保存するとともに、電気刺激装置100へ送信して(S1009)、一連の処理を終了する(S1010)。
After executing step S1006, or when it is determined in step S1005 that no finger is moved by electrical stimulation by the i-th electrode (NO in S1005), the input / output control unit 712 sets the counter variable i to the maximum of i. Check the value, ie whether the total number of electrodes has been reached. If the counter variable i has not reached the total number of electrodes (NO in S1007), the input / output control unit 712 increments the counter variable i by 1 (S1008) and repeats the processing from step S1003 again.
In step S1007, when the counter variable i has reached the total number of electrodes (YES in S1007), the input / output control unit 712 stores the created electrode probability matrix 705 in the nonvolatile storage 504 and the electrical stimulation apparatus 100. (S1009), and a series of processing ends (S1010).

続いて、ステップS1003の動作について、説明を加える。
図11は、電気刺激と筋肉の収縮状態と筋変位センサーの動作を説明するタイムチャートである。
図11中、上から(A)電極に印加される電気刺激、(B)筋肉の収縮状態、(C)筋変位センサーの動作期間を示す、入出力制御部712内のゲート信号、(D)第一の筋変位センサーの動作期間、(E)第二の筋変位センサーの動作期間、(F)第三の筋変位センサーの動作期間、(G)第七の筋変位センサーの動作期間、(H)第八の筋変位センサーの動作期間、である。(B)筋肉の収縮状態のみ縦軸は筋肉収縮の変位量であり、それ以外は全て論理値である。
Subsequently, the operation of step S1003 will be described.
FIG. 11 is a time chart for explaining the electrical stimulation, the contraction state of the muscle, and the operation of the muscle displacement sensor.
In FIG. 11, (A) an electrical stimulus applied to the electrode from above, (B) a muscle contraction state, (C) a gate signal in the input / output control unit 712 indicating the operation period of the muscle displacement sensor, (D) (E) operation period of the second muscle displacement sensor, (F) operation period of the third muscle displacement sensor, (G) operation period of the seventh muscle displacement sensor, H) The operation period of the eighth muscle displacement sensor. (B) The vertical axis represents the amount of displacement of muscle contraction only in the contraction state of muscle, and all other values are logical values.

時点T1101で、電極に電気刺激電圧が印加されると、筋肉は収縮を始める。筋肉の収縮が安定した時点T1102から、ゲート信号が論理の真を示し、これに呼応して筋変位センサーのスキャンが始まる。1個の筋変位センサーのデータ収集に要する時間は凡そ数msec〜数十msecで終了する。全ての筋変位センサーのスキャンが終了した時点T1103で、ゲート信号の論理が偽に反転し、同時に電極に対する電気刺激電圧の印加も終了する。
図11に示した、電極に電気刺激電圧を印加して筋変位センサーをスキャンする動作は、8個の電極全てに対して実行される。
At time T1101, when an electrical stimulation voltage is applied to the electrodes, the muscle begins to contract. From the time T1102 when the muscle contraction is stabilized, the gate signal indicates logic true, and in response, the scan of the muscle displacement sensor starts. The time required for data collection of one muscle displacement sensor is about several msec to several tens msec. At the time T1103 when scanning of all the muscle displacement sensors is completed, the logic of the gate signal is inverted to false, and at the same time, the application of the electrical stimulation voltage to the electrodes is completed.
The operation | movement which applies an electrical stimulation voltage to an electrode and scans a muscle displacement sensor shown in FIG. 11 is performed with respect to all eight electrodes.

人間の筋肉は、外部から電極を通じて電気刺激電圧を与えると収縮する。その際、電気刺激電圧を与えてから筋肉が所定の収縮量まで収縮して安定するまでに、凡そ0.1秒程度の時間がかかる。本発明の実施形態に係る電気刺激装置100では、更にマージンを見越して、0.2秒のマージンタイムを設けている。図11の電気刺激電圧が印加される時点T1101から筋肉の収縮が安定する時点T1102までが、そのマージンタイムである。   Human muscle contracts when an electrical stimulation voltage is applied from the outside through electrodes. At that time, it takes about 0.1 second until the muscle contracts to a predetermined contraction amount and stabilizes after the electrical stimulation voltage is applied. In the electrical stimulation apparatus 100 according to the embodiment of the present invention, a margin time of 0.2 seconds is provided in anticipation of the margin. The margin time is from time T1101 when the electrical stimulation voltage shown in FIG. 11 is applied to time T1102 when the muscle contraction is stabilized.

次に、ステップS1003からS1008までの処理で作成される電極確率行列705について説明する。
図12Aは、電気刺激に対する手指の動きを示す行列の説明図である。これ以降、この行列を手指挙動行列と呼ぶ。
図12Bは、手指挙動行列から、有効な電気刺激を選択する手順を示す図である。
図12Cは、手指挙動行列から、有効な電気刺激を選択した結果を示す行列の説明図である。この行列をフラグ行列と呼ぶ。
図12Dは、フラグ行列から生成した、電極確率行列705を示す図である。
Next, the electrode probability matrix 705 created by the processing from steps S1003 to S1008 will be described.
FIG. 12A is an explanatory diagram of a matrix showing the movement of fingers with respect to electrical stimulation. Hereinafter, this matrix is referred to as a finger behavior matrix.
FIG. 12B is a diagram illustrating a procedure for selecting an effective electrical stimulus from the finger behavior matrix.
FIG. 12C is an explanatory diagram of a matrix showing a result of selecting an effective electrical stimulus from the finger behavior matrix. This matrix is called a flag matrix.
FIG. 12D is a diagram showing an electrode probability matrix 705 generated from the flag matrix.

ステップS1004において、入出力制御部712は、筋変位センサーの差分値を算出する。そして、手指の動きに対応する筋変位センサーの差分値を導き出す。ある手指の動きに対応する筋変位センサーが1個だけの場合は、そのまま当該差分値を採用する。ある手指の動きに対応する筋変位センサーが2個以上の組み合わせの場合は、各々の筋変位センサーの差分値の平均値を採用する。こうして、図12Aに示すような数値が、手指挙動行列の要素として記憶される。   In step S1004, the input / output control unit 712 calculates a difference value of the muscle displacement sensor. Then, a difference value of the muscle displacement sensor corresponding to the movement of the finger is derived. When there is only one muscle displacement sensor corresponding to a certain finger movement, the difference value is adopted as it is. In the case of a combination of two or more muscle displacement sensors corresponding to a certain finger movement, the average value of the difference values of each muscle displacement sensor is adopted. In this way, numerical values as shown in FIG. 12A are stored as elements of the finger behavior matrix.

図12A及び図12Bに示す手指挙動行列の行、図12Cに示すフラグ行列の行、図12Dに示す電極確率行列705の行は、上から以下の通りである。
1行目:親指を曲げた状態、すなわち親指屈曲状態。
2行目:人差指を曲げた状態、すなわち人差指屈曲状態。
3行目:中指を曲げた状態、すなわち中指屈曲状態。
4行目:薬指または小指を曲げた状態、すなわち薬指または小指屈曲状態。
5行目:手をまっすぐに伸ばした状態で手首を掌の方向へ曲げた(掌屈)状態、すなわち手首掌屈状態。
6行目:手をまっすぐに伸ばした状態で手首を手の甲の方向へ曲げた(背屈)状態、すなわち手首背屈状態。
7行目:手をまっすぐに伸ばした状態で手首を親指の方向へ曲げた(撓屈)状態、すなわち手首撓屈状態。
8行目:手をまっすぐに伸ばした状態で手首を小指の方向へ曲げた(尺屈)状態、すなわち手首尺屈状態。
図12A及び図12Bに示す手指挙動行列の列、図12Cに示すフラグ行列の列、図12Dに示す電極確率行列705の列は、左から右へ、第一の電気刺激から第八の電気刺激である。
The row of the finger behavior matrix shown in FIGS. 12A and 12B, the row of the flag matrix shown in FIG. 12C, and the row of the electrode probability matrix 705 shown in FIG. 12D are as follows from the top.
First line: The thumb is bent, that is, the thumb is bent.
Second line: the index finger is bent, that is, the index finger is bent.
Third line: the middle finger is bent, that is, the middle finger is bent.
Fourth line: A state in which the ring finger or the little finger is bent, that is, the ring finger or the little finger is bent.
5th line: A state where the wrist is bent in the direction of the palm with the hand stretched straight (palm flexion), that is, a wrist palm flexion state.
6th line: A state in which the wrist is bent in the direction of the back of the hand (dorsiflexion) in a state where the hand is straightened out, that is, a wrist dorsiflexion state.
Seventh line: a state where the wrist is bent in the direction of the thumb with the hand straightened (flexion), that is, the wrist is flexed.
8th line: A state where the wrist is bent in the direction of the little finger with the hand straightened out (flexion), that is, the wrist is bent.
The column of the finger behavior matrix shown in FIGS. 12A and 12B, the column of the flag matrix shown in FIG. 12C, and the column of the electrode probability matrix 705 shown in FIG. 12D are from the first electrical stimulus to the eighth electrical stimulus. It is.

次に、図10のステップS1004における、手指が動いたか否かの判定手順を説明する。
図12Bに示す手指挙動行列の、1行1列から8行1列までの要素に着目すると、上から順に「595 115 92 0 0 0 0 0」という要素で構成されている。この行の要素のうち、最大値を示す要素は1行1列の「595」である。この値を最大値配列1201に格納する。最大値配列1201は、各列の最大値を格納する配列である。
要素「595」の位置は手指挙動行列の(1,1)であり、その行(1行)は親指屈曲状態に該当する。そこで、この値「595」が、親指屈曲状態の閾値を超えているか否かを判定する。判定した結果、閾値を超えていると判ったので、手指挙動行列の1行1列の要素は有効であるとして、フラグ配列1202に論理の真を格納する。図12Bでは、「○」で記されている。
このように、手指挙動行列の各行について最大値を選んで、最大値配列1201に格納する。そして、それら要素の位置から、その要素が属する手指の動作における閾値と比較する。比較した結果、最大値が閾値以上の値であれば、フラグ配列1202に論理の真を格納する。そして、フラグ配列1202に論理の真が付された最大値配列1201の要素の位置について、フラグ行列の同じ位置に存在する要素を論理の真とする。これが図12Cのフラグ行列である。
フラグ行列の、論理が真の要素について、その要素を100%(=1)の確率とする。これが図12Dの電極確率行列705である。
Next, the procedure for determining whether or not the finger has moved in step S1004 in FIG. 10 will be described.
Focusing on the elements from the 1st row and the 1st column to the 8th row and 1st column of the finger behavior matrix shown in FIG. 12B, it is composed of elements “595 115 92 0 0 0 0 0” in order from the top. Among the elements in this row, the element indicating the maximum value is “595” in one row and one column. This value is stored in the maximum value array 1201. The maximum value array 1201 is an array that stores the maximum value of each column.
The position of the element “595” is (1, 1) of the finger behavior matrix, and the row (one row) corresponds to the thumb flexion state. Therefore, it is determined whether or not this value “595” exceeds the thumb flexion state threshold. As a result of the determination, since it is determined that the threshold value is exceeded, it is assumed that the element in the 1st row and 1st column of the finger behavior matrix is valid, and the logical truth is stored in the flag array 1202. In FIG. 12B, it is marked with “◯”.
In this way, the maximum value is selected for each row of the finger behavior matrix and stored in the maximum value array 1201. And it compares with the threshold value in the operation | movement of the finger to which the element belongs from the position of these elements. As a result of the comparison, if the maximum value is a value equal to or greater than the threshold value, the logical true is stored in the flag array 1202. Then, with respect to the position of the element of the maximum value array 1201 in which the logical truth is added to the flag array 1202, the element existing at the same position in the flag matrix is regarded as logical true. This is the flag matrix of FIG. 12C.
For an element whose flag matrix is true in logic, the probability is 100% (= 1). This is the electrode probability matrix 705 of FIG. 12D.

電極確率行列705は、ある電極に電気刺激電圧を与えると、どの手指がどの程度の確率で動くのかを示す行列である。電極確率行列705の要素として格納される確率は、ベイズ推定等の事後確率である。すなわち、図10のフローチャートにおける電極確率行列705の作成は、ベイズ推定の初回の学習である。
図10のフローチャートを実行した時点では、未だ初回の学習であるため、0または1の何れかしか存在しない。これらの値は、これより説明する2回目以降の学習モードにおいて、変動する。
The electrode probability matrix 705 is a matrix indicating which hand moves with a certain probability when an electrical stimulation voltage is applied to a certain electrode. The probability stored as an element of the electrode probability matrix 705 is a posterior probability such as Bayesian estimation. That is, the creation of the electrode probability matrix 705 in the flowchart of FIG. 10 is the first learning of Bayesian estimation.
At the time when the flowchart of FIG. 10 is executed, since it is still the first learning, only 0 or 1 exists. These values fluctuate in the second and subsequent learning modes described below.

図13及び図14は、ユーザーが2回目以降に電気刺激装置100を装着した際にホスト401にて実行される、2回目以降の学習モードの動作の流れを示すフローチャートである。
処理を開始すると(S1301)、ホスト401の入出力制御部712は、先ずカウンタ変数jを1に初期化すると共に、フラグ変数MFflagを論理の偽に初期化する(S1302)。フラグ変数MFflagは、電気刺激によって手指が動いた状態が生じたことを記録するためのフラグである。
FIG. 13 and FIG. 14 are flowcharts showing the flow of operations in the second and subsequent learning modes that are executed by the host 401 when the user wears the electrical stimulation device 100 for the second and subsequent times.
When the processing is started (S1301), the input / output control unit 712 of the host 401 first initializes the counter variable j to 1 and initializes the flag variable MFflag to logic false (S1302). The flag variable MFflag is a flag for recording that a state in which a finger has moved due to electrical stimulation has occurred.

これ以降はループである。入出力制御部712は、電気刺激装置100に対し、j番目の電極に電気刺激電圧を印加させた後に筋変位センサーのデータを収集するコマンドを送信する(S1303)。そして、電気刺激装置100から受信した筋変位センサーのデータから差分値を算出し、閾値と比較して、手指の動きがあったか否かを調べる(S1304)。ステップS1303及びS1304は、図10のステップS1003及びS1004と処理内容が同じである。   The rest is a loop. The input / output control unit 712 transmits a command to collect data of the muscle displacement sensor after applying the electrical stimulation voltage to the jth electrode to the electrical stimulation device 100 (S1303). Then, a difference value is calculated from the data of the muscle displacement sensor received from the electrical stimulation device 100, and compared with a threshold value, it is checked whether or not there has been a finger movement (S1304). Steps S1303 and S1304 have the same processing contents as steps S1003 and S1004 of FIG.

もし、何れかの手指がj番目電極による電気刺激によって動いたと判定した場合には(S1305のYES)、入出力制御部712は次に、フラグ変数MFflagが論理の偽であるか否か、すなわち「この時点で初めて手指が動いたのか否か」を確認する。もし、この時点で初めて手指が動いたと判定した場合には(S1306のYES)、ホスト401の不揮発性ストレージ504に保存してある電極確率行列705をRAM503に読み出して、RAM503上の電極確率行列705の要素を行ごと及び/または列ごとに移動する(S1307)。このように、電極確率行列705の要素を移動させることで、現在ユーザーの腕に装着されている電気刺激装置100の、電極と筋肉との相対的な位置関係を、電極確率行列705に反映させる。   If it is determined that any finger has moved due to electrical stimulation by the j-th electrode (YES in S1305), the input / output control unit 712 then determines whether or not the flag variable MFflag is logic false, that is, Confirm whether or not the finger has moved for the first time at this point. If it is determined that the finger has moved for the first time at this time (YES in S1306), the electrode probability matrix 705 stored in the nonvolatile storage 504 of the host 401 is read into the RAM 503, and the electrode probability matrix 705 on the RAM 503 is read. Are moved for each row and / or for each column (S1307). In this way, by moving the elements of the electrode probability matrix 705, the relative positional relationship between the electrodes and the muscles of the electrical stimulation device 100 currently worn on the user's arm is reflected in the electrode probability matrix 705. .

次に入出力制御部712は確率演算部802を稼働させて、1番目からj−1番目までの電極に対応する、電極確率行列705の要素に対し、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1308)。そして、フラグ変数MFflagを論理の真に転換し(S1309)、図14のステップS1410へ移行する。すなわち、これ以降、ステップS1005で何れかの手指が動いたと判断した後(S1005のYES)は、ステップS1006でMFflagが論理の真に転換しているので、ステップS1307、S1308及びS1309の処理を行わず、図14のステップS1410へ移行する。   Next, the input / output control unit 712 operates the probability calculation unit 802, and the Bayesian posterior probability that the finger did not move with respect to the elements of the electrode probability matrix 705 corresponding to the first to j-1th electrodes. “P (x | j)” is calculated, and the corresponding element of the electrode probability matrix 705 is updated (S1308). Then, the flag variable MFflag is changed to logic true (S1309), and the process proceeds to step S1410 in FIG. In other words, after it is determined in step S1005 that any finger has moved (YES in S1005), the MFflag has changed to logic true in step S1006, so the processing in steps S1307, S1308, and S1309 is performed. First, the process proceeds to step S1410 in FIG.

次に、ステップS1307の、電極確率行列705の要素を移動することについて、図15A及び図15Bを参照して詳述する。
図15Aは、ユーザーが電気刺激装置100を初めて腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。
図15Bは、ユーザーが電気刺激装置100を再び腕に装着した際の、腕の筋肉と電極の配置関係を説明するための模式的な概略図である。
図15Aにおいて、電極1501は、筋肉1502から離れている。筋肉1502には電極1503が近接している。筋肉1504には電極1505が近接している。なお、電極1506は電極1501、電極1503、電極1505が共通して利用する接地電極である。
Next, moving elements of the electrode probability matrix 705 in step S1307 will be described in detail with reference to FIGS. 15A and 15B.
FIG. 15A is a schematic diagram for explaining an arrangement relationship between arm muscles and electrodes when the user first wears the electrical stimulation apparatus 100 on the arm.
FIG. 15B is a schematic diagram for explaining an arrangement relationship between arm muscles and electrodes when the user puts the electrical stimulation apparatus 100 on the arm again.
In FIG. 15A, the electrode 1501 is away from the muscle 1502. An electrode 1503 is close to the muscle 1502. An electrode 1505 is close to the muscle 1504. Note that the electrode 1506 is a ground electrode commonly used by the electrode 1501, the electrode 1503, and the electrode 1505.

図15Aと図15Bを比べると、図15Bでは、ユーザーの腕と電気刺激装置100の電極配置面100aとの相対的な位置関係がずれている。このため、電極1501が筋肉1502に近接し、筋肉1504には電極1503が近接している。そして電極1505は筋肉1504から離れている。
このように、ユーザーの腕と電気刺激装置100の電極配置面100aとの相対的な位置関係がずれると、筋肉に相対する電極の配置も変わる。そして、この現象は手指挙動行列及びこれを基に作成されたフラグ行列の要素のずれとなって現れる。このため、先に不揮発性ストレージ504に記憶していた電極確率行列705の要素を、検出した手指挙動行列に合わせ込む必要が生じる。
Comparing FIG. 15A and FIG. 15B, in FIG. 15B, the relative positional relationship between the user's arm and the electrode arrangement surface 100a of the electrical stimulation device 100 is shifted. For this reason, the electrode 1501 is close to the muscle 1502, and the electrode 1503 is close to the muscle 1504. The electrode 1505 is away from the muscle 1504.
As described above, when the relative positional relationship between the user's arm and the electrode arrangement surface 100a of the electrical stimulation device 100 is shifted, the arrangement of the electrodes relative to the muscle also changes. This phenomenon appears as a shift of the elements of the finger behavior matrix and the flag matrix created based on this. For this reason, it is necessary to match the elements of the electrode probability matrix 705 previously stored in the nonvolatile storage 504 with the detected finger behavior matrix.

図16Aは、2回目以降の学習モードによって作成された、手指挙動行列の例である。
図16Bは、図16Aの手指挙動行列に基づいて作成された、仮想的な電極確率行列705である。
図16Cは、図12Dの電極確率行列705である。
図16Dは、図16Cの電極確率行列705を並べ替えた行列である。
先ず、図16Cの電極確率行列705は、図12Dにおいて説明したように、第一回目の学習モードにおいて作成された行列データである。これに対し、図16Bに示す仮想的な電極確率行列705は、第二回目の学習モードによって作成された行列データである。
FIG. 16A is an example of a finger behavior matrix created by the second and subsequent learning modes.
FIG. 16B is a virtual electrode probability matrix 705 created based on the finger behavior matrix of FIG. 16A.
FIG. 16C is the electrode probability matrix 705 of FIG. 12D.
FIG. 16D is a matrix in which the electrode probability matrix 705 of FIG. 16C is rearranged.
First, the electrode probability matrix 705 in FIG. 16C is matrix data created in the first learning mode as described in FIG. 12D. On the other hand, the virtual electrode probability matrix 705 shown in FIG. 16B is matrix data created by the second learning mode.

一見すると、行列データを見比べるだけでは、第二回目の学習モードにおけるユーザーの腕と電気刺激装置100との相対的な位置関係(図16B)が、第一回目の学習モードにおけるユーザーの腕と電気刺激装置100との相対的な位置関係(図16C)に対してどれだけずれたのかが判らないようにも思える。しかし、この行列データの左上の、手指が動いた要素(「1」の要素)に注目すると、第一回目の学習モードにおいて、初めて手指が動いた時点の要素の位置(P1603)と、第二回目の学習モードにおいて、初めて手指が動いた時点の要素の位置(P1601)とで、位置にずれが生じていることが明確に判る。すなわち、前回使用時点におけるユーザーの腕と電気刺激装置100との相対的な位置関係と、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係とのずれが、要素の位置のずれとして明確に判る。   At first glance, just comparing the matrix data, the relative positional relationship between the user's arm and the electrical stimulation device 100 in the second learning mode (FIG. 16B) is It seems that it is not clear how much the relative positional relationship with the stimulating device 100 (FIG. 16C) is deviated. However, when attention is paid to the element in which the finger moves (the element “1”) in the upper left of the matrix data, the position of the element (P1603) at the time when the finger moves for the first time in the first learning mode, and the second In the second learning mode, it can be clearly seen that the position is shifted from the position of the element (P1601) when the finger moves for the first time. That is, the deviation between the relative positional relationship between the user's arm and the electrical stimulation device 100 at the time of previous use and the current relative positional relationship between the user's arm and the electrical stimulation device 100 is the displacement of the element position. As clearly understood.

先に説明したように、電極確率行列705は、電極と手指の動きとの相関関係を確率で表す行列データである。確率はベイズ推定によるベイズ事後確率を適用する。しかし、ベイズ推定以前に、前回使用時点におけるユーザーの腕と電気刺激装置100との相対的な位置関係と、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係とのずれが、電極確率行列705に現れたままでは、学習の精度が著しく落ちてしまう。そこでホスト401の入出力制御部712は、不揮発性ストレージ504から読み出してRAM503に保持した電極確率行列705を、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係に合わせて、行列の要素を入れ替える。図16Cの場合、要素P1603の位置(1,1)が、図16Bの要素P1601の位置(1,2)と同じ位置になるように、図16Cの電極確率行列705の列を右方向に1列ずらす。すると、図16Cの要素群A1604が、図16Bの要素群A1602と同じ位置に配置され、図16Cの要素群A1605は要素群A1604の移動に伴い弾き出され、空白となった電極確率行列705の左端1列に配置される。これが図16Dの電極確率行列705である。
なお、ステップS1308の処理は、図16Dにおける要素群A1605を更新する処理である。
As described above, the electrode probability matrix 705 is matrix data representing the correlation between the electrode and the movement of the finger as a probability. The probability applies the Bayesian posterior probability by Bayesian estimation. However, before Bayesian estimation, the difference between the relative positional relationship between the user's arm and the electrical stimulation device 100 at the time of previous use and the current relative positional relationship between the user's arm and the electrical stimulation device 100 is If it appears in the electrode probability matrix 705, the accuracy of learning will be significantly reduced. Therefore, the input / output control unit 712 of the host 401 matches the electrode probability matrix 705 read from the non-volatile storage 504 and held in the RAM 503 with a matrix according to the relative positional relationship between the current user's arm and the electrical stimulation device 100. Swap elements of. In the case of FIG. 16C, the column of the electrode probability matrix 705 in FIG. 16C is set to 1 in the right direction so that the position (1, 1) of the element P1603 is the same position as the position (1, 2) of the element P1601 in FIG. Shift columns. Then, the element group A 1604 in FIG. 16C is arranged at the same position as the element group A 1602 in FIG. 16B, and the element group A 1605 in FIG. 16C is ejected with the movement of the element group A 1604 and left. Arranged in one row. This is the electrode probability matrix 705 of FIG. 16D.
Note that the process of step S1308 is a process of updating the element group A 1605 in FIG. 16D.

図13のステップS1307における、電極確率行列705の左上に存在する、有効な電気刺激を示す要素を探す、という処理は、わかりやすさのために、電極に対して順番に電気刺激電圧を印加すると、最初に最も小さい番号の手指の動きが生じる前提で、電極確率行列705を構成していた。但し、これは便宜的なものであるので、電極に対して順番に電気刺激電圧を印加して、最初に検出した手指の動きに該当する電極確率行列705の要素を参照すればよい。   In step S1307 in FIG. 13, for the sake of simplicity, the process of searching for an element indicating an effective electrical stimulation that exists in the upper left of the electrode probability matrix 705 is performed by applying the electrical stimulation voltage sequentially to the electrodes. The electrode probability matrix 705 is constructed on the premise that the movement of the finger with the smallest number occurs. However, since this is convenient, an electrical stimulation voltage is sequentially applied to the electrodes, and elements of the electrode probability matrix 705 corresponding to the first detected finger movement may be referred to.

なお、図13のステップS1306にて、初めて動いた手指が親指屈曲状態ではない場合、現在のユーザーの腕と電気刺激装置100との相対的な位置関係において、何れの電極も親指屈曲状態を生じさせてない。すなわち、電極の配置が親指の屈曲に失敗している。このような場合には、初めて動いた手指に対応する、電極確率行列705の同じ行の要素を参照する。つまり、電極確率行列705の親指屈曲状態を示す1行目を無視する。電極確率行列705は列単位でのみ並べ替えを行い、行単位での並べ替えは行わない。   In step S1306 in FIG. 13, when the finger that has moved for the first time is not in the bent state of the thumb, any electrode causes a bent state of the thumb in the relative positional relationship between the current user's arm and the electrical stimulation device 100. I'm not letting you. That is, the arrangement of the electrodes fails to flex the thumb. In such a case, the element in the same row of the electrode probability matrix 705 corresponding to the finger that has moved for the first time is referred to. That is, the first line indicating the thumb bending state of the electrode probability matrix 705 is ignored. The electrode probability matrix 705 is rearranged only in column units, and is not rearranged in row units.

再び、図13及び図14に戻って、フローチャートの説明を続ける。
ステップS1309の後、またはステップS1306でフラグ変数MFflagが論理の真であった場合(S1306のNO)、図14の処理に移行する。
図14に示すように、入出力制御部712は確率演算部802を稼働させて、j番目の電極に対応する電極確率行列705の要素に対し、手指が動いた要素については手指が動いた旨のベイズ事後確率「P(x|j)」を演算する。また、手指が動かなかった要素素については、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1410)。
Returning to FIG. 13 and FIG. 14 again, the description of the flowchart will be continued.
After step S1309 or when the flag variable MFflag is logically true in step S1306 (NO in S1306), the process proceeds to FIG.
As illustrated in FIG. 14, the input / output control unit 712 operates the probability calculation unit 802 to indicate that the finger has moved with respect to the element in which the finger has moved with respect to the element of the electrode probability matrix 705 corresponding to the j-th electrode. The Bayesian posterior probability “P (x | j)” is calculated. For the element element for which the finger did not move, the Bayes posterior probability “P (x | j)” that the finger did not move is calculated, and the corresponding element of the electrode probability matrix 705 is updated (S1410).

そして、入出力制御部712はカウンタ変数jがjの最大値、すなわち電極の合計数に至ったか否かを確認する。カウンタ変数jが電極の合計数に至っていない場合には(S1411のNO)、入出力制御部712はカウンタ変数jを1インクリメントして(S1412)、再度ステップS1303から処理を繰り返す。
ステップS1411においてカウンタ変数jが電極の合計数に至っている場合には(S1411のYES)、入出力制御部712は作成した電極確率行列705を不揮発性ストレージ504に保存して、電気刺激装置100へ送信して(S1413)、一連の処理を終了する(S1414)。
Then, the input / output control unit 712 confirms whether or not the counter variable j has reached the maximum value of j, that is, the total number of electrodes. If the counter variable j has not reached the total number of electrodes (NO in S1411), the input / output control unit 712 increments the counter variable j by 1 (S1412) and repeats the processing from step S1303 again.
If the counter variable j reaches the total number of electrodes in step S1411 (YES in S1411), the input / output control unit 712 stores the created electrode probability matrix 705 in the non-volatile storage 504 and sends it to the electrical stimulation apparatus 100. Transmit (S1413), and the series of processing ends (S1414).

図13に戻って、ステップS1305において何れの手指も動いていない場合には(S1305のNO)、次に入出力制御部712はフラグ変数MFflagが論理の偽であるか否か、すなわちこの時点でまだ手指が動いていないのか否かを確認する(S1415)。まだ手指が動いていない場合には(S1415のYES)、そのまま何もせずにステップS1411の、カウンタ変数jの確認を行う。
ステップS1415において、フラグ変数MFflagが論理の真である、すなわちこの時点で既に手指が動いていたのであれば(S1415のNO)、入出力制御部712は入出力制御部712は確率演算部802を稼働させて、j番目の電極に対応する全ての電極確率行列705の要素に対し、手指が動かなかった旨のベイズ事後確率「P(x|j)」を演算し、電極確率行列705の該当する要素を更新する(S1416)。そして、ステップS1411の、カウンタ変数jの確認を行う。
Returning to FIG. 13, if no finger is moving in step S1305 (NO in S1305), then the input / output control unit 712 determines whether or not the flag variable MFflag is logically false, that is, at this time. It is confirmed whether or not the finger has not moved yet (S1415). If the finger has not moved yet (YES in S1415), the counter variable j is checked in step S1411 without doing anything.
In step S1415, if the flag variable MFflag is logically true, that is, if the finger has already moved at this time (NO in S1415), the input / output control unit 712 sets the probability calculation unit 802. The Bayes posterior probability “P (x | j)” indicating that the finger has not moved is calculated for all elements of the electrode probability matrix 705 corresponding to the j-th electrode, and the corresponding of the electrode probability matrix 705 The element to be updated is updated (S1416). In step S1411, the counter variable j is checked.

ステップS1415の判定は、ステップS1307における電極確率行列705の並べ替えが行われたか否かを判定するための処理である。前回使用時点におけるユーザーの腕と電気刺激装置100との相対的な位置関係を示す電極確率行列705を、現時点のユーザーの腕と電気刺激装置100との相対的な位置関係に合わせなければ、電極確率行列705に対し、ベイズ推定による学習を正しく遂行できない。したがって、ステップS1307の処理が完遂するまでは、ベイズ推定演算を行わない(S1415のYES)が、ステップS1307の処理が完遂した後は、ベイズ推定演算を行う(S1308、S1410、S1415のNOからS1416)。   The determination in step S1415 is a process for determining whether or not the electrode probability matrix 705 has been rearranged in step S1307. If the electrode probability matrix 705 indicating the relative positional relationship between the user's arm and the electrical stimulation device 100 at the time of previous use is not matched with the relative positional relationship between the current user's arm and the electrical stimulation device 100, the electrode Learning based on Bayesian estimation cannot be correctly performed on the probability matrix 705. Accordingly, the Bayesian estimation calculation is not performed until the process of Step S1307 is completed (YES in S1415), but after the process of Step S1307 is completed, the Bayesian estimation calculation is performed (NO from S1308, S1410, and S1415 to S1416) ).

本発明の実施形態に係る電気刺激装置100は、8個の筋変位センサーと8個の電極で構成しているが、筋変位センサーと電極の個数は必ずしも8個である必要はない。むしろ、筋変位センサーと電極の数は多ければ多い程、筋肉の収縮状態の検出と、筋肉の収縮制御を、より精緻に遂行できる。
図17は、一般化した電極確率行列705の一例を示す図である。ユーザーが電気刺激装置100を繰り返し使用すると、その度にユーザーの腕に対する電気刺激装置100の着脱が繰り返される。すなわち、電気刺激装置100をユーザーの腕に着脱する都度、学習モードが実行される。そして、その学習モードが繰り返し実行されると、結果として、ある電極と手指の動きとの相関関係が定まることとなる。電極確率行列705の各要素は、x行j列についてベイズ事後確率「P(x|j)」が格納される。
The electrical stimulation device 100 according to the embodiment of the present invention is configured by eight muscle displacement sensors and eight electrodes, but the number of muscle displacement sensors and electrodes is not necessarily eight. Rather, the greater the number of muscle displacement sensors and electrodes, the more precisely the detection of muscle contraction and the control of muscle contraction can be performed.
FIG. 17 is a diagram illustrating an example of a generalized electrode probability matrix 705. When the user repeatedly uses the electrical stimulation device 100, the electrical stimulation device 100 is repeatedly attached to and detached from the user's arm each time. That is, every time the electrical stimulation apparatus 100 is attached to or detached from the user's arm, the learning mode is executed. When the learning mode is repeatedly executed, as a result, a correlation between a certain electrode and a finger movement is determined. Each element of the electrode probability matrix 705 stores a Bayesian posterior probability “P (x | j)” for x rows and j columns.

以上に説明した本発明の実施形態は、以下の様な応用が可能である。
(1)一家に1台、電気刺激装置100を導入することを仮定する。お父さん、お母さん、子供のそれぞれ、腕の太さは異なる。したがって、1台の電気刺激装置100を複数のユーザーで共有する場合には、ホスト401にユーザー認証の機能を設け、電極確率行列705をユーザーIDと紐付けることが好ましい。
ユーザー認証は、ユーザーを一意に識別する機能を有する手段であれば何でもよい。例えば、キーボードを用いた一般的なパスワード認証の他、指紋、静脈、虹彩等の生体認証等が利用可能である。指紋や静脈を用いた生体認証のユニットは、電気刺激装置100の回路収納ボックス103に収納すると使い勝手がよい。
また、このユーザー認証機能は、アプリケーションプログラムであるところの情報処理部713のユーザー認証機能と統合されていると、電気刺激装置100のユーザー認証とアプリケーションプログラムのユーザー認証を一元化できるので、更に使い勝手がよくなることが期待できる。この場合、ユーザーIDが、情報処理部713のユーザーデータと、電気刺激装置100の電極確率行列705と紐付くこととなる。
すなわち、ホスト401にインストールされる電気刺激装置100のデバイスドライバプログラムにユーザー認証機能を含め、アプリケーションプログラムがこのデバイスドライバプログラムのユーザー認証機能を利用することで、電気刺激装置100の複数ユーザー共有化と、ユーザー認証の一元化が実現できる。
The embodiment of the present invention described above can be applied as follows.
(1) It is assumed that one electrical stimulator 100 is introduced into the family. Dad, mom, and child have different arm thicknesses. Therefore, when one electrical stimulation apparatus 100 is shared by a plurality of users, it is preferable to provide a user authentication function in the host 401 and associate the electrode probability matrix 705 with a user ID.
The user authentication may be any means having a function for uniquely identifying a user. For example, in addition to general password authentication using a keyboard, biometric authentication such as fingerprints, veins, and irises can be used. A biometric unit using fingerprints or veins is convenient to use when stored in the circuit storage box 103 of the electrical stimulation device 100.
Further, when this user authentication function is integrated with the user authentication function of the information processing unit 713, which is an application program, the user authentication of the electrical stimulation device 100 and the user authentication of the application program can be unified, so that the usability is further improved. You can expect to improve. In this case, the user ID is associated with the user data of the information processing unit 713 and the electrode probability matrix 705 of the electrical stimulation device 100.
That is, a user authentication function is included in the device driver program of the electrical stimulation apparatus 100 installed in the host 401, and the application program uses the user authentication function of the device driver program. Centralized user authentication can be realized.

(2)図10、図13及び図14に示したフローチャートでは、電極に電気刺激を与えた後、筋変位センサーのデータを取り込み、手指の動きを調べてから逐次的に判定及び学習処理を進めたが、先ず電極に電気刺激を与え、筋変位センサーのデータを取り込む作業を全ての電極に対して実行し、予め手指挙動行列を作成してから、判定及び学習処理を行ってもよい。勿論、その際にも図13のステップS1307は必須である。   (2) In the flowcharts shown in FIG. 10, FIG. 13 and FIG. 14, after applying electrical stimulation to the electrodes, the data of the muscle displacement sensor is taken in, and after the movement of the finger is examined, the determination and learning processing proceeds sequentially. However, it is also possible to first apply electrical stimulation to the electrodes and execute the operation of taking in the data of the muscle displacement sensor for all the electrodes, create finger behavior matrices in advance, and then perform the determination and learning processing. Of course, step S1307 in FIG. 13 is indispensable also at that time.

(3)本発明の実施形態に係る電気刺激装置100では、学習アルゴリズムにベイズ推定を採用したが、学習アルゴリズムはこれに限られない。例えば、サポートベクターマシン等、他の学習アルゴリズムを用いてもよい。   (3) In the electrical stimulation apparatus 100 according to the embodiment of the present invention, Bayesian estimation is adopted as the learning algorithm, but the learning algorithm is not limited to this. For example, other learning algorithms such as a support vector machine may be used.

本実施形態においては、電気刺激装置100及び電気刺激システム400を開示した。
電極による電気刺激と手指の動きとの相関関係を明らかにするため、電極がどの手指の動きに該当するのかを示すベイズ事後確率が要素として記述された電極確率行列705をホスト401で作成して、電気刺激装置100へ転送する。2回目以降の学習モードでは、直前の電極確率行列705を現在のユーザーの腕における電気刺激装置100の装着状態に合わせ込むために、電極確率行列705の左上に存在する手指の動きが生じた要素の位置を比較して、必要に応じて電極確率行列705の列を並べ替える。
このように電気刺激装置100とホスト401を構成することで、ユーザーの腕に装着した状態にかかわらず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置100と、電気刺激システム400が実現できる。
In the present embodiment, the electrical stimulation device 100 and the electrical stimulation system 400 have been disclosed.
In order to clarify the correlation between the electrical stimulation by the electrode and the movement of the finger, the host 401 creates an electrode probability matrix 705 in which a Bayes posterior probability indicating which finger movement corresponds to the electrode is described as an element. To the electrical stimulator 100. In the second and subsequent learning modes, in order to match the previous electrode probability matrix 705 with the wearing state of the electrical stimulation device 100 in the current user's arm, the element in which the finger movement existing at the upper left of the electrode probability matrix 705 has occurred Are rearranged, and the columns of the electrode probability matrix 705 are rearranged as necessary.
By configuring the electrical stimulation device 100 and the host 401 in this way, the correspondence between the finger movement and the electrode is clarified in a short time regardless of the state worn on the user's arm, and there is very little malfunction and high accuracy. Thus, the electrical stimulation device 100 and the electrical stimulation system 400 that can drive the target finger can be realized.

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
The embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and other modifications and application examples are provided without departing from the gist of the present invention described in the claims. including.
For example, the above-described embodiment is a detailed and specific description of the configuration of the apparatus and the system in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Moreover, it is also possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の揮発性あるいは不揮発性のストレージ、または、ICカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software for interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files that realize each function must be held in a volatile or non-volatile storage such as a memory, hard disk, or SSD (Solid State Drive), or a recording medium such as an IC card or an optical disk. Can do.
In addition, the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

100…電気刺激装置、101…バンド、102…左側部、103…回路収納ボックス、104…第一シリアルインターフェース端子、150…演算処理部、201、202、203、204、205、206、207、208、211、212、213、216…電極、217…電極、221、223、227…筋変位センサー、231…右側電極配置箇所、232…中央電極配置箇所、233…左側電極配置箇所、400…電気刺激システム、401…ホスト、402…近距離無線通信部、501…CPU、502…ROM、503…RAM、504…不揮発性ストレージ、505…表示部、506…操作部、507…バス、601…バス、602…CPU、603…ROM、604…RAM、605…A/D変換器、606…第二シリアルインターフェース、607…ワンチップマイコン、608…第一マルチプレクサ、610…第二マルチプレクサ、612…6軸センサー、613…近距離無線通信部、614…第一シリアルインターフェース、615…昇圧回路、616…PWMスイッチ、617…第三マルチプレクサ、701…入出力制御部、702…近距離無線送信部、703…指電極対応変換部、704…近距離無線受信部、705…電極確率行列、711…近距離無線受信部、712…入出力制御部、713…情報処理部、714…近距離無線送信部、801…センサー値記憶部、802…確率演算部、803…タイマー、1201…最大値配列、1202…フラグ配列
DESCRIPTION OF SYMBOLS 100 ... Electrical stimulation apparatus, 101 ... Band, 102 ... Left side part, 103 ... Circuit storage box, 104 ... First serial interface terminal, 150 ... Arithmetic processing part, 201, 202, 203, 204, 205, 206, 207, 208 211, 212, 213, 216 ... electrodes, 217 ... electrodes, 221, 223, 227 ... muscle displacement sensors, 231 ... right electrode placement locations, 232 ... central electrode placement locations, 233 ... left electrode placement locations, 400 ... electrical stimulation System 401 ... Host 402 ... Near Field Communication Unit 501 ... CPU 502 ... ROM 503 ... RAM 504 ... Non-volatile Storage 505 ... Display Unit 506 ... Operation Unit 507 ... Bus 601 ... Bus 602 ... CPU, 603 ... ROM, 604 ... RAM, 605 ... A / D converter, 606 ... second serial Interface, 607 ... one-chip microcomputer, 608 ... first multiplexer, 610 ... second multiplexer, 612 ... 6-axis sensor, 613 ... short-range wireless communication unit, 614 ... first serial interface, 615 ... step-up circuit, 616 ... PWM Switch 617... Third multiplexer 701 Input / output control unit 702 Short range wireless transmission unit 703 Finger electrode corresponding conversion unit 704 Short range wireless reception unit 705 Electrode probability matrix 711 Short range wireless Reception unit, 712 ... Input / output control unit, 713 ... Information processing unit, 714 ... Short-range wireless transmission unit, 801 ... Sensor value storage unit, 802 ... Probability calculation unit, 803 ... Timer, 1201 ... Maximum value array, 1202 ... Flag Array

Claims (6)

ユーザーの前腕に巻き付けられるバンドと、A band wrapped around the user's forearm,
前記バンドの一方の面に配置されて前記ユーザーの腕に存在する複数の筋肉の変位をそれぞれ検出する、複数の筋変位センサーと、A plurality of muscle displacement sensors arranged on one side of the band to detect displacement of a plurality of muscles existing in the user's arm;
前記複数の筋変位センサーから一の筋変位センサーを選択するセンサー用マルチプレクサと、A sensor multiplexer for selecting one muscle displacement sensor from the plurality of muscle displacement sensors;
前記バンドの、前記複数の筋変位センサーが配置されている面に、前記複数の筋変位センサーに隣接して複数個配置されている電極と、A plurality of electrodes disposed adjacent to the plurality of muscle displacement sensors on the surface of the band on which the plurality of muscle displacement sensors are disposed;
前記複数の電極から一の電極を選択する電極用マルチプレクサと、An electrode multiplexer for selecting one electrode from the plurality of electrodes;
前記筋変位センサーから得られる、前記ユーザーの腕の筋肉の変位に係る信号をデジタルデータに変換して所定のホストに送信する近距離無線送信部と、A short-range wireless transmission unit that converts a signal relating to the displacement of the muscle of the user's arm obtained from the muscle displacement sensor into digital data and transmits the digital data to a predetermined host;
手指の動きと前記複数の電極との相関関係が確率で記述されている電極確率行列と、An electrode probability matrix in which the correlation between the movement of the finger and the plurality of electrodes is described by probability;
通常モードにおいて前記ホストから手指を動かす命令を受信し、較正モードにおいて前記ホストから更新された前記電極確率行列を受信する近距離無線受信部と、A short-range wireless receiving unit that receives a command to move a finger from the host in a normal mode and receives the updated electrode probability matrix from the host in a calibration mode;
前記手指を動かす命令に基づき、前記電極確率行列から最大の確率を示す電極を特定して、前記電極用マルチプレクサを制御して前記特定した電極を選択する指電極対応変換部とA finger electrode corresponding conversion unit that specifies an electrode showing the maximum probability from the electrode probability matrix based on an instruction to move the finger, and controls the electrode multiplexer to select the specified electrode;
を具備し、Comprising
前記電極確率行列は、前記ホストが、前記筋変位センサーのデータを前記ユーザーの手指の動きに変換した上で、現在の前記ユーザーの腕と複数の前記電極との相対的な位置関係のずれを検出して前記電極確率行列の要素を並べ替えた上で、前記要素が更新される、In the electrode probability matrix, the host converts the displacement data of the muscle displacement sensor into the movement of the user's finger, and the relative positional relationship between the current arm of the user and the plurality of electrodes is calculated. After detecting and reordering the elements of the electrode probability matrix, the elements are updated.
電気刺激装置。Electrical stimulator.
前記電極確率行列の要素は、学習アルゴリズムに基づく事後確率を計算することによって更新される、請求項1に記載の電気刺激装置。The electrical stimulation device according to claim 1, wherein elements of the electrode probability matrix are updated by calculating a posteriori probability based on a learning algorithm. ユーザーの前腕に巻き付けられるバンドと、A band wrapped around the user's forearm,
前記バンドの一方の面に配置されて前記ユーザーの腕に存在する複数の筋肉の変位をそれぞれ検出する、複数の筋変位センサーと、A plurality of muscle displacement sensors arranged on one side of the band to detect displacement of a plurality of muscles existing in the user's arm;
前記複数の筋変位センサーから一の筋変位センサーを選択するセンサー用マルチプレクサと、A sensor multiplexer for selecting one muscle displacement sensor from the plurality of muscle displacement sensors;
前記バンドの、前記複数の筋変位センサーが配置されている面に、前記複数の筋変位センサーに隣接して複数個配置されている電極と、A plurality of electrodes disposed adjacent to the plurality of muscle displacement sensors on the surface of the band on which the plurality of muscle displacement sensors are disposed;
前記複数の電極から一の電極を選択する電極用マルチプレクサと、An electrode multiplexer for selecting one electrode from the plurality of electrodes;
手指の動きと前記複数の電極との相関関係が確率で記述されている電極確率行列と、An electrode probability matrix in which the correlation between the movement of the finger and the plurality of electrodes is described by probability;
前記手指を動かす命令に基づき、前記電極確率行列から最大の確率を示す電極を特定して、前記電極用マルチプレクサを制御して前記特定した電極を選択する指電極対応変換部とA finger electrode corresponding conversion unit that specifies an electrode showing the maximum probability from the electrode probability matrix based on an instruction to move the finger, and controls the electrode multiplexer to select the specified electrode;
を具備する電気刺激装置の前記電極確率行列を較正する方法であって、A method for calibrating the electrode probability matrix of an electrical stimulator comprising:
前記電極に電気刺激を与えるステップと、Applying electrical stimulation to the electrode;
前記筋変位センサーを通じて前記ユーザーの前記電気刺激装置が装着された前記前腕の全ての手指の動きを調べるステップと、Examining movements of all fingers of the forearm to which the user's electrical stimulation device is worn through the muscle displacement sensor;
前記ユーザーの前記電気刺激装置が装着された前記前腕の何れかの手指が複数の前記電極の何れかによる電気刺激によって動いたと判明し、且つ、この時点で初めて手指が動いたと判明した場合に、前記電極確率行列の較正を実行する前の時点における、前記電極確率行列の要素のうち、較正作業において初めて手指が動いた時点の要素を、現在の要素に合致させるべく、前記電極確率行列の要素を行ごと及び/または列ごとに並べ替えるステップとWhen it is determined that any finger of the forearm to which the electrical stimulation device of the user is attached has been moved by electrical stimulation by any of the plurality of electrodes, and when it is determined that the finger has moved for the first time at this point, Elements of the electrode probability matrix before the calibration of the electrode probability matrix are performed, so that elements of the electrode probability matrix at the time when the finger is moved for the first time in the calibration operation match the current elements. Sorting by row and / or column
を有する、電気刺激装置の電極確率行列を較正する方法。Calibrating the electrode probability matrix of the electrical stimulator.
前記電極確率行列の要素を行ごと及び/または列ごとに並べ替えるステップの後、学習アルゴリズムに基づく事後確率を計算することによって前記電極確率行列の要素を更新するステップとReordering the elements of the electrode probability matrix by row and / or column and then updating the elements of the electrode probability matrix by calculating a posteriori probability based on a learning algorithm;
を有する、請求項3に記載の、電気刺激装置の電極確率行列を較正する方法。The method of calibrating an electrode probability matrix of an electrical stimulator according to claim 3.
ユーザーの上腕に巻き付けられるバンドと、A band wrapped around the user's upper arm,
前記バンドの一方の面に配置されて前記ユーザーの腕に存在する複数の筋肉の変位をそれぞれ検出する、複数の筋変位センサーと、A plurality of muscle displacement sensors arranged on one side of the band to detect displacement of a plurality of muscles existing in the user's arm;
前記複数の筋変位センサーから一の筋変位センサーを選択するセンサー用マルチプレクサとA sensor multiplexer for selecting one muscle displacement sensor from the plurality of muscle displacement sensors;
を具備するセンサー装置と、A sensor device comprising:
前記センサー装置と通信を行うホストとA host that communicates with the sensor device;
を具備するセンサーシステムの筋変位センサー較正方法であって、A muscle displacement sensor calibration method for a sensor system comprising:
前記センサー装置との通信を確立した前記ホストの表示部に、前記ユーザーが前記上腕に前記センサー装置を装着した状態で、前記ユーザーが手指に力を入れていない状態を促すメッセージを含む静止状態案内ビデオを表示すると共に、前記ホストが前記センサー装置に前記筋変位センサーのデータを収集する静止状態筋変位センサーデータ収集コマンドを送信する第一のステップと、A stationary state guide including a message for prompting a state in which the user puts the sensor device on the upper arm and the user is not putting power on the finger on the display unit of the host that has established communication with the sensor device A first step of displaying a video and the host sending a stationary muscle displacement sensor data collection command for collecting data of the muscle displacement sensor to the sensor device;
前記センサー装置が前記静止状態筋変位センサーデータ収集コマンドを受信したことを受けて、前記センサー装置が全ての前記筋変位センサーのデータを前記ホストへ返信する第二のステップと、A second step in which the sensor device returns data of all the muscle displacement sensors to the host in response to the sensor device receiving the stationary muscle displacement sensor data collection command;
前記ホストが前記センサー装置から受信した全ての前記筋変位センサーのデータを、静止状態データとして記憶する第三のステップと、A third step of storing all the muscle displacement sensor data received by the host from the sensor device as stationary state data;
前記表示部に、前記ユーザーが前記上腕に前記センサー装置を装着した状態で、前記ユーザーが第一の手指に力を入れて屈曲させる状態を促すメッセージを含む第一の動作案内ビデオを表示すると共に、前記ホストが前記センサー装置に前記筋変位センサーのデータを収集する第一の筋変位センサーデータ収集コマンドを送信する第四のステップと、In the state where the user wears the sensor device on the upper arm, the display unit displays a first motion guide video including a message prompting the user to bend the first finger with force. A fourth step in which the host sends a first muscle displacement sensor data collection command to collect data of the muscle displacement sensor to the sensor device;
前記センサー装置が前記第一の筋変位センサーデータ収集コマンドを受信したことを受けて、前記センサー装置が全ての前記筋変位センサーのデータを前記ホストへ返信する第五のステップと、In response to the sensor device receiving the first muscle displacement sensor data collection command, a fifth step in which the sensor device returns data of all the muscle displacement sensors to the host;
前記ホストが前記センサー装置から受信した全ての前記筋変位センサーのデータを、第一の動作状態データとして記憶する第六のステップと、A sixth step of storing all the muscle displacement sensor data received by the host from the sensor device as first operation state data;
前記表示部に、前記ユーザーが前記上腕に前記センサー装置を装着した状態で、前記ユーザーが第二の手指に力を入れて屈曲させる状態を促すメッセージを含む第二の動作案内ビデオを表示すると共に、前記ホストが前記センサー装置に前記筋変位センサーのデータを収集する第二の筋変位センサーデータ収集コマンドを送信する第七のステップと、In the state where the user wears the sensor device on the upper arm, the display unit displays a second motion guidance video including a message prompting the user to bend the second finger with force. A seventh step in which the host sends a second muscle displacement sensor data collection command to collect data of the muscle displacement sensor to the sensor device;
前記センサー装置が前記コマンドを受信したことを受けて、前記センサー装置が全ての前記筋変位センサーのデータを前記ホストへ返信する第八のステップと、In response to the sensor device receiving the command, an eighth step in which the sensor device returns data of all the muscle displacement sensors to the host;
前記ホストが前記センサー装置から受信した全ての前記筋変位センサーのデータを、第二の動作状態データとして記憶する第九のステップとA ninth step of storing data of all the muscle displacement sensors received by the host from the sensor device as second operation state data;
を有する、センサーシステムの筋変位センサー較正方法。A method for calibrating a muscle displacement sensor of a sensor system.
更に、Furthermore,
前記第九のステップの後、前記ホストが、第一の動作状態データから静止状態データを減算して、第一の手指を曲げた状態に係る第一の基準値を得ると共に、第二の動作状態データから静止状態データを減算して、第二の手指を曲げた状態に係る第二の基準値を得ることで、各々の前記筋変位センサーの相対値を計算する第十のステップと  After the ninth step, the host subtracts the stationary state data from the first operational state data to obtain a first reference value relating to a state in which the first finger is bent, and a second motion A tenth step of calculating a relative value of each of the muscle displacement sensors by subtracting the stationary state data from the state data to obtain a second reference value relating to the state of bending the second finger;
を有する、請求項5に記載のセンサーシステムの筋変位センサー較正方法。The muscle displacement sensor calibration method for a sensor system according to claim 5.
JP2018085299A 2018-04-26 2018-04-26 Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system Active JP6620329B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018085299A JP6620329B2 (en) 2018-04-26 2018-04-26 Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018085299A JP6620329B2 (en) 2018-04-26 2018-04-26 Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016047583A Division JP6334588B2 (en) 2016-03-10 2016-03-10 Electrical stimulation system

Publications (3)

Publication Number Publication Date
JP2018153648A JP2018153648A (en) 2018-10-04
JP2018153648A5 JP2018153648A5 (en) 2019-03-07
JP6620329B2 true JP6620329B2 (en) 2019-12-18

Family

ID=63717000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018085299A Active JP6620329B2 (en) 2018-04-26 2018-04-26 Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system

Country Status (1)

Country Link
JP (1) JP6620329B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2835395B2 (en) * 1988-12-29 1998-12-14 科学技術振興事業団 Stimulator
US7184837B2 (en) * 2003-09-15 2007-02-27 Medtronic, Inc. Selection of neurostimulator parameter configurations using bayesian networks
EP2373220B1 (en) * 2008-12-05 2013-06-19 Koninklijke Philips Electronics N.V. Electrical stimulation device for locating an electrical stimulation point
EP4108292A1 (en) * 2013-05-08 2022-12-28 Consejo Superior De Investigaciones Científicas (CSIC) Method and neuroprosthetic device for monitoring and suppression of pathological tremors through neurostimulation of the afferent pathways
CN106456978B (en) * 2014-04-25 2019-01-11 波士顿科学神经调制公司 The system and method for electric pulse charge compensation for implantable medical device capacitive load effect
EP3148640B1 (en) * 2014-06-02 2024-01-24 Cala Health, Inc. Systems for peripheral nerve stimulation to treat tremor
WO2015188889A1 (en) * 2014-06-13 2015-12-17 Fundación Tecnalia Research & Innovation System and method for functional electrical stimulation

Also Published As

Publication number Publication date
JP2018153648A (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6334588B2 (en) Electrical stimulation system
US9389694B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
CN114341779B (en) Systems, methods, and interfaces for performing input based on neuromuscular control
US10143403B2 (en) System and method for rehabilitation exercise of the hands
KR101345755B1 (en) Apparatus and method for controlling operation in a mobile terminal
US9483123B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
CN110114741B (en) Wearable terminal and operation method thereof
KR102347725B1 (en) Wearable device
CN110908515A (en) Gesture recognition method and device based on wrist muscle pressure
EP3640771A2 (en) Sensor device and method
CN113424133A (en) Capacitive touch system
JP6620329B2 (en) Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system
KR102178160B1 (en) Wearable input and outputdevice using electric charge and electrostatic induction
CN111176422B (en) Intelligent wearable device, operation method thereof and computer readable storage medium
KR20220051725A (en) Electronic device for controlling operation of electronic pen device, operation method in the electronic device and non-transitory storage medium
CN217902555U (en) Multi-sensor-based airplane guide multifunctional baton
CN106873779A (en) A kind of gesture identifying device and gesture identification method
US12105888B2 (en) Gesture detection sensor, reader module, and gesture detection system
US20240108274A1 (en) Control Signal Viewer For Prosthetic Devices
KR20220017340A (en) Electronic device for recognizing gesture and method for operating thereof
US20240115165A1 (en) Writing system
CN116820237A (en) Gesture control method, wearable device and computer readable medium
CN118051125A (en) Electronic equipment for tongue machine interaction based on pressure sensor, data processing method and device
JP2018153648A5 (en) Electrical stimulation device, method for calibrating electrode probability matrix of electrical stimulation device, and muscle displacement sensor calibration method for sensor system
WO2015160589A1 (en) Fingerprint based input device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191025

R150 Certificate of patent or registration of utility model

Ref document number: 6620329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250