JP6521420B1 - 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム - Google Patents
筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム Download PDFInfo
- Publication number
- JP6521420B1 JP6521420B1 JP2019502118A JP2019502118A JP6521420B1 JP 6521420 B1 JP6521420 B1 JP 6521420B1 JP 2019502118 A JP2019502118 A JP 2019502118A JP 2019502118 A JP2019502118 A JP 2019502118A JP 6521420 B1 JP6521420 B1 JP 6521420B1
- Authority
- JP
- Japan
- Prior art keywords
- movement
- tongue
- pattern
- signal
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 938
- 230000003183 myoelectrical effect Effects 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims description 110
- 210000003205 muscle Anatomy 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 101
- 230000000694 effects Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 87
- 238000009826 distribution Methods 0.000 claims description 49
- 238000005259 measurement Methods 0.000 claims description 31
- 230000005019 pattern of movement Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000010079 rubber tapping Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 210000002784 stomach Anatomy 0.000 claims 2
- 238000002567 electromyography Methods 0.000 description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 19
- 230000009747 swallowing Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000001055 chewing effect Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 210000000214 mouth Anatomy 0.000 description 7
- 208000019505 Deglutition disease Diseases 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 230000001771 impaired effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007659 motor function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001568 sexual effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 1
- 210000003323 beak Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4205—Evaluating swallowing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Physical Education & Sports Medicine (AREA)
- Fuzzy Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Endocrinology (AREA)
- Gastroenterology & Hepatology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
被験者の運動を評価するためのシステム（１０）は、顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段（１１１、１１２）と、前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段（２２１）と、前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段（２２２）とを備える。
Description
本発明は、筋電信号が由来する動作を認識するためのシステム、方法、およびプログラムに関する。
舌運動の動作を検出可能な口腔内センサが開発されている（例えば、特許文献１を参照）。
口腔内センサは、口腔内に取り付けられ、口腔内で舌から与えられる圧力を測定するため、舌とセンサとが接触しない舌運動の動作、または、舌運動以外の顎運動の動作、喉運動の動作を検出することができなかった。
本発明は、筋電信号が由来する動作であって、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含む動作を認識するためのシステム、方法、およびプログラムを提供することを目的とする。
さらに、本発明は、被験者の運動を評価するためのシステム、方法、およびプログラムを提供することを目的とする。
本発明の筋電信号が由来する動作を認識するためのシステムは、複数の筋肉の筋活動を示す筋電信号を検出する検出手段と、前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、前記処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定する決定手段とを備える。
一実施形態において、前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む。
一実施形態において、前記周波数解析処理は、ショートタイムＦＦＴを含む。
一実施形態において、前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む。
一実施形態において、前記決定手段は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習する学習手段と、前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段と、前記類似度が所定の閾値を超えるか否かを判定する判定手段とを備える。
一実施形態において、前記検出手段は、二対の測定電極を備える筋電センサを備え、前記二対の測定電極は、顎の筋肉、舌の筋肉、および、喉の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出可能なように構成される。
本発明の筋電信号が由来する動作を認識するための方法は、複数の筋肉の筋活動を示す筋電信号を検出することと、前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、前記処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定することと含む。
本発明の筋電信号が由来する動作を認識するためのプログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、複数の筋肉の筋活動を示す筋電信号を受信することと、前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、前記処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定することと含む処理を前記プロセッサ部に行わせる。
本発明は、例えば、以下を提供する。
（項目１）
被験者の運動を評価するためのシステムであって、前記システムは、
顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段と
を備える、システム。
被験者の運動を評価するためのシステムであって、前記システムは、
顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段と
を備える、システム。
（項目２）
前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む、項目１に記載のシステム。
前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む、項目１に記載のシステム。
（項目３）
前記周波数解析処理は、ショートタイムＦＦＴを含む、項目２に記載のシステム。
前記周波数解析処理は、ショートタイムＦＦＴを含む、項目２に記載のシステム。
（項目４）
前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む、項目２または項目３に記載のシステム。
前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む、項目２または項目３に記載のシステム。
（項目５）
前記決定手段は、
前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの前記所定の運動に対応する動作の教師パターンを用いて学習する処理が施されており、
前記決定手段は、
前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段と
を備える、項目１〜４のいずれか一項に記載のシステム。
前記決定手段は、
前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの前記所定の運動に対応する動作の教師パターンを用いて学習する処理が施されており、
前記決定手段は、
前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段と
を備える、項目１〜４のいずれか一項に記載のシステム。
（項目６）
前記決定手段は、さらに、前記類似度に基づいて、前記所定の運動における障害の有無を評価する、項目５に記載のシステム。
前記決定手段は、さらに、前記類似度に基づいて、前記所定の運動における障害の有無を評価する、項目５に記載のシステム。
（項目７）
前記学習する処理は、顎運動の動作の教師パターンと、舌運動の動作の教師パターンと、喉運動の動作の教師パターンとを用いて施されている、項目５または６に記載のシステム。
前記学習する処理は、顎運動の動作の教師パターンと、舌運動の動作の教師パターンと、喉運動の動作の教師パターンとを用いて施されている、項目５または６に記載のシステム。
（項目８）
前記学習する処理は、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて施されている、項目７に記載のシステム。
前記学習する処理は、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて施されている、項目７に記載のシステム。
（項目９）
前記学習する処理は、さらに前記顎運動の動作に関するタッピングの動作の教師パターン、および、前記舌運動の動作に関する舌の左右移動の動作の教師パターンを用いて施されている、項目８に記載のシステム。
前記学習する処理は、さらに前記顎運動の動作に関するタッピングの動作の教師パターン、および、前記舌運動の動作に関する舌の左右移動の動作の教師パターンを用いて施されている、項目８に記載のシステム。
（項目１０）
前記検出手段は、二対の測定電極を備える筋電センサを備え、
前記二対の測定電極は、顎の筋肉、舌の筋肉、または、喉の筋肉の筋活動を示す筋電信号を検出可能なように構成される、項目１〜９のいずれか一項に記載のシステム。
前記検出手段は、二対の測定電極を備える筋電センサを備え、
前記二対の測定電極は、顎の筋肉、舌の筋肉、または、喉の筋肉の筋活動を示す筋電信号を検出可能なように構成される、項目１〜９のいずれか一項に記載のシステム。
（項目１１）
被験者の運動を評価するための方法であって、前記方法は、
顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
含む、方法。
被験者の運動を評価するための方法であって、前記方法は、
顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
含む、方法。
（項目１２）
被験者の運動を評価するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を受信することと、
前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
含む処理を前記プロセッサ部に行わせる、プログラム。
被験者の運動を評価するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を受信することと、
前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
含む処理を前記プロセッサ部に行わせる、プログラム。
（項目１３）
被験者の運動を評価するために用いられる分類器であって、前記分類器は、
顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習する学習手段と
を備える、分類器。
被験者の運動を評価するために用いられる分類器であって、前記分類器は、
顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習する学習手段と
を備える、分類器。
（項目１４）
前記所定の運動は、顎運動、舌運動、および、喉運動を含む、項目１３に記載の分類器。
前記所定の運動は、顎運動、舌運動、および、喉運動を含む、項目１３に記載の分類器。
（項目１５）
前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、項目１４に記載の分類器。
前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、項目１４に記載の分類器。
（項目１６）
前記所定の運動は、さらに前記顎運動の動作に関するタッピングの動作、および前記舌運動の動作に関する舌の左右移動の動作を含む、項目１５に記載の分類器。
前記所定の運動は、さらに前記顎運動の動作に関するタッピングの動作、および前記舌運動の動作に関する舌の左右移動の動作を含む、項目１５に記載の分類器。
（項目１７）
被験者の運動を評価するために用いられる分類器を構築するための方法であって、前記方法は、
顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
を含む、方法。
被験者の運動を評価するために用いられる分類器を構築するための方法であって、前記方法は、
顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
を含む、方法。
（項目１８）
被験者の運動を評価するために用いられる分類器を構築するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を受信することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
を含む処理を前記プロセッサ部に行わせる、方法。
被験者の運動を評価するために用いられる分類器を構築するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を受信することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
を含む処理を前記プロセッサ部に行わせる、方法。
本発明によれば、筋電信号が由来する動作であって、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含む動作を認識するためのシステム、方法、およびプログラムを提供することができる。
さらに、本発明によれば、被験者の運動を評価するためのシステム、方法、およびプログラムを提供することができる。
以下、図面を参照しながら、本発明の実施の形態を説明する。
本明細書において、「約」とは、後に続く数字の±１０％の範囲内をいう。
本明細書において、「約」とは、後に続く数字の±１０％の範囲内をいう。
１．筋電デバイス
図１は、筋電デバイス１００を被験者に装着した様子を示す。
図１は、筋電デバイス１００を被験者に装着した様子を示す。
筋電デバイス１００は、第１の筋電センサ１１１と第２の筋電センサ１１２とを備える。第１の筋電センサ１１１は、一対の測定電極１１３、１１３’と、基準電極（図示せず）とを備え、第２の筋電センサ１１２は、一対の測定電極１１４、１１４’と、基準電極（図示せず）とを備える。第１の筋電センサ１１１は、一対の測定電極１１３、１１３’と基準電極とによって測定される電気信号から筋電信号を検出する。第２の筋電センサ１１２は、一対の測定電極１１４、１１４’と基準電極とによって測定される電気信号から筋電信号を検出する。筋電信号は、身体の筋活動を示す信号である。
筋電デバイス１００の一対の測定電極１１３、１１３’および一対の測定電極１１４、１１４’は、顎の筋肉、舌の筋肉、および喉の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出可能な被験者の身体の位置（例えば、被験者の喉の周囲の位置）に取り付けられる。例えば、一対の測定電極１１３、１１３’が喉仏の左側に取り付けられ、一対の測定電極１１４、１１４’が喉仏の右側に取り付けられる。一対の測定電極１１３、１１３’および一対の測定電極１１４、１１４’は喉仏に対して左右対称であることが好ましい。一対の測定電極１１３、１１３’および一対の測定電極１１４、１１４’が取り付けられる被験者の身体の位置は、顎の筋肉、舌の筋肉、および喉の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出可能な位置であれば、任意の位置であり得るが、好ましくは、顎の筋肉、舌の筋肉、および喉の筋肉の筋活動を示す筋電信号を検出可能な位置である。後述する処理により、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を識別することが可能になるからである。このような被験者の身体の位置は、例えば、被験者の喉の周囲の位置の他に、頬、首の側部等であり得る
第１の筋電センサ１１１および第２の筋電センサ１１２の基準電極は、共通の基準電極であってもよいし、別個の基準電極であってもよい。基準電極は、例えば、被験者の首の後部に取り付けられる。
基準電極と、被験者の喉の左側に取り付けられた一対の測定電極１１３、１１３’とによって、第１の筋電センサ１１１は、顎の左側の筋肉、舌の左側の筋肉、および喉の左側の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出することができる。好ましくは、第１の筋電センサ１１１は、顎の左側の筋肉、舌の左側の筋肉、および喉の左側の筋肉の筋活動を示す筋電信号を検出する。基準電極と、被験者の喉の左側に取り付けられた一対の測定電極１１４、１１４’とによって、第２の筋電センサ１１２は、顎の右側の筋肉、舌の右側の筋肉、および喉の右側の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出することができる。好ましくは、第２の筋電センサ１１２は、顎の右側の筋肉、舌の右側の筋肉、および喉の右側の筋肉の筋活動を示す筋電信号を検出する。
筋電デバイス１００によって検出された筋電信号には、複数の筋肉の筋活動を示す筋電信号が混在しており、そのままでは、どのような動作に由来する筋電信号であるか識別不可能である。そこで、筋電デバイス１００によって検出された筋電信号は、本発明のシステムによって処理される。
図２の（Ａ）は、被験者が顎運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。図２の（Ｂ）は、被験者が舌運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。図２の（Ｃ）は、被験者が喉運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。
本発明のシステムによる所定の処理は、例えば、ショートタイムＦＦＴ等の周波数解析処理である。この周波数解析処理によると、周波数分布の時系列データを得ることができる。図２の（Ａ）は、被験者が口を開け閉めする（開閉口）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示し、図２の（Ｂ）は、被験者が舌を上顎に押し付ける（舌挙上）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示し、図２の（Ｃ）は、被験者が口に物が入っていない状態で飲み込む（空嚥下）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。図２の（Ａ）〜（Ｃ）では、横軸が時系列を表し、縦軸が周波数を表す。縦軸の上が０Ｈｚであり、縦軸の下が４００Ｈｚである。グラフ上の色が周波数成分の強度を表し、色が暗い方が周波数成分が弱く、色が明るい方が周波数成分が強い。図２の（Ａ）〜（Ｃ）のそれぞれにおいて、上側のグラフが、被験者の喉左側に取り付けられた筋電センサ１１１の出力由来のデータを示し、下側のグラフが、被験者の喉の右側に取り付けられた筋電センサ１１２の出力由来のデータを示す。
図２の（Ａ）〜（Ｃ）で筋電信号の周波数分布を比較すると、開閉口動作では、筋電信号の周波数は、筋電信号の周波数帯域全体に幅広く分布しつつ、約５０〜約２００Ｈｚで特に強く均等に分布しており、舌挙上動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０〜２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布しており、空嚥下動作では、筋電信号の周波数は、約１００Ｈｚが特に強く、約１５０Ｈｚを超える高周波数帯域は弱くなるように分布している。
また、図２の（Ａ）〜（Ｃ）で筋電信号の周波数分布の時系列変化を比較すると、開閉口動作では、時間経過で減衰しており、舌挙上動作では、時間経過で減衰しにくくなっており、空嚥下動作では、２つの大きな山が存在する。
このように、筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力には、少なくとも、顎運動の動作、舌運動の動作、または、喉運動の動作と対応付けることが可能な特定のパターンが含まれており、これらのパターンを認識することにより、検出された筋電信号が由来する動作が、顎運動の動作であるか、舌運動の動作であるか、喉運動の動作であるかを認識することが可能である。
検出された筋電信号が由来する動作が、顎運動の動作であるか、舌運動の動作であるか、喉運動の動作であるかを認識することは、例えば、嚥下・咀嚼の運動機能の評価またはリハビリに活用することができる。
例えば、本発明のシステムは、多数の健常者による顎運動の動作、舌運動の動作、喉運動の動作のパターンを教師パターンとして学習し、被験者による顎運動の動作、舌運動の動作、喉運動の動作のパターンと教師パターンとをマッチングした結果を利用して、顎運動、舌運動、または喉運動における動作レベルを決定することができる。動作レベルの決定は健常者の動作の大きさを基準にして被験者が行った動作の大きさを定量的に決定するものであってもよいし、被験者の行った動作が正常であるか否かを定性的に決定するものであってもよい。医師またはリハビリの指導員などの医療関係者は、本発明のシステムからの出力を指標として、被験者の嚥下・咀嚼の運動機能が正常であるかどうかを最終的に評価判断し決定することができる。
例えば、本発明のシステムは、検出された筋電信号に基づいて、被験者による顎運動の動作、舌運動の動作、喉運動の動作のパターンと教師パターンとをマッチングした結果を利用して、顎、舌、または喉の運動不良または障害の程度を定量化することができる。医療関係者（医師またはリハビリの指導員など）は、本発明のシステムからの出力を指標として、運動不良または障害の部位および程度に合わせて、適切なリハビリ指導を行うことができる。例えば、リハビリのために、顎運動、舌運動、喉運動のうちの特定の動作についてのトレーニングを患者に行わせ、適切な動作ができているかの評価指標として、検出された筋電信号を利用することもできる。被験者が適切な動作ができているかを示すために、被験者のアバターをモニターに表示し、検出された筋電信号に基づいた運動の程度を被験者のアバターに表現させるようにしてもよい。これにより、被験者は、自分の意図した運動が実際にはどの程度の運動であるかを客観的に見ることができる。
例えば、多数の健常者による顎運動の動作、舌運動の動作、喉運動の動作のパターンを教師パターンとして学習することにより、顎運動、舌運動、または喉運動における動作レベルの決定精度を向上させることができる。しかしながら、上述した医療関係者による被験者の嚥下・咀嚼の運動機能の評価の目的においては、医療関係者の支援が目的であるため、動作レベルの決定精度が多少低くても（例えば、６０％、７０％等）問題はないことに留意されたい。
２．筋電信号が由来する動作を認識するためのシステムの構成
図３は、筋電信号が由来する動作を認識するためのシステム１０の構成の一例を示す。ここで、筋電信号が由来する動作は、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含むが、好ましくは、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を含む。
図３は、筋電信号が由来する動作を認識するためのシステム１０の構成の一例を示す。ここで、筋電信号が由来する動作は、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含むが、好ましくは、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を含む。
システム１０は、筋電デバイス１００とコンピュータ装置２００とを備える。コンピュータ装置２００には、データベース部２５０が接続されている。筋電デバイス１００とコンピュータ装置２００とは、ネットワークを介して接続される。ここで、ネットワークの種類は問わない。例えば、筋電デバイス１００とコンピュータ装置２００とは、インターネットを介して相互に通信してもよいし、ＬＡＮを介して相互に通信してもよい。
筋電デバイス１００は、２つの筋電センサ１１１、１１２と送信部１１５とを備える。
筋電センサ１１１は、図１に示されるように、一対の測定電極１１３、１１３’と基準電極とを備える。筋電センサ１１２は、図１に示されるように、一対の測定電極１１４、１１４’と基準電極とを備える。筋電センサ１１１、１１２は、身体の筋活動を示す筋電信号を検出可能な任意の検出手段であり得る。例えば、筋電センサ１１１、１１２は、筋電信号の検出のために、１次アンプと、ハイパスフィルタと、ローパスフィルタと、ノッチフィルタと、２次アンプとを備えてもよい。１次アンプおよび２次アンプは、信号を増幅するために使用される。ハイパスフィルタは、所定の周波数より低い周波数の信号、例えば、約１０Ｈｚより低い周波数の信号を減衰させるために使用される。ローパスフィルタは、所定の周波数より高い周波数の信号、例えば、約４００Ｈｚより高い周波数の信号を減衰させるために使用される。ノッチフィルタは、所定の範囲の周波数の信号、例えば、代表的な電気ノイズである５０〜６０ＨｚのＡＣノイズを減衰させるために使用される。ノッチフィルタに代えて、バンドエリミネーションフィルタを使用することも可能である。
送信部１１５は、信号を筋電デバイス１００の外部に送信するように構成されている。送信部１１５は、無線または有線で信号を筋電デバイス１００の外部に送信する。例えば、送信部１１５は、Ｗｉ−ｆｉ等の無線ＬＡＮを利用して信号を送信してもよい。例えば、送信部１１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を利用して信号を送信してもよい。送信部１１５は、筋電センサによって検出された、顎の筋肉、舌の筋肉、および喉の筋肉を含む身体の複数の筋肉の筋活動を示す筋電信号をコンピュータ装置２００に送信する。
図４は、コンピュータ装置２００の構成の一例を示す。
コンピュータ装置２００は、インターフェース部２１０と、プロセッサ部２２０と、メモリ部２３０とを備える。上述したように、コンピュータ装置２００にはデータベース部２５０が接続されている。
インターフェース部２１０は、コンピュータ装置２００の外部との通信を制御するように構成されている。インターフェース部２１０は、コンピュータ装置２００の外部に情報を送信することが可能であり、コンピュータ装置２００の外部から情報を受信することが可能である。インターフェース部２１０は、例えば、筋電デバイス１００またはデータベース部２５０との通信を制御する。インターフェース部２１０は、任意の方法で通信を制御し得る。通信は、有線通信であってもよいし、無線通信であってもよい。
プロセッサ部２２０は、コンピュータ装置２００全体の動作を制御する。プロセッサ部２２０は、メモリ部２３０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータ装置２００を所望のステップを実行する装置として機能させることが可能である。
プロセッサ部２２０は、処理手段２２１と決定手段２２２とを備える。
処理手段２２１は、入力された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力するように構成されている。所定の処理は、例えば、信号波形描画処理、信号強度抽出処理、周波数解析処理を含む。信号波形描画処理は、検出された筋電信号の波形を時系列に描画する処理である。この出力により、筋電信号の波形そのものを確認することができる。信号強度抽出処理は、検出された筋電信号の強度を抽出し、時系列データを取得する処理である。筋電信号の強度は、筋電信号が由来する筋肉の発揮力に比例した値である。信号強度抽出処理は、例えば、全波整流処理と移動平均処理との組み合わせであり得る。周波数解析処理は、検出された筋電信号の周波数分布の時系列データを取得する処理である。筋肉ごとに筋電信号の周波数分布が異なるため、周波数解析処理を行うことにより、主活動筋の違いを見ることが可能である。また、周波数解析処理によると、筋電信号強度が微弱な場合であっても、筋活動を観測することが可能である。周波数解析処理は、例えば、ショートタイムＦＦＴを含む。ショートタイムＦＦＴでは、任意の短時間（例えば、約０．０１秒間〜約１秒間、好ましくは、約０．１秒間または約１２８／１６００秒）に得られた筋電信号に対してＦＦＴが行われる。この時間間隔を短くするほど応答速度（入力に対して出力が応答する速度）が上がる一方で、周波数分解能が下がり、信号の安定性が担保されない。逆に、この時間間隔を長くするほど（例えば、約２５６／１６００秒〜）周波数分解能が上がる一方で、応答速度が下がるため、時間精度が緩慢になりリアルタイムの評価ができなくなる。また、時間間隔が長いほど計算量が大きくなり、装置の高コスト化を招いてしまう。例えば、約０．１秒であれば、筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを識別可能な程度に応答速度と周波数分解能とを維持することができ、比較的に少ない計算量で、信号安定性とリアルタイムの評価とを両立することが可能である。例えば、約０．１秒間隔でＦＦＴが行われる、すなわち、０〜約０．１秒に得られた筋電信号に対してＦＦＴが行われ、約０．１〜約０．２秒に得られた筋電信号に対してＦＦＴが行われ、約０．２〜約０．３秒に得られた筋電信号に対してＦＦＴが行われ、・・・（ｎ−０．１）〜ｎ秒に得られた筋電信号に対してＦＦＴが行われる。ショートタイムＦＦＴによって得られた複数の周波数分布を結合することにより、周波数分布の時系列データを得ることができる。
決定手段２２２は、処理手段２２１から出力された処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定するように構成されている。決定手段２２２は、例えば、データベース部２５０に格納されている動作の教師パターンとパターンマッチングを行うことにより、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定する。このとき、決定手段２２２は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習する学習手段と、処理済の筋電信号と教師パターンとの類似度を算出する算出手段と、類似度が所定の閾値を超えるか否かを判定する判定手段とを備えるようにしてもよい。学習手段は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンに加えて、何も動作をしていないときの教師パターンを学習してもよい。被験者が何も動作をしていない場合であっても、無意識に力が入ることや、環境のノイズの影響等によって、必ずしも筋電信号がゼロにならないからである。これにより、決定手段２２２は、処理済の筋電信号に含まれるパターンが、何も動作をしていないときのパターンであることを決定することが可能である。
なお、決定手段２２２は、処理済の筋電信号に複数のパターンが含まれる場合にも、処理済の筋電信号に含まれる複数のパターンのそれぞれが、複数の動作のパターンのうちのいずれのパターンであるかを決定することができる。これにより、筋電信号が複合的な動作に由来する場合であっても、それらの動作を認識することが可能である。
決定手段２２２は、上述した構成に加えてまたはこれに代えて、処理手段２２１から出力された処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定または障害の有無を評価するように構成されることができる。決定手段２２２は、例えば、データベース部２５０に格納されている動作の教師パターンとパターンマッチングを行うことにより、処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定するまたは障害の有無を評価する。このとき、決定手段２２２は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、または、喉運動の動作の教師パターンを学習する学習手段と、処理済の筋電信号と教師パターンとの類似度を算出する算出手段を備えるようにしてもよい。決定手段２２２は、さらに、類似度が所定の閾値を超えるか否かを判定する判定手段とを備えるようにしてもよい。決定手段２２２は、例えば、類似度が所定の閾値を超えない場合に、被験者の顎運動、舌運動、または喉運動に障害が有ると決定することができる。このような決定手段２２２を備えるシステム１０は、被験者の運動を評価するために用いられることができるようになる。
メモリ部２３０には、処理の実行に必要とされるプログラムやそのプログラムの実行に必要とされるデータ等が格納されている。例えば、メモリ部２３０には、筋電信号が由来する動作を認識するための処理（例えば、図５Ａ、図７Ａで後述する処理）、被験者の運動を評価するための処理（例えば、図５Ｂ、図７Ｂで後述する処理）、または被験者の運動を評価するために用いられる分類器を構築するための処理を実現するためのプログラムが格納されていてもよい。ここで、プログラムをどのようにしてメモリ部２３０に格納するかは問わない。例えば、プログラムは、メモリ部２３０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部２３０にインストールされるようにしてもよいし、光ディスクやＵＳＢ等の記憶媒体を介してメモリ部２３０にインストールされるようにしてもよい。
データベース部２５０には、例えば、筋電デバイス１００の使用者と、筋電デバイス１００から送信された筋電信号から認識された顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターン、または、何も動作をしていないときのパターンとが関連付けて格納され得る。また、データベース部２５０には、決定手段２２２の学習手段によって学習された顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターン、または、何も動作をしていないときの教師パターンが格納され得る。データベース部２５０には、後述するニューラルネットワークの各ノードの重み係数が格納されるようにしてもよい。
図３に示される例では、筋電デバイス１００が２つの筋電センサ１１１、１１２を備える例を説明したが、筋電センサの数はこれに限定されない。筋電デバイス１００が、３つ以上の筋電センサを備えることも本発明の範囲内である。
図３および図４に示される例では、コンピュータ装置２００の各構成要素がコンピュータ装置２００内に設けられているが、本発明はこれに限定されない。コンピュータ装置２００の各構成要素のいずれかがコンピュータ装置２００の外部に設けられることも可能である。例えば、プロセッサ部２２０、メモリ部２３０のそれぞれが別々のハードウェア部品で構成されている場合には、各ハードウェア部品が任意のネットワークを介して接続されてもよい。このとき、ネットワークの種類は問わない。各ハードウェア部品は、例えば、ＬＡＮを介して接続されてもよいし、無線接続されてもよいし、有線接続されてもよい。
図３および図４に示される例では、データベース部２５０は、コンピュータ装置２００の外部に設けられているが、本発明はこれに限定されない。データベース部２５０をコンピュータ装置２００の内部に設けることも可能である。このとき、データベース部２５０は、メモリ部２３０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部２３０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２５０は、コンピュータ装置２００のための記憶部として構成される。データベース部２５０の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２５０は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２５０は、コンピュータ装置２００の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。
３．筋電信号が由来する動作を認識するための処理
図５Ａは、筋電信号が由来する動作を認識するための処理５００の一例を示す。この処理は、システム１０において実行される。ここで、筋電信号が由来する動作は、顎運動の動作、舌運動の動作、および、喉運動の動作のうちの少なくとも２つを含むが、好ましくは、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を含む。
図５Ａは、筋電信号が由来する動作を認識するための処理５００の一例を示す。この処理は、システム１０において実行される。ここで、筋電信号が由来する動作は、顎運動の動作、舌運動の動作、および、喉運動の動作のうちの少なくとも２つを含むが、好ましくは、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を含む。
ステップＳ５０１では、筋電デバイス１００の第１の筋電センサ１１１および第２の筋電センサ１１２が、複数の筋肉の筋活動を示す筋電信号を検出する。第１の筋電センサ１１１は、一対の測定電極１１３、１１３’と基準電極とを用いて筋電信号を検出する。第２の筋電センサ１１２は、一対の測定電極１１４、１１４’と基準電極とを用いて筋電信号を検出する。これらの筋電信号が検出されると、筋電デバイス１００は、検出された筋電信号をコンピュータ装置２００に送信部１１５を介して送信する。コンピュータ装置２００は、インターフェース部２１０を介して検出された筋電信号を受信する。
ステップＳ５０２では、コンピュータ装置２００のプロセッサ部２２０の処理手段２２１が、筋電デバイス１００によって検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する。所定の処理は、例えば、信号波形描画処理、信号強度抽出処理、周波数解析処理を含む。処理手段２２１から出力された処理済の筋電信号は、決定手段２２２に提供される。
ステップＳ５０３では、プロセッサ部２２０の決定手段２２２が、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する。処理済の筋電信号には、少なくとも、顎運動の動作、舌運動の動作、または、喉運動の動作と対応付けることが可能な特定のパターンが含まれており、決定手段２２２は、これらのパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する。決定手段２２２は、例えば、図７Ａで後述する処理によって、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する。このとき、決定手段２２２は、処理済の筋電信号に含まれるパターンが、何も動作をしていないときのパターンであることを決定することも可能である。あるいは、決定手段２２２は、処理済の筋電信号に含まれるパターンが、複数の動作のパターンであり、複数の動作のパターンのそれぞれがいずれのパターンであるかを決定することも可能である。
上記処理により、筋電信号が由来する動作が、顎運動の動作であるか、または、舌運動の動作であるか、または、喉運動の動作であるか、あるいは、複合的な動作であるかを認識することができる。
電信号が由来する動作が、顎運動の動作であるか、または、舌運動の動作であるか、または、喉運動の動作であるか、あるいは、複合的な動作であるかを認識することができるため、例えば、本発明のシステム１０は、これに基づいて、被験者の運動に障害が有るか否かまたは被験者の運動の動作レベルを評価することができる。
図５Ｂは、被験者の運動を評価するための処理５１０の一例を示す。この処理は、システム１０において実行される。
ステップＳ５１１では、筋電デバイス１００の第１の筋電センサ１１１および第２の筋電センサ１１２が、顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する。このステップは、処理５００のステップＳ５０１と同様であるため、説明を省略する。
ステップＳ５１２では、コンピュータ装置２００のプロセッサ部２２０の処理手段２２１が、筋電デバイス１００によって検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する。このステップは、処理５００のステップＳ５０２と同様であるため、説明を省略する。
ステップＳ５１３では、プロセッサ部２２０の決定手段２２２が、処理済の筋電信号に含まれるパターンに基づいて、被験者の所定の運動における動作レベルを決定する。処理済の筋電信号には、少なくとも、健常者の顎運動の動作、健常者の舌運動の動作、または、健常者の喉運動の動作と対応付けることが可能な特定のパターンが含まれており、決定手段２２２は、これらのパターンに基づいて、被験者の顎運動、舌運動、または喉運動を含む所定の運動における動作レベルを決定する。決定手段２２２は、例えば、図７Ｂで後述する処理によって、処理済の筋電信号に含まれるパターンと、健常者の顎運動の動作のパターン、健常者の舌運動の動作のパターン、または、健常者の喉運動の動作のパターンとの類似度を算出し、この類似度に基づいて被験者の顎運動、舌運動、または喉運動を含む所定の運動における動作レベルを決定する。決定手段２２２は、例えば、この類似度に基づいて被験者の顎運動、舌運動、または喉運動を含む所定の運動における障害の有無を評価するようにしてもよい。
図６の（Ａ）〜（Ｊ）は、ステップＳ５０２において処理手段２２１による周波数解析処理後の出力の一例を示すグラフである。図６の（Ａ）〜（Ｊ）では、図２の（Ａ）〜（Ｃ）と同様に、横軸が時系列を表し、縦軸が周波数を表す。縦軸の上が０Ｈｚであり、縦軸の下が約４００Ｈｚである。グラフ上の色が周波数成分の強度を表し、色が暗い方が周波数成分が弱く、色が明るい方が周波数成分が強い。図６の（Ａ）〜（Ｊ）のそれぞれにおいて、上側のグラフが、被験者の喉左側に取り付けられた筋電センサ１１１の出力由来のデータを示し、下側のグラフが、被験者の喉の右側に取り付けられた筋電センサ１１２の出力由来のデータを示す。
図６の（Ａ）は、被験者が口を開け閉めする（開閉口）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。開閉口動作では、筋電信号の周波数は、約１０〜約４００Ｈｚの筋電信号の周波数帯域全体に幅広く分布しつつ、約５０〜約２００Ｈｚで特に強く均等に分布している。
図６の（Ｂ）は、被験者が上下の歯を互いにぶつける（タッピング）動作を連続して行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。タッピング動作では、筋電信号の周波数は、約１０〜約４００Ｈｚの筋電信号の周波数帯域全体に幅広く分布しつつ、約５０〜約２００Ｈｚで特に強く均等に分布している。タッピング動作では、タッピングと同じ周期（例えば、０．１秒、０．２秒、０．３秒、０．５秒等）で周波数分布および信号強度が変動する。
図６の（Ｃ）は、被験者が舌を上顎に押し付ける（舌挙上）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。舌挙上動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０〜２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。
図６の（Ｄ）は、被験者が舌を右側に移動させる（右側移動）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。右側移動動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０〜２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。
図６の（Ｅ）は、被験者が舌を左側に移動させる（左側移動）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。左側移動動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０〜２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。
図６の（Ｆ）は、被験者が舌を前に出す（前方伸展）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。前方伸展動作では、筋電信号の周波数は、約１５０Ｈｚを中心に高くなるように分布している。
図６の（Ｇ）は、被験者が舌を左右に移動させる（左右運動）動作を連続して行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。左右動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０〜２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。左右動作では、左右動作と同じ周期（例えば、約０．５秒、約１秒等）で周波数分布および信号強度が変動する。
図６の（Ｈ）は、被験者が口に物が入っていない状態で飲み込む（空嚥下）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。空嚥下動作では、筋電信号の周波数は、約１００Ｈｚが特に強く、約１５０Ｈｚを超える高周波数帯域は弱くなるように分布している。空嚥下動作では、時系列に２つの連続したピークが存在するように周波数および信号強度が変動する。
図６の（Ｉ）は、被験者が咀嚼調整食品を左側で咀嚼する（左側咀嚼）動作をした場合に検出された筋電信号から得られた周波数分布の時系列データを示す。左側咀嚼動作では、筋電信号の周波数は、約１００Ｈｚを中心として分布し、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。左側咀嚼動作では、咀嚼と同じ周期（例えば、約０．１秒、約０．２秒、約０．３秒、約０．５秒等）で周波数分布および信号強度が変動する。
図６の（Ｊ）は、被験者が咀嚼調整食品を右側で咀嚼する（右側咀嚼）動作をした場合に検出された筋電信号から得られた周波数分布の時系列データを示す。右側咀嚼動作では、筋電信号の周波数は、約１００Ｈｚを中心として分布し、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。左側咀嚼動作では、咀嚼と同じ周期（例えば、約０．１秒、約０．２秒、約０．３秒、約０．５秒等）で周波数分布および信号強度が変動する。
なお、図６の（Ａ）は、図２の（Ａ）と同一のデータを示し、図６の（Ｃ）は、図２の（Ｂ）と同一のデータを示し、図６の（Ｈ）は、図２の（Ｃ）と同一のデータを示す。
図２の（Ａ）〜（Ｃ）を参照して上述したように、例えば、筋電信号の周波数分布およびその時系列変化により、開閉口動作と、舌挙上動作と、空嚥下動作とを識別することができる。
例えば、図６の（Ｃ）〜（Ｅ）で周波数成分の強度を比較すると、舌挙上動作および前方伸展動作における筋電信号の強度の方が、右側移動動作および左側移動動作における筋電信号の強度よりも高いことがわかる。このように、周波数成分の強度を比較することにより、舌挙上動作および前方伸展動作と、右側移動動作および左側移動動作とを識別することが可能である。
例えば、図６の（Ｃ）および（Ｅ）で周波数分布を比較すると、舌挙上動作における筋電信号の周波数成分が強い帯域が１００Ｈｚ近傍の低周波数帯域（図６の（Ｃ）において破線で囲まれた帯域）である一方、前方伸展動作における筋電信号の周波数成分が強い帯域が１００Ｈｚよりも大きい周波数帯域（図６の（Ｆ）において破線で囲まれた帯域）であることがわかる。このように、周波数分布を比較することにより、舌挙上動作と、前方伸展動作とを識別することが可能である。
例えば、図６の（Ｂ）、（Ｉ）、（Ｊ）で周波数分布の時系列変化を比較すると、タッピング動作と、左側咀嚼動作および右側咀嚼動作とでは、顎運動に起因する短い間隔の縞状模様が見て取れる点で共通しているが、咀嚼動作では、顎の筋肉に加えて舌または喉の筋肉も活動するため、縞状模様の間に、舌運動または喉運動に起因する筋電信号が存在する。
表１は、図６の（Ａ）〜（Ｈ）に示される周波数分布の時系列データおよび対応する信号強度分布から得られた、顎運動の動作のパターン、舌運動の動作のパターン、および、喉運動の動作のパターンの信号強度分布の特徴、周波数分布の特徴、および時系列の特徴の一例をまとめた表である。
表１からわかるように、喉運動の信号強度が最も大きく、顎運動の信号強度が次に大きく、舌運動の信号強度が最も弱い。これは、筋電センサ１１、１２の二対の測定電極（１１３、１１３’）（１１４、１１４’）が喉の周囲に取り付けられるため、筋電センサ１１、１２が喉の筋肉の筋活動を示す筋電信号をより強く検出すること、および、顎の筋肉、舌の筋肉、喉の筋肉のうち、顎の筋肉が最も大きな筋肉であることに起因する。すなわち、二対の測定電極（１１３、１１３’）（１１４、１１４’）の測定位置に応じて、信号強度のパターンが変動し得る。
例えば、被験者が咀嚼調整食品を５回片側で咀嚼する（５回咀嚼）動作をした場合に検出された筋電信号から得られた信号強度分布と、被験者が咀嚼調整食品を１０秒間自由に咀嚼する（１０秒咀嚼）動作をした場合に検出された筋電信号から得られた信号強度分布を比較すると、５回咀嚼動作をした場合の信号強度の方が、１０秒咀嚼動作をした場合の信号強度よりも大きい。これは、咀嚼回数を減らすことが無理な嚥下につながり、喉の筋肉に負担がかかるからである。
上述した動作パターンは、もっぱら健常な成人においてみられるパターンであり、健常な子供では、異なる動作パターンを呈することもある。例えば、子供から得られた筋電信号では、空嚥下の動作における周波数の時系列変化において、健常な成人においてみられた時系列に２つの連続したピークがみられず、１つのピークしかみられないことがあった。これは、子供の筋肉が未発達であり、舌または喉のいずれか一方の筋肉のみを使って嚥下動作を行っているからであると考えられる。成人のパターンがみられるか、子供のパターンがみられるかは、例えば、第２次性徴を基準に判断され得る。例えば、第２次性徴後の被験者には、成人のパターンがみられ、第２次性徴前の被験者には、子供のパターンがみられる。
例えば、システム１０は、成人のパターンを識別する動作モードと、子供のパターンを識別する動作モードとを切り替えることにより、被験者が成人であっても、子供であっても、被験者の筋電信号が由来する動作が、顎運動の動作であるか、または、舌運動の動作であるか、または、喉運動の動作であるか、あるいは、複合的な動作であるかを認識することができる。このようなシステム１０による出力結果は、成人および子供の両方の嚥下・咀嚼の運動機能の評価またはリハビリに活用することができる。
図７Ａは、ステップＳ５０３における処理（決定手段２２２が、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する処理）の一例を示す。
ステップＳ７０１では、決定手段２２２の学習手段が、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習する。決定手段２２２は、例えば、インターフェース部２１０を介して受信された顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンのうちの少なくとも２つの特徴を学習し、データベース部２５０に格納する。教師パターンは、顎運動の動作、舌運動の動作、または、喉運動の動作を行った健常者から得られた筋電信号に対して、上述した処理手段２２１による処理と同様の処理を施すことにより得られた処理済の筋電信号に含まれるパターンである。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、表１に説明されるような、信号強度分布の特徴、周波数分布の特徴、および時系列の特徴を含み得る。信号強度分布の特徴によると、測定電極が装着された位置に直近の筋肉が活動しているかを識別することができ、周波数分布の特徴によると、主活動筋の違いを識別することができ、時系列の特徴によると、筋電信号の強度および周波数の時間変化を識別することができる。これらの特徴の組み合わせにより、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを明確に区別することができる。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、信号波形の特徴も含み得る。このとき、学習手段は、上述した教師パターンに加えて、何も動作をしていないときの教師パターンを学習してもよい。
ステップＳ７０２では、変数ｉ＝１が定義される。
ステップＳ７０３では、決定手段２２２の算出手段が、ステップＳ５０２で処理を行った後の処理手段２２１の出力（処理済の筋電信号）に含まれるパターンと、第ｉの教師パターンとの類似度を算出する。ここで、第ｉの教師パターンは、ステップＳ７０１で学習された教師パターンのうちの１つとする。例えば、第１の教師パターンが顎運動の開閉口動作の教師パターンであり、第２の教師パターンが顎運動のタッピング動作の教師パターンであり、第３の教師パターンが舌運動の舌挙上動作の教師パターンであり、第４の教師パターンが舌運動の右側移動動作の教師パターンであり、第５の教師パターンが舌運動の左側移動動作の教師パターンであり、第６の教師パターンが舌運動の前方伸展動作の教師パターンであり、第７の教師パターンが舌運動の左右運動の教師パターンであり、第８の教師パターンが喉運動の空嚥下動作の教師パターンであり得る。算出手段は、正規化相互相関等の公知の類似度算出技術を用いて、処理手段２２１の出力（処理済の筋電信号）と、第ｉの教師パターンとの類似度を算出することができる。
ステップＳ７０４では、ステップＳ７０３で算出された類似度が所定の閾値を超えるかが判定される。所定の閾値は、任意の値であり得る。所定の閾値が高いほど、パターン決定処理（ステップＳ５０３）の信頼度は高くなる。例えば、ステップＳ７０３で算出された類似度が０〜１．０の値をとる場合、所定の閾値は、例えば０．４〜０．９の範囲の値、例えば０．６であり得る。ステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えないと判定された場合、ステップＳ７０５に進む。
ステップＳ７０５では、変数ｉがインクリメントされる。ステップＳ７０４で、類似度が所定の閾値を超えると判定されるまで、ステップＳ７０３〜Ｓ７０５が繰り返される。
ステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えると判定された場合、ステップＳ７０６に進み、処理は終了する。処理手段２２１の出力に含まれる特定のパターンが、類似度が所定の閾値を超えると判定された第ｉの教師パターンが示す動作のパターンであると決定することができるからである。
ステップＳ７０４で、ステップＳ７０３で算出された類似度がいずれも所定の閾値を超えると判定されなかった場合、「動きなし」と決定し、処理を終了することができる。
なお、上述した例では、健常者から得られた教師パターンを学習する例を説明したが、本発明はこれに限定されない。例えば、学習される教師パターンは、被験者と同程度または被験者よりも軽度の障害を有する患者から得られた筋電信号から得られた処理済の筋電信号に含まれるパターンであってもよいし、例えば、被験者本人から得られた筋電信号から得られた処理済の筋電信号に含まれるパターンであってもよい。これにより、決定手段２２２は、被験者の運動レベルに合わせた評価を行うことが可能になり、被験者のモチベーションアップにつなげることができる。例えば、被験者よりも軽度の障害を有する患者のパターンと比較し、その結果を表示することにより、被験者が目指すべき目標が明確になり、被験者のモチベーションがあがる。
上述した例では、類似度が所定の閾値を超えると判定されるまで、各教師パターンとの類似度を順次算出したが、本発明は、これに限定されない。例えば、ニューラルネットワークを用いて、各教師パターンとの類似度を一括して算出することも本発明の範囲内である。
例えば、ステップＳ７０２の代わりのステップＳ７０２’において、決定手段２２２の算出手段は、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、各教師パターンとの類似度を算出するようにしてもよい。このとき、ニューラルネットワークは、例えば、入力層と、隠れ層と、出力層とを有する多層パーセプトロンであり得る。多層パーセプトロンの出力層は、識別すべき動作の数と同じ数の出力ノードを備え得る。多層パーセプトロンの隠れ層は、任意の数のノードを備え得る。多層パーセプトロンの隠れ層の各ノードの重み係数は、ステップＳ７０１の学習する処理において、各教師パターンと、各教師パターンが何の動作であるかを示す教示信号との組み合わせに基づいて計算され得る。例えば、ある教師パターンを入力層に入力した場合の出力層の値が、その教師パターンに対応する教示信号の値となるように、各ノードの重み係数が計算され得る。これは、例えば、バックプロパゲーションによって行われる。このようにして各ノードの重み係数が計算されたニューラルネットワーク出力層の各ノードは、各教師パターンに対応する動作に関連付けられることになる。
例えば、８つの出力ノードを有するニューラルネットワークを用いて表１に示される８つの動作を識別する場合、第１の教師パターンと顎運動の開閉口動作であることを教示する教示信号（１．０、０．０、０．０、０．０、０．０、０．０、０．０、０．０）との組み合わせと、第２の教師パターンと顎運動のタッピング動作であることを教示する教示信号（０．０、１．０、０．０、０．０、０．０、０．０、０．０、０．０）との組み合わせと、第３の教師パターンと舌運動の舌挙上動作であることを教示する教示信号（０．０、０．０、１．０、０．０、０．０、０．０、０．０、０．０）との組み合わせと、第４の教師パターンと舌運動の右側移動動作であることを教示する教示信号（０．０、０．０、０．０、１．０、０．０、０．０、０．０、０．０）との組み合わせと、第５の教師パターンと舌運動の左側移動動作であることを教示する教示信号（０．０、０．０、０．０、０．０、１．０、０．０、０．０、０．０）との組み合わせと、第６の教師パターンと舌運動の前方伸展動作であることを教示する教示信号（０．０、０．０、０．０、０．０、０．０、１．０、０．０、０．０）との組み合わせと、第７の教師パターンと舌運動の左右運動動作であることを教示する教示信号（０．０、０．０、０．０、０．０、０．０、０．０、１．０、０．０）との組み合わせと、第８の教師パターンと喉運動の空嚥下動作であることを教示する教示信号（０．０、０．０、０．０、０．０、０．０、０．０、０．０、１．０）との組み合わせを用いて、各ノードの重み係数が計算された場合、ニューラルネットワークの出力層の第１のノードが顎運動の開閉口動作に関連付けられ、第２のノードが顎運動のタッピング動作に関連付けられ、第３のノードが舌運動の舌挙上動作に関連付けられ、第４のノードが舌運動の右側移動動作に関連付けられ、第５のノードが舌運動の左側移動動作に関連付けられ、第６のノードが舌運動の前方伸展動作に関連付けられ、第７のノードが舌運動の左右運動動作に関連付けられ、第８のノードが喉運動の空嚥下動作に関連付けられることになる。このように各ノードの重み係数が計算されたニューラルネットワークの理想の出力は、例えば、顎運動の開閉口動作を行ったときの筋電信号から得られた処理済の筋電信号を入力したときに出力層の第１のノードが１．０を出力し、その他のノードが０を出力することである。しかしながら、実際は、筋電信号に混在するノイズ等の影響により、理想の出力が得られることはまずない。実際は、出力層の１つ以上のノードが０〜１の範囲の値を出力することになる。出力層の各ノードの値は、入力された処理済の筋電信号と、それぞれのノードが関連付けられた動作に対応するそれぞれの教師パターンとの類似度に相当する。
例えば、出力が（０．０、０．２、０．０、０．８、０．０、０．０、０．０、０．０）であった場合、入力された処理済の筋電信号に含まれるパターンは、第２のノードに関連付けられた顎運動のタッピング動作に対応する教師パターンにわずかに類似しており、第４のノードに関連付けられた舌運動の右側移動動作に対応する教師パターンにより類似しており、その他のノードに関連付けられた動作に対応する教師パターンには類似していないことを示す。このとき、例えば、所定の閾値を０．５とすると、入力された処理済の筋電信号に含まれるパターンが、舌運動の右側移動動作のパターンであると決定される。
例えば、出力が、（０．０、０．０、０．４、０．５、０．０、０．７、０．０、０．４）であった場合、入力された処理済の筋電信号に含まれるパターンは、第３のノード、第４のノード、第８のノードにそれぞれ関連付けられた舌運動の舌挙上動作、舌運動の右側運動動作、空嚥下動作に対応する教師パターンにわずかに類似しており、第６のノードに関連付けられた舌運動の前方伸展動作に対応する教師パターンにより類似しており、その他のノードに関連付けられた動作に対応する教師パターンには類似していないことを示す。このとき、例えば、所定の閾値を０．５とすると、入力された処理済の筋電信号に含まれるパターンが、舌運動の右側移動動作のパターンおよび舌運動の前方伸展動作であると決定される。
好ましい実施形態では、ステップＳ５０３における処理は、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの１以上のいずれであるかを決定する処理である。顎運動の動作のパターンは、開閉口の動作のパターンを含み、舌運動の動作のパターンは、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターンを含み、喉運動の動作のパターンは、空嚥下の動作のパターンを含む。これらのパターンを識別することにより、被験者が嚥下障害を有するか否かまたは嚥下動作における動作レベルを診断することができるようになる。さらに好ましい実施形態では、ステップＳ５０３における処理は、上述した動作のパターンに加えて、顎運動におけるタッピングの動作パターン、舌運動にける舌の左右運動の動作パターンも識別する。これにより、被験者が嚥下障害を有するか否かまたは嚥下動作における動作レベルの診断の精度の向上させることができる。
好ましい実施形態におけるステップＳ７０１では、決定手段２２２の学習手段が、開閉口の動作の教師パターンを含む顎運動の動作の教師パターンと、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターンを含む舌運動の動作の教師パターンと、空嚥下の動作の教師パターンを含む喉運動の動作の教師パターンとを学習する。決定手段２２２は、例えば、インターフェース部２１０を介して受信された顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴を学習し、データベース部２５０に格納する。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、表１に説明されるような、信号強度分布の特徴、周波数分布の特徴、および時系列の特徴を含み得る。信号強度分布の特徴によると、測定電極が装着された位置に直近の筋肉が活動しているかを識別することができ、周波数分布の特徴によると、主活動筋の違いを識別することができ、時系列の特徴によると、筋電信号の強度および周波数の時間変化を識別することができる。これらの特徴の組み合わせにより、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを明確に区別することができる。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、信号波形の特徴も含み得る。このとき、学習手段は、上述した教師パターンに加えて、何も動作をしていないときの教師パターンを学習してもよい。
好ましい実施形態におけるステップＳ７０２では、変数ｉ＝１が定義される。
好ましい実施形態におけるステップＳ７０３では、決定手段２２２の算出手段が、ステップＳ５０２で処理を行った後の処理手段２２１の出力（処理済の筋電信号）に含まれるパターンと、第ｉの教師パターンとの類似度を算出する。ここで、第ｉの教師パターンは、ステップＳ７０１で学習された教師パターンのうちの１つとする。例えば、第１の教師パターンが顎運動の開閉口動作の教師パターンであり、第２の教師パターンが舌運動の舌挙上動作の教師パターンであり、第３の教師パターンが舌運動の右側移動動作の教師パターンであり、第４の教師パターンが舌運動の左側移動動作の教師パターンであり、第５の教師パターンが舌運動の前方伸展動作の教師パターンであり、第６の教師パターンが喉運動の空嚥下動作の教師パターンである。算出手段は、正規化相互相関等の公知の類似度算出技術を用いて、処理手段２２１の出力（処理済の筋電信号）と、第ｉの教師パターンとの類似度を算出することができる。
好ましい実施形態におけるステップＳ７０４では、ステップＳ７０３で算出された類似度が所定の閾値を超えるかが判定される。所定の閾値は、任意の値であり得る。所定の閾値が高いほど、パターン決定処理（ステップＳ５０３）の信頼度は高くなる。例えば、ステップＳ７０３で算出された類似度が０〜１．０の値をとる場合、所定の閾値は、例えば０．４〜０．９の範囲の値、例えば０．６であり得る。ステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えないと判定された場合、ステップＳ７０５に進む。
好ましい実施形態におけるステップＳ７０５では、変数ｉがインクリメントされる。ステップＳ７０４で、類似度が所定の閾値を超えると判定されるまで、ステップＳ７０３〜Ｓ７０５が繰り返される。
好ましい実施形態におけるステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えると判定された場合、ステップＳ７０６に進み、処理は終了する。処理手段２２１の出力に含まれる特定のパターンが、類似度が所定の閾値を超えると判定された第ｉの教師パターンが示す動作のパターンであると決定することができるからである。
上述した好ましい実施形態においても、ステップＳ７０２の代わりのステップＳ７０２’において、決定手段２２２の算出手段が、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、各教師パターンとの類似度を算出するようにしてもよい。
上述した例では、ステップＳ５０３中のステップＳ７０１で、決定手段２２２の学習手段が学習することを説明したが、決定手段２２２の学習手段は、処理５００を開始する前に、ステップＳ７０１と同様の処理を行い、予め顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習しておいてもよい。この場合、ステップＳ５０３における処理では、ステップＳ７０１は省略される。ステップＳ７０２の代わりのステップＳ７０２’において、決定手段２２２の算出手段が、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、各教師パターンとの類似度を算出する場合であっても同様に、処理５００を開始する前に、決定手段２２２の学習手段は、ニューラルネットワークを用いて、識別すべき動作の教師パターンを学習しておくことができる。
学習する処理は、例えば、顎運動、舌運動、または喉運動のうちの少なくとも２つを含む所定の運動における障害の無い被験者（すなわち、健常者）が所定の運動を行った場合の筋肉の筋活動を示す筋電信号を筋電デバイスが検出することと、検出された筋電信号をプロセッサ部２２０が受信することと、プロセッサ部２２０が、受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、プロセッサ部２２０が、処理済の筋電信号に含まれるパターンを所定の運動におけるパターンとして学習することとを含む。所定の処理は、例えば、上述した処理手段２２１による処理と同様の処理である。
学習する処理は、例えば、顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンを用いて行われてもよく、好ましくは、開閉口の動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標として有用な、開閉口の動教師パターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。さらに好ましくは、開閉口の動作の教師パターン、タッピングの動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、舌の左右移動の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標としてさらに有用な、開閉口の動作のパターン、タッピングの動作のパターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、舌の左右移動の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。
図７Ｂは、ステップＳ５１３における処理（決定手段２２２が、処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定する処理）の一例を示す。
ステップＳ７１１では、決定手段２２２の学習手段が、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの所定の動作に対応する動作の教師パターンを学習する。決定手段２２２は、例えば、インターフェース部２１０を介して受信された顎運動の動作の教師パターン、舌運動の動作の教師パターン、または、喉運動の動作の教師パターンを学習し、データベース部２５０に格納する。教師パターンは、顎運動の動作、舌運動の動作、または、喉運動の動作を行った健常者から得られた筋電信号に対して、上述した処理手段２２１により処理と同様の処理を施すことにより得られた処理済の筋電信号に含まれるパターンである。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、表１に説明されるような、信号強度分布の特徴、周波数分布の特徴、および時系列の特徴を含み得る。信号強度分布の特徴によると、測定電極が装着された位置に直近の筋肉が活動しているかを識別することができ、周波数分布の特徴によると、主活動筋の違いを識別することができ、時系列の特徴によると、筋電信号の強度および周波数の時間変化を識別することができる。これらの特徴の組み合わせにより、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを明確に区別することができる。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、信号波形の特徴も含み得る。
ステップＳ７１２では、決定手段２２２の算出手段が、ステップＳ５１２で処理を行った後の処理手段２２１の出力（処理済の筋電信号）に含まれるパターンと、教師パターンとの類似度を算出する。算出手段は、正規化相互相関等の公知の類似度算出技術を用いて、処理手段２２１の出力（処理済の筋電信号）と、教師パターンとの類似度を算出することができる。あるいは、算出手段は、上述したニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、教師パターンとの類似度を算出するようにしてもよい。
上述した類似度は、例えば、決定手段２２２によって、被験者の動作レベルを決定するために利用されることができる。例えば、類似度が０〜１．０で表される場合、類似度１．０は、健常者と同程度の動作レベルであることを示し、所定の閾値以下の類似度は、その動作ができていないことを示し、所定の閾値より大きいが類似度１．０より小さい類似度は、その動作ができてはいるが、健常者の動作レベルほどではないことを示す。例えば、所定の閾値を０．５とすると、類似度０．６は、健常者の動作レベルに比べて２０％程度の動作レベルであることを示し、類似度０．７は、健常者の動作レベルに比べて４０％程度の動作レベルであることを示し、類似度０．８は、健常者の動作レベルに比べて６０％程度の動作レベルであることを示し、類似度０．８は、健常者の動作レベルに比べて８０％程度の動作レベルであることを示す。
例えば、被験者に喉運動の空嚥下動作を行わせ、そのときの筋電信号に含まれる動作のパターンと空嚥下の教師パターンとの類似度を決定した場合、類似度１．０は、健常者と同程度の空嚥下動作レベルであることを示し、所定の閾値以下の類似度は、空嚥下の動作ができていないことを示し、所定の閾値より大きいが類似度１．０より小さい類似度は、空嚥下の動作ができてはいるが、喉の運動に障害が有り、健常者の空嚥下の動作レベルほどではないことを示す。例えば、所定の閾値を０．５とすると、類似度０．６は、健常者の空嚥下の動作レベルに比べて２０％程度の動作レベルであることを示し、類似度０．７は、健常者の空嚥下の動作レベルに比べて４０％程度の動作レベルであることを示し、類似度０．８は、健常者の空嚥下の動作レベルに比べて６０％程度の動作レベルであることを示し、類似度０．８は、健常者の空嚥下の動作レベルに比べて８０％程度の動作レベルであることを示す。
類似度に基づいた動作レベルは、例えば、数値としてモニターに表示することによって、被験者に提示されるようにしてもよいし、被験者のアバターに運動を表現させることによって、被験者に提示されるようにしてもよい。これにより、被験者は、健常者と比較したときの自身の障害のレベルを確認することができる。あるいは、リハビリを行う被験者は、経時的に動作レベルを提示されることにより、リハビリの進捗レベルを確認することもできる。
上述した類似度は、例えば、被験者の運動における障害の有無を評価するためにも利用されることができる。例えば、ステップＳ７１２で算出された類似度は、所定の閾値を超えるかが判定され、ステップＳ７１２で算出された類似度が所定の閾値を超えないと判定された場合、ステップＳ７１４に進み、被験者の所定の運動において障害が有ると評価し、ステップＳ７１２で算出された類似度が所定の閾値を超えると判定された場合、ステップＳ７１５に進み、被験者の所定の運動において障害が無いと評価する。所定の閾値は、任意の値であり得る。所定の閾値が高いほど、障害の有無を評価する処理（ステップＳ５１３）の信頼度は高くなる。例えば、ステップＳ７１２で算出された類似度が０〜１．０の値をとる場合、所定の閾値は、例えば０．４〜０．９の範囲の値、例えば０．７であり得る。
例えば、被験者に喉運動の空嚥下動作を行わせ、そのときの筋電信号に含まれる動作のパターンと空嚥下の教師パターンとの類似度を決定した場合、所定の閾値を０．６とすると、０．６以下の類似度は、嚥下運動に障害が有ることを示し、０．６より大きい類似度は、嚥下運動に障害が無いことを示す。
被験者の運動における障害の有無は、例えば、複数の動作を行わせることによって評価するようにしてもよい。例えば、複数の動作のうち、類似度が所定の閾値より大きい動作が所定数未満である場合に、その被験者にその運動における障害が有ることを示し、類似度が所定の閾値より大きい動作が所定数以上である場合に、その被験者にその運動における障害が無いことを示すようにしてもよい。
例えば、被験者に顎の開閉口の動作、舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、舌の前方伸展の動作、空嚥下の動作を行わせ、それぞれの動作の筋電信号に含まれる動作のパターンと、顎の開閉口の動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、空嚥下の動作の教師パターンのそれぞれとの類似度を決定した場合、所定数を４とすると、６つの動作の類似度のうち所定の閾値より大きい類似度が４つ未満である場合、その被験者に嚥下運動または咀嚼運動における障害が有ることを示し、６つの動作の類似度のうち所定の閾値より大きい類似度が４つ以上である場合、その被験者に嚥下運動または咀嚼運動における障害が無いことを示す。
上述した例では、ステップＳ５１３中のステップＳ７１１で、決定手段２２２の学習手段が学習することを説明したが、決定手段２２２の学習手段は、処理５００を開始する前に、ステップＳ７１１と同様の処理を行い、予め顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの所定の動作に対応する動作の教師パターンを学習しておいてもよい。この場合、ステップＳ５１３における処理では、ステップＳ７１１は省略される。ステップＳ７１２において、決定手段２２２の算出手段が、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、教師パターンとの類似度を算出する場合であっても同様に、処理５００を開始する前に、決定手段２２２の学習手段は、ニューラルネットワークを用いて、識別すべき動作の教師パターンを学習しておくことができる。
学習する処理は、例えば、顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者（すなわち、健常者）が所定の運動を行った場合の筋肉の筋活動を示す筋電信号を筋電デバイスが検出することと、検出された筋電信号をプロセッサ部２２０が受信することと、プロセッサ部２２０が、受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、プロセッサ部２２０が、処理済の筋電信号に含まれるパターンを所定の運動におけるパターンとして学習することとを含む。所定の処理は、例えば、上述した処理手段２２１による処理と同様の処理である。
学習する処理は、例えば、顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンを用いて行われてもよく、好ましくは、開閉口の動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標として有用な、開閉口の動教師パターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。さらに好ましくは、開閉口の動作の教師パターン、タッピングの動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、舌の左右移動の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標としてさらに有用な、開閉口の動作のパターン、タッピングの動作のパターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、舌の左右移動の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。
図７Ａに示される例では、類似度が所定の閾値を超える１つの教師パターンを決定したが、類似度が所定の閾値を超える複数の教師パターンを決定することも本発明の範囲内である。例えば、学習された教師パターンのすべてに対してステップＳ７０３〜ステップＳ７０４を行うことにより、類似度が所定の閾値を超えると判定された１以上の教師パターンを決定し、処理済の筋電信号に含まれる複数のパターンのそれぞれが、決定された１以上の教師パターンのそれぞれが示す動作のパターンであると決定するようにしてもよい。例えば、ステップＳ７０２’において、ニューラルネットワークの出力から、類似度が所定の閾値を超えると判定された１以上の教師パターンを決定し、処理済の筋電信号に含まれる複数のパターンのそれぞれが、決定された１以上の教師パターンのそれぞれが示す動作のパターンであると決定するようにしてもよい。例えば、学習された教師パターンのすべてに対してステップＳ７０３〜ステップＳ７０４を行い、類似度が所定の閾値を超えると判定された１以上の教師パターンから、最適な１つの教師パターンを決定するようにしてもよい。例えば、ステップＳ７０２’において、ニューラルネットワークの出力から、類似度が所定の閾値を超えると判定された１以上の教師パターンから、最適な１つの教師パターンを決定するようにしてもよい。最適な１つの教師パターンを決定することは、例えば、最も類似度が高い教師パターンを決定することによって行われてもよい。最適な１つの教師パターンを決定することは、例えば、過去のデータと照合することによって行われてもよい。例えば、直近の認識処理において認識された結果から動作の傾向を推定し、その傾向に沿った動作の教師パターンを最適な１つの教師パターンとして決定する。例えば、直近の過去３回の認識処理において舌挙上動作のパターンが認識された後に、舌挙上動作の教師パターンと、前方伸展動作の教師パターンとについて、類似度が所定の閾値を超えると判定された場合、直近の認識処理の結果から、舌挙上動作の教師パターンを最適な１つの教師パターンとして決定する。いずれの手法で最適な１つの教師パターンを決定してもよいが、好ましくは、直近の認識処理において認識された結果から動作の傾向を推定し、その傾向に沿った動作の教師パターンを最適な１つの教師パターンとして決定することである。過去のデータを参酌することにより、パターン決定における誤差を補償することができるからである。
本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
本発明は、筋電信号が由来する動作であって、顎運動の動作、舌運動の動作、および、喉運動の動作のうちの少なくとも２つを含む動作を認識するためのシステム、方法、およびプログラムを提供するものとして有用である。
１０ システム
１００ 筋電デバイス
１１１、１１２ 筋電センサ
１１３、１１３’ 一対の測定電極
１１４、１１４’ 一対の測定電極
１１５ 送信部１１５
２００ コンピュータ装置
２１０ インターフェース部
２２０ プロセッサ部
２３０ メモリ部
２５０ データベース部
１００ 筋電デバイス
１１１、１１２ 筋電センサ
１１３、１１３’ 一対の測定電極
１１４、１１４’ 一対の測定電極
１１５ 送信部１１５
２００ コンピュータ装置
２１０ インターフェース部
２２０ プロセッサ部
２３０ メモリ部
２５０ データベース部
Claims (13)
- 被験者の運動を評価するためのシステムであって、前記システムは、
顎運動、舌運動、および喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段であって、前記決定手段は、前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて学習する処理が施されており、前記決定手段は、前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段を備える、決定手段と
を備える、システム。 - 前記学習する処理は、さらに前記顎運動の動作に関するタッピングの動作の教師パターン、および、前記舌運動の動作に関する舌の左右移動の動作の教師パターンを用いて施されている、請求項１に記載のシステム。
- 前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む、請求項１または請求項２に記載のシステム。
- 前記周波数解析処理は、ショートタイムＦＦＴを含む、請求項３に記載のシステム。
- 前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む、請求項３または請求項４に記載のシステム。
- 前記決定手段は、さらに、前記類似度に基づいて、前記所定の運動における障害の有無を評価する、請求項１〜５のいずれか一項に記載のシステム。
- 前記検出手段は、二対の測定電極を備える筋電センサを備え、
前記二対の測定電極は、顎の筋肉、舌の筋肉、または、喉の筋肉の筋活動を示す筋電信号を検出可能なように構成される、請求項１〜６のいずれか一項に記載のシステム。 - 被験者の運動を評価するための方法であって、前記方法は、
顎運動、舌運動、および喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することであって、前記決定することは、前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて学習する処理が施されている分類器を用いて、前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出することを含む、ことと
を含む、方法。 - 被験者の運動を評価するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記コンピュータ装置は、前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて学習する処理が施されている学習手段を備え、前記プログラムは、実行されると、
顎運動、舌運動、および喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を受信することと、
前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することであって、前記決定することは、前記学習手段を用いて前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出することを含む、ことと
を含む処理を前記プロセッサ部に行わせる、プログラム。 - 被験者の運動を評価するために用いられる分類器であって、前記分類器は、
顎運動、舌運動、および喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習する学習手段と
を備え、前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、分類器。 - 前記所定の運動は、さらに前記顎運動の動作に関するタッピングの動作、および前記舌運動の動作に関する舌の左右移動の動作を含む、請求項１０に記載の分類器。
- 被験者の運動を評価するために用いられる分類器を構築するための方法であって、前記方法は、
顎運動、舌運動、および喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
を含み、前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、方法。 - 被験者の運動を評価するために用いられる分類器を構築するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
顎運動、舌運動、および喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を受信することと、
前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
を含む処理を前記プロセッサ部に行わせ、前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017147242 | 2017-07-28 | ||
| JP2017147242 | 2017-07-28 | ||
| PCT/JP2018/028492 WO2019022259A1 (ja) | 2017-07-28 | 2018-07-30 | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019079431A Division JP2019162441A (ja) | 2017-07-28 | 2019-04-18 | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6521420B1 true JP6521420B1 (ja) | 2019-05-29 |
| JPWO2019022259A1 JPWO2019022259A1 (ja) | 2019-07-25 |
Family
ID=65040598
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019502118A Active JP6521420B1 (ja) | 2017-07-28 | 2018-07-30 | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
| JP2019079431A Pending JP2019162441A (ja) | 2017-07-28 | 2019-04-18 | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019079431A Pending JP2019162441A (ja) | 2017-07-28 | 2019-04-18 | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200046284A1 (ja) |
| EP (1) | EP3711667A4 (ja) |
| JP (2) | JP6521420B1 (ja) |
| CN (1) | CN110536636A (ja) |
| WO (1) | WO2019022259A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD853569S1 (en) * | 2017-01-16 | 2019-07-09 | Meltin Mmi Co., Ltd. | Biosignal detector |
| CN111772653B (zh) * | 2020-07-17 | 2023-07-25 | 南方医科大学南方医院 | 一种钡剂吞咽的识别曝光方法、系统、装置及介质 |
| JP7428383B2 (ja) * | 2020-08-31 | 2024-02-06 | 国立大学法人岩手大学 | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム |
| CN114781439B (zh) * | 2022-03-29 | 2023-05-30 | 深圳市应和脑科学有限公司 | 模型获取系统、手势识别方法、装置、设备及存储介质 |
| WO2024096074A1 (ja) * | 2022-11-04 | 2024-05-10 | 株式会社明治 | 咀嚼動作解析方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005304890A (ja) * | 2004-04-23 | 2005-11-04 | Kumamoto Technology & Industry Foundation | 嚥下障害の検知方法 |
| JP2012232065A (ja) * | 2011-05-09 | 2012-11-29 | Iwate Univ | 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2009337091B2 (en) * | 2009-01-15 | 2014-01-23 | Société des Produits Nestlé S.A. | Methods of diagnosing and treating dysphagia |
| JP5464072B2 (ja) * | 2010-06-16 | 2014-04-09 | ソニー株式会社 | 筋活動診断装置および方法、並びにプログラム |
| DK2667777T3 (en) * | 2011-01-28 | 2016-10-03 | Nestec Sa | APPARATUS FOR DIAGNOSIS OF SAG dysfunction |
| CN104039223B (zh) | 2011-12-09 | 2016-01-06 | 国立大学法人东京大学 | 口腔传感器 |
| US9042992B2 (en) * | 2012-08-31 | 2015-05-26 | University Of Florida Research Foundation, Inc. | Protecting airways |
| CN106344013A (zh) * | 2016-10-19 | 2017-01-25 | 清华大学第附属医院 | 一种八通道同步获取表面肌电图的方法 |
-
2018
- 2018-07-30 WO PCT/JP2018/028492 patent/WO2019022259A1/ja active Application Filing
- 2018-07-30 JP JP2019502118A patent/JP6521420B1/ja active Active
- 2018-07-30 EP EP18837274.2A patent/EP3711667A4/en not_active Withdrawn
- 2018-07-30 CN CN201880025306.9A patent/CN110536636A/zh active Pending
- 2018-07-30 US US16/486,006 patent/US20200046284A1/en not_active Abandoned
-
2019
- 2019-04-18 JP JP2019079431A patent/JP2019162441A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005304890A (ja) * | 2004-04-23 | 2005-11-04 | Kumamoto Technology & Industry Foundation | 嚥下障害の検知方法 |
| JP2012232065A (ja) * | 2011-05-09 | 2012-11-29 | Iwate Univ | 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3711667A4 (en) | 2021-05-05 |
| WO2019022259A1 (ja) | 2019-01-31 |
| JP2019162441A (ja) | 2019-09-26 |
| CN110536636A (zh) | 2019-12-03 |
| JPWO2019022259A1 (ja) | 2019-07-25 |
| US20200046284A1 (en) | 2020-02-13 |
| EP3711667A1 (en) | 2020-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6521420B1 (ja) | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム | |
| CN106999065B (zh) | 使用加速度测量术的可穿戴疼痛监测器 | |
| JP4011071B2 (ja) | 嚥下音解析システム | |
| Sucar et al. | Gesture therapy: A vision-based system for upper extremity stroke rehabilitation | |
| JP5924724B2 (ja) | 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置 | |
| KR101576526B1 (ko) | 재활운동 지원 장치 및 방법 | |
| US20170351825A1 (en) | Method and apparatus for quantifying and monitoring the frailty of a subject | |
| US20220008003A1 (en) | System for identifying information represented by biological signals | |
| US20200405216A1 (en) | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and recording medium | |
| US20160353995A1 (en) | System and Method for Monitoring Fatigue | |
| Gauthier et al. | Human movement quantification using Kinect for in-home physical exercise monitoring | |
| KR101087135B1 (ko) | 모션 콘텐츠 기반의 학습 장치 및 방법 | |
| JP2019051129A (ja) | 嚥下機能解析システム及びプログラム | |
| Ryan et al. | Ability of RT3 accelerometer cut points to detect physical activity intensity in ambulatory children with cerebral palsy | |
| KR20220072026A (ko) | 재활 로봇을 이용한 재활 훈련 방법 및 시스템 | |
| JP2018175795A (ja) | 使役犬による作業の効率を向上させるための方法およびシステム | |
| KR20210009708A (ko) | 식사 모니터링 방법, 장치 및 시스템 | |
| Quijano-González et al. | Upper limb functional assessment of children with cerebral palsy using a sorting box | |
| KR20220096279A (ko) | 스마트 미러 기반의 자세 교정 시스템 | |
| KR20220042645A (ko) | 근감소증 진단장치 및 진단방법 | |
| JP2015112374A (ja) | 運動器障害評価システム、運動器障害評価装置、プログラムおよび運動器障害評価方法 | |
| US20240215911A1 (en) | System and method for multimodal biological feedback measurement | |
| JP6727595B1 (ja) | 嚥下能力評価システム、嚥下能力評価方法及び嚥下能力評価プログラム | |
| KR20240107431A (ko) | 앉았다 일어서기 (Chair-rise test) 동작 특성을 이용하여 근감소증을 진단하는 방법, 이에 사용되는 근감소증 진단 모델을 학습시키는 방법, 그리고 그 시스템 | |
| Sakata et al. | Simplified standing function and sensory evaluation system for fall prevention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190116 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190116 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6521420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |