JP7477309B2 - 生体信号が表す情報を識別するためのシステム - Google Patents

生体信号が表す情報を識別するためのシステム Download PDF

Info

Publication number
JP7477309B2
JP7477309B2 JP2020008620A JP2020008620A JP7477309B2 JP 7477309 B2 JP7477309 B2 JP 7477309B2 JP 2020008620 A JP2020008620 A JP 2020008620A JP 2020008620 A JP2020008620 A JP 2020008620A JP 7477309 B2 JP7477309 B2 JP 7477309B2
Authority
JP
Japan
Prior art keywords
biosignal
teaching data
computer device
movement
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020008620A
Other languages
English (en)
Other versions
JP2020096851A5 (ja
JP2020096851A (ja
Inventor
昌宏 粕谷
達也 關
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MELTIN MMI CO., LTD.
Original Assignee
MELTIN MMI CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=66665034&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7477309(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by MELTIN MMI CO., LTD. filed Critical MELTIN MMI CO., LTD.
Publication of JP2020096851A publication Critical patent/JP2020096851A/ja
Publication of JP2020096851A5 publication Critical patent/JP2020096851A5/ja
Application granted granted Critical
Publication of JP7477309B2 publication Critical patent/JP7477309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205Evaluating swallowing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6822Neck
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6823Trunk, e.g., chest, back, abdomen, hip
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6828Leg
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/54Artificial arms or hands or parts thereof
    • A61F2/58Elbows; Wrists ; Other joints; Hands
    • A61F2/583Hands; Wrist joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0292Stretching or bending or torsioning apparatus for exercising for the spinal column
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00773Sensed parameters
    • A61B2018/00839Bioelectrical parameters, e.g. ECG, EEG
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/60Artificial legs or feet or parts thereof
    • A61F2/66Feet; Ankle joints
    • A61F2002/6614Feet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2002/704Operating or control means electrical computer-controlled, e.g. robotic control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/08Other bio-electrical signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/08Other bio-electrical signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/08Measuring physiological parameters of the user other bio-electrical signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Transplantation (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Gastroenterology & Hepatology (AREA)

Description

本発明は、生体信号が表す情報を識別するためのシステムに関する。
従来から、筋電信号等の生体信号を、車椅子、義手、義足等の機器の制御に用いる試みがなされている(特許文献1)。
特開2001-331250号公報
しかしながら、筋電信号等の生体信号が表す動作が何の動作であるかを識別する精度は依然として十分ではない。特に、生体信号のレベルが低い場合または複数の動作の生体信号が混在する場合の識別精度は低い。
本発明は、生体信号の識別精度を向上させることを可能にする、生体信号が表す情報を識別するためのシステムを提供することによって、上記課題を解決することを目的とする。また、生体信号が表す情報を識別するためのシステムをリハビリ分野または診断分野に適用した手指リハビリ装置および嚥下診断装置を提供することも目的とする。
本発明は、例えば、以下の項目を提供する。
(項目1)
生体信号が表す情報を識別するためのシステムであって、前記システムは、
生体信号を検出する検出手段と、
前記検出された生体信号を解析して特徴データを出力する解析手段と、
前記特徴データと、複数の教示データのうちの各々との類似度を決定する第1の決定手段と、
前記類似度を時刻ごとに時系列に記憶する記憶手段と、
前記記憶手段に記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、前記生体信号が表す情報を決定する第2の決定手段と
を備える、システム。
(項目2)
前記第2の決定手段は、
前記所定期間内の複数の類似度に基づいて前記複数の教示データごとに演算値を算出することと、
前記演算値のうち最も高い演算値に対応する教示データを抽出し、抽出された前記教示データが示す情報を、前記生体信号が表す情報として決定する、項目1に記載のシステム。
(項目3)
前記第2の決定手段は、
前記所定期間内の複数の類似度に基づいて前記複数の教示データごとに演算値を算出することと、
前記演算値のうち所定の閾値を超える演算値に対応する少なくとも1つの教示データを抽出し、抽出された前記教示データが示す情報を、前記生体信号が表す情報として決定する、項目1に記載のシステム。
(項目4)
前記第2の決定手段は、前記演算値のうち所定の閾値を超える演算値に対応する複数の教示データを抽出し、抽出された前記複数の教示データのそれぞれが示す情報を、前記生体信号が表す情報として決定する、項目3に記載のシステム。
(項目5)
前記生体信号が表す情報は、複合動作が行われたことを示す、項目4に記載のシステム。
(項目6)
前記演算値は、合計値である、項目2~5のいずれか一項に記載のシステム。
(項目7)
前記記憶手段は、情報を一時的に記憶するバッファであり、前記類似度は前記バッファに一時的に記憶される、項目1~6のいずれか一項に記載のシステム。
(項目8)
前記所定期間は、約80~200msである、項目1~7のいずれか一項に記載のシステム。
(項目9)
前記検出手段を対象の身体に装着するための装着手段をさらに備える、項目1~8のいずれか一項に記載のシステム。
(項目10)
前記身体が、前記対象の上肢、腹部、首部、下肢、または背中である、項目9に記載のシステム。
(項目11)
手指リハビリ用、嚥下診断用、車椅子用、義手用、義腕用、義足用、ロボット用、上肢補助装置用、下肢補助装置用、または、体幹補助装置用の、項目1~10のいずれか一項に記載のシステム。
(項目12)
項目1~11のいずれか一項に記載のシステムと、
手指運動アシスト装置と
を備える手指リハビリ装置。
(項目13)
項目1~11のいずれか1項に記載のシステムを備える嚥下診断装置。
本発明によれば、生体信号の識別精度を向上させることを可能にする、生体信号が表す情報を識別するためのシステムを提供することができる。また、生体信号が表す情報を識別するためのシステムをリハビリ分野または診断分野にも適用した手指リハビリ装置および嚥下診断装置を提供することができる。
本発明の生体信号が表す情報を識別するためのシステム10の構成の一例を示す図。 コンピュータ装置200の構成の一例を示す図。 第1の決定手段222によって用いられるニューラルネットワーク300の構造の一例を示す図。 メモリ部230のバッファに記憶されている類似度のデータ構成の一例を示す図。 本発明の生体信号が表す情報を識別するため処理の一例を示すフローチャート。 メモリ部230のバッファに記憶されている類似度の一例を示す図。 第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度を教示データごとに合計することにより、合計値を得ることを説明する図。 第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度を教示データごとに合計することにより、合計値を得ることを説明する図。 メモリ部230のバッファに記憶されている類似度の別の例を示す図。 第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度を教示データごとに合計することにより、合計値を得ることを説明する図。 第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度を教示データごとに合計することにより、合計値を得ることを説明する図。 手指運動アシスト装置700の外観を示す図。 手指運動アシスト装置700を使用者の手指に装着した状態を示す図。 被験者の上肢の皮膚に装着された筋電センサから検出された筋電信号が表す動作を識別する実験の結果を示すグラフ。 図8のグラフの破線部分を拡大したグラフ。 筋電信号のレベルが低い被験者の上肢の皮膚に装着された筋電センサから検出された筋電信号が表す動作を識別する試験の結果を示すグラフ。 図10のグラフの破線部分を拡大したグラフ。
以下、本発明を説明する。本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
(1.用語の定義)
本明細書において、「生体信号」とは、生体が発する信号のことをいう。生体信号は、例えば、生体の筋肉の活動を示す筋電信号、生体の心臓の活動を示す心電信号、生体の脳の活動を示す脳波、神経細胞において伝達される神経信号等を含むがこれらに限定されない。本明細書で扱う生体信号は、計測された広義の生体信号から抽出されたスカラー量を指す。スカラー量の生体信号を扱うことにより、座標依存性がなくなり、極めて高い汎用性と利便性を実現することができる。本明細書では生体信号の特定の値は、特定の情報(例えば、生体の特定の動作(例えば、手を握る動作、手を開く動作、笑う動作等)、生体の特定の状態(例えば、筋疲労の程度、種類等))と関連付けられ得る。
本明細書において、「特徴データ」とは、スカラー量の生体信号に解析処理を施して得られた多次元データのことをいう。
本明細書において、「教示信号」とは、生体信号の特定の値が特定の情報を表すことを教示するための信号のことをいう。例えば、教示信号により、生体信号の特定の値が、生体の特定の動作を表すことを教示することができる。例えば、教示信号により、生体信号の特定の値が、生体の特定の状態を表すことを教示することができる。
本明細書において、「教示データ」とは、教示信号に対応する多次元データのことをいう。教示データの次元数は、識別すべき情報の数に対応する。例えば、5つの情報を教示する場合、少なくとも教示データの次元数は5であり、教示データは、(a、b、c、d、e)によって表される(0≦a、b、c、d、e≦1)。例えば、第1の情報であることを教示する教示信号「1」に対応する教示データ1は、(1.0、0.0、0.0、0.0、0.0)となり、第2の情報であることを教示する教示信号「2」に対応する教示データ2は、(0.0、1.0、0.0、0.0、0.0)となり、第3の情報であることを教示する教示信号「3」に対応する教示データ3は、(0.0、0.0、1.0、0.0、0.0)となり、第4の情報であることを教示する教示信号「4」に対応する教示データ4は、(0.0、0.0、0.0、1.0、0.0)となり、第5の情報であることを教示する教示信号「5」に対応する教示データ5は、(0.0、0.0、0.0、0.0、1.0)となり得る。
本明細書において、「約」とは、後に続く数値の±10%を意味する。
以下、図面を参照しながら、本発明の実施の形態を説明する。
(2.本発明の生体信号が表す情報を識別するためのシステムの構成)
図1は、本発明の生体信号が表す情報を識別するためのシステム10の構成の一例を示す。システム10は、生体信号検出手段100とコンピュータ装置200とを備える。生体信号検出手段100は、生体信号を検出して、検出された生体信号を出力するように構成されている任意の手段であり得る。例えば、生体信号検出手段100は、生体の筋電信号を検出可能な筋電センサを備える筋電デバイス、生体の心電信号を検出可能な心電センサを備える心電計、生体の脳波を検出可能な脳波センサを備える脳波計等であり得る。生体信号検出手段100は、検出された生体信号が座標依存性を有する生体信号である場合(例えば、検出された脳波が(計測部位の座標,強度)のベクトル量である場合、または、フィルム上の電極で検出された筋電信号が(計測部位の座標,強度)のベクトル量である場合等)に、検出された生体信号からスカラー量を抽出して出力するように構成され得る。コンピュータ装置200には、データベース部250が接続されている。生体信号検出手段100とコンピュータ装置200とは、任意の態様で接続される。例えば、生体信号検出手段100とコンピュータ装置200とは、有線で接続されてもよいし、無線で接続されてもよい。例えば、生体信号検出手段100とコンピュータ装置200とは、ネットワーク(例えば、インターネット、LAN等)を介して接続されてもよい。コンピュータ装置200は、例えば、生体信号検出手段100と共に使用されるコンピュータ装置であってもよいし、例えば、生体信号検出手段100とは離れた位置にある遠隔サーバ装置であってもよい。
生体信号検出手段100は、検出部110と、送信部120とを備える。
検出部110は、生体信号を検出するように構成されている任意の手段であり得る。例えば、検出部110は、生体の筋電信号を検出可能な筋電センサ、生体の心電信号を検出可能な心電センサ、生体の脳波を検出可能な脳波センサ等であり得る。例えば、検出部110が筋電センサである場合は、筋電信号の検出のために、1次アンプと、ハイパスフィルタと、ローパスフィルタと、ノッチフィルタと、2次アンプとを備えてもよい。1次アンプおよび2次アンプは、信号を増幅するために使用される。ハイパスフィルタは、所定の周波数より低い周波数の信号、例えば、10Hzより低い周波数の信号を減衰させるために使用される。ローパスフィルタは、所定の周波数より高い周波数の信号、例えば、500Hzより高い周波数の信号を減衰させるために使用される。ノッチフィルタは、所定の範囲の周波数の信号、例えば、代表的な電気ノイズである50~60HzのACノイズを減衰させるために使用される。ノッチフィルタに代えて、バンドエリミネーションフィルタを使用することも可能である。
送信部120は、生体信号検出手段100の外部に信号を送信することが可能であるように構成されている。送信部120は、生体信号検出手段100の外部に無線または有線で信号を送信する。送信部120は、例えば、Wi-fi等の無線LANを利用して信号を送信してもよい。送信部120は、Bluetooth(登録商標)等の近距離無線通信等を利用して信号を送信してもよい。送信部120、例えば、検出部110によって検出された生体信号をコンピュータ装置200に送信する。
データベース部250には、例えば、学習段階において入力された教示信号に対応する教示データと、入力された特徴データとが関連付けて格納され得る。また、データベース部250には、例えば、使用段階において教示信号が使用者から入力された場合に、入力された教示信号に対応する教示データと、そのときの特徴データとが関連付けられて格納され得る。
図2は、コンピュータ装置200の構成の一例を示す。
コンピュータ装置200は、受信部210と、プロセッサ部220と、メモリ部230と、出力部240とを備える。
受信部210は、コンピュータ装置200の外部から信号を受信することが可能であるように構成されている。受信部210は、コンピュータ装置200の外部から無線または有線で信号を受信する。受信部210は、例えば、Wi-fi等の無線LANを利用して信号を受信してもよい。受信部210は、Bluetooth(登録商標)等の近距離無線通信等を利用して信号を受信してもよい。受信部210、例えば、生体信号検出手段100によって検出された生体信号を生体信号検出手段100から受信する。受信部210は、例えば、データベース部250に格納されている情報をデータベース部250から受信する。受信部210は、例えば、各種情報の教示信号を受信する。
プロセッサ部220は、コンピュータ装置200全体の動作を制御する。プロセッサ部220は、メモリ部230に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータ装置200を所望のステップを実行する装置として機能させることが可能である。
メモリ部230には、処理の実行に必要とされるプログラムやそのプログラムの実行に必要とされるデータ等が格納されている。例えば、メモリ部230には、生体信号が表す情報を識別するための処理(例えば、図5で後述する処理)を実現するためのプログラムが格納されていてもよい。ここで、プログラムをどのようにしてメモリ部230に格納するかは問わない。例えば、プログラムは、メモリ部230にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部230にインストールされるようにしてもよいし、光ディスクやUSB等の記憶媒体を介してメモリ部230にインストールされるようにしてもよい。
出力部240は、コンピュータ装置200の外部に信号を出力することが可能であるように構成されている。出力部240が信号を出力する先は問わない。出力部240は、任意のハードウェアまたはソフトウェアに信号を出力することができる。また、出力部240が信号をどのように出力するかは問わない。例えば、出力部240は、コンピュータ装置200の外部に有線で信号を送信してもよいし、無線で送信してもよい。例えば、出力部240は、信号の出力先のハードウェアまたはソフトウェアによって取り扱い可能な形式に変換して、または、信号の出力先のハードウェアまたはソフトウェアによって取り扱い可能な応答速度に調整して信号を送信するようにしてもよい。
プロセッサ部220は、解析手段221と、第1の決定手段222と、第2の決定手段222とを備える。
解析手段221は、受信部210によって受信された生体信号を解析して特徴データを出力するように構成されている。生体信号は電位等のスカラー量であるため、絶対的な情報量が乏しい。生体信号を解析手段221によって解析して多次元データである特徴データとすることによって、多数の情報を識別することが可能となる。解析手段221は、例えば、生体信号に平滑化処理、周波数解析処理等の数学的解析処理、または、パラメータ設定処理を含む解析処理を行うことができる。
第1の決定手段222は、解析手段221によって出力された特徴データと、複数の教示データのうちの各々との類似度を決定するように構成されている。複数の教示データは、データベース部250に格納されている。第1の決定手段222は、例えば、ニューラルネットワークの出力から、特徴データと、複数の教示データのうちの各々との類似度を決定する。ニューラルネットワークは、例えば、図3に示されるような、フィードフォワード型であり得る。
図3は、第1の決定手段222によって用いられるニューラルネットワーク300の構造の一例を示す。ニューラルネットワーク300は、入力層と、隠れ層と、出力層とを有する。図3に示される例では、ニューラルネットワーク300が1層の隠れ層を有する3層フィードフォワード型として示されているが、隠れ層の数はこれに限定されない。ニューラルネットワーク300は、1以上の隠れ層を備えることができる。ニューラルネットワーク300の入力層のノード数は、特徴データの次元数に対応する。ニューラルネットワーク300の出力層のノード数は、教示データの次元数に対応し、すなわち、識別すべき情報の数に対応する。ニューラルネットワーク300の隠れ層は、任意の数のノードを含むことができる。ニューラルネットワーク300の隠れ層の各ノードの重み係数は、データベース部250に格納されている教示データと特徴データとの組み合わせに基づいて計算され得る。例えば、入力層に特徴データを入力した場合の出力層の値が、その特徴データと関連付けられた教示データの値となるように、各ノードの重み係数が計算され得る。これは、例えば、バックプロパゲーション(誤差逆伝播法)によって行われてもよい。
このように各ノードの重み係数が計算されたニューラルネットワーク300の出力層の各ノードは、各教示データに対応する情報に関連付けられることになる。例えば、識別すべき情報が生体の動作である場合、第1の動作を行ったときの生体信号から得られた特徴データと第1の動作であることを教示する教示信号「1」に対応する教示データ1(1.0、0.0、0.0、0.0、0.0)との組み合わせと、第2の動作を行ったときの生体信号から得られた特徴データと第2の動作であることを教示する教示信号「2」に対応する教示データ2(0.0、1.0、0.0、0.0、0.0)との組み合わせと、第3の動作を行ったときの生体信号から得られた特徴データと第3の動作であることを教示する教示信号「3」に対応する教示データ3(0.0、0.0、1.0、0.0、0.0)との組み合わせと、第4の動作を行ったときの生体信号から得られた特徴データと第4の動作であることを教示する教示信号「4」に対応する教示データ4(0.0、0.0、0.0、1.0、0.0)との組み合わせと、第5の動作を行ったときの生体信号から得られた特徴データと第5の動作であることを教示する教示信号「5」に対応する教示データ5(0.0、0.0、0.0、0.0、1.0)との組み合わせとを用いて、各ノードの重み係数が計算された場合、ニューラルネットワーク300の出力層の第1のノードが第1の動作に関連付けられ、第2のノードが第2の動作に関連付けられ、第3のノードが第3の動作に関連付けられ、第4のノードが第4の動作に関連付けられ、第5のノードが第5の動作に関連付けられることになる。このように各ノードの重み係数が計算されたニューラルネットワーク300の理想の出力は、例えば、第1の動作を行った時の生体信号から得られた特徴データを入力したときに出力層の第1のノードが1を出力し、その他のノードが0を出力することである。しかしながら、実際は、生体信号に混在するノイズ等の影響により、理想の出力が得られることはまずない。実際は、出力層の1つ以上のノードが0~1の範囲の値を出力することになる。出力層の各ノードの値は、入力された特徴データと、それぞれのノードが関連付けられた動作に対応するそれぞれの教示データとの類似度に相当する。例えば、出力が(0.0、0.2、0.0、0.8、0.0)であった場合、入力された特徴データは、第2のノードに関連付けられた第2の動作に対応する教示データにわずかに類似しており、第4のノードに関連付けられた第4の動作に対応する教示データにより類似しており、その他のノードに関連付けられた動作に対応する教示データには類似していないことを示す。例えば、出力が(0.0、0.0、0.6、0.0、0.6)であった場合、入力された特徴データは、第3のノードに関連付けられた第3の動作に対応する教示データおよび第5のノードに関連付けられた第5の動作に対応する教示データの両方に類似しており、その他のノードに関連付けられた動作に対応する教示データには類似していないことを示す。
再び図2を参照すると、第2の決定手段223は、メモリ部230のバッファに記憶されている類似度における所定期間内の複数の類似度に基づいて、生体信号が表す情報を決定するように構成されている。第2の決定手段223は、例えば、メモリ部230のバッファに時系列に記憶されている類似度における所定期間内の複数の類似度から、出現強度の高いものを「それらしい出力」として決定し、その類似度に対応する教示データが示す情報を、特徴データが由来する生体信号が表す情報として決定する。
メモリ部230は、一時的に情報を記憶するバッファを備える。バッファには、例えば、第1の決定手段222によって決定された類似度が時刻ごとに時系列に一時的に記憶され得る。バッファは、例えば、一定量のデータが記憶されると古いデータを削除するようにしてもよいし、記憶されてから一定時間が経過したデータを削除するようにしてもよい。
図4は、メモリ部230のバッファに記憶されている各教示データとの類似度を示す出力ベクトルのデータ構成の一例を示す。出力ベクトルの各成分の値が、対応する教示データとの類似度を示す。
メモリ230のバッファは、時刻ごとに時系列に出力ベクトルを格納している。例えば、第1の決定手段222によって、時刻1において、各教示データ0~9との類似度が(0.0、0.0、0.2、0.0、0.5、0.7、0.0、0.0、0.0、0.0)であると決定されると、この結果を時刻1における各教示データとの類似度を示す出力ベクトルとして記憶し、また時刻2において、各教示データ0~9との類似度が(0.0、0.0、0.2、0.0、0.0、0.7、0.9、0.0、0.0、0.0)であると決定されると、この結果を時刻2における各教示データとの類似度を示す出力ベクトルとして記憶し、・・・第1の決定手段222によって類似度が決定されるごとにその時刻と出力ベクトルとを記憶する(例えば、図4を参照)。
図1に示される例では、生体信号検出手段100とコンピュータ装置200とは、別の構成要素であるように示されているが、本発明はこれに限定されない。生体信号検出手段100とコンピュータ装置200とを1つの構成要素として構成することも可能である。
図1に示される例では、データベース部250は、コンピュータ装置200の外部に設けられているが、本発明はこれに限定されない。データベース部250をコンピュータ装置200の内部に設けることも可能である。このとき、データベース部250は、メモリ部230を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部230を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部250は、コンピュータ装置200のための記憶部として構成される。データベース部250の構成は、特定のハードウェア構成に限定されない。例えば、データベース部250は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部250は、コンピュータ装置200の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。
図2に示される例では、コンピュータ装置200の各構成要素がコンピュータ装置200内に設けられているが、本発明はこれに限定されない。コンピュータ装置200の各構成要素のいずれかがコンピュータ装置200の外部に設けられることも可能である。例えば、プロセッサ部220、メモリ部230のそれぞれが別々のハードウェア部品で構成されている場合には、各ハードウェア部品が任意のネットワークを介して接続されてもよい。このとき、ネットワークの種類は問わない。各ハードウェア部品は、例えば、LANを介して接続されてもよいし、無線接続されてもよいし、有線接続されてもよい。
上述した例では、生体信号検出手段100が、検出された生体信号が座標依存性を有する生体信号である場合に、検出された生体信号からスカラー量を抽出して出力することを説明したが、コンピュータ装置200が、生体信号検出手段100から受信された生体信号からスカラー量を抽出するようにすることも本発明の範囲内である。
(3.本発明の生体信号が表す情報を識別するため処理)
図5は、本発明の生体信号が表す情報を識別するため処理の一例を示す。この処理は、システム10において実行される。
データベース部250には、学習段階において入力された教示信号に対応する教示データと、入力された特徴データとが関連付けて格納されているものとし、図3において示されるニューラルネットワーク300の隠れ層の各ノードの重み係数は、データベース部250に格納されている教示データと特徴データとの組み合わせに基づいて計算されているものとする。
ステップS501において、生体信号検出手段100の検出部110が生体信号を検出する。検出部110は、例えば、生体の筋電信号、生体の心電信号、または、生体の脳波を検出する。検出部110が生体信号を検出すると、生体信号検出手段100の送信部120が、検出された生体信号をコンピュータ装置200に送信する。
コンピュータ装置200の受信部210が生体信号検出手段100から生体信号を受信すると、受信部210は、受信された生体信号をプロセッサ部220に提供する。このとき、受信部210は、例えば、生体信号を受信する度にプロセッサ部220に逐次的に提供するようにしてもよいし、受信された生体信号をいったんメモリ部230に格納しておき、一定量のデータが蓄積された後にまとめてプロセッサ部220に提供するようにしてもよい。プロセッサ部220が生体信号を提供されると、ステップS502に進む。
ステップS502において、コンピュータ装置200のプロセッサ部220の解析手段221が、検出された生体信号を解析して特徴データを出力する。解析手段221は、平滑化処理、周波数解析処理等の数学的解析処理、または、パラメータ設定処理を含む解析処理を行うことにより、特徴データを出力する。このとき、解析手段221は、例えば、出力された特徴データの時系列または周波数帯域に重み係数をかけることによって特徴データを加工するようにしてもよい。
ステップS503において、コンピュータ装置200のプロセッサ部220の第1の決定手段222が、ステップS502で出力された特徴データと、複数の教示データのうちの各々との類似度を決定する。第1の決定手段222は、例えば、ステップS502で出力された特徴データを図3に示されるニューラルネットワーク300に入力し、ニューラルネットワーク300の出力から、特徴データと、複数の教示データのうちの各々との類似度を決定する。
第1の決定手段222は、例えば、ステップS502で出力された特徴データのうちのすべてをニューラルネットワーク300に入力する代わりに、ステップS502で出力された特徴データのうちの一部を抽出し、抽出された特徴データのみをニューラルネットワーク300に入力するようにしてもよい。これにより、後段の処理での演算量を低減し、後段の処理での動作速度の低下を防止することができる。このとき、第1の決定手段222は、均一に特徴データを抽出してもよいし、非均一に特徴データを抽出してもよい。非均一に特徴データを抽出する場合は、着目すべき特徴データの部分を中心に抽出するように傾斜配分で特徴データを抽出することが好ましい。これにより、抽出による後段での処理の精度の低下を防止することができる。このような特徴データの抽出は、後段での処置の動作速度と精度との両立を可能にする。
第1の決定手段222が類似度を決定すると、ステップS504に進む。
ステップS504において、コンピュータ装置200のメモリ部230のバッファが、ステップS503で決定された類似度を時刻ごとに時系列に記憶する。メモリ部230のバッファは、例えば、図4に示されるように類似度を示す出力ベクトルを時刻ごとに時系列に記憶する。プロセッサ部220は、所定量のデータがバッファに記憶されるまで、ステップS501~ステップS504を繰り返すようにすることが好ましい。これにより、後段の処理で十分なデータ量の類似度を利用することができ、後段の処理の精度を向上させることができる。バッファが類似度を記憶すると、ステップS505に進む。
ステップS505において、コンピュータ装置200のプロセッサ部220の第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、生体信号が表す情報を決定する。所定期間は、バッファに類似度が記憶された最後の時刻を終点とする任意の期間である。所定期間は、例えば、約10ms~約220msの範囲内の任意の時間であり、所定期間は、例えば、約80ms~約220msである。ヒトの単純反応時間が約220msであり、この時間以下であると、実行中の動作を他の動作に変更することが困難であるからである。所定期間は、例えば、約80ms、約200msなどであり得る。所定期間を大きくするほど出力の安定性が向上する一方で、遅延が大きくなり応答性が低下し、遅延が200msより大きくなると、自己身体認識における時間的整合性が取れなくなるからである。所定期間は、出力の安定性とヒトの反応時間とのトレードオフを考慮して、例えば、用途、用いられるアプリケーションプログラム、ユーザニーズ等に応じて当業者が適切に決定し得る。例えば、後述する手指リハビリ用途に使用される場合は、所定期間を220msよりも大きく(例えば、約220~約400ms、例えば、約300ms、約350ms、約400ms等)するようにしてもよい。麻痺患者では、実行中の動作を他の動作に変更するまでの時間が健常者に比べて長いからである。
第2の決定手段223は、例えば、所定期間内の複数の類似度に基づいて、複数の教示データごとに演算値を算出しし、その演算値に基づいて、生体信号が表す情報を決定するようにしてもよい。例えば、第2の決定手段223は、得られた演算値の中から最も高い演算値に対応する教示データを抽出し、抽出された教示データが示す情報を、生体信号が表す情報として決定するようにしてもよい。演算値は、公知の演算法または当業者が想定し得る演算法によって算出される値であり得、演算値は、例えば、合計値であり得る。なお、本明細書において、生体信号が表す情報の決定における「合計値」は、当然に「平均値」をも含む概念であることが当業者には理解される。すなわち、複数の教示データごとの合計値を算出し、その中から最も高い合計値に対応する教示データを抽出することは、複数の教示データごとに平均値を算出し、その中から最も高い平均値に対応する教示データを抽出することも包含する。演算値は、例えば、特定の類似度の発生確率または発生頻度であり得る。特定の類似度の発生確率は、所定期間内に特定の類似度がどのくらいの確率で発生したかを示す値であり、特定の類似度の発生頻度は、所定期間内に特定の類似度がどのくらい発生したかを示す値であり得る。ここで、特定の類似度は、例えば、出力ベクトル中の最高類似度であってもよいし、出力ベクトル中の或る閾値以上の類似度であってもよい。例えば、所定期間内に5個の出力ベクトルが出力された場合に、或る教示データについて、5個の出力ベクトルのうち3個の出力ベクトルで最高類似度であった場合には、発生頻度は3であり、発生確率は、3/5となる。
なお、演算値(例えば、合計値(平均値))の算出において、複数の教示データごとに一定の数(例えば1つ)の最も低い数値を計算対象から除外してもよい。このとき、最も低い数値は、0以外の数値のうちの最も低い数値であってもよい。
あるいは、第2の決定手段223は、所定の閾値を超える演算値に対応する教示データが示す情報を、生体信号が表す情報として決定してもよい。このとき、所定の閾値を超える演算値が存在しない場合、識別不能となる。所定の閾値を超える複数の演算値が存在する場合も識別不能としてもよい。あるいは、所定の閾値を超える複数の演算値が存在する場合、所定の閾値を超える複数の演算値に対応するそれぞれの教示データが示すそれぞれの情報を、生体信号が表す情報として決定してもよい。これは、例えば、識別すべき複数の動作を同時に行っている場合、識別すべき複数の状態が同時に生じている場合等である。例えば、所定の閾値を超える2つの演算値に対応するそれぞれの教示データが示すそれぞれの動作が、「手首曲げ動作」および「手を握る動作」であった場合、手を握りながら手首を曲げるという複合動作を行っているとみなし、「手首曲げ動作」および「手を握る動作」を生体信号が表す動作として決定してもよい。例えば、所定の閾値を超える2つの合計値に対応するそれぞれの教示データが示すそれぞれの動作が、「手を握る動作」および「手首を回す動作」であった場合、手を握りしながら手首を回すという複合動作(例えば、ドアノブを握って回している動作)を行っているとみなし、「手を握る動作」および「手首を回す動作」を生体信号が表す動作として決定してもよい。第2の決定手段223は、検出する生体信号に応じて、全身の動作中の任意の複合動作を識別することができる。なお、複数の動作のうちの少なくとも2つが互いに矛盾する動作(例えば、「手を開く動作」および「手を握る動作」)である場合には、識別不能としてもよいし、筋肉が拮抗し関節の剛性が上がったような制御を行ってもよい。
所定の閾値は、任意の値に設定することができる。所定の閾値を高くするほど精度および安定性が高くなるが、識別不能となる割合も高くなり、応答性が悪くなる。所定の閾値は、例えば、固定値であってもよいし、変動値であってもよい。所定の閾値が変動値である場合には、所定の閾値は、例えば、合計値の最大値に対する所定の割合(例えば、90%~60%、80%~60%、70~60%、例えば、65%等)の値であり得る。所定の閾値は、例えば、合計される所定期間内の複数の類似度のデータ数に応じで決定されるようにしてもよい。例えば、所定の閾値を超える合計値が存在しない場合に、所定の閾値を超える合計値が少なくとも1つ存在するまで、所定の閾値を低くまたは高くするようにしてもよいし、例えば、所定の閾値を超える合計値が複数存在する場合、所定の閾値を超える合計値が1つとなるまで、所定の閾値を高くするようにしてもよい。
所定の閾値は、例えば、検出する生体信号に応じて決定されるようにしてもよい。所定の閾値は、例えば、生体信号を検出する部位に応じて決定されるようにしてもよい。例えば、手の動作を識別するために腕から生体信号を検出する場合に用いられる所定の閾値と、歩行動作を識別するために脚から生体信号を検出する場合に用いられる所定の閾値とを同じ値にしてもよいし、異なる値にしてもよい。
上述した処理によって識別された生体信号が表す情報の精度は、ステップS503で出力された類似度から直接、生体信号が表す情報を識別した場合の精度よりも著しく向上した。ステップS503で出力された類似度から直接、生体信号が表す情報を識別した場合の精度は8割程度であったが、上述した処理によって識別された生体信号が表す情報の精度は、9割台後半に届く極めて高いものとなった。
ここで、一例として、使用者が、教示データ0~9に対応する動作のうちの教示データ5に対応する動作を行った場合のシステム10の処理について、図6A~図6Cを参照して説明する。使用者は、時刻1から時刻5まで教示データ5に対応する動作を行っているものとする。ここでは、時刻5における処理を説明する。各時刻の間隔は、20msであり、所定期間は100msであるとする。メモリ部230のバッファには、図6Aに示されるように、時刻1~時刻4の出力ベクトルがすでに記憶されているとする。
ステップS501において、生体信号検出手段100の検出部110が、使用者が行った動作に由来する生体信号を検出する。
ステップS502において、コンピュータ装置200のプロセッサ部220の解析手段221が、検出された生体信号を解析して特徴データを出力する。
ステップS503において、コンピュータ装置200のプロセッサ部220の第1の決定手段222が、ステップS502で出力された特徴データと、教示データ0~9のうちの各々との類似度を決定する。ステップS502で出力された特徴データをニューラルネットワーク300に入力すると、出力として、教示データ0~9のうちの各々との類似度(0.0、0.9、0.2、0.0、0.0、0.7、0.0、0.0、0.0、0.0)が得られた。
ステップS504において、コンピュータ装置200のメモリ部230のバッファが、ステップS503で決定された類似度を時系列に記憶する。メモリ部230のバッファは、図6Bに示されるように、時刻1~時刻5の出力ベクトルを時刻ごとに時系列に記憶することになる。
ステップS505において、コンピュータ装置200のプロセッサ部220の第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、使用者が行った動作に由来する生体信号が表す動作を決定する。まず、第2の決定手段223は、図6Bに示されるように、所定期間に相当する時刻1~時刻5の類似度を教示データごとに合計することにより、合計値を得る。次いで、第2の決定手段223は、最も高い合計値に対応する「5」の教示データが示す動作を、時刻5で検出された生体信号が表す動作として決定する。代替として、所定の閾値を2.5とした場合、第2の決定手段223は、所定の閾値を超える合計値に対応する「5」の教示データが示す動作を、時刻5で検出された生体信号が表す動作として決定する。このようにして、本発明のシステム10は、使用者が行った動作を適切に識別することが可能である。
例えば、ステップS503で得られた類似度から直接、生体信号が表す動作を識別しようとすると、最も高い類似度に対応する教示データは教示データ「1」であることから、教示データ「1」に対応する動作であると誤って識別してしまう。これに対し、本発明のシステム10は、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、生体信号が表す動作を決定するため、極めて高精度で生体信号が表す動作を識別することが可能である。
使用者が時刻6で教示データ5に対応する動作を行った場合の処理も同様である。
ステップS501において、生体信号検出手段100の検出部110が、使用者が行った動作に由来する生体信号を検出し、ステップS502において、コンピュータ装置200のプロセッサ部220の解析手段221が、検出された生体信号を解析して特徴データを出力し、ステップS503において、コンピュータ装置200のプロセッサ部220の第1の決定手段222が、ステップS502で出力された特徴データと、教示データ0~9のうちの各々との類似度を決定する。ステップS502で出力された特徴データをニューラルネットワーク300に入力すると、出力として、教示データ0~9のうちの各々との類似度(0.0、0.0、0.2、0.0、0.0、0.7、0.9、0.0、0.0、0.0)が得られた。
ステップS504において、コンピュータ装置200のメモリ部230のバッファが、ステップS503で決定された類似度を時系列に記憶する。メモリ部230のバッファは、図6Cに示されるように、時刻1~時刻6の出力ベクトルを時刻ごとに時系列に記憶することになる。
ステップS505において、コンピュータ装置200のプロセッサ部220の第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、使用者が行った動作に由来する生体信号が表す動作を決定する。まず、第2の決定手段223は、図6Cに示されるように、所定期間に相当する時刻2~時刻6の類似度を教示データごとに合計することにより、合計値を得る。次いで、第2の決定手段223は、最も高い合計値に対応する「5」の教示データを抽出し、抽出された「5」の教示データが示す動作を、時刻5で検出された生体信号が表す動作として決定する。代替として、所定の閾値を2.5とした場合、第2の決定手段223は、所定の閾値を超える合計値に対応する「5」の教示データが示す動作を、時刻5で検出された生体信号が表す動作として決定する。このようにして、本発明のシステム10は、使用者が行った動作を適切に識別することが可能である。
例えば、ステップS503で得られた類似度から直接、生体信号が表す動作を識別しようとすると、最も高い類似度に対応する教示データは教示データ6であることから、教示データ6に対応する動作であると誤って識別してしまう。これに対し、本発明のシステム10は、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、生体信号が表す動作を決定するため、時刻6においても同様に、極めて高精度で生体信号が表す動作を識別することが可能である。
ここで、さらなる例として、使用者が、教示データ0~9に対応する動作のうちの教示データ3に対応する動作および教示データ7に対応する動作の複合動作を行った場合のシステム10の処理について、図6D~図6Fを参照して説明する。使用者は、時刻1から時刻5まで教示データ3に対応する動作および教示データ7に対応する動作を行っているものとする。ここでは、時刻5における処理を説明する。各時刻の間隔は、20msであり、所定期間は100msであるとする。メモリ部230のバッファには、図6Dに示されるように、時刻1~時刻4の出力ベクトルがすでに記憶されているとする。
ステップS501において、生体信号検出手段100の検出部110が、使用者が行った動作に由来する生体信号を検出する。
ステップS502において、コンピュータ装置200のプロセッサ部220の解析手段221が、検出された生体信号を解析して特徴データを出力する。
ステップS503において、コンピュータ装置200のプロセッサ部220の第1の決定手段222が、ステップS502で出力された特徴データと、教示データ0~9のうちの各々との類似度を決定する。ステップS502で出力された特徴データをニューラルネットワーク300に入力すると、出力として、教示データ0~9のうちの各々との類似度(0.0、0.0、0.2、0.9、0.2、0.1、0.0、0.8、0.0、0.9)が得られた。
ステップS504において、コンピュータ装置200のメモリ部230のバッファが、ステップS503で決定された類似度を時系列に記憶する。メモリ部230のバッファは、図6Eに示されるように、時刻1~時刻5の出力ベクトルを時刻ごとに時系列に記憶することになる。
ステップS505において、コンピュータ装置200のプロセッサ部220の第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、使用者が行った動作に由来する生体信号が表す動作を決定する。まず、第2の決定手段223は、図6Eに示されるように、所定期間に相当する時刻1~時刻5の類似度を教示データごとに合計することにより、合計値を得る。次いで、第2の決定手段223は、所定の閾値を超える教示データが示す動作を、時刻5で検出された生体信号が表す動作として決定する。例えば、所定の閾値を固定値3.5とした場合、第2の決定手段223は、所定の閾値を超える合計値に対応する教示データ「3」が示す動作および教示データ「7」が示す動作を、時刻5で検出された生体信号が表す動作として決定する。このようにして、本発明のシステム10は、使用者が行った複合動作を適切にかつ同時に識別することが可能である。
例えば、ステップS503で得られた類似度から直接、生体信号が表す動作を識別しようとすると、最も高い類似度に対応する教示データは教示データ「9」であることから、教示データ「9」に対応する動作であると誤って識別してしまう。これに対し、本発明のシステム10は、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、生体信号が表す動作を決定するため、複合動作であっても、極めて高精度で生体信号が表す動作を識別することが可能である。
使用者が時刻6で教示データ5に対応する動作を行った場合の処理も同様である。
ステップS501において、生体信号検出手段100の検出部110が、使用者が行った動作に由来する生体信号を検出し、ステップS502において、コンピュータ装置200のプロセッサ部220の解析手段221が、検出された生体信号を解析して特徴データを出力し、ステップS503において、コンピュータ装置200のプロセッサ部220の第1の決定手段222が、ステップS502で出力された特徴データと、教示データ0~9のうちの各々との類似度を決定する。ステップS502で出力された特徴データをニューラルネットワーク300に入力すると、出力として、教示データ0~9のうちの各々との類似度(0.2、0.9、0.2、0.7、0.3、0.1、0.0、0.7、0.0、0.1)が得られた。
ステップS504において、コンピュータ装置200のメモリ部230のバッファが、ステップS503で決定された類似度を時系列に記憶する。メモリ部230のバッファは、図6Fに示されるように、時刻1~時刻6の出力ベクトルを時刻ごとに時系列に記憶することになる。
ステップS505において、コンピュータ装置200のプロセッサ部220の第2の決定手段223が、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、使用者が行った動作に由来する生体信号が表す動作を決定する。まず、第2の決定手段223は、図6Fに示されるように、所定期間に相当する時刻2~時刻6の類似度を教示データごとに合計することにより、合計値を得る。次いで、第2の決定手段223は、所定の閾値を超える教示データが示す動作を、時刻5で検出された生体信号が表す動作として決定する。例えば、所定の閾値を固定値3.5とした場合、第2の決定手段223は、所定の閾値を超える合計値に対応する教示データ「3」が示す動作および教示データ「7」が示す動作を、時刻5で検出された生体信号が表す動作として決定する。このようにして、本発明のシステム10は、使用者が行った複合動作を適切にかつ同時に識別することが可能である。
例えば、ステップS503で得られた類似度から直接、生体信号が表す動作を識別しようとすると、最も高い類似度に対応する教示データは教示データ「1」であることから、教示データ「1」に対応する動作であると誤って識別してしまう。これに対し、本発明のシステム10は、バッファに記憶された時系列の類似度における所定期間内の複数の類似度に基づいて、生体信号が表す動作を決定するため、時刻6においても同様に、複合動作であっても、極めて高精度で生体信号が表す動作を識別することが可能である。
(4.適用例)
本発明のシステム10は、生体信号を検出し、それによって何等かの出力を行うことが有用である任意の用途に使用され得るが、好ましくは手指リハビリ用、嚥下診断用、車椅子用、義手用、義腕用、義足用、またはロボット用、上肢補助装置用、下肢補助装置用、体幹補助装置用であり得るがこれらに限定されない。例えば、ロボット用である場合、例えば、ロボット全体に適用されてもよいし、ロボットアーム、ロボットハンド等のロボットの一部に適用されてもよい。
本発明のシステム10は、用途に応じて、生体信号を解析する対象の身体の一部に装着するための装着手段を備え得る。そのような身体の一部は、生体信号対象の上肢、腹部、首部、下肢、背中であり得るがこれらに限定されない。身体の一部は、身体のあらゆる部位であり得る。装着手段は、例えば、対象の身体の一部に装着するためのベルト、シール等の任意の装着手段であり得る。例えば、本発明のシステム10がロボットアーム用である場合、上肢の筋肉の筋電信号を検出し、検出された筋電信号が表す情報に基づいてロボットアームを動かすようにしてもよい。この場合、例えば、ユーザは、本発明のシステム10を用いて、自身が意図した動作をロボットアームに真似させることができる。本発明のシステム10は、単純動作のみならず複合動作も識別することができるため、複合動作であっても精度よくロボットアームに真似させることができる。あるいは、本発明のシステム10がロボットアーム用である場合、前腕以外の筋肉(例えば表情筋)の筋電信号を検出し、検出された筋電信号が表す情報に基づいてロボットアームを動かすようにしてもよい。この場合、例えば、ユーザは、本発明のシステム10を用いて、自身の所定の動作をコマンドとして、ロボットアームを操作することができる。これにより、例えば、上肢麻痺の患者であっても、ロボットアームを操作することができるようになる。本発明のシステム10は、単純動作のみならず複合動作も識別することができるため、単純動作をコマンドとする操作に比べて、操作のためのコマンドの数を増やすことができる。すなわち、複合動作をコマンドに使用することにより、より少ない種類のユーザ動作でより多くの動作をロボットアームにさせることが可能になる。
好ましい実施形態において、本発明のシステム10は、例えば、手指リハビリ装置に適用することが可能である。
手指が麻痺し、手指のリハビリが必要な患者(例えば脳卒中患者)の場合、生体信号のレベルが低いため、生体信号が表す動作の識別精度は、健常者の場合に比べて低くなる。しかしながら、本発明のシステム10によると、極めて高精度で生体信号が表す動作を識別することが可能であるため、生体信号のレベルが低い場合であっても、リハビリに使用可能なレベルまで識別精度を向上させることが可能である。また、本発明のシステム10によると、手指の単純動作のみならず、手指の複合動作も精度よくかつ同時に識別することも可能である。これにより、患者が意図する動作を正確かつ高速に識別し、意図する動作を的確かつ即座に支援することにより、手指のリハビリの効率および効果が著しく向上する。例えば、患者が意図した動作を実現し、それを反復することによって、脳の可塑性が促進され、麻痺した機能の回復が促進されることが知られている。
本発明のシステム10を備える手指リハビリ装置は、生体信号検出手段100を使用者の上肢の皮膚に装着することを可能にする装着手段を備える。装着手段は、例えば、生体信号検出手段100の検出部111を使用者の上肢(例えば、上腕、または前腕)の皮膚に装着するためのベルト、シール等の任意の手段であり得る。
例えば、手指のリハビリ装置からの出力は、ディスプレイ等の表示手段に表示され、リハビリトレーナーに提示され得る。リハビリトレーナーは、手指リハビリ装置からの出力に基づいて、的確なリハビリ指導を行うことができ、効率的かつ効果的なリハビリにつながる。
本発明のシステム10を備える手指リハビリ装置は、使用者の手指に装着される手指運動アシスト装置を備え得る。手指運動アシスト装置は、使用者の手指の運動をアシストするように、使用者の手指に作用するように構成されている。手指運動アシスト装置は、例えば、空気圧アクチュエータにより指関節を駆動するように構成されてもよいし、例えば、モータのトルクにより指関節を駆動するように構成されてもよい。
手指運動アシスト装置は、例えば、図7Aおよび図7Bに示される手指運動アシスト装置700であってもよい。
図7Aは、手指運動アシスト装置700の外観を示し、図7Bは、手指運動アシスト装置700を使用者の手指に装着した状態を示す。
手指運動アシスト装置700は、本体部710と、本体部710から延びている掌用ボルト720と、アーム730と、アーム730から延びている指用ボルト740とを備えている。アーム730は、本体部710に対して枢動可能に構成されている。アーム730は、例えば、モータによって枢動させられるように構成されてもよいし、空気圧アクチュエータによって枢動させられるように構成されてもよいし、ワイヤによって枢動させられるようにしてもよい。
例えば、本発明のシステム10を備える手指リハビリ装置では、本発明のシステム10からの出力は、手指運動アシスト装置に提供され得る。手指運動アシスト装置は、手指リハビリ装置からの出力に基づいて、患者の意図する動作をアシストするように作用する。例えば、本発明のシステム10からの出力は手指運動アシスト装置700に提供され得る。図7Bに示されるように手指運動アシスト装置700を手指に装着したとき、アーム730の枢動により指用ボルト740が指の動作をアシストする。例えば。アーム730の枢動により指用ボルト740が指を押し上げ、これにより、使用者の手を開く動作をアシストすることができる。このようにして、患者は、自分の意思でリハビリを行うことが可能となり、効率的かつ効果的なリハビリにつながる。
別の好ましい実施形態において、本発明のシステム10は、例えば、嚥下診断装置に適用することが可能である。
喉の周囲で筋電信号取得しようとする場合、複数の筋肉の筋活動を示す複数の筋電信号が混在するため、どのような動作に由来する筋電信号であるかを識別することが困難であり、識別精度が低下する。しかしながら、本発明のシステム10によると、極めて高精度で生体信号が表す動作を識別することが可能であるため、筋電信号が混在する場合であっても、嚥下障害を診断することができるレベルまで識別精度を向上させることができる。また、本発明のシステム10によると、顎口腔運動の単純動作のみならず、顎口腔運動の複合動作も精度よく識別することも可能である。これにより例えば、嚥下障害があるときの嚥下動作であるか、嚥下障害のない健常な状態の嚥下動作であるかを識別することにより、筋電信号に基づいて的確に嚥下診断を行うことが可能になる。
本発明のシステム10を備える嚥下診断装置は、生体信号検出手段100を使用者の首の皮膚に装着することを可能にする装着手段を備える。装着手段は、例えば、生体信号検出手段100の検出部111を使用者の首の皮膚に装着するためのベルト、シール等の任意の手段であり得る。本発明のシステム10を備える嚥下診断装置は、装着手段に加えてまたは、装着手段に代えて、生体信号検出手段100を使用者の首の皮膚に固定することなく接触させることを可能にする手段を備えるようにしてもよい。このような手段は、例えば、聴診器のように患者に押し当て、患者の生体信号を検出することができる。
例えば、嚥下診断装置からの出力は、ディスプレイ等の表示手段に表示され、医師に提示され得る。医師は、嚥下診断装置からの出力に基づいて、的確な診断を行うことができる。あるいは、嚥下診断装置からの出力は、ディスプレイ等に表示され、使用者自身に提示され得る。これにより使用者は、嚥下診断装置からの出力に基づいて、嚥下障害の自己診断を的確に行うことができる。
実施例1.上肢の皮膚における筋電信号の識別
被験体(20代健常男性)の上肢に筋電センサを装着し、被験体にしっかりと力を入れて動作をさせ、筋電信号の識別と動作との対応関係を試験した。筋電センサは、アンプ部と、500Hzのローパスフィルタ、10Hzのハイパスフィルタ、50Hzのノッチフィルタを備えるものであり、所定時間として80msで実験を行った。
試験結果を図8および図9に示す。図8(a)および図9(a)が、本発明のシステム10による処理の結果のグラフであり、図8(b)および図9(b)が、ステップS503で得られた類似度、すなわち、ニューラルネットワーク300の出力から直接識別した結果のグラフである。図9(a)~図9(b)は、図8(a)~図8(b)に示される破線部の拡大図である。
グラフの縦軸は、動作IDを表し、0が「何もしない動作」であり、1が「手首回外動作」であり、3が「手首曲げ動作」であり、4が「手首伸ばし動作」であり、5が「グー動作」であり、7が「親指曲げ動作」であり、9が「薬指、小指曲げ動作」である。ニューラルネットワーク300は、出力層の各ノードが動作IDに対応する動作に関連付けられるように、各ノードの重み係数が計算されているものとする。グラフの横軸は実行ステップ数である。1秒当たり50ステップ行った。すなわち、ステップ間隔は20msである。
被験者は、「手首回外動作」(動作ID:1)、「薬指、小指曲げ動作」(動作ID:9)、「親指曲げ動作」(動作ID:7)、「手首伸ばし動作」(動作ID:4)、「手首曲げ動作」(動作ID:3)、「グー動作」(動作ID:5)の順に動作を行った。
各グラフにおける点線は、識別率100%の理想の状態を示している。
図8からわかるように、図8(a)は、概ね点線に従ったグラフとなっており、本発明のシステム10による処理では、良好な識別率が得られたことがわかる。
また、図9からわかるように、識別に迷いやすい「手首伸ばし動作」(動作ID:4)であっても、図9(a)は、図9(b)よりも点線に沿ったグラフとなっており、本発明のシステム10が、筋電信号が表す動作を正確に識別していることがわかる。
各グラフから識別率を算出すると、図8(a)および図9(a)の識別率は、98.8%であり、図8(b)および図9(b)の識別率は、79.9%であった。
このように、本発明のシステム10によると、極めて高精度で生体信号が表す動作を識別することが可能であることが実証された。
実施例2.筋電信号のレベルが低い被験体の上肢の皮膚における筋電信号の識別
被験体(20代健常男性)の上肢に筋電センサを装着し、被験体に最小限の力で動作をさせること以外は実施例1と同様に、筋電信号の識別と動作との対応関係を試験した。
試験結果を図10および図11に示す。図10(a)および図11(a)が、本発明のシステム10による処理の結果のグラフであり、図10(b)および図11(b)が、後述するアルゴリズムを用いた処理の結果のグラフであり、図10(c)および図11(c)が、ステップS503で得られた類似度、すなわち、ニューラルネットワーク300の出力から直接識別した結果のグラフである。図11(a)~図11(c)は、図10(a)~図10(c)に示される破線部の拡大図である。
図10(b)および図11(b)に用いたアルゴリズムは、ステップS503で得られた類似度、すなわち、ニューラルネットワーク300の出力から直接識別した結果を時刻ごとに時系列にバッファに格納し、バッファ内の占有率が閾値以上の識別結果を、筋電信号が表す動作として決定するアルゴリズムである。
グラフの縦軸は、動作IDを表し、0が「何もしない動作」であり、1が「手首回外動作」であり、3が「手首曲げ動作」であり、4が「手首伸ばし動作」であり、5が「グー動作」であり、7が「親指曲げ動作」であり、9が「薬指、小指曲げ動作」である。ニューラルネットワーク300は、出力層の各ノードが動作IDに対応する動作に関連付けられるように、各ノードの重み係数が計算されているものとする。グラフの横軸は実行ステップ数である。1秒当たり50ステップ行った。すなわち、ステップ間隔は20msである。
被験者は、「グー動作」(動作ID:5)、「手首曲げ動作」(動作ID:3)、「手首伸ばし動作」(動作ID:4)、「親指曲げ動作」(動作ID:7)、「薬指、小指曲げ動作」(動作ID:9)、「手首回外動作」(動作ID:1)の順に動作を行った。
各グラフにおける点線は、識別率100%の理想の状態を示している。
特に、図11からわかるように、筋電信号レベルが低い場合に識別に迷いやすい「親指曲げ動作」(動作ID:7)であっても、図11(a)は、図11(b)よりも点線に沿ったグラフとなっており、本発明のシステム10が、筋電信号が表す動作を正確に識別していることがわかる。
このように、本発明のシステム10によると、生体信号のレベルが低い場合であっても、極めて高精度で生体信号が表す動作を識別することが可能であることが実証された。
本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
本発明は、生体信号の識別精度を向上させることを可能にする、生体信号が表す情報を識別するためのシステムならびにそれを備える手指リハビリ装置および嚥下診断装置を提供するものとして有用である。
10 システム
100 生体信号検出手段
200 コンピュータ装置
250 データベース部

Claims (12)

  1. 生体信号が表す情報を識別するためのコンピュータ装置であって、前記コンピュータ装置は、
    生体信号を受信する受信手段と、
    前記受信された生体信号を解析して特徴データを出力する解析手段と、
    前記特徴データと、複数の教示データのうちの各々との類似度を示す出力ベクトルを決定する第1の決定手段と、
    前記出力ベクトルを時刻ごとに時系列に記憶する記憶手段と、
    前記記憶手段に記憶された時系列の出力ベクトルにおける所定期間内の複数の出力ベクトルに基づいて、前記生体信号が表す情報を決定する第2の決定手段と
    を備える、コンピュータ装置。
  2. 前記第2の決定手段は、
    前記所定期間内の複数の出力ベクトルに基づいて前記複数の教示データごとに演算値を算出することと、
    前記演算値に基づいて、前記生体信号が表す情報を決定することと
    を行う、請求項1に記載のコンピュータ装置。
  3. 前記第2の決定手段は、前記演算値のうち最も高い演算値に対応する教示データを抽出し、抽出された前記教示データが示す情報を、前記生体信号が表す情報として決定する、請求項2に記載のコンピュータ装置。
  4. 前記第2の決定手段は、前記演算値のうち所定の閾値を超える演算値に対応する少なくとも1つの教示データを抽出し、抽出された前記教示データが示す情報を、前記生体信号が表す情報として決定する、請求項2に記載のコンピュータ装置。
  5. 前記第2の決定手段は、前記演算値のうち所定の閾値を超える演算値に対応する複数の教示データを抽出し、抽出された前記複数の教示データのそれぞれが示す情報を、前記生体信号が表す情報として決定する、請求項4に記載のコンピュータ装置。
  6. 前記生体信号が表す情報は、複合動作が行われたことを示す、請求項5に記載のコンピュータ装置。
  7. 前記演算値は、合計値である、請求項2~6のいずれか一項に記載のコンピュータ装置。
  8. 前記記憶手段は、情報を一時的に記憶するバッファであり、前記出力ベクトルは前記バッファに一時的に記憶される、請求項1~7のいずれか一項に記載のコンピュータ装置。
  9. 前記所定期間は、約10~200msである、請求項1~8のいずれか一項に記載のコンピュータ装置。
  10. 手指リハビリ用、嚥下診断用、車椅子用、義手用、義腕用、義足用、ロボット用、上肢補助装置用、下肢補助装置用、または体幹補助装置用の、請求項1~9のいずれか一項に記載のコンピュータ装置。
  11. 生体信号が表す情報を識別するための方法であって、
    生体信号を受信することと、
    前記受信された生体信号を解析して特徴データを出力することと、
    前記特徴データと、複数の教示データのうちの各々との類似度を示す出力ベクトルを決定することと、
    前記出力ベクトルを時刻ごとに時系列に記憶することと、
    記憶された時系列の出力ベクトルにおける所定期間内の複数の出力ベクトルに基づいて、前記生体信号が表す情報を決定することと
    を含む方法。
  12. 生体信号が表す情報を識別するためのプログラムであって、前記プログラムは、プロセッサ部とメモリ部とを備えるコンピュータ装置において実行され、前記プログラムは、
    生体信号を受信することと、
    前記受信された生体信号を解析して特徴データを出力することと、
    前記特徴データと、複数の教示データのうちの各々との類似度を示す出力ベクトルを決定することと、
    前記出力ベクトルを時刻ごとに時系列に前記メモリ部に記憶することと、
    前記メモリ部に記憶された時系列の出力ベクトルにおける所定期間内の複数の出力ベクトルに基づいて、前記生体信号が表す情報を決定することと
    を含む処理を前記プロセッサ部に行わせる、プログラム。
JP2020008620A 2017-11-30 2020-01-22 生体信号が表す情報を識別するためのシステム Active JP7477309B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017231054 2017-11-30
JP2017231054 2017-11-30
JP2019523894A JP6656633B2 (ja) 2017-11-30 2018-11-30 生体信号が表す情報を識別するためのシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019523894A Division JP6656633B2 (ja) 2017-11-30 2018-11-30 生体信号が表す情報を識別するためのシステム

Publications (3)

Publication Number Publication Date
JP2020096851A JP2020096851A (ja) 2020-06-25
JP2020096851A5 JP2020096851A5 (ja) 2022-03-08
JP7477309B2 true JP7477309B2 (ja) 2024-05-01

Family

ID=66665034

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019523894A Active JP6656633B2 (ja) 2017-11-30 2018-11-30 生体信号が表す情報を識別するためのシステム
JP2020008620A Active JP7477309B2 (ja) 2017-11-30 2020-01-22 生体信号が表す情報を識別するためのシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019523894A Active JP6656633B2 (ja) 2017-11-30 2018-11-30 生体信号が表す情報を識別するためのシステム

Country Status (5)

Country Link
US (2) US11166667B2 (ja)
EP (1) EP3718515A4 (ja)
JP (2) JP6656633B2 (ja)
CN (2) CN111565680B (ja)
WO (1) WO2019107554A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565680B (zh) * 2017-11-30 2021-11-02 梅尔廷Mmi株式会社 用于识别生物体信号所表示的信息的系统
CN111714120A (zh) * 2020-05-08 2020-09-29 广东食品药品职业学院 能进行视觉定位能力评估的脑机接口系统及其应用
JPWO2022114116A1 (ja) * 2020-11-27 2022-06-02
CN114053007B (zh) * 2021-10-29 2022-06-21 哈尔滨工业大学 一种面向健康受试者的多自由度假肢实验装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073770A1 (ja) 2015-10-29 2017-05-04 国立大学法人電気通信大学 時系列情報を用いた筋電パターン識別方法及び筋電義手
JP2017140198A (ja) 2016-02-09 2017-08-17 Kddi株式会社 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5336269A (en) 1992-06-09 1994-08-09 Liberty Mutual Insurance Co. Method and apparatus for switching degrees of freedom in a prosthetic limb
JP2000148985A (ja) * 1998-11-17 2000-05-30 Hitachi Ltd 個人認証システム
JP4687935B2 (ja) 2000-03-13 2011-05-25 国立大学法人北海道大学 個人適応型生体信号被動機器制御システム
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP5118620B2 (ja) 2008-12-24 2013-01-16 日立Geニュークリア・エナジー株式会社 動態認識装置、動態認識システムおよび動態認識方法
US8744588B2 (en) * 2009-05-07 2014-06-03 Hani Midani Method and system for connecting an impaired nervous system to a muscle or a group of muscles based on template matching and intelligent end points
JP4861538B2 (ja) * 2010-04-28 2012-01-25 パナソニック株式会社 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
JP5742441B2 (ja) * 2011-05-06 2015-07-01 セイコーエプソン株式会社 生体情報処理装置
TWI457152B (zh) 2011-08-25 2014-10-21 Univ Nat Yunlin Sci & Tech 回饋控制之穿戴式上肢電刺激裝置
JP6296494B2 (ja) * 2014-02-06 2018-03-20 国立研究開発法人理化学研究所 リハビリ装置
JP2016047093A (ja) * 2014-08-27 2016-04-07 セイコーエプソン株式会社 生体情報解析システム、生体情報処理システム及び生体情報解析装置
JP2016052474A (ja) * 2014-09-04 2016-04-14 exiii株式会社 プログラム及び情報処理装置
CN107072583A (zh) 2014-09-04 2017-08-18 大学健康网络 用于基于脑活动信号的治疗和/或用户设备的控制的方法和系统
US10314725B2 (en) 2014-11-13 2019-06-11 The Regents Of The University Of Michigan Method for amplifying signals from individual nerve fascicles
CN111565680B (zh) * 2017-11-30 2021-11-02 梅尔廷Mmi株式会社 用于识别生物体信号所表示的信息的系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073770A1 (ja) 2015-10-29 2017-05-04 国立大学法人電気通信大学 時系列情報を用いた筋電パターン識別方法及び筋電義手
JP2017140198A (ja) 2016-02-09 2017-08-17 Kddi株式会社 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法

Also Published As

Publication number Publication date
EP3718515A4 (en) 2021-08-18
CN113907714A (zh) 2022-01-11
US20220008003A1 (en) 2022-01-13
CN111565680B (zh) 2021-11-02
US20200375529A1 (en) 2020-12-03
JP6656633B2 (ja) 2020-03-04
WO2019107554A1 (ja) 2019-06-06
CN111565680A (zh) 2020-08-21
EP3718515A1 (en) 2020-10-07
JPWO2019107554A1 (ja) 2019-12-12
JP2020096851A (ja) 2020-06-25
US11166667B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
JP7477309B2 (ja) 生体信号が表す情報を識別するためのシステム
Novak et al. A survey of sensor fusion methods in wearable robotics
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Reaz et al. Techniques of EMG signal analysis: detection, processing, classification and applications
Tsai et al. A novel STFT-ranking feature of multi-channel EMG for motion pattern recognition
Prashant et al. Brain computer interface: A review
KR101492480B1 (ko) 보행 단계에 기반한 표면 근전도 분석 시스템
Li et al. Wireless sEMG-based identification in a virtual reality environment
Naik et al. Classification of finger extension and flexion of EMG and Cyberglove data with modified ICA weight matrix
JP2010125287A (ja) 指関節角度推定装置
Stival et al. Online subject-independent modeling of semg signals for the motion of a single robot joint
Liao et al. Human–robot interface based on sEMG envelope signal for the collaborative wearable robot
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Mamikoglu et al. Elbow joint angle estimation by using integrated surface electromyography
Rosli et al. Electrocardiographic (ECG) and Electromyographic (EMG) signals fusion for physiological device in rehab application
Mohebbian et al. A comprehensive review of myoelectric prosthesis control
JP3699996B2 (ja) 生体信号を利用したリモートコントローラ
Singhvi et al. Comparative study of motion recognition with temporal modelling of electromyography for thumb and index finger movements aiming for wearable robotic finger exercises
Said et al. Wearable technologies in biomedical and biometric applications
Radha et al. A survey on bio-signal analysis for human-robot interaction
Chopra Ultra-Low latency in Human-machine Interfacing using EMG Onset Detection and Pattern Recognition
Wang et al. Exploration of muscle fatigue effects in bioinspired robot learning from sEMG signals
Maulana et al. Controlling Robot Manipulators as Prototype of Prosthetic Arm using Electromyography Signal Based on Embedded System
WO2017187658A1 (ja) 動作補助装置
Bu et al. EMG-controlled human-robot interfaces: A hybrid motion and task modeling approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240418

R150 Certificate of patent or registration of utility model

Ref document number: 7477309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150