KR100706065B1 - 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템 - Google Patents

근전도를 이용한 사용자 의도 인식 방법 및 그 시스템 Download PDF

Info

Publication number
KR100706065B1
KR100706065B1 KR1020040010332A KR20040010332A KR100706065B1 KR 100706065 B1 KR100706065 B1 KR 100706065B1 KR 1020040010332 A KR1020040010332 A KR 1020040010332A KR 20040010332 A KR20040010332 A KR 20040010332A KR 100706065 B1 KR100706065 B1 KR 100706065B1
Authority
KR
South Korea
Prior art keywords
emg
user
intention
threshold
value
Prior art date
Application number
KR1020040010332A
Other languages
English (en)
Other versions
KR20050081994A (ko
Inventor
문인혁
이명준
김경훈
문무성
Original Assignee
재단법인 산재의료관리원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 산재의료관리원 filed Critical 재단법인 산재의료관리원
Priority to KR1020040010332A priority Critical patent/KR100706065B1/ko
Publication of KR20050081994A publication Critical patent/KR20050081994A/ko
Application granted granted Critical
Publication of KR100706065B1 publication Critical patent/KR100706065B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6822Neck
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6823Trunk, e.g., chest, back, abdomen, hip
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/60Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG]
    • A61H2230/605Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG] used as a control parameter for the apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Transplantation (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Power Engineering (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

가. 청구범위에 기재된 발명이 속하는 기술분야.
본 발명은 절단환자나 손부위의 마비환자가 자신의 의사를 표현하거나 휠체어나 의수를 제어하기 위한 수단으로서 몸짓과 유사한 근육의 움직임을 이용할 수 있도록 하는 방법 및 시스템에 관한 것으로, 보다 상세하게는 근전도 신호에 대한 문턱치 비교 방법에 있어서 상기 문턱치보다 작은 값을 갖는 보조 문턱치를 추가하여 하나의 의도된 동작에 대해 하나의 의도만을 인식할 수 있도록 한 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템에 관한 것이다.
나. 발명이 해결하려는 기술적 과제.
종래의 근전도 신호로부터 사용자의 의도를 인식하여 휴먼-컴퓨터 인터페이스(HCI)에 적용하는 방법에 있어서, 사용자는 신체의 서로 다른 두 부위의 근육을 각기, 혹은 동시에 수의 수축(voluntary contraction)함으로써 자신의 의도를 표현하게 되는데, 이 때 근육의 수축 정도는 근전도 신호를 해석하여 알아낼 수 있으며, 가장 대표적인 방법은 근전도 진폭 신호의 절대 평균값(mean absolute value, MAV)과 미리 정해둔 특정 문턱치 값(threshold value)을 비교하여 인식하는 것으로, 상기 문턱치에 의한 인식 방법이란 서로 다른 부위의 근육의 움직임으로부터 검출된 근전도 신호의 값을 문턱치 값과 비교하여 만약 정해준 문턱치 값보다 클 경우에는 사용자의 의도가 있는 것으로, 만약 작을 경우에는 사용자의 의도가 없는 것으로 인식하는 것이다.
하지만, 사용자가 동시에 두 근육을 수축하고자 할지라도 개인에 따라 각각의 근육 발화(firing) 시점에 따른 시간차가 발생할 수 있기 때문에, 상기와 같은 단순 비교 방법은 동시 수의 수축의 경우에는 시간차가 있는 동안 정확한 사용자 의도의 인식이 어려운 문제점이 있는 것이다.
다. 발명의 해결방법의 요지.
따라서, 본 발명은 상기 문제점을 해결하기 위해 안출한 것으로, 본 발명의 목적은 근육의 수의 수축 유무 인식에 필요한 문턱치를 주 문턱치(primary threshold)에 상기 주 문턱치보다 작은 값을 갖는 보조 문턱치(auxiliary threshold)를 추가하여 이중 문턱치를 설정함으로써 두 근육이 동시에 수의 수축할 때에도 사용자의 의도를 정확하게 인식할 수 있도록 한 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템을 제공함에 있다.
라. 발명의 중요한 용도
재활 의지/보조기를 제어할 수 있는 사용자 의도 인식 방법 및 시스템.

Description

근전도를 이용한 사용자 의도 인식 방법 및 그 시스템{Way of recoguizing user's intention by using an electromyogram and its system}
도 1은 근전도 신호 처리과정을 나타낸 블록도.
도 2는 도 1에서 구현된 근전도 신호 처리과정을 통해 획득한 출력 결과를 나타낸 예시도.
도 3은 양쪽 어깨올림근의 움직임에 따른 IEMG 값을 수집한 예시도.
도 4는 도 3에 나타낸 IEMG 값과 문턱치를 이용해서 단순 비교 방법에 의해 어깨 올림 동작을 인식한 결과를 나타낸 예시도.
도 5는 시간 지연을 이용한 인식 결과를 나타낸 예시도.
도 6은 이중 문턱치를 이용한 움직임 의도 인식 방법을 나타낸 흐름도.
도 7은 이중 문턱치를 이용한 실험 결과를 나타낸 예시도.
도 8은 실시간 근전도 인터페이스의 시스템 구성을 나타낸 블록도.
본 발명은 절단환자나 손부위의 마비환자가 자신의 의사를 표현하거나 휠체어나 의수를 제어하기 위한 수단으로서 몸짓과 유사한 근육의 움직임을 이용할 수 있도록 하는 방법 및 시스템에 관한 것으로, 보다 상세하게는 근전도 신호에 대한 문턱치 비교 방법에 있어서 상기 문턱치보다 작은 값을 갖는 보조 문턱치를 추가하여 하나의 의도된 동작에 대해 하나의 의도만을 인식할 수 있도록 한 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템에 관한 것이다.
매년 질병이나 사고에 의한 후천적 장애인의 수가 증가하고 있으며, 세계적으로 이러한 지체 장애인들의 재활 및 정상적인 사회 복귀는 큰 사회적 문제로 대두되고 있다.
따라서, 최근 재활 의지/보조기(prosthesis/orthosis)에 관한 많은 연구가 이루어져 왔으며, 특히 상기 재활 의지/보조기 동작의 신뢰성과 안정성 향상을 위해 사람을 제어 시스템의 한 요소로 적용하는 휴먼-인-더-루프 시스템(human-in-the-loop system)에 관한 연구가 제안되고 있는데, 사람은 기계와 다른 정보 체계를 가진 시스템이므로 휴먼-인-더-루프 시스템에는 사람과 기계간에 정보를 변환할 수 있는 휴먼-컴퓨터 인터페이스(human-computer interface, 이하 "HCI"이라 함)가 반드시 필요하다.
현재 많이 적용되고 있는 대표적인 HCI로서는 키보드나 마우스가 있지만, 장애자가 컴퓨터에 익숙하지 않는 고령자에게는 적합하지 않고, 또한 사용자의 편리성을 고려하여 영상이나 음성을 이용한 사용자 중심의 인터페이스가 제안되었으나, 상기 영상 기반 인터페이스의 경우에는 많은 데이터를 처리하기 위해 높은 비용이 들고, 음성 기반의 인터페이스는 주위의 잡음이나 환경의 영향을 쉽게 받기 때문에 실제 적용하기 위해서는 이러한 문제들을 극복하여야만 하는 것이다.
한편 최근에는 근전도(EMG), 뇌전도(EEG), 안전도(EOG) 등의 생체 신호를 이용한 인터페이스가 제안되고 있는데, 이러한 생체 신호들 중에서 특히 근전도 신호는 다른 생체 신호들보다 비교적 진폭이 크고, 잡음에 강한 특성이 있어서 재활 시스템에 많이 적용되고 있다.
종래의 근전도 신호로부터 사용자의 의도를 인식하여 HCI에 적용하는 방법에 있어서, 사용자는 신체의 서로 다른 두 부위의 근육을 각기, 혹은 동시에 수의 수축(voluntary contraction)함으로써 자신의 의도를 표현하게 되는데, 이 때 근육의 수축 정도는 근전도 신호를 해석하여 알아낼 수 있으며, 대표적인 방법으로는 진폭이나 주파수 해석 등이 있다.
그 중에서 가장 간단한 방법은 근전도 진폭 신호의 절대 평균값(mean absolute value, MAV)과 미리 정해둔 특정 문턱치 값(threshold value)을 비교하여 인식하는 것으로, 상기 문턱치에 의한 인식 방법이란 서로 다른 부위의 근육의 움직임으로부터 검출된 근전도 신호의 값을 문턱치 값과 비교하여 만약 정해준 문턱치 값보다 클 경우에는 사용자의 의도가 있는 것으로, 만약 작을 경우에는 사용자의 의도가 없는 것으로 인식하는 것이다.
하지만, 사용자가 동시에 두 근육을 수축하고자 할지라도 개인에 따라 각각의 근육 발화(firing) 시점에 따른 시간차가 발생할 수 있기 때문에, 상기와 같은 단순 비교 방법은 동시 수의 수축의 경우에는 시간차가 있는 동안 정확한 사용자 의도의 인식이 어려운 문제점이 있는 것이다.
따라서, 본 발명은 상기 문제점을 해결하기 위해 안출한 것으로, 본 발명의 목적은 근육의 수의 수축 유무 인식에 필요한 문턱치를 주 문턱치(primary threshold)에 상기 주 문턱치보다 작은 값을 갖는 보조 문턱치(auxiliary threshold)를 추가하여 이중 문턱치를 설정함으로써 두 근육이 동시에 수의 수축할 때에도 사용자의 의도를 정확하게 인식할 수 있도록 한 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템을 제공함에 있다.
상기와 같은 목적을 달성하기 위하여 본 발명에 의한 이중 문턱치 수법에 의한 사용자 의도 인식 시스템은 장애인용 재활 의지/보조기의 동작 제어를 위한 사용자 의도 인식 시스템에 있어서, 사용자 신체의 서로 다른 두 근육 부위에서 피부 표면 근전 변화를 감지하여 근전도를 측정하는 근전도 측정부와, 상기 근전도 측정부에서 측정된 근전도 신호로부터 적분근전도(IEMG)를 출력하는 근전도 신호 처리부와, 상기 근전도 신호 처리부로부터 IEMG값을 입력받아 기 설정된 주 문턱치 및 보조 문턱치와 비교함으로써 사용자의 의도를 인식하고, 외부 제어기에 인식 결과를 출력하는 제어부로 구성된 것을 특징으로 한다.
상기 근전도 측정부는 사용자가 움직일 수 있는 어깨, 팔, 목 등의 근육 부위에 쌍으로 각각 하나씩 부착되어 근전도를 측정할 수 있는 전극 형태의 근전도 센서부와, 상기 각 근전도 전극 사이의 전위차를 감지하여 검출한 근전도 신호를 기설정된 주파수 대역 내의 신호만 통과시켜 증폭시킨 후 실시간 근전도 인터페이스로 출력하는 근전도 신호 송신부로 구성되는 것이 바람직하고,
상기 근전도 신호 처리부는 상기 근전도 측정부로부터 입력된 근전도 신호의 전원 잡음을 제거하기 위한 대역저지필터(band-rejection filter, BRF)와, 상기 근전도 신호를 전파 정류하는 정류부(Rectifier)와, 상기 근전도 신호의 이동평균(moving average, MAV) 값을 출력하는 MAV 회로부와, 상기 MAV 회로부로부터 수신된 MAV의 노이즈를 제거하여 최종적으로 IEMG를 출력하는 저역통과필터(low-pass filter, LPF)를 포함하여 구성되는 것이 바람직하며,
상기 제어부는 상기 근전도 신호 처리부로부터 입력된 각 근육의 IEMG 신호 및 가변 저항의 설정된 오프셋 전압을 통해 입력된 각 문턱치 신호를 디지털 신호로 변환 출력하는 AD변환기와, 상기 AD변환기로부터 입력된 각 신호를 처리하여 이중 문턱치 비교 방법에 의해 사용자의 의도를 인식하는 마이컴과, 상기 마이컴의 제어에 따라 사용자의 의도 인식 결과를 출력단에 연결된 LED로 나타내는 상태표시부와, 상기 마이컴의 제어에 따라 사용자의 의도 인식 결과를 외부제어기에 출력하는 인터페이스부 및 상기 각 부에 전원을 공급하여 주는 전원부를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명에 의한 근전도를 이용한 사용자 의도 인식 방법은 장애인용 재활 의지/보조기의 동작 제어를 위해 근전도를 이용한 사용자 의도 인식 방법에 있어서, 사용자 신체의 서로 다른 두 근육 부위에서 피부 표면 근전 변화를 감지하여 근전도를 측정하는 제 1단계와, 상기 제 1단계에서 측정된 근전도 신호로부터 적분근전도(IEMG) 값을 검출하는 제 2단계, 상기 IEMG 값을 입력받아 이중 문턱치 비교 방법에 의해 사용자의 의도를 인식하는 제 3단계, 상기 제 3단계에서 인식된 결과를 상기 재활 의지/보조기에 출력하는 제 4단계로 이루어진 것을 특징으로 한 다.
본 발명은 신체의 서로 다른 두 근육 부위에서 검출한 근전도 신호로부터 이중 문턱치 인식 방법에 의해 사용자의 의도를 인식하고 HCI에 적용하는 방법을 제안한 것으로, 특히, 본 발명의 실시 예에서는 전완 절단 장애자를 위한 근전의수나 경추 C4, C5 손상에 의한 팔 아래 마비 환자, 혹은 양쪽 상완 절단 장애자가 전동 휠체어를 조정하는데 적용할 수 있도록 전완의 손목 굽힘근과 손목 폄근, 양쪽 어깨 올림근을 실험 대상으로 하여 단일 문턱치에 의한 동작 인식과 이중 문턱치에 의한 동작 인식에 대하여 각기 실험을 수행한 것이다.
이하에서는 첨부 도면을 참조하여 본 고안의 가장 바람직한 일 실시 예를 상세히 설명하기로 한다. 우선, 각 도면을 설명함에 있어, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 도시되더라도 가능한 한 동일한 참조부호를 갖는다.
우선, 도 1은 근전도 신호 처리과정을 나타낸 블록도로서, 본 발명의 실시 예에 따른 근전도 처리 시스템에서 근전도 신호를 취득하여 처리하는 과정을 나타낸 것이다.
근전도 신호는 근 섬유의 수축에 따라 0 내지 10 mV의 신호를 발생시키며, 30 내지 500 Hz에 에너지가 집중되어 있는 것으로, 도 2에서와 같이 본 발명의 실시 예에서는 LSM의 움직임에 영향을 비교적 적게 받는 쇄골(clavicle)을 신호의 기준점(reference of signal)으로서 선택하고, 능동형 근전도 전극을 이용하여 근전도 신호를 취득한다.
상기 능동형 근전도 전극은 전극 내에 20Hz 고역 통과 필터(HPF)와 450Hz 저역 통과 필터(LPF) 및 60dB 증폭기를 내장하고 있는 것이다.
상기 능동형 근전도 전극으로부터 취득된 근전도 신호는 전원 잡음 제거를 위해 60Hz 대역 저지 필터(band-rejection filter, BRF)를 거치고, 전파 정류(Rectifier) 및 이동 평균(moving average, MAV) 회로에 의해 근전도 신호의 MAV를 출력하고, 최종적으로 1Hz LPF를 거쳐서 IEMG(integrated absolute EMG)를 출력한다.
본 발명에서는 상기 BRF부터 IEMG 출력까지의 회로를 포함한 근전도 처리 시스템을 제작하였으며, T 시간 동안의 MAV는 다음 식과 같이 표현된다.
Figure 112004006474841-pat00001
따라서, 본 발명에서 상기 식의 절대값은 전파 정류 회로로 구현하였고, 이동 평균은 커패시턴스와 저항을 이용한 시정수로서 T를 결정하였다.
도 2는 상기 도 1에서 구현된 근전도 처리 시스템을 이용하여 획득한 출력 결과를 나타낸 것으로, 1번 채널은 DE-2.3에서 취득한 근전도 신호이고, 2번 채널은 MAV를 측정한 결과이며, 3번 채널은 1Hz LPF를 거쳐서 최종적으로 얻어진 IEMG이다.
본 발명의 실시 예에서는 서로 다른 두 근육의 움직임에 의해 추출된 IEMG값을 이용한 인터페이스를 구현하였는데, 상기 인터페이스를 이용하여 파지와 회전이 가능한 2자유도 근전 의수의 제어와 전진/멈춤/우회전/좌회전이 가능한 상지마비환 자용 전동휠체어의 제어를 가정하였다.
근전 의수의 사용 대상인 절단 장애인들의 팔 근육은 일반적으로 정상인에 비해 길이가 짧거나 많이 손상된 상태이므로 근전 의수의 제어를 위해 여러 부위의 근육을 사용하기 힘들며, 사용자의 상태에 따라 하나 혹은 둘의 비교적 큰 잔존 근육을 사용한다. C4나 C5가 손상된 상지 마비 환자의 경우에는 주로 어깨나 목 동작 등의 제한적인 움직임만이 가능하며, 이 중에서 목근육의 경우에는 고개를 돌리는 등의 일상적인 행동에서 많이 사용되기 때문에 상대적으로 사용 빈도가 적은 양쪽 어깨 올림근에 근전도 인터페이스를 적용하였다.
상기와 같이 둘 이하의 제한된 근육만으로 여러 가지 명령을 구현하기 위해서는 한 근육의 움직임으로 한 가지 이상의 명령을 수행할 수 있어야 하는데, 이런 문제점을 해결하기 위해 표 1 및 표 2에서와 같이 적용되는 기기에 따라 각기 다른 방식으로 명령을 정의하였다.
각 근육에서 검출된 근전도 신호로부터 구한 IEMG의 최대 값의 약 30%를 주 문턱치로 정하고, IEMG 값이 주 문턱치보다 크면 동작이 있는 것으로(on), 작으면 없는 것으로(off) 판단하는 것이다.
즉, 표 1은 두 개의 서로 다른 팔근육 A와 B에 따른 근전의수의 동작 상태와 명령을 나타낸 것이고, 표 2는 양쪽 어깨올림근에 따른 전동휠체어 동작 상태와 명령을 나타낸 것으로, 근육 A와 B를 사용한다고 가정할 때 A, B 중 한 근육만 움직인 경우와 A와 B 동시에 움직인 경우에 검출된 IEMG 값으로부터 근전 의수의 내전(pronation), 외전(supination), 파지(grip), 폄(open) 동작이나 전동휠체어의 전진(go forward), 멈춤(stop), 우회전(turn right), 좌회전(turn left)의 4가지 동작을 수행하는 명령을 정의하였다.
A EMG B EMG state command
grip mode rotation mode
on on 1/0 mode change (grip/rotation)
on off 2 grip pronation
off on 3 open supination
off off 4 none none
표 1. 두 개의 서로 다른 팔근육 A와 B에 따른 근전의수의 동작 상태와 명령
left EMG right EMG state command
on on 1/0 go forward/ stop
on off 2 turn left
off on 3 turn right
off off 4 none
표 2. 양쪽 어깨 올림근에 따른 전동휠체어 동작 상태와 명령
한편, 단일 문턱치에 의한 동작 인식과 이중 문턱치에 의한 동작 인식 등 각 인식 방법에 대한 인식률을 비교하기 위해서는 동일한 데이터를 사용해야 하므로, 본 발명에 따른 상기 근전도 처리 시스템을 이용하여 얻은 IEMG 값을 데이터 수집 보드(data acquisition board, DAQ)를 이용해서 채널당 2,000 Hz의 샘플 주파수로 취득/저장하였다.
도 3은 양쪽 어깨올림근의 움직임에 따른 IEMG 값을 수집한 예시도로서, 동일한 하드웨어를 사용한다면 인식 방법의 복잡한 정도에 따라 각각의 인식 속도가 다를 수 있으므로, 인식 속도에 관계없이 정량적으로 비교하기 위해서 0.1초마다 한 번씩 인식 결과를 출력하게 한 것이다.
상기와 같은 방법에 의해 수집된 IEMG 값과 단일 문턱치(single threshold) 비교에 의한 어깨 올림 동작 인식 결과는 다음과 같다.
도 4는 도 3에 나타낸 IEMG 값과 문턱치를 이용해서 단순 비교 방법에 의해 어깨 올림 동작을 인식한 결과를 나타낸 것으로, 실험에서는 문턱치를 1.0으로 하였으며, 그 결과 최소한의 인식 시간인 0.1초마다 비교 결과가 얻어지므로 빠른 인식 결과를 얻을 수 있었다.
그러나, 동작이 있었던 23, 27, 30초 부근에서와 같이 IEMG 값이 문턱치보다 계속해서 클 경우, 매 0.1초마다 인식 결과가 얻어지게 되어 하나의 의도된 동작에 대해 한 명령만 출력하지 못함을 알 수 있다.
또한, 사용자는 양쪽 어깨를 동시에 올린 후 동시에 내리는 동작을 수행하였지만, 어깨 올림, 내림 동작에 대한 시간적 편차에 의해 한 쪽의 어깨만이 올려졌다고 인식하였다.
이러한 단순 비교의 문제점을 해결하기 위해서 도 5에서와 같이 IEMG 값이 1초 이상 문턱치를 초과할 경우에만 의도적인 동작으로 인식하는 방법을 사용할 수 있는데, 이 방법을 사용하면 24초 부근과 같이 양쪽 어깨를 동시에 올리거나 내릴 때 발생할 수 있는 시간 편차로 인한 인식 오차를 없앨 수가 있었다.
하지만, 27초 부근에서처럼 양쪽 어깨 올림 동작의 의도는 있으나 양쪽 모두 1초 동안 지속되지 않을 경우에는 동작을 인식하지 못하였고, 또한 30초 부근에서는 사용자가 양쪽 어깨를 동시에 올렸지만 내리는 시간이 틀렸기 때문에 오른쪽 어깨 올림 동작만이 약 1.7초 이상 연속적으로 문턱치를 초과했다.
따라서, 상기 방법 역시 1초의 시간 지연 이후에는 단일 문턱치 단순 비교에 의한 방법에서와 같이 매 0.1초마다 인식 결과가 얻어지게 되어 하나의 의도된 종작에 대한 한 명령만 인식해야 한다는 조건을 만족시키지 못함을 알 수 있다.
상기 시간 지연을 이용한 방법에서 동작 인식을 위한 지연 시간을 보다 줄이고, 사용자가 이 시간 지연에 맞춰 훈련을 하면 휴먼-컴퓨터 인터페이스(HCI)에 적용은 가능하지만, 항상 지연 시간만큼은 근육을 활성화 시켜야 하기 때문에 근 피로(muscle faigue)가 빨리 발생할 수 있고, 이에 따라 문턱치를 다시 조정해야 하는 문제점이 있는 것이다.
따라서 본 발명은 상기 인식방법 실험 결과에서 나타난 문제점을 해결하고 근육의 움직임을 이용한 근전도 인터페이스를 구현하기 위한 조건을 만족시키기 위하여 기존의 문턱치에 상기 문턱치보다 작은 값을 갖는 보조 문턱치를 추가한 이중 문턱치 인식 방법을 제안한 것이다.
상기 도 6은 본 발명에 따른 이중 문턱치를 이용한 움직임 의도 인식 방법을 나타낸 흐름도로서, 여기서 Apt, Aat와 Bpt, Bat는 각각 서로 다른 두 근육 부위 A와 B의 주 문턱치와 보조 문턱치를 나타낸다.
먼저, 단일 문턱치 인식 방법과 같이 A의 IEMG 값이 Apt 보다 크지만 B의 IEMG 값이 Bat보다 작다면, 우선 근육 A의 움직임만을 인식한다.
만약 A의 IEMG 값이 Apt를 초과하고, B의 IEMG 값이 Bpt보다는 작지만 Bat를 초과한다면 두 개의 근육을 동시에 움직이려는 의도가 있다고 판단하여 인식을 유보한다.
그러나 어느 순간 B의 IEMG가 Bpt를 초과하면 그때서야 비로소 두 근육이 동 시에 움직였음을 인식하고, 반면 B의 IEMG가 Bat보다 작아지면 더 이상 B쪽의 근육을 움직일 의도가 없다고 판단하여 A쪽 근육의 움직임만을 인식하는 것이다.
따라서 사용자의 하나의 의도된 움직임에 대해 한 명령만 출력하게 되며, 두 근육을 동시에 움직일 때 발생할 수 있는 시간적 편차를 고려할 수 있다.
만약 A와 B가 동시에 문턱치 Apt, Bpt보다 크다면 두 근육 모두 움직이는 것으로 즉시 인식하게 되며, 일단 근육의 움직임에 대한 의도 인식이 되면 다음 의도를 입력받기 위해서 두 근육의 IEMG 값이 모두 Aat, Bat보다 작아질 때까지 기다린다.
도 7은 본 발명에 따른 이중 문턱치를 이용한 실험 결과를 나타낸 것으로, 이 실험에서는 주 문턱치와 보조 문턱치를 각각 1.0과 0.5로 설정하였다.
먼저 23초 부근에서 양쪽의 IEMG 값이 모두 문턱치를 초과하였으므로 양쪽 어깨 동작의 활성화로서 인식하였다.
그 후, 상기 도 6에 제안한 것처럼 양쪽 IEMG 값이 보조 문턱치보다 작아질 때까지 인식을 유보한 상태(상태값 4)를 유지한다.
26초와 30초 부근에서 다시 동시에 두 IEMG 값이 문턱치를 초과하였으므로 양쪽 어깨가 올려졌음으로 인식하였고, 마찬가지로 양쪽 IEMG 값이 보조 문턱치보다 작아질 때까지 인식을 유보한 것을 보여준다.
이 때 인식된 상태 값은 상기 표 1에서와 같이 그 전의 동작 상태에 따라 1 또는 0으로 교번하면서 나타나게 된다.
도 8은 본 발명에 따른 실시간 근전도 인터페이스의 시스템 구성을 나타낸 블록도로서, 근전도 센서로부터 검출된 신호는 도 2에서와 같이 근전도 처리 시스템의 근전도 신호 처리 과정을 거쳐서 IEMG 값으로 변환되고, 상기 IEMG 값은 PIC 마이크로프로세서의 AD 변환기에 입력된다.
이 때, 각 문턱치의 오프셋 설정을 위해 가변 저항을 이용한 오프셋 전압을 상기 AD 변환기에 입력하게 되고, 인식된 4가지의 의도는 디지털 출력단에 연결된 LED로 나타내어지며, 동시에 RS-232C 직렬 통신을 이용하여 외부 제어기에 인식 결과를 출력하게 되는 것이다.
따라서 본 발명의 실시 예에서 구현한 근전도 처리 및 인식 하드웨어는 일반적인 근전도 신호 샘플링 주파수의 2배 이상 빠른 속도로 인식을 수행하므로 실시간 인식이 가능한 것이다.
이에 본 발명의 실시 예에서는 상기 실시간 근전도 인터페이스를 이용하여 5명의 정상인 피검자를 대상으로 양 어깨 올림근과 좌측 전완근의 움직임에 대한 인식률을 측정하는 실험을 실시하였는데, 이 때 주 문턱치는 입력된 IEMG의 최대 값의 30%로 설정하고, 보조 문턱치는 근육의 움직임이 없을 때의 IEMG 값보다 크게 정하였다.
상기 실험을 위한 명령(동작)은 전동 휠체어의 제어를 위한 어깨 올림 동작의 경우에는 "go forwoard(양쪽 올림) → turn left(왼쪽 올림) → turn right(오른쪽 올림) → turn left(왼쪽 올림) → turn right(오른쪽 올림) → stop(양쪽 올림)" 명령(동작)을 하였고, 근전 의수의 제어를 위한 전완 동작의 경우에는 "mode change(주먹 쥠) → grip(손목 굽힘) → open(손목 폄) → mode change(주먹 쥠) → pronation(손목 굽힘) → supination(손목 폄)" 명령(동작)이다.
먼저, 피검자가 인식 결과를 보지 않고 각 동작을 10번 반복한 뒤에, 다시 화면을 보면서 같은 동작을 10번 반복하여 수행하였으며, 이 때 어깨 올림 동작의 경우에는 정상인 피검자가 훈련을 하지 않고도 한 쪽 올림 동작이나 양쪽 동시 올림 동작 모두를 원하는 대로 할 수 있었다.
그러나 전완근의 움직임 중에서 주먹 쥠 동작은 전완의 올림근과 굽힘근에 모두 힘을 주기 위한 동작으로서, 이 때 양 근육에 비슷한 세기로 힘을 주기 위해서는 피검자의 훈련이 필요하였다. 따라서 전완근 움직임의 경우에는 인식률 측정에 앞서 약 10분간의 훈련을 하였다.
상기 실험 중에 이중 문턱치 인식 방법을 이용한 어깨 올림 동작의 인식률을 측정한 결과, 시각적인 피드백에 상관없이 피검자 D외에는 모든 명령에 있어서 100%의 인식률을 보였으며, 피검자 D는 도 9에서와 같이 실험 초기부터 근 피로에 의해 근육의 발화 상태가 지속되었기 때문에 다른 피검자들에 비해 낮은 인식률을 보였다.
또한 시각적인 피드백이 있는 경우에는 피검자들이 문턱치를 넘기 위해 더 많은 힘을 주게 되는 경향을 보였고, 따라서 피검자 D의 경우에도 피드백이 없는 경우보다 좀 더 높은 인식률을 보였다.
한편, 상기 실험 중에 전완 동작의 인식률을 측정한 결과는 표 3과 같으며, 한 쪽 근육만 사용할 경우에는 모든 피검자가 시각적인 피드백의 유무에 관게없이 모두 100%의 인식률을 보였다.
그러나 주멈 쥠 동작의 경우에는 피검자의 훈련 정도에 따라 차이를 보였으며, 시각적인 피드백이 있는 경우에는 근육의 힘 조절이 더 쉬워지므로 피드백이 없는 경우보다 높은 인식률을 보였다.
상술한 바와 같이 본 발명의 실시 예에서는 이중 문턱치 인식 방법을 사용하여 사용자의 움직임 의도를 인식할 수 있는 실시간 근전도 인터페이스를 구현함으로써 각각 3가지씩의 어깨 올림 동작과 전완 동작을 기반으로 전동휠체어의 전진, 멈춤, 우회전, 좌회전과 근전의수의 내전, 외전, 파지, 폄 동작의 제어를 가정하여 인식률을 실험하였고, 상기 실험 결과를 통해 본 발명에 따른 이중 문턱치 인식 방법 및 상기 이중 문턱치 인식 방법을 적용한 실시간 근전도 인터페이스가 유용함을 보여주고 있는 것이다.
상술한 바와 같이 본 발명에 따른 근전도를 이용한 사용자 의도 인식 방법에 따르면 두 근육이 동시에 수의 수축할 때에도 사용자 의도의 정확한 인식이 가능하므로, 장애인 또는 고령자를 위한 각종 생활 기기 및 복지 재활 기기의 정확한 제어가 가능하게 되는 것이다.

Claims (5)

  1. 장애인용 재활 의지/보조기의 동작 제어를 위한 사용자 의도 인식 시스템에 있어서,
    사용자 신체의 서로 다른 두 근육 부위에서 피부 표면 근전 변화를 감지하여 근전도를 측정하는 근전도 측정부와, 상기 근전도 측정부에서 측정된 근전도 신호로부터 적분근전도(IEMG)를 출력하는 근전도 신호 처리부와, 상기 근전도 신호 처리부로부터 IEMG값을 입력받아 기 설정된 주 문턱치 및 보조 문턱치와 비교함으로써 사용자의 의도를 인식하고, 외부 제어기에 인식 결과를 출력하는 제어부로 구성된 것을 특징으로 하는 근전도를 이용한 사용자 의도 인식 시스템.
  2. 제 1항에 있어서,
    상기 근전도 측정부는 사용자가 움직일 수 있는 어깨, 팔, 목 등의 근육 부위에 쌍으로 각각 하나씩 부착되어 근전도를 측정할 수 있는 전극 형태의 근전도 센서부와,
    상기 각 근전도 전극 사이의 전위차를 감지하여 검출한 근전도 신호를 기설정된 주파수 대역 내의 신호만 통과시켜 증폭시킨 후 제어부로 출력하는 근전도 신호 송신부로 구성되는 것을 특징으로 하는 근전도를 이용한 사용자 의도 인식 시스템.
  3. 제 1항에 있어서,
    상기 근전도 신호 처리부는 상기 근전도 측정부로부터 입력된 근전도 신호의 전원 잡음을 제거하기 위한 대역저지필터(band-rejection filter, BRF)와,
    상기 근전도 신호를 전파 정류하는 정류부(Rectifier)와,
    상기 근전도 신호의 이동평균(moving average, MAV) 값을 출력하는 MAV 회로부와,
    상기 MAV 회로부로부터 수신된 MAV의 노이즈를 제거하여 최종적으로 IEMG를 출력하는 저역통과필터(low-pass filter, LPF)를 포함하여 구성되는 것을 특징으로 하는 근전도를 이용한 사용자 의도 인식 시스템.
  4. 제 1항에 있어서,
    상기 제어부는 상기 근전도 신호 처리부로부터 입력된 각 근육의 IEMG 신호 및 가변 저항의 설정된 오프셋 전압을 통해 입력된 각 문턱치 신호를 디지털 신호로 변환 출력하는 AD변환기와,
    상기 AD변환기로부터 입력된 각 신호를 처리하여 이중 문턱치 비교 방법에 의해 사용자의 의도를 인식하는 마이컴과,
    상기 마이컴의 제어에 따라 사용자의 의도 인식 결과를 출력단에 연결된 LED로 나타내는 상태표시부와,
    상기 마이컴의 제어에 따라 사용자의 의도 인식 결과를 외부제어기에 출력하는 인터페이스부 및 상기 각 부에 전원을 공급하여 주는 전원부를 포함하여 구성되는 것을 특징으로 하는 근전도를 이용한 사용자 의도 인식 시스템.
  5. 장애인용 재활 의지/보조기의 동작 제어를 위해 근전도를 이용한 사용자 의도 인식 방법에 있어서,
    사용자 신체의 서로 다른 두 근육 부위에서 피부 표면 근전 변화를 감지하여 근전도를 측정하는 제 1단계와,
    상기 제 1단계에서 측정된 근전도 신호로부터 적분근전도(IEMG) 값을 검출하는 제 2단계,
    상기 IEMG 값을 입력받아 이중 문턱치 비교 방법에 의해 사용자의 의도를 인식하는 제 3단계,
    상기 제 3단계에서 인식된 결과를 상기 재활 의지/보조기에 출력하는 제 4단계로 이루어진 것을 특징으로 하는 근전도를 이용한 사용자 의도 인식 방법.
KR1020040010332A 2004-02-17 2004-02-17 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템 KR100706065B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040010332A KR100706065B1 (ko) 2004-02-17 2004-02-17 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040010332A KR100706065B1 (ko) 2004-02-17 2004-02-17 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20050081994A KR20050081994A (ko) 2005-08-22
KR100706065B1 true KR100706065B1 (ko) 2007-04-11

Family

ID=37268489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040010332A KR100706065B1 (ko) 2004-02-17 2004-02-17 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR100706065B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639974B1 (ko) 2015-06-29 2016-07-18 (주)이미지스테크놀로지 생체신호를 이용한 동작 시점 판단 방법 및 이를 위한 동작추론장치
CN107463259A (zh) * 2017-08-07 2017-12-12 北京汽车集团有限公司 车载显示设备以及用于车载显示设备的交互方法、装置
KR20230005661A (ko) 2021-07-01 2023-01-10 주식회사 인텔리고 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101335328B1 (ko) * 2012-02-13 2013-12-03 인제대학교 산학협력단 생체신호를 기반으로 하는 운동 및 인지 재활 훈련 시스템
KR101601715B1 (ko) * 2014-06-12 2016-03-10 근로복지공단 재활훈련장치의 제어방법
CN116449967A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009418A (ko) * 2003-07-16 2005-01-25 한국과학기술원 근전도 신호를 이용한 인간-기계 인터페이스 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009418A (ko) * 2003-07-16 2005-01-25 한국과학기술원 근전도 신호를 이용한 인간-기계 인터페이스 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
10-2005-0009418A

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639974B1 (ko) 2015-06-29 2016-07-18 (주)이미지스테크놀로지 생체신호를 이용한 동작 시점 판단 방법 및 이를 위한 동작추론장치
CN107463259A (zh) * 2017-08-07 2017-12-12 北京汽车集团有限公司 车载显示设备以及用于车载显示设备的交互方法、装置
KR20230005661A (ko) 2021-07-01 2023-01-10 주식회사 인텔리고 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20050081994A (ko) 2005-08-22

Similar Documents

Publication Publication Date Title
Novak et al. A survey of sensor fusion methods in wearable robotics
Bunderson et al. Quantification of feature space changes with experience during electromyogram pattern recognition control
US20180169408A1 (en) Neural prosthesis system and method of control
US20160144172A1 (en) Feedback-Control Wearable Upper-Limb Electrical Stimulation Device
JP6340528B2 (ja) Bmi運動補助装置
Mangukiya et al. Electromyography (EMG) sensor controlled assistive orthotic robotic arm for forearm movement
JP7477309B2 (ja) 生体信号が表す情報を識別するためのシステム
Singh et al. A review on surface EMG based control schemes of exoskeleton robot in stroke rehabilitation
Banerjee et al. Single channel electrooculogram (EOG) based interface for mobility aid
Luo et al. Research of intent recognition in rehabilitation robots: a systematic review
Herrmann et al. Fusion of myoelectric and near-infrared signals for prostheses control
KR100706065B1 (ko) 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템
Raurale Acquisition and processing real-time EMG signals for prosthesis active hand movements
Hameed et al. Soft robotic glove system controlled with amplitude independent muscle activity detection algorithm by using single sEMG channel
Lorrain et al. Surface EMG classification during dynamic contractions for multifunction transradial prostheses
Giuffrida et al. Upper-extremity stroke therapy task discrimination using motion sensors and electromyography
JPH0328225B2 (ko)
Zhang et al. Decoding movement intent of patient with multiple sclerosis for the powered lower extremity exoskeleton
Seth et al. EMG pattern recognition for persons with cervical spinal cord injury
KR20080063904A (ko) 손 지체 장애인을 위한 컴퓨터 인터페이스 장치 및 방법
Bhardwaj et al. Electromyography in physical rehabilitation: a review
CN215017698U (zh) 康复训练运动模拟可视化系统
Jo et al. EEG-EMG hybrid real-time classification of hand grasp and release movements intention in chronic stroke patients
Triwiyanto et al. Investigation of Electrode Location to Improve the Accuracy of Wearable Hand Exoskeleton Trainer Based on Electromyography
Hernandez Arieta et al. Sensorymotor coupling in rehabilitation robotics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130405

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 13