KR20210105455A - Walking assistance system - Google Patents

Walking assistance system Download PDF

Info

Publication number
KR20210105455A
KR20210105455A KR1020200019484A KR20200019484A KR20210105455A KR 20210105455 A KR20210105455 A KR 20210105455A KR 1020200019484 A KR1020200019484 A KR 1020200019484A KR 20200019484 A KR20200019484 A KR 20200019484A KR 20210105455 A KR20210105455 A KR 20210105455A
Authority
KR
South Korea
Prior art keywords
stiffness
learning
walking assistance
emg
algorithm
Prior art date
Application number
KR1020200019484A
Other languages
Korean (ko)
Other versions
KR102352537B1 (en
Inventor
박신석
정수훈
박규태
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020200019484A priority Critical patent/KR102352537B1/en
Publication of KR20210105455A publication Critical patent/KR20210105455A/en
Application granted granted Critical
Publication of KR102352537B1 publication Critical patent/KR102352537B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5041—Interfaces to the user control is restricted to certain individuals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/60—Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG]
    • A61H2230/605—Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG] used as a control parameter for the apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Primary Health Care (AREA)
  • Mechanical Engineering (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)
  • Manipulator (AREA)

Abstract

The present invention relates to a walking assistance system, comprising: a walking assistance robot which is worn on the foot of a pedestrian to assist in walking; a plurality of EMG sensors respectively attached to a plurality of muscles related to the movement of the ankle to detect an EMG; a stiffness prediction unit receiving the EMG signal detected by the EMG sensor and outputting a predicted stiffness to be applied to the ankle joint of the walking assistance robot through a machine learning algorithm; and a robot control unit configured to control stiffness of the ankle joint of the walking assistance robot based on the predicted stiffness output from the stiffness prediction unit. The machine learning algorithm is a learning EMG signal measured in the muscles of a plurality of pedestrians, and a learning stiffness signal according to the corresponding learning EMG signal as learning data, and the learning stiffness signal is output by machine learning. Accordingly, by predicting the stiffness to be applied to the ankle joint using a machine learning algorithm such as a long-short term memory (LSTM) algorithm or a convolution neural network (CNN) algorithm, more accurate stiffness prediction is possible.

Description

보행 보조 시스템{WALKING ASSISTANCE SYSTEM}Walking assistance system {WALKING ASSISTANCE SYSTEM}

본 발명은 보행 보조 시스템에 관한 것으로서, 보다 상세하게는 보행 보조 로봇의 발목 관절에 작용하는 강성과 각도를 정확하게 조절할 수 있는 보행 보조 시스템에 관한 것이다.The present invention relates to a walking assistance system, and more particularly, to a walking assistance system capable of accurately adjusting the stiffness and angle acting on the ankle joint of a walking assistance robot.

고령화 사회의 도래와 헬스 케어(health care)에 대한 관심 증대로 인해 노약자, 장애인, 환자 등 보행 능력을 상실한 사람들의 보행을 돕는 보행 보조 장치들이 제안되고 있다.With the advent of an aging society and increased interest in health care, walking assistance devices have been proposed to help people who have lost their ability to walk, such as the elderly, the disabled, and patients, to walk.

보행 보조 장치는 일시적으로 보행 능력을 상실한 사람의 보행 능력을 회복시키는 재활 운동을 보조하거나, 영구적으로 보행 능력을 일부 상실한 사람이 혼자서 보행하는 것을 보조한다.The walking assistance device assists a person with a temporary loss of walking ability to perform a rehabilitation exercise to restore the walking ability, or assists a person who has permanently lost a part of the walking ability to walk alone.

환자의 현재 상태와 보행 능력에 따라 다양한 종류의 보행 보조 장치가 존재하는데, 일 예로 한국등록특허공보 제10-1221046호에 환자의 다리에 착용하는 하지 외골격을 구비하는 보행 보조 장치가 개시되어 있으며, 도 1은 하지에 적용된 기존의 보행 보조 장치의 실제 예를 나타낸 도면이다.Various types of walking assistance devices exist according to the patient's current condition and walking ability. For example, Korean Patent Publication No. 10-1221046 discloses a walking assistance device having an exoskeleton of the lower extremity worn on the patient's leg, 1 is a view showing an actual example of a conventional walking assistance device applied to the lower extremities.

한편, 사람이 보행하는데 있어 발목 관절은 비교적 단순한 반복적 움직임을 하게 되고 보행 주기에 따른 움직임으로 분류가 가능한데, 보행 보조 장치에서는 이와 같은 움직임을 정확하게 보조해주어야 자연스러운 움직임이 보조 가능하며, 이를 위해서는 발목 관절에 작용하는 강성과, 발목의 각도의 정확한 예측이 필요하다.On the other hand, when a person walks, the ankle joint makes relatively simple repetitive movements and can be classified into movements according to the gait cycle. Accurate prediction of the acting stiffness and the angle of the ankle is required.

발목 관절의 강성을 예측하기 위한 기존 모델들은 근육 모델의 식이나 수학적인 선형화 식을 이용해 설계되었는데, 이는 정확도가 낮을 뿐만 아니라 시간이 지남에 따라 변하는 근육의 상태를 전부 반영하기 어려운 단점이 있다. 이는 근육이 사용될 때마다 피로도가 쌓이게 되며, 이러한 특성으로 인해 시간이 지남에 따라 상태나 측정값이 달라지기 때문이다.Existing models for predicting the stiffness of the ankle joint were designed using muscle model equations or mathematical linearization equations, which have low accuracy and difficult to reflect the muscle condition that changes over time. This is because fatigue builds up every time a muscle is used, and due to this characteristic, the state or measurement value changes over time.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 보행 보조 로봇의 발목 관절에 작용되는 강성을 보다 정확하게 예측할 수 있는 보행 보조 시스템을 제공하는데 그 목적이 있다.Accordingly, the present invention has been devised to solve the above problems, and an object of the present invention is to provide a walking assistance system capable of more accurately predicting the stiffness applied to the ankle joint of the walking assistance robot.

또한, 보행 보조 로봇의 발목 관절의 각도를 보다 정확하게 예측하여, 보행 중 발목 관절에 작용하는 강성과 각도를 보다 정확하게 반영하여 보행자의 보행 상태나 기립 상태 등에 보다 정확한 목표값을 제공할 수 있는 보행 보조 시스템을 제공하는데 또 다른 목적이 있다.In addition, by more accurately predicting the angle of the ankle joint of the walking assistance robot, the stiffness and angle acting on the ankle joint during walking are more accurately reflected to provide a more accurate target value for the walking state or standing state of the pedestrian. Another purpose is to provide a system.

상기 목적은 본 발명에 따라, 보행자의 발에 착용되어 보행을 보조하는 보행 보조 로봇과, 발목의 움직임과 연관된 복수의 근육에 각각 부착되어 근전도를 감지하는 복수의 근전도 센서와, 상기 근전도 센서에 의해 감지된 근전도 신호를 입력받아 기계 학습 알고리즘을 통해 상기 보행 보조 로봇의 발목 관절에 적용될 예측 강성을 출력하는 강성 예측부와, 상기 강성 예측부로부터 출력된 상기 예측 강성에 기초하여 상기 보행 보조 로봇의 발목 관절의 강성을 제어하는 로봇 제어부를 포함하며; 상기 기계 학습 알고리즘은 다수의 보행자의 근육에서 측정된 학습 근전도 신호와, 해당 학습 근전도 신호에 따른 학습 강성 신호를 학습 데이터로 하되 상기 학습 강성 신호를 출력으로 하여 기계 학습되어 생성되는 것을 특징으로 하는 보행 보조 시스템에 의해서 달성된다.According to the present invention, a walking assistance robot worn on a pedestrian's foot to assist walking, a plurality of EMG sensors attached to a plurality of muscles related to the movement of the ankle to detect an EMG, and the EMG sensor A stiffness prediction unit that receives the detected EMG signal and outputs a predicted stiffness to be applied to the ankle joint of the walking assistance robot through a machine learning algorithm, and an ankle of the walking assistance robot based on the predicted stiffness output from the stiffness prediction unit a robot control unit for controlling the stiffness of the joint; The machine learning algorithm uses a learning EMG signal measured from the muscles of a plurality of pedestrians and a learning stiffness signal according to the corresponding learning EMG signal as learning data, but is generated by machine learning by outputting the learning stiffness signal as an output. This is achieved by an auxiliary system.

여기서, 상기 기계 학습 알고리즘은 LSTM(Long-Short Term Memory) 알고리즘, 또는 CNN(Convolution Neural Network) 알고리즘을 포함할 수 있다.Here, the machine learning algorithm may include a Long-Short Term Memory (LSTM) algorithm or a Convolution Neural Network (CNN) algorithm.

그리고, 상기 강성 예측부는 상기 학습 근전도 신호 및 상기 학습 강성 신호를 기 설정된 개수 또는 시간 단위로 시간에 따라 중첩하여 상기 기계 학습 알고리즘에 상기 학습 데이터로 입력하고; 상기 근전도 센서에 의해 감지된 상기 근전도 신호를 상기 개수 또는 시간 단위로 중첩하여 상기 기계 학습 알고리즘에 입력할 수 있다.In addition, the stiffness prediction unit superimposes the learning EMG signal and the learning stiffness signal in a preset number or time unit over time and inputs the learning data to the machine learning algorithm as the learning data; The EMG signal detected by the EMG sensor may be superimposed on the number or time unit and input to the machine learning algorithm.

또한, 상기 보행자의 보행시 상기 보행자의 발바닥의 지면 접촉 여부를 감지하는 복수의 접촉 센서와, 복수의 상기 접촉 센서의 감지 결과에 기초하여, 상기 보행 보조 로봇의 발목 관절의 각도를 예측하는 발목 각도 예측부를 더 포함하며; 상기 로봇 제어부는 상기 발목 각도 예측부에 의해 예측된 각도로 상기 보행 보조 로봇의 발목 각도를 제어할 수 있다.In addition, a plurality of contact sensors for detecting whether the foot of the pedestrian touches the ground when the pedestrian walks, and an ankle angle for predicting the angle of the ankle joint of the walking assistance robot based on the detection results of the plurality of contact sensors further comprising a prediction unit; The robot controller may control the ankle angle of the walking assistance robot to the angle predicted by the ankle angle predictor.

그리고, 상기 접촉 센서는 상기 보행자의 발끝 영역이 지면에 접촉되는지 여부를 감지하는 제1 접촉 센서와, 상기 보행자의 뒷꿈치 영역이 지면에 접촉되는지 여부를 감지하는 제2 접촉 센서를 포함하며; 상기 발목 각도 예측부는 상기 제1 접촉 센서 및 상기 제2 접촉 센서에 의해 감지되는 접촉 여부의 조합에 따라 상기 보행 보조 로봇의 발목 각도를 예측할 수 있다.And, the contact sensor includes a first contact sensor for detecting whether the toe area of the pedestrian is in contact with the ground, and a second contact sensor for detecting whether the heel area of the pedestrian is in contact with the ground; The ankle angle prediction unit may predict the ankle angle of the walking assistance robot according to a combination of the contact sensed by the first contact sensor and the second contact sensor.

상기와 같은 구성에 따라, 본 발명에 따르면 LSTM(Long-Short Term Memory) 알고리즘, 또는 CNN(Convolution Neural Network) 알고리즘과 같은 기계 학습 알고리즘을 이용하여 발목 관절에 적용될 강성을 예측함으로써, 보다 정확한 강성 예측이 가능한 보행 보조 시스템이 제공된다.According to the above configuration, according to the present invention, by predicting the stiffness to be applied to the ankle joint using a machine learning algorithm such as an LSTM (Long-Short Term Memory) algorithm or a CNN (Convolution Neural Network) algorithm, more accurate stiffness prediction A walking assistance system capable of this is provided.

또한, 보행 보조 로봇의 발목 관절의 각도를 보다 정확하게 예측하여, 보행 중 발목 관절에 작용하는 강성과 각도를 보다 정확하게 반영하여 보행자의 보행 상태나 기립 상태 등에 보다 정확한 목표값을 제공할 수 있는 보행 보조 시스템이 제공된다.In addition, by more accurately predicting the angle of the ankle joint of the walking assistance robot, the stiffness and angle acting on the ankle joint during walking are more accurately reflected to provide a more accurate target value for the walking state or standing state of the pedestrian. system is provided.

도 1은 하지에 적용된 기존의 보행 보조 장치의 실제 예를 나타낸 도면이고,
도 2는 본 발명에 따른 보행 보조 시스템의 구현 개념을 설명하기 위한 도면이고,
도 3은 본 발명에 따른 보행 보조 시스템의 제어 블록도이고,
도 4는 본 발명에 따른 보행 보조 시스템의 근전도 센서를 통해 측정된 근전도 신호의 예를 나타낸 도면이고,
도 5는 본 발명에 따른 보행 보조 시스템의 기계 학습부의 출력의 예를 나타낸 도면이고,
도 6은 본 발명에 따른 보행 보조 시스템의 발목 각도 예측부의 각도 예측에 적용된 테이블이다.1 is a view showing an actual example of a conventional walking assistance device applied to the lower extremities;
2 is a diagram for explaining an implementation concept of a walking assistance system according to the present invention;
3 is a control block diagram of a walking assistance system according to the present invention;
4 is a view showing an example of an EMG signal measured by an EMG sensor of a walking assistance system according to the present invention;
5 is a diagram showing an example of the output of the machine learning unit of the walking assistance system according to the present invention,
6 is a table applied to the angle prediction of the ankle angle prediction unit of the walking assistance system according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 보행 보조 시스템(100)의 구현 개념을 설명하기 위한 도면이고, 도 3은 본 발명에 따른 보행 보조 시스템(100)의 제어 블록도이다.2 is a diagram for explaining an implementation concept of the walking assistance system 100 according to the present invention, and FIG. 3 is a control block diagram of the walking assistance system 100 according to the present invention.

도 2 및 도 3을 참조하여 설명하면, 본 발명에 따른 보행 보조 시스템(100)은 보행 보조 로봇(110), 복수의 근전도 센서(130), 강성 예측부(120) 및 로봇 제어부(160)를 포함한다.2 and 3 , the walking assistance system 100 according to the present invention includes a walking assistance robot 110 , a plurality of electromyogram sensors 130 , a stiffness prediction unit 120 , and a robot control unit 160 . include

보행 보조 로봇(110)은 도 2에 도시된 바와 같이, 보행자의 발에 착용되어 보행자의 보행을 보조한다. 여기서, 보행 보조 로봇(110)은 발목 관절의 각도와 강성을 조절 가능하게 마련되며, 그 구조나 작동 방식은 다양한 형태로 마련될 수 있다.As shown in FIG. 2 , the walking assistance robot 110 is worn on the foot of the pedestrian to assist the pedestrian in walking. Here, the walking assistance robot 110 is provided so that the angle and rigidity of the ankle joint can be adjusted, and the structure or operation method thereof may be provided in various forms.

근전도 센서(130)는 발목의 움직임과 연관된 복수의 근육에 각각 부착되어 근전도를 감지한다. 발목의 움직임에 연관되는 근육은 통상 앞정강근(Tibialis anterior, 20 위치), 비복근(Gastrocnemius, 10 위치) 및 가자미근(Soleus, 10 위치)을 포함하는데, 본 발명에서는 4개의 근전도 센서(130)를 앞정강근, 내측 비복근, 외측 비복근 및 가자미근에 각각 설치하여, 4개의 근전도 신호를 측정하는 것을 예로 한다. 도 4에서는 앞정강근과 가자미근에서 각각 측정된 근전도 신호의 예를 나타낸 도면으로, 이동 평균 필터와 같은 전처리 과정을 통해 노이즈가 제거된 근전도 신호의 예를 나타낸 도면이다.The EMG sensor 130 is respectively attached to a plurality of muscles associated with the movement of the ankle to detect the EMG. The muscles involved in the movement of the ankle usually include the tibialis anterior (Tibialis anterior, position 20), gastrocnemius (position 10) and soleus muscle (Soleus, position 10). In the present invention, four EMG sensors 130 are used in the front An example is to measure four EMG signals by installing each of the strong gastrocnemius, medial gastrocnemius, lateral gastrocnemius and soleus muscle. 4 is a diagram showing an example of an EMG signal measured in the tibialis anterior and soleus muscle, respectively, and is a diagram showing an example of an EMG signal from which noise is removed through a preprocessing process such as a moving average filter.

강성 예측부(120)는 근전도 센서(130)에 의해 감지된 근전도 신호를 입력받아 기계 학습 알고리즘을 통해 보행 보조 로봇(110)의 발목 관절에 적용될 예측 간성을 출력한다. 여기서, 기계 학습 알고리즘은 다수의 보행자의 근육, 앞정강근, 내측 비복근, 외측 비복근 및 가자미근에서 측정된 학습 근전도 신호와, 해당 학습 근전도 신호에 따른 학습 강성 신호를 학습 데이터로 하고, 학습 강성 신호를 출력으로 하여 기계 학습되어 생성된다.The stiffness prediction unit 120 receives the EMG signal detected by the EMG sensor 130 and outputs the predicted hepaticity to be applied to the ankle joint of the walking assistance robot 110 through a machine learning algorithm. Here, the machine learning algorithm uses learning EMG signals measured from the muscles of a plurality of pedestrians, tibialis anterior, medial gastrocnemius, lateral gastrocnemius, and soleus muscle, and a learning stiffness signal according to the corresponding learning EMG signal as learning data, and outputs a learning stiffness signal. generated by machine learning.

즉, 학습 데이터는 다수의 보행자가 보행할 때, 앞정강근, 내측 비복근, 외측 비복근 및 가자미근의 근전도를 측정하고, 이 때의 발목 관절에서 발생하는 강성을 측정하여 학습 데이터 DB(121)에 저장하고, 각각을 학습 근전도 신호와, 학습 강성 신호로 하여 학습하게 된다.That is, the learning data measures the EMG of the tibialis anterior, medial gastrocnemius, lateral gastrocnemius and soleus muscle when a plurality of pedestrians walk, and at this time, the stiffness generated in the ankle joint is measured and stored in the learning data DB 121. , respectively, are learned as a learning EMG signal and a learning stiffness signal.

본 발명에서는 기계 학습 알고리즘으로 심층 신경망(Deep Neural Network) 알고리즘이 적용되는 것을 예로 하는데, 심층 신경망 중 시간에 따른 변화에 적합한 LSTM(Long-Short Term Memory) 알고리즘, 또는 CNN(Convolution Neural Network) 알고리즘 중 어느 하나가 적용되는 것을 예로 한다.In the present invention, an example in which a deep neural network algorithm is applied as a machine learning algorithm is an LSTM (Long-Short Term Memory) algorithm suitable for time-dependent changes among deep neural networks, or a CNN (Convolution Neural Network) algorithm. An example of which one is applied.

여기서, CNN 알고리즘은 이미지 처리 분야에서 주로 이용되고 있으며, 다차원 배열 데이터를 처리하는데 특화되어 있다. 특히 1D-CNN 알고리즘은 1차원 데이터를 이용해 CNN을 구성할 때 사용되며, 윈도우 사이즈(Window size)를 조절하여 현재의 데이터 뿐만 아니라 과거의 데이터를 미래에 반영시키는 학습 알고리즘을 구성할 수 있다.Here, the CNN algorithm is mainly used in the image processing field and is specialized in processing multidimensional array data. In particular, the 1D-CNN algorithm is used when constructing a CNN using one-dimensional data, and it is possible to configure a learning algorithm that reflects not only current data but also past data in the future by adjusting the window size.

이에, 본 발명에서는 근전도 신호가, 도 4에 도시된 바와 같이, 시간에 따라 변화하는 특성을 반영하여, 특정 시간 동안의 데이터를 학습 데이터로 반영하여 높은 정확도의 강성을 예측하게 된다.Accordingly, in the present invention, as shown in FIG. 4 , the EMG signal reflects the characteristics that change with time, and reflects the data for a specific time as the learning data to predict the stiffness with high accuracy.

예를 들어, 본 발명에 따른 기계 학습 알고리즘은 학습 데이터로 사용되는 학습 근전도 신호 및 학습 강성 신호를 50개씩의 근전도 데이터 및 강성 데이터를 순차적으로 학습 데이터로 사용하게 된다. 만약 기계 학습 알고리즘이 100 Hz로 동작하게 되면, 근전도 데이터 및 강성 데이터를 약 0.5초 동안씩의 데이터를 시간에 따라 중첩적으로 학습 데이터로 사용하게 된다. 도 4에 도시된 T1, T2, T3 단위로 일정 간격으로 중첩되어 데이터가 적용되는 것을 예로 하고 있다.For example, the machine learning algorithm according to the present invention sequentially uses 50 pieces of EMG data and stiffness data for learning EMG signals and learning stiffness signals used as learning data as learning data. If the machine learning algorithm operates at 100 Hz, data for about 0.5 seconds of EMG data and stiffness data are used as learning data overlapping with time. It is exemplified that data is applied by overlapping at regular intervals in units of T1, T2, and T3 shown in FIG. 4 .

마찬가지로, 강성 예측부(120)는 근전도 센서(130)에 의해 감지된 근전도 신호를 50개씩 시간에 따라 중첩되도록 기계 학습 알고리즘의 입력하여 강성을 예측하게 됨으로써, 보다 정확한 강성의 예측이 가능하게 된다. 도 5는 실제 측정된 강성과 본 발명에 따른 기계 학습 알고리즘을 통해 예측된 강성을 나타낸 도면으로, 실제 측정된 강성에 근접하게 예측되고 있음을 확인할 수 있다.Similarly, the stiffness prediction unit 120 predicts stiffness by inputting the machine learning algorithm so that 50 EMG signals detected by the EMG sensor 130 are superimposed over time, thereby enabling more accurate prediction of stiffness. 5 is a view showing the actually measured stiffness and the stiffness predicted through the machine learning algorithm according to the present invention, and it can be confirmed that the predicted stiffness is close to the actually measured stiffness.

상기와 같이 강성 예측부(120)로부터 출력되는 예측 강성에 기초하여, 로봇 제어부(160)는 보행 보조 로봇(110)의 발목 관절의 강성을 제어하게 된다.As described above, based on the predicted stiffness output from the stiffness prediction unit 120 , the robot controller 160 controls the stiffness of the ankle joint of the walking assistance robot 110 .

다시 도 2 및 도 3을 참조하여 설명하면, 본 발명에 따른 보행 보조 시스템(100)은 복수의 접촉 센서(150)와, 발목 각도 예측부(140)를 포함할 수 있다.Referring back to FIGS. 2 and 3 , the walking assistance system 100 according to the present invention may include a plurality of contact sensors 150 and an ankle angle prediction unit 140 .

복수의 접촉 센서(150)는 보행자의 보행시 보행자의 발바닥의 지면 접촉 여부를 감지한다. 본 발명에서는 보행자의 발바닥에 압력 센서를 배치시켜 지면과의 접촉 여부를 감지하는 것을 예로 한다.The plurality of contact sensors 150 detect whether the foot of the pedestrian touches the ground when the pedestrian walks. In the present invention, as an example, a pressure sensor is disposed on the foot of a pedestrian to detect whether or not there is contact with the ground.

여기서, 본 발명의 실시예에서는 2개의 접촉 센서(150)를 이용하는 것을 예로 하는데, 보행자의 발끝 영역이 지면에 접촉하는지 여부를 감지하는 제1 접촉 센서(151)와, 보행자의 발 뒷꿈치 영역이 지면에 접촉하는지 여부를 감지하는 제2 접촉 센서(152)를 포함하는 것을 예로 한다.Here, in the embodiment of the present invention, two touch sensors 150 are used as an example, and the first contact sensor 151 that detects whether the pedestrian's toe area is in contact with the ground and the pedestrian's heel area is the ground For example, including a second contact sensor 152 for detecting whether to contact the.

발목 각도 예측부(140)는 접촉 센서(150), 즉, 제1 접촉 센서(151) 및 제2 접촉 센서(152)의 감지 결과에 기초하여, 보행 보조 로봇(110)의 발목 관절의 각도를 예측하고, 로봇 제어부(160)는 발목 각도 예측부(140)에 의해 예측된 각도로 보행 보조 로봇(110)의 발목 각도를 제어하게 된다.The ankle angle prediction unit 140 calculates the angle of the ankle joint of the walking assistance robot 110 based on the detection results of the contact sensor 150 , that is, the first contact sensor 151 and the second contact sensor 152 . prediction, the robot control unit 160 controls the ankle angle of the walking assistance robot 110 at the angle predicted by the ankle angle prediction unit 140 .

여기서, 발목 각도 예측부(140)는 제1 접촉 센서(151) 및 제2 접촉 센서(152)에 의해 감지되는 접촉 여부의 조합에 따라 보행 보조 로봇(110)의 발목 각도를 예측하게 된다. 도 6은 제1 접촉 센서(151)와 제2 접촉 센서(152)의 감지 결과에 따른 발목 상태 및 목표 각도의 조합의 예를 나타낸 도면이다.Here, the ankle angle prediction unit 140 predicts the ankle angle of the walking assistance robot 110 according to a combination of the contact sensed by the first contact sensor 151 and the second contact sensor 152 . 6 is a diagram illustrating an example of a combination of an ankle state and a target angle according to the detection result of the first contact sensor 151 and the second contact sensor 152 .

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although several embodiments of the present invention have been shown and described, it will be apparent to those skilled in the art that changes may be made to these embodiments without departing from the spirit or spirit of the invention. . The scope of the invention will be defined by the appended claims and their equivalents.

100 : 보행 보조 시스템 110 : 보행 보조 로봇
120 : 강성 예측부 130 : 근전도 센서
140 : 발목 각도 예측부 150 : 접촉 센서
160 : 로봇 제어부100: walking assistance system 110: walking assistance robot
120: stiffness prediction unit 130: electromyography sensor
140: ankle angle prediction unit 150: contact sensor
160: robot control unit

Claims (5)

보행자의 발에 착용되어 보행을 보조하는 보행 보조 로봇과,
발목의 움직임과 연관된 복수의 근육에 각각 부착되어 근전도를 감지하는 복수의 근전도 센서와,
상기 근전도 센서에 의해 감지된 근전도 신호를 입력받아 기계 학습 알고리즘을 통해 상기 보행 보조 로봇의 발목 관절에 적용될 예측 강성을 출력하는 강성 예측부와,
상기 강성 예측부로부터 출력된 상기 예측 강성에 기초하여 상기 보행 보조 로봇의 발목 관절의 강성을 제어하는 로봇 제어부를 포함하며;
상기 기계 학습 알고리즘은 다수의 보행자의 근육에서 측정된 학습 근전도 신호와, 해당 학습 근전도 신호에 따른 학습 강성 신호를 학습 데이터로 하되 상기 학습 강성 신호를 출력으로 하여 기계 학습되어 생성되는 것을 특징으로 하는 보행 보조 시스템.A walking assistance robot that is worn on the foot of a pedestrian to assist in walking;
A plurality of EMG sensors respectively attached to a plurality of muscles related to the movement of the ankle to detect an EMG;
a stiffness prediction unit receiving the EMG signal detected by the EMG sensor and outputting a predicted stiffness to be applied to the ankle joint of the walking assistance robot through a machine learning algorithm;
a robot controller for controlling the stiffness of the ankle joint of the walking assistance robot based on the predicted stiffness output from the stiffness prediction unit;
The machine learning algorithm uses a learning EMG signal measured from the muscles of a plurality of pedestrians and a learning stiffness signal according to the corresponding learning EMG signal as learning data, but is generated by machine learning by outputting the learning stiffness signal as an output. auxiliary system. 제1항에 있어서,
상기 기계 학습 알고리즘은 LSTM(Long-Short Term Memory) 알고리즘, 또는 CNN(Convolution Neural Network) 알고리즘을 포함하는 것을 특징으로 하는 보행 보조 시스템.According to claim 1,
The machine learning algorithm is a walking assistance system, characterized in that it comprises a Long-Short Term Memory (LSTM) algorithm or a Convolution Neural Network (CNN) algorithm. 제2항에 있어서,
상기 강성 예측부는
상기 학습 근전도 신호 및 상기 학습 강성 신호를 기 설정된 개수 또는 시간 단위로 시간에 따라 중첩하여 상기 기계 학습 알고리즘에 상기 학습 데이터로 입력하고;
상기 근전도 센서에 의해 감지된 상기 근전도 신호를 상기 개수 또는 시간 단위로 중첩하여 상기 기계 학습 알고리즘에 입력하는 것을 특징으로 하는 보행 보조 시스템.3. The method of claim 2,
The stiffness prediction unit
superimposing the learning EMG signal and the learning stiffness signal in a preset number or time unit over time and inputting the learning EMG signal and the learning stiffness signal as the learning data to the machine learning algorithm;
The walking assistance system, characterized in that the EMG signal detected by the EMG sensor is superimposed on the number or time unit and input to the machine learning algorithm. 제1항에 있어서,
상기 보행자의 보행시 상기 보행자의 발바닥의 지면 접촉 여부를 감지하는 복수의 접촉 센서와,
복수의 상기 접촉 센서의 감지 결과에 기초하여, 상기 보행 보조 로봇의 발목 관절의 각도를 예측하는 발목 각도 예측부를 더 포함하며;
상기 로봇 제어부는 상기 발목 각도 예측부에 의해 예측된 각도로 상기 보행 보조 로봇의 발목 각도를 제어하는 것을 특징으로 하는 보행 보조 시스템.According to claim 1,
a plurality of touch sensors for detecting whether the foot of the pedestrian touches the ground when the pedestrian walks;
Based on the detection results of the plurality of contact sensors, further comprising an ankle angle predictor for predicting the angle of the ankle joint of the walking assistance robot;
The robot controller controls the ankle angle of the walking assistance robot to the angle predicted by the ankle angle prediction unit. 제4항에 있어서,
상기 접촉 센서는
상기 보행자의 발끝 영역이 지면에 접촉되는지 여부를 감지하는 제1 접촉 센서와,
상기 보행자의 뒷꿈치 영역이 지면에 접촉되는지 여부를 감지하는 제2 접촉 센서를 포함하며;
상기 발목 각도 예측부는 상기 제1 접촉 센서 및 상기 제2 접촉 센서에 의해 감지되는 접촉 여부의 조합에 따라 상기 보행 보조 로봇의 발목 각도를 예측하는 것을 특징으로 하는 보행 보조 시스템.5. The method of claim 4,
the touch sensor
a first contact sensor for detecting whether the toe area of the pedestrian is in contact with the ground;
a second contact sensor for detecting whether the heel area of the pedestrian is in contact with the ground;
The ankle angle prediction unit predicts the ankle angle of the walking assistance robot according to a combination of the contact sensed by the first contact sensor and the second contact sensor.
KR1020200019484A 2020-02-18 2020-02-18 Walking assistance system KR102352537B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200019484A KR102352537B1 (en) 2020-02-18 2020-02-18 Walking assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019484A KR102352537B1 (en) 2020-02-18 2020-02-18 Walking assistance system

Publications (2)

Publication Number Publication Date
KR20210105455A true KR20210105455A (en) 2021-08-27
KR102352537B1 KR102352537B1 (en) 2022-01-17

Family

ID=77504498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019484A KR102352537B1 (en) 2020-02-18 2020-02-18 Walking assistance system

Country Status (1)

Country Link
KR (1) KR102352537B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822542A (en) * 2022-04-25 2022-07-29 中国人民解放军军事科学院国防科技创新研究院 Different-person classification-assisted silent speech recognition method and system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090089528A (en) * 2008-02-19 2009-08-24 연세대학교 산학협력단 Robotic assisted orthosis for lower extremity
KR100957985B1 (en) * 2008-11-07 2010-05-17 신대섭 Control device of walking assistance robot
KR101556117B1 (en) * 2013-12-27 2015-09-30 한국산업기술대학교산학협력단 System and method for estimating joint angles value of knee joint rehabilitation robot
KR20160023984A (en) * 2014-08-21 2016-03-04 인하대학교 산학협력단 A System of a feature algorithm and a classifier for sEMG Signal based Gait Phase Recognition
KR20160087779A (en) * 2016-02-25 2016-07-22 재단법인차세대융합기술연구원 Walking System
KR20170052870A (en) * 2015-11-05 2017-05-15 삼성전자주식회사 Method and apparatus for learning algorithm
KR20180096241A (en) * 2017-02-21 2018-08-29 삼성전자주식회사 Method and apparatus for walking assistance
KR20190056647A (en) * 2017-11-17 2019-05-27 대한민국(국립재활원장) Device for measuring angle of ankle based on inertial sensors
KR20190056592A (en) * 2017-11-17 2019-05-27 대한민국(국립재활원장) Ankle Assist Apparatus
KR102010361B1 (en) * 2018-09-21 2019-10-21 영산대학교 산학협력단 User gait feedback device and driving method thereof

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090089528A (en) * 2008-02-19 2009-08-24 연세대학교 산학협력단 Robotic assisted orthosis for lower extremity
KR100957985B1 (en) * 2008-11-07 2010-05-17 신대섭 Control device of walking assistance robot
KR101556117B1 (en) * 2013-12-27 2015-09-30 한국산업기술대학교산학협력단 System and method for estimating joint angles value of knee joint rehabilitation robot
KR20160023984A (en) * 2014-08-21 2016-03-04 인하대학교 산학협력단 A System of a feature algorithm and a classifier for sEMG Signal based Gait Phase Recognition
KR20170052870A (en) * 2015-11-05 2017-05-15 삼성전자주식회사 Method and apparatus for learning algorithm
KR20160087779A (en) * 2016-02-25 2016-07-22 재단법인차세대융합기술연구원 Walking System
KR20180096241A (en) * 2017-02-21 2018-08-29 삼성전자주식회사 Method and apparatus for walking assistance
KR20190056647A (en) * 2017-11-17 2019-05-27 대한민국(국립재활원장) Device for measuring angle of ankle based on inertial sensors
KR20190056592A (en) * 2017-11-17 2019-05-27 대한민국(국립재활원장) Ankle Assist Apparatus
KR102010361B1 (en) * 2018-09-21 2019-10-21 영산대학교 산학협력단 User gait feedback device and driving method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822542A (en) * 2022-04-25 2022-07-29 中国人民解放军军事科学院国防科技创新研究院 Different-person classification-assisted silent speech recognition method and system
CN114822542B (en) * 2022-04-25 2024-05-14 中国人民解放军军事科学院国防科技创新研究院 Different person classification assisted silent voice recognition method and system

Also Published As

Publication number Publication date
KR102352537B1 (en) 2022-01-17

Similar Documents

Publication Publication Date Title
KR100702898B1 (en) Gait training system using motion analysis
Zheng et al. Gait phase estimation based on noncontact capacitive sensing and adaptive oscillators
US10434027B2 (en) Recognition method of human walking speed intention from surface electromyogram signals of plantar flexor and walking speed control method of a lower-limb exoskeleton robot
KR101648270B1 (en) Shoe module for detecting walking phase, method, gait analysis system and active walking assist device using the same
He et al. A wearable sensing and training system: Towards gait rehabilitation for elderly patients with knee osteoarthritis
CN108577854A (en) Gait recognition method and gait ancillary equipment
KR100975557B1 (en) Robot for assisting the muscular strength of lower extremity and control method for walking of the same
KR20180096241A (en) Method and apparatus for walking assistance
CN101489479A (en) Health management device
CN112263246B (en) Self-adaptive gait phase identification method and device based on thigh angle
Ding et al. Control of walking assist exoskeleton with time-delay based on the prediction of plantar force
Zhao et al. Walking assist robot: A novel non-contact abnormal gait recognition approach based on extended set membership filter
Mendoza-Crespo et al. An adaptable human-like gait pattern generator derived from a lower limb exoskeleton
KR102352537B1 (en) Walking assistance system
KR101087135B1 (en) Teaching apparatus and method based on motion content
KR20160089791A (en) System and method for recognizing gait phase
KR102261608B1 (en) Control Apparatus and Method for Wearable Walk Assist Robot
KR102318879B1 (en) Method of Scoliosis classification and joint damage prediction
JP2011200394A (en) Device and method for analyzing walking action, and program
Kong et al. Detection of abnormalities in a human gait using smart shoes
Srivises et al. Design of a smart shoe for reliable gait analysis using fuzzy logic
KR102565867B1 (en) Apparatus and method for measuring ground reaction force
Peng A novel motion detecting strategy for rehabilitation in smart home
Asif et al. Foot prosthesis: Estimation of gait phases using gyroscope and potentiometer
Kong et al. Estimation of abnormalities in a human gait using sensor-embedded shoes

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant