WO2018111138A1 - Способ и система управления интеллектуальной бионической конечностью - Google Patents

Способ и система управления интеллектуальной бионической конечностью Download PDF

Info

Publication number
WO2018111138A1
WO2018111138A1 PCT/RU2016/000935 RU2016000935W WO2018111138A1 WO 2018111138 A1 WO2018111138 A1 WO 2018111138A1 RU 2016000935 W RU2016000935 W RU 2016000935W WO 2018111138 A1 WO2018111138 A1 WO 2018111138A1
Authority
WO
WIPO (PCT)
Prior art keywords
prosthesis
emg signal
signal
data
bionic limb
Prior art date
Application number
PCT/RU2016/000935
Other languages
English (en)
French (fr)
Inventor
Наталья Михайловна ИВАНЮК
Владимир Русланович КАРИМОВ
Раиса Юрьевна БУДКО
Петр Владимирович ГРОНСКИЙ
Семен Максимович КЛЕЙМАН
Захар Алексеевич ПОНШАШ
Original Assignee
Общество с ограниченной ответственностью "Бионик Натали"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Бионик Натали" filed Critical Общество с ограниченной ответственностью "Бионик Натали"
Publication of WO2018111138A1 publication Critical patent/WO2018111138A1/ru

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A61F2/586—Fingers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2002/5093—Tendon- or ligament-replacing cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2002/6827—Feedback system for providing user sensation, e.g. by force, contact or position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2002/6881—Operating or control means optical
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2002/689—Alarm means, e.g. acoustic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/701—Operating or control means electrical operated by electrically controlled means, e.g. solenoids or torque motors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/705—Electromagnetic data transfer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/707—Remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A61F2002/763—Measuring means for measuring spatial position, e.g. global positioning system [GPS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A61F2002/7635—Measuring means for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A61F2002/7665—Measuring means for measuring temperatures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A61F2002/7685—Measuring means located on natural or sound-site limbs, e.g. comparison measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A61F2002/769—Displaying measured values

Definitions

  • This solution relates to the field of medical technology, namely to prosthetics, in particular, to methods and systems for managing intellectual bionic limb, and is intended for prosthetics of people with loss of limbs, as well as for using parts of the product independently in various tasks of improving the quality of life.
  • This solution describes the prosthesis of the hand, containing the receiving sleeve, body, frames of the first finger, second and fourth fingers, the drive system of the “gripping-opening of the hand” mobility function, a hinge of flexion in the wrist joint, a forearm cuff, three potentiometers, three signal transducers, adder, two functional transducers and four power amplifiers.
  • This solution has four-finger microdrives (except for the little finger) with the drives attached to the frame and a worm gear to the fingers.
  • the disadvantage of this prosthesis is a mechanical control method, since it requires considerable muscular effort, moreover, this method of control is not physiological for humans. For example, the task to take a coin from the table, which is not difficult for a person with an intact hand, is impossible for such a decision.
  • Current prosthetic control systems include, as a rule, motors, sensors, controllers, power supplies, mechanical and electrical connectors, interfaces and feedback mechanisms, all of which are optional accessories.
  • a technical problem solved in this technical solution is the implementation of autonomous full-featured control for performing low-level tasks of manipulating an intelligent bionic limb prosthesis, which would allow to perceive the specified prosthesis as a natural limb.
  • the technical task of the technical solution is the development of a reliable functional intelligent bionic limb prosthesis with tactile feedback, controlled by neuromuscular signals,
  • auxiliary device such as a limb prosthesis
  • the technical result which is manifested in the solution of this technical problem and problem, is an increase in the accuracy of positioning and the decision to seize the object.
  • an additional technical result is to reduce the cognitive load on a person, increase the efficiency of prosthesis management, decrease time response of actuators and prevention of false positives of the prosthesis due to the signal pre-processing method.
  • Another additional technical result is the simplification of the procedure of installing and configuring the system “prosthetic reading device” due to the modularity of the system - the reader is portable and requires approximate positioning when placed, and is easily removable.
  • the prosthesis in turn, is worn by means of a cult-receiver, and is connected to the reader only by a wireless data transmission channel.
  • Reducing the cognitive load on a person and improving the efficiency of prosthetic control is achieved through the use of a hybrid control system that combines methods for decoding electronic neuromignals with elements of autonomous robotic manipulations for capturing an object when a user reaches the threshold value start or stop the implementation of the gripper using information from additional sensors (temperature and distance ), and the compressive strength of the object using information from the sensors.
  • Accuracy of the classification and prevention of false positives of the prosthesis is achieved by simultaneously forming the maximum value and the average duration of exceeding the threshold of the neiromy signal in the data window in real time, then after centering and normalization, the decision is made about the occurrence of the control signal.
  • the location of the microcontroller made with the possibility of modular assembly in the prosthesis, allows to bring the artificial limb in weight and size to the natural.
  • FIG. 1 (a, b) presents an example of how to configure and operate an intelligent bionic limb control system.
  • FIG. 2 describes the general structure of the technical solution.
  • FIG. 3 is a block diagram of an implementation of an intelligent bionic limb management system.
  • FIG. 4 represents an example of a scheme for implementing data acquisition in the form of a myoelectric reading system (pos. 14 — a read system, pos. 15 — a sensor of the registration of biopotentials, pos. 16 — an elastic cuff).
  • pos. 14 a read system
  • pos. 15 a sensor of the registration of biopotentials
  • pos. 16 an elastic cuff
  • FIG. 5 shows the components of the bionic prosthetic arm in the form of a myoelectric reading system (pos. 17), a cult-receiver (pos. 18) and a prosthetic hand (pos. 19) and their approximate location on the limb.
  • FIG. 6 shows an example of an electromyographic signal recorded during a strong effort from the muscles of the forearm.
  • FIG. 7 shows an exemplary scheme for implementing an EMG sensor using a dry contact that is more preferable for long-term use.
  • FIG. 8 presents an example of the placement of feedback sensors on an intelligent bionic limb.
  • FIG. 9 (a, b) represents the finger drive mechanism in a straight and bent state. pos. 6 gear wheel
  • FIG. 10 shows the placement of the control board and drives in the brush of an intellectual bionic limb.
  • FIG. 11 shows an exemplary embodiment of signal processing from a readout system.
  • FIG. 12 shows temporal functions for the selection of features of an EMG signal.
  • FIG. 13 shows data capture on an orthonormal basis by rotation. Left: Neuron trying to adapt to cover new data. Right: the final position of the neuron after the new data coverage. DETAILED DESCRIPTION OF THE TECHNICAL SOLUTION
  • the technical solution can be implemented as a distributed computer system.
  • a system means a computer system, a computer (electronic computer), a CNC (numerical control), a PLC (programmable logic controller), computerized control systems, and any other devices capable of performing a predetermined, well-defined sequence of operations (actions, instructions).
  • a command processing device is an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).
  • the command processing device reads and executes machine instructions (programs) from one or more data storage devices.
  • a storage device can act, but not limited to, hard drives (HDD), flash memory, ROM (read-only memory), solid-state drives (SSD), optical media (CD, DVD, etc.).
  • a program is a sequence of instructions intended for execution by a computer control device or command processing device.
  • Electromyography (EMG, ENMG, myography, electroneuromyography) is a method for studying bioelectric potentials that occur in human and animal skeletal muscles when muscle fibers are excited; registration of the electrical activity of the muscles.
  • the culture receptacle is the part of the limb prosthesis intended for placing the stump.
  • Electroneuromyography is a complex electrophysiological study necessary to determine the functional state of the peripheral nervous system and muscles [1].
  • the method of physiological management of intellectual bionic limb based on gesture recognition is as follows.
  • Pre-processing of the signal and the creation of the input vector of signs of the EMG signal for the classification of patient gestures which can be performed in a similar way and when setting up, and during operation of the system.
  • the signs of the EMG signal in the time domain based on the amplitudes of the signals.
  • Such signs can be easily identified, have high stability for pattern recognition using EMG.
  • the function (feature) should contain enough information to represent the essential properties of the EMG signal, and should be simple enough for quick processing and classification.
  • the implementation in the quality of signs can be used the following values in the time domain, measured as a function of time: integral EMG; average; mean modulus; finite differences; the sum of the elementary areas; dispersion; standard deviation; signal length; the maximum value of the EMG signal, more information about the choice of signs for classification is disclosed in the work of the authors [2].
  • the formulas for calculating these values are shown in FIG. 12.
  • the evaluation of the effectiveness of signs is carried out according to two main parameters - the performance of the neural network and the operation time - as the most important for use in real time.
  • the signal recognition time should take no more than 25 ms.
  • recognition accuracy percentage the ratio of true cases of classification to all considered cases
  • FIG. 11 An example of the implementation of signal processing is shown in FIG. 11.
  • the neuromuscular activity data (data of the electromyograph channel matrix) is obtained from the myoelectric reading device and digitized by means of an ADC, then the condition of the occurrence of an active signal (corresponding to the gesture) is checked, for example, 30% of the amplitude specified in the settings. Next, the resulting digitized signal is broken by a non-overlapping window into segments, for example, 25 ms long.
  • the implementation of the technical solution uses the function of the maximum value of the segment, as the most effective and easily calculated. For each segment its maximum value is calculated using the formula:
  • an input feature vector is obtained (according to which the gestures are classified) for each channel with a lower dimension than the original signal (depending on the window width): a vector of length k instead of the original vector length k * i, which reduces the computational load on the microcontroller.
  • the dimension is reduced due to the fact that they find one value among the values.
  • the artificial neural network is trained.
  • the implementation of using ANN on the basis of the radial basis function (but not limited to it).
  • a multilayered perceptron of the neural network or the support vector machine may be used.
  • the extracted signs In order to recognize gestures, the extracted signs must be classified into distinctive classes.
  • the classifier should be able to cope with factors that have a noticeable effect on the EMG patterns over time, such as a significant change in the EMG signals, the location of the electrodes, sweat and fatigue described in the source of information [5].
  • the above method uses a three-tier management architecture (database - server - client) when processing a set of attributes of an EMG signal.
  • the hidden layer where the number of neurons was not determined in advance, as they were formed during the training procedure, was divided into fourteen sub-hidden layers (by the number of classes in the training data, fourteen gestures).
  • the number of neurons was equal to the number of classes in the training data set (fourteen neurons).
  • the basic function of the neural network in the hidden layer is the Gaussian function, and the output of the k-th neuron in the hidden layer for each given input X can
  • FIG. Figure 13 shows how a neuron tries to adapt to cover new data; The right side of the figure shows the location of the data by a neuron.
  • a user signal is recorded in a database, the data in which is accumulated, and used for network training.
  • For each user there is a feature vector with a size of 8xN (where 8 is the number of channels, N is the number of training data) obtained using the method described above (segmentation by non-overlapping windows).
  • each data set is mixed, and then divided into sets in a 2: 1: 1 ratio (according to the number of training data N) with data for the training, testing and control stages, respectively.
  • the orthonormal basis is calculated via the eigenvector of the covariance matrix. Since the training data is entered into the network sequentially, the mean vector and the covariance matrix are calculated recursively. For N samples B
  • the set of proper orthogonal vectors form an orthonormal basis, as shown in the source of information [6].
  • training sample set of N training data (training sample), where
  • Xj is a vector function (a component is a set of training data) is a class with which you need to correlate the gesture. Let be this is a set of t neurons. Each neuron has five parameters:
  • C * is the center of the £ th neuron
  • S * is the covariance matrix of the k- ⁇ o of the neuron
  • N k is the amount of data corresponding to the k-th neuron
  • a k is the width of the vector of the k-th neuron
  • the whole training procedure can be reduced to the following steps.
  • the neuron covers the data so that the time parameters are adjusted to its basic parameters. Otherwise, when created
  • new neuron Since new neurons can be automatically added to the network and located very close to each other, it is possible to implement the strategy of merging several neurons in order to avoid network growth to the maximum structure (one neuron for each data unit), as described in detail in the source of information [7].
  • the trained neural network allows you to accurately adjust to the patient.
  • the ANNs save the new values of the weights of the neural network into the microprocessor of the prosthesis directly or in the data warehouse.
  • the result of recognition of a gesture is converted into the corresponding control command (for example, mental compression into a “fist” by the user - “fist” on the prosthesis), and is transmitted to the drives of the bionic hand prosthesis.
  • the system of physiological management of intellectual bionic limb based on gesture recognition is as follows.
  • the above system consists of a bioelectric biopotential reading device, which can be structurally made in the form of an easily removable elastic bracelet (shown in Fig. 4 pos. 14).
  • This device contains electrodes for recording the activity of the neuromuscular system (15), which arises in response to the patient's phantom movement.
  • the bracelet can be placed on the forearm or on the shoulder and configured to transmit a control signal to the prosthetic brush.
  • This bracelet can have a wireless data transmission sensor, and, without limitation, Bluetooth or Wi-Fi or ZigBee wireless data transfer technologies can be used.
  • At least one electromyogram sensor (hereinafter referred to as an EMG sensor) with operational amplifiers, low-pass and high-pass filters, analog-to-digital converters (ADC), a microprocessor, a microcontroller, a voltage converter, and an easily removable bracelet that is worn on the shoulder or forearm. batteries.
  • EMG sensor electromyogram sensor
  • ADC analog-to-digital converters
  • the implementation is a set of plates of electrodes placed on a substrate of dielectric.
  • the implementation of the technical solution of the electrodes can be made of stainless steel or of slightly polarizable conductive materials (for example, stainless steel grade 12X18H10).
  • the implementation of the electrodes can be made of the following sizes: square 1x1 cm for the receiving plate (2 pieces and a rectangle 1x0.5 cm for the referent), not limited to. It is obvious to a person skilled in the art that the size of the electrodes can be made in a different size, given that the size of the plate affects the signal amplitude and the level of crosstalk.
  • a biopotential amplifier board is installed on the electrode substrate from above, which can consist of an instrumental (differential) amplifier (for example, such as INA114), low-pass and high-pass filters made on passive elements in the form of RC chains or on active elements.
  • an instrumental (differential) amplifier for example, such as INA114
  • the sensors are connected to the microprocessor board, where digitization can occur via analog-digital converting and transferring it to a microcontroller (for example, a 2x 16-bit ADS 1115 ADC and preliminary signal processing on the ARM controller of the Cortex M4 microprocessor).
  • the frequency composition of electromyograms in individuals with amputation is represented by a highly noisy signal in the range of 0.5-300 Hz and a signal amplitude from 1 ⁇ V to 2 mV (Fig. 6).
  • the implementation of the technical solution (Fig. 1A) can occur as follows. The patient performs specified gestures, while the myoelectric reading device transmits user data to a data processing device wirelessly (for example, using Bluetooth 4.0), where the user profile is created. Then the created profile is recorded on the microcontroller.
  • the myoelectric reading device records and filters electromyograms (EMG) and transfers data wirelessly (for example, using but not limited to Bluetooth 4.0) to a prosthetic brush control card, the placement of which is shown in FIG. 10 (pos. 20).
  • EMG electromyograms
  • FIG. 10 pos. 20
  • FIG. 10 is a top view of the prosthetic hand, which includes the palm of the hand, the wrist and the lever portion.
  • the indicators are located in the palm of the prosthesis.
  • the prosthesis control board connects to LEDs that display various colors: red, green, orange, and other colors, to provide different information / feedback to the user of the prosthesis (for example, if you need to make a stronger compression or repeat a gesture, or if you cannot capture an object from for unsuitable temperature).
  • the management system of intellectual bionic limb also includes: controller network (controller network), which provides a modular, reliable and fault-tolerant interaction scheme for data exchange between the controller and other control and executive organs of the bionic prosthesis, and which ensures transmission of intentions from the user's neuromuscular system to the controller; power supply; multi-colored surface light-emitting diode, vibration and sound indicators (LED), located in the prosthesis, through which the controller provides feedback to the patient.
  • controller network controller network
  • controller network which provides a modular, reliable and fault-tolerant interaction scheme for data exchange between the controller and other control and executive organs of the bionic prosthesis, and which ensures transmission of intentions from the user's neuromuscular system to the controller
  • power supply multi-colored surface light-emitting diode, vibration and sound indicators (LED), located in the prosthesis, through which the controller provides feedback to the patient.
  • LED multi-colored surface light-emitting diode, vibration and sound indicators
  • Exemplary embodiments of an intelligent bionic limb control system include a controller 301 (no more than 2x3 cm) that receives recognition result data, communicates and controls finger motors, temperature, positional, contact sensors and moment sensors, and vibration and color indicators in an intelligent bionic prosthesis.
  • the controller may include a processing unit, an interface unit that is physically separated from the processing unit, and the above units can be connected with a flexible loop, which allows flexible interface construction without changing the corresponding software control element.
  • This architecture also provides flexible power management of the prosthesis, significantly increasing battery life, because thanks to such an organization, the unused block is currently in a standby and low power consumption state.
  • FIG. 3 shows a block diagram of an intelligent bionic limb control system that includes a prosthesis controller 301, a bar 302, and at least one finger bar 303 (only one of them is shown in Fig. 3).
  • the bus 302 and the finger bus 303 are connected to the prosthesis controller 301 via an I / O interface 304.
  • the prosthesis controller 301 may be one of the prosthesis components (not shown in this diagram).
  • the prosthesis controller 301 is the central control unit of the prosthesis.
  • the prosthesis controller 301 which can be constructively placed inside the prosthesis (and, in one of the options, it can be fully placed in the palm of the hand), is responsible for the high level of coordinated control of the arm and large motor joints, as well as various functions related to the internal nuances of the prosthesis.
  • the prosthesis controller 301 may be placed outside the prosthesis.
  • One of the functions of the prosthesis controller 301 is to control the movement of the prosthesis.
  • the user's intention commands are transmitted by the ENM interface unit 305 (electrical interface), which communicates with the limb controller 301 via the bus 302 and the input-output interface 304, as shown in FIG. 3.
  • the controller 301 generate new commands for controlling the large-manipulation drives and the small-manipulation drives.
  • the prosthesis controller 301 also provides the transmission of sensory data from sensors in the prosthesis using a vibration sensor, or using a weak electrical pulse. This tactile feedback allows the patient to feel the external conditions, not being limited only by visual or audio feedback.
  • the prosthesis controller 301 also receives and processes sensory information, such as the temperature of the object, the position of the prosthesis, torque and vibration. To do this, a temperature sensor 308, a position sensor 309, a contact sensor 310 and a torque sensor 311, respectively, are placed on the surface of the prosthesis.
  • the fine-manipulation drive controller 307 receives information from temperature sensors 308, position sensor 309, contact sensor 310, and torque sensor 311. In some embodiments, two or more positional sensors 309 may be connected to the controller 306. In addition, the large-manipulation drive controller 306 may have sensors connected, for example, one or more temperature sensors 308 or torque sensors 311, as shown in FIG. . 3.
  • the intelligent bionic limb control system in accordance with an embodiment includes at least one prosthesis finger tip sensor unit 312 connected to the prosthesis controller 301 via the finger bus 303, as well as a socket controller 313 connected to the connector of the controller 301 the prosthesis through the bus 302.
  • the finger tip sensor assembly 312 has a set of sensors (not shown in the figure), including but not limited to: positional sensors (for example, a potentiometer or Hall sensors), contact sensors (for example, iviniliden diftoridny contact sensor) and temperature sensors, each of which provides information about the different position, torque and / or haptic feedback input controller 301 of the prosthesis. These sensors, distributed throughout the limb, provide inputs for advanced control methods running on the prosthesis controller 301, as well as for haptic user feedback.
  • positional sensors for example, a potentiometer or Hall sensors
  • contact sensors for example, iviniliden diftoridny contact sensor
  • temperature sensors each of which provides information about the different position, torque and / or haptic feedback input controller 301 of the prosthesis.
  • the prosthesis controller 301 uses a bus 302 to interact with additional devices and / or accessories, such as radio frequency identification devices (RF ID sensors), smart phones and personal digital assistants, although additional or alternative embodiments of the invention are not limited to these examples.
  • the prosthetic brush can be a metal-plastic frame of the metacarpus with five electric motors and five metal frames of the fingers connected to the metacarpus of the lever-plunger system (mechatronics).
  • the input feature vector is classified by the neural network algorithm as “learning with teacher” in the Cortex M4 microprocessor installed in the control board pos. 20 cm.
  • FIG. 9a where each set of EMG features obtained from a volitional muscle contraction is assigned a corresponding control signal for transmission to the prosthetic drive mechanism.
  • the nut 8 together with the drive lever extends (retracts) to the position shown in FIG. 96, which ensures the “grasp” or opening of the palm.
  • Each finger has a separate drive (see Fig. 10).
  • the functioning of the system is as follows.
  • the myoelectric reading device in the form of a bracelet is put on the surviving part of the forearm and connected to the computer, the computer is configured, calibrated bracelet and bionic prosthesis as follows.
  • the training set is formed as follows. Using the calibration program, gestures such as “fist”, “three fingers pinch”, “key lock”, “cylindrical gripper”, and others that the user is asked to repeat several times during a certain time, for example, are displayed on the screen; , 5 times in one second, after which the data obtained are used to train the recognition algorithm based on the neural network, as described above. A user profile is created with new weights, which is written to the wristband microcontroller.
  • the prosthesis and bracelet can operate autonomously, based on wireless communication, for example, via Bluetooth 4.0.
  • the prosthetic brush is installed in the cult-receiver.
  • the myoelectric reader can be worn either before or after installing the prosthesis due to the elastic cuff.
  • the user can use the movements recorded during calibration. After the movement, the signal is recorded, converted and classified according to the steps described above. Due to the presence of sensors that transmit additional information from the prosthesis, feedback is provided to the user, as described above.
  • a data collection tool is placed on the user's hand and simultaneously connected to a personal computer, which is a data processing device.
  • the user performing commands on the screen, makes 14 gestures (for example, “Fist”, “Incomplete fist, or cylindrical grip”, “Opening the palm”, “Pinch the thumb and index finger”, “Pinch the thumb and ring finger”, “Rotate the palm on yourself “,” Turning your palm away from you “,””Pistol” - forefinger and thumb straightened, the rest are pressed “,” Fist with straightened thumb “,” Rotation of the forearm towards you “,” Rotation of the forearm from yourself “,” Capture computer mouse “,” Capture turnkey “, “Relaxation”), each for one second, repeating them according to the images on the screen, thus forming a training sample of gestures.
  • 14 gestures for example, “Fist”, “Incomplete fist, or cylindrical grip”, “Opening the palm”, “Pinch the thumb and index finger”, “Pinch the thumb and ring finger”,
  • the sensor electrodes register a potential difference arising from muscle contraction, then the signal is amplified 1000 times, filtered in the 5-500 Hz band and digitized into the ADC. Further, in the setup mode, the digitized signal goes to the computer. For each digital signal readout, for each gesture, the number of the gesture to be completed is assigned for further training.
  • the data for each gesture is connected into a matrix, respectively, at a sampling frequency of, for example, 1000 Hz
  • a sampling frequency of, for example, 1000 Hz we have a data set of 14x1000x8x14000 (14 gestures of 1 second x 1000 Hertz, 8 is the number of channels, 14000 is the target vector from 1 to 14, assigned to each counting gesture number, 1000 values for each target), the amplitude of the signal is in the range from 100 ⁇ V to 1 mV.
  • the signal is segmented with windows of 25 ms width, 25 samples per segment, respectively, for a sampling frequency of 1000 Hz.
  • a maximum is found on each segment, a 14x40x8x350 feature vector is obtained at the output (the dimension of the target vector is also reduced).
  • the data in the resulting vector is centered and normalized as described above.
  • the amplitude is reduced to the range [-1: 1].
  • an input feature vector is obtained for training the neural network. Training takes place according to the algorithm described above. Further, the new values of the network weights are written to the readout controller. Then the user can use the system. The data before the segmentation and the data after the segmentation are stored in a database on a remote computer for further study and to replenish the training sample of the neural network. It is also possible to further customize the correspondence of gestures performed by the user and the hooks implemented by the prosthesis drives in response to the user's gesture by connecting the prosthesis to the computer. Then, when operating the system, the user performs any of the fourteen gestures, then the signal is registered and processed.
  • the sensor electrodes register a potential difference arising from muscle contraction, then the signal is amplified 1000 times, filtered in the 5-500 Hz band and digitized into the ADC. Next, the signal goes to the microcontroller of the reading system.
  • the number of data equal to the width of the window (25 ms) is typed, respectively, at a sampling frequency of, for example, 1000 Hz, we have a data vector of 25x8 in size (25 samples per 25 ms, 8 is the number of channels), the signal amplitude is range from 100 ⁇ V to 1 mV.
  • find the maximum of the current segment get a 1x8 vector at the output. Then the data in the resulting vector is centered and normalized as described above.
  • the amplitude is reduced to the range [-1: 1].
  • the vector is fed to the input of the neural network, which defines a class of gesture. Based on the result of the classification, a control command is created and transmitted to the prosthesis drives.
  • the resulting grip of the prosthesis can be, as similar to the executed user, or otherwise, specified in the settings initially.

Landscapes

  • Health & Medical Sciences (AREA)
  • Transplantation (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Prostheses (AREA)

Abstract

Данное техническое решение относится к области медицинской техники, а именно к протезированию, в частности, к способам и системам для управления интеллектуальной бионической конечности, и предназначено для протезирования людей с потерей конечности, а также для использования частей изделия независимо в различных задачах улучшения качества жизни. Способ управления интеллектуальной бионической конечностью, в котором получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе амплитуды ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления интеллектуальной бионической конечностью; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на двигатели, приводящие в движение пальцы бионической конечности; получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков. Технический результат - повышение точности позиционирования и принятия решения о захвате предмета.

Description

СПОСОБ И СИСТЕМА УПРАВЛЕНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ БИОНИЧЕСКОЙ
КОНЕЧНОСТЬЮ
ОБЛАСТЬ ТЕХНИКИ
Данное техническое решение относится к области медицинской техники, а именно к протезированию, в частности, к способам и системам для управления интеллектуальной бионической конечностью, и предназначено для протезирования людей с потерей конечности, а также для использования частей изделия независимо в различных задачах улучшения качества жизни.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известен патент РФ N°2506931 «Протез кисти», дата публикации: 10.11.2013. В данном решении описывается протез кисти, содержащий приемную гильзу, корпус, каркасы первого пальца, второго-четвертого пальцев, приводную систему функции подвижности «схват-раскрытие кисти», шарнир сгибания в лучезапястном сочленении, манжету на предплечье, три потенциометра, три преобразователя сигнала, сумматор, два функциональных преобразователя и четыре усилителя мощности. Данное решение имеет микроприводы на четыре пальца (кроме мизинца) с закреплением приводов на каркасе и червячной передачей на пальцы. Недостатком данного протеза является механический способ управления, т.к. он требует значительного мышечного усилия, кроме того, такой способ управления не является физиологичным для человека. Например, задача взять монету со стола, не представляющая сложности для человека с неповрежденной рукой, для такого решения невыполнима.
Также из уровня техники известна заявка на китайский патент N C° N 1582866 (A) ((Myoelectric bionic artificial hand with thigmesthesia and its control)), патентообладатель: HANGZHOU ELECTRONIC SCIENCE AN [CN], дата публикации: 23.02.2005. В данном решении описывается миоэлектрическая бионическая искусственная рука с контролем осязания, содержащая измерительные электроды, установленные на остаточных мышцах культи, данные аналого-цифрового преобразования, собранные с помощью компьютера для завершения вывода распознавания движения управляющего сигнала ЭМГ схемой контроля для электрического привода искусственной руки, системы обработки сигнала и системы контроля осязания посредством пьезокерамической пластины. В данном изобретении для получения сенсорной информации, согласно формуле изобретения, используются следующие характеристики во временной области: среднее арифметическое и дисперсия. Но данное решение требует большой концентрации со стороны пользователя для точного позиционирования и выполнения захвата предмета. Кроме того, для более полноценной обратной связи требуется передача большего числа параметров о предмете, например, его температура.
Существующие в настоящее время системы управления протезами, включают, как правило, двигатели, датчики, контроллеры, источники питания, механические и электрические разъемы, интерфейсы и механизмы обратной связи, все из которых являются дополнительными аксессуарами.
В настоящее время существует постоянная потребность в улучшении протезов верхней конечности, которые были бы способны восстановить полные двигательные функции и сенсорные способности ампутированной конечности.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ Техническая проблема, решаемая в данном техническом решении, состоит в осуществлении автономного полнофункционального управления для выполнения низкоуровневых задач манипуляции интеллектуальным бионическим протезом конечности, которое позволило бы воспринимать указанный протез как естественную конечность.
Технической задачей технического решения является разработка - надежного функционального интеллектуального бионического протеза конечности с обратной тактильной связью, управляемого посредством нейромышечных сигналов,
- способа и системы управления вспомогательным устройством, таким как протез конечности.
Техническим результатом, проявляющимся при решении указанной технической задачи и проблемы, является повышение точности позиционирования и принятия решения о захвате предмета.
Также дополнительным техническим результатом является уменьшение когнитивной нагрузки на человека, повышение эффективности управления протезом, снижение времени отклика исполнительных устройств и предотвращение ложных срабатываний протеза за счет способа предобработки сигнала.
Еще одним дополнительным техническим результатом является упрощение процедуры установки и настройки системы «протез-считывающее устройство» за счет модульности системы - считывающее устройство является портативным, и требует примерного позиционирования при размещении, и является легкосъемным. Протез в свою очередь надевается посредством культеприемника, и связан со считывающим устройством только беспроводными каналом передачи данных.
Понижение когнитивной нагрузки на человека и повышение эффективности управления протезом достигается за счет использования гибридной системы управления, которая сочетает в себе способы декодирования электронейромиосигналов с элементами автономных роботизированных манипуляций по захвату предмета при достижении порогового значения расстояния до него посредством принятия решения, не требующего участия пользователя, о начале или прекращении выполнения схвата с помощью информации от дополнительных датчиков (температуры и расстояния), и о силе сжатия предмета с помощью информации от датчиков.
Точность классификации и предотвращения ложного срабатывания протеза достигаются за счет одновременного формирования максимального значения и средней длительности превышения порогового значения неиромиосигнала в окне данных в режиме реального времени, затем после центрирования и нормализации принимается решение о возникновении управляющего сигнала.
Расположение микроконтроллера, выполненного с возможностью модульной сборки в протезе, позволяет приблизить искусственную конечность по весу и размеру к естественной.
Использование обратной связи, реализуемой с помощью датчиков температуры, расстояния, момента и позиции, расположенных в протезе, позволяет обезопасить использование протеза и предоставить максимальные возможности по управлению.
Использование беспроводной передачи данных между протезом и системой считывания обеспечивает удобство использования системы и взаимозаменяемость компонентов, кроме того, возможность их использования независимо друг от друга. Указанный технический результат достигается благодаря способу управления интеллектуальной бионической конечностью, в котором получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе амплитуды ЭМГ- сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления интеллектуальной бионической конечностью; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на двигатели, приводящие в движение пальцы бионической конечности; получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:
Фиг. 1 (а, б) представляет пример осуществления настройки и функционирования системы управления интеллектуальной бионической конечностью. Фиг. 2 описывает общую структуру технического решения.
Фиг. 3 представляет блок-схему реализации системы управления интеллектуальной бионической конечностью.
Фиг. 4 представляет пример схемы реализации получения данных в виде миоэлектрической системы считывания (поз. 14 - система считывания, поз. 15 - датчик регистрации биопотенциалов, поз. 16 - эластичная манжета).
Фиг. 5 показывает составные части бионического протеза руки в виде миоэлектрической системы считывания (поз. 17), культеприемника (поз. 18) и протеза кисти (поз. 19) и их примерное расположение на конечности. Фиг. 6 показывает пример электромиографического сигнала, зарегистрированного при волевом усилии с мышц предплечья.
Фиг. 7 показывает примерную схему реализации ЭМГ-датчика с использованием более предпочтительного для долговременного использования сухого контакта. Фиг. 8 представляет пример размещения датчиков обратной связи на интеллектуальной бионической конечности.
Фиг. 9 (а,б) представляет механизм привода пальца в прямом и согнутом состоянии. поз. 6 Зубчатое колесо
поз. 7 Резьбовой плунжер.
поз. 8 Гайка.
поз. 9 Рычаг-привод.
поз. 10 Зубчатое колесо большое.
поз. 1 1 Микродвигатель-редуктор.
поз. 12 Сустав-узел поворота закрепленный на пясти.
поз. 13 Первая фаланга пальца.
поз. 14 Сустав-узел поворота пальца.
поз. 15 Вторая фаланга пальца.
Фиг. 10 показывает размещение платы управления и приводов в кисти интеллектуальной бионической конечности. Фиг. 11 показывает пример осуществления обработки сигнала от системы считывания.
Фиг. 12 показывает временные функции для выделения признаков ЭМГ-сигнала.
Фиг. 13 показывает захват данных по ортонормированному базису с помощью ротации. Слева: попытка нейрона приспособиться, чтобы покрыть новые данные. Справа: конечное положение нейрона после нового покрытия данных. ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого технического решения.
Техническое решение может быть реализовано в виде распределенной компьютерной системы.
В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно- вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические носители (CD, DVD и т.п.).
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд. Электромиография (ЭМГ, ЭНМГ, миография, электронейромиография) — метод исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон; регистрация электрической активности мышц.
Культеприемник— часть протеза конечности, предназначенная для помещения культи. Электронейромиография (ЭНМГ) — это комплексное электрофизиологическое исследование, необходимое для определения функционального состояния периферической нервной системы и мышц [1]. Способ физиологичного управления интеллектуальной бионической конечностью на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом.
Предварительно осуществляют предобработку сигнала и создание входного вектора признаков ЭМГ-сигнала для классификации жестов пациента, которая может выполняться аналогичным образом и при настройке, и при работе системы.
Для того чтобы различать и классифицировать мышечные движения, должны быть извлечены наиболее значимые части ЭМГ (признаки), которые представляют собой характеристики с достаточной для классификации информацией. По данным исследований, для классификации ЭМГ-сигналов верхних конечностей применяются различные типы функций в частотной области, такие как коэффициенты авторегрессии, коэффициенты косинусного преобразования Фурье и вейвлет-коэффициенты.
Более подходящими для анализа являются признаки ЭМГ-сигнала во временной области на основе амплитуд сигналов. Такие признаки могут быть легко определены, обладают высокой стабильностью для распознавания образов с помощью ЭМГ. Для достижения лучших результатов, функция (признак) должна содержать достаточное количество информации, чтобы представлять существенные свойства ЭМГ-сигнала, и должна быть достаточно простой для быстрой обработки и классификации. В некоторых вариантах осуществления в качестве признаков могут использоваться следующие величины во временной области, измеренные как функции времени: интегральная ЭМГ; среднее арифметическое; среднее значение модуля; конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение; длина сигнала; максимальное значение ЭМГ-сигнала, более подробно информация о выборе признаков для классификации раскрыта в работе авторов [2].
Формулы для расчета этих величин показаны на Фиг. 12. Оценка эффективности признаков осуществляется по двум главным параметрам — производительность нейронной сети и время работы — как наиболее важным для использования в реальном времени. Согласно предыдущим исследованиям, описанным в источнике информации [3], для условия выполнения требований работы в режиме реального времени время распознавания сигнала должно занимать не более 25 мс. Для комфортной работы пользователя производительность, или точность распознавания (процентное отношение верных случаев классификации ко всем рассматриваемым случаям) должна быть не ниже 95%, как показано в источнике [4]. Пример осуществления обработки сигнала представлен на Фиг. 11. С целью повышения точности классификации жеста и предотвращения ложного срабатывания бионической конечности на этапе предобработки сигнала, одновременно с вычислением максимального значения сегмента ЭМГ-сигнала, вычисляется средняя длительность превышения порогового значения ЭМГ-сигнала в окне данных в режиме реального времени, затем после центрирования и нормализации полученного сигнала принимается решение о возникновении управляющего сигнала.
Данные нейромышечной активности (данные матрицы каналов электромиографа), получают от устройства миоэлектрического считывания и оцифровывают посредством АЦП, затем проверяют условие возникновения активного сигнала (соответствующего выполнению жеста), например, 30% от заданной в настройках амплитуды. Далее разбивают полученный оцифрованный сигнал неперекрывающимся окном на сегменты, длиной, например, 25 мс. В некоторых вариантах осуществления технического решения используют функцию максимального значения сегмента, как наиболее эффективную и легко вычисляемую. Для каждого сегмента вычисляется его максимальное значение по формуле:
Figure imgf000010_0001
где Хк - к-ый сегмент сигнала, х, - i-oe значение сегмента. Далее полученные значения нормируются следующим образом:
Figure imgf000010_0002
где Х- массив данных сигнала, Xt - i-oe значение сигнала; И центрируют:
Figure imgf000010_0003
Где - среднее арифметическое сигнала X.
Таким образом, получают входной вектор признаков (по которому осуществляется классификация жестов) для каждого канала, с более низкой размерностью, чем у исходного сигнала (в зависимости от ширины окна): вектор длиной к вместо первоначального вектора длиной k*i, что снижает вычислительную нагрузку на микроконтроллер. Размерность понижается за счет того, что находят одно значение среди значений.
На этапе настройки системы после создания входного вектора признаков ЭМГ-сигнала происходит обучение искусственной нейронной сети (ИНС). В некоторых вариантах осуществления используют ИНС на основе радиальной базисной функции (но, не ограничиваясь ей). В некоторых вариантах осуществления может использоваться многослойный персептрон нейронной сети или метод опорных векторов.
Для того чтобы распознать жесты, извлеченные признаки должны быть классифицированы в отличительные классы. Классификатор должен быть в состоянии справиться с факторами, которые оказывают заметное влияние на шаблоны ЭМГ в течение времени, такие, как существенное изменение сигналов ЭМГ, расположение электродов, пот и усталость, описанные в источнике информации [5].
Вышеуказанный способ использует трехзвенную архитектуру управления (база данных - сервер - клиент) при обработке набора признаков ЭМГ-сигнала.
Во входном слое количество нейронов равно размерности вектора признаков (который в данном случае равен числу каналов передачи данных, по которым передаются данные с датчиков), который в примере реализации изобретения может быть равен восьми: Xj, i = 1, 2...8. Скрытый слой, где число нейронов не было определено заранее, так как они были сформированы в ходе процедуры обучения, был разделен на четырнадцать субскрытых слоев (по количеству классов в учебных данных - четырнадцать жестов). В выходном слое число нейронов было равно количеству классов в наборе обучающих данных (четырнадцать нейронов).
Базисной функцией нейронной сети в скрытом слое является функция Гаусса, а выход к-го нейрона в скрытом слое для каждого данного входа X может
Figure imgf000011_0002
вычисляться по следующей формуле:
Figure imgf000011_0001
Это уравнение описывает 8-мерный гауссиан с центром в точке С = и вращается вдоль орто нормированного базиса позволяет нейрону покрывать поле данных соседа без
Figure imgf000012_0001
смещения или любого изменения размера. Ширина этого гауссиана вдоль каждой оси равна
Figure imgf000012_0008
Поскольку входные векторы признаков для каждого образа являются восьмимерными, координаты, соответствующие этим векторам, представляют собой базис вида
Figure imgf000012_0002
Таким образом, компонента х, каждого входного вектора X по отношению к новым осям может быть вычислена как: (5)
Figure imgf000012_0003
Вращение вдоль базисных векторов позволяет нейронам покрыть все близлежащие данные без увеличения радиуса. На Фиг. 13 показано, каким образом нейрон пытается приспособиться, чтобы покрыть новые данные; в правой части рисунка показано нахождение данных нейроном.
Во время настройки системы происходит запись сигнала пользователя в базу данных, данные в которой накапливаются, и используются для дообучения сети. Для каждого пользователя имеется вектор признаков с размером 8xN (где 8 - число каналов, N - число обучающих данных), полученный с помощью описанного выше способа (сегментации неперекрывающимимся окнами). Перед процедурой обучения каждый набор данных перемешивается, а затем делится на наборы в соотношении 2:1 : 1 (по числу обучающих данных N) с данными для этапов обучения, тестирования и контроля соответственно.
Ортонормированный базис вычисляется через собственный вектор ковариационной матрицы. Поскольку обучающие данные вводятся в сеть последовательно, вектор средней и ковариационная матрица вычисляются рекурсивно. Для N выборок В
Figure imgf000012_0006
котором xj = N вектор средних значений рассчитывается следующим образом:
Figure imgf000012_0005
Figure imgf000012_0004
- это вектор средних значений множества данных X; XN+ 1 - новый вектор
Figure imgf000012_0007
данных, добавляемый во множество данных X. Затем ковариационная матрица вычисляется как:
Figure imgf000013_0001
Чтобы найти ортонормированный базис для РБФ, используется концепция анализа главных компонент. Собственные величины
Figure imgf000013_0008
и соответствующие им собственные векторы вычисляются от уровня ковариационной
Figure imgf000013_0007
матрицы. Далее множество собственных ортогональных векторов образуют ортонормированный базис, что показано в источнике информации [6].
Процедуру обучения нейронной сети во время настройки системы более подробно можно описать следующим образом.
множество N обучающих данных (обучающая выборка), где
Figure imgf000013_0002
Xj является вектор-функцией (компонент - множество обучающих данных)
Figure imgf000013_0005
Figure imgf000013_0006
является классом, с которым необходимо соотнести жест. Пусть
Figure imgf000013_0003
это набор из т нейронов. Каждый нейрон имеет пять параметров:
(9)
Figure imgf000013_0004
где С* - центр £-го нейрона, S* - ковариационная матрица к-το нейрона, Nk - это количество данных, соответствующих k-му нейрону, Ак - ширина вектора к-го нейрона, - класс-
Figure imgf000013_0009
метка к-го нейрона.
Вся процедура обучения может быть сведена к следующим шагам.
Осуществляется инициализация вектора ширины пространства. В данном случае используется восьмимерный вектор признаков, для простоты расчетов примем радиус восьмимерной сферы Гаусса равным
Figure imgf000013_0010
Затем на вход ИНС подается множество обучающих данных (xj, tj). Когда нейрона нет в составе сети (К = 0), К = К + 1, новый нейрон Qk формируется с учетом следующих параметров: обучающие данные
Figure imgf000014_0007
сбрасываются. Если К ф 0, ближайший нейрон в скрытом слое Qk £ Ω находится так, что dk = и вектор средних значений и ковариационная
Figure imgf000014_0008
матрица обновляются.
Далее определяют ортонормированный базис Qk, после чего на выходе к-го нейрона определяют значение:
Figure imgf000014_0001
где Xj - у'-ое значение входа и цели, центр нового нейрона, координата
Figure imgf000014_0002
Figure imgf000014_0005
ортонормированного базиса, координата вектора ширины гауссиана.
Figure imgf000014_0006
Если значение
Figure imgf000014_0003
то нейрон охватывает данные так, что временные параметры настраиваются на его основные параметры. В противном случае, при создается
Figure imgf000014_0004
новый нейрон. Поскольку новые нейроны могут быть автоматически добавлены к сети и располагаться очень близко друг к другу, возможна реализация стратегии слияния нескольких нейронов во избежание роста сети до максимальной структуры (одного нейрона для каждой единицы данных), что подробно описано в источнике информации [7].
Обученная нейронная сеть позволяет точно подстроиться под пациента. В результате обучения ИНС сохраняют новые значения весовых коэффициентов нейронной сети в микропроцессор протеза напрямую или в хранилище данных.
Однако следует учитывать, что другие типы ИНС, как и другие методы классификации, также могут быть осуществлены в данном изобретении специалистом в своей области.
В процессе работы системы результат распознавания жеста преобразуется в соответствующую управляющую команду (например, мысленное сжатие в «кулак» пользователем - «кулак» на протезе), и передается на приводы бионического протеза кисти. Система физиологичного управления интеллектуальной бионической конечностью на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом.
Вышеуказанная система состоит из миоэлектрического устройства считывания биопотенциалов, которое может быть конструктивно выполнено в виде лёгкосъёмного эластичного браслета (показан на Фиг. 4 поз. 14). В данном устройстве располагаются электроды для регистрации активности нервно-мышечной системы (поз.15), возникающей в ответ на фантомное движение пациента. Причем браслет может быть размещен на предплечье или на плече и выполнен с возможностью передачи управляющего сигнала протезу кисти. В данном браслете может находиться датчик беспроводной передачи данных, причем, не ограничиваясь, могут использоваться технологии беспроводной передачи данных Bluetooth или Wi-Fi, или ZigBee.
В легкосъёмном браслете, надеваемом на плечо или предплечье, размещены, по меньшей мере один датчик электромиограммы, (далее датчик ЭМГ), с операционными усилителями, фильтры нижних и верхних частот, аналого-цифровые преобразователи (АЦП), микропроцессор, микроконтроллер, преобразователь напряжения и аккумуляторы.
Датчик ЭМГ в некоторых вариантах осуществления представляет собой набор пластин электродов, размещенных на подложке из диэлектрика. В разных вариантах осуществления технического решения электроды могут быть выполнены из нержавеющей стали или из слабополяризующихся проводящих материалов (например, из нержавеющей стали марки 12Х18Н10). В некоторых вариантах осуществления электроды могут быть выполнены следующих размеров: квадрат 1x1 см для приемной пластины (2 штуки) и прямоугольник 1x0,5 см для референта), не ограничиваясь. Специалисту в данной области техники очевидно, что размер электродов может быть выполнен в другом размере, учитывая, что размер пластины влияет на амплитуду сигнала и уровень перекрестных помех.
На подложку электрода сверху устанавливается плата усилителя биопотенциалов, которая может состоять из инструментального (дифференциального) усилителя (например, такого как INA114), фильтров нижних и верхних частот, выполненных на пассивных элементах в виде RC цепочек или на активных элементах. Через гибкие шлейфы датчики подсоединяются к плате микропроцессора, где может происходить оцифровка посредством аналого-цифрового преобразования и передача его на микроконтроллер (например, 2х 16ти битных АЦП ADS 1115 и предварительная обработка сигнала на контроллере ARM микропроцессора Cortex М4).
При волевом сокращении мышцы пациентом активными электродами регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани.
Следует особо подчеркнуть необходимость надежного способа снятия управляющего сигнала. Частотный состав электромиограммы у лиц с ампутацией, согласно исследованиям, представлен сильно зашумленным сигналом в диапазоне 0,5-300 Гц и амплитудой сигнала от 1 мкВ до 2 мВ (Фиг. 6). Осуществление технического решения (Фиг. 1а) может происходить следующим образом. Пациент выполняет заданные жесты, при этом миоэлектрическое устройство считывания передает данные пользователя на устройство обработки данных по беспроводному каналу передачи данных (например, с использованием стандарта Bluetooth 4.0), где происходит создание профиля пользователя. Затем созданный профиль записывается на микроконтроллер.
Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ) и передачу данных по беспроводному каналу связи (например, с использованием стандарта Bluetooth 4.0, но не ограничиваясь им) на плату управления протезом кисти, размещение которой показано на Фиг. 10 (поз. 20). Способ обработки сигнала более подробно раскрыт выше.
Фиг. 10 представляет собой вид сверху протеза кисти руки, который включает в себя ладонную часть руки, запястье и рычажную часть.
Как показано на Фиг. 8, индикаторы расположены в ладонной части протеза. Плата управления протезом подключается к светодиодным индикаторам отображающим различные цвета: красный, зеленый, оранжевый и другие цвета, для предоставления различную информации/обратную связь пользователю протеза (например, при необходимости осуществить более сильное сжатие или повторить жест, или при невозможности выполнения захвата предмета из-за неподходящей температуры).
Система управления интеллектуальной бионической конечностью также включает в себя: сеть контроллера (контроллерную сеть), которая обеспечивает модульную, надежную и отказоустойчивую схему взаимодействия для обмена данными между контроллером и остальными управляющими и исполнительными органами бионического протеза, и которая обеспечивает передачу контроллеру намерений от нервно-мышечной системы пользователя; источник питания; разноцветные поверхностные светоизлучающие диодные, вибро- и звуковые индикаторы (LED), расположенные в протезе, с помощью которых посредством контроллера обеспечивается обратная связь с пациентом.
Примерные варианты осуществления системы управления интеллектуальной бионической конечностью включают в себя контроллер 301 (не более 2x3 см), который принимает данные о результате распознавания, осуществляет обмен данными и управление двигателями пальцев, температурными, позиционными, контактными датчиками и датчиками момента, а также вибро- и цветовыми индикаторами в интеллектуальном бионическом протезе.
Контроллер в некоторых вариантах осуществления может включать в себя блок обработки, блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом, что позволяет осуществлять гибкое построение интерфейса без изменения соответствующего элемента управления программным обеспечением.
Данная архитектура также обеспечивает гибкое управление питанием протеза, значительно увеличивая срок службы батареи, т.к. благодаря такой организации неиспользуемый в данный момент блок находится в состоянии ожидания и пониженного энергопотребления.
На Фиг. 3 показана блок-схема системы управления интеллектуальной бионической конечностью, которая включает в себя контроллер протеза 301, шину 302, и по меньшей мере одну шину пальцев 303 (на Фиг. 3 показана только одна из них). Шина 302 и шина пальца 303 подключены к контроллеру протеза 301 с помощью интерфейса ввода-вывода 304.
Контроллер 301 протеза может являться одним из компонентов протеза (не показанного на данной схеме). Контроллер 301 протеза является центральным звеном управления протезом. Таким образом, контроллер 301 протеза, который может быть конструктивно размещен внутри протеза (и, в одном из вариантов, может быть полностью размещен в ладонной части руки), несет ответственность за высокий уровень координированного управления рукой и крупными моторными суставами, а также разнообразные функции, связанные с внутренними нюансами работы протеза. Также, в случае необходимости, в некоторых вариантах осуществления контроллер 301 протеза может быть размещен вне протеза.
Одна из функций контроллера 301 протеза - это управление движением протеза.
Соответственно, команды о намерении пользователя передаются блоком 305 ЭНМ интерфейса (электронейромиоинтерфейса), который взаимодействует с контроллером 301 конечности посредством шины 302 и интерфейса ввода-вывода 304, как показано на Фиг. 3. Команды из блока 305 ЭНМ интерфейса, а также информация от контроллера 306 крупноманипуляционного привода и по меньшей мере одного контроллера 307 мелкоманипуляционного привода (на Фиг. 3 показан один из них), которые поступают через шину 302 и шины 303 пальцев, позволяют способу управления интеллектуальной бионической конечностью, описанному выше, в контроллере 301 генерировать новые команды для управления крупноманипуляционными приводами и мелкоманипуляционными приводами.
Контроллер 301 протеза также обеспечивает передачу сенсорных данных от датчиков в протезе с помощью вибродатчика, либо с помощью слабого электрического импульса. Эта обратная тактильная связь позволяет пациенту ощущать внешние условия, не будучи ограниченным только визуальной или звуковой обратной связью.
Контроллер 301 протеза также получает и обрабатывает сенсорную информацию, такую как температура предмета, положение протеза, крутящий момент и вибрация. Для этого на поверхности протеза размещены датчик 308 температуры, позиционный датчик 309, датчик 310 контакта и датчик 311 крутящего момента соответственно.
Как показано на Фиг. 3, контроллер 307 мелкоманипуляционного привода получает информацию от датчиков 308 температуры, позиционного датчика 309, датчика 310 контакта и датчика 311 крутящего момента. В некоторых вариантах осуществления, два позиционных датчика 309 (или более) могут быть подключены к контроллеру 306. Кроме того, контроллер 306 крупноманипуляционного привода может иметь подключенные датчики, например, один или более температурный датчик 308 или датчик 311 крутящего момента, как показано на Фиг. 3. Как показано на Фиг. 3, система управления интеллектуальной бионической конечностью в соответствии с вариантом осуществления включает в себя, по меньшей мере, один узел 312 датчиков кончика пальца протеза, соединенный с контроллером 301 протеза с помощью шины 303 пальца, а также контроллер 313 сокета, подключенный к разъему контроллера 301 протеза через шину 302. Узел 312 датчиков кончика пальца имеет набор датчиков (не показаны на фигуре), в том числе, но не ограничиваясь ими: позиционные датчики (например, потенциометр или датчики Холла), контактные датчики (например, поливинилиден дифторидный контактный датчик), и датчики температуры, каждый из которых обеспечивает информацию о различном положении, крутящем моменте и/или входах тактильной обратной связи контроллеру 301 протеза. Эти датчики, распределенные по всей конечности, обеспечивают входы для усовершенствованных способов управления, выполняющихся на контроллер 301 протеза, а также для тактильной обратной связи с пользователем.
В дополнительных вариантах осуществления изобретения контроллер 301 протеза использует шину 302 для взаимодействия с дополнительными устройствами и/или аксессуарами, такими как устройства радиочастотной идентификации (RF ID датчики), смартфоны и персональные цифровые помощники, хотя дополнительные или альтернативные варианты осуществления изобретения не ограничивается этими примерами.
Протез кисти может представлять собой металлопластмассовый каркас пясти с пятью электродвигателями и пяти металлокаркасов пальцев, связанных с пястью рычажноплунжерной системой (мехатроника). Входной вектор признаков классифицируется алгоритмом нейронной сети по типу «обучение с учителем» в микропроцессоре Cortex М4, установленным в плате управления поз. 20 см. Фиг. 9а, где каждому набору признаков ЭМГ, полученной от волевого сокращения мышцы, присваивается соответствующий управляющий сигнал для передачи приводному механизму протеза. При подаче сигнала от платы 20 управления (см. Фиг. 9а) на двигатель 11, гайка 8 совместно с рычагом приводом выдвигается (втягивается) в положение, показанное на Фиг. 96, чем обеспечивается состояние «схват» или открытие ладони. Каждый палец имеет отдельный привод (см. Фиг. 10).
Функционирование системы происходит следующим образом. Миоэлектрическое устройство считывания в виде браслета надевается на уцелевшую часть предплечья и подключается к компьютеру, на компьютере происходит настройка, калибровка браслета и бионического протеза следующим образом. Обучающая выборка формируется следующим образом. С помощью программы калибровки на экран последовательно выводятся типы жестов, например, «кулак», «щепоть тремя пальцами», «захват «ключ»», «цилиндрический схват», и другие, которые предлагается повторить пользователю несколько раз в течение определенного времени, например, 5 раз по одной секунде, после чего полученные данные используются для обучения алгоритма распознавания на основе нейронной сети, как было описано выше. Создается профиль пользователя с новыми весовыми коэффициентами, который записывается в микроконтроллер браслета. Далее протез и браслет могут работать автономно, на основе беспроводной связи, например, посредством Bluetooth 4.0. Протез кисти устанавливается в культеприемник. Миоэлектрическое устройство считывания можно надеть до, либо после установки протеза благодаря эластичной манжете.
Пользователь может использовать движения, записанные при калибровке. После совершения движения, сигнал регистрируется, преобразуется и классифицируется согласно этапам, описанным выше. Благодаря наличию датчиков, передающих дополнительную информацию от протеза, осуществляется обратная связь с пользователем, как описано выше.
ПРИМЕРЫ ОСУЩЕСТВЛЕНИЯ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Средство сбора данных размещается на руке пользователя и одновременно соединяется с персональным компьютером, которое является устройством обработки данных. Пользователь, выполняя команды на экране, совершает 14 жестов (например, «Кулак», «Неполный кулак, или цилиндрический хват», «Раскрытие ладони», «Щепоть большим и указательным пальцем», «Щепоть большим и безымянным пальцами», «Поворот ладони на себя», «Поворот ладони от себя», ««Пистолет» - указательный и большой пальцы выпрямлены, остальные прижаты», «Кулак с выпрямленным большим пальцем», «Вращение предплечья на себя», «Вращение предплечья от себя», «Захват компьютерной мыши», «Захват под ключ», «Расслабление»), каждый в течение одной секунды, повторяя их согласно изображениям на экране, формируя таким образом обучающую выборку жестов.
Электроды датчика регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз, фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, в режиме настройки, оцифрованный сигнал поступает на компьютер. Каждому цифровому отсчету сигнала по каждому жесту ставится в соответствие номер выполняемого жеста для дальнейшего обучения. Данные по каждому жесту соединяются в матрицу, соответственно, при частоте дискретизации, например, 1000 Гц, имеем набор данных размером 14x1000x8x14000 (14 жестов по 1 секунде х 1000 Герц, 8 - число каналов, 14000 - вектор целей от 1 до 14, присвоенный каждому отсчету номер жеста, по 1000 значений на каждую цель), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Затем сигнал сегментируют окнами шириной 25 мс, по 25 отсчетов на сегмент соответственно для частоты дискретизации 1000 Гц. Далее, находят максимум на каждом сегменте, получают на выходе вектор признаков размером 14x40x8x350 (размерность вектора целей также понижается). Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1: 1].
Таким образом, получают входной вектор признаков для обучения нейронной сети. Обучение происходит согласно описанному выше алгоритму. Далее, новые значения весов сети записываются в контроллер системы считывания. После чего пользователь может использовать систему. Данные до сегментации и данные после сегментации сохраняются в базе данных на удаленном компьютере для возможности дальнейшего исследования и для пополнения обучающей выборки нейронной сети. Также далее возможно настроить соответствие жестов, выполняемых пользователем, и хватов, реализуемых приводами протеза в ответ на жест пользователя, подключив протез к компьютеру. Затем при эксплуатации системы пользователь выполняет любой из четырнадцати жестов, затем происходит регистрация и обработка сигнала. Электроды датчика регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз, фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, сигнал поступает на микроконтроллер системы считывания. Набирается число данных, равное ширине окна (25 мс), соответственно, при частоте дискретизации, например, 1000 Гц, имеем вектор данных размером 25x8 (25 отсчетов за 25 мс, 8 - число каналов), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Далее, находят максимум текущего сегмента, получают на выходе вектор размером 1x8. Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1: 1]. Далее вектор подается на вход нейронной сети, которая определяет класс жеста. На основе результата классификации создается управляющая команда и передается на приводы протеза. Результирующий хват протеза может быть, как аналогичным выполненному пользователю, так и иным, заданным в настройках изначально.
ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ
1. Коуэн X. Л., Брумлик Дж. Руководство по электромиографии и электродиагностике: Пер. с англ.-М.: Медицина, 2005.- 192 с;
2. Будко Р.Ю., Старченко И.Б. Создание классификатора мимических движений на основе анализа электромиограммы // Труды СПИИРАН. 2016. Вып. 46. С. 76-89;
3. Englehart К, Hudgins В: A robust, real-time control scheme for multifunction myoelectric control. IEEE Trans Biomed Eng 2003, 50(7):848-854;
4. Van den Broek EL, Lis'y V, Janssen JH, Westerink JHDM, Schut MH, Tuinenbreijer K: Affective Man-machine Interface: Unveiling human emotions through biosignals. Biomedical Engineering Systems and Technologies: Communications in Computer and Information Science. Berlin, Germany: Springer Verlag; 2010;
5. Maria C. Selection of suitable hand gestures for reliable myoelectric human computer interface / Maria Castro, Sridhar P Arjunan, Dinesh К Kumar // BioMedical Engineering OnLine. -2015. - 14:30 (9 April 2015) available at: http://www.biomedical-engineering-online.eom/content/14/l/30; 6. Huihui L. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients / Huihui Li, Guoru Zhao, Yongjin Zhou, Xin Chen, Zhen Ji, Lei Wang // BioMedical Engineering OnLine. -2014. 13:5 (27 January 2014) available at: http://www.biomedical-engineering-online.eom/content/13/l/5;
7. Saichon J, Chidchanok L, Suphakant P: A very fast neural learning for classification using only new incoming datum. IEEE Trans Neural Netw 2010.

Claims

ФОРМУЛА
Способ управления интеллектуальной бионической конечностью, включающий следующие шаги: получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ- сигнала на основе амплитуды ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления интеллектуальной бионической конечностью; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на двигатели, приводящие в движение пальцы бионической конечности; получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков.
Способ по п. 1, характеризующийся тем, что при получении ЭМГ-сигнала регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани.
Способ по п. 1, характеризующийся тем, что при получении ЭМГ-сигнала миоэлектрическое устройство считывания осуществляют фильтрацию сигнала.
Способ по п. 1, характеризующийся тем, что при сегментации ЭМГ-сигнала для каждого сегмента определяют его максимальное значение. Способ по п. 1, характеризующийся тем, что используют искусственную нейронную сеть на основе радиальной базисной функции. Способ по п. 1, характеризующийся тем, что во входном слое для искусственной нейронной сети количество нейронов равно размерности вектора признаков.
Способ по п. 1, характеризующийся тем, что в выходном слое для искусственной нейронной сети число нейронов равно количеству классов в наборе обучающих данных. Система управления интеллектуальной бионической конечностью, содержащая: миоэлектрическое устройство считывания с расположенными в нем датчиками, выполненное с возможностью получения по меньшей мере одного ЭМГ-сигнала пациента; контроллер протеза, выполненный с возможностью получения данных о результатах распознавания ЭМГ-сигнала, осуществления обмена данными и управления двигателями пальцев, температурными, позиционными, контактными датчиками и датчиками момента, а также вибро- и цветовыми индикаторами в интеллектуальном бионическом протезе; протез бионической конечности, содержащий плату управления и приводный механизм, выполненный с возможностью формирования управляющего сигнала, приводящего в движение пальцы бионического конечности; по меньшей мере одно устройство обработки данных; по меньшей мере одно устройство хранения данных, отдельная база данных.
Система по п.1, характеризующаяся тем, что миоэлектрическим устройством считывания является лёгкосъёмный эластичный браслет.
Система по п.1, характеризующаяся тем, что миоэлектрическое устройство считывания содержит электроды для регистрации активности нервно-мышечной системы.
Система по п.1, характеризующаяся тем, что миоэлектрическое устройство считывания размещается на предплечье или на плече.
Система по п.1, характеризующаяся тем, что миоэлектрическое устройство считывания содержит датчик беспроводной передачи данных. Система по п.1, характеризующаяся тем, что миоэлектрическое устройство считывания содержит датчик электромиофаммы с операционными усилителями и/или фильтр нижних и верхних частот и/или аналого-цифровой преобразователь и/или микропроцессор и/или микроконтроллер и/или преобразователь напряжения и/или аккумулятор.
Система по п.1, характеризующаяся тем, что контроллер включает в себя блок обработки и блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом.
Система по п.1, характеризующаяся тем, что протез бионической конечности содержит светодиоды различных цветов (LED), вибро- и звуковые индикаторы, с помощью которых посредством контроллера обеспечивается обратная связь с пациентом.
Система по п.1, характеризующаяся тем, что протез бионической конечности содержит шины передачи данных в пальцах протеза.
Система по п.1, характеризующаяся тем, что контроллер протеза конструктивно размещен внутри протеза бионической конечности.
Система по п.1, характеризующаяся тем, что контроллер протеза обеспечивает передачу сенсорных данных от датчиков в протезе с помощью вибродатчика или с помощью слабого электрического импульса.
Система по п.1, характеризующаяся тем, что контроллер протеза получает и обрабатывает от датчиков в протезе температуру предмета и/или положение протеза и/или крутящий момент и вибрация.
Система по п.1, характеризующаяся тем, что контроллер использует шины передачи данных для взаимодействия с внешними устройствами.
Система по п.1, характеризующаяся тем, что протезом кисти является металлопластмассовый каркас пясти с пятью электродвигателями и пяти металлокаркасов пальцев, связанных с пястью рычажноплунжерной системой.
PCT/RU2016/000935 2016-12-14 2016-12-27 Способ и система управления интеллектуальной бионической конечностью WO2018111138A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2016149199A RU2635632C1 (ru) 2016-12-14 2016-12-14 Способ и система управления интеллектуальной бионической конечностью
RU2016149199 2016-12-14

Publications (1)

Publication Number Publication Date
WO2018111138A1 true WO2018111138A1 (ru) 2018-06-21

Family

ID=60328676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/000935 WO2018111138A1 (ru) 2016-12-14 2016-12-27 Способ и система управления интеллектуальной бионической конечностью

Country Status (2)

Country Link
RU (1) RU2635632C1 (ru)
WO (1) WO2018111138A1 (ru)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110859687A (zh) * 2018-08-28 2020-03-06 深圳先进技术研究院 振动臂环、触觉检测系统、振动控制方法及触觉检测方法
CN113946225A (zh) * 2021-12-20 2022-01-18 深圳市心流科技有限公司 一种手势锁定方法、智能仿生手、终端以及存储介质
CN114138111A (zh) * 2021-11-11 2022-03-04 深圳市心流科技有限公司 一种肌电智能仿生手的全系统控制交互方法
CN116009703A (zh) * 2023-03-27 2023-04-25 深圳市心流科技有限公司 智能仿生手的手势控显方法、设备、智能仿生手及介质
US11707367B2 (en) 2018-05-09 2023-07-25 Otto Bock Healthcare Products Gmbh Method for configuring a myoelectrically controlled prosthesis system and prosthesis system
GB2615785A (en) * 2022-02-18 2023-08-23 L Univ Ta Malta Prosthetic hand device and method of control
CN117226818A (zh) * 2023-09-27 2023-12-15 哈尔滨工业大学 一种基于视觉的力位融合测量的灵巧机械手
CN117784941A (zh) * 2024-02-23 2024-03-29 浙江强脑科技有限公司 仿生手的手势控制方法、存储介质、控制装置和仿生手
CN118161133A (zh) * 2024-05-13 2024-06-11 浙江强脑科技有限公司 仿生手的手势评价方法、评价装置、存储介质和仿生手

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2725055C1 (ru) * 2019-06-18 2020-06-29 Федеральное государственное автономное образовательное учреждение высшего образования "Крымский федеральный университет имени В.И. Вернадского" Способ комплексной оценки функции верхних конечностей
RU2754125C1 (ru) * 2020-06-16 2021-08-27 Федеральное государственное бюджетное учреждение науки Институт машиноведения им. А.А. Благонравова Российской академии наук (ИМАШ РАН) Управляемый протез кисти руки
RU201260U1 (ru) * 2020-07-31 2020-12-08 Общество с ограниченной ответственностью "Био Диджитал Технолоджи" Устройство для распознавания жестов путём обнаружения и анализа мышечной активности методом электромиографии
RU204901U1 (ru) * 2020-09-29 2021-06-17 Федеральное государственное автономное образовательное учреждение высшего образования "Московский политехнический университет" (Московский Политех) Модуль регистрации и первичной обработки биопотенциалов
RU2762775C1 (ru) * 2020-10-19 2021-12-22 Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) Способ дешифрации электромиосигналов и устройство для его реализации
CN113952091A (zh) * 2021-12-06 2022-01-21 福州大学 一种多传感器融合的假肢手抓握力反馈控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2414871C2 (ru) * 2005-12-20 2011-03-27 ОТТО БОК ХЕЛСКЕА АйПи ГМБХ ЭНД КО. КГ Пальцевый и кистевой протезы
US20160074181A1 (en) * 2013-06-03 2016-03-17 The Regents Of The University Of Colorado, A Body Corporate Systems And Methods For Postural Control Of A Multi-Function Prosthesis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITPI20130004A1 (it) * 2013-01-16 2014-07-17 Machinale S R L Fab Struttura protesica per amputazione mano

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2414871C2 (ru) * 2005-12-20 2011-03-27 ОТТО БОК ХЕЛСКЕА АйПи ГМБХ ЭНД КО. КГ Пальцевый и кистевой протезы
US20160074181A1 (en) * 2013-06-03 2016-03-17 The Regents Of The University Of Colorado, A Body Corporate Systems And Methods For Postural Control Of A Multi-Function Prosthesis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BORISOV I.I.: "Razrabotka sistemy obratnoi sviazi bionicheskogo proteza", NAUKA BUDUSHCHEGO - NAUKA MOLODYKH, 2016, Kazan, pages 388 - 390 *
CHEKH I.I., EKSPRESS-PROTEZIROVANIE, 2014, Moskva, pages 1 - 19 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11707367B2 (en) 2018-05-09 2023-07-25 Otto Bock Healthcare Products Gmbh Method for configuring a myoelectrically controlled prosthesis system and prosthesis system
CN110859687A (zh) * 2018-08-28 2020-03-06 深圳先进技术研究院 振动臂环、触觉检测系统、振动控制方法及触觉检测方法
CN110859687B (zh) * 2018-08-28 2024-03-12 深圳先进技术研究院 振动臂环、触觉检测系统、振动控制方法及触觉检测方法
CN114138111A (zh) * 2021-11-11 2022-03-04 深圳市心流科技有限公司 一种肌电智能仿生手的全系统控制交互方法
CN114138111B (zh) * 2021-11-11 2022-09-23 深圳市心流科技有限公司 一种肌电智能仿生手的全系统控制交互方法
CN113946225A (zh) * 2021-12-20 2022-01-18 深圳市心流科技有限公司 一种手势锁定方法、智能仿生手、终端以及存储介质
CN113946225B (zh) * 2021-12-20 2022-04-26 深圳市心流科技有限公司 一种手势锁定方法、智能仿生手、终端以及存储介质
GB2615785A (en) * 2022-02-18 2023-08-23 L Univ Ta Malta Prosthetic hand device and method of control
CN116009703A (zh) * 2023-03-27 2023-04-25 深圳市心流科技有限公司 智能仿生手的手势控显方法、设备、智能仿生手及介质
CN117226818A (zh) * 2023-09-27 2023-12-15 哈尔滨工业大学 一种基于视觉的力位融合测量的灵巧机械手
CN117784941A (zh) * 2024-02-23 2024-03-29 浙江强脑科技有限公司 仿生手的手势控制方法、存储介质、控制装置和仿生手
CN118161133A (zh) * 2024-05-13 2024-06-11 浙江强脑科技有限公司 仿生手的手势评价方法、评价装置、存储介质和仿生手

Also Published As

Publication number Publication date
RU2635632C1 (ru) 2017-11-14

Similar Documents

Publication Publication Date Title
RU2635632C1 (ru) Способ и система управления интеллектуальной бионической конечностью
RU2683859C1 (ru) Способ и система управления электронными устройствами с помощью электромиографического устройства считывания
Yang et al. An IoT-enabled stroke rehabilitation system based on smart wearable armband and machine learning
Bi et al. A review on EMG-based motor intention prediction of continuous human upper limb motion for human-robot collaboration
Fang et al. Multi-modal sensing techniques for interfacing hand prostheses: A review
Yang et al. Improving the functionality, robustness, and adaptability of myoelectric control for dexterous motion restoration
Cipriani et al. Online myoelectric control of a dexterous hand prosthesis by transradial amputees
Hargrove et al. Principal components analysis preprocessing for improved classification accuracies in pattern-recognition-based myoelectric control
Tonet et al. Defining brain–machine interface applications by matching interface performance with device requirements
WO2018233435A1 (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Jacob et al. Artificial muscle intelligence system with deep learning for post-stroke assistance and rehabilitation
Bhattacharyya et al. A synergetic brain-machine interfacing paradigm for multi-DOF robot control
CN112022619B (zh) 一种上肢康复机器人多模态信息融合感知系统
Song et al. A practical EEG-based human-machine interface to online control an upper-limb assist robot
Tang et al. Wearable supernumerary robotic limb system using a hybrid control approach based on motor imagery and object detection
Li et al. A brain computer interface based humanoid robot control system
Jiang et al. Bio-robotics research for non-invasive myoelectric neural interfaces for upper-limb prosthetic control: A 10-year perspective review
Soman et al. Improved sEMG signal classification using the Twin SVM
Briouza et al. A brief overview on machine learning in rehabilitation of the human arm via an exoskeleton robot
Xiong et al. An user-independent gesture recognition method based on sEMG decomposition
Subasi Electromyogram-controlled assistive devices
Yadav et al. Recent trends and challenges of surface electromyography in prosthetic applications
Kastalskiy et al. A neuromuscular interface for robotic devices control
Borgul et al. Intuitive control for robotic rehabilitation devices by human-machine interface with EMG and EEG signals
Mohebbian et al. A comprehensive review of myoelectric prosthesis control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923856

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28/11/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16923856

Country of ref document: EP

Kind code of ref document: A1