WO2021241676A1 - 運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム - Google Patents

運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム Download PDF

Info

Publication number
WO2021241676A1
WO2021241676A1 PCT/JP2021/020160 JP2021020160W WO2021241676A1 WO 2021241676 A1 WO2021241676 A1 WO 2021241676A1 JP 2021020160 W JP2021020160 W JP 2021020160W WO 2021241676 A1 WO2021241676 A1 WO 2021241676A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
unit
person
analyzed
analysis device
Prior art date
Application number
PCT/JP2021/020160
Other languages
English (en)
French (fr)
Inventor
文成 金子
愛実 岡和田
将基 米田
達矢 水口
Original Assignee
学校法人慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人慶應義塾 filed Critical 学校法人慶應義塾
Priority to JP2022526631A priority Critical patent/JPWO2021241676A1/ja
Publication of WO2021241676A1 publication Critical patent/WO2021241676A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports

Definitions

  • the present invention relates to a motion analysis device, a system and a storage medium, and a rehabilitation system.
  • Patent Document 1 discloses a device that outputs a result of comparing a detection value (for example, myoelectric potential) obtained by detecting the muscle strength of the person to be analyzed with a reference value stored in advance.
  • a detection value for example, myoelectric potential
  • the present invention has been made in view of such problems, and an object thereof is a motion analysis device, a system, and a motion analysis device, a system capable of improving the manageability of reference data used for analysis when analyzing a motion performed by a subject to be analyzed.
  • the purpose is to provide a storage medium as well as a rehabilitation system.
  • the motion analysis device includes an acquisition unit that acquires a biological signal of the person to be analyzed during exercise of the limbs or the trunk, and the living body acquired by the acquisition unit.
  • a calculation unit that generates a time-series pattern of state values for estimating the motion state of the person to be analyzed according to a calculation model that inputs a time-series pattern of a signal, and a time of the state value generated by the calculation unit. It includes an estimation unit that estimates the motion state of the person to be analyzed using a series pattern.
  • the motion analysis device is based on the time-series pattern of the state values generated by the calculation unit or the motion state of the analyzed person estimated by the estimation unit. Further, a calculation unit for calculating an evaluation value indicating the degree of paralysis or the degree of recovery from the paralysis is provided.
  • the calculation model outputs an accuracy set for each motion state as the state value
  • the estimation unit is a time-series pattern of the accuracy set generated by the calculation unit. Is used to estimate the motion state of the subject to be analyzed.
  • the motion state corresponding to the accuracy is estimated as the motion state of the person to be analyzed.
  • the calculation unit calculates a score indicating the degree of performance of a given exercise by the person to be analyzed as the evaluation value, and obtains the score calculated by the calculation unit.
  • a setting unit for setting the acceptance criteria is further provided accordingly.
  • the arithmetic model is determined by machine learning using the time-series pattern of the biological signal corresponding to a typical healthy person as learning data.
  • the arithmetic model is a recurrent neural network that inputs the time-series pattern of the biological signal and outputs the time-series pattern of the accuracy set.
  • the arithmetic model outputs the target value of the biological signal as the state value
  • the estimation unit is a time series of the biological signal acquired from the analyzed person. The pattern and the time-series pattern of the target value calculated by the calculation means are compared and evaluated, and the motion state of the person to be analyzed is estimated.
  • the comparative evaluation is an evaluation regarding the degree of similarity in shape between graphs whose coordinate axes are time.
  • the comparative evaluation is an evaluation regarding the similarity of the distribution between plots having each variable of the time series pattern as the coordinate axis.
  • the arithmetic model is determined by machine learning using the time-series pattern of the biological signal acquired in the past from the person to be analyzed as learning data.
  • the calculation model is a first calculation model and a second calculation model configured to be able to output an accuracy set for each movement state as the state value, and the calculation unit. Uses the accuracy set calculated according to the first calculation model to calculate a score indicating the degree of performance of a given exercise by the analyzed person as the evaluation value, and the score calculated by the calculation unit. Further provided with a learning unit that performs re-learning or additional learning on the second arithmetic model according to the above.
  • the motion analysis device when the motion state estimated by the estimation unit is different from the given motion state tried by the analyzed subject, the analyzed subject is given the given motion state. Further, an output control unit is provided which outputs a control signal instructing an auxiliary operation for shifting to the exercise state of the above to the exercise assist device that performs the auxiliary operation.
  • the motion analysis system includes the motion analysis device according to the first to thirteenth aspects described above and a server device capable of communicating with the motion analysis device, and the server device is used for the calculation.
  • a learning unit that updates a learning parameter group that specifies a calculation rule of the calculation model through model re-learning or additional learning, and a providing unit that provides the learning parameter group updated by the learning unit to the motion analysis device. , Equipped with.
  • the storage medium is an acquisition unit that acquires a biometric signal of the person to be analyzed during exercise of the limbs or the trunk of one or a plurality of computers, and the biometric signal acquired by the acquisition unit.
  • a motion analysis program that functions as an arithmetic unit that generates a time-series pattern of state values for estimating the motion state of the person to be analyzed is stored according to an arithmetic model that inputs a time-series pattern.
  • the rehabilitation system comprises the motion analysis device according to the thirteenth aspect described above and an auxiliary operation for the person to be analyzed to perform a given motion in response to a control signal from the motion analysis device. It is equipped with an exercise assisting device to perform.
  • the manageability of the reference data used for the analysis is improved. For example, when applied to rehabilitation, the therapeutic effect on the patient is further enhanced.
  • FIG. 1 It is an overall block diagram of the rehabilitation system which incorporated the motion analysis apparatus in the 1st Embodiment of this invention. It is a figure which shows an example of the functional block of the processor in 1st Embodiment. It is a figure which shows an example of the calculation model executed by the probability generation part of FIG. It is a flowchart about the setting operation of the difficulty level in 1st Embodiment. It is a figure which shows the time change of the myoelectric potential at the time of transition from a par to a goo. It is a figure which shows the time change of the myoelectric potential at the time of transition from goo to par. It is a figure which shows an example of the calculation method by the score calculation part of FIG.
  • FIG. 1 It is an overall block diagram of the rehabilitation system which incorporated the motion analysis apparatus in the 3rd Embodiment of this invention. It is a figure which shows an example of the functional block of the processor in 3rd Embodiment. It is a figure which shows an example of the functional block of the server apparatus in 3rd Embodiment. It is a flowchart about the operation of the server apparatus shown in FIG. It is a figure which shows an example of the determination method by the update determination unit of FIG.
  • FIG. 1 is an overall configuration diagram of a rehabilitation system 10 incorporating a motion analysis device 14 according to the first embodiment of the present invention.
  • the rehabilitation system 10 can support rehabilitation (here, treatment) for the target site 12 of the patient.
  • This patient includes a patient with paralysis of the motor function of the target site 12 of the body, a patient with a decrease in the motor function of the target site 12, and the like.
  • the target portion 12 is a body portion (particularly, limbs or trunk) that is moved during extension / flexion exercise, and specific examples include hands, feet, fingers, knees, elbows, crotch, shoulders, neck, and waist. Can be mentioned.
  • this rehabilitation system 10 includes a motion analysis device 14, a rehabilitation robot 16, and an illusion-inducing device 18.
  • the motion analysis device 14 can be attached to the target site 12 of the subject (here, the patient) and analyzes the motion state of the patient.
  • the motion analysis device 14 includes a pair of myoelectric sensors 20 and 22, a sensor controller 24 (corresponding to "acquisition means"), a processor 26, a memory 28, and an input device 30. I'm out.
  • the myoelectric sensors 20 and 22 can measure the myoelectric potential of the patient and are connected to the sensor controller 24.
  • One of the myoelectric sensors 20 is attached to a position corresponding to the extensor muscle of the target site 12.
  • the other myoelectric sensor 22 is mounted at a position corresponding to the flexor muscle of the target portion 12.
  • the sensor controller 24 is a control circuit that performs various controls on the myoelectric sensors 20 and 22.
  • the sensor controller 24 can perform various signal processing including, for example, sampling processing including sensor synchronization, low-pass filter processing, and A / D conversion processing.
  • sampling processing including sensor synchronization, low-pass filter processing, and A / D conversion processing.
  • the sensor controller 24 acquires data indicating the myoelectric potentials of the extensor muscles and the flexor muscles (hereinafter referred to as “myoelectric data pair”) at predetermined sampling intervals, and supplies the myoelectric data pair to the processor 26.
  • the sampling interval may take any value in the range of several tens to several hundreds ms.
  • the processor 26 comprehensively controls each part constituting the motion analysis device 14.
  • the processor 26 may be a general-purpose processor including a CPU (Central Processing Unit) and an MPU (Micro-Processing Unit), or a dedicated processor including an FPGA (Field Programmable Gate Array) and a GPU (Graphics Processing Unit). May be good.
  • CPU Central Processing Unit
  • MPU Micro-Processing Unit
  • FPGA Field Programmable Gate Array
  • GPU Graphics Processing Unit
  • the memory 28 is a non-transient storage medium including a ROM (Read Only Memory) and a RAM (Random access memory), and stores programs and data necessary for the processor 26 to control each component. ..
  • the input device 30 can input the intention of exercise by the patient.
  • the input device 30 may be, for example, an operation button or a microphone, or may be a camera for recognizing a patient's motion state.
  • the rehabilitation robot 16 is a wearable robot that assists the patient in stretching / flexing the body part by driving the actuator.
  • the illusion-inducing device 18 is a device that assists the patient in stretching / flexing movement of a body part by applying an illusion stimulus through visual or tactile sensations. That is, both the rehabilitation robot 16 and the illusion-inducing device 18 correspond to an "exercise assisting device" that performs an assisting motion for the patient to perform a given motion.
  • the type of the exercise assisting device is not limited to the example shown in FIG. 1, and may be a device that promotes exercise by applying electrical stimulation to the target site 12 or the brain.
  • the illusion inducing device 18 includes a camera 32, an image generation device 34, and a display device 36.
  • the camera 32 captures the surroundings of the patient and outputs a video signal including the target portion 12.
  • the image generation device 34 is a computer that generates an AR (Augmented Reality) image by synthesizing a virtual image of the target portion 12 with the image signal from the camera 32.
  • the image generation device 34 may generate a VR (Virtual Reality) image instead of the AR image.
  • the display device 36 is a stationary, portable, or wearable output device capable of displaying the image generated by the image generation device 34.
  • FIG. 2 shows an example of a functional block of the processor 26 in the first embodiment.
  • the learning parameter group 50, the evaluation history data 52, and the difficulty level data 54 are stored in the memory 28, respectively.
  • the learning parameter group 50 is a set of parameters that can specify the calculation rule of the calculation model 60 (FIG. 3), and at least a part thereof is determined through machine learning.
  • each value of this learning parameter group 50 is determined by machine learning using the time-series pattern of the myoelectric data pair corresponding to a typical healthy person as learning data.
  • the "typical healthy person” means a person having generally average motor characteristics from the population of healthy people.
  • the exercise state as a correct label is associated with the time-series pattern of the myoelectric data pair measured from a plurality of healthy subjects. Then, by performing machine learning on the learning device that describes the arithmetic model 60 using these learning data sets, the learning parameter group 50 corresponding to a typical healthy person is determined.
  • the evaluation history data 52 is data showing the history of scores indicating the degree of performance of a given exercise performed by the patient. This score may be calculated for each movement state performed by the patient (for example, in the case of finger movement, "goo", “choki”, “par” action), or as an overall result for a given movement. It may be calculated. Further, this score may be accumulated in association with various information including the patient ID and the analysis date and time.
  • the difficulty level data 54 is data showing the difficulty level of the task, here, the pass criteria for the score when a specific task is given to the patient.
  • pass means that the patient has performed a desired exercise, and the criteria for determining the pass / fail correspond to the "pass criteria".
  • the difficulty level data 54 includes [1] a combination of a lower limit value, [2] a lower limit value and an upper limit value, [3] a combination of a reference value and an allowable width, and the like.
  • FIG. 3 shows an example of the calculation model 60 executed by the accuracy generation unit 40 of FIG.
  • the calculation model 60 is composed of a recurrent neural network (hereinafter, also referred to as “RNN”).
  • the calculation model 60 includes an input unit 62, an intermediate calculation unit 64 and 66, an accuracy calculation unit 68, and an output unit 70.
  • RNN recurrent neural network
  • the calculation model 60 includes an input unit 62, an intermediate calculation unit 64 and 66, an accuracy calculation unit 68, and an output unit 70.
  • two intermediate calculation units are provided, but the number of intermediate calculation units may be 1 or 3 or more.
  • the input unit 62 is composed of two arithmetic units for inputting a myoelectric data pair.
  • a myoelectric potential signal that is, extensor muscle data
  • a myoelectric potential signal that is, flexor muscle data
  • indicating the movement of the flexor muscle is input to the other arithmetic unit in time series.
  • the intermediate calculation unit 64 performs a load sum calculation on the myoelectric data pair from the input unit 62, and then outputs a hidden state vector through a recursive calculation.
  • the intermediate calculation unit 66 performs a load sum calculation on the hidden state vector from the intermediate calculation unit 64, and then outputs the hidden state vector through a recursive calculation.
  • This recursive operation may be not only a simple RNN but also an LSTM (Long short-Term Memory) and a GRU (Gated Recurrent Unit).
  • the accuracy calculation unit 68 calculates the accuracy for each motion state through the load sum calculation for the hidden state vector from the intermediate calculation unit 66.
  • This "accuracy” means the certainty of the exercise state performed by the patient for each exercise state instructed by the patient, and the accuracy increases as the value increases, while the accuracy decreases as the value decreases. Is defined to be.
  • the accuracy is the probability normalized so that the sum is 1, but the index is not limited to this.
  • the output unit 70 is composed of three arithmetic units corresponding to three types of predefined motion states. As a result, the probability sets supplied from the accuracy calculation unit 68 are output as the probability of "goo", the probability of "par”, and the probability of "not applicable", respectively.
  • the rehabilitation system 10 in the first embodiment is configured as described above. Subsequently, the operation of setting the difficulty level by the motion analysis device 14 will be described with reference to the flowchart of FIG. 4 and FIGS. 5 to 8. Note that in the first embodiment, the "difficulty" of exercise in rehabilitation is quantified as a passing criterion for scoring and can be adjusted automatically.
  • step SP10 of FIG. 4 the processor 26 reads the learning parameter group 50 from the memory 28 and sets it in the accuracy generation unit 40 to set the learning parameter group 50.
  • the arithmetic model 60 shown in FIG. 3 that is, a model that reproduces the motor behavior of a typical healthy person is constructed.
  • step SP12 the processor 26 acquires the time series pattern of the myoelectric data pair from the sensor controller 24. This data is measured and acquired while the patient performs a given exercise sequence as part of rehabilitation or training. In the case of hand rehabilitation, an example of an exercise sequence is a movement in which goo and par are alternately repeated in a fixed cycle. The correct pattern of the motion state can be specified by the input signal by the input device 30.
  • FIG. 5 shows the time change of myoelectric potential during the transition from par to goo.
  • the graph of the extensor muscle is shown on the upper side of this figure, and the graph of the flexor muscle is shown on the lower side of this figure.
  • the horizontal axis of each graph indicates time (unit: s), and the vertical axis indicates myoelectric potential (unit: V).
  • s time
  • V myoelectric potential
  • FIG. 6 shows the time change of the myoelectric potential during the transition from goo to par.
  • the graph of the extensor muscle is shown on the upper side of this figure, and the graph of the flexor muscle is shown on the lower side of this figure.
  • the horizontal axis of each graph indicates time (unit: s), and the vertical axis indicates myoelectric potential (unit: V).
  • s time
  • V myoelectric potential
  • FIGS. 5 and 6 show the measurement results of healthy subjects, but in actual patients, the measurement results according to the symptoms can be obtained.
  • the activity of both the extensor muscle and the flexor muscle is high
  • [2] the activity of the extensor muscle is selectively high
  • [3] the activity of the flexor muscle is selectively high.
  • step SP14 the accuracy generation unit 40 uses the myoelectric data pair acquired in step SP12 to generate a time-series pattern of state values (here, a probability set for each time) for estimating the exercise state of the patient. Generate. Specifically, the calculation model 60 sequentially repeats [1] input of a myoelectric data pair, [2] arithmetic processing including recursive operation, and [3] output of a probability set to form a myoelectric data pair. Generate a corresponding probability set hourly.
  • the score calculation unit 42 calculates an evaluation value indicating the degree of paralysis of the patient or the degree of recovery from paralysis using the hourly probability set generated in step SP14.
  • This "evaluation value” may be either a quantitative value such as a score or a qualitative value such as a level, and is, for example, a score indicating the degree of performance of a given exercise by the patient.
  • the score calculation unit 42 selects one exercise state in which the probability is the maximum value in the probability set and is larger than a predetermined positive value (for example, a threshold value described later), so that the exercise state for each time (for example, a threshold value described later) is selected. That is, the result pattern) is determined. Then, the score calculation unit 42 determines the consistency for each exercise state by comparing and evaluating the result pattern and the correct answer pattern.
  • FIG. 7 shows an example of the calculation method by the score calculation unit 42 of FIG.
  • the movements of goo and par are repeated 10 times.
  • the judgment of "OK” is made.
  • the determination of "N / A” is made.
  • the score for each exercise state is obtained by the correct answer rate (percentage unit). For example, when the number of correct answers for "Goo" is 8, the score of "Goo” is calculated as "80". If the number of correct answers for "par” is 5, the score for par is calculated as "50". That is, in the example of FIG. 7, the score corresponds to the success rate (or the recall rate) for each exercise state.
  • step SP18 of FIG. 4 the reference setting unit 44 determines whether or not the difficulty level needs to be changed based on the score calculated in step SP16. If it is determined that the change is not necessary (step SP18: NO), step SP20 is skipped and the process proceeds to step SP22. On the other hand, if it is determined that the change is necessary (step SP18: YES), the process proceeds to the next step SP20.
  • step SP20 the reference setting unit 44 adjusts the difficulty level of the exercise by resetting the acceptance criteria.
  • the “threshold value”, which is the lower limit of the allowable range of the score, will be described in detail with reference to FIG.
  • FIG. 8 shows an example of a setting method by the reference setting unit 44 of FIG.
  • the horizontal axis of the graph shows the score (out of 100 points), and the vertical axis shows the threshold value.
  • the score is expressed as X and the threshold value is expressed as Y
  • this graph is given by the following functional expression.
  • Y X + 2 (0 ⁇ X ⁇ 90)
  • Y 92 (90 ⁇ X ⁇ 100)
  • the method of setting the threshold value is not limited to the example in this figure, and functions of various shapes or data of various formats may be used.
  • the acceptance criteria may be set so that the permissible range gradually widens as the score decreases, while the permissible range gradually narrows as the score increases.
  • step SP22 the processor 26 updates various data regarding the calculation result in step SP16 or the adjustment result in step SP20. Specifically, the processor 26 performs a process of accumulating the most recently calculated score for the evaluation history data 52 stored in the memory 28 in association with various information including the patient ID and the analysis date and time. Alternatively, the processor 26 performs a process of updating the most recently reset acceptance criteria for the difficulty level data 54 stored in the memory 28 in association with various information including the patient ID and the analysis date and time.
  • the motion analysis device 14 can automatically set the difficulty level suitable for the recovery situation of the target portion 12 by executing the flowchart of FIG. 4 periodically or irregularly.
  • step SP30 the processor 26 sets the learning parameter group 50 by reading the learning parameter group 50 from the memory 28 and setting it in the accuracy generation unit 40, as in step SP10 of FIG.
  • step SP32 the processor 26 confirms whether or not the myoelectric data pair has been acquired from the sensor controller 24. If the myoelectric data pair has not been acquired yet (step SP32: NO), the data remains in step SP32 until the data is acquired. On the other hand, when the myoelectric data pair is acquired (step SP32: YES), the process proceeds to the next step SP34.
  • step SP34 the exercise estimation unit 46 estimates the current exercise state of the patient using the myoelectric data pair acquired in step SP32.
  • the accuracy generation unit 40 Prior to this estimation, the accuracy generation unit 40 generates a current probability set from the myoelectric data pair acquired in step SP32. After that, the motion estimation unit 46 confirms whether or not there is a probability of satisfying the pass criteria specified by the difficulty level data 54 in the probability set supplied from the accuracy generation unit 40.
  • the exercise estimation unit 46 estimates the exercise state (for example, goo) corresponding to the probability as the exercise state of the patient. On the other hand, if there is no corresponding probability, the exercise estimation unit 46 estimates that the patient's exercise state is “not applicable”.
  • the motion estimation unit 46 may estimate the motion state only from the current probability set, or either one or more recently generated probability sets or one or more recently estimated motion states. It may be used to estimate the current state of motion.
  • step SP36 the output control unit 48 determines whether or not an auxiliary operation for the patient is necessary based on the estimation result obtained in step SP34. For example, if the estimated motor state is different from the given motor state attempted by the patient, the output control unit 48 may determine that an auxiliary motion is required to shift to the corresponding motor state. .. "When different from a given exercise state” means, for example, a case where the maximum probability in the probability set does not meet the acceptance criteria but is a motion state other than "not applicable".
  • step SP38 If it is determined in step SP38 that the auxiliary operation is not necessary (step SP38: NO), the output control unit 48 returns to step SP32 and waits until the next myoelectric data pair is acquired. On the other hand, when the output control unit 48 determines that the auxiliary operation is necessary (step SP38: YES), the output control unit 48 proceeds to the next step SP40.
  • step SP40 the output control unit 48 outputs a control signal instructing the execution of the auxiliary operation to the corresponding exercise assisting device (in the example of FIG. 1, the rehabilitation robot 16 or the illusion inducing device 18).
  • This control signal includes, for example, the type of motion, the trajectory of motion, the drive amount of the actuator, and the like.
  • step SP32 After that, by returning to step SP32 and sequentially executing the operations of the flowchart of FIG. 9, the auxiliary operation of the exercise by the motion analysis device 14 continues. In this way, the patient can receive rehabilitation support as needed.
  • the motion analysis device 14 in the first embodiment is acquired by the sensor controller 24 that acquires the biological signal (for example, myoelectric data pair) generated when the person to be analyzed exercises, and the sensor controller 24. It is provided with an accuracy generation unit 40 that generates a time-series pattern of analysis values for analyzing the motion state of the analyzed person according to an arithmetic model 60 that inputs a time-series pattern of a biological signal.
  • the biological signal for example, myoelectric data pair
  • the motion analysis device 14 in the first embodiment is a sensor controller 24 (acquisition unit) that acquires a biological signal of the person to be analyzed during exercise of the limbs or trunk, and a biological signal acquired by the sensor controller 24.
  • a state generated by the accuracy generation unit 40 (calculation unit) and the accuracy generation unit 40 that generate a time-series pattern of state values for estimating the motion state of the person to be analyzed according to the calculation model 60 that inputs the series pattern.
  • the motion analysis device 14 which is a computer obtains the above-mentioned biometric signal acquisition step (SP32) and a time-series pattern of state values according to the calculation model 60.
  • the calculation step to be generated and the estimation step (SP34) for estimating the motion state of the analyzed person are executed.
  • the motion analysis method or program of the first embodiment is applied to the operation control of the rehabilitation system 10, it becomes possible to personalize the rehabilitation plan and the rehabilitation method for the person to be analyzed, and improve the efficiency of rehabilitation. Can be done.
  • the motion analysis device 14 determines the degree of paralysis of the analyzed subject or the degree of paralysis of the analyzed subject based on the time series pattern of the state values generated by the accuracy generation unit 40 or the motion state of the analyzed subject estimated by the motion estimation unit 46.
  • a score calculation unit 42 (calculation unit) for calculating an evaluation value indicating the degree of recovery from paralysis may be further provided.
  • the calculation model 60 in the first embodiment is a model that outputs an accuracy set for each motion state as a state value.
  • the motion estimation unit 46 may estimate the motion state of the person to be analyzed using the time-series pattern of the accuracy set generated by the accuracy generation unit 40.
  • the motion estimation unit 46 when the motion estimation unit 46 has a certainty of satisfying the acceptance criteria in the accuracy set, the motion state corresponding to the accuracy may be estimated as the motion state of the person to be analyzed.
  • the exercise analysis device 14 sets a pass criterion according to the score calculated by the score calculation unit 42. (Setting unit) may be further provided. Thereby, the acceptance criteria can be determined according to the paralyzed state of the person to be analyzed or the recovery state from the paralysis.
  • the arithmetic model 60 may be determined by machine learning using a time-series pattern of biological signals corresponding to a typical healthy person as learning data. This makes it possible to perform a quantitative evaluation based on a typical healthy person.
  • the arithmetic model 60 may be a recurrent neural network in which the time-series pattern of the biological signal is input and the time-series pattern of the accuracy set is output.
  • a recurrent neural network By using a recurrent neural network, it is possible to accurately estimate the complex movements of body parts associated with various movements.
  • the output control unit 48 is for the analyst to shift to the given motion state when the motion state estimated by the motion estimation unit 46 is different from the given motion state tried by the analyzed subject.
  • a control signal instructing the auxiliary operation may be output to the exercise assist device that performs the auxiliary operation.
  • the rehabilitation system 10 includes the above-mentioned motion analysis device 14 and a rehabilitation robot 16 or an illusion-inducing device 18 that performs an auxiliary motion for the person to be analyzed to perform a given motion in response to a control signal from the motion analysis device 14. And may be provided. This will support rehabilitation for the person being analyzed.
  • FIG. 1 is an overall configuration diagram of a rehabilitation system 100 incorporating a motion analysis device 102 according to a second embodiment of the present invention.
  • the rehabilitation system 100 includes a motion analysis device 102 having a configuration different from that of the first embodiment (motion analysis device 14). More specifically, the motion analysis device 102 is different from the motion analysis device 102 in the execution function of the processor 104 and the stored data of the memory 106.
  • FIG. 10 shows an example of the functional block of the processor 104 in the second embodiment.
  • the processor 104 includes a target generation unit 110 (corresponding to "calculation means”), a score calculation unit 112 (corresponding to “calculation means”), a level setting unit 114 (corresponding to “setting means”), and a motion estimation unit 116 ("corresponding to” setting means “). It functions as an output control unit 118 (corresponding to "output control means”) and an output control unit 118 (corresponding to "estimation means”). The functions of each part will be described in detail later.
  • the memory 106 stores a plurality of types of learning parameter groups 122, a plurality of types of target patterns 124, evaluation history data 126, and difficulty level data 128, respectively.
  • the learning parameter group 122 is a set of parameters that can specify the calculation rule of the calculation model 130 (FIG. 11), and at least a part thereof is determined through machine learning.
  • each value of this learning parameter group 122 is determined by machine learning using the time-series pattern of the myoelectric data pair corresponding to each patient as learning data. It should be noted that the learning parameter group 122 is provided for each level of difficulty / for each exercise state.
  • a rehabilitation specialist sets a desirable target pattern for each level for a time-series pattern of myoelectric data pairs measured from various patients. Then, after classifying these data sets by level, machine learning is independently performed using a learning device prepared for each level, so that a plurality of sets of learning parameter groups 122 according to the level of difficulty can be obtained. It is determined.
  • the target pattern 124 is a time-based target value of the myoelectric data pair, and corresponds to a time-series pattern of the target value pair. It should be noted that this target pattern 124 is provided for each level of difficulty / for each exercise state.
  • the evaluation history data 126 is data showing the history of scores indicating the degree of performance of a given exercise by the patient. This score may be calculated for each combination of difficulty level and exercise state, or it may be calculated as an overall result for a given exercise. Further, this score may be accumulated in association with various information including the patient ID and the analysis date and time.
  • Difficulty level data 128 is data indicating the level of difficulty level (or simply referred to as "level").
  • the number of levels can be any value of 2 or more.
  • the initial stage of rehabilitation may be defined as “level 1”
  • the final stage may be defined as “level 5"
  • the intermediate process may be defined as "level 2 to 4".
  • FIG. 11 shows an example of the calculation model 130 executed by the target generation unit 110 of FIG.
  • the calculation model 130 is composed of a recurrent neural network, similarly to the calculation model 60 of FIG.
  • the calculation model 130 includes an input unit 132, an intermediate calculation unit 134 and 136, a potential calculation unit 138, and an output unit 140. In the example of this figure, two intermediate calculation units are provided, but the number of intermediate calculation units may be 1 or 3 or more.
  • the input unit 132 has the same configuration as the input unit 62 in FIG.
  • the intermediate calculation unit 134 has the same or different configuration as the intermediate calculation unit 64 of FIG.
  • the intermediate calculation unit 136 has the same or different configuration as the intermediate calculation unit 66 in FIG.
  • the potential calculation unit 138 calculates the target potentials (that is, the potential set) of the extensor muscle and the flexor muscle, respectively, through the load sum calculation for the hidden state vector from the intermediate calculation unit 136.
  • the output unit 140 is composed of two arithmetic units corresponding to two types of predefined target potentials. As a result, the potential set supplied from the potential calculation unit 138 is output as the target potential of the “extended muscle” and the target potential of the “flexing muscle”, respectively.
  • the rehabilitation system 100 in the second embodiment is configured as described above. Subsequently, the registration operation of the target pattern 124 by the motion analysis device 102 will be described with reference to the flowchart of FIG.
  • step SP50 of FIG. 12 the processor 104 acquires the time-series pattern of the myoelectric data pair from the sensor controller 24 as in the case of step SP12 of FIG.
  • step SP52 the processor 104 designates a set that has not yet been selected from the plurality of combinations related to the level and the exercise state.
  • step SP54 the processor 104 reads out the learning parameter group 122 corresponding to the combination specified in step SP52 (hereinafter, referred to as “designated combination”) from the memory 106 among the plurality of types of learning parameter group 122, and is the target generation unit. By setting it to 110, the learning parameter group 122 is set. As a result, the arithmetic model 130 shown in FIG. 11 is constructed, that is, a model that reproduces the “past” motor behavior of the same patient is constructed.
  • the target generation unit 110 uses the myoelectric data pair acquired in step SP50 to create a time-series pattern of state values (that is, a target value pair for each hour) for estimating the exercise state of the patient. Generate the corresponding target pattern 124. Specifically, the arithmetic model 130 sequentially repeats [1] input of the myoelectric data pair, [2] arithmetic processing including recursive arithmetic, and [3] output of the potential set to form the myoelectric data pair. Generate the corresponding target pattern 124.
  • step SP58 the processor 104 confirms whether or not all combinations have been specified. If all combinations have not been specified (step SP58: NO), the process returns to step SP52, and the operations of steps SP52 to SP58 are sequentially repeated until all combinations are specified. On the other hand, when all the combinations have been specified (step SP58: YES), the process proceeds to the next step SP60.
  • step SP60 the processor 104 registers the target pattern 124 sequentially generated in step SP56. Specifically, the processor 104 performs a process of storing each target pattern 124 in the memory 106 in association with a combination of a level and a motion state.
  • the motion analysis device 102 can automatically register the target pattern 124 suitable for the patient by executing the flowchart of FIG. 12 at the initial stage of rehabilitation.
  • step SP70 of FIG. 13 the processor 104 acquires the time-series pattern of the myoelectric data pair from the sensor controller 24 as in the case of step SP12 of FIG.
  • step SP72 the processor 104 designates one of a plurality of levels that has not yet been selected (hereinafter referred to as "designated level").
  • step SP74 the processor 104 selects the target pattern 124 to be compared (hereinafter, also referred to as “comparison pattern”) from the plurality of target patterns 124. Specifically, the processor 104 reads out the target pattern 124 for each exercise state corresponding to the designated level from the memory 106 and acquires it.
  • step SP76 the score calculation unit 112 uses the time-series pattern of the myoelectric data pair acquired in step SP70 and the comparison pattern selected in step SP74 to determine the degree of paralysis or the degree of recovery from the patient. Calculate the indicated evaluation value.
  • This "evaluation value" corresponds to a score indicating the degree of performance of a given exercise by the patient.
  • the score calculation unit 112 classifies the time-series pattern of the myoelectric data pair in the data unit corresponding to each exercise state. Then, the score calculation unit 112 obtains the degree of similarity between the division pattern and the comparison pattern for each exercise state, and converts the score so that the higher the degree of similarity, the larger the value.
  • This similarity is defined, for example, to take a value closer to 1 as the match between the two increases, and a value closer to 0 as the match between the two decreases.
  • the degree of similarity in shape between graphs whose axes are time is used.
  • the feature amount of the shape include an average value in a steady state, an inclination during a transition of a motion state, and an area in a predetermined time zone.
  • a graph of myoelectric potential may be created for each of the extensor muscle and the flexor muscle, or one graph may be created for the relative value (for example, difference or ratio) between the myoelectric potentials.
  • the similarity of the distribution between plots with each variable of the time series pattern as the axis is used.
  • a scatter plot is created with the horizontal axis as the myoelectric potential of the extensor muscle and the vertical axis as the myoelectric potential of the flexor muscle.
  • the feature amount of the distribution include the center of gravity, density, occupied area, and regression curve.
  • step SP78 the processor 104 confirms whether or not all levels have been specified. If all the levels have not been specified (step SP78: NO), the process returns to step SP72 and the operations of steps SP72 to SP78 are sequentially repeated until all the levels are specified. As a result, the degree of similarity for each combination of level and exercise state is calculated.
  • FIG. 14 shows an example of the calculation method by the score calculation unit 112 of FIG.
  • the movements of goo and par are repeated 10 times.
  • the similarity from the first "goo" to the tenth "par” is calculated respectively.
  • the score for each exercise state is obtained by the ratio (percentage unit) in which the similarity exceeds the threshold value. For example, when the number of "goo" is 4, the score of goo is calculated as "40". If the number of "pars" is 5, the par score is calculated as "50".
  • the judgment for each level is judged by whether or not the score for each exercise state meets the passing criteria. For example, if the acceptance criteria are set as "the score in all exercise states exceeds 50 points", level 1 is "N / A”, level 2 is “OK”, and level 3 is "N / A", respectively. It is judged.
  • step SP78 YES
  • step SP80 the level setting unit 114 determines whether or not the difficulty level needs to be changed based on the score calculated in step SP76. If it is determined that the change is not necessary (step SP80: NO), step SP82 is skipped and the process proceeds to step SP84. On the other hand, if it is determined that the change is necessary (step SP80: YES), the process proceeds to the next step SP82.
  • step SP82 the level setting unit 114 adjusts the difficulty level of the exercise by resetting the level.
  • the level In the example of FIG. 14, it is set to "level 2" that satisfies the above-mentioned acceptance criteria from among a plurality of levels.
  • step SP84 the processor 104 updates various data regarding the calculation result in step SP76 or the adjustment result in step SP82. Specifically, the processor 104 performs a process of accumulating the most recently calculated score for the evaluation history data 126 stored in the memory 106 in association with various information including the patient ID and the analysis date and time. Alternatively, the processor 104 performs a process of updating the most recently reset level of the difficulty level data 128 stored in the memory 106 in association with various information including the patient ID and the analysis date and time.
  • the motion analysis device 102 can automatically set the difficulty level suitable for the recovery situation of the target portion 12 by executing the flowchart of FIG. 13 periodically or irregularly.
  • step SP90 the processor 104 selects the target pattern 124 to be compared (that is, the comparison pattern) from the plurality of types of target patterns 124. Specifically, the processor 104 reads out from the memory 106 and acquires the target pattern 124 for each exercise state corresponding to the level set as the difficulty level data 128.
  • step SP92 the processor 104 confirms whether or not the myoelectric data pair has been acquired from the sensor controller 24. If the myoelectric data pair has not been acquired yet (step SP92: NO), the data remains in step SP92 until the data is acquired. On the other hand, when the myoelectric data pair is acquired (step SP92: YES), the process proceeds to the next step SP94.
  • step SP94 the exercise estimation unit 116 estimates the current exercise state of the patient using the myoelectric data pair acquired in step SP92. Specifically, the motion estimation unit 116 calculates the degree of similarity by comparing and evaluating a plurality of myoelectric data pairs (hereinafter referred to as acquisition patterns) continuously acquired in the past from the present time and a comparison pattern. Then, the motion estimation unit 116 estimates the motion state corresponding to the comparison pattern having the maximum similarity among the plurality of comparison patterns as the motion state of the patient.
  • acquisition patterns a plurality of myoelectric data pairs
  • step SP96 the output control unit 118 determines whether or not an auxiliary operation for the patient is necessary based on the estimation result obtained in step SP94. For example, if the estimated motor state is different from the given motor state attempted by the patient, the output control unit 118 may determine that an auxiliary motion is required to shift to the corresponding motor state. .. "When different from a given motion state” means, for example, a case where the similarity (maximum value) corresponding to the estimated motion state is equal to or less than the threshold value.
  • step SP98 If it is determined in step SP98 that the auxiliary operation is not necessary (step SP98: NO), the output control unit 118 returns to step SP92 and waits until the next myoelectric data pair is acquired. On the other hand, when the output control unit 118 determines that the auxiliary operation is necessary (step SP98: YES), the output control unit 118 proceeds to the next step SP100.
  • step SP100 as in the case of step SP40 in FIG. 9, the output control unit 118 outputs a control signal instructing the execution of the auxiliary operation to the corresponding exercise assist device.
  • step SP92 by returning to step SP92 and sequentially executing the operations of the flowchart of FIG. 15, the auxiliary operation of the exercise by the motion analysis device 102 continues. In this way, the patient can receive rehabilitation support as needed.
  • the motion analysis device 102 in the second embodiment obtains the sensor controller 24 that acquires the biometric signal generated when the person to be analyzed exercises, and the time-series pattern of the biometric signal acquired by the sensor controller 24.
  • a target generation unit 110 that generates a time-series pattern of analysis values for analyzing the motion state of the person to be analyzed according to the input calculation model 130 is provided.
  • the motion analysis device 102 in the second embodiment inputs the sensor controller 24 that acquires the biometric signal of the person to be analyzed during the movement of the limbs or the trunk, and the time series pattern of the biometric signal acquired by the sensor controller 24.
  • the target generation unit 110 that generates a time-series pattern of the state values for estimating the motion state of the analyzed person and the time-series pattern of the state values generated by the target generation unit 110 are used.
  • the motion estimation unit 116 for estimating the motion state of the person to be analyzed is provided.
  • the rehabilitation plan for the analyzed person and the rehabilitation method can be more appropriately individualized.
  • the calculation model 130 in the second embodiment is a model that outputs a target value of a biological signal as a state value.
  • the motion estimation unit 116 compares and evaluates the time-series pattern of the biological signal acquired from the analyzed person and the time-series pattern of the target value generated by the target generation unit 110, and the motion state of the analyzed person. May be estimated.
  • the comparative evaluation may be an evaluation regarding the degree of similarity of the shapes of the graphs whose coordinate axes are time.
  • the comparative evaluation may be an evaluation regarding the similarity of the distribution between the plots whose axes are each variable of the time series pattern.
  • the arithmetic model 130 may be determined by machine learning using the time-series pattern of the biological signal acquired in the past from the person to be analyzed as learning data. This makes it possible to perform a quantitative evaluation based on the past for the same subject.
  • FIG. 16 is an overall configuration diagram of the rehabilitation system 200 incorporating the motion analysis device 202 according to the third embodiment of the present invention.
  • This rehabilitation system 200 can support rehabilitation (here, daily exercise management) for the target site 12 of the patient.
  • the rehabilitation system 200 includes one or more motion analysis devices 202 and a server device 220.
  • the rehabilitation robot 16 may be selectively provided in each motion analysis device 202.
  • the motion analysis device 202 is different from the first embodiment (motion analysis device 14) in that it includes a communication module 204 configured to be able to communicate with an external device. Further, the motion analysis device 202 is different from the motion analysis device 14 (FIG. 1) in the execution function of the processor 206 and the stored data of the memory 208.
  • the server device 220 includes a control device 222, a communication device 224, and a storage device 226.
  • the control device 222 mainly includes a processor 228 and a memory 230.
  • the processor 228 may adopt the same or different configuration as the processor 26 (FIG. 1) of the first embodiment.
  • the memory 230 may adopt the same or different configuration as the memory 28 (FIG. 1) of the first embodiment.
  • the control device 222 exerts various functions described later by the processor 228 reading and executing the motion analysis program stored in the memory 230 (or the storage device 226).
  • the communication device 224 constitutes a communication interface for transmitting and receiving electric signals to and from an external device.
  • the server device 220 can receive the myoelectric data group 210 (FIG. 17) from the motion analysis device 202, and can transmit the individual parameter group 258 (FIG. 18) to the motion analysis device 202.
  • the storage device 226 is a non-transient storage medium including, for example, a hard disk drive (HDD: Hard Disk Drive) and a solid state drive (SSD: Solid State Drive).
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • FIG. 17 shows an example of a functional block of the processor 206 in the third embodiment.
  • the processor 206 functions as an accuracy generation unit 40, a motion estimation unit 46, and an output control unit 48 by reading a motion analysis program from the memory 208 and executing it. Since the functions of each part are basically the same as those of the processor 26 (FIG. 2) of the first embodiment, detailed description thereof will be omitted.
  • the memory 208 stores the myoelectric data group 210 and the learning parameter group 212, respectively.
  • the myoelectric data group 210 includes a myoelectric potential data pair measured when a patient wearing the exercise analysis device 202 performs a given exercise.
  • This myoelectric data group 210 is, for example, [1] measurement time (absolute value or relative value), [2] myoelectric potential of extensor muscle, [3] myoelectric potential of flexor muscle, and [4] correct label of exercise state. , Is a database for each record.
  • the learning parameter group 212 is a set of parameters that can specify the calculation rule of the calculation model 60 (FIG. 3), and at least a part thereof is determined through machine learning.
  • each value of this learning parameter group 212 is determined by machine learning using the time-series pattern of the myoelectric data pair corresponding to each patient as learning data.
  • FIG. 18 is a diagram showing an example of a functional block of the server device 220 of FIG.
  • the server device 220 includes a data acquisition unit 240 (corresponding to "acquisition means”), an accuracy generation unit 242 (corresponding to “calculation means”), a score calculation unit 244 (corresponding to “calculation means”), an update determination unit 246, and learning. It functions as a processing unit 248 (corresponding to "learning means”), a variable providing unit 250 (corresponding to “providing means”), and a storage unit 252. The functions of each part will be described in detail later.
  • the storage unit 252 stores myoelectric data group 254, standard parameter group 256, a plurality of types of individual parameter groups 258, and evaluation history data 260, respectively.
  • the myoelectric data group 254 is a database in which the myoelectric data group 210 shown in FIG. 17 is managed and accumulated for each patient. That is, the myoelectric data group 254 includes data sequentially collected by the server device 220 from one or a plurality of motion analysis devices 202.
  • the standard parameter group 256 means a standard learning parameter group and corresponds to the learning parameter group 50 shown in FIG. That is, each value of the standard parameter group 256 is determined by machine learning using the time-series pattern of the myoelectric data pair corresponding to a typical healthy person as learning data.
  • the individual parameter group 258 means a learning parameter group that can be customized for each individual patient. That is, each value of the individual parameter group 258 is determined by machine learning using the time-series pattern of the myoelectric data pair measured from each patient as learning data.
  • the evaluation history data 260 is a database in which the evaluation history data 52 (FIG. 2) in the first embodiment is managed and accumulated for each patient.
  • the evaluation history data 260 includes the result obtained by centrally analyzing and evaluating the data by the server device 220.
  • the rehabilitation system 200 in the third embodiment is configured as described above. Subsequently, the operation of the server device 220 will be described with reference to the flowchart of FIG. 19 and FIG. 20.
  • the data acquisition unit 240 transfers the data (hereinafter referred to as transmission data) transmitted from the motion analysis device 202 worn by one patient (hereinafter referred to as patient X) to be analyzed to the communication device 224. Get through.
  • This transmission data includes various information such as a patient ID and a measurement date and time, in addition to at least a part of the myoelectric data group 210.
  • the motion analysis device 202 may transmit data periodically or irregularly, or may transmit data in response to a request from the server device 220.
  • step SP112 the accuracy generation unit 242 reads out the standard parameter group 256 from the storage unit 252 and sets the standard parameter group 256 so that the calculation model 60 (FIG. 3) can be used.
  • the calculation model 60 shown in FIG. 3 that is, a model (corresponding to the "first calculation model") that reproduces the motion behavior of a standard person (typical healthy person) is constructed.
  • step SP114 the accuracy generation unit 242 uses the myoelectric data pair acquired in step SP110 to set the probability for each time (that is, the time-series pattern of the state values), as in the case of step SP14 in FIG. To generate.
  • step SP116 the score calculator 244 uses the hourly probability set generated in step SP114 to indicate the degree of performance of a given exercise by the patient (ie, as in step SP16 of FIG. 4). , Evaluation value) is calculated.
  • step SP118 the score calculation unit 244 accumulates the calculation results in step SP116. Specifically, the score calculation unit 244 supplies the most recently calculated score to the storage unit 252 in a state of being associated with various information including the patient ID and the analysis date and time. As a result, the evaluation history data 260 is accumulated.
  • step SP120 the update determination unit 246 determines whether or not it is necessary to update the individual parameter group 258 corresponding to the patient X based on the score history accumulated in step SP118.
  • the determination method will be described in detail with reference to FIG. 20.
  • FIG. 20 shows an example of a determination method by the update determination unit 246 of FIG.
  • the horizontal axis of the graph shows time, and the vertical axis shows the score. That is, this graph schematically shows the time transition of the score in one patient (patient X).
  • the reference time point is T1
  • the determination time point is T2 (T2> T1)
  • the score at the reference time point is Sc1
  • the score at the judgment time point T2 is Sc2.
  • the determination condition may be, for example, any of [Condition 1] Sc2> Th, [Condition 2]
  • Th is a given threshold value regarding "score”
  • ⁇ Sc is a given threshold value regarding "score difference”.
  • step SP120: NO When it is determined that the update of the individual parameter group 258 is not necessary (step SP120: NO), the server device 220 ends the flowchart of FIG. 19 as it is. On the other hand, if it is determined that the update is necessary (step SP120: YES), the process proceeds to the next step SP122.
  • step SP122 the learning processing unit 248 reads out the individual parameter group 258 corresponding to the patient X from the storage unit 252, and sets the individual parameter group 258 so that the calculation model 60 (FIG. 3) can be used.
  • the calculation model 60 shown in FIG. 3 that is, a model that reproduces the "old" movement behavior of the patient X (corresponding to the "second calculation model") is constructed.
  • the learning processing unit 248 performs re-learning or additional learning with the calculation model 60 constructed in step SP122 as the initial state.
  • the learning data is created from the data accumulated in the myoelectric data group 254.
  • a population of training data is formed so that the freshness of the data is higher at the time of the current learning than at the time of the previous learning.
  • a population of training data is formed so that only the data measured after the previous learning time is selected.
  • each value of the parameters constituting the individual parameter group 258 is updated, and as a result, a model that reproduces the "new" motor behavior of the patient X is constructed. Further, the individual parameter group 258 is overwritten and updated by the storage unit 252.
  • step SP126 the variable providing unit 250 provides the motor analysis device 202 associated with the patient X by transmitting the individual parameter group 258 updated through the learning of step SP124 to the outside.
  • the motion analysis device 202 can use the updated learning parameter group 212.
  • the operation of the server device 220 ends.
  • daily exercise management for each patient can be appropriately performed.
  • the data acquisition unit 240 that acquires the biological signal generated when the person to be analyzed exercises, and the time series pattern of the biological signal acquired by the data acquisition unit 240. It is provided with an accuracy generation unit 242 that generates a time-series pattern of analysis values for analyzing the motion state of the person to be analyzed according to the calculation model 60 of which is input.
  • the server device 220 in the third embodiment has a data acquisition unit 240 that acquires the biometric signal of the person to be analyzed during movement of the limbs or the trunk, and a time series pattern of the biometric signal acquired by the data acquisition unit 240. It includes an accuracy generation unit 242 that generates a time-series pattern of state values for estimating the motion state of the person to be analyzed according to the input calculation model 60.
  • the rehabilitation plan for the person to be analyzed and the rehabilitation method are individualized and automatically according to the progress of the rehabilitation. It is possible to optimize with, and the efficiency of rehabilitation can be significantly improved.
  • the calculation model 60 in the third embodiment is a first calculation model and a second calculation model configured to be able to output an accuracy set for each motion state as a state value.
  • the score calculation unit 244 calculates a score indicating the degree of performance of a given exercise by the analyzed person using a set of accuracy calculated according to the first calculation model, and the learning processing unit 248 scores. Re-learning or additional learning may be performed on the second arithmetic model according to the score calculated by the calculation unit 244.
  • the myoelectric potentials of the extensor muscles and the flexor muscles have been described as an example, but the types of biological signals are not limited to this.
  • the biological signal may be various signals including a muscle sound signal, an electroencephalogram signal, blood oxygen dynamics by muscle infrared spectroscopy, and a muscle contraction moving image by an ultrasonic echo image.
  • the number of channels of the biological signal is not limited to 2, and may be 1 or 3 or more.
  • the number of channels of the state value can be various values of 1 or 2 or more.
  • the arithmetic models 60 and 130 are recurrent neural networks
  • the type of model is not limited as long as the time series pattern can be analyzed.
  • the arithmetic model may be various estimation models including a non-recursive neural network (for example, a neural network using an attention mechanism) and a Kalman filter.
  • this calculation model also includes comparative evaluation (similarity of shapes between graphs or similarity of distributions between plots) described in the second embodiment.
  • the present invention is not limited to this.
  • the number of exercise states included in one type of exercise sequence may be 3 or more, or analysis / evaluation of a plurality of types of exercise sequences may be possible.
  • the correspondence between the motion sequence and the calculation model is not limited to one-to-one, and may be a one-to-many, many-to-one, or many-to-many relationship.
  • the score calculation unit 42 calculates the evaluation value using the state value generated by the accuracy generation unit 40
  • motion estimation The evaluation value may be calculated using the exercise state estimated by the unit 46.
  • the rehabilitation practitioner can manually set the difficulty level. May be adopted.
  • the difficulty level and the passing standard may be associated in advance so that the passing standard can be set according to the manual selection of the level.

Abstract

本発明は、運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステムに関する。運動解析装置（１４）は、手足又は体幹の運動時における被解析者の生体信号を取得する取得部（２４）と、取得部（２４）により取得される生体信号の時系列パターンを入力とする演算モデル（６０）に従って、被解析者の運動状態を推定するための状態値の時系列パターンを生成する演算部（４０）と、演算部（４０）により生成される状態値の時系列パターンを用いて、被解析者の運動状態を推定する推定部（４６）と、を備える。これにより、例えば、リハビリテーションに適用した場合、患者に対する治療効果がより高まる。

Description

運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム
　本発明は、運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステムに関する。
　従来から、医療、健康、介護、スポーツを含む様々な分野において、被解析者の動きを各種センサで検出し、得られた検出データを用いて当該被解析者の運動状態を解析する技術が知られている。この解析結果は、例えば、患者のリハビリテーションや運動選手のトレーニングに活用される。
　特許文献１には、被解析者の筋力を検出して得られる検出値（例えば、筋電位）と、予め格納されている基準値を比較した結果を出力する装置が開示されている。
特開２０１４－０７９３２９号公報
　例えば、伸展筋及び屈曲筋の動きを示す一対の筋電位をモニタリングすることで、被解析者が行う運動を解析する場合が想定される。ところが、特許文献１で開示される装置では、筋電位の基準値を時系列パターンとして予め生成又は格納しておく必要があり、その分だけ基準データの管理が煩雑になってしまう。
　本発明はこのような課題に鑑みてなされたものであり、その目的は、被解析者が行う運動を解析する際、解析に用いられる基準データの管理性を向上可能な運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステムを提供することにある。
　上記課題を解決するために、本発明の第一態様における運動解析装置は、手足又は体幹の運動時における被解析者の生体信号を取得する取得部と、前記取得部により取得される前記生体信号の時系列パターンを入力とする演算モデルに従って、前記被解析者の運動状態を推定するための状態値の時系列パターンを生成する演算部と、前記演算部により生成される前記状態値の時系列パターンを用いて、前記被解析者の運動状態を推定する推定部と、を備える。
　本発明の第二態様における運動解析装置は、前記演算部により生成される前記状態値の時系列パターン又は前記推定部により推定される前記被解析者の運動状態に基づいて、前記被解析者の麻痺の度合い又は該麻痺からの回復の度合いを示す評価値を算出する算出部をさらに備える。
　本発明の第三態様における運動解析装置では、前記演算モデルは、前記状態値として運動状態毎の確度セットを出力し、前記推定部は、前記演算部により生成される前記確度セットの時系列パターンを用いて前記被解析者の運動状態を推定する。
　本発明の第四態様における運動解析装置では、前記推定部は、前記確度セットのうち合格基準を満たす確度がある場合、前記確度に対応する運動状態を前記被解析者の運動状態として推定する。
　本発明の第五態様における運動解析装置では、前記算出部は、前記被解析者による所与の運動の遂行度を示す得点を前記評価値として算出し、前記算出部により算出される前記得点に応じて前記合格基準を設定する設定部をさらに備える。
　本発明の第六態様における運動解析装置では、前記演算モデルは、典型的な健常者に対応する前記生体信号の時系列パターンを学習用データとする機械学習によって定められる。
　本発明の第七態様における運動解析装置では、前記演算モデルは、前記生体信号の時系列パターンを入力とし、前記確度セットの時系列パターンを出力とする再帰型ニューラルネットワークである。
　本発明の第八態様における運動解析装置では、前記演算モデルは、前記状態値として前記生体信号の目標値を出力し、前記推定部は、前記被解析者から取得される前記生体信号の時系列パターンと、前記演算手段により算出される前記目標値の時系列パターンとを比較評価し、前記被解析者の運動状態を推定する。
　本発明の第九態様における運動解析装置では、前記比較評価は、時間を座標軸とするグラフ同士の形状の類似度に関する評価である。
　本発明の第十態様における運動解析装置では、前記比較評価は、時系列パターンの各変数を座標軸とするプロット同士の分布の類似度に関する評価である。
　本発明の第十一態様における運動解析装置では、前記演算モデルは、前記被解析者から過去に取得された前記生体信号の時系列パターンを学習用データとする機械学習によって定められる。
　本発明の第十二態様における運動解析装置では、前記演算モデルは、前記状態値として運動状態毎の確度セットを出力可能に構成される第一演算モデル及び第二演算モデルであり、前記算出部は、前記第一演算モデルに従って算出される前記確度セットを用いて、前記被解析者による所与の運動の遂行度を示す得点を前記評価値として算出し、前記算出部により算出される前記得点に応じて前記第二演算モデルに対して再学習又は追加学習を行う学習部をさらに備える、
　本発明の第十三態様における運動解析装置は、前記推定部により推定された前記運動状態が、前記被解析者が試行した所与の運動状態とは異なる場合、前記被解析者が前記所与の運動状態に移行するための補助動作を指示する制御信号を、前記補助動作を行う運動補助装置に向けて出力する出力制御部をさらに備える。
　本発明の第十四態様における運動解析システムは、上記した第一ないし第十三態様における運動解析装置と、前記運動解析装置と通信可能なサーバ装置と、を備え、前記サーバ装置は、前記演算モデルの再学習又は追加学習を通じて、前記演算モデルの演算規則を特定する学習パラメータ群を更新する学習部と、前記学習部により更新された前記学習パラメータ群を前記運動解析装置に提供する提供部と、を備える。
　本発明の第十五態様における記憶媒体は、１又は複数のコンピュータを、手足又は体幹の運動時における被解析者の生体信号を取得する取得部、前記取得部により取得される前記生体信号の時系列パターンを入力とする演算モデルに従って、前記被解析者の運動状態を推定するための状態値の時系列パターンを生成する演算部、として機能させる運動解析プログラムを格納する。
　本発明の第十六態様におけるリハビリテーションシステムは、上記した第十三態様における運動解析装置と、前記運動解析装置からの制御信号に応じて被解析者が所与の運動を行うための補助動作を行う運動補助装置と、を備える。
　本発明によれば、被解析者が行う運動を解析する際、解析に用いられる基準データの管理性が向上する。例えば、リハビリテーションに適用した場合、患者に対する治療効果がより高まる。
本発明の第一実施形態における運動解析装置が組み込まれたリハビリテーションシステムの全体構成図である。 第一実施形態におけるプロセッサの機能ブロックの一例を示す図である。 図２の確率生成部が実行する演算モデルの一例を示す図である。 第一実施形態における難易度の設定動作に関するフローチャートである。 パーからグーへの移行時における筋電位の時間変化を示す図である。 グーからパーへの移行時における筋電位の時間変化を示す図である。 図２の得点算出部による算出方法の一例を示す図である。 図２の基準設定部による設定方法の一例を示す図である。 第一実施形態における運動の補助動作に関するフローチャートである。 第二実施形態におけるプロセッサの機能ブロックの一例を示す図である。 図１０の目標生成部が実行する演算モデルの一例を示す図である。 第二実施形態における目標の登録動作に関するフローチャートである。 第二実施形態における難易度の設定動作に関するフローチャートである。 図１０の得点算出部による算出方法の一例を示す図である。 第二実施形態における運動の補助動作に関するフローチャートである。 本発明の第三実施形態における運動解析装置が組み込まれたリハビリテーションシステムの全体構成図である。 第三実施形態におけるプロセッサの機能ブロックの一例を示す図である。 第三実施形態におけるサーバ装置の機能ブロックの一例を示す図である。 図１８に示すサーバ装置の動作に関するフローチャートである。 図１８の更新判定部による判定方法の一例を示す図である。
　以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。また、「手段」の文言は、例えば、「部」、「ユニット」、「要素」などの他の文言と置き換えてもよい。
［第一実施形態］
＜システムの全体構成＞
　図１は、本発明の第一実施形態における運動解析装置１４が組み込まれたリハビリテーションシステム１０の全体構成図である。このリハビリテーションシステム１０は、患者の対象部位１２に対するリハビリテーション（ここでは、治療）を支援可能である。この患者には、身体の対象部位１２の運動機能の麻痺を伴う患者や、対象部位１２の運動機能の低下を伴う患者などが含まれる。対象部位１２は、伸展／屈曲運動の際に動かす身体部位（特に、手足又は体幹）であり、具体例として、手・足・指・膝・肘・股・肩・頸部・腰部などが挙げられる。
　このリハビリテーションシステム１０は、具体的には、運動解析装置１４と、リハビリロボット１６と、錯覚誘起装置１８と、を備える。
　運動解析装置１４は、被解析者（ここでは、患者）の対象部位１２に装着可能であるとともに、患者の運動状態を解析する。具体的には、この運動解析装置１４は、一対の筋電センサ２０，２２と、センサコントローラ２４（「取得手段」に相当）と、プロセッサ２６と、メモリ２８と、入力装置３０と、を含んでいる。
　筋電センサ２０，２２は、患者の筋電位を測定可能であり、センサコントローラ２４に接続される。一方の筋電センサ２０は、対象部位１２の伸展筋に対応する位置に装着される。他方の筋電センサ２２は、対象部位１２の屈曲筋に対応する位置に装着される。
　センサコントローラ２４は、筋電センサ２０，２２に対する各種制御を行う制御回路である。センサコントローラ２４は、例えば、センサの同期を含むサンプリング処理、ローパスフィルタ処理、Ａ／Ｄ変換処理を含む様々な信号処理を実行可能である。これにより、センサコントローラ２４は、伸展筋及び屈曲筋の筋電位を示すデータ（以下、「筋電データペア」という）を所定のサンプリング間隔で取得するとともに、当該筋電データペアをプロセッサ２６に供給する。サンプリング間隔は、具体的には、数十～数百ｍｓの範囲のうちのいずれかの値をとり得る。
　プロセッサ２６は、運動解析装置１４を構成する各部位を統括的に制御する。プロセッサ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）を含む汎用プロセッサであってもよいし、ＦＰＧＡ（Field Programmable Gate Array）やＧＰＵ（Graphics Processing Unit）を含む専用プロセッサであってもよい。
　メモリ２８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random access memory）を含む非一過性の記憶媒体であり、プロセッサ２６が各構成要素を制御するのに必要なプログラム及びデータを記憶している。
　入力装置３０は、患者による運動の意図を入力可能である。入力装置３０は、例えば、操作ボタンやマイクロフォンであってもよいし、患者の運動状態を認識するためのカメラであってもよい。
　リハビリロボット１６は、アクチュエータの駆動を通じて、患者による身体部位の伸展／屈曲運動を補助する装着型ロボットである。錯覚誘起装置１８は、視覚又は触覚を通じて錯覚刺激を付与することで、患者による身体部位の伸展／屈曲運動を補助する装置である。つまり、リハビリロボット１６及び錯覚誘起装置１８はいずれも、患者が所与の運動を行うための補助動作を行う「運動補助装置」に相当する。なお、運動補助装置の種類は、図１に示す例に限られず、対象部位１２や脳に電気刺激を付与して運動を促す装置であってもよい。
　錯覚誘起装置１８は、カメラ３２と、映像生成装置３４と、表示装置３６と、を含んでいる。カメラ３２は、患者の周囲を撮影することで、対象部位１２を含む映像信号を出力する。映像生成装置３４は、カメラ３２からの映像信号に対して対象部位１２の仮想画像を合成してＡＲ（Augmented Reality）映像を生成するコンピュータである。映像生成装置３４は、ＡＲ映像の代わりに、ＶＲ（Virtual Reality）映像を生成してもよい。表示装置３６は、映像生成装置３４が生成した映像を表示可能な据置型、可搬型又は装着型の出力デバイスである。
＜プロセッサ２６の機能ブロック＞
　図２は、第一実施形態におけるプロセッサ２６の機能ブロックの一例を示す。このプロセッサ２６は、運動解析プログラムをメモリ２８から読み出して実行することで、確度生成部４０（「演算手段」に相当）、得点算出部４２（「算出手段」に相当）、基準設定部４４（「設定手段」に相当）、運動推定部４６（「推定手段」に相当）、及び出力制御部４８（「出力制御手段」に相当）として機能する。各部の機能については、後で詳しく述べる。
　メモリ２８には、学習パラメータ群５０、評価履歴データ５２、及び難易度データ５４がそれぞれ記憶されている。
　学習パラメータ群５０は、演算モデル６０（図３）の演算規則を特定可能なパラメータの集合体であり、少なくとも一部が機械学習を通じて定められる。特に、この学習パラメータ群５０は、典型的な健常者に対応する筋電データペアの時系列パターンを学習用データとする機械学習によって各値が決定される。ここで、「典型的な健常者」とは、健常者の母集団の中から概ね平均的な運動特性を有する者を意味する。
　ここで、学習パラメータ群５０を決定する方法について説明する。まず、複数の健常者から測定された筋電データペアの時系列パターンに対して、正解ラベルとしての運動状態をそれぞれ対応付ける。そして、これらの学習データセットを用いて、演算モデル６０を記述する学習器に対して機械学習を行うことで、典型的な健常者に対応する学習パラメータ群５０が決定される。
　評価履歴データ５２は、患者が行う所与の運動の遂行度を示す得点の履歴を示すデータである。この得点は、患者が行う運動状態毎（例えば、指の運動であれば、「グー」「チョキ」「パー」のアクション）に計算されてもよいし、所与の運動に対する総合的な結果として計算されてもよい。また、この得点は、患者ＩＤ、解析日時を含む各種情報と対応付けて蓄積されてもよい。
　難易度データ５４は、課題の難易度、ここでは、患者に対して特定の課題を与えた場合における得点の合格基準を示すデータである。ここで、「合格」とは、患者が望ましい運動を行ったことを意味し、その合否を判定するための基準が「合格基準」に相当する。この場合、難易度データ５４には、［１］下限値、［２］下限値及び上限値の組み合わせ、［３］基準値及び許容幅の組み合わせ、などが含まれる。
　図３は、図２の確度生成部４０が実行する演算モデル６０の一例を示す。この演算モデル６０は、再帰型ニューラルネットワーク（以下、「ＲＮＮ」ともいう）から構成される。この演算モデル６０は、入力部６２と、中間演算部６４，６６と、確度算出部６８と、出力部７０と、から構成される。本図の例では、２個の中間演算部が設けられているが、中間演算部の個数は、１あるいは３以上であってもよい。
　入力部６２は、筋電データペアを入力するための２個の演算ユニットから構成される。一方の演算ユニットには、伸展筋の動きを示す筋電位信号（つまり、伸展筋データ）が時系列的に入力される。他方の演算ユニットには、屈曲筋の動きを示す筋電位信号（つまり、屈曲筋データ）が時系列的に入力される。
　中間演算部６４は、入力部６２からの筋電データペアに対して荷重和演算を行った後、再帰的演算を通じて隠れ状態ベクトルを出力する。中間演算部６６は、中間演算部６４からの隠れ状態ベクトルに対して荷重和演算を行った後、再帰的演算を通じて隠れ状態ベクトルを出力する。この再帰的演算は、単純なＲＮＮのみならず、ＬＳＴＭ（Long short-Term Memory）、ＧＲＵ（Gated Recurrent Unit）であってもよい。
　確度算出部６８は、中間演算部６６からの隠れ状態ベクトルに対する荷重和演算を通じて、運動状態毎の確度をそれぞれ算出する。この「確度」は、患者に指示された各々の運動状態に対して、患者の実行した運動状態の確からしさを意味し、値が大きくなるにつれて確度が高くなる一方、値が小さくなるほど確度が低くなるように定義される。ここでは、確度は、総和が１になるように正規化された確率であるが、指標はこれに限られない。
　出力部７０は、予め定義された３種類の運動状態に対応する３個の演算ユニットから構成される。これにより、確度算出部６８から供給された確率セットが、「グー」の確率、「パー」の確率、及び「該当なし」の確率としてそれぞれ出力される。
＜難易度の設定動作＞
　第一実施形態におけるリハビリテーションシステム１０は、以上のように構成される。続いて、運動解析装置１４による難易度の設定動作について、図４のフローチャート及び図５～図８を参照しながら説明する。第一実施形態では、リハビリテーションにおける運動の「難易度」が得点の合格基準として定量化されており、自動的に調整可能である点に留意する。
　図４のステップＳＰ１０において、プロセッサ２６は、メモリ２８から学習パラメータ群５０を読み出して確度生成部４０にセットすることで、学習パラメータ群５０の設定を行う。これにより、図３に示す演算モデル６０、すなわち典型的な健常者の運動挙動を再現するモデルが構築される。
　ステップＳＰ１２において、プロセッサ２６は、センサコントローラ２４から筋電データペアの時系列パターンを取得する。このデータは、患者がリハビリテーション又はトレーニングの一環として、所与の運動シーケンスを行う間に測定及び取得される。手のリハビリテーションの場合、運動シーケンスの一例として、グーとパーを交互に一定の周期で繰り返す動きなどが挙げられる。なお、運動状態の正解パターンは、入力装置３０による入力信号により特定され得る。
　図５は、パーからグーへの移行時における筋電位の時間変化を示す。本図の上側には伸展筋のグラフを、本図の下側には屈曲筋のグラフをそれぞれ示している。また、各グラフの横軸は時間（単位：ｓ）を、縦軸は筋電位（単位：Ｖ）をそれぞれ示している。本図から理解されるように、手の指を曲げている途中、屈曲筋の活動が大きくなる一方、伸展筋がほとんど活動していない。
　図６は、グーからパーへの移行時における筋電位の時間変化を示す。本図の上側には伸展筋のグラフを、本図の下側には屈曲筋のグラフをそれぞれ示している。また、各グラフの横軸は時間（単位：ｓ）を、縦軸は筋電位（単位：Ｖ）をそれぞれ示している。本図から理解されるように、手の指を伸ばしている途中、伸展筋及び屈曲筋が両方とも同程度に活動している。
　なお、図５及び図６はいずれも健常者の測定結果を示しているが、実際の患者では、症状に応じた測定結果が得られる。例えば、［１］伸展筋及び屈曲筋の両方の活動が高い場合、［２］伸展筋の活動が選択的に高い場合、［３］屈曲筋の活動が選択的に高い場合など、それぞれ異なる傾向がみられる。
　ステップＳＰ１４において、確度生成部４０は、ステップＳＰ１２で取得された筋電データペアを用いて、患者の運動状態を推定するための状態値の時系列パターン（ここでは、時間毎の確率セット）を生成する。具体的には、演算モデル６０は、［１］筋電データペアの入力、［２］再帰的演算を含む演算処理、［３］確率セットの出力、を順次繰り返すことで、筋電データペアに対応する確率セットを時間毎に生成する。
　ステップＳＰ１６において、得点算出部４２は、ステップＳＰ１４で生成された時間毎の確率セットを用いて、患者の麻痺の度合い又は麻痺からの回復の度合いを示す評価値を算出する。この「評価値」は、得点などの定量値あるいはレベルなどの定性値のいずれであってもよく、例えば、患者による所与の運動の遂行度を示す得点である。まず、得点算出部４２は、確率セットのうち確率が最大値であり、かつ所定の正値（例えば、後述する閾値）よりも大きい一の運動状態を選択することで、時間毎の運動状態（つまり、結果パターン）を決定する。そして、得点算出部４２は、結果パターン及び正解パターンを比較評価することで運動状態毎の一致性を判定する。
　図７は、図２の得点算出部４２による算出方法の一例を示す。本図の例では、グーとパーの動きを１０回繰り返した場合を想定する。例えば、１回目の「グー」の場合、正解と結果が一致しているので「ＯＫ」との判定がなされる。一方、１回目の「パー」の場合、正解と結果が一致しないので「Ｎ／Ａ」との判定がなされる。そして、運動状態毎の得点は、正解率（百分率単位）により求められる。例えば、「グー」の正解数が８である場合には、グーの得点が「８０」と算出される。また、「パー」の正解数が５である場合には、パーの得点が「５０」と算出される。つまり、図７の例では、得点は、運動状態毎の成功率（あるいは、再現率）に相当する。
　図４のステップＳＰ１８において、基準設定部４４は、ステップＳＰ１６で算出された得点に基づいて、難易度の変更が必要であるか否かを判定する。変更が必要でないと判定された場合（ステップＳＰ１８：ＮＯ）、ステップＳＰ２０をスキップして、ステップＳＰ２２に進む。一方、変更が必要であると判定された場合（ステップＳＰ１８：ＹＥＳ）、次のステップＳＰ２０に進む。
　ステップＳＰ２０において、基準設定部４４は、合格基準の再設定を行うことで、運動の難易度を調整する。以下、得点の許容範囲の下限値である「閾値」を例に挙げて、図８を参照しながら詳細に説明する。
　図８は、図２の基準設定部４４による設定方法の一例を示す。グラフの横軸は得点（１００点満点）を、縦軸は閾値をそれぞれ示している。得点をＸ、閾値をＹと表記すると、このグラフは、以下の関数式で与えられる。
　　Ｙ＝Ｘ＋２　（０≦Ｘ≦９０）
　　Ｙ＝９２　　（９０＜Ｘ≦１００）
　ここで、直線の切片（＝２）は、リハビリテーションの成果を高めるための負荷パラメータに相当する。また、閾値の上限値（＝９２）は、健常者と同等レベルの正常な運動に対する誤った不合格判定が行われないためのマージンに相当する。なお、閾値の設定方法は、本図の例に限られず、様々な形状の関数、あるいは様々な形式のデータが用いられてもよい。また、得点が減少するにつれて許容範囲が徐々に広くなる一方、得点が増加するにつれて許容範囲が徐々に狭くなるように、合格基準が設定されてもよい。
　ステップＳＰ２２において、プロセッサ２６は、ステップＳＰ１６での算出結果又はステップＳＰ２０での調整結果に関する各種データを更新する。具体的には、プロセッサ２６は、メモリ２８に記憶されている評価履歴データ５２に対して、直近に算出した得点を、患者ＩＤ、解析日時を含む各種情報と対応付けて蓄積する処理を行う。あるいは、プロセッサ２６は、メモリ２８に記憶されている難易度データ５４に対して、直近に再設定した合格基準を、患者ＩＤ、解析日時を含む各種情報と対応付けて更新する処理を行う。
　このようにして、運動解析装置１４による難易度の設定動作が終了する。運動解析装置１４は、図４のフローチャートを定期的又は不定期に実行することで、対象部位１２の回復状況に適した難易度の設定を自動的に行うことができる。
＜運動の補助動作＞
　続いて、運動解析装置１４による運動の補助動作について、図９のフローチャートを参照しながら説明する。
　ステップＳＰ３０において、プロセッサ２６は、図４のステップＳＰ１０と同様に、メモリ２８から学習パラメータ群５０を読み出して確度生成部４０にセットすることで、学習パラメータ群５０の設定を行う。
　ステップＳＰ３２において、プロセッサ２６は、センサコントローラ２４から筋電データペアを取得したか否かを確認する。筋電データペアをまだ取得していない場合（ステップＳＰ３２：ＮＯ）、当該データを取得するまでステップＳＰ３２に留まる。一方、筋電データペアを取得した場合（ステップＳＰ３２：ＹＥＳ）、次のステップＳＰ３４に進む。
　ステップＳＰ３４において、運動推定部４６は、ステップＳＰ３２で取得された筋電データペアを用いて、現時点での患者の運動状態を推定する。この推定に先立ち、確度生成部４０は、ステップＳＰ３２で取得された筋電データペアから、現時点の確率セットを生成する。その後、運動推定部４６は、確度生成部４０から供給された確率セットのうち、難易度データ５４により特定される合格基準を満たす確率があるか否かを確認する。
　具体的には、該当する確率がある場合、運動推定部４６は、当該確率に対応する運動状態（例えば、グー）を患者の運動状態として推定する。一方、該当する確率がない場合、運動推定部４６は、患者の運動状態が「該当なし」であると推定する。なお、運動推定部４６は、現時点の確率セットのみから運動状態を推定してもよいし、直近に生成された１組以上の確率セット又は直近に推定された１以上の運動状態のいずれかを用いて、現時点の運動状態を推定してもよい。
　ステップＳＰ３６において、出力制御部４８は、ステップＳＰ３４で得られた推定結果に基づいて、患者に対する補助動作が必要であるか否かを判定する。例えば、推定された運動状態が、患者が試行した所与の運動状態とは異なる場合、出力制御部４８は、該当する運動状態に移行させるための補助動作が必要であると判定してもよい。「所与の運動状態とは異なる場合」とは、例えば、確率セットのうちの最大確率が合格基準を満たさないものの「該当なし」以外の運動状態である場合を意味する。
　ステップＳＰ３８において、出力制御部４８は、補助動作が必要でないと判定した場合（ステップＳＰ３８：ＮＯ）、ステップＳＰ３２に戻って、次の筋電データペアを取得するまで待機する。一方、出力制御部４８は、補助動作が必要であると判定した場合（ステップＳＰ３８：ＹＥＳ）、次のステップＳＰ４０に進む。
　ステップＳＰ４０において、出力制御部４８は、該当する運動補助装置（図１の例では、リハビリロボット１６又は錯覚誘起装置１８）に向けて、補助動作の実行を指示する制御信号を出力する。この制御信号には、例えば、運動の種類や移動の軌跡、アクチュエータの駆動量などが含まれる。
　その後、ステップＳＰ３２に戻って、図９のフローチャートの動作を順次実行することで、運動解析装置１４による運動の補助動作が継続する。このようにして、患者は、必要に応じてリハビリテーションの支援を受けることができる。
＜第一実施形態による効果＞
　以上のように、第一実施形態における運動解析装置１４は、被解析者が運動を行う際に生じる生体信号（例えば、筋電データペア）を取得するセンサコントローラ２４と、センサコントローラ２４により取得される生体信号の時系列パターンを入力とする演算モデル６０に従って、被解析者の運動状態を解析するための解析値の時系列パターンを生成する確度生成部４０と、を備える。
　あるいは、第一実施形態における運動解析装置１４は、手足又は体幹の運動時における被解析者の生体信号を取得するセンサコントローラ２４（取得部）と、センサコントローラ２４により取得される生体信号の時系列パターンを入力とする演算モデル６０に従って、被解析者の運動状態を推定するための状態値の時系列パターンを生成する確度生成部４０（演算部）と、確度生成部４０により生成される状態値の時系列パターンを用いて、被解析者の運動状態を推定する運動推定部４６（推定部）と、を備える。
　また、第一実施形態における運動解析方法又はプログラムによれば、コンピュータである運動解析装置１４が、上記した生体信号を取得する取得ステップ（ＳＰ３２）と、演算モデル６０に従って状態値の時系列パターンを生成する演算ステップと、被解析者の運動状態を推定する推定ステップ（ＳＰ３４）と、を実行する。
　このように、被解析者の生体信号の時系列パターンを入力することで、演算モデル６０により表現される運動挙動を基準とする相対的な評価を実行可能となり、生体信号に対応する基準値を、時系列パターンとして予め生成及び格納しなくても済む。これにより、被解析者が行う運動を解析する際、解析に用いられる基準データの管理性が向上する。
　さらに、第一実施形態の運動解析方法又はプログラムをリハビリテーションシステム１０の作動制御に適用した場合には、被解析者に対するリハビリテーション計画や、リハビリテーション方法の個別化が可能となり、リハビリテーションの効率を向上することができる。
　また、運動解析装置１４は、確度生成部４０により生成される状態値の時系列パターン又は運動推定部４６により推定される被解析者の運動状態に基づいて、被解析者の麻痺の度合い又は該麻痺からの回復の度合いを示す評価値を算出する得点算出部４２（算出部）をさらに備えてもよい。
　また、第一実施形態における演算モデル６０は、状態値として運動状態毎の確度セットを出力するモデルである。この場合、運動推定部４６は、確度生成部４０により生成される確度セットの時系列パターンを用いて被解析者の運動状態を推定してもよい。
　また、運動推定部４６は、確度セットのうち合格基準を満たす確度がある場合、当該確度に対応する運動状態を、被解析者の運動状態として推定してもよい。
　また、評価値が被解析者による所与の運動の遂行度を示す得点である場合、運動解析装置１４は、得点算出部４２により算出される得点に応じて合格基準を設定する基準設定部４４（設定部）をさらに備えてもよい。これにより、被解析者の麻痺状況の又は該麻痺からの回復状況に応じた合格基準を定めることができる。
　また、演算モデル６０は、典型的な健常者に対応する生体信号の時系列パターンを学習用データとする機械学習によって定められてもよい。これにより、典型的な健常者を基準とする定量的な評価を行うことができる。
　また、演算モデル６０は、生体信号の時系列パターンを入力とし、確度セットの時系列パターンを出力とする再帰型ニューラルネットワークであってもよい。再帰型ニューラルネットワークを用いることで、様々な運動に伴う身体部位の複雑な動きを精度よく推定することができる。
　また、出力制御部４８は、運動推定部４６により推定された運動状態が、被解析者が試行した所与の運動状態とは異なる場合、被解析者が所与の運動状態に移行するための補助動作を指示する制御信号を、補助動作を行う運動補助装置に向けて出力してもよい。
　また、リハビリテーションシステム１０は、上記した運動解析装置１４と、運動解析装置１４からの制御信号に応じて被解析者が所与の運動を行うための補助動作を行うリハビリロボット１６又は錯覚誘起装置１８と、を備えてもよい。これにより、被解析者に対するリハビリテーションの支援になる。
［第二実施形態］
　続いて、第二実施形態における運動解析装置１０２について、図１及び図１０～図１５を参照しながら説明する。なお、第一実施形態と同一の構成又は機能については、同一の符号を付するとともに、その説明を省略する場合がある。
＜システムの全体構成＞
　図１は、本発明の第二実施形態における運動解析装置１０２が組み込まれたリハビリテーションシステム１００の全体構成図である。リハビリテーションシステム１００は、リハビリロボット１６及び錯覚誘起装置１８の他に、第一実施形態（運動解析装置１４）とは構成が異なる運動解析装置１０２を備える。より詳しくは、運動解析装置１０２は、プロセッサ１０４の実行機能及びメモリ１０６の記憶データが、運動解析装置１０２とは異なっている。
　図１０は、第二実施形態におけるプロセッサ１０４の機能ブロックの一例を示す。このプロセッサ１０４は、目標生成部１１０（「演算手段」に相当）、得点算出部１１２（「算出手段」に相当）、レベル設定部１１４（「設定手段」に相当）、運動推定部１１６（「推定手段」に相当）、及び出力制御部１１８（「出力制御手段」に相当）として機能する。各部の機能については、後で詳しく述べる。
　一方、メモリ１０６には、複数種類の学習パラメータ群１２２、複数種類の目標パターン１２４、評価履歴データ１２６、及び難易度データ１２８がそれぞれ記憶されている。
　学習パラメータ群１２２は、演算モデル１３０（図１１）の演算規則を特定可能なパラメータの集合体であり、少なくとも一部が機械学習を通じて定められる。特に、この学習パラメータ群１２２は、個々の患者に対応する筋電データペアの時系列パターンを学習用データとする機械学習によって各値が決定される。なお、学習パラメータ群１２２は、難易度のレベル毎／運動状態毎に設けられる点に留意する。
　ここで、学習パラメータ群１２２を難易度のレベル毎に決定する方法について説明する。まず、リハビリテーションの専門家が、様々な患者から測定された筋電データペアの時系列パターンに対して、レベル毎に望ましい目標パターンをそれぞれ設定する。そして、これらのデータセットをレベル毎に分類した後、レベル毎に準備された学習器を用いて機械学習を独立して行うことで、難易度のレベルに応じた複数組の学習パラメータ群１２２が決定される。
　目標パターン１２４は、筋電データペアの時間毎の目標値であり、目標値ペアの時系列パターンに相当する。なお、この目標パターン１２４は、難易度のレベル毎／運動状態毎に設けられる点に留意する。
　評価履歴データ１２６は、患者による所与の運動の遂行度を示す得点の履歴を示すデータである。この得点は、難易度のレベル及び運動状態の組合せ毎に計算されてもよいし、所与の運動に対する総合的な結果として計算されてもよい。また、この得点は、患者ＩＤ、解析日時を含む各種情報と対応付けて蓄積されてもよい。
　難易度データ１２８は、難易度のレベル（あるいは、単に「レベル」ともいう）を示すデータである。レベルの個数は、２以上の任意の値をとり得る。例えば、リハビリテーションの初期段階を「レベル１」、最終段階を「レベル５」とし、その途中過程を「レベル２～４」として定義してもよい。
　図１１は、図１０の目標生成部１１０が実行する演算モデル１３０の一例を示す。この演算モデル１３０は、図３の演算モデル６０と同様に、再帰型ニューラルネットワークから構成される。この演算モデル１３０は、入力部１３２と、中間演算部１３４，１３６と、電位算出部１３８と、出力部１４０と、から構成される。本図の例では、２個の中間演算部が設けられているが、中間演算部の個数は、１あるいは３以上であってもよい。
　入力部１３２は、図３の入力部６２と同一の構成を有する。中間演算部１３４は、図３の中間演算部６４と同一の又は異なる構成を有する。中間演算部１３６は、図３の中間演算部６６と同一の又は異なる構成を有する。
　電位算出部１３８は、中間演算部１３６からの隠れ状態ベクトルに対する荷重和演算を通じて、伸展筋及び屈曲筋の目標電位（つまり、電位セット）をそれぞれ算出する。
　出力部１４０は、予め定義された２種類の目標電位に対応する２個の演算ユニットから構成される。これにより、電位算出部１３８から供給された電位セットが、「伸展筋」の目標電位、及び「屈曲筋」の目標電位としてそれぞれ出力される。
＜目標の登録動作＞
　第二実施形態におけるリハビリテーションシステム１００は、以上のように構成される。続いて、運動解析装置１０２による目標パターン１２４の登録動作について、図１２のフローチャートを参照しながら説明する。
　図１２のステップＳＰ５０において、プロセッサ１０４は、図４のステップＳＰ１２の場合と同様に、センサコントローラ２４から筋電データペアの時系列パターンを取得する。
　ステップＳＰ５２において、プロセッサ１０４は、レベル及び運動状態に関する複数の組合せのうち、まだ選択されていない一組を指定する。
　ステップＳＰ５４において、プロセッサ１０４は、複数種類の学習パラメータ群１２２のうち、ステップＳＰ５２で指定された組合せ（以下、「指定組合せ」という）に対応する学習パラメータ群１２２をメモリ１０６から読み出して目標生成部１１０にセットすることで、学習パラメータ群１２２の設定を行う。これにより、図１１に示す演算モデル１３０が構築され、すなわち同一の患者の「過去」の運動挙動を再現するモデルが構築される。
　ステップＳＰ５６において、目標生成部１１０は、ステップＳＰ５０で取得された筋電データペアを用いて、患者の運動状態を推定するための状態値の時系列パターン（つまり、時間毎の目標値ペア）に相当する目標パターン１２４を生成する。具体的には、演算モデル１３０は、［１］筋電データペアの入力、［２］再帰的演算を含む演算処理、［３］電位セットの出力、を順次繰り返すことで、筋電データペアに対応する目標パターン１２４を生成する。
　ステップＳＰ５８において、プロセッサ１０４は、すべての組合せを指定したか否かを確認する。組合せの指定がすべて終わっていない場合（ステップＳＰ５８：ＮＯ）、ステップＳＰ５２に戻って、すべての組合せが指定されるまでステップＳＰ５２～ＳＰ５８の動作を順次繰り返す。一方、組合せの指定がすべて終わった場合（ステップＳＰ５８：ＹＥＳ）、次のステップＳＰ６０に進む。
　ステップＳＰ６０において、プロセッサ１０４は、ステップＳＰ５６にて逐次生成された目標パターン１２４を登録する。具体的には、プロセッサ１０４は、それぞれの目標パターン１２４をレベル及び運動状態の組合せと対応付けてメモリ１０６に記憶させる処理を行う。
　このようにして、運動解析装置１０２による目標の登録動作が終了する。運動解析装置１０２は、リハビリテーションの初期段階に図１２のフローチャートを実行することで、患者に適した目標パターン１２４の登録を自動的に行うことができる。
＜難易度の設定動作＞
　続いて、運動解析装置１０２による難易度の設定動作について、図１３のフローチャート及び図１４を参照しながら説明する。第二実施形態では、リハビリテーションにおける運動の「難易度」がレベル毎に分類されており、自動的に調整可能である点に留意する。
　図１３のステップＳＰ７０において、プロセッサ１０４は、図４のステップＳＰ１２の場合と同様に、センサコントローラ２４から筋電データペアの時系列パターンを取得する。
　ステップＳＰ７２において、プロセッサ１０４は、複数のレベルのうち、まだ選択されていない一のレベル（以下、「指定レベル」という）を指定する。
　ステップＳＰ７４において、プロセッサ１０４は、複数の目標パターン１２４の中から、比較対象の目標パターン１２４（以下、「比較パターン」ともいう）を選択する。具体的には、プロセッサ１０４は、指定レベルに対応する運動状態毎の目標パターン１２４を、メモリ１０６から読み出して取得する。
　ステップＳＰ７６において、得点算出部１１２は、ステップＳＰ７０で取得された筋電データペアの時系列パターン及びステップＳＰ７４で選択された比較パターンを用いて、患者の麻痺の度合い又は麻痺からの回復の度合いを示す評価値を算出する。この「評価値」は、患者による所与の運動の遂行度を示す得点に相当する。まず、得点算出部１１２は、各々の運動状態に相当するデータ単位にて筋電データペアの時系列パターンを区分する。そして、得点算出部１１２は、運動状態毎に、区分パターンと比較パターンの間の類似度を求め、この類似度が高いほど値が大きくなるような得点に換算する。この類似度は、例えば、両者の一致性が高くなるにつれて１に近い値を、両者の一致性が低くなるにつれて０に近い値をとるように定義される。
　第一例として、時間を座標軸とするグラフ同士の形状の類似度が用いられる。形状の特徴量として、定常状態における平均値、運動状態が遷移している間の傾き、所定の時間帯での面積などが挙げられる。また、伸展筋及び屈曲筋に対してそれぞれ筋電位のグラフを作成してもよいし、筋電位間の相対値（例えば、差や比）に対して１つのグラフを作成してもよい。
　第二例として、時系列パターンの各変数を座標軸とするプロット同士の分布の類似度が用いられる。筋電データペアの例では、横軸を伸展筋の筋電位とし、縦軸を屈曲筋の筋電位として散布図が作成される。分布の特徴量として、重心、密度、占有面積、回帰曲線などが挙げられる。
　ステップＳＰ７８において、プロセッサ１０４は、すべてのレベルを指定したか否かを確認する。レベルの指定がすべて終わっていない場合（ステップＳＰ７８：ＮＯ）、ステップＳＰ７２に戻って、すべてのレベルが指定されるまでステップＳＰ７２～ＳＰ７８の動作を順次繰り返す。その結果、レベル及び運動状態の組合せ毎の類似度が算出される。
　図１４は、図１０の得点算出部１１２による算出方法の一例を示す。本図の例では、グーとパーの動きを１０回繰り返した場合を想定する。例えば、１回目の「グー」から１０回目の「パー」までの類似度がそれぞれ計算される。運動状態毎の得点は、類似度が閾値を上回る割合（百分率単位）により求められる。例えば、「グー」の個数が４である場合には、グーの得点が「４０」と算出される。また、「パー」の個数が５である場合には、パーの得点が「５０」と算出される。
　レベル毎の判定は、運動状態毎の得点が合格基準を満たしているか否かによって判定される。例えば、合格基準が「すべての運動状態における得点が５０点を上回ること」と定められる場合、レベル１が「Ｎ／Ａ」、レベル２が「ＯＫ」、レベル３が「Ｎ／Ａ」とそれぞれ判定される。
　一方、ステップＳＰ７８に戻って、レベルの指定がすべて終わった場合（ステップＳＰ７８：ＹＥＳ）、次のステップＳＰ８０に進む。
　ステップＳＰ８０において、レベル設定部１１４は、ステップＳＰ７６で算出された得点に基づいて、難易度の変更が必要であるか否かを判定する。変更が必要でないと判定された場合（ステップＳＰ８０：ＮＯ）、ステップＳＰ８２をスキップして、ステップＳＰ８４に進む。一方、変更が必要であると判定された場合（ステップＳＰ８０：ＹＥＳ）、次のステップＳＰ８２に進む。
　ステップＳＰ８２において、レベル設定部１１４は、レベルの再設定を行うことで、運動の難易度を調整する。図１４の例では、複数のレベルの中から上記した合格基準を満たす「レベル２」に設定される。
　ステップＳＰ８４において、プロセッサ１０４は、ステップＳＰ７６での算出結果又はステップＳＰ８２での調整結果に関する各種データを更新する。具体的には、プロセッサ１０４は、メモリ１０６に記憶されている評価履歴データ１２６に対して、直近に算出した得点を、患者ＩＤ、解析日時を含む各種情報と対応付けて蓄積する処理を行う。あるいは、プロセッサ１０４は、メモリ１０６に記憶されている難易度データ１２８に対して、直近に再設定したレベルを、患者ＩＤ、解析日時を含む各種情報と対応付けて更新する処理を行う。
　このようにして、運動解析装置１０２による難易度の設定動作が終了する。運動解析装置１０２は、図１３のフローチャートを定期的又は不定期に実行することで、対象部位１２の回復状況に適した難易度の設定を自動的に行うことができる。
＜運動の補助動作＞
　続いて、運動解析装置１０２による運動の補助動作について、図１５のフローチャートを参照しながら説明する。
　ステップＳＰ９０において、プロセッサ１０４は、複数種類の目標パターン１２４の中から、比較対象の目標パターン１２４（つまり、比較パターン）を選択する。具体的には、プロセッサ１０４は、難易度データ１２８として設定されているレベルに対応する運動状態毎の目標パターン１２４を、メモリ１０６から読み出して取得する。
　ステップＳＰ９２において、プロセッサ１０４は、センサコントローラ２４から筋電データペアを取得したか否かを確認する。筋電データペアをまだ取得していない場合（ステップＳＰ９２：ＮＯ）、当該データを取得するまでステップＳＰ９２に留まる。一方、筋電データペアを取得した場合（ステップＳＰ９２：ＹＥＳ）、次のステップＳＰ９４に進む。
　ステップＳＰ９４において、運動推定部１１６は、ステップＳＰ９２で取得された筋電データペアを用いて、現時点での患者の運動状態を推定する。具体的には、運動推定部１１６は、現時点から起算して過去に連続で取得された複数の筋電データペア（以下、取得パターン）と比較パターンとを比較評価して類似度を算出する。そして、運動推定部１１６は、複数の比較パターンのうち、類似度が最大になる比較パターンに対応する運動状態を、患者の運動状態として推定する。
　ステップＳＰ９６において、出力制御部１１８は、ステップＳＰ９４で得られた推定結果に基づいて、患者に対する補助動作が必要であるか否かを判定する。例えば、推定された運動状態が、患者が試行した所与の運動状態とは異なる場合、出力制御部１１８は、該当する運動状態に移行させるための補助動作が必要であると判定してもよい。「所与の運動状態とは異なる場合」とは、例えば、推定された運動状態に対応する類似度（最大値）が閾値以下である場合を意味する。
　ステップＳＰ９８において、出力制御部１１８は、補助動作が必要でないと判定した場合（ステップＳＰ９８：ＮＯ）、ステップＳＰ９２に戻って、次の筋電データペアを取得するまで待機する。一方、出力制御部１１８は、補助動作が必要であると判定した場合（ステップＳＰ９８：ＹＥＳ）、次のステップＳＰ１００に進む。
　ステップＳＰ１００において、図９のステップＳＰ４０の場合と同様に、出力制御部１１８は、該当する運動補助装置に向けて、補助動作の実行を指示する制御信号を出力する。
　その後、ステップＳＰ９２に戻って、図１５のフローチャートの動作を順次実行することで、運動解析装置１０２による運動の補助動作が継続する。このようにして、患者は、必要に応じてリハビリテーションの支援を受けることができる。
＜第二実施形態による効果＞
　以上のように、第二実施形態における運動解析装置１０２は、被解析者が運動を行う際に生じる生体信号を取得するセンサコントローラ２４と、センサコントローラ２４により取得される生体信号の時系列パターンを入力とする演算モデル１３０に従って、被解析者の運動状態を解析するための解析値の時系列パターンを生成する目標生成部１１０と、を備える。
　あるいは、第二実施形態における運動解析装置１０２は、手足又は体幹の運動時における被解析者の生体信号を取得するセンサコントローラ２４と、センサコントローラ２４により取得される生体信号の時系列パターンを入力とする演算モデル１３０に従って、被解析者の運動状態を推定するための状態値の時系列パターンを生成する目標生成部１１０と、目標生成部１１０により生成される状態値の時系列パターンを用いて、被解析者の運動状態を推定する運動推定部１１６と、を備える。
　このように構成しても、上記した第一実施形態の場合と同様の作用効果が得られる。つまり、生体信号に対応する基準値を、時系列パターンとして予め生成しなくても済むので、被解析者が行う運動を解析する際、解析に用いられる基準データの管理性が向上する。
　さらに、第二実施形態の運動解析方法又はプログラムをリハビリテーションシステム１００の作動制御に適用した場合には、被解析者に対するリハビリテーション計画や、リハビリテーション方法のより適切な個別化が可能となる。
　また、第二実施形態における演算モデル１３０は、状態値として生体信号の目標値を出力するモデルである。この場合、運動推定部１１６は、被解析者から取得される生体信号の時系列パターンと、目標生成部１１０により生成される目標値の時系列パターンとを比較評価し、被解析者の運動状態を推定してもよい。
　また、比較評価は、時間を座標軸とするグラフ同士の形状の類似度に関する評価であってもよい。これに代えて、比較評価は、時系列パターンの各変数を座標軸とするプロット同士の分布の類似度に関する評価であってもよい。
　また、演算モデル１３０は、被解析者から過去に取得された生体信号の時系列パターンを学習用データとする機械学習によって定められてもよい。これにより、同一の被解析者に対して過去を基準とする定量的な評価を行うことができる。
［第三実施形態］
　続いて、第三実施形態における運動解析装置２０２について、図１６～図２０を参照しながら説明する。なお、第一実施形態と同一の構成又は機能については、同一の符号を付するとともに、その説明を省略する場合がある。
＜システムの全体構成＞
　図１６は、本発明の第三実施形態における運動解析装置２０２が組み込まれたリハビリテーションシステム２００の全体構成図である。このリハビリテーションシステム２００は、患者の対象部位１２に対するリハビリテーション（ここでは、日常的な運動管理）を支援可能である。このリハビリテーションシステム２００は、１又は複数の運動解析装置２０２、サーバ装置２２０と、を備える。なお、各々の運動解析装置２０２には、リハビリロボット１６が選択的に設けられてもよい。
　運動解析装置２０２は、外部装置と通信可能に構成される通信モジュール２０４を備える点で、第一実施形態（運動解析装置１４）とは構成が異なっている。また、運動解析装置２０２は、プロセッサ２０６の実行機能及びメモリ２０８の記憶データが、運動解析装置１４（図１）とは異なっている。
　サーバ装置２２０は、制御装置２２２と、通信装置２２４と、記憶装置２２６と、を備える。制御装置２２２は、プロセッサ２２８及びメモリ２３０を主に備えて構成される。プロセッサ２２８は、第一実施形態のプロセッサ２６（図１）と同一の又は異なる構成を採用し得る。メモリ２３０は、第一実施形態のメモリ２８（図１）と同一の又は異なる構成を採用し得る。
　制御装置２２２は、プロセッサ２２８がメモリ２３０（あるいは、記憶装置２２６）に格納された運動解析プログラムを読み出して実行することで、後述する様々な機能を発揮する。
　通信装置２２４は、外部装置に対して電気信号を送受信する通信インターフェースを構成する。これにより、サーバ装置２２０は、筋電データ群２１０（図１７）を運動解析装置２０２から受信可能であるとともに、個別パラメータ群２５８（図１８）を運動解析装置２０２に送信可能である。
　記憶装置２２６は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）を含む非一過性の記憶媒体である。
＜機能ブロック＞
　図１７は、第三実施形態におけるプロセッサ２０６の機能ブロックの一例を示す。このプロセッサ２０６は、運動解析プログラムをメモリ２０８から読み出して実行することで、確度生成部４０、運動推定部４６、及び出力制御部４８として機能する。各部の機能については、基本的には、第一実施形態のプロセッサ２６（図２）の場合と同様であるため、詳しい説明を省略する。一方、メモリ２０８には、筋電データ群２１０及び学習パラメータ群２１２がそれぞれ記憶されている。
　筋電データ群２１０は、運動解析装置２０２を装着する患者が所与の運動を行う際に測定される筋電位データペアが含まれる。この筋電データ群２１０は、例えば、［１］測定時間（絶対値又は相対値）、［２］伸展筋の筋電位、［３］屈曲筋の筋電位、及び［４］運動状態の正解ラベル、をレコード単位とするデータベースである。
　学習パラメータ群２１２は、演算モデル６０（図３）の演算規則を特定可能なパラメータの集合体であり、少なくとも一部が機械学習を通じて定められる。特に、この学習パラメータ群２１２は、個々の患者に対応する筋電データペアの時系列パターンを学習用データとする機械学習によって各値が決定される。
　図１８は、図１６のサーバ装置２２０の機能ブロックの一例を示す図である。サーバ装置２２０は、データ取得部２４０（「取得手段」に相当）、確度生成部２４２（「演算手段」に相当）、得点算出部２４４（「算出手段」に相当）、更新判定部２４６、学習処理部２４８（「学習手段」に相当）、変数提供部２５０（「提供手段」に相当）、及び記憶部２５２として機能する。各部の機能については、後で詳しく述べる。
　記憶部２５２には、筋電データ群２５４、標準パラメータ群２５６、複数種類の個別パラメータ群２５８、及び評価履歴データ２６０がそれぞれ記憶されている。
　筋電データ群２５４は、図１７に示す筋電データ群２１０を患者毎に管理・蓄積したデータベースである。つまり、筋電データ群２５４は、サーバ装置２２０が１又は複数の運動解析装置２０２から逐次的に収集したデータが含まれる。
　標準パラメータ群２５６は、標準的な学習パラメータ群を意味し、図２に示す学習パラメータ群５０に相当する。つまり、標準パラメータ群２５６は、典型的な健常者に対応する筋電データペアの時系列パターンを学習用データとする機械学習によって各値が決定される。
　個別パラメータ群２５８は、個々の患者に向けてカスタマイズ可能な学習パラメータ群を意味する。つまり、個別パラメータ群２５８は、個々の患者から測定された筋電データペアの時系列パターンを学習用データとする機械学習によって各値が決定される。
　評価履歴データ２６０は、第一実施形態における評価履歴データ５２（図２）を患者毎に管理・蓄積したデータベースである。ここで、評価履歴データ２６０は、サーバ装置２２０がデータを一元的に解析・評価して得られた結果が含まれる。
＜サーバ装置２２０の動作＞
　第三実施形態におけるリハビリテーションシステム２００は、以上のように構成される。続いて、サーバ装置２２０の動作について、図１９のフローチャート及び図２０を参照しながら説明する。
　図１９のステップＳＰ１１０において、データ取得部２４０は、解析対象である一の患者（以下、患者Ｘという）が装着する運動解析装置２０２から送信されたデータ（以下、送信データ）を、通信装置２２４を介して取得する。この送信データには、筋電データ群２１０のうちの少なくとも一部の他に、患者ＩＤ、測定日時などの各種情報が含まれる。なお、運動解析装置２０２は、定期的又は不定期にデータを送信してもよいし、サーバ装置２２０からの要求に応じてデータを送信してもよい。
　ステップＳＰ１１２において、確度生成部２４２は、記憶部２５２から標準パラメータ群２５６を読み出し、演算モデル６０（図３）を利用できるように標準パラメータ群２５６の設定を行う。これにより、図３に示す演算モデル６０、すなわち標準者（典型的な健常者）の運動挙動を再現するモデル（「第一演算モデル」に相当）が構築される。
　ステップＳＰ１１４において、確度生成部２４２は、図４のステップＳＰ１４の場合と同様に、ステップＳＰ１１０で取得された筋電データペアを用いて、時間毎の確率セット（つまり、状態値の時系列パターン）を生成する。
　ステップＳＰ１１６において、得点算出部２４４は、図４のステップＳＰ１６の場合と同様に、ステップＳＰ１１４で生成された時間毎の確率セットを用いて、患者による所与の運動の遂行度を示す得点（つまり、評価値）を算出する。
　ステップＳＰ１１８において、得点算出部２４４は、ステップＳＰ１１６での算出結果を蓄積する。具体的には、得点算出部２４４は、直近に算出した得点を、患者ＩＤ、解析日時を含む各種情報と対応付けた状態にて記憶部２５２に供給する。これにより、評価履歴データ２６０が蓄積される。
　ステップＳＰ１２０において、更新判定部２４６は、ステップＳＰ１１８で蓄積された得点の履歴に基づいて、患者Ｘに対応する個別パラメータ群２５８を更新する必要があるか否かを判定する。以下、判定方法の一例について、図２０を参照しながら詳細に説明する。
　図２０は、図１８の更新判定部２４６による判定方法の一例を示す。グラフの横軸は時間を示すとともに、縦軸は得点を示している。すなわち、このグラフは、一の患者（患者Ｘ）における得点の時間遷移を模式的に示している。ここで、基準時点をＴ１、判定時点をＴ２（Ｔ２＞Ｔ１）、基準時点における得点をＳｃ１、判定時点Ｔ２における得点をＳｃ２とする。判定条件は、例えば、［条件１］Ｓｃ２＞Ｔｈ、［条件２］｜Ｓｃ２－Ｓｃ１｜＞ΔＳｃ、［条件３］条件１及び条件２を同時に満たすこと、のいずれであってもよい。なお、Ｔｈは「得点」に関する所与の閾値であり、ΔＳｃは「得点差」に関する所与の閾値である。
　個別パラメータ群２５８の更新が必要でないと判定された場合（ステップＳＰ１２０：ＮＯ）、サーバ装置２２０は、そのまま図１９のフローチャートを終了する。一方、更新が必要であると判定された場合（ステップＳＰ１２０：ＹＥＳ）、次のステップＳＰ１２２に進む。
　ステップＳＰ１２２において、学習処理部２４８は、患者Ｘに対応する個別パラメータ群２５８を記憶部２５２から読み出し、演算モデル６０（図３）を利用できるように個別パラメータ群２５８の設定を行う。これにより、図３に示す演算モデル６０、すなわち患者Ｘの「古い」運動挙動を再現するモデル（「第二演算モデル」に相当）が構築される。
　ステップＳＰ１２４において、学習処理部２４８は、ステップＳＰ１２２で構築された演算モデル６０を初期状態として再学習又は追加学習を行う。学習用データは、筋電データ群２５４に蓄積されたデータから作成される。例えば、再学習の場合、今回の学習時の方が、前回の学習時よりもデータの鮮度が高くなるように、学習用データの母集団が形成される。あるいは、追加学習の場合、前回の学習時点よりも後に測定されたデータのみを選定するように、学習用データの母集団が形成される。
　上記した機械学習を通じて、個別パラメータ群２５８を構成するパラメータの各値が更新され、その結果、患者Ｘの「新しい」運動挙動を再現するモデルが構築される。また、記憶部２５２によって個別パラメータ群２５８が上書き更新される。
　ステップＳＰ１２６において、変数提供部２５０は、ステップＳＰ１２４の学習を通じて更新された個別パラメータ群２５８を外部に送信することで、患者Ｘに対応付けられた運動解析装置２０２に提供する。この個別パラメータ群２５８がメモリ２０８に記憶されることで、運動解析装置２０２は、更新後の学習パラメータ群２１２を利用可能になる。
　このようにして、サーバ装置２２０の動作が終了する。サーバ装置２２０が図１９のフローチャートを繰り返して実行することで、患者毎の日常的な運動管理を適切に行うことができる。
＜第三実施形態による効果＞
　以上のように、第三実施形態におけるサーバ装置２２０は、被解析者が運動を行う際に生じる生体信号を取得するデータ取得部２４０と、データ取得部２４０により取得される生体信号の時系列パターンを入力とする演算モデル６０に従って、被解析者の運動状態を解析するための解析値の時系列パターンを生成する確度生成部２４２と、を備える。
　あるいは、第三実施形態におけるサーバ装置２２０は、手足又は体幹の運動時における被解析者の生体信号を取得するデータ取得部２４０と、データ取得部２４０により取得される生体信号の時系列パターンを入力とする演算モデル６０に従って、被解析者の運動状態を推定するための状態値の時系列パターンを生成する確度生成部２４２と、を備える。
　このように構成しても、上記した第一実施形態の場合と同様の作用効果が得られる。つまり、被解析者が行う運動を解析する際、解析に用いられる基準データの管理性が向上する。
　さらに、第三実施形態の運動解析方法又はプログラムをリハビリテーションシステム２００の作動制御に適用した場合には、被解析者に対するリハビリテーション計画や、リハビリテーション方法を個別化したうえで、リハビリテーションの進行に応じて自動で最適化することが可能となり、リハビリテーションの効率を著しく向上することができる。
　また。第三実施形態における演算モデル６０は、状態値として運動状態毎の確度セットを出力可能に構成される第一演算モデル及び第二演算モデルである。この場合、得点算出部２４４は、第一演算モデルに従って算出される確度の集合体を用いて、被解析者による所与の運動の遂行度を示す得点を算出し、学習処理部２４８は、得点算出部２４４により算出される得点に応じて第二演算モデルに対して再学習又は追加学習を行ってもよい。
［変形例］
　なお、本発明は上記の具体例に限定されるものではない。すなわち、上記の具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、前述した実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
　上記した各実施形態では、伸展筋及び屈曲筋の筋電位を例に挙げて説明したが、生体信号の種類はこれに限られない。具体的には、生体信号は、筋音信号，脳波信号、筋赤外分光法による血中酸素動態，超音波エコー像による筋収縮動画を含む様々な信号であってもよい。また、生体信号のチャンネル数は２に限られることなく、１あるいは３以上であってもよい。同様に、状態値のチャンネル数も、１又は２以上の様々な値がとり得る。
　上記した各実施形態では、演算モデル６０，１３０が、再帰型ニューラルネットワークである場合を例に挙げて説明したが、時系列パターンを解析可能であればモデルの種類はこれに限られない。具体的には、演算モデルは、再帰型でないニューラルネットワーク（例えば、アテンション・メカニズムを利用したニューラルネットワーク）、カルマンフィルタを含む様々な推定モデルであってもよい。また、この演算モデルには、第二実施形態で説明した比較評価（グラフ同士の形状の類似度、又は、プロット同士の分布の類似度）も含まれる。
　上記した各実施形態では、所与の運動シーケンスとして、グーとパーを交互に一定の周期で繰り返す動きを例に挙げて説明したが、これに限られない。例えば、１種類の運動シーケンスに含まれる運動状態は３以上であってもよいし、複数種類の運動シーケンスに対する解析・評価を行えるようにしてもよい。また、運動シーケンスと演算モデルの対応付けは一対一に限られず、一対多、多対一、あるいは多対多の関係であってもよい。
　上記した第一実施形態では、得点算出部４２が、確度生成部４０により生成された状態値を用いて評価値を算出する例を説明したが、これに代えて又はこれと併せて、運動推定部４６により推定された運動状態を用いて評価値を算出してもよい。第二実施形態における得点算出部１１２、第三実施形態における得点算出部２４４についても同様である。
　上記した第一及び第二実施形態では、運動解析装置１４，１０２が難易度を自動的に設定する例を説明したが、これに代えて、リハビリテーションの施術者が難易度を手動で設定できる構成を採用してもよい。特に、第一実施形態では、難易度のレベル及び合格基準を予め対応付けておき、手動によるレベルの選択に応じて合格基準を設定できるように構成されてもよい。
［符号の説明］
　１０，１００，２００‥リハビリテーションシステム（運動解析システム）、１４，１０２，２０２‥運動解析装置、２４‥センサコントローラ（取得部）、４０，２４２‥確度生成部（演算部）、６０，１３０‥演算モデル、１１０‥目標生成部（演算部）、２４０‥データ取得部（取得部）

 

Claims (16)

  1. 　手足又は体幹の運動時における被解析者の生体信号を取得する取得部と、
    　前記取得部により取得される前記生体信号の時系列パターンを入力とする演算モデルに従って、前記被解析者の運動状態を推定するための状態値の時系列パターンを生成する演算部と、
    　前記演算部により生成される前記状態値の時系列パターンを用いて、前記被解析者の運動状態を推定する推定部と、
    　を備える運動解析装置。
  2. 　前記演算部により生成される前記状態値の時系列パターン又は前記推定部により推定される前記被解析者の運動状態に基づいて、前記被解析者の麻痺の度合い又は該麻痺からの回復の度合いを示す評価値を算出する算出部をさらに備える、
    　請求項１に記載の運動解析装置。
  3. 　前記演算モデルは、前記状態値として運動状態毎の確度セットを出力し、
    　前記推定部は、前記演算部により生成される前記確度セットの時系列パターンを用いて前記被解析者の運動状態を推定する、
    　請求項２に記載の運動解析装置。
  4. 　前記推定部は、前記確度セットのうち合格基準を満たす確度がある場合、前記確度に対応する運動状態を前記被解析者の運動状態として推定する、
    　請求項３に記載の運動解析装置。
  5. 　前記算出部は、前記被解析者による所与の運動の遂行度を示す得点を前記評価値として算出し、
    　前記算出部により算出される前記得点に応じて前記合格基準を設定する設定部をさらに備える、
    　請求項４に記載の運動解析装置。
  6. 　前記演算モデルは、典型的な健常者に対応する前記生体信号の時系列パターンを学習用データとする機械学習によって定められる、
    　請求項３～５のいずれか１項に記載の運動解析装置。
  7. 　前記演算モデルは、前記生体信号の時系列パターンを入力とし、前記確度セットの時系列パターンを出力とする再帰型ニューラルネットワークである、
    　請求項６に記載の運動解析装置。
  8. 　前記演算モデルは、前記状態値として前記生体信号の目標値を出力し、
    　前記推定部は、前記被解析者から取得される前記生体信号の時系列パターンと、前記演算部により生成される前記目標値の時系列パターンとを比較評価し、前記被解析者の運動状態を推定する、
    　請求項１に記載の運動解析装置。
  9. 　前記比較評価は、時間を座標軸とするグラフ同士の形状の類似度に関する評価である、
    　請求項８に記載の運動解析装置。
  10. 　前記比較評価は、時系列パターンの各変数を座標軸とするプロット同士の分布の類似度に関する評価である、
    　請求項８に記載の運動解析装置。
  11. 　前記演算モデルは、前記被解析者から過去に取得された前記生体信号の時系列パターンを学習用データとする機械学習によって定められる、
    　請求項８～１０のいずれか１項に記載の運動解析装置。
  12. 　前記演算モデルは、前記状態値として運動状態毎の確度セットを出力可能に構成される第一演算モデル及び第二演算モデルであり、
    　前記算出部は、前記第一演算モデルに従って出力される前記確度セットを用いて、前記被解析者による所与の運動の遂行度を示す得点を前記評価値として算出し、
    　前記算出部により算出される前記得点に応じて前記第二演算モデルに対して再学習又は追加学習を行う学習部をさらに備える、
    　請求項２に記載の運動解析装置。
  13. 　前記推定部により推定された前記運動状態が、前記被解析者が試行した所与の運動状態とは異なる場合、前記被解析者が前記所与の運動状態に移行するための補助動作を指示する制御信号を、前記補助動作を行う運動補助装置に向けて出力する出力制御部をさらに備える、
    　請求項１に記載の運動解析装置。
  14. 　請求項１～１３のいずれか１項に記載の運動解析装置と、
    　前記運動解析装置と通信可能なサーバ装置と、
    　を備え、
    　前記サーバ装置は、
    　　前記演算モデルの再学習又は追加学習を通じて、前記演算モデルの演算規則を特定する学習パラメータ群を更新する学習部と、
    　　前記学習部により更新された前記学習パラメータ群を前記運動解析装置に提供する提供部と、
    　を備える運動解析システム。
  15. 　１又は複数のコンピュータを、
    　手足又は体幹の運動時における被解析者の生体信号を取得する取得部、
    　前記取得部により取得される前記生体信号の時系列パターンを入力とする演算モデルに従って、前記被解析者の運動状態を推定するための状態値の時系列パターンを生成する演算部、
    　前記演算部により生成される前記状態値の時系列パターンを用いて、前記被解析者の運動状態を推定する推定部と、
    　として機能させる運動解析プログラムを格納した記憶媒体。
  16. 　請求項１３に記載の運動解析装置と、
    　前記運動解析装置からの制御信号に応じて被解析者が所与の運動を行うための補助動作を行う運動補助装置と、
    　を備えるリハビリテーションシステム。

     
PCT/JP2021/020160 2020-05-28 2021-05-27 運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム WO2021241676A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022526631A JPWO2021241676A1 (ja) 2020-05-28 2021-05-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-092916 2020-05-28
JP2020092916 2020-05-28

Publications (1)

Publication Number Publication Date
WO2021241676A1 true WO2021241676A1 (ja) 2021-12-02

Family

ID=78744638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020160 WO2021241676A1 (ja) 2020-05-28 2021-05-27 運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム

Country Status (2)

Country Link
JP (1) JPWO2021241676A1 (ja)
WO (1) WO2021241676A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360598A (zh) * 2023-03-30 2023-06-30 无锡超体生命科技有限公司 基于脑电波的运动想象动作控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179453A1 (en) * 2008-11-14 2010-07-15 University Of Southern California Upper Limb Measurement and Rehabilitation Method and System
JP2015146908A (ja) * 2014-02-06 2015-08-20 国立研究開発法人理化学研究所 リハビリ装置
JP2017055913A (ja) * 2015-09-15 2017-03-23 株式会社東芝 動作フォーム判定装置、判定方法、判定プログラム、判定システム
JP2017192632A (ja) * 2016-04-22 2017-10-26 トヨタ自動車株式会社 上肢リハビリ支援装置及びその制御方法
JP2018026131A (ja) * 2016-08-09 2018-02-15 ダンロップスポーツ株式会社 動作解析装置
JP2018029728A (ja) * 2016-08-23 2018-03-01 学校法人明治大学 リハビリテーション装置及びリハビリテーション方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179453A1 (en) * 2008-11-14 2010-07-15 University Of Southern California Upper Limb Measurement and Rehabilitation Method and System
JP2015146908A (ja) * 2014-02-06 2015-08-20 国立研究開発法人理化学研究所 リハビリ装置
JP2017055913A (ja) * 2015-09-15 2017-03-23 株式会社東芝 動作フォーム判定装置、判定方法、判定プログラム、判定システム
JP2017192632A (ja) * 2016-04-22 2017-10-26 トヨタ自動車株式会社 上肢リハビリ支援装置及びその制御方法
JP2018026131A (ja) * 2016-08-09 2018-02-15 ダンロップスポーツ株式会社 動作解析装置
JP2018029728A (ja) * 2016-08-23 2018-03-01 学校法人明治大学 リハビリテーション装置及びリハビリテーション方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360598A (zh) * 2023-03-30 2023-06-30 无锡超体生命科技有限公司 基于脑电波的运动想象动作控制方法及系统
CN116360598B (zh) * 2023-03-30 2024-03-26 无锡超体生命科技有限公司 基于脑电波的运动想象动作控制方法及系统

Also Published As

Publication number Publication date
JPWO2021241676A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US11944446B2 (en) Apparatus, method, and system for pre-action therapy
CN110322947B (zh) 一种基于深度学习的高血压老年人运动处方推荐方法
Su et al. Kinect-enabled home-based rehabilitation system using Dynamic Time Warping and fuzzy logic
Xiao et al. Towards the development of a wearable feedback system for monitoring the activities of the upper-extremities
US10299738B2 (en) Game-based sensorimotor rehabilitator
Yurtman et al. Automated evaluation of physical therapy exercises using multi-template dynamic time warping on wearable sensor signals
EP3703067A1 (en) System and method for pre-movement and action training and control
US11547344B2 (en) System and method for post-stroke rehabilitation and recovery using adaptive surface electromyographic sensing and visualization
Kashi et al. A machine-learning model for automatic detection of movement compensations in stroke patients
Frullo et al. Effects of assist-as-needed upper extremity robotic therapy after incomplete spinal cord injury: a parallel-group controlled trial
Hua et al. Evaluation of machine learning models for classifying upper extremity exercises using inertial measurement unit-based kinematic data
US20220019284A1 (en) Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments
US20220409098A1 (en) A wearable device for determining motion and/or a physiological state of a wearer
WO2021241676A1 (ja) 運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム
Pogrzeba et al. Analysis and quantification of repetitive motion in long-term rehabilitation
Alfakir et al. Detection of low back physiotherapy exercises with inertial sensors and machine learning: Algorithm development and validation
Gharaei et al. Optimizing the setting of medical interactive rehabilitation assistant platform to improve the performance of the patients: A case study
Vieweg et al. Effects of age simulation and age on motor sequence learning: Interaction of age-related cognitive and motor decline
Lukacs et al. Wrist rehabilitation in carpal tunnel syndrome by gaming using EMG controller
Geman et al. Mathematical models used in intelligent assistive technologies: Response surface methodology in software tools optimization for medical rehabilitation
Howard et al. Non-contact versus contact-based sensing methodologies for in-home upper arm robotic rehabilitation
Brzostowski et al. Analysis of human arm motions recognition algorithms for system to visualize virtual arm
Saha et al. A Kinect-based motor rehabilitation system for stroke recovery
CN116158944B (zh) 模态自定义映射康复辅助的控制方法、终端设备及介质
Zhang et al. A sensor-based virtual piano biofeedback system for stroke rehabilitation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21812859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022526631

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21812859

Country of ref document: EP

Kind code of ref document: A1