WO2019022259A1 - 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム - Google Patents

筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム Download PDF

Info

Publication number
WO2019022259A1
WO2019022259A1 PCT/JP2018/028492 JP2018028492W WO2019022259A1 WO 2019022259 A1 WO2019022259 A1 WO 2019022259A1 JP 2018028492 W JP2018028492 W JP 2018028492W WO 2019022259 A1 WO2019022259 A1 WO 2019022259A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
pattern
tongue
subject
motion
Prior art date
Application number
PCT/JP2018/028492
Other languages
English (en)
French (fr)
Inventor
達也 關
利明 石井
山田　裕之
文誉 田村
武 菊谷
Original Assignee
株式会社メルティンＭｍｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メルティンＭｍｉ filed Critical 株式会社メルティンＭｍｉ
Priority to CN201880025306.9A priority Critical patent/CN110536636A/zh
Priority to JP2019502118A priority patent/JP6521420B1/ja
Priority to US16/486,006 priority patent/US20200046284A1/en
Priority to EP18837274.2A priority patent/EP3711667A4/en
Publication of WO2019022259A1 publication Critical patent/WO2019022259A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205—Evaluating swallowing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a system, method, and program for recognizing an operation derived from a myoelectric signal.
  • the intraoral sensor is attached to the intraoral area, and in order to measure the pressure applied from the tongue in the oral cavity, the tongue movement operation in which the tongue does not contact the sensor, or the jaw movement other than the tongue movement movement, throat movement The motion could not be detected.
  • the present invention relates to a system, method, and program for recognizing an operation derived from electromyography, which includes at least two of a jaw movement operation, a tongue movement operation and a throat movement operation. Intended to be provided.
  • the present invention aims to provide a system, method and program for evaluating a subject's exercise.
  • the system for recognizing the motion derived from the myoelectric signal comprises: detection means for detecting the myoelectric signal indicating muscle activity of a plurality of muscles; and predetermined processing for the detected myoelectric signal Processing means for outputting a processed myoelectric signal, and a pattern contained in the processed myoelectric signal is a pattern of jaw movement motion, a pattern of tongue movement motion, a pattern of throat movement motion Determining means for determining which one of a plurality of operation patterns including at least two of the above.
  • the predetermined processing includes frequency analysis processing
  • the processed myoelectric signal includes time series data of the frequency distribution of the myoelectric signal.
  • the frequency analysis process includes a short time FFT.
  • the predetermined process further includes a signal strength extraction process
  • the processed myoelectric signal further includes time-series data of the signal strength of the myoelectric signal.
  • the determination means is a learning means for learning at least two of a teacher pattern of jaw movement motion, a teacher pattern of tongue movement motion, and a teacher pattern of throat movement motion, and the processed
  • a calculation unit that calculates the similarity between the pattern included in the myoelectric signal and the teacher pattern, and a determination unit that determines whether the similarity exceeds a predetermined threshold.
  • the detection means comprises an myoelectric sensor comprising two pairs of measurement electrodes, wherein the two pairs of measurement electrodes comprise at least two of a jaw muscle, a tongue muscle and a throat muscle. It is configured to be able to detect an EMG signal indicative of muscle activity.
  • the method for recognizing the movement from which the myoelectric signal of the present invention is derived includes detecting the myoelectric signal indicating muscle activity of a plurality of muscles, and performing predetermined processing on the detected myoelectric signal. And outputting the processed EMG signal, and the pattern included in the processed EMG signal is a motion pattern of jaw movement, a motion pattern of tongue movement, and a motion pattern of throat movement. And determining whether it is one or more of a plurality of operation patterns including at least two.
  • a program for recognizing an operation derived from myoelectric signals according to the present invention is executed in a computer device provided with a processor unit, and the program, when executed, receives the myoelectric signals indicating muscle activity of a plurality of muscles Outputting a processed myoelectric signal by performing predetermined processing on the received myoelectric signal, and a pattern included in the processed myoelectric signal is
  • the processor includes processing to determine whether it is one or more of a plurality of motion patterns including at least two of a motion pattern, a tongue motion motion pattern, and a throat motion motion pattern. Let the department do.
  • the present invention provides, for example, the following.
  • a system for evaluating a subject's movement comprising: Detection means for detecting an electromyographic signal indicative of muscle activity of a subject when the subject performs a movement intended for a predetermined movement including jaw movement, tongue movement, or throat movement; Processing means for outputting a processed myoelectric signal by performing predetermined processing on the detected myoelectric signal; Determining means for determining the level of movement of the subject in the predetermined movement based on a pattern included in the processed myoelectric signal.
  • (Item 2) The system according to Item 1, wherein the predetermined processing includes frequency analysis processing, and the processed myoelectric signal includes time series data of a frequency distribution of the myoelectric signal.
  • the determining means is The teaching pattern of the jaw movement movement, the teacher pattern of the tongue movement movement, and the teacher pattern of the throat movement movement so as to output the similarity to the electromyogram when there is no disorder in the predetermined movement.
  • a process of learning using a teacher pattern of motion corresponding to a predetermined exercise is performed.
  • the determining means is The system according to any one of Items 1 to 4, comprising: calculation means for calculating the similarity between the pattern included in the processed myoelectric signal and the teacher pattern.
  • (Item 7) The system according to Item 5 or 6, wherein the process of learning is performed using a teacher pattern of jaw movement motion, a teacher pattern of tongue movement motion, and a teacher pattern of throat movement motion.
  • the learning process includes at least a teacher pattern of at least the opening and closing movement related to the movement of the jaw movement, a teacher pattern of at least tongue raising movement related to the movement of the tongue movement, a teacher pattern of right movement movement of the tongue, tongue
  • the detection means comprises an myoelectric sensor comprising two pairs of measurement electrodes, 10.
  • the pair of measurement electrodes according to any one of items 1 to 9, wherein the pair of measurement electrodes are configured to detect myoelectric signals indicative of muscle activity of jaw muscles, tongue muscles, or throat muscles.
  • a method for evaluating a subject's movement comprising Detecting an electromyogram indicative of muscle activity of a subject when the subject performs a movement intended for a predetermined movement including jaw movement, tongue movement, or throat movement; Outputting a processed myoelectric signal by performing predetermined processing on the detected myoelectric signal; Determining the movement level in the predetermined movement of the subject based on a pattern included in the processed myoelectric signal.
  • a program for evaluating the motion of a subject wherein the program is executed in a computer device provided with a processor unit, and the program is executed when: Receiving an EMG signal indicative of muscle activity of the subject when the subject performs a movement intended for a predetermined movement including jaw movement, tongue movement, or throat movement; Outputting a processed EMG signal by performing predetermined processing on the received EMG signal; A program that causes the processor unit to perform processing including determining an operation level in the predetermined exercise of the subject based on a pattern included in the processed myoelectric signal.
  • a classifier used to evaluate a subject's movement comprising: A detection means for detecting an electromyographic signal indicative of muscle activity of a muscle when a subject without a disorder in a predetermined movement including jaw movement, tongue movement or throat movement performs the predetermined movement; Processing means for outputting a processed myoelectric signal by performing predetermined processing on the detected myoelectric signal; A learning unit configured to learn a pattern included in the processed myoelectric signal as a pattern in the predetermined exercise.
  • the predetermined movement includes at least the opening and closing movement related to the movement of the jaw movement, the movement on the tongue at least in relation to the movement of the tongue movement, the movement of the tongue rightward movement, the movement of the tongue leftward movement, and the tongue forward 15.
  • a classifier according to item 14, comprising an action of extension and at least an action of emptying of the throat movement.
  • a method for constructing a classifier used to assess a subject's movement comprising Detecting an electromyographic signal indicative of muscle activity of a muscle when a subject without a disorder in a predetermined movement including jaw movement, tongue movement, or throat movement performs the predetermined movement; Outputting a processed myoelectric signal by performing predetermined processing on the detected myoelectric signal; Learning a pattern included in the processed myoelectric signal as a pattern in the predetermined exercise.
  • a program for constructing a classifier used to evaluate a subject's motion said program being executed on a computer device comprising a processor unit, said program being executed, Receiving an EMG signal indicative of muscle activity of a muscle when a subject without a disorder in a predetermined movement including jaw movement, tongue movement, or throat movement performs the predetermined movement; Outputting a processed myoelectric signal by performing predetermined processing on the detected myoelectric signal; And D. learning the pattern included in the processed myoelectric signal as the pattern in the predetermined exercise.
  • a system, method, and method for recognizing an operation from which electromyographic signals are derived the operation including at least two of jaw movement movement, tongue movement movement, and throat movement movement.
  • the program can be provided.
  • FIG. 1 It is a figure which shows a mode that the electromyographic device 100 was mounted
  • (A) is a graph showing an example of an output after the system of the present invention performs a predetermined process on the myoelectric signal detected by the electromyographic device 100 when the subject performs a jaw movement operation.
  • (B) shows an example of an output after the system of the present invention performs predetermined processing on the myoelectric signal detected by the electromyographic device 100 when the subject performs a tongue movement operation.
  • FIG. 2 is a block diagram showing an example of the configuration of a computer device 200. It is a flowchart which shows an example of the process for recognizing the operation
  • movement from which myoelectric signal originates. 5 is a flowchart illustrating an example of a process 510 for evaluating a subject's exercise.
  • step S 503 The determination means 222 determines that the pattern included in the processed electromyographic signal includes at least two of a pattern of jaw movement motion, a pattern of tongue movement motion, and a pattern of throat movement motion. It is a flow chart which shows an example of processing which determines which of a plurality of operation patterns is one or more.
  • FIG. 17 is a flowchart showing an example of processing in step S513 (processing in which determination means 222 determines the motion level of jaw movement, tongue movement, or throat movement of a subject based on the pattern included in the processed electromyogram signal). .
  • Electromyographic Device FIG. 1 shows how an electromyographic device 100 is attached to a subject.
  • the myoelectric device 100 includes a first myoelectric sensor 111 and a second myoelectric sensor 112.
  • the first myoelectric sensor 111 comprises a pair of measurement electrodes 113, 113 'and a reference electrode (not shown)
  • the second myoelectric sensor 112 comprises a pair of measurement electrodes 114, 114', a reference And an electrode (not shown).
  • the first myoelectric sensor 111 detects a myoelectric signal from the electric signal measured by the pair of measurement electrodes 113, 113 'and the reference electrode.
  • the second myoelectric sensor 112 detects a myoelectric signal from the electrical signal measured by the pair of measurement electrodes 114, 114 'and the reference electrode.
  • the myoelectric signal is a signal indicating muscle activity of the body.
  • the pair of measurement electrodes 113, 113 'and the pair of measurement electrodes 114, 114' of the electromyographic device 100 are provided with electromyograms indicative of at least two muscle activities of jaw muscles, tongue muscles, and throat muscles. It is attached to a detectable subject's body position (eg, a position around the subject's throat). For example, a pair of measurement electrodes 113, 113 'are attached to the left side of the throat, and a pair of measurement electrodes 114, 114' are attached to the right side of the throat.
  • the pair of measurement electrodes 113, 113 'and the pair of measurement electrodes 114, 114' are symmetrical with respect to the throat.
  • the position of the subject's body on which the pair of measurement electrodes 113, 113 'and the pair of measurement electrodes 114, 114' are attached is a muscle that exhibits at least two muscle activities of jaw muscles, tongue muscles, and throat muscles.
  • the position may be any position at which an electrical signal can be detected, but preferably a position at which an electromyographic signal indicative of muscle activity of jaw muscle, tongue muscle, and throat muscle can be detected. This is because it becomes possible to identify three movements of the jaw movement movement, the tongue movement movement movement and the throat movement movement by the processing described later.
  • the position of such a subject's body may be, for example, the cheek, the side of the neck, etc. in addition to the position around the subject's throat
  • the reference electrodes of the first myoelectric sensor 111 and the second myoelectric sensor 112 may be a common reference electrode or separate reference electrodes.
  • the reference electrode is attached, for example, to the back of the subject's neck.
  • the first myoelectric sensor 111 comprises the muscle on the left side of the jaw, the muscle on the left side of the tongue, and the left side of the throat EMG signals indicative of at least two of the muscle activities can be detected.
  • the first myoelectric sensor 111 detects myoelectric signals indicative of muscle activity of the left muscle of the jaw, the left muscle of the tongue, and the left muscle of the throat.
  • the second myoelectric sensor 112 comprises the muscle on the right side of the jaw, the muscle on the right side of the tongue, and the right side of the throat EMG signals indicative of at least two of the muscle activities can be detected.
  • the second myoelectric sensor 112 detects myoelectric signals indicative of muscle activity of the right muscle of the jaw, the right muscle of the tongue, and the right muscle of the throat.
  • the myoelectric signals detected by the myoelectric device 100 are mixed with myoelectric signals indicating muscle activity of a plurality of muscles, and it is not possible to distinguish from what kind of operation myoelectric signal is derived as it is It is. Thus, myoelectric signals detected by the myoelectric device 100 are processed by the system of the present invention.
  • FIG. 2A shows an example of an output after the system of the present invention performs predetermined processing on the myoelectric signal detected by the electromyographic device 100 when the subject performs a jaw movement operation.
  • FIG. 2B shows an example of an output after the system of the present invention performs predetermined processing on the myoelectric signal detected by the electromyographic device 100 when the subject performs a tongue movement operation.
  • FIG. 2C shows an example of an output after the system of the present invention performs a predetermined process on the myoelectric signal detected by the electromyographic device 100 when the subject performs a throat movement operation.
  • FIG. 2A shows an example of an output after the system of the present invention performs predetermined processing on the myoelectric signal detected by the electromyographic device 100 when the subject performs a jaw movement operation.
  • FIG. 2B shows an example of an output after the system of the present invention performs predetermined processing on the myoelectric signal detected by the electromyographic device 100 when the subject performs a tongue movement operation.
  • FIG. 2C shows an example
  • the predetermined processing by the system of the present invention is, for example, frequency analysis processing such as short time FFT.
  • frequency analysis processing such as short time FFT.
  • time series data of frequency distribution can be obtained.
  • (A) of FIG. 2 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject performs the operation of opening and closing the mouth three times (opening and closing); B) shows time-series data of the frequency distribution obtained from the electromyography signal detected when the subject presses the tongue against the upper jaw (lifting tongue) three times, and
  • C) in FIG. The time-series data of the frequency distribution obtained from the myoelectric signal detected when the subject performs swallowing (air-dropping) operations three times with no substance in the mouth is shown.
  • the horizontal axis represents time series
  • the vertical axis represents frequency.
  • the upper side of the vertical axis is 0 Hz
  • the lower side of the vertical axis is 400 Hz.
  • the color on the graph represents the intensity of the frequency component. The darker the color, the weaker the frequency component, and the brighter the color, the stronger the frequency component.
  • the upper graph shows data derived from the output of the myoelectric sensor 111 attached to the left side of the subject's throat
  • the lower graph shows the right side of the subject's throat.
  • the frequency of the myoelectric signal is widely distributed over the entire frequency band of the myoelectric signal, and about 50 to about It is particularly strongly distributed evenly at 200 Hz, so that the frequency of the myoelectric signal is strong at about 50 to 200 Hz, and weak at high frequency bands above about 200 Hz, while being centered at about 100 Hz in tongue lift operation
  • the frequency of the myoelectric signal is distributed so as to be particularly strong at about 100 Hz and weak in high frequency bands above about 150 Hz.
  • the output after the system of the present invention performs predetermined processing on the myoelectric signals detected by the myoelectric device 100 includes at least an operation of jaw movement, an operation of tongue movement, or A specific pattern that can be associated with the movement of the throat movement is included, and by recognizing these patterns, whether the movement from which the detected electromyography signal originates is the movement of the jaw movement or the tongue movement It is possible to recognize whether it is the movement of the throat movement or the movement of the throat movement.
  • the motion derived from the detected EMG signal is a jaw movement motion, a tongue movement motion or a throat movement motion is, for example, the movement function of swallowing and chewing. It can be used for evaluation or rehabilitation.
  • the system of the present invention learns patterns of jaw movements, tongue movements and throat movements by a large number of healthy persons as teacher patterns, and performs jaw movements by subjects, tongue movements and throat movements.
  • the result of matching the motion pattern of and the teacher pattern can be used to determine the motion level in jaw movement, tongue movement, or throat movement.
  • the determination of the movement level may be to quantitatively determine the size of the movement performed by the subject based on the size of the movement of a healthy person, or whether the movement performed by the subject is normal or not May be determined qualitatively.
  • a medical staff member such as a doctor or a rehabilitation instructor can use the output from the system of the present invention as an indicator to finally evaluate and determine whether the subject's swallowing and chewing motor functions are normal.
  • the system of the present invention uses the result of matching the motion pattern of the jaw movement by the subject, the motion of the tongue movement, and the motion pattern of the throat movement with the teaching pattern based on the detected electromyogram signals.
  • the degree of movement or disorder of the tongue, or throat can be quantified.
  • Medical personnel such as a doctor or a rehabilitation instructor
  • the patient is trained on a specific movement among jaw movement, tongue movement, and throat movement, and the detected EMG signal is used as an evaluation index for proper movement.
  • the avatar of the subject may be displayed on a monitor to indicate the degree of exercise based on the detected electromyographic signal to the avatar of the subject in order to indicate whether the subject is performing proper motion. This allows the subject to objectively see how much exercise he or she intended is actually.
  • FIG. 3 shows an example of the configuration of system 10 for recognizing the operation from which myoelectric signals originate.
  • the movement from which the electromyogram is derived includes at least two of jaw movement movement, tongue movement movement and throat movement movement, but preferably jaw movement movement, tongue movement movement, throat It includes three motions of motion motion.
  • the system 10 comprises a myoelectric device 100 and a computer device 200.
  • the computer unit 200 is connected to a database unit 250.
  • the myoelectric device 100 and the computer device 200 are connected via a network.
  • the type of network does not matter.
  • the myoelectric device 100 and the computer device 200 may communicate with each other via the Internet or may communicate with each other via a LAN.
  • the myoelectric device 100 includes two myoelectric sensors 111 and 112 and a transmitter 115.
  • the myoelectric sensor 111 includes a pair of measurement electrodes 113 and 113 'and a reference electrode, as shown in FIG.
  • the myoelectric sensor 112 comprises a pair of measurement electrodes 114, 114 'and a reference electrode, as shown in FIG.
  • the myoelectric sensors 111, 112 may be any detection means capable of detecting myoelectric signals indicative of muscle activity of the body.
  • the myoelectric sensors 111 and 112 may include a primary amplifier, a high pass filter, a low pass filter, a notch filter, and a secondary amplifier for detecting myoelectric signals. Primary and secondary amplifiers are used to amplify the signal.
  • a high pass filter is used to attenuate signals of lower frequency than a predetermined frequency, eg, signals of frequency lower than about 10 Hz.
  • the low pass filter is used to attenuate signals of higher frequency than a predetermined frequency, for example, signals of frequency higher than about 400 Hz.
  • the notch filter is used to attenuate signals of a predetermined range of frequencies, for example, AC noise of 50 to 60 Hz, which is a typical electrical noise. It is also possible to use a band elimination filter instead of the notch filter.
  • the transmission unit 115 is configured to transmit a signal to the outside of the myoelectric device 100.
  • the transmission unit 115 transmits the signal to the outside of the myoelectric device 100 wirelessly or by wire.
  • the transmission unit 115 may transmit a signal using a wireless LAN such as Wi-fi.
  • the transmission unit 115 may transmit a signal using near field communication such as Bluetooth (registered trademark).
  • the transmission unit 115 transmits, to the computer device 200, myoelectric signals indicating muscle activity of a plurality of muscles of the body, including muscles of the jaw, muscles of the tongue, and muscles of the throat, detected by the myoelectric sensor.
  • FIG. 4 shows an example of the configuration of the computer apparatus 200.
  • the computer device 200 includes an interface unit 210, a processor unit 220, and a memory unit 230. As described above, the computer unit 200 is connected to the database unit 250.
  • the interface unit 210 is configured to control communication with the outside of the computer device 200.
  • the interface unit 210 can transmit information to the outside of the computer 200, and can receive information from the outside of the computer 200.
  • the interface unit 210 controls, for example, communication with the myoelectric device 100 or the database unit 250.
  • the interface unit 210 may control communication in any manner.
  • the communication may be wired communication or wireless communication.
  • the processor unit 220 controls the overall operation of the computer device 200.
  • the processor unit 220 reads a program stored in the memory unit 230 and executes the program.
  • the computer device 200 can function as a device that performs a desired step.
  • the processor unit 220 includes processing means 221 and determination means 222.
  • the processing means 221 is configured to output a processed myoelectric signal by performing a predetermined process on the input myoelectric signal.
  • the predetermined processing includes, for example, signal waveform drawing processing, signal strength extraction processing, and frequency analysis processing.
  • the signal waveform drawing process is a process of drawing the waveform of the detected myoelectric signal in time series. From this output, the waveform of the myoelectric signal itself can be confirmed.
  • the signal strength extraction process is a process of extracting the strength of the detected myoelectric signal and acquiring time series data.
  • the strength of the myoelectric signal is a value proportional to the power of the muscle from which the myoelectric signal is derived.
  • the signal strength extraction process may be, for example, a combination of full-wave rectification process and moving average process.
  • the frequency analysis process is a process of acquiring time series data of the frequency distribution of the detected myoelectric signal. Since the frequency distribution of the myoelectric signal differs for each muscle, it is possible to see differences in the main active muscle by performing frequency analysis processing. Moreover, according to the frequency analysis processing, even when the myoelectric signal intensity is weak, it is possible to observe muscle activity.
  • the frequency analysis process includes, for example, short time FFT. In the short time FFT, the FFT is performed on the myoelectric signal obtained in any short time (for example, about 0.01 seconds to about 1 second, preferably about 0.1 seconds or about 128/1600 seconds). It will be.
  • the response speed (the speed at which the output responds to the input) is increased, but the frequency resolution is lowered and the stability of the signal is not secured.
  • the time interval is increased (for example, about 256/1600 seconds)
  • the frequency resolution is increased, the response speed is decreased, so that the time accuracy becomes slow and it becomes impossible to evaluate in real time.
  • the longer the time interval the larger the amount of calculation, which leads to an increase in the cost of the apparatus.
  • the pattern included in the myoelectric signal has a response speed and a frequency that can distinguish the motion pattern of jaw movement, the motion pattern of tongue movement, and the motion pattern of throat movement It is possible to maintain resolution and to achieve both signal stability and real-time evaluation with relatively little computational effort.
  • the FFT is performed at intervals of about 0.1 seconds, that is, the FFT is performed on the myoelectric signal obtained in 0 to about 0.1 seconds, and obtained in about 0.1 to about 0.2 seconds.
  • FFT is performed on the myoelectric signal, and FFT is performed on the myoelectric signal obtained in about 0.2 to about 0.3 seconds,... (N-0.1) to n
  • An FFT is performed on the myoelectric signals obtained in seconds.
  • the determination means 222 determines that the pattern contained in the processed electromyography signal output from the processing means 221 is at least two of a pattern of jaw movement motion, a pattern of tongue movement motion, and a pattern of throat movement motion. Are configured to determine which one of a plurality of motion patterns including one or more of the plurality of motion patterns.
  • the determination means 222 performs pattern matching with the teacher pattern of the motion stored in the database unit 250, for example, so that the pattern included in the processed myoelectric signal is the pattern of the motion of the jaw movement, the motion of the tongue movement And at least one of a plurality of motion patterns including at least two of the throat motion motion patterns.
  • the determination means 222 is a learning means for learning at least two of a teacher pattern of jaw movement operation, a teacher pattern of tongue movement movement, and a teacher pattern of throat movement movement, and a processed myoelectric signal
  • the image processing apparatus may further comprise calculation means for calculating the degree of similarity with the teacher pattern, and determination means for determining whether the degree of similarity exceeds a predetermined threshold.
  • the learning means may learn a teacher pattern when nothing is moving. This is because even if the subject is not performing any operation, the myoelectric signal does not necessarily become zero due to the involuntary force or the influence of environmental noise. Thereby, the determination means 222 can determine that the pattern included in the processed myoelectric signal is a pattern when no operation is performed.
  • each of the plurality of patterns included in the processed myoelectric signal is any one of the plurality of motion patterns, even when the processing unit 222 includes the plurality of patterns. It can be determined whether it is a pattern. Thereby, even when the myoelectric signals are derived from complex motions, it is possible to recognize those motions.
  • the determination means 222 determines whether the subject's jaw movement, tongue movement or throat movement is based on a pattern included in the processed electromyogram output from the processing means 221. Behavioral levels can be determined or assessed to assess the presence or absence of a fault.
  • the determination means 222 performs, for example, pattern matching with the teacher pattern of the motion stored in the database unit 250, and based on the pattern included in the processed myoelectric signal, jaw movement, tongue movement or tongue movement of the subject. Determine the level of movement in the throat movement or assess the presence or absence of a disorder.
  • the determination means 222 includes a learning means for learning a teacher pattern of jaw movement operation, a teacher pattern of tongue movement movement, or a teacher pattern of throat movement movement, a processed electromyogram and a teacher pattern, A calculation unit may be provided to calculate the degree of similarity.
  • the determination means 222 may further include determination means for determining whether the degree of similarity exceeds a predetermined threshold. The determination means 222 can determine that the jaw movement, the tongue movement, or the throat movement of the subject is impaired, for example, when the similarity does not exceed a predetermined threshold.
  • the system 10 with such determination means 222 can be used to assess the subject's movement.
  • the memory unit 230 stores a program required to execute a process, data required to execute the program, and the like. For example, in the memory unit 230, processing for recognizing an operation derived from a myoelectric signal (for example, processing to be described later with reference to FIGS. 5A and 7A) and processing for evaluating exercise of a subject (for example, FIG. 5B, A program for realizing a process described later with FIG. 7B) or a process for constructing a classifier used to evaluate the motion of a subject may be stored.
  • the program may be pre-installed in the memory unit 230.
  • the program may be installed in the memory unit 230 by being downloaded via the network, or may be installed in the memory unit 230 via a storage medium such as an optical disk or USB. Good.
  • the user of the electromyography device 100 and the pattern of the jaw movement motion recognized from the electromyogram signal transmitted from the electromyogram device 100 may be stored in association with each other.
  • the teacher pattern of the jaw movement motion learned by the learning means of the determination means 222, the teacher pattern of the tongue movement motion, the teacher pattern of the throat movement motion, or nothing. Teacher patterns when not present may be stored.
  • weighting factors of each node of a neural network described later may be stored.
  • the example shown in FIG. 3 illustrates an example in which the myoelectric device 100 includes two myoelectric sensors 111 and 112, the number of myoelectric sensors is not limited thereto. It is also within the scope of the present invention that the myoelectric device 100 comprises more than two myoelectric sensors.
  • each component of the computer device 200 is provided in the computer device 200, but the present invention is not limited thereto. It is also possible that any of the components of the computer device 200 is provided outside the computer device 200.
  • each hardware component may be connected via an arbitrary network. At this time, the type of network does not matter.
  • Each hardware component may be connected via, for example, a LAN, may be wirelessly connected, or may be wired.
  • the database unit 250 is provided outside the computer device 200, but the present invention is not limited to this. It is also possible to provide the database unit 250 inside the computer device 200. At this time, the database unit 250 may be implemented by the same storage unit as the storage unit for implementing the memory unit 230 or may be implemented by a storage unit different from the storage unit for implementing the memory unit 230. In any case, the database unit 250 is configured as a storage unit for the computer device 200.
  • the configuration of the database unit 250 is not limited to a specific hardware configuration.
  • the database unit 250 may be configured by a single hardware component or may be configured by a plurality of hardware components.
  • the database unit 250 may be configured as an external hard disk drive of the computer device 200, or may be configured as storage on a cloud connected via a network.
  • FIG. 5A shows an example of a process 500 for recognizing the motion originating from the myoelectric signal. This process is performed in the system 10.
  • the movement from which the electromyogram is derived includes at least two of jaw movement movement, tongue movement movement and throat movement movement, but preferably jaw movement movement and tongue movement movement , Including three movements of the movement of the throat movement.
  • the first myoelectric sensor 111 and the second myoelectric sensor 112 of the myoelectric device 100 detect myoelectric signals indicating muscle activity of a plurality of muscles.
  • the first myoelectric sensor 111 detects a myoelectric signal using the pair of measurement electrodes 113, 113 'and a reference electrode.
  • the second myoelectric sensor 112 detects a myoelectric signal using the pair of measurement electrodes 114, 114 'and a reference electrode.
  • the myoelectric device 100 transmits the detected myoelectric signals to the computer device 200 via the transmission unit 115.
  • the computer device 200 receives the myoelectric signal detected through the interface unit 210.
  • step S502 the processing unit 221 of the processor unit 220 of the computer device 200 performs predetermined processing on the myoelectric signal detected by the myoelectric device 100 to output a processed myoelectric signal.
  • the predetermined processing includes, for example, signal waveform drawing processing, signal strength extraction processing, and frequency analysis processing.
  • the processed myoelectric signal output from the processing means 221 is provided to the determination means 222.
  • the determination unit 222 of the processor unit 220 determines that the pattern included in the processed electromyography signal is at least one of a pattern of jaw movement motion, a pattern of tongue movement motion, and a pattern of throat movement motion.
  • One of one or more of the operation patterns including one is determined.
  • the processed electromyographic signal includes at least a motion of jaw movement, a motion of tongue movement, or a specific pattern that can be associated with a motion of throat movement, and the determination means 222 determines these patterns. Is determined to be one or more of a motion pattern including at least two of a jaw motion motion pattern, a tongue motion motion pattern, and a throat motion motion pattern.
  • the determination means 222 determines whether the pattern contained in the processed myoelectric signal is a pattern of a jaw movement motion pattern, a tongue movement motion pattern, or a throat movement motion pattern by the process described later with reference to FIG. 7A. It is determined whether it is one or more of the operation patterns including at least two. At this time, the determination means 222 can also determine that the pattern included in the processed myoelectric signal is a pattern when no operation is performed. Alternatively, the determination means 222 can also determine whether the pattern included in the processed myoelectric signal is a pattern of a plurality of motions and which is a pattern of each of the plurality of motions.
  • the motion from which the electromyogram is derived is the motion of jaw motion, the motion of tongue motion, the motion of throat motion or a combined motion according to the above processing Can be recognized.
  • the system 10 of the present invention can be used to assess whether the subject's exercise is impaired or the subject's exercise activity level based on this.
  • FIG. 5B shows an example of a process 510 for evaluating a subject's motion. This process is performed in the system 10.
  • step S511 when the subject performs an exercise intended for a predetermined exercise including the jaw movement, the tongue movement, or the throat movement, the first electromyogram sensor 111 and the second electromyogram sensor 112 of the electromyogram device 100 EMG signals indicative of muscle activity of the muscles are detected. Since this step is the same as step S501 of the process 500, the description will be omitted.
  • step S512 the processing unit 221 of the processor unit 220 of the computer device 200 performs a predetermined process on the myoelectric signal detected by the myoelectric device 100, thereby outputting a processed myoelectric signal. Since this step is the same as step S502 of the process 500, the description will be omitted.
  • the determination means 222 of the processor unit 220 determines the movement level in the predetermined movement of the subject based on the pattern included in the processed myoelectric signal.
  • the processed EMG signal includes at least a movement of jaw movement of a healthy person, a movement of tongue movement of a healthy person, or a specific pattern that can be correlated with a movement of throat movement of a healthy person.
  • the determining means 222 determines the movement level in a predetermined movement including the jaw movement, the tongue movement or the throat movement of the subject based on these patterns.
  • the determination unit 222 determines whether the pattern included in the processed electromyographic signal, the pattern of the jaw movement motion of the healthy person, the pattern of the tongue movement motion of the healthy person, or the healthy person The degree of similarity with the pattern of movement of the subject's throat movement is calculated, and based on the degree of similarity, the movement level in a predetermined movement including the jaw movement, tongue movement, or throat movement of the subject is determined.
  • the determination means 222 may, for example, evaluate the presence or absence of a disorder in a predetermined movement including the jaw movement, the tongue movement, or the throat movement of the subject based on the similarity.
  • FIGS. 6A to 6J are graphs showing an example of the output after the frequency analysis processing by the processing means 221 in step S502.
  • the horizontal axis represents time series
  • the vertical axis represents frequency.
  • the upper side of the vertical axis is 0 Hz
  • the lower side of the vertical axis is about 400 Hz.
  • the color on the graph represents the intensity of the frequency component. The darker the color, the weaker the frequency component, and the brighter the color, the stronger the frequency component.
  • the upper graph shows data derived from the output of the myoelectric sensor 111 attached to the left side of the subject's throat
  • the lower graph shows the right side of the subject's throat.
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject performs the operation of opening and closing the mouth (opening and closing) three times.
  • the frequency of the myoelectric signal is particularly strongly evenly distributed at about 50 to about 200 Hz while being widely distributed throughout the frequency band of the myoelectric signal of about 10 to about 400 Hz.
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject continuously performs the operation of tapping the upper and lower teeth with each other (tapping).
  • the frequency of the myoelectric signal is particularly strongly evenly distributed at about 50 to about 200 Hz, with a broad distribution throughout the frequency band of the myoelectric signal of about 10 to about 400 Hz.
  • the frequency distribution and the signal strength fluctuate in the same cycle as tapping (for example, 0.1 seconds, 0.2 seconds, 0.3 seconds, 0.5 seconds, etc.).
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject presses the tongue against the upper jaw (lifting tongue) three times.
  • the frequency of the myoelectric signal is distributed so that about 50 to 200 Hz is strong and the high frequency band exceeding about 200 Hz is weak, with about 100 Hz as a center.
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject moves the tongue to the right (right movement) three times.
  • the frequency of the myoelectric signal is distributed so that about 50 to 200 Hz is strong and the high frequency band exceeding about 200 Hz is weak, with about 100 Hz as the center.
  • FIG. 6E shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject moves the tongue leftward (leftward movement) three times.
  • the frequency of the myoelectric signal is distributed so that about 50 to 200 Hz is strong and the high frequency band exceeding about 200 Hz is weak, with about 100 Hz as a center.
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject performs the operation of bringing the tongue forward (forward extension) three times.
  • the frequency of the myoelectric signal is distributed to be high around about 150 Hz.
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject moves the tongue left and right (right and left movement) continuously.
  • the frequency of the myoelectric signal is distributed so that about 50 to 200 Hz is strong and the high frequency band exceeding about 200 Hz is weak, with about 100 Hz as the center.
  • the frequency distribution and the signal strength fluctuate in the same cycle as the left and right operation (for example, about 0.5 seconds, about 1 second, etc.).
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject performs three times of swallowing (air-dropping) operations with no substance in the mouth .
  • the frequency of the myoelectric signal is distributed so as to be particularly strong at about 100 Hz and weak at high frequency bands above about 150 Hz.
  • the frequency and signal strength fluctuate so that there are two consecutive peaks in the time series.
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject performs a left-hand operation (left-side chewing) of chewing food on the left.
  • the frequency of the myoelectric signal is distributed around about 100 Hz, and the high frequency band above about 200 Hz is distributed so as to be weak.
  • the frequency distribution and the signal strength fluctuate in the same cycle as the eyelid (for example, about 0.1 seconds, about 0.2 seconds, about 0.3 seconds, about 0.5 seconds, etc.).
  • FIG. 6 shows time-series data of frequency distribution obtained from the myoelectric signal detected when the subject performs an operation in which the subject operates the right side of the eyelid-adjusted food (right eyelid).
  • the frequency of the myoelectric signal is distributed around about 100 Hz, and the high frequency band above about 200 Hz is distributed so as to be weak.
  • the frequency distribution and the signal strength fluctuate in the same cycle as the eyelid (for example, about 0.1 seconds, about 0.2 seconds, about 0.3 seconds, about 0.5 seconds, etc.).
  • FIG. 6 (A) shows the same data as FIG. 2 (A)
  • FIG. 6 (C) shows the same data as FIG. 2 (B)
  • FIG. 6 (H) Indicates the same data as (C) in FIG.
  • the opening / closing movement, the tongue raising movement, and the air-dropping movement are identified by the frequency distribution of the myoelectric signal and its time-series change. can do.
  • the EMG signals in the rightward movement operation and the leftward movement operation are stronger in the EMG signals in the tongue raising operation and the forward extension operation. It can be seen that it is higher than the strength of In this way, by comparing the strengths of the frequency components, it is possible to distinguish between the tongue raising operation and the forward extension operation, and the right side moving operation and the left side moving operation.
  • the band where the frequency component of the myoelectric signal in the tongue raising operation is strong is a low frequency band near 100 Hz (broken line in (C in FIG. 6). It can be seen that the frequency band where the frequency component of the myoelectric signal in the forward extension operation is strong is a frequency band larger than 100 Hz (the band surrounded by a broken line in (F) in FIG. 6).
  • the frequency distribution it is possible to distinguish between the tongue raising operation and the forward extension operation.
  • Table 1 shows a pattern of jaw movement motion, a pattern of tongue movement motion, and a motion pattern of tongue movement obtained from time series data of frequency distribution and corresponding signal intensity distribution shown in (A) to (H) of FIG. It is the table
  • the throat movement signal intensity is the largest
  • the jaw movement signal strength is the second largest
  • the tongue movement signal intensity is the weakest.
  • the two pairs of measurement electrodes (113, 113 ') (114, 114') of the myoelectric sensors 11, 12 are attached around the throat, so the myoelectric sensors 11, 12 cause muscle activity in the throat muscle.
  • the muscle in the jaw the muscle in the tongue, and the muscle in the throat, the muscle of the jaw is the largest muscle, resulting in the stronger detection of the myoelectric signal shown. That is, depending on the measurement position of the two pairs of measurement electrodes (113, 113 ') (114, 114'), the pattern of the signal strength may vary.
  • the signal intensity in the case of 5 times of operation is 10 seconds of operation Greater than signal strength. This is because it leads to swallowing that it is impossible to reduce the number of chewings, and the muscles in the throat are strained.
  • the motion patterns described above are patterns found only in healthy adults, and healthy children may exhibit different motion patterns. For example, in an electromyographic signal obtained from a child, in a time-series change of frequency in airborne motion, two consecutive peaks are not seen in a time series observed in a healthy adult, and one peak is taken There was no such thing. It is considered that this is because the child's muscles are underdeveloped and the swallowing operation is performed using only one of the tongue and throat muscles. Whether an adult pattern or a child pattern can be determined can be determined, for example, based on secondary sexual characteristics. For example, subjects with secondary sexual signs have adult patterns, and subjects with secondary sexual signs have child patterns.
  • the system 10 changes the EMG signal of the subject regardless of whether the subject is an adult or a child. It can be recognized whether the derived movement is a jaw movement movement, a tongue movement movement, a throat movement movement, or a combined movement.
  • the output results from such a system 10 can be used to evaluate or rehabilitate the swallowing and chewing motor functions of both adults and children.
  • FIG. 7A shows the process in step S503 (wherein the determination means 222 includes at least one of the pattern of jaw movement, the pattern of tongue movement, and the pattern of movement of throat movement). 7 shows an example of a process of determining which one of the operation patterns including two is one or more.
  • step S701 the learning means of the determination means 222 learns at least two of the teacher pattern of the jaw movement motion, the teacher pattern of the tongue movement motion, and the teacher pattern of the throat movement motion.
  • the determination means 222 learns at least two features of, for example, a teacher pattern of jaw movement motion, a teacher pattern of tongue movement motion, and a teacher pattern of throat movement motion received via the interface unit 210.
  • the teacher pattern the same processing as the processing by the processing means 221 described above is performed on the electromyographic signals obtained from a healthy person who has performed a jaw movement operation, a tongue movement operation, or a throat movement operation.
  • Pattern contained in the processed myoelectric signal obtained by The characteristics of the teacher pattern of the jaw movement motion, the teacher pattern of the tongue movement motion, and the characteristics of the teacher motion pattern of the throat movement are, for example, the characteristics of the signal intensity distribution and the characteristics of the frequency distribution as described in Table 1 , And may include time series features. According to the feature of the signal intensity distribution, it can be identified whether the muscle closest to the position where the measurement electrode is attached is active, and according to the feature of the frequency distribution, it is possible to identify the difference between the main active muscles. According to the time series feature, temporal changes in the strength and frequency of the myoelectric signal can be identified. The combination of these features makes it possible to clearly distinguish the patterns of jaw movement motion, tongue movement motion, and throat movement motion.
  • the features of the teacher pattern of the jaw movement movement, the teacher pattern of the tongue movement movement and the teacher pattern of the throat movement movement may also include, for example, features of the signal waveform.
  • the learning means may learn a teacher pattern when no operation is performed.
  • step S703 the calculation unit of the determination unit 222 calculates the similarity between the pattern included in the output (processed myoelectric signal) of the processing unit 221 after the processing in step S502 and the i-th teacher pattern. calculate.
  • the i-th teacher pattern is one of the teacher patterns learned in step S701.
  • the first teacher pattern is a teacher pattern of opening and closing movement of jaw movement
  • the second teacher pattern is a teacher pattern of tapping movement of jaw movement
  • the third teacher pattern is tongue raising movement of tongue movement Teacher pattern
  • the fourth teacher pattern is the teacher pattern of the right movement movement of the tongue movement
  • the fifth teacher pattern is the teacher pattern of the left movement movement of the tongue movement
  • the sixth teacher pattern is the tongue movement movement
  • the seventh teacher pattern may be a teacher pattern of right and left movement of the tongue movement
  • the eighth teacher pattern may be a teacher pattern of an empty swallow movement of the throat movement.
  • the calculation means can calculate the similarity between the output of the processing means 221 (the processed myoelectric signal) and the i-th training pattern using a known similarity calculation technique such as normalized cross correlation. .
  • step S704 it is determined whether the degree of similarity calculated in step S703 exceeds a predetermined threshold.
  • the predetermined threshold may be any value. As the predetermined threshold is higher, the reliability of the pattern determination process (step S503) is higher. For example, if the similarity calculated in step S703 takes a value of 0 to 1.0, the predetermined threshold may be, for example, a value in the range of 0.4 to 0.9, for example, 0.6. If it is determined in step S704 that the similarity calculated in step S703 does not exceed the predetermined threshold, the process proceeds to step S705.
  • step S705 the variable i is incremented. Steps S703 to S705 are repeated until it is determined in step S704 that the degree of similarity exceeds a predetermined threshold.
  • step S704 If it is determined in step S704 that the similarity calculated in step S703 exceeds the predetermined threshold, the process proceeds to step S706, and the process ends. This is because it is possible to determine that the specific pattern included in the output of the processing means 221 is the pattern of the operation indicated by the ith teacher pattern determined that the degree of similarity exceeds the predetermined threshold.
  • step S704 If it is determined in step S704 that none of the degrees of similarity calculated in step S703 exceeds the predetermined threshold value, it is determined that there is no movement, and the process can be terminated.
  • the training pattern to be learned may be a pattern included in a processed myoelectric signal obtained from a myoelectric signal obtained from a patient having a disability comparable to or milder than the subject.
  • it may be a pattern included in a processed myoelectric signal obtained from a myoelectric signal obtained from the subject itself.
  • the determination means 222 can perform evaluation in accordance with the subject's exercise level, which can lead to an increase in the subject's motivation. For example, comparing with the pattern of a patient who has a mild disorder than the subject, and displaying the result, the goal to be aimed by the subject becomes clear, and the subject's motivation increases.
  • the similarity with each teacher pattern is sequentially calculated until it is determined that the similarity exceeds the predetermined threshold, but the present invention is not limited to this.
  • the calculation unit of the determination unit 222 calculates the similarity between the output of the processing unit 221 (processed myoelectric signal) and each teacher pattern using a neural network. You may do so.
  • the neural network may be, for example, a multilayer perceptron having an input layer, a hidden layer, and an output layer.
  • the output layer of the multilayer perceptron may comprise as many output nodes as the number of operations to be identified.
  • the hidden layer of the multilayer perceptron may comprise any number of nodes.
  • the weighting factor of each node of the hidden layer of the multilayer perceptron may be calculated based on a combination of each teaching pattern and a teaching signal indicating what operation each teaching pattern is in the learning processing of step S701.
  • the weight coefficient of each node can be calculated such that the value of the output layer when a certain teacher pattern is input to the input layer becomes the value of the teaching signal corresponding to the teacher pattern. This is done, for example, by back propagation.
  • Each node of the neural network output layer for which the weighting factor of each node has been calculated in this manner is associated with the operation corresponding to each training pattern.
  • a teaching signal (1.0 for teaching the first teaching pattern and the opening and closing movement of the jaw movement)
  • teaching signal (0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0)
  • teaching that it is the second teacher pattern and tapping motion of jaw movement Of the third teaching pattern and the tongue movement
  • teaching signal (0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0)
  • teaching signal (0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0)
  • a teaching signal (0.0, 0.0, 0.0, 1.0, 0.0) that teaches that the fourth teaching pattern and the tongue movement are the right movement operation.
  • a teaching signal (0.0, 0.0, 0.0, and so on) that teaches the combination of 0.0, 0.0, and 0.0, and the fifth teaching pattern and the left movement operation of the tongue movement.
  • a teaching signal (0.0, 1.0, 1.0, 0.0, 0.0, 0.0) and a teaching pattern (0.0, 1.0) that teaches the sixth teaching pattern and forward movement of the tongue movement.
  • the ideal output of the neural network for which the weighting factor of each node is calculated in this way is, for example, when the processed myoelectric signal obtained from the electromyographic signal when performing the opening and closing operation of the jaw movement is input.
  • the first node of the output layer outputs 1.0, and the other nodes output 0.
  • an ideal output can hardly be obtained.
  • one or more nodes of the output layer will output a value in the range of 0-1.
  • the value of each node of the output layer corresponds to the degree of similarity between the input processed electromyogram signal and the respective teacher pattern corresponding to the operation associated with each node.
  • the processed muscle telegram entered
  • the pattern contained in the No. is slightly similar to the teacher pattern corresponding to the tapping motion of the jaw movement associated with the second node and corresponds to the rightward movement motion of the tongue movement associated with the fourth node It indicates that the training pattern is more similar and not similar to the training pattern corresponding to the operation associated with other nodes.
  • the predetermined threshold value is 0.5, it is determined that the pattern included in the input processed myoelectric signal is the pattern of the rightward movement of the tongue movement.
  • the processed muscle entered
  • the pattern included in the electric signal is a teacher pattern corresponding to the tongue raising operation of the tongue movement associated with the third node, the fourth node, and the eighth node respectively, the right movement movement of the tongue movement, and the emptying movement Similar to the teacher pattern corresponding to the forward extension movement of the tongue movement associated with the sixth node, and similar to the teacher pattern corresponding to the movement associated with the other nodes. Indicates that it is not At this time, for example, assuming that the predetermined threshold value is 0.5, it is determined that the pattern included in the input processed electromyogram is the pattern of the right movement movement of the tongue movement and the forward extension movement of the tongue movement Ru.
  • the process in step S503 is any one of one or more of a pattern of jaw movement, a pattern of tongue movement, and a pattern of movement of throat movement included in the processed myoelectric signal. It is a process to determine whether The movement pattern of the jaw movement includes the movement pattern of the opening and closing movement, the movement movement pattern of the tongue movement is the movement movement pattern of the tongue, the movement movement pattern of the tongue right movement, the movement movement pattern of the tongue left movement , Including a pattern of forward extension movement of the tongue, and a pattern of movement of the throat movement include a pattern of movement under the air. By identifying these patterns, it becomes possible to diagnose whether the subject has dysphagia or the level of movement in the swallowing operation.
  • the process in step S 503 identifies, in addition to the above-described patterns of movement, a movement pattern of tapping in jaw movement, and a movement pattern of tongue lateral movement in tongue movement. This makes it possible to improve the accuracy of the diagnosis of the motion level in the swallowing operation, whether or not the subject has dysphagia.
  • the learning means of the determination means 222 includes a teacher pattern of jaw movement operation including a teacher pattern of opening and closing movement, a teacher pattern of tongue elevation movement, and a right tongue movement movement.
  • the teaching pattern of the movement of the tongue movement including the teaching pattern of the movement of the left side of the tongue, the teaching pattern of the movement of the tongue including the movement of the forward extension movement of the tongue, and the teaching pattern of the movement of the throat movement including the teaching pattern of the emptying movement
  • the determination means 222 learns, for example, the features of the teacher pattern of the jaw movement motion received via the interface unit 210, the teacher pattern of the tongue movement motion, and the teacher pattern of the throat movement motion, and the database unit 250.
  • the characteristics of the teacher pattern of the jaw movement motion, the teacher pattern of the tongue movement motion, and the characteristics of the teacher motion pattern of the throat movement are, for example, the characteristics of the signal intensity distribution and the characteristics of the frequency distribution as described in Table 1 , And may include time series features. According to the feature of the signal intensity distribution, it can be identified whether the muscle closest to the position where the measurement electrode is attached is active, and according to the feature of the frequency distribution, it is possible to identify the difference between the main active muscles. According to the time series feature, temporal changes in the strength and frequency of the myoelectric signal can be identified. The combination of these features makes it possible to clearly distinguish the patterns of jaw movement motion, tongue movement motion, and throat movement motion.
  • the features of the teacher pattern of the jaw movement movement, the teacher pattern of the tongue movement movement and the teacher pattern of the throat movement movement may also include, for example, features of the signal waveform.
  • the learning means may learn a teacher pattern when no operation is performed.
  • the calculation means of the determination means 222 includes the pattern included in the output (processed myoelectric signal) of the processing means 221 after the processing in step S502, and the i-th teacher pattern Calculate the similarity of
  • the i-th teacher pattern is one of the teacher patterns learned in step S701.
  • the first teacher pattern is a teacher pattern of the opening and closing movement of the jaw movement
  • the second teacher pattern is a teacher pattern of the tongue raising movement of the tongue movement
  • the third teacher pattern is a right movement of the tongue movement
  • the fourth teacher pattern is the teacher pattern of the left side movement movement of the tongue movement
  • the fifth teacher pattern is the teacher pattern of the forward extension movement of the tongue movement
  • the sixth teacher pattern is the throat of the tongue movement. It is a teacher pattern of airborne motion of exercise.
  • the calculation means can calculate the similarity between the output of the processing means 221 (the processed myoelectric signal) and the i-th training pattern using a known similarity calculation technique such as normalized cross correlation. .
  • step S704 it is determined whether the degree of similarity calculated in step S703 exceeds a predetermined threshold.
  • the predetermined threshold may be any value. As the predetermined threshold is higher, the reliability of the pattern determination process (step S503) is higher. For example, if the similarity calculated in step S703 takes a value of 0 to 1.0, the predetermined threshold may be, for example, a value in the range of 0.4 to 0.9, for example, 0.6. If it is determined in step S704 that the similarity calculated in step S703 does not exceed the predetermined threshold, the process proceeds to step S705.
  • step S705 in the preferred embodiment, the variable i is incremented. Steps S703 to S705 are repeated until it is determined in step S704 that the degree of similarity exceeds a predetermined threshold.
  • step S704 If it is determined in step S704 in the preferred embodiment that the similarity calculated in step S703 exceeds the predetermined threshold, the process proceeds to step S706, and the process ends. This is because it is possible to determine that the specific pattern included in the output of the processing means 221 is the pattern of the operation indicated by the ith teacher pattern determined that the degree of similarity exceeds the predetermined threshold.
  • step S702 ′ instead of step S702, the calculation means of the determination means 222 uses the neural network to output the processed means 221 (processed myoelectric signal), each teacher pattern, and The degree of similarity of may be calculated.
  • step S701 the learning means of the determination means 222 learns in step S701 in step S503, but the learning means of the determination means 222 performs the same process as step S701 before starting the process 500.
  • step S701 is omitted in the process in step S503.
  • step S702 ′ instead of step S702, the calculation means of the determination means 222 calculates the similarity between the output of the processing means 221 (processed myoelectric signal) and each teaching pattern using a neural network.
  • the learning means of the determination means 222 can use a neural network to learn the teacher pattern of the motion to be identified.
  • the process of learning includes, for example, muscle muscles of a subject who does not have a disorder in a predetermined exercise including the at least two of jaw movement, tongue movement, or throat movement (that is, a healthy person) performs a predetermined exercise.
  • the electromyographic device detects an EMG signal indicating activity, the processor unit 220 receives the detected EMG signal, and the processor unit 220 performs a predetermined process on the received EMG signal. By doing, it includes outputting a processed myoelectric signal, and the processor unit 220 learning a pattern included in the processed myoelectric signal as a pattern in a predetermined exercise.
  • the predetermined process is, for example, the same process as the process by the processing unit 221 described above.
  • the process of learning may be performed using, for example, a teacher pattern of jaw movement motion, a teacher pattern of tongue movement motion, and a teacher pattern of throat movement motion, and preferably, a teacher of opening / closing movement Pattern, teacher pattern of tongue raising movement, teacher pattern of right movement of tongue, teacher pattern of movement of left side of tongue, teacher pattern of forward extension movement of tongue, and teacher pattern of emptying movement It may be performed using
  • the decision means 222 subjected to learning processing using these patterns is useful as an index in diagnosis of dysphagia, a movement teacher pattern of the opening and closing mouth, a movement pattern of the tongue elevation, a movement pattern of the right side movement of the tongue It becomes possible to use as a classifier capable of identifying the pattern of movement of the left side movement of the tongue, the pattern of movement of the forward extension of the tongue, and the pattern of movement of the blank.
  • a teacher pattern of opening and closing movement, a teacher pattern of tapping movement, a teacher pattern of tongue raising movement, a teacher pattern of right tongue movement movement, a teacher pattern of tongue left movement movement, tongue It may be performed using a teacher pattern of forward extension movement, a teacher pattern of movement of left and right movement of the tongue, and a teacher pattern of empty movement.
  • the determination means 222 subjected to the learning process using these patterns is further useful as an index in the diagnosis of dysphagia, a pattern of movement of opening and closing, a pattern of movement of tapping, a pattern of movement of tongue elevation, tongue It is possible to identify the movement pattern of the right side movement, the movement pattern of the left side movement of the tongue, the movement pattern of the forward extension movement of the tongue, the movement movement pattern of the tongue left and right movement, and the movement pattern of the emptying It can be used as a classifier.
  • FIG. 7B shows an example of the processing in step S513 (processing in which the determination means 222 determines the movement level in jaw movement, tongue movement or throat movement of the subject based on the pattern included in the processed electromyogram signal). Show.
  • step S711 the learning means of the determination means 222 learns the teacher pattern of the movement corresponding to the predetermined movement among the teacher pattern of the jaw movement movement, the teacher pattern of the tongue movement movement and the teacher pattern of the throat movement movement.
  • the determination means 222 learns, for example, a teacher pattern of jaw movement motion received via the interface unit 210, a teacher pattern of tongue movement motion, or a teacher pattern of throat movement motion, and stores it in the database unit 250.
  • the teacher pattern the same processing as the processing described above is performed on the electromyographic signals obtained from the healthy subject who has performed the jaw movement operation, the tongue movement operation, or the throat movement operation.
  • Pattern contained in the processed myoelectric signal obtained by The characteristics of the teacher pattern of the jaw movement motion, the teacher pattern of the tongue movement motion, and the characteristics of the teacher motion pattern of the throat movement are, for example, the characteristics of the signal intensity distribution and the characteristics of the frequency distribution as described in Table 1 , And may include time series features. According to the feature of the signal intensity distribution, it can be identified whether the muscle closest to the position where the measurement electrode is attached is active, and according to the feature of the frequency distribution, it is possible to identify the difference between the main active muscles. According to the time series feature, temporal changes in the strength and frequency of the myoelectric signal can be identified. The combination of these features makes it possible to clearly distinguish the patterns of jaw movement motion, tongue movement motion, and throat movement motion.
  • the features of the teacher pattern of the jaw movement movement, the teacher pattern of the tongue movement movement and the teacher pattern of the throat movement movement may also include, for example, features of the signal waveform.
  • step S712 the calculation means of the determination means 222 calculates the similarity between the pattern included in the output (processed myoelectric signal) of the processing means 221 after the processing in step S512 and the teacher pattern.
  • the calculation means can calculate the similarity between the output of the processing means 221 (the processed myoelectric signal) and the teacher pattern using a known similarity calculation technique such as normalized cross correlation.
  • the calculation means may calculate the similarity between the output (processed myoelectric signal) of the processing means 221 and the teacher pattern using the above-mentioned neural network.
  • the above-described degree of similarity can be used, for example, by the determination means 222 to determine the subject's motion level.
  • the similarity is expressed in the range of 0 to 1.0
  • the similarity of 1.0 indicates that the operation level is about the same as that of the healthy person
  • the similarity lower than the predetermined threshold indicates that the operation is possible.
  • the similarity that is greater than the predetermined threshold but less than the similarity 1.0 indicates that the operation is possible but not as good as that of the normal person.
  • a similarity of 0.6 indicates that the operation level is about 20% of that of a healthy person, and a similarity degree of 0.7 indicates that the normal person operates
  • the similarity level 0.8 indicates that the motion level is about 60% relative to the motion level of the healthy person, and the similarity level 0.8 indicates that the motion level is about 40% of the level. It indicates that the movement level is about 80% of the movement level of a healthy person.
  • the similarity score of 1.0 corresponds to a healthy person
  • the same degree of air-dropping operation level as that of the above, and the similarity below the predetermined threshold indicates that the air-dropping can not be performed, and the similarity is greater than the predetermined threshold but less than the similarity 1.0 Indicates that although the airborne movement is possible, the throat movement is impaired and not as good as the airborne movement level of the normal subjects.
  • the similarity score of 0.6 indicates an operation level of about 20% as compared to the motion level of normal subjects in the air
  • the similarity score of 0.7 indicates health Indicates that the movement level is about 40% compared to the movement level of the lower arm in the elderly
  • the similarity level 0.8 is the movement level approximately 60% compared to the movement level in the lower arm of the healthy person
  • a similarity of 0.8 indicates an operation level of about 80% as compared to the operation level of normal subjects in the air.
  • the motion level based on the degree of similarity may be presented to the subject, for example, by displaying it on the monitor as a numerical value, or may be presented to the subject by letting the subject's avatar express exercise. May be This allows the subject to ascertain the level of his or her disability as compared to a healthy person. Alternatively, the subject performing rehabilitation can check the progress level of rehabilitation by presenting the operation level over time.
  • the above-described similarity can also be used, for example, to evaluate the presence or absence of a disorder in the subject's exercise. For example, it is determined whether the similarity calculated in step S712 exceeds a predetermined threshold, and if it is determined that the similarity calculated in step S712 does not exceed the predetermined threshold, the process proceeds to step S714 and the subject's If it is determined that there is a disorder in a predetermined exercise, and it is determined that the similarity calculated in step S 712 exceeds a predetermined threshold, the process proceeds to step S 715 to evaluate that there is no disorder in the predetermined exercise of the subject.
  • the predetermined threshold may be any value.
  • the predetermined threshold is higher, the reliability of the process (step S513) for evaluating the presence or absence of a failure is higher.
  • the predetermined threshold may be, for example, a value in the range of 0.4 to 0.9, for example, 0.7.
  • the predetermined threshold is 0.6.
  • a degree of similarity of 0.6 or less indicates that the swallowing movement is impaired, and a degree of similarity greater than 0.6 indicates that the swallowing movement is not impaired.
  • the presence or absence of a disorder in the subject's exercise may be evaluated by performing a plurality of actions. For example, if the number of actions whose similarity is greater than a predetermined threshold is less than a predetermined number among a plurality of actions, it indicates that the subject has a disorder in the exercise, and the action whose similarity is greater than a predetermined threshold is predetermined If it is more than a number, it may indicate that the subject has no disorder in the exercise.
  • the subject perform the jaw opening / closing movement, the tongue raising movement, the tongue right movement movement, the tongue left movement movement, the tongue forward extension movement, the emptying movement, Movement pattern included in EMG signal, teacher pattern of jaw opening and closing movement, teacher pattern of tongue raising movement, teacher pattern of right tongue movement movement, teacher pattern of tongue left movement movement, Assuming that the degree of similarity of the forward extension movement of the tongue with the teacher pattern of the movement in the lower arm is determined, assuming that the predetermined number is 4, the degree of similarity larger than the predetermined threshold among the similarities of six movements If the subject has less than four, it indicates that the subject has a disorder in swallowing or chewing movements, and if there is four or more similarities among the similarities of six movements, the subject has Swallowing or chewing It shows that there is no obstacle in motion.
  • the learning means of the determination means 222 learn in step S711 in step S513, but the learning means of the determination means 222 performs the same process as step S711 before starting the process 500.
  • the teacher pattern of the jaw movement movement, the teacher pattern of the tongue movement movement, and the teacher pattern of the movement corresponding to a predetermined movement of the throat movement movement may be learned in advance.
  • step S711 is omitted in the process in step S513.
  • the learning means of the determining means 222 may use a neural network to learn the teacher pattern of the motion to be identified.
  • the process of learning is, for example, an electromyographic signal indicating muscle activity of a muscle when a subject (ie healthy subject) without a disorder in a predetermined movement including jaw movement, tongue movement or throat movement performs a predetermined movement.
  • Processing is performed by the EMG detecting device, receiving the detected EMG signal by the processor unit 220, and performing predetermined processing on the received EMG signal by the processor unit 220.
  • the predetermined process is, for example, the same process as the process by the processing unit 221 described above.
  • the process of learning may be performed using, for example, a teacher pattern of jaw movement motion, a teacher pattern of tongue movement motion, and a teacher pattern of throat movement motion, and preferably, a teacher of opening / closing movement Pattern, teacher pattern of tongue raising movement, teacher pattern of right movement of tongue, teacher pattern of movement of left side of tongue, teacher pattern of forward extension movement of tongue, and teacher pattern of emptying movement It may be performed using
  • the decision means 222 subjected to learning processing using these patterns is useful as an index in diagnosis of dysphagia, a movement teacher pattern of the opening and closing mouth, a movement pattern of the tongue elevation, a movement pattern of the right side movement of the tongue It becomes possible to use as a classifier capable of identifying the pattern of movement of the left side movement of the tongue, the pattern of movement of the forward extension of the tongue, and the pattern of movement of the blank.
  • a teacher pattern of opening and closing movement, a teacher pattern of tapping movement, a teacher pattern of tongue raising movement, a teacher pattern of right tongue movement movement, a teacher pattern of tongue left movement movement, tongue It may be performed using a teacher pattern of forward extension movement, a teacher pattern of movement of left and right movement of the tongue, and a teacher pattern of empty movement.
  • the determination means 222 subjected to the learning process using these patterns is further useful as an index in the diagnosis of dysphagia, a pattern of movement of opening and closing, a pattern of movement of tapping, a pattern of movement of tongue elevation, tongue It is possible to identify the movement pattern of the right side movement, the movement pattern of the left side movement of the tongue, the movement pattern of the forward extension movement of the tongue, the movement movement pattern of the tongue left and right movement, and the movement pattern of the emptying It can be used as a classifier.
  • one teacher pattern whose degree of similarity exceeds a predetermined threshold is determined, but it is within the scope of the present invention to determine a plurality of teacher patterns whose degree of similarity exceeds a predetermined threshold. For example, by performing steps S703 to S704 on all of the learned teacher patterns, one or more teacher patterns determined to have the degree of similarity exceeding a predetermined threshold value are determined, and processed myoelectric signals are determined. Each of the plurality of included patterns may be determined to be an operation pattern indicated by each of the determined one or more teacher patterns.
  • step S702 ′ one or more teacher patterns determined that the similarity exceeds the predetermined threshold are determined from the output of the neural network, and each of the plurality of patterns included in the processed myoelectric signal is It may be determined that it is a pattern of operation indicated by each of the determined one or more teacher patterns.
  • step S703 to step S704 are performed on all of the learned teacher patterns, and one optimum teacher pattern is determined from one or more teacher patterns determined that the similarity exceeds the predetermined threshold.
  • one optimal training pattern may be determined from one or more training patterns determined that the similarity exceeds the predetermined threshold value from the output of the neural network.
  • Determining one optimal training pattern may be performed, for example, by determining a training pattern with the highest degree of similarity.
  • Determining an optimal one teacher pattern may be performed, for example, by collating with past data. For example, the tendency of movement is estimated from the result recognized in the latest recognition processing, and the teacher pattern of movement along the tendency is determined as one optimal teacher pattern. For example, after the pattern of the tongue raising motion is recognized in the last three recognition processes, if the similarity between the teacher pattern of the tongue raising motion and the teacher pattern of the forward extension movement exceeds a predetermined threshold If it is determined, the teacher pattern of the tongue raising motion is determined as one optimal teacher pattern from the result of the latest recognition process.
  • one optimal training pattern may be determined by any method, preferably, the tendency of motion is estimated from the result recognized in the latest recognition processing, and the training pattern of motion along the tendency is optimized. It is to decide as one teacher pattern. By taking past data into consideration, errors in pattern determination can be compensated.
  • the present invention is a system, method, and method for recognizing an operation from which electromyographic signals are derived, the operation including at least two of a jaw movement operation, a tongue movement operation, and a throat movement operation. Useful as a program provider.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Fuzzy Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

被験者の運動を評価するためのシステム（１０）は、顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段（１１１、１１２）と、前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段（２２１）と、前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段（２２２）とを備える。

Description

筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム
　本発明は、筋電信号が由来する動作を認識するためのシステム、方法、およびプログラムに関する。
　舌運動の動作を検出可能な口腔内センサが開発されている（例えば、特許文献１を参照）。
国際公開２０１３／０８５０３８号
　口腔内センサは、口腔内に取り付けられ、口腔内で舌から与えられる圧力を測定するため、舌とセンサとが接触しない舌運動の動作、または、舌運動以外の顎運動の動作、喉運動の動作を検出することができなかった。
　本発明は、筋電信号が由来する動作であって、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含む動作を認識するためのシステム、方法、およびプログラムを提供することを目的とする。
　さらに、本発明は、被験者の運動を評価するためのシステム、方法、およびプログラムを提供することを目的とする。
　本発明の筋電信号が由来する動作を認識するためのシステムは、複数の筋肉の筋活動を示す筋電信号を検出する検出手段と、前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、前記処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定する決定手段とを備える。
　一実施形態において、前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む。
　一実施形態において、前記周波数解析処理は、ショートタイムＦＦＴを含む。
　一実施形態において、前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む。
　一実施形態において、前記決定手段は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習する学習手段と、前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段と、前記類似度が所定の閾値を超えるか否かを判定する判定手段とを備える。
　一実施形態において、前記検出手段は、二対の測定電極を備える筋電センサを備え、前記二対の測定電極は、顎の筋肉、舌の筋肉、および、喉の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出可能なように構成される。
　本発明の筋電信号が由来する動作を認識するための方法は、複数の筋肉の筋活動を示す筋電信号を検出することと、前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、前記処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定することと含む。
　本発明の筋電信号が由来する動作を認識するためのプログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、複数の筋肉の筋活動を示す筋電信号を受信することと、前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、前記処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定することと含む処理を前記プロセッサ部に行わせる。
　本発明は、例えば、以下を提供する。
（項目１）
　被験者の運動を評価するためのシステムであって、前記システムは、
　顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
　前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段と
　を備える、システム。
（項目２）
　前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む、項目１に記載のシステム。
（項目３）
　前記周波数解析処理は、ショートタイムＦＦＴを含む、項目２に記載のシステム。
（項目４）
　前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む、項目２または項目３に記載のシステム。
（項目５）
　前記決定手段は、
　前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの前記所定の運動に対応する動作の教師パターンを用いて学習する処理が施されており、
　前記決定手段は、
　前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段と
　を備える、項目１～４のいずれか一項に記載のシステム。
（項目６）
　前記決定手段は、さらに、前記類似度に基づいて、前記所定の運動における障害の有無を評価する、項目５に記載のシステム。
（項目７）
　前記学習する処理は、顎運動の動作の教師パターンと、舌運動の動作の教師パターンと、喉運動の動作の教師パターンとを用いて施されている、項目５または６に記載のシステム。
（項目８）
　前記学習する処理は、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて施されている、項目７に記載のシステム。
（項目９）
　前記学習する処理は、さらに前記顎運動の動作に関するタッピングの動作の教師パターン、および、前記舌運動の動作に関する舌の左右移動の動作の教師パターンを用いて施されている、項目８に記載のシステム。
（項目１０）
　前記検出手段は、二対の測定電極を備える筋電センサを備え、
　前記二対の測定電極は、顎の筋肉、舌の筋肉、または、喉の筋肉の筋活動を示す筋電信号を検出可能なように構成される、項目１～９のいずれか一項に記載のシステム。
（項目１１）
　被験者の運動を評価するための方法であって、前記方法は、
　顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出することと、
　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
　前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
　含む、方法。
（項目１２）
　被験者の運動を評価するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
　顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を受信することと、
　前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
　前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
　含む処理を前記プロセッサ部に行わせる、プログラム。
（項目１３）
　被験者の運動を評価するために用いられる分類器であって、前記分類器は、
　顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
　前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習する学習手段と
　を備える、分類器。
（項目１４）
　前記所定の運動は、顎運動、舌運動、および、喉運動を含む、項目１３に記載の分類器。
（項目１５）
　前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、項目１４に記載の分類器。
（項目１６）
　前記所定の運動は、さらに前記顎運動の動作に関するタッピングの動作、および前記舌運動の動作に関する舌の左右移動の動作を含む、項目１５に記載の分類器。
（項目１７）
　被験者の運動を評価するために用いられる分類器を構築するための方法であって、前記方法は、
　顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出することと、
　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
　前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
　を含む、方法。
（項目１８）
　被験者の運動を評価するために用いられる分類器を構築するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
　顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を受信することと、
　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
　前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
　を含む処理を前記プロセッサ部に行わせる、方法。
　本発明によれば、筋電信号が由来する動作であって、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含む動作を認識するためのシステム、方法、およびプログラムを提供することができる。
　さらに、本発明によれば、被験者の運動を評価するためのシステム、方法、およびプログラムを提供することができる。
筋電デバイス１００を被験者に装着した様子を示す図である。 （Ａ）は、被験者が顎運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフであり、（Ｂ）は、被験者が舌運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフであり、（Ｃ）は、被験者が喉運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。 筋電信号が由来する動作を認識するためのシステム１０の構成の一例を示すブロック図である。 コンピュータ装置２００の構成の一例を示すブロック図である。 筋電信号が由来する動作を認識するための処理の一例を示すフローチャートである。 被験者の運動を評価するための処理５１０の一例を示すフローチャートである。 （Ａ）～（Ｂ）は、ステップＳ５０２において処理手段２２１による周波数解析処理後の出力の一例を示すグラフである。 （Ｃ）～（Ｆ）は、ステップＳ５０２において処理手段２２１による周波数解析処理後の出力の一例を示すグラフである。 （Ｇ）～（Ｊ）は、ステップＳ５０２において処理手段２２１による周波数解析処理後の出力の一例を示すグラフである。 ステップＳ５０３における処理（決定手段２２２が、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定する処理）の一例を示すフローチャートである。 ステップＳ５１３における処理（決定手段２２２が、処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定する処理）の一例を示すフローチャートである。
　以下、図面を参照しながら、本発明の実施の形態を説明する。
　本明細書において、「約」とは、後に続く数字の±１０％の範囲内をいう。
　１．筋電デバイス
　図１は、筋電デバイス１００を被験者に装着した様子を示す。
　筋電デバイス１００は、第１の筋電センサ１１１と第２の筋電センサ１１２とを備える。第１の筋電センサ１１１は、一対の測定電極１１３、１１３’と、基準電極（図示せず）とを備え、第２の筋電センサ１１２は、一対の測定電極１１４、１１４’と、基準電極（図示せず）とを備える。第１の筋電センサ１１１は、一対の測定電極１１３、１１３’と基準電極とによって測定される電気信号から筋電信号を検出する。第２の筋電センサ１１２は、一対の測定電極１１４、１１４’と基準電極とによって測定される電気信号から筋電信号を検出する。筋電信号は、身体の筋活動を示す信号である。
　筋電デバイス１００の一対の測定電極１１３、１１３’および一対の測定電極１１４、１１４’は、顎の筋肉、舌の筋肉、および喉の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出可能な被験者の身体の位置（例えば、被験者の喉の周囲の位置）に取り付けられる。例えば、一対の測定電極１１３、１１３’が喉仏の左側に取り付けられ、一対の測定電極１１４、１１４’が喉仏の右側に取り付けられる。一対の測定電極１１３、１１３’および一対の測定電極１１４、１１４’は喉仏に対して左右対称であることが好ましい。一対の測定電極１１３、１１３’および一対の測定電極１１４、１１４’が取り付けられる被験者の身体の位置は、顎の筋肉、舌の筋肉、および喉の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出可能な位置であれば、任意の位置であり得るが、好ましくは、顎の筋肉、舌の筋肉、および喉の筋肉の筋活動を示す筋電信号を検出可能な位置である。後述する処理により、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を識別することが可能になるからである。このような被験者の身体の位置は、例えば、被験者の喉の周囲の位置の他に、頬、首の側部等であり得る
　第１の筋電センサ１１１および第２の筋電センサ１１２の基準電極は、共通の基準電極であってもよいし、別個の基準電極であってもよい。基準電極は、例えば、被験者の首の後部に取り付けられる。
　基準電極と、被験者の喉の左側に取り付けられた一対の測定電極１１３、１１３’とによって、第１の筋電センサ１１１は、顎の左側の筋肉、舌の左側の筋肉、および喉の左側の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出することができる。好ましくは、第１の筋電センサ１１１は、顎の左側の筋肉、舌の左側の筋肉、および喉の左側の筋肉の筋活動を示す筋電信号を検出する。基準電極と、被験者の喉の左側に取り付けられた一対の測定電極１１４、１１４’とによって、第２の筋電センサ１１２は、顎の右側の筋肉、舌の右側の筋肉、および喉の右側の筋肉のうちの少なくとも２つの筋活動を示す筋電信号を検出することができる。好ましくは、第２の筋電センサ１１２は、顎の右側の筋肉、舌の右側の筋肉、および喉の右側の筋肉の筋活動を示す筋電信号を検出する。
　筋電デバイス１００によって検出された筋電信号には、複数の筋肉の筋活動を示す筋電信号が混在しており、そのままでは、どのような動作に由来する筋電信号であるか識別不可能である。そこで、筋電デバイス１００によって検出された筋電信号は、本発明のシステムによって処理される。
　図２の（Ａ）は、被験者が顎運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。図２の（Ｂ）は、被験者が舌運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。図２の（Ｃ）は、被験者が喉運動の動作をした場合に筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力の一例を示すグラフである。
　本発明のシステムによる所定の処理は、例えば、ショートタイムＦＦＴ等の周波数解析処理である。この周波数解析処理によると、周波数分布の時系列データを得ることができる。図２の（Ａ）は、被験者が口を開け閉めする（開閉口）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示し、図２の（Ｂ）は、被験者が舌を上顎に押し付ける（舌挙上）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示し、図２の（Ｃ）は、被験者が口に物が入っていない状態で飲み込む（空嚥下）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。図２の（Ａ）～（Ｃ）では、横軸が時系列を表し、縦軸が周波数を表す。縦軸の上が０Ｈｚであり、縦軸の下が４００Ｈｚである。グラフ上の色が周波数成分の強度を表し、色が暗い方が周波数成分が弱く、色が明るい方が周波数成分が強い。図２の（Ａ）～（Ｃ）のそれぞれにおいて、上側のグラフが、被験者の喉左側に取り付けられた筋電センサ１１１の出力由来のデータを示し、下側のグラフが、被験者の喉の右側に取り付けられた筋電センサ１１２の出力由来のデータを示す。
　図２の（Ａ）～（Ｃ）で筋電信号の周波数分布を比較すると、開閉口動作では、筋電信号の周波数は、筋電信号の周波数帯域全体に幅広く分布しつつ、約５０～約２００Ｈｚで特に強く均等に分布しており、舌挙上動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０～２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布しており、空嚥下動作では、筋電信号の周波数は、約１００Ｈｚが特に強く、約１５０Ｈｚを超える高周波数帯域は弱くなるように分布している。
　また、図２の（Ａ）～（Ｃ）で筋電信号の周波数分布の時系列変化を比較すると、開閉口動作では、時間経過で減衰しており、舌挙上動作では、時間経過で減衰しにくくなっており、空嚥下動作では、２つの大きな山が存在する。
　このように、筋電デバイス１００によって検出された筋電信号に対して、本発明のシステムが所定の処理を行った後の出力には、少なくとも、顎運動の動作、舌運動の動作、または、喉運動の動作と対応付けることが可能な特定のパターンが含まれており、これらのパターンを認識することにより、検出された筋電信号が由来する動作が、顎運動の動作であるか、舌運動の動作であるか、喉運動の動作であるかを認識することが可能である。
　検出された筋電信号が由来する動作が、顎運動の動作であるか、舌運動の動作であるか、喉運動の動作であるかを認識することは、例えば、嚥下・咀嚼の運動機能の評価またはリハビリに活用することができる。
　例えば、本発明のシステムは、多数の健常者による顎運動の動作、舌運動の動作、喉運動の動作のパターンを教師パターンとして学習し、被験者による顎運動の動作、舌運動の動作、喉運動の動作のパターンと教師パターンとをマッチングした結果を利用して、顎運動、舌運動、または喉運動における動作レベルを決定することができる。動作レベルの決定は健常者の動作の大きさを基準にして被験者が行った動作の大きさを定量的に決定するものであってもよいし、被験者の行った動作が正常であるか否かを定性的に決定するものであってもよい。医師またはリハビリの指導員などの医療関係者は、本発明のシステムからの出力を指標として、被験者の嚥下・咀嚼の運動機能が正常であるかどうかを最終的に評価判断し決定することができる。
　例えば、本発明のシステムは、検出された筋電信号に基づいて、被験者による顎運動の動作、舌運動の動作、喉運動の動作のパターンと教師パターンとをマッチングした結果を利用して、顎、舌、または喉の運動不良または障害の程度を定量化することができる。医療関係者（医師またはリハビリの指導員など）は、本発明のシステムからの出力を指標として、運動不良または障害の部位および程度に合わせて、適切なリハビリ指導を行うことができる。例えば、リハビリのために、顎運動、舌運動、喉運動のうちの特定の動作についてのトレーニングを患者に行わせ、適切な動作ができているかの評価指標として、検出された筋電信号を利用することもできる。被験者が適切な動作ができているかを示すために、被験者のアバターをモニターに表示し、検出された筋電信号に基づいた運動の程度を被験者のアバターに表現させるようにしてもよい。これにより、被験者は、自分の意図した運動が実際にはどの程度の運動であるかを客観的に見ることができる。
　例えば、多数の健常者による顎運動の動作、舌運動の動作、喉運動の動作のパターンを教師パターンとして学習することにより、顎運動、舌運動、または喉運動における動作レベルの決定精度を向上させることができる。しかしながら、上述した医療関係者による被験者の嚥下・咀嚼の運動機能の評価の目的においては、医療関係者の支援が目的であるため、動作レベルの決定精度が多少低くても（例えば、６０％、７０％等）問題はないことに留意されたい。
　２．筋電信号が由来する動作を認識するためのシステムの構成
　図３は、筋電信号が由来する動作を認識するためのシステム１０の構成の一例を示す。ここで、筋電信号が由来する動作は、顎運動の動作、舌運動の動作、喉運動の動作のうちの少なくとも２つを含むが、好ましくは、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を含む。
　システム１０は、筋電デバイス１００とコンピュータ装置２００とを備える。コンピュータ装置２００には、データベース部２５０が接続されている。筋電デバイス１００とコンピュータ装置２００とは、ネットワークを介して接続される。ここで、ネットワークの種類は問わない。例えば、筋電デバイス１００とコンピュータ装置２００とは、インターネットを介して相互に通信してもよいし、ＬＡＮを介して相互に通信してもよい。
　筋電デバイス１００は、２つの筋電センサ１１１、１１２と送信部１１５とを備える。
　筋電センサ１１１は、図１に示されるように、一対の測定電極１１３、１１３’と基準電極とを備える。筋電センサ１１２は、図１に示されるように、一対の測定電極１１４、１１４’と基準電極とを備える。筋電センサ１１１、１１２は、身体の筋活動を示す筋電信号を検出可能な任意の検出手段であり得る。例えば、筋電センサ１１１、１１２は、筋電信号の検出のために、１次アンプと、ハイパスフィルタと、ローパスフィルタと、ノッチフィルタと、２次アンプとを備えてもよい。１次アンプおよび２次アンプは、信号を増幅するために使用される。ハイパスフィルタは、所定の周波数より低い周波数の信号、例えば、約１０Ｈｚより低い周波数の信号を減衰させるために使用される。ローパスフィルタは、所定の周波数より高い周波数の信号、例えば、約４００Ｈｚより高い周波数の信号を減衰させるために使用される。ノッチフィルタは、所定の範囲の周波数の信号、例えば、代表的な電気ノイズである５０～６０ＨｚのＡＣノイズを減衰させるために使用される。ノッチフィルタに代えて、バンドエリミネーションフィルタを使用することも可能である。
　送信部１１５は、信号を筋電デバイス１００の外部に送信するように構成されている。送信部１１５は、無線または有線で信号を筋電デバイス１００の外部に送信する。例えば、送信部１１５は、Ｗｉ－ｆｉ等の無線ＬＡＮを利用して信号を送信してもよい。例えば、送信部１１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を利用して信号を送信してもよい。送信部１１５は、筋電センサによって検出された、顎の筋肉、舌の筋肉、および喉の筋肉を含む身体の複数の筋肉の筋活動を示す筋電信号をコンピュータ装置２００に送信する。
　図４は、コンピュータ装置２００の構成の一例を示す。
　コンピュータ装置２００は、インターフェース部２１０と、プロセッサ部２２０と、メモリ部２３０とを備える。上述したように、コンピュータ装置２００にはデータベース部２５０が接続されている。
　インターフェース部２１０は、コンピュータ装置２００の外部との通信を制御するように構成されている。インターフェース部２１０は、コンピュータ装置２００の外部に情報を送信することが可能であり、コンピュータ装置２００の外部から情報を受信することが可能である。インターフェース部２１０は、例えば、筋電デバイス１００またはデータベース部２５０との通信を制御する。インターフェース部２１０は、任意の方法で通信を制御し得る。通信は、有線通信であってもよいし、無線通信であってもよい。
　プロセッサ部２２０は、コンピュータ装置２００全体の動作を制御する。プロセッサ部２２０は、メモリ部２３０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータ装置２００を所望のステップを実行する装置として機能させることが可能である。
　プロセッサ部２２０は、処理手段２２１と決定手段２２２とを備える。
　処理手段２２１は、入力された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力するように構成されている。所定の処理は、例えば、信号波形描画処理、信号強度抽出処理、周波数解析処理を含む。信号波形描画処理は、検出された筋電信号の波形を時系列に描画する処理である。この出力により、筋電信号の波形そのものを確認することができる。信号強度抽出処理は、検出された筋電信号の強度を抽出し、時系列データを取得する処理である。筋電信号の強度は、筋電信号が由来する筋肉の発揮力に比例した値である。信号強度抽出処理は、例えば、全波整流処理と移動平均処理との組み合わせであり得る。周波数解析処理は、検出された筋電信号の周波数分布の時系列データを取得する処理である。筋肉ごとに筋電信号の周波数分布が異なるため、周波数解析処理を行うことにより、主活動筋の違いを見ることが可能である。また、周波数解析処理によると、筋電信号強度が微弱な場合であっても、筋活動を観測することが可能である。周波数解析処理は、例えば、ショートタイムＦＦＴを含む。ショートタイムＦＦＴでは、任意の短時間（例えば、約０．０１秒間～約１秒間、好ましくは、約０．１秒間または約１２８／１６００秒）に得られた筋電信号に対してＦＦＴが行われる。この時間間隔を短くするほど応答速度（入力に対して出力が応答する速度）が上がる一方で、周波数分解能が下がり、信号の安定性が担保されない。逆に、この時間間隔を長くするほど（例えば、約２５６／１６００秒～）周波数分解能が上がる一方で、応答速度が下がるため、時間精度が緩慢になりリアルタイムの評価ができなくなる。また、時間間隔が長いほど計算量が大きくなり、装置の高コスト化を招いてしまう。例えば、約０．１秒であれば、筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを識別可能な程度に応答速度と周波数分解能とを維持することができ、比較的に少ない計算量で、信号安定性とリアルタイムの評価とを両立することが可能である。例えば、約０．１秒間隔でＦＦＴが行われる、すなわち、０～約０．１秒に得られた筋電信号に対してＦＦＴが行われ、約０．１～約０．２秒に得られた筋電信号に対してＦＦＴが行われ、約０．２～約０．３秒に得られた筋電信号に対してＦＦＴが行われ、・・・（ｎ－０．１）～ｎ秒に得られた筋電信号に対してＦＦＴが行われる。ショートタイムＦＦＴによって得られた複数の周波数分布を結合することにより、周波数分布の時系列データを得ることができる。
　決定手段２２２は、処理手段２２１から出力された処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定するように構成されている。決定手段２２２は、例えば、データベース部２５０に格納されている動作の教師パターンとパターンマッチングを行うことにより、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む複数の動作のパターンのうちの１以上のいずれであるかを決定する。このとき、決定手段２２２は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習する学習手段と、処理済の筋電信号と教師パターンとの類似度を算出する算出手段と、類似度が所定の閾値を超えるか否かを判定する判定手段とを備えるようにしてもよい。学習手段は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンに加えて、何も動作をしていないときの教師パターンを学習してもよい。被験者が何も動作をしていない場合であっても、無意識に力が入ることや、環境のノイズの影響等によって、必ずしも筋電信号がゼロにならないからである。これにより、決定手段２２２は、処理済の筋電信号に含まれるパターンが、何も動作をしていないときのパターンであることを決定することが可能である。
　なお、決定手段２２２は、処理済の筋電信号に複数のパターンが含まれる場合にも、処理済の筋電信号に含まれる複数のパターンのそれぞれが、複数の動作のパターンのうちのいずれのパターンであるかを決定することができる。これにより、筋電信号が複合的な動作に由来する場合であっても、それらの動作を認識することが可能である。
　決定手段２２２は、上述した構成に加えてまたはこれに代えて、処理手段２２１から出力された処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定または障害の有無を評価するように構成されることができる。決定手段２２２は、例えば、データベース部２５０に格納されている動作の教師パターンとパターンマッチングを行うことにより、処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定するまたは障害の有無を評価する。このとき、決定手段２２２は、顎運動の動作の教師パターン、舌運動の動作の教師パターン、または、喉運動の動作の教師パターンを学習する学習手段と、処理済の筋電信号と教師パターンとの類似度を算出する算出手段を備えるようにしてもよい。決定手段２２２は、さらに、類似度が所定の閾値を超えるか否かを判定する判定手段とを備えるようにしてもよい。決定手段２２２は、例えば、類似度が所定の閾値を超えない場合に、被験者の顎運動、舌運動、または喉運動に障害が有ると決定することができる。このような決定手段２２２を備えるシステム１０は、被験者の運動を評価するために用いられることができるようになる。
　メモリ部２３０には、処理の実行に必要とされるプログラムやそのプログラムの実行に必要とされるデータ等が格納されている。例えば、メモリ部２３０には、筋電信号が由来する動作を認識するための処理（例えば、図５Ａ、図７Ａで後述する処理）、被験者の運動を評価するための処理（例えば、図５Ｂ、図７Ｂで後述する処理）、または被験者の運動を評価するために用いられる分類器を構築するための処理を実現するためのプログラムが格納されていてもよい。ここで、プログラムをどのようにしてメモリ部２３０に格納するかは問わない。例えば、プログラムは、メモリ部２３０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部２３０にインストールされるようにしてもよいし、光ディスクやＵＳＢ等の記憶媒体を介してメモリ部２３０にインストールされるようにしてもよい。
　データベース部２５０には、例えば、筋電デバイス１００の使用者と、筋電デバイス１００から送信された筋電信号から認識された顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターン、または、何も動作をしていないときのパターンとが関連付けて格納され得る。また、データベース部２５０には、決定手段２２２の学習手段によって学習された顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターン、または、何も動作をしていないときの教師パターンが格納され得る。データベース部２５０には、後述するニューラルネットワークの各ノードの重み係数が格納されるようにしてもよい。
　図３に示される例では、筋電デバイス１００が２つの筋電センサ１１１、１１２を備える例を説明したが、筋電センサの数はこれに限定されない。筋電デバイス１００が、３つ以上の筋電センサを備えることも本発明の範囲内である。
　図３および図４に示される例では、コンピュータ装置２００の各構成要素がコンピュータ装置２００内に設けられているが、本発明はこれに限定されない。コンピュータ装置２００の各構成要素のいずれかがコンピュータ装置２００の外部に設けられることも可能である。例えば、プロセッサ部２２０、メモリ部２３０のそれぞれが別々のハードウェア部品で構成されている場合には、各ハードウェア部品が任意のネットワークを介して接続されてもよい。このとき、ネットワークの種類は問わない。各ハードウェア部品は、例えば、ＬＡＮを介して接続されてもよいし、無線接続されてもよいし、有線接続されてもよい。
　図３および図４に示される例では、データベース部２５０は、コンピュータ装置２００の外部に設けられているが、本発明はこれに限定されない。データベース部２５０をコンピュータ装置２００の内部に設けることも可能である。このとき、データベース部２５０は、メモリ部２３０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部２３０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２５０は、コンピュータ装置２００のための記憶部として構成される。データベース部２５０の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２５０は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２５０は、コンピュータ装置２００の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。
　３．筋電信号が由来する動作を認識するための処理
　図５Ａは、筋電信号が由来する動作を認識するための処理５００の一例を示す。この処理は、システム１０において実行される。ここで、筋電信号が由来する動作は、顎運動の動作、舌運動の動作、および、喉運動の動作のうちの少なくとも２つを含むが、好ましくは、顎運動の動作、舌運動の動作、喉運動の動作の３つの動作を含む。
　ステップＳ５０１では、筋電デバイス１００の第１の筋電センサ１１１および第２の筋電センサ１１２が、複数の筋肉の筋活動を示す筋電信号を検出する。第１の筋電センサ１１１は、一対の測定電極１１３、１１３’と基準電極とを用いて筋電信号を検出する。第２の筋電センサ１１２は、一対の測定電極１１４、１１４’と基準電極とを用いて筋電信号を検出する。これらの筋電信号が検出されると、筋電デバイス１００は、検出された筋電信号をコンピュータ装置２００に送信部１１５を介して送信する。コンピュータ装置２００は、インターフェース部２１０を介して検出された筋電信号を受信する。
　ステップＳ５０２では、コンピュータ装置２００のプロセッサ部２２０の処理手段２２１が、筋電デバイス１００によって検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する。所定の処理は、例えば、信号波形描画処理、信号強度抽出処理、周波数解析処理を含む。処理手段２２１から出力された処理済の筋電信号は、決定手段２２２に提供される。
　ステップＳ５０３では、プロセッサ部２２０の決定手段２２２が、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する。処理済の筋電信号には、少なくとも、顎運動の動作、舌運動の動作、または、喉運動の動作と対応付けることが可能な特定のパターンが含まれており、決定手段２２２は、これらのパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する。決定手段２２２は、例えば、図７Ａで後述する処理によって、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する。このとき、決定手段２２２は、処理済の筋電信号に含まれるパターンが、何も動作をしていないときのパターンであることを決定することも可能である。あるいは、決定手段２２２は、処理済の筋電信号に含まれるパターンが、複数の動作のパターンであり、複数の動作のパターンのそれぞれがいずれのパターンであるかを決定することも可能である。
　上記処理により、筋電信号が由来する動作が、顎運動の動作であるか、または、舌運動の動作であるか、または、喉運動の動作であるか、あるいは、複合的な動作であるかを認識することができる。
　電信号が由来する動作が、顎運動の動作であるか、または、舌運動の動作であるか、または、喉運動の動作であるか、あるいは、複合的な動作であるかを認識することができるため、例えば、本発明のシステム１０は、これに基づいて、被験者の運動に障害が有るか否かまたは被験者の運動の動作レベルを評価することができる。
　図５Ｂは、被験者の運動を評価するための処理５１０の一例を示す。この処理は、システム１０において実行される。
　ステップＳ５１１では、筋電デバイス１００の第１の筋電センサ１１１および第２の筋電センサ１１２が、顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する。このステップは、処理５００のステップＳ５０１と同様であるため、説明を省略する。
　ステップＳ５１２では、コンピュータ装置２００のプロセッサ部２２０の処理手段２２１が、筋電デバイス１００によって検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する。このステップは、処理５００のステップＳ５０２と同様であるため、説明を省略する。
　ステップＳ５１３では、プロセッサ部２２０の決定手段２２２が、処理済の筋電信号に含まれるパターンに基づいて、被験者の所定の運動における動作レベルを決定する。処理済の筋電信号には、少なくとも、健常者の顎運動の動作、健常者の舌運動の動作、または、健常者の喉運動の動作と対応付けることが可能な特定のパターンが含まれており、決定手段２２２は、これらのパターンに基づいて、被験者の顎運動、舌運動、または喉運動を含む所定の運動における動作レベルを決定する。決定手段２２２は、例えば、図７Ｂで後述する処理によって、処理済の筋電信号に含まれるパターンと、健常者の顎運動の動作のパターン、健常者の舌運動の動作のパターン、または、健常者の喉運動の動作のパターンとの類似度を算出し、この類似度に基づいて被験者の顎運動、舌運動、または喉運動を含む所定の運動における動作レベルを決定する。決定手段２２２は、例えば、この類似度に基づいて被験者の顎運動、舌運動、または喉運動を含む所定の運動における障害の有無を評価するようにしてもよい。
　図６の（Ａ）～（Ｊ）は、ステップＳ５０２において処理手段２２１による周波数解析処理後の出力の一例を示すグラフである。図６の（Ａ）～（Ｊ）では、図２の（Ａ）～（Ｃ）と同様に、横軸が時系列を表し、縦軸が周波数を表す。縦軸の上が０Ｈｚであり、縦軸の下が約４００Ｈｚである。グラフ上の色が周波数成分の強度を表し、色が暗い方が周波数成分が弱く、色が明るい方が周波数成分が強い。図６の（Ａ）～（Ｊ）のそれぞれにおいて、上側のグラフが、被験者の喉左側に取り付けられた筋電センサ１１１の出力由来のデータを示し、下側のグラフが、被験者の喉の右側に取り付けられた筋電センサ１１２の出力由来のデータを示す。
　図６の（Ａ）は、被験者が口を開け閉めする（開閉口）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。開閉口動作では、筋電信号の周波数は、約１０～約４００Ｈｚの筋電信号の周波数帯域全体に幅広く分布しつつ、約５０～約２００Ｈｚで特に強く均等に分布している。
　図６の（Ｂ）は、被験者が上下の歯を互いにぶつける（タッピング）動作を連続して行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。タッピング動作では、筋電信号の周波数は、約１０～約４００Ｈｚの筋電信号の周波数帯域全体に幅広く分布しつつ、約５０～約２００Ｈｚで特に強く均等に分布している。タッピング動作では、タッピングと同じ周期（例えば、０．１秒、０．２秒、０．３秒、０．５秒等）で周波数分布および信号強度が変動する。
　図６の（Ｃ）は、被験者が舌を上顎に押し付ける（舌挙上）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。舌挙上動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０～２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。
　図６の（Ｄ）は、被験者が舌を右側に移動させる（右側移動）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。右側移動動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０～２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。
　図６の（Ｅ）は、被験者が舌を左側に移動させる（左側移動）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。左側移動動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０～２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。
　図６の（Ｆ）は、被験者が舌を前に出す（前方伸展）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。前方伸展動作では、筋電信号の周波数は、約１５０Ｈｚを中心に高くなるように分布している。
　図６の（Ｇ）は、被験者が舌を左右に移動させる（左右運動）動作を連続して行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。左右動作では、筋電信号の周波数は、約１００Ｈｚを中心としつつ、約５０～２００Ｈｚが強く、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。左右動作では、左右動作と同じ周期（例えば、約０．５秒、約１秒等）で周波数分布および信号強度が変動する。
　図６の（Ｈ）は、被験者が口に物が入っていない状態で飲み込む（空嚥下）動作を３回行った場合に検出された筋電信号から得られた周波数分布の時系列データを示す。空嚥下動作では、筋電信号の周波数は、約１００Ｈｚが特に強く、約１５０Ｈｚを超える高周波数帯域は弱くなるように分布している。空嚥下動作では、時系列に２つの連続したピークが存在するように周波数および信号強度が変動する。
　図６の（Ｉ）は、被験者が咀嚼調整食品を左側で咀嚼する（左側咀嚼）動作をした場合に検出された筋電信号から得られた周波数分布の時系列データを示す。左側咀嚼動作では、筋電信号の周波数は、約１００Ｈｚを中心として分布し、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。左側咀嚼動作では、咀嚼と同じ周期（例えば、約０．１秒、約０．２秒、約０．３秒、約０．５秒等）で周波数分布および信号強度が変動する。
　図６の（Ｊ）は、被験者が咀嚼調整食品を右側で咀嚼する（右側咀嚼）動作をした場合に検出された筋電信号から得られた周波数分布の時系列データを示す。右側咀嚼動作では、筋電信号の周波数は、約１００Ｈｚを中心として分布し、約２００Ｈｚを超える高周波数帯域は弱くなるように分布している。左側咀嚼動作では、咀嚼と同じ周期（例えば、約０．１秒、約０．２秒、約０．３秒、約０．５秒等）で周波数分布および信号強度が変動する。
　なお、図６の（Ａ）は、図２の（Ａ）と同一のデータを示し、図６の（Ｃ）は、図２の（Ｂ）と同一のデータを示し、図６の（Ｈ）は、図２の（Ｃ）と同一のデータを示す。
　図２の（Ａ）～（Ｃ）を参照して上述したように、例えば、筋電信号の周波数分布およびその時系列変化により、開閉口動作と、舌挙上動作と、空嚥下動作とを識別することができる。
　例えば、図６の（Ｃ）～（Ｅ）で周波数成分の強度を比較すると、舌挙上動作および前方伸展動作における筋電信号の強度の方が、右側移動動作および左側移動動作における筋電信号の強度よりも高いことがわかる。このように、周波数成分の強度を比較することにより、舌挙上動作および前方伸展動作と、右側移動動作および左側移動動作とを識別することが可能である。
　例えば、図６の（Ｃ）および（Ｅ）で周波数分布を比較すると、舌挙上動作における筋電信号の周波数成分が強い帯域が１００Ｈｚ近傍の低周波数帯域（図６の（Ｃ）において破線で囲まれた帯域）である一方、前方伸展動作における筋電信号の周波数成分が強い帯域が１００Ｈｚよりも大きい周波数帯域（図６の（Ｆ）において破線で囲まれた帯域）であることがわかる。このように、周波数分布を比較することにより、舌挙上動作と、前方伸展動作とを識別することが可能である。
　例えば、図６の（Ｂ）、（Ｉ）、（Ｊ）で周波数分布の時系列変化を比較すると、タッピング動作と、左側咀嚼動作および右側咀嚼動作とでは、顎運動に起因する短い間隔の縞状模様が見て取れる点で共通しているが、咀嚼動作では、顎の筋肉に加えて舌または喉の筋肉も活動するため、縞状模様の間に、舌運動または喉運動に起因する筋電信号が存在する。
　表１は、図６の（Ａ）～（Ｈ）に示される周波数分布の時系列データおよび対応する信号強度分布から得られた、顎運動の動作のパターン、舌運動の動作のパターン、および、喉運動の動作のパターンの信号強度分布の特徴、周波数分布の特徴、および時系列の特徴の一例をまとめた表である。
Figure JPOXMLDOC01-appb-T000001
　表１からわかるように、喉運動の信号強度が最も大きく、顎運動の信号強度が次に大きく、舌運動の信号強度が最も弱い。これは、筋電センサ１１、１２の二対の測定電極（１１３、１１３’）（１１４、１１４’）が喉の周囲に取り付けられるため、筋電センサ１１、１２が喉の筋肉の筋活動を示す筋電信号をより強く検出すること、および、顎の筋肉、舌の筋肉、喉の筋肉のうち、顎の筋肉が最も大きな筋肉であることに起因する。すなわち、二対の測定電極（１１３、１１３’）（１１４、１１４’）の測定位置に応じて、信号強度のパターンが変動し得る。
　例えば、被験者が咀嚼調整食品を５回片側で咀嚼する（５回咀嚼）動作をした場合に検出された筋電信号から得られた信号強度分布と、被験者が咀嚼調整食品を１０秒間自由に咀嚼する（１０秒咀嚼）動作をした場合に検出された筋電信号から得られた信号強度分布を比較すると、５回咀嚼動作をした場合の信号強度の方が、１０秒咀嚼動作をした場合の信号強度よりも大きい。これは、咀嚼回数を減らすことが無理な嚥下につながり、喉の筋肉に負担がかかるからである。
　上述した動作パターンは、もっぱら健常な成人においてみられるパターンであり、健常な子供では、異なる動作パターンを呈することもある。例えば、子供から得られた筋電信号では、空嚥下の動作における周波数の時系列変化において、健常な成人においてみられた時系列に２つの連続したピークがみられず、１つのピークしかみられないことがあった。これは、子供の筋肉が未発達であり、舌または喉のいずれか一方の筋肉のみを使って嚥下動作を行っているからであると考えられる。成人のパターンがみられるか、子供のパターンがみられるかは、例えば、第２次性徴を基準に判断され得る。例えば、第２次性徴後の被験者には、成人のパターンがみられ、第２次性徴前の被験者には、子供のパターンがみられる。
　例えば、システム１０は、成人のパターンを識別する動作モードと、子供のパターンを識別する動作モードとを切り替えることにより、被験者が成人であっても、子供であっても、被験者の筋電信号が由来する動作が、顎運動の動作であるか、または、舌運動の動作であるか、または、喉運動の動作であるか、あるいは、複合的な動作であるかを認識することができる。このようなシステム１０による出力結果は、成人および子供の両方の嚥下・咀嚼の運動機能の評価またはリハビリに活用することができる。
　図７Ａは、ステップＳ５０３における処理（決定手段２２２が、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの少なくとも２つを含む動作のパターンのうちの１以上のいずれであるかを決定する処理）の一例を示す。
　ステップＳ７０１では、決定手段２２２の学習手段が、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習する。決定手段２２２は、例えば、インターフェース部２１０を介して受信された顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンのうちの少なくとも２つの特徴を学習し、データベース部２５０に格納する。教師パターンは、顎運動の動作、舌運動の動作、または、喉運動の動作を行った健常者から得られた筋電信号に対して、上述した処理手段２２１による処理と同様の処理を施すことにより得られた処理済の筋電信号に含まれるパターンである。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、表１に説明されるような、信号強度分布の特徴、周波数分布の特徴、および時系列の特徴を含み得る。信号強度分布の特徴によると、測定電極が装着された位置に直近の筋肉が活動しているかを識別することができ、周波数分布の特徴によると、主活動筋の違いを識別することができ、時系列の特徴によると、筋電信号の強度および周波数の時間変化を識別することができる。これらの特徴の組み合わせにより、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを明確に区別することができる。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、信号波形の特徴も含み得る。このとき、学習手段は、上述した教師パターンに加えて、何も動作をしていないときの教師パターンを学習してもよい。
　ステップＳ７０２では、変数ｉ＝１が定義される。
　ステップＳ７０３では、決定手段２２２の算出手段が、ステップＳ５０２で処理を行った後の処理手段２２１の出力（処理済の筋電信号）に含まれるパターンと、第ｉの教師パターンとの類似度を算出する。ここで、第ｉの教師パターンは、ステップＳ７０１で学習された教師パターンのうちの１つとする。例えば、第１の教師パターンが顎運動の開閉口動作の教師パターンであり、第２の教師パターンが顎運動のタッピング動作の教師パターンであり、第３の教師パターンが舌運動の舌挙上動作の教師パターンであり、第４の教師パターンが舌運動の右側移動動作の教師パターンであり、第５の教師パターンが舌運動の左側移動動作の教師パターンであり、第６の教師パターンが舌運動の前方伸展動作の教師パターンであり、第７の教師パターンが舌運動の左右運動の教師パターンであり、第８の教師パターンが喉運動の空嚥下動作の教師パターンであり得る。算出手段は、正規化相互相関等の公知の類似度算出技術を用いて、処理手段２２１の出力（処理済の筋電信号）と、第ｉの教師パターンとの類似度を算出することができる。
　ステップＳ７０４では、ステップＳ７０３で算出された類似度が所定の閾値を超えるかが判定される。所定の閾値は、任意の値であり得る。所定の閾値が高いほど、パターン決定処理（ステップＳ５０３）の信頼度は高くなる。例えば、ステップＳ７０３で算出された類似度が０～１．０の値をとる場合、所定の閾値は、例えば０．４～０．９の範囲の値、例えば０．６であり得る。ステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えないと判定された場合、ステップＳ７０５に進む。
　ステップＳ７０５では、変数ｉがインクリメントされる。ステップＳ７０４で、類似度が所定の閾値を超えると判定されるまで、ステップＳ７０３～Ｓ７０５が繰り返される。
　ステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えると判定された場合、ステップＳ７０６に進み、処理は終了する。処理手段２２１の出力に含まれる特定のパターンが、類似度が所定の閾値を超えると判定された第ｉの教師パターンが示す動作のパターンであると決定することができるからである。
　ステップＳ７０４で、ステップＳ７０３で算出された類似度がいずれも所定の閾値を超えると判定されなかった場合、「動きなし」と決定し、処理を終了することができる。
　なお、上述した例では、健常者から得られた教師パターンを学習する例を説明したが、本発明はこれに限定されない。例えば、学習される教師パターンは、被験者と同程度または被験者よりも軽度の障害を有する患者から得られた筋電信号から得られた処理済の筋電信号に含まれるパターンであってもよいし、例えば、被験者本人から得られた筋電信号から得られた処理済の筋電信号に含まれるパターンであってもよい。これにより、決定手段２２２は、被験者の運動レベルに合わせた評価を行うことが可能になり、被験者のモチベーションアップにつなげることができる。例えば、被験者よりも軽度の障害を有する患者のパターンと比較し、その結果を表示することにより、被験者が目指すべき目標が明確になり、被験者のモチベーションがあがる。
　上述した例では、類似度が所定の閾値を超えると判定されるまで、各教師パターンとの類似度を順次算出したが、本発明は、これに限定されない。例えば、ニューラルネットワークを用いて、各教師パターンとの類似度を一括して算出することも本発明の範囲内である。
　例えば、ステップＳ７０２の代わりのステップＳ７０２’において、決定手段２２２の算出手段は、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、各教師パターンとの類似度を算出するようにしてもよい。このとき、ニューラルネットワークは、例えば、入力層と、隠れ層と、出力層とを有する多層パーセプトロンであり得る。多層パーセプトロンの出力層は、識別すべき動作の数と同じ数の出力ノードを備え得る。多層パーセプトロンの隠れ層は、任意の数のノードを備え得る。多層パーセプトロンの隠れ層の各ノードの重み係数は、ステップＳ７０１の学習する処理において、各教師パターンと、各教師パターンが何の動作であるかを示す教示信号との組み合わせに基づいて計算され得る。例えば、ある教師パターンを入力層に入力した場合の出力層の値が、その教師パターンに対応する教示信号の値となるように、各ノードの重み係数が計算され得る。これは、例えば、バックプロパゲーションによって行われる。このようにして各ノードの重み係数が計算されたニューラルネットワーク出力層の各ノードは、各教師パターンに対応する動作に関連付けられることになる。
　例えば、８つの出力ノードを有するニューラルネットワークを用いて表１に示される８つの動作を識別する場合、第１の教師パターンと顎運動の開閉口動作であることを教示する教示信号（１．０、０．０、０．０、０．０、０．０、０．０、０．０、０．０）との組み合わせと、第２の教師パターンと顎運動のタッピング動作であることを教示する教示信号（０．０、１．０、０．０、０．０、０．０、０．０、０．０、０．０）との組み合わせと、第３の教師パターンと舌運動の舌挙上動作であることを教示する教示信号（０．０、０．０、１．０、０．０、０．０、０．０、０．０、０．０）との組み合わせと、第４の教師パターンと舌運動の右側移動動作であることを教示する教示信号（０．０、０．０、０．０、１．０、０．０、０．０、０．０、０．０）との組み合わせと、第５の教師パターンと舌運動の左側移動動作であることを教示する教示信号（０．０、０．０、０．０、０．０、１．０、０．０、０．０、０．０）との組み合わせと、第６の教師パターンと舌運動の前方伸展動作であることを教示する教示信号（０．０、０．０、０．０、０．０、０．０、１．０、０．０、０．０）との組み合わせと、第７の教師パターンと舌運動の左右運動動作であることを教示する教示信号（０．０、０．０、０．０、０．０、０．０、０．０、１．０、０．０）との組み合わせと、第８の教師パターンと喉運動の空嚥下動作であることを教示する教示信号（０．０、０．０、０．０、０．０、０．０、０．０、０．０、１．０）との組み合わせを用いて、各ノードの重み係数が計算された場合、ニューラルネットワークの出力層の第１のノードが顎運動の開閉口動作に関連付けられ、第２のノードが顎運動のタッピング動作に関連付けられ、第３のノードが舌運動の舌挙上動作に関連付けられ、第４のノードが舌運動の右側移動動作に関連付けられ、第５のノードが舌運動の左側移動動作に関連付けられ、第６のノードが舌運動の前方伸展動作に関連付けられ、第７のノードが舌運動の左右運動動作に関連付けられ、第８のノードが喉運動の空嚥下動作に関連付けられることになる。このように各ノードの重み係数が計算されたニューラルネットワークの理想の出力は、例えば、顎運動の開閉口動作を行ったときの筋電信号から得られた処理済の筋電信号を入力したときに出力層の第１のノードが１．０を出力し、その他のノードが０を出力することである。しかしながら、実際は、筋電信号に混在するノイズ等の影響により、理想の出力が得られることはまずない。実際は、出力層の１つ以上のノードが０～１の範囲の値を出力することになる。出力層の各ノードの値は、入力された処理済の筋電信号と、それぞれのノードが関連付けられた動作に対応するそれぞれの教師パターンとの類似度に相当する。
　例えば、出力が（０．０、０．２、０．０、０．８、０．０、０．０、０．０、０．０）であった場合、入力された処理済の筋電信号に含まれるパターンは、第２のノードに関連付けられた顎運動のタッピング動作に対応する教師パターンにわずかに類似しており、第４のノードに関連付けられた舌運動の右側移動動作に対応する教師パターンにより類似しており、その他のノードに関連付けられた動作に対応する教師パターンには類似していないことを示す。このとき、例えば、所定の閾値を０．５とすると、入力された処理済の筋電信号に含まれるパターンが、舌運動の右側移動動作のパターンであると決定される。
　例えば、出力が、（０．０、０．０、０．４、０．５、０．０、０．７、０．０、０．４）であった場合、入力された処理済の筋電信号に含まれるパターンは、第３のノード、第４のノード、第８のノードにそれぞれ関連付けられた舌運動の舌挙上動作、舌運動の右側運動動作、空嚥下動作に対応する教師パターンにわずかに類似しており、第６のノードに関連付けられた舌運動の前方伸展動作に対応する教師パターンにより類似しており、その他のノードに関連付けられた動作に対応する教師パターンには類似していないことを示す。このとき、例えば、所定の閾値を０．５とすると、入力された処理済の筋電信号に含まれるパターンが、舌運動の右側移動動作のパターンおよび舌運動の前方伸展動作であると決定される。
　好ましい実施形態では、ステップＳ５０３における処理は、処理済の筋電信号に含まれるパターンが、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンのうちの１以上のいずれであるかを決定する処理である。顎運動の動作のパターンは、開閉口の動作のパターンを含み、舌運動の動作のパターンは、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターンを含み、喉運動の動作のパターンは、空嚥下の動作のパターンを含む。これらのパターンを識別することにより、被験者が嚥下障害を有するか否かまたは嚥下動作における動作レベルを診断することができるようになる。さらに好ましい実施形態では、ステップＳ５０３における処理は、上述した動作のパターンに加えて、顎運動におけるタッピングの動作パターン、舌運動にける舌の左右運動の動作パターンも識別する。これにより、被験者が嚥下障害を有するか否かまたは嚥下動作における動作レベルの診断の精度の向上させることができる。
　好ましい実施形態におけるステップＳ７０１では、決定手段２２２の学習手段が、開閉口の動作の教師パターンを含む顎運動の動作の教師パターンと、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターンを含む舌運動の動作の教師パターンと、空嚥下の動作の教師パターンを含む喉運動の動作の教師パターンとを学習する。決定手段２２２は、例えば、インターフェース部２１０を介して受信された顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴を学習し、データベース部２５０に格納する。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、表１に説明されるような、信号強度分布の特徴、周波数分布の特徴、および時系列の特徴を含み得る。信号強度分布の特徴によると、測定電極が装着された位置に直近の筋肉が活動しているかを識別することができ、周波数分布の特徴によると、主活動筋の違いを識別することができ、時系列の特徴によると、筋電信号の強度および周波数の時間変化を識別することができる。これらの特徴の組み合わせにより、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを明確に区別することができる。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、信号波形の特徴も含み得る。このとき、学習手段は、上述した教師パターンに加えて、何も動作をしていないときの教師パターンを学習してもよい。
　好ましい実施形態におけるステップＳ７０２では、変数ｉ＝１が定義される。
　好ましい実施形態におけるステップＳ７０３では、決定手段２２２の算出手段が、ステップＳ５０２で処理を行った後の処理手段２２１の出力（処理済の筋電信号）に含まれるパターンと、第ｉの教師パターンとの類似度を算出する。ここで、第ｉの教師パターンは、ステップＳ７０１で学習された教師パターンのうちの１つとする。例えば、第１の教師パターンが顎運動の開閉口動作の教師パターンであり、第２の教師パターンが舌運動の舌挙上動作の教師パターンであり、第３の教師パターンが舌運動の右側移動動作の教師パターンであり、第４の教師パターンが舌運動の左側移動動作の教師パターンであり、第５の教師パターンが舌運動の前方伸展動作の教師パターンであり、第６の教師パターンが喉運動の空嚥下動作の教師パターンである。算出手段は、正規化相互相関等の公知の類似度算出技術を用いて、処理手段２２１の出力（処理済の筋電信号）と、第ｉの教師パターンとの類似度を算出することができる。
　好ましい実施形態におけるステップＳ７０４では、ステップＳ７０３で算出された類似度が所定の閾値を超えるかが判定される。所定の閾値は、任意の値であり得る。所定の閾値が高いほど、パターン決定処理（ステップＳ５０３）の信頼度は高くなる。例えば、ステップＳ７０３で算出された類似度が０～１．０の値をとる場合、所定の閾値は、例えば０．４～０．９の範囲の値、例えば０．６であり得る。ステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えないと判定された場合、ステップＳ７０５に進む。
　好ましい実施形態におけるステップＳ７０５では、変数ｉがインクリメントされる。ステップＳ７０４で、類似度が所定の閾値を超えると判定されるまで、ステップＳ７０３～Ｓ７０５が繰り返される。
　好ましい実施形態におけるステップＳ７０４で、ステップＳ７０３で算出された類似度が所定の閾値を超えると判定された場合、ステップＳ７０６に進み、処理は終了する。処理手段２２１の出力に含まれる特定のパターンが、類似度が所定の閾値を超えると判定された第ｉの教師パターンが示す動作のパターンであると決定することができるからである。
　上述した好ましい実施形態においても、ステップＳ７０２の代わりのステップＳ７０２’において、決定手段２２２の算出手段が、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、各教師パターンとの類似度を算出するようにしてもよい。
　上述した例では、ステップＳ５０３中のステップＳ７０１で、決定手段２２２の学習手段が学習することを説明したが、決定手段２２２の学習手段は、処理５００を開始する前に、ステップＳ７０１と同様の処理を行い、予め顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの少なくとも２つを学習しておいてもよい。この場合、ステップＳ５０３における処理では、ステップＳ７０１は省略される。ステップＳ７０２の代わりのステップＳ７０２’において、決定手段２２２の算出手段が、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、各教師パターンとの類似度を算出する場合であっても同様に、処理５００を開始する前に、決定手段２２２の学習手段は、ニューラルネットワークを用いて、識別すべき動作の教師パターンを学習しておくことができる。
　学習する処理は、例えば、顎運動、舌運動、または喉運動のうちの少なくとも２つを含む所定の運動における障害の無い被験者（すなわち、健常者）が所定の運動を行った場合の筋肉の筋活動を示す筋電信号を筋電デバイスが検出することと、検出された筋電信号をプロセッサ部２２０が受信することと、プロセッサ部２２０が、受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、プロセッサ部２２０が、処理済の筋電信号に含まれるパターンを所定の運動におけるパターンとして学習することとを含む。所定の処理は、例えば、上述した処理手段２２１による処理と同様の処理である。
　学習する処理は、例えば、顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンを用いて行われてもよく、好ましくは、開閉口の動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標として有用な、開閉口の動教師パターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。さらに好ましくは、開閉口の動作の教師パターン、タッピングの動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、舌の左右移動の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標としてさらに有用な、開閉口の動作のパターン、タッピングの動作のパターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、舌の左右移動の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。
　図７Ｂは、ステップＳ５１３における処理（決定手段２２２が、処理済の筋電信号に含まれるパターンに基づいて、被験者の顎運動、舌運動、または喉運動における動作レベルを決定する処理）の一例を示す。
　ステップＳ７１１では、決定手段２２２の学習手段が、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの所定の動作に対応する動作の教師パターンを学習する。決定手段２２２は、例えば、インターフェース部２１０を介して受信された顎運動の動作の教師パターン、舌運動の動作の教師パターン、または、喉運動の動作の教師パターンを学習し、データベース部２５０に格納する。教師パターンは、顎運動の動作、舌運動の動作、または、喉運動の動作を行った健常者から得られた筋電信号に対して、上述した処理手段２２１により処理と同様の処理を施すことにより得られた処理済の筋電信号に含まれるパターンである。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、表１に説明されるような、信号強度分布の特徴、周波数分布の特徴、および時系列の特徴を含み得る。信号強度分布の特徴によると、測定電極が装着された位置に直近の筋肉が活動しているかを識別することができ、周波数分布の特徴によると、主活動筋の違いを識別することができ、時系列の特徴によると、筋電信号の強度および周波数の時間変化を識別することができる。これらの特徴の組み合わせにより、顎運動の動作のパターン、舌運動の動作のパターン、喉運動の動作のパターンを明確に区別することができる。顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンの特徴は、例えば、信号波形の特徴も含み得る。
　ステップＳ７１２では、決定手段２２２の算出手段が、ステップＳ５１２で処理を行った後の処理手段２２１の出力（処理済の筋電信号）に含まれるパターンと、教師パターンとの類似度を算出する。算出手段は、正規化相互相関等の公知の類似度算出技術を用いて、処理手段２２１の出力（処理済の筋電信号）と、教師パターンとの類似度を算出することができる。あるいは、算出手段は、上述したニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、教師パターンとの類似度を算出するようにしてもよい。
　上述した類似度は、例えば、決定手段２２２によって、被験者の動作レベルを決定するために利用されることができる。例えば、類似度が０～１．０で表される場合、類似度１．０は、健常者と同程度の動作レベルであることを示し、所定の閾値以下の類似度は、その動作ができていないことを示し、所定の閾値より大きいが類似度１．０より小さい類似度は、その動作ができてはいるが、健常者の動作レベルほどではないことを示す。例えば、所定の閾値を０．５とすると、類似度０．６は、健常者の動作レベルに比べて２０％程度の動作レベルであることを示し、類似度０．７は、健常者の動作レベルに比べて４０％程度の動作レベルであることを示し、類似度０．８は、健常者の動作レベルに比べて６０％程度の動作レベルであることを示し、類似度０．８は、健常者の動作レベルに比べて８０％程度の動作レベルであることを示す。
　例えば、被験者に喉運動の空嚥下動作を行わせ、そのときの筋電信号に含まれる動作のパターンと空嚥下の教師パターンとの類似度を決定した場合、類似度１．０は、健常者と同程度の空嚥下動作レベルであることを示し、所定の閾値以下の類似度は、空嚥下の動作ができていないことを示し、所定の閾値より大きいが類似度１．０より小さい類似度は、空嚥下の動作ができてはいるが、喉の運動に障害が有り、健常者の空嚥下の動作レベルほどではないことを示す。例えば、所定の閾値を０．５とすると、類似度０．６は、健常者の空嚥下の動作レベルに比べて２０％程度の動作レベルであることを示し、類似度０．７は、健常者の空嚥下の動作レベルに比べて４０％程度の動作レベルであることを示し、類似度０．８は、健常者の空嚥下の動作レベルに比べて６０％程度の動作レベルであることを示し、類似度０．８は、健常者の空嚥下の動作レベルに比べて８０％程度の動作レベルであることを示す。
　類似度に基づいた動作レベルは、例えば、数値としてモニターに表示することによって、被験者に提示されるようにしてもよいし、被験者のアバターに運動を表現させることによって、被験者に提示されるようにしてもよい。これにより、被験者は、健常者と比較したときの自身の障害のレベルを確認することができる。あるいは、リハビリを行う被験者は、経時的に動作レベルを提示されることにより、リハビリの進捗レベルを確認することもできる。
　上述した類似度は、例えば、被験者の運動における障害の有無を評価するためにも利用されることができる。例えば、ステップＳ７１２で算出された類似度は、所定の閾値を超えるかが判定され、ステップＳ７１２で算出された類似度が所定の閾値を超えないと判定された場合、ステップＳ７１４に進み、被験者の所定の運動において障害が有ると評価し、ステップＳ７１２で算出された類似度が所定の閾値を超えると判定された場合、ステップＳ７１５に進み、被験者の所定の運動において障害が無いと評価する。所定の閾値は、任意の値であり得る。所定の閾値が高いほど、障害の有無を評価する処理（ステップＳ５１３）の信頼度は高くなる。例えば、ステップＳ７１２で算出された類似度が０～１．０の値をとる場合、所定の閾値は、例えば０．４～０．９の範囲の値、例えば０．７であり得る。
　例えば、被験者に喉運動の空嚥下動作を行わせ、そのときの筋電信号に含まれる動作のパターンと空嚥下の教師パターンとの類似度を決定した場合、所定の閾値を０．６とすると、０．６以下の類似度は、嚥下運動に障害が有ることを示し、０．６より大きい類似度は、嚥下運動に障害が無いことを示す。
　被験者の運動における障害の有無は、例えば、複数の動作を行わせることによって評価するようにしてもよい。例えば、複数の動作のうち、類似度が所定の閾値より大きい動作が所定数未満である場合に、その被験者にその運動における障害が有ることを示し、類似度が所定の閾値より大きい動作が所定数以上である場合に、その被験者にその運動における障害が無いことを示すようにしてもよい。
　例えば、被験者に顎の開閉口の動作、舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、舌の前方伸展の動作、空嚥下の動作を行わせ、それぞれの動作の筋電信号に含まれる動作のパターンと、顎の開閉口の動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、空嚥下の動作の教師パターンのそれぞれとの類似度を決定した場合、所定数を４とすると、６つの動作の類似度のうち所定の閾値より大きい類似度が４つ未満である場合、その被験者に嚥下運動または咀嚼運動における障害が有ることを示し、６つの動作の類似度のうち所定の閾値より大きい類似度が４つ以上である場合、その被験者に嚥下運動または咀嚼運動における障害が無いことを示す。
　上述した例では、ステップＳ５１３中のステップＳ７１１で、決定手段２２２の学習手段が学習することを説明したが、決定手段２２２の学習手段は、処理５００を開始する前に、ステップＳ７１１と同様の処理を行い、予め顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの所定の動作に対応する動作の教師パターンを学習しておいてもよい。この場合、ステップＳ５１３における処理では、ステップＳ７１１は省略される。ステップＳ７１２において、決定手段２２２の算出手段が、ニューラルネットワークを用いて処理手段２２１の出力（処理済の筋電信号）と、教師パターンとの類似度を算出する場合であっても同様に、処理５００を開始する前に、決定手段２２２の学習手段は、ニューラルネットワークを用いて、識別すべき動作の教師パターンを学習しておくことができる。
　学習する処理は、例えば、顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者（すなわち、健常者）が所定の運動を行った場合の筋肉の筋活動を示す筋電信号を筋電デバイスが検出することと、検出された筋電信号をプロセッサ部２２０が受信することと、プロセッサ部２２０が、受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、プロセッサ部２２０が、処理済の筋電信号に含まれるパターンを所定の運動におけるパターンとして学習することとを含む。所定の処理は、例えば、上述した処理手段２２１による処理と同様の処理である。
　学習する処理は、例えば、顎運動の動作の教師パターン、舌運動の動作の教師パターン、および、喉運動の動作の教師パターンを用いて行われてもよく、好ましくは、開閉口の動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標として有用な、開閉口の動教師パターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。さらに好ましくは、開閉口の動作の教師パターン、タッピングの動作の教師パターン、舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、舌の前方伸展の動作の教師パターン、舌の左右移動の動作の教師パターン、および、空嚥下の動作の教師パターンを用いて行われてもよい。これらのパターンを用いて学習処理を施された決定手段２２２は、嚥下障害の診断における指標としてさらに有用な、開閉口の動作のパターン、タッピングの動作のパターン、舌挙上の動作のパターン、舌の右側移動の動作のパターン、舌の左側移動の動作のパターン、舌の前方伸展の動作のパターン、舌の左右移動の動作のパターン、および、空嚥下の動作のパターンを識別することが可能な分類器として用いることが可能になる。
　図７Ａに示される例では、類似度が所定の閾値を超える１つの教師パターンを決定したが、類似度が所定の閾値を超える複数の教師パターンを決定することも本発明の範囲内である。例えば、学習された教師パターンのすべてに対してステップＳ７０３～ステップＳ７０４を行うことにより、類似度が所定の閾値を超えると判定された１以上の教師パターンを決定し、処理済の筋電信号に含まれる複数のパターンのそれぞれが、決定された１以上の教師パターンのそれぞれが示す動作のパターンであると決定するようにしてもよい。例えば、ステップＳ７０２’において、ニューラルネットワークの出力から、類似度が所定の閾値を超えると判定された１以上の教師パターンを決定し、処理済の筋電信号に含まれる複数のパターンのそれぞれが、決定された１以上の教師パターンのそれぞれが示す動作のパターンであると決定するようにしてもよい。例えば、学習された教師パターンのすべてに対してステップＳ７０３～ステップＳ７０４を行い、類似度が所定の閾値を超えると判定された１以上の教師パターンから、最適な１つの教師パターンを決定するようにしてもよい。例えば、ステップＳ７０２’において、ニューラルネットワークの出力から、類似度が所定の閾値を超えると判定された１以上の教師パターンから、最適な１つの教師パターンを決定するようにしてもよい。最適な１つの教師パターンを決定することは、例えば、最も類似度が高い教師パターンを決定することによって行われてもよい。最適な１つの教師パターンを決定することは、例えば、過去のデータと照合することによって行われてもよい。例えば、直近の認識処理において認識された結果から動作の傾向を推定し、その傾向に沿った動作の教師パターンを最適な１つの教師パターンとして決定する。例えば、直近の過去３回の認識処理において舌挙上動作のパターンが認識された後に、舌挙上動作の教師パターンと、前方伸展動作の教師パターンとについて、類似度が所定の閾値を超えると判定された場合、直近の認識処理の結果から、舌挙上動作の教師パターンを最適な１つの教師パターンとして決定する。いずれの手法で最適な１つの教師パターンを決定してもよいが、好ましくは、直近の認識処理において認識された結果から動作の傾向を推定し、その傾向に沿った動作の教師パターンを最適な１つの教師パターンとして決定することである。過去のデータを参酌することにより、パターン決定における誤差を補償することができるからである。
　本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
　本発明は、筋電信号が由来する動作であって、顎運動の動作、舌運動の動作、および、喉運動の動作のうちの少なくとも２つを含む動作を認識するためのシステム、方法、およびプログラムを提供するものとして有用である。
　１０　システム
　１００　筋電デバイス
　１１１、１１２　筋電センサ
　１１３、１１３’　一対の測定電極
　１１４、１１４’　一対の測定電極
　１１５　送信部１１５
　２００　コンピュータ装置
　２１０　インターフェース部
　２２０　プロセッサ部
　２３０　メモリ部
　２５０　データベース部

Claims (18)

  1. 　被験者の運動を評価するためのシステムであって、前記システムは、
    　顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
    　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
    　前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定する決定手段と
    　を備える、システム。
  2. 　前記所定の処理は、周波数解析処理を含み、前記処理済の筋電信号は、前記筋電信号の周波数分布の時系列データを含む、請求項１に記載のシステム。
  3. 　前記周波数解析処理は、ショートタイムＦＦＴを含む、請求項２に記載のシステム。
  4. 　前記所定の処理は、信号強度抽出処理をさらに含み、前記処理済の筋電信号は、前記筋電信号の信号強度の時系列データをさらに含む、請求項２または請求項３に記載のシステム。
  5. 　前記決定手段は、
    　前記所定の運動における障害が無い場合の筋電信号との類似度を出力するように、顎運動の動作の教師パターン、舌運動の動作の教師パターン、喉運動の動作の教師パターンのうちの前記所定の運動に対応する動作の教師パターンを用いて学習する処理が施されており、
    　前記決定手段は、
    　前記処理済の筋電信号に含まれるパターンと前記教師パターンとの類似度を算出する算出手段と
    　を備える、請求項１～４のいずれか一項に記載のシステム。
  6. 　前記決定手段は、さらに、前記類似度に基づいて、前記所定の運動における障害の有無を評価する、請求項５に記載のシステム。
  7. 　前記学習する処理は、顎運動の動作の教師パターンと、舌運動の動作の教師パターンと、喉運動の動作の教師パターンとを用いて施されている、請求項５または６に記載のシステム。
  8. 　前記学習する処理は、前記顎運動の動作に関する少なくとも開閉口の動作の教師パターンと、前記舌運動の動作に関する少なくとも舌挙上の動作の教師パターン、舌の右側移動の動作の教師パターン、舌の左側移動の動作の教師パターン、および舌の前方伸展の動作の教師パターンと、前記喉運動の動作に関する少なくとも空嚥下の動作の教師パターンとを用いて施されている、請求項７に記載のシステム。
  9. 　前記学習する処理は、さらに前記顎運動の動作に関するタッピングの動作の教師パターン、および、前記舌運動の動作に関する舌の左右移動の動作の教師パターンを用いて施されている、請求項８に記載のシステム。
  10. 　前記検出手段は、二対の測定電極を備える筋電センサを備え、
    　前記二対の測定電極は、顎の筋肉、舌の筋肉、または、喉の筋肉の筋活動を示す筋電信号を検出可能なように構成される、請求項１～９のいずれか一項に記載のシステム。
  11. 　被験者の運動を評価するための方法であって、前記方法は、
    　顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を検出することと、
    　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
    　前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
    　含む、方法。
  12. 　被験者の運動を評価するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
    　顎運動、舌運動、または喉運動を含む所定の運動を意図した運動を被験者が行った場合の筋肉の筋活動を示す筋電信号を受信することと、
    　前記受信された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
    　前記処理済の筋電信号に含まれるパターンに基づいて、前記被験者の前記所定の運動における動作レベルを決定することと
    　含む処理を前記プロセッサ部に行わせる、プログラム。
  13. 　被験者の運動を評価するために用いられる分類器であって、前記分類器は、
    　顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出する検出手段と、
    　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力する処理手段と、
    　前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習する学習手段と
    　を備える、分類器。
  14. 　前記所定の運動は、顎運動、舌運動、および、喉運動を含む、請求項１３に記載の分類器。
  15. 　前記所定の運動は、前記顎運動の動作に関する少なくとも開閉口の動作と、前記舌運動の動作に関する少なくとも舌挙上の動作、舌の右側移動の動作、舌の左側移動の動作、および舌の前方伸展の動作と、前記喉運動の動作に関する少なくとも空嚥下の動作とを含む、請求項１４に記載の分類器。
  16. 　前記所定の運動は、さらに前記顎運動の動作に関するタッピングの動作、および前記舌運動の動作に関する舌の左右移動の動作を含む、請求項１５に記載の分類器。
  17. 　被験者の運動を評価するために用いられる分類器を構築するための方法であって、前記方法は、
    　顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を検出することと、
    　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
    　前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
    　を含む、方法。
  18. 　被験者の運動を評価するために用いられる分類器を構築するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータ装置において実行され、前記プログラムは、実行されると、
    　顎運動、舌運動、または喉運動を含む所定の運動における障害の無い被験者が前記所定の運動を行った場合の筋肉の筋活動を示す筋電信号を受信することと、
    　前記検出された筋電信号に対して所定の処理を行うことにより、処理済の筋電信号を出力することと、
    　前記処理済の筋電信号に含まれるパターンを前記所定の運動におけるパターンとして学習することと
    　を含む処理を前記プロセッサ部に行わせる、方法。
PCT/JP2018/028492 2017-07-28 2018-07-30 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム WO2019022259A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880025306.9A CN110536636A (zh) 2017-07-28 2018-07-30 用于识别产生肌电信号的动作的系统、方法以及程序
JP2019502118A JP6521420B1 (ja) 2017-07-28 2018-07-30 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム
US16/486,006 US20200046284A1 (en) 2017-07-28 2018-07-30 System, method, and program for recognizing myoelectric signal-originating motion
EP18837274.2A EP3711667A4 (en) 2017-07-28 2018-07-30 SYSTEM, METHOD AND PROGRAM FOR RECOGNIZING AN OPERATION FROM WHICH A MYOELECTRIC SIGNAL IS DERIVED

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017147242 2017-07-28
JP2017-147242 2017-07-28

Publications (1)

Publication Number Publication Date
WO2019022259A1 true WO2019022259A1 (ja) 2019-01-31

Family

ID=65040598

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028492 WO2019022259A1 (ja) 2017-07-28 2018-07-30 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム

Country Status (5)

Country Link
US (1) US20200046284A1 (ja)
EP (1) EP3711667A4 (ja)
JP (2) JP6521420B1 (ja)
CN (1) CN110536636A (ja)
WO (1) WO2019022259A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041316A (ja) * 2020-08-31 2022-03-11 国立大学法人岩手大学 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム
WO2024096074A1 (ja) * 2022-11-04 2024-05-10 株式会社明治 咀嚼動作解析方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD853569S1 (en) * 2017-01-16 2019-07-09 Meltin Mmi Co., Ltd. Biosignal detector
CN111772653B (zh) * 2020-07-17 2023-07-25 南方医科大学南方医院 一种钡剂吞咽的识别曝光方法、系统、装置及介质
CN114781439B (zh) * 2022-03-29 2023-05-30 深圳市应和脑科学有限公司 模型获取系统、手势识别方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005304890A (ja) * 2004-04-23 2005-11-04 Kumamoto Technology & Industry Foundation 嚥下障害の検知方法
JP2012232065A (ja) * 2011-05-09 2012-11-29 Iwate Univ 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置
WO2013085038A1 (ja) 2011-12-09 2013-06-13 国立大学法人東京大学 口腔センサ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082986A1 (en) * 2009-01-15 2010-07-22 Nestec S.A. Methods of diagnosing and treating dysphagia
JP5464072B2 (ja) * 2010-06-16 2014-04-09 ソニー株式会社 筋活動診断装置および方法、並びにプログラム
CN103338700B (zh) * 2011-01-28 2016-08-10 雀巢产品技术援助有限公司 用于诊断吞咽障碍的设备和方法
US9042992B2 (en) * 2012-08-31 2015-05-26 University Of Florida Research Foundation, Inc. Protecting airways
CN106344013A (zh) * 2016-10-19 2017-01-25 清华大学第附属医院 一种八通道同步获取表面肌电图的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005304890A (ja) * 2004-04-23 2005-11-04 Kumamoto Technology & Industry Foundation 嚥下障害の検知方法
JP2012232065A (ja) * 2011-05-09 2012-11-29 Iwate Univ 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置
WO2013085038A1 (ja) 2011-12-09 2013-06-13 国立大学法人東京大学 口腔センサ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3711667A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041316A (ja) * 2020-08-31 2022-03-11 国立大学法人岩手大学 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム
JP7428383B2 (ja) 2020-08-31 2024-02-06 国立大学法人岩手大学 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム
WO2024096074A1 (ja) * 2022-11-04 2024-05-10 株式会社明治 咀嚼動作解析方法

Also Published As

Publication number Publication date
JP6521420B1 (ja) 2019-05-29
US20200046284A1 (en) 2020-02-13
JPWO2019022259A1 (ja) 2019-07-25
JP2019162441A (ja) 2019-09-26
EP3711667A1 (en) 2020-09-23
CN110536636A (zh) 2019-12-03
EP3711667A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
JP6521420B1 (ja) 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム
CN106999065B (zh) 使用加速度测量术的可穿戴疼痛监测器
Sucar et al. Gesture therapy: A vision-based system for upper extremity stroke rehabilitation
JP2006263299A (ja) 嚥下音解析システム
US20170351825A1 (en) Method and apparatus for quantifying and monitoring the frailty of a subject
JP7136022B2 (ja) 処理システム、歩行訓練システム、処理方法、及びプログラム
KR101576526B1 (ko) 재활운동 지원 장치 및 방법
US20220008003A1 (en) System for identifying information represented by biological signals
Kaur et al. Predicting multiple sclerosis from gait dynamics using an instrumented treadmill: A machine learning approach
WO2019230528A1 (ja) 咀嚼側を判定するための学習モデル生成装置、その方法およびプログラム、ならびに咀嚼側判定装置、その方法およびプログラム
Ejupi et al. Accuracy of a wavelet-based fall detection approach using an accelerometer and a barometric pressure sensor
JP2019051129A (ja) 嚥下機能解析システム及びプログラム
JP6344254B2 (ja) 眠気検知装置
Ryan et al. Ability of RT3 accelerometer cut points to detect physical activity intensity in ambulatory children with cerebral palsy
JP2018175795A (ja) 使役犬による作業の効率を向上させるための方法およびシステム
KR102126801B1 (ko) 개인 맞춤형 운동강도조절 기능을 갖는 멀티센서 기반 타이밍 피드백 시스템
JP2007202612A (ja) 身体動作能力の質を定量化するシステム装置
JP3048918B2 (ja) 集中度推定装置
JP7459658B2 (ja) 身体能力提示方法および身体能力提示装置
KR20220072026A (ko) 재활 로봇을 이용한 재활 훈련 방법 및 시스템
KR20160121460A (ko) 피트니스 모니터링 시스템
Quijano-González et al. Upper limb functional assessment of children with cerebral palsy using a sorting box
JP6980245B2 (ja) 嚥下能力測定装置及び嚥下能力測定装置の作動方法
TWI819792B (zh) 基於腦波訊號之睡眠異常偵測方法與其裝置
TW202004773A (zh) 診斷認知功能以提供體適能矯正方案之系統及方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019502118

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18837274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018837274

Country of ref document: EP