WO2023214545A1 - 認知機能評価システム - Google Patents

認知機能評価システム Download PDF

Info

Publication number
WO2023214545A1
WO2023214545A1 PCT/JP2023/016874 JP2023016874W WO2023214545A1 WO 2023214545 A1 WO2023214545 A1 WO 2023214545A1 JP 2023016874 W JP2023016874 W JP 2023016874W WO 2023214545 A1 WO2023214545 A1 WO 2023214545A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
task
unit
answer
cognitive function
Prior art date
Application number
PCT/JP2023/016874
Other languages
English (en)
French (fr)
Inventor
康史 八木
淑瓊 武
靖 槇原
史生 大倉
早紀 渡邊
Original Assignee
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学 filed Critical 国立大学法人大阪大学
Publication of WO2023214545A1 publication Critical patent/WO2023214545A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses

Definitions

  • the present invention relates to a cognitive function evaluation system.
  • Non-Patent Document 1 discloses a system that uses dual tasks to detect a decline in cognitive function at an early stage. Specifically, the system in Non-Patent Document 1 calculates 12 types of dementia-related characteristics from data collected by having subjects perform single tasks and dual tasks, and uses machine learning to calculate MMSE (Mini- Mental State Examination) score is estimated.
  • MMSE Mini- Mental State Examination
  • Non-Patent Document 1 does not have sufficient accuracy. Therefore, there is room for improvement.
  • the present invention has been made in view of the above problems, and its purpose is to provide a cognitive function evaluation system that can more accurately evaluate the cognitive function of a subject.
  • a cognitive function evaluation system includes a motion detection section, an answer detection section, a measurement section, and an evaluation section.
  • the motion detection unit captures an image of a subject performing a predetermined task and generates image data.
  • the answer detection unit detects an answer to a predetermined cognitive question by the subject performing the predetermined task.
  • the measurement unit measures brain waves of the subject.
  • the evaluation unit extracts the characteristics of the test subject's movement from the imaging data, extracts the characteristics of the answer by the test subject from the answer detected by the answer detection unit, and extracts the characteristics of the movement and the characteristics of the answer. , and evaluating the cognitive function of the subject based on the brain waves.
  • the predetermined tasks include a motor task and an intellectual task.
  • the exercise task imposes a predetermined exercise on the subject.
  • the intelligence task requires the subject to answer the predetermined cognitive question.
  • the evaluation unit extracts motion characteristics of the subject from the imaging data of the subject performing the exercise task.
  • the evaluation unit classifies the subject into a dementia class and a mild cognitive impairment and non-dementia class.
  • the evaluation unit classifies the subject into a dementia and mild cognitive impairment class and a non-dementia class.
  • the predetermined task includes a dual task in which the subject is simultaneously tasked with the motor task and the intellectual task.
  • the motion detection unit images the subject performing the dual task.
  • the answer detection unit detects the answer of the subject who is performing the dual task.
  • the brain waves include brain waves when the subject is at rest, brain waves when the subject is performing the motor task, brain waves when the subject is performing the intellectual task, and at least one of brain waves when the subject is performing the dual task.
  • the evaluation unit extracts a signal of a specific frequency from the brain waves measured by the measurement unit, and based on the characteristics of the movement, the characteristics of the answer, and the signal of the specific frequency, Assess the subject's cognitive function.
  • the evaluation unit divides the brain waves measured by the measurement unit into a plurality of pieces.
  • the evaluation unit divides the brain waves measured by the measurement unit while sliding a window with a fixed width.
  • the amount of sliding is less than the width of the window.
  • the cognitive function of a subject can be evaluated with higher accuracy.
  • FIG. 3 is a flowchart showing preprocessing.
  • FIG. 3 is a diagram showing samples after preprocessing that are input to a learned model.
  • (a) is a diagram showing an example of raw data.
  • FIG. 1 is a diagram showing a model generation system that generates a trained model.
  • FIG. 1 is a block diagram showing part of the configuration of a model generation system.
  • FIG. 2 is a block diagram showing the configuration of an evaluation section during learning.
  • FIGS. 1A and 1B are diagrams showing a cognitive function evaluation system 100 of this embodiment.
  • the cognitive function evaluation system 100 evaluates the cognitive function of subject SJ.
  • the cognitive function evaluation system 100 of this embodiment classifies the subject SJ into a dementia and mild cognitive impairment (MCI) class and a non-dementia class.
  • MCI dementia and mild cognitive impairment
  • the cognitive function evaluation system 100 of the present embodiment classifies the subject SJ into a dementia class and a mild cognitive impairment and non-dementia class.
  • mild cognitive impairment is a pre-dementia stage and represents a state intermediate between a normal state and a dementia state.
  • mild cognitive impairment refers to a state in which cognitive functions such as memory and attention are reduced, but the decline is not to the extent that it interferes with daily life.
  • the cognitive function evaluation system 100 of this embodiment includes a task presentation unit 10.
  • the task presentation unit 10 presents a task to be performed by the subject SJ.
  • the task presentation unit 10 includes a display such as a liquid crystal display.
  • the task presentation unit 10 causes the display to display a screen showing a task to be performed by the subject SJ. Note that the display is installed, for example, in front of the subject SJ.
  • the tasks (predetermined tasks) that the subject SJ is made to perform include dual tasks.
  • the dual task is a task in which a motor task and an intellectual task are simultaneously imposed on the subject SJ.
  • the exercise task is a task that requires subject SJ to perform a predetermined exercise.
  • the intelligence task is a task that requires the subject SJ to answer a predetermined cognitive question.
  • the predetermined exercise is, for example, stepping on the spot, walking, running, or skipping.
  • the predetermined cognitive problem is, for example, a calculation problem, a location memory problem, or a rock-paper-scissors problem.
  • the tasks (predetermined tasks) to be performed by the subject SJ include an intellectual task (single task), a motor task (single task), and a dual task.
  • subject SJ performs an intellectual task, a motor task, and a dual task successively in this order.
  • subject SJ performs an intelligence task (single task) for a predetermined period of time (for example, 30 seconds). Thereafter, subject SJ performs a motor task (single task) for a predetermined period of time (for example, 20 seconds). Finally, subject SJ performs the dual task for a predetermined period of time (eg, 30 seconds).
  • an intelligence task for a predetermined period of time (for example, 30 seconds).
  • a motor task for a predetermined period of time (for example, 20 seconds).
  • subject SJ performs the dual task for a predetermined period of time (eg, 30 seconds).
  • the time during which subject SJ is allowed to perform an intellectual task may be referred to as “intellectual task performance time.”
  • the time required for subject SJ to perform a motor task may be described as “motor task performance time.”
  • the time during which the subject SJ is required to perform the dual task may be referred to as “dual task performance time.”
  • the length of the intelligent task execution time is arbitrary.
  • the lengths of the motor task performance time and dual task performance time are also arbitrary.
  • the cognitive problems imposed on the subject SJ in the intelligence task are the same cognitive problems as the intelligence tasks included in the dual task.
  • the exercise imposed on the subject SJ in the exercise task (single task) is the same exercise as the exercise task included in the dual task.
  • the cognitive questions imposed on subject SJ in the intelligence task (single task) may be different from the intelligence tasks included in the dual task.
  • the exercise imposed on subject SJ in the exercise task (single task) may be different from the exercise task included in the dual task.
  • the cognitive function evaluation system 100 of this embodiment will be further described with reference to FIG. 1(a).
  • the cognitive function evaluation system 100 further includes a motion detection section 20, an answer detection section 30, and an evaluation section 40.
  • the motion detection unit 20 images the subject SJ performing a predetermined task and generates image data.
  • the motion detection unit 20 may generate frames showing the three-dimensional coordinates of all joints of the photographed subject SJ in time series.
  • the motion detection section 20 includes an imaging section 21 and a motion capture section 22.
  • the imaging unit 21 images the subject SJ. Specifically, the imaging unit 21 images the subject SJ performing a dual task. In this embodiment, the imaging unit 21 further images the subject SJ who is performing a motor task (single task).
  • the imaging unit 21 includes, for example, a CCD image sensor, a CMOS image sensor, or a range sensor.
  • the imaging unit 21 is arranged, for example, in front of the subject SJ. By arranging the imaging unit 21 in front of the subject SJ, all joints of the subject SJ can be captured.
  • the motion capture unit 22 converts the movements of each part of the subject SJ into vector data, and generates motion capture data that reflects the movements of each part of the subject SJ (motions of the subject SJ).
  • the motion capture data is a continuous frame showing a human skeletal model that moves according to the motion of the subject SJ imaged by the imaging unit 21.
  • the human body skeletal model represents the skeletal model of the subject SJ by a tree structure in which adjacent joints are linked based on the structure of the human body.
  • the human skeleton model (frame) shows the three-dimensional coordinates of all the joints of the imaged subject SJ.
  • the human skeleton model is a three-dimensional human skeleton model.
  • the motion capture unit 22 includes, for example, a processor and a storage unit.
  • the processor is, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the processor may further include a GPU (Graphics Processing Unit).
  • the storage unit stores computer programs executed by the processor.
  • the computer program includes a computer program that generates motion capture data from the output of the imaging unit 21.
  • the storage unit includes, for example, semiconductor memories such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the storage unit may further include VRAM (Video RAM).
  • the answer detection unit 30 detects answers to predetermined cognitive questions by subject SJ who is performing a predetermined task. Specifically, the answer detection unit 30 detects the answer of the subject SJ who is performing the dual task. In this embodiment, the answer detection unit 30 further detects the answer of the subject SJ who is performing an intelligence task (single task).
  • the answer detection unit 30 includes an answer switch for the left hand and an answer switch for the right hand.
  • Subject SJ answers the cognitive questions presented by the task presentation unit 10 by pressing the right-hand answer switch or the left-hand answer switch.
  • the left-handed answer switch may be held in the left hand of the subject SJ, or may be fixed to a handrail installed on the left side of the subject SJ.
  • the right-hand answer switch may be held in the right hand of the subject SJ, or may be fixed to a handrail installed on the right side of the subject SJ.
  • the evaluation unit 40 extracts the characteristics of the motion of the subject SJ from the imaging data generated by the motion detection unit 20.
  • the evaluation unit 40 may extract the characteristics of the subject SJ's motion from the motion capture data generated by the motion capture unit 22.
  • the evaluation unit 40 evaluates the characteristics of the spatial positional relationships of all the joints of the imaged subject SJ and the characteristics of the spatial positional relationships of all the joints of the imaged subject SJ, based on continuous frames showing a human skeletal model that moves according to the movements of the subject SJ. It is also possible to output motion characteristics indicating the characteristics of temporal fluctuations of all joints of the object.
  • the evaluation unit 40 further extracts the characteristics of the answers given by the subject SJ from the answers detected by the answer detection unit 30. For example, the evaluation unit 40 may calculate response speed and correct answer rate as characteristics of the response based on the response detected by the response detection unit 30.
  • the response speed indicates the number of times subject SJ answered per unit time.
  • the unit time is, for example, 1 second.
  • the correct answer rate indicates the ratio between the number of answers and the number of correct answers.
  • the number of answers indicates the number of times subject SJ answered.
  • the number of correct answers indicates the number of correct answers.
  • the response speed is calculated based on the total time of the intellectual task performance time and the dual task performance time.
  • response speed is calculated by calculating the sum of the number of times subject SJ answered when performing an intelligence task (single task) and the number of times subject SJ answered when performing a dual task, and the time to perform the intelligence task and the time to perform the dual task. Calculated by dividing by the total time.
  • the correct answer rate is the sum of the number of times subject SJ answered when performing an intelligence task (single task), the number of times subject SJ answered when performing a dual task, and the number of times subject SJ answered when performing an intelligence task (single task). It shows the ratio of the number of times subject SJ answered correctly to a question to the total number of times subject SJ answered correctly to a question presented when performing a dual task.
  • the cognitive function evaluation system 100 further includes a measurement unit 50.
  • the measurement unit 50 measures the brain waves of the subject SJ. More specifically, the measurement unit 50 measures the brain waves of the subject SJ in time series, and generates the brain wave data BD that shows the brain waves of the subject SJ in the time series.
  • the measurement unit 50 transmits the brain wave data BD to the evaluation unit 40 via wireless communication.
  • the wireless communication standard is not particularly limited.
  • the measurement unit 50 and the evaluation unit 40 may perform wireless communication based on a short-range wireless communication standard such as Bluetooth (registered trademark).
  • the measurement unit 50 measures brain waves when the subject SJ is at rest, brain waves when the subject SJ is performing an intellectual task, brain waves when the subject SJ is performing a motor task, and , measure the brain waves of subject SJ while performing a dual task.
  • the measurement time for brain waves during rest is, for example, 120 seconds.
  • the measurement time for brain waves when performing an intellectual task is, for example, 30 seconds.
  • the measurement time for brain waves when performing a motor task is, for example, 20 seconds.
  • the measurement time for brain waves when performing a dual task is, for example, 30 seconds.
  • the measurement unit 50 measures the brain waves of the subject SJ who is resting with his eyes closed. Note that the measurement unit 50 may measure the brain waves of the subject SJ who is resting with his eyes open.
  • the measurement unit 50 includes a small electroencephalograph.
  • a compact electroencephalograph is an electroencephalograph having ten or fewer electrodes.
  • the measurement unit 50 includes a patch-type electroencephalograph.
  • the patch-type electroencephalogram is a wet type.
  • a patch-type electroencephalograph has, for example, four electrodes. Of the four electrodes, three electrodes are placed on the forehead of subject SJ. The remaining one electrode is placed on the left ear of subject SJ.
  • a patch-type electroencephalograph includes an adhesive electrode sheet. When measuring brain waves, an electrode sheet is pasted on the forehead of subject SJ. Three electrodes are provided on the electrode sheet.
  • the number of electrodes can be reduced compared to a type of electroencephalograph in which electrodes are placed over the entire scalp of the subject SJ. Therefore, attachment of the electrode becomes easy. Therefore, subject SJ can wear the electroencephalograph by himself/herself.
  • the small electroencephalograph is lighter than a type of electroencephalograph in which electrodes are placed over the entire scalp of the subject SJ, so that the burden on the subject SJ can be reduced.
  • the small electroencephalograph is lightweight, the position of the electrodes is unlikely to shift even if the subject SJ exercises.
  • an electrode is placed on the forehead of subject SJ. Since the forehead has few irregularities, it is easy for the electrodes to come into close contact with it. Therefore, the position of the electrode is less likely to shift.
  • the evaluation unit 40 evaluates the cognitive function of the subject SJ based on the characteristics of the movements of the subject SJ, the characteristics of the answers given by the subject SJ, and the brain waves of the subject SJ (electroencephalogram data BD). In this embodiment, the evaluation unit 40 classifies the subject SJ into a dementia and mild cognitive impairment class and a non-dementia class. Alternatively, the evaluation unit 40 classifies the subject SJ into a dementia class and a mild cognitive impairment and non-dementia class.
  • MMSE Minimum Mental State Examination
  • the MMSE score is 23 points or less, it is judged that dementia is suspected, and if the MMSE score is higher than 23 points and 27 points or less, it is judged as mild dementia. It is determined that there is a suspicion of disability. Furthermore, if the MMSE score is higher than 27 points, the patient is determined to be non-demented.
  • FIGS. 2(a) to 2(d) are diagrams showing examples of tasks that the task presentation unit 10 presents to the subject SJ.
  • the exercise given to the subject SJ is "stepping"
  • the cognitive problem given to the subject SJ is a "calculation problem”.
  • the task presentation unit 10 first displays a first notification screen 11 that notifies the subject SJ of the start of the task.
  • the task presentation unit 10 causes the subject SJ to perform an intelligence task (single task).
  • the task presentation unit 10 displays a problem presentation screen 12a that presents cognitive questions.
  • the problem presentation screen 12a presents calculation problems.
  • the task presentation unit 10 displays a subtraction problem on the display as a calculation problem.
  • the calculation problem is a subtraction problem, but the calculation problem is not limited to a subtraction problem.
  • the calculation problem may be an addition problem.
  • the calculation problem may include a subtraction problem and an addition problem.
  • the task presentation unit 10 finishes presenting the calculation problem (cognitive problem) at a predetermined timing. Specifically, the task presentation unit 10 erases the question presentation screen 12a from the display. After erasing the question presentation screen 12a from the display, the task presentation unit 10 displays an answer candidate presentation screen 12b showing two answer candidates. Subject SJ presses one of the two answer switches to select an answer.
  • the task presentation unit 10 When subject SJ selects an answer, the task presentation unit 10 presents a calculation problem (cognitive problem) as the next question, which is different from the calculation problem (cognitive problem) that was answered this time. Thereafter, the calculation questions (cognitive questions) to be answered by the subject SJ are repeatedly presented until the predetermined intelligence task performance time has elapsed.
  • the task presentation unit 10 presents the motor task (single task) to the subject SJ. Specifically, the task presentation unit 10 displays an exercise presentation screen 13 that presents an exercise to be imposed on the subject SJ. In the examples shown in FIGS. 2(a) to 2(d), the exercise presentation screen 13 presents stepping.
  • the task presentation unit 10 causes the subject SJ to perform a dual task (single task) after a predetermined motor task performance time has elapsed.
  • the exercise imposed on subject SJ in the dual task is the same as the exercise imposed on subject SJ in the exercise task (single task).
  • the cognitive problems imposed on the subject SJ in the dual task are the same as the cognitive problems imposed on the subject SJ in the intelligence task (single task). Therefore, after the predetermined motor task performance time has elapsed, the task presentation unit 10 waits for the subject SJ to answer until the predetermined dual task performance time elapses, as explained with reference to FIG. 2(b). Repeat the presentation of computational problems (cognitive problems).
  • the task presentation unit 10 displays a second notification screen 14 on the display to inform the subject SJ of the end of the task.
  • the cognitive problems presented by the task presentation unit 10 are not limited to calculation problems.
  • the recognition problem may be a location memory problem or a rock-paper-scissors problem.
  • FIG. 3 is a diagram showing another example of the cognitive problem that the task presentation unit 10 presents to the subject SJ.
  • the recognition problem is a "location memory problem.”
  • the task presentation unit 10 displays a problem presentation screen 12a in which a figure is placed in one of four areas in which a figure can be placed.
  • the task presentation unit 10 After erasing the question presentation screen 12a from the display, the task presentation unit 10 displays an answer candidate presentation screen 12b in which a figure is placed in one of four areas in which a figure can be placed.
  • the answer candidate presentation screen 12b displays "Yes” and “No” as two answer candidates along with the question statement.
  • the question text indicates a question that can be answered with "yes” or "no.”
  • the subject SJ is asked whether the positions where the figures are placed are the same between the question presentation screen 12a and the answer candidate presentation screen 12b.
  • the subject SJ judges that the position where the figure was placed is the same between the question presentation screen 12a and the answer candidate presentation screen 12b, he presses the answer switch for his left hand and selects "Yes”.
  • the subject SJ determines that the position of the figure is different between the question presentation screen 12a and the answer candidate presentation screen 12b, he presses the right answer switch and selects "No.”
  • the task presentation unit 10 displays one of "goo,” “choki,” and “pa” on the problem presentation screen 12a. Display. Then, the task presentation unit 10 displays one of "goo", “choki”, and “pa”, the question sentence, and "yes” and "no” on the answer candidate presentation screen 12b. On the answer candidate presentation screen 12b, for example, the subject SJ is asked whether the finger pose displayed on the answer candidate presentation screen 12b can beat the finger pose displayed on the question presentation screen 12a.
  • FIGS. 4(a) to 4(d) are diagrams showing examples of brain wave data BD of subject SJ.
  • FIG. 4(a) shows an example of electroencephalogram data BD measured during rest.
  • FIG. 4(b) shows an example of brain wave data BD measured when performing an intelligence task. More specifically, FIG. 4(b) shows an example of electroencephalogram data BD when answering a calculation problem.
  • FIG. 4(c) shows an example of electroencephalogram data BD measured during execution of a motor task. More specifically, FIG. 4(c) shows an example of electroencephalogram data BD during stepping.
  • FIG. 4(d) shows an example of electroencephalogram data BD measured when performing a dual task. More specifically, FIG. 4(d) shows an example of electroencephalogram data BD when the user is answering a calculation problem while stepping.
  • the horizontal axis indicates measurement time.
  • the vertical axis indicates the voltage value of the electroencephalogram.
  • brain waves are activated when performing a task compared to when a person is at rest.
  • brain waves are most active when performing dual tasks.
  • the brain wave data BD includes noise such as power supply noise and myoelectricity.
  • brain waves when performing motor tasks and dual tasks contain a lot of myoelectric noise.
  • the voltage value of brain waves varies greatly from person to person.
  • FIGS. 5A and 5B are block diagrams showing the configuration of the cognitive function evaluation system 100 of this embodiment. Specifically, FIG. 5(a) shows the configuration of the evaluation section 40. FIG. 5(b) shows data input to the learned model TM and data output from the learned model TM.
  • the cognitive function evaluation system 100 further includes an identification information acquisition section 60 and an output section 70. Furthermore, the evaluation section 40 includes a communication section 41, a storage section 42, and a processing section 43.
  • the identification information acquisition unit 60 acquires the identification information assigned to the subject SJ.
  • the identification information acquisition unit 60 includes, for example, a card reader, a keyboard, or a touch panel.
  • the identification information acquisition unit 60 is a card reader
  • the subject SJ causes the card reader to read the identification information carried on the card.
  • the identification information acquisition unit 60 is a keyboard or a touch panel
  • the subject SJ operates the keyboard or touch panel to input the identification information assigned to him or herself.
  • the output unit 70 outputs the evaluation result of the cognitive function of the subject SJ.
  • the evaluation results include the classification results of cognitive functions.
  • the classification result indicates the class into which the cognitive function of the subject SJ is classified. Specifically, the cognitive function of subject SJ is classified into a dementia class and a mild cognitive impairment and non-dementia class. Alternatively, the cognitive function of subject SJ is classified into a dementia and mild cognitive impairment class and a non-dementia class.
  • the output unit 70 is, for example, a printer. The printer prints and outputs the evaluation result of the cognitive function of the subject SJ on paper.
  • the communication unit 41 receives the brain wave data BD from the measurement unit 50 and inputs the received brain wave data BD to the processing unit 43.
  • the communication unit 41 is capable of wireless communication with communication devices compliant with the same communication standard.
  • the communication unit 41 performs wireless communication based on a short-range wireless communication standard such as Bluetooth (registered trademark).
  • the communication unit 41 includes, for example, a wireless LAN adapter.
  • the storage unit 42 stores computer programs and various data.
  • the storage unit 42 includes, for example, a semiconductor memory.
  • Semiconductor memories include, for example, RAM and ROM.
  • the semiconductor memory may further include VRAM.
  • the storage unit 42 may further include an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage unit 42 stores the evaluation results of the cognitive function of each subject SJ in association with the identification information assigned to each subject SJ. In other words, the storage unit 42 stores the history of the evaluation results of the cognitive function of each subject SJ.
  • the storage unit 42 stores the learned model TM.
  • the trained model TM is a computer program that evaluates the cognitive function of the subject SJ based on the subject SJ's movements (imaging data), the characteristics of the answers given by the subject SJ, and the brain waves of the subject SJ (electroencephalogram data BD). .
  • the machine learning algorithm for constructing the trained model TM is not particularly limited as long as it is supervised learning, and may be, for example, a decision tree, nearest neighbor method, naive Bayes classifier, support vector machine, or neural network. be.
  • the trained model TM includes a decision tree, a nearest neighbor method, a naive Bayes classifier, a support vector machine, or a neural network.
  • a neural network includes an input layer, one or more hidden layers, and an output layer.
  • neural networks include deep neural networks (DNNs), recurrent neural networks (RNNs), and convolutional neural networks (CNNs).
  • rk deep neural networks
  • Transformer convolutional neural networks
  • space-time graph It includes at least one graph convolutional neural network, such as a Spatio-temporal Graph Convolutional Neural Network (ST-GCN), to perform deep learning.
  • ST-GCN Spatio-temporal Graph Convolutional Neural Network
  • a deep neural network includes an input layer, multiple hidden layers, and an output layer.
  • the processing unit 43 performs various processes such as numerical calculation, information processing, and device control by executing the computer program stored in the storage unit 42.
  • the processing unit 43 may include, for example, a CPU or an MPU.
  • the processing unit 43 may further include a GPU, or may further include an NPU (Neural Network Processing Unit).
  • the processing unit 43 may include a quantum computer.
  • the processing unit 43 sends the information to the task presentation unit 10 as described with reference to FIGS. 2(a) to 2(d) and FIG. Display various screens.
  • the processing unit 43 inputs the imaging data output from the motion detection unit 20 to the learned model TM. Furthermore, the processing unit 43 extracts features from the answers detected by the answer detection unit 30 and generates answer feature data. Then, the processing unit 43 inputs the answer feature data to the learned model TM. Furthermore, the processing unit 43 inputs the electroencephalogram data BD received from the measurement unit 50 to the learned model TM.
  • the processing unit 43 extracts continuous frames obtained when performing a motor task (single task) and continuous frames obtained when performing a dual task.
  • the frames are extracted and input to the trained model TM.
  • the number of frames of the exercise task (single task) is, for example, 160 frames.
  • the number of frames for the dual task is, for example, 260 frames.
  • the processing unit 43 calculates the response speed and correct answer rate as the characteristics of the answer based on the answer detected by the answer detection unit 30. Then, the processing unit 43 inputs data indicating the response speed and data indicating the correct answer rate to the trained model TM as response feature data.
  • the characteristics of the answers are not limited to answer speed and correct answer rate.
  • the characteristic of the answer may be only one of the answer speed and the correct answer rate.
  • the response characteristics include at least one of the number of responses, the number of correct responses, the average response time interval, and the standard deviation of the response time intervals, instead of or in addition to the response speed and correct response rate. May contain one.
  • the response time interval is the time interval required from when the task presentation unit 10 presents the answer candidate presentation screen 12b described with reference to FIGS. 2(b) and 3 until the subject SJ presses the answer switch. shows.
  • the processing unit 43 preprocesses the electroencephalogram data BD and inputs the preprocessed electroencephalogram data BD to the learned model TM.
  • the electroencephalogram data BD before preprocessing will be referred to as "raw data RBD.”
  • the electroencephalogram data BD shown in FIGS. 4(a) to 4(d) are raw data RBD.
  • the trained model TM outputs an evaluation result when the imaging data (motion capture data), response feature data, and brain wave data BD (brain wave data BD after preprocessing) are input.
  • the processing unit 43 obtains the evaluation result of the cognitive function of the subject SJ.
  • the trained model TM extracts the characteristics of the subject SJ's motion from the imaging data (motion capture data).
  • the learned model TM may extract features of the spatial positional relationship of all the joints of the imaged subject SJ and characteristics of temporal fluctuations of all the joints of the imaged subject SJ.
  • the learned model TM extracts the characteristics of the brain waves of the subject SJ from the preprocessed brain wave data BD.
  • the learned model TM outputs an evaluation result based on the characteristics of the motion of the subject SJ, the characteristics of the answers given by the subject SJ, and the characteristics of the brain waves of the subject SJ.
  • the trained model TM may output the evaluation result through majority voting processing.
  • different "weights" may be given to a plurality of labels that are candidates for majority voting.
  • the processing unit 43 Upon acquiring the evaluation result of the cognitive function of the subject SJ, the processing unit 43 causes the output unit 70 to output the evaluation result of the cognitive function of the subject SJ. Note that the processing unit 43 may cause the output unit 70 to output the history of the evaluation results of the cognitive function of the subject SJ.
  • the history of evaluation results output by the output unit 70 may be expressed in a table format or a graph format.
  • the processing unit 43 After evaluating the cognitive function of the subject SJ, the processing unit 43 causes the storage unit 42 to store the evaluation result of the cognitive function of the subject SJ in association with the identification information. As a result, the storage unit 42 stores the history of the evaluation results of the cognitive function of the subject SJ in association with the identification information.
  • FIG. 6 is a flowchart showing preprocessing.
  • FIG. 7 is a diagram showing the preprocessed sample SA input to the trained model TM.
  • the preprocessing shown in FIG. 6 is the raw data RBD of subject SJ at rest, the raw data RBD of subject SJ when performing an intellectual task, the raw data RBD of subject SJ when performing a motor task, and the raw data RBD when subject SJ is performing a dual task.
  • the process starts when the raw data RBD of is input to the processing unit 43.
  • the processing unit 43 processes A dividing process is performed to divide each raw data RBD into a plurality of pieces (N pieces) (step S1).
  • the divided raw data RBD may be referred to as "divided raw data BS.”
  • the processing unit 43 After the combination processing, the processing unit 43 performs filtering processing on each sample SA (step S3), and ends the preprocessing shown in FIG. 6. Then, the processing unit 43 inputs each sample SA after the filtering process to the learned model TM.
  • the processing unit 43 extracts a signal of a specific frequency from each sample SA. Specifically, the processing unit 43 performs bandpass filtering using a function based on inverse Fourier transform.
  • the inverse Fourier transform may be an inverse fast Fourier transform.
  • the processing unit 43 extracts ⁇ waves (frequency: 4 Hz or more and less than 8 Hz), ⁇ waves (8 Hz or more and less than 13 Hz), and ⁇ waves (13 Hz or more and less than 30 Hz) from each sample SA. Then, as shown in FIG. 7, the processing unit 43 inputs the ⁇ waves, ⁇ waves, and ⁇ waves extracted from each sample SA to the trained model TM.
  • the learned model TM may extract the features of ⁇ waves, ⁇ waves, and ⁇ waves as the brain wave features of the subject SJ.
  • the theta waves, the alpha waves, and the beta waves may be input to different convolutional neural networks (CNNs).
  • CNNs convolutional neural networks
  • the processing unit 43 may perform normalization processing on each divided raw data BS after the division processing.
  • the normalization process is Min-Max normalization.
  • the normalization process can suppress erroneous determinations caused by individual differences in brain wave voltage values.
  • FIG. 8(a) is a diagram showing an example of raw data RBD.
  • FIG. 8(b) is a diagram showing an example of a ⁇ wave.
  • FIG. 8(b) shows an example of the ⁇ wave extracted from the raw data RBD shown in FIG. 8(a).
  • FIG. 8(c) is a diagram showing an example of ⁇ waves.
  • FIG. 8(c) shows an example of ⁇ waves extracted from the raw data RBD shown in FIG. 8(a).
  • FIG. 8(d) is a diagram showing an example of a ⁇ wave.
  • FIG. 8(a) is a diagram showing an example of raw data RBD.
  • FIG. 8(b) is a diagram showing an example of a ⁇ wave.
  • FIG. 8(b) shows an example of the ⁇ wave extracted from the raw data RBD shown in FIG. 8(a).
  • FIG. 8(c) is a diagram showing an example of a ⁇ wave.
  • FIG. 8(b) is a diagram showing an
  • FIG. 8(d) shows an example of the ⁇ wave extracted from the raw data RBD shown in FIG. 8(a). Note that in FIGS. 8(a) to 8(d), the horizontal axis indicates measurement time. The vertical axis indicates the voltage value of the electroencephalogram.
  • FIGS. 8(b) to 8(d) noise components have been removed from the ⁇ waves, ⁇ waves, and ⁇ waves, so the raw data shown in FIGS. 4(b) to 4(c) Compared to RBD, this waveform shows more clearly the characteristics of subject SJ's brain waves at rest, when performing an intellectual task, when performing a motor task, and when performing a dual task.
  • noise included in the raw data RBD can be removed by filtering processing.
  • the cognitive function of subject SJ can be evaluated with higher accuracy.
  • the raw data RBD may contain noise such as artifacts caused by blinking or eye movements, myoelectricity caused by movements such as stepping, and power supply noise.
  • FIGS. 9A and 9B are diagrams showing the division process. Note that in FIGS. 9(a) and 9(b), the horizontal axis indicates measurement time. The vertical axis indicates the voltage value of the electroencephalogram.
  • the processing unit 43 divides the raw data RBD into a plurality of pieces (N pieces) by sliding window processing, and divides the raw data RBD into a plurality of pieces (N pieces) of divided raw data.
  • BSs (BS1 to BSn) may be generated.
  • the sliding window process is a process of dividing the raw data RBD into multiple pieces (N pieces) while sliding a window W with a fixed width (window size M) by a fixed sliding amount (slide size S). shows.
  • the window size M is, for example, 6 seconds.
  • the slide size S is, for example, 3 seconds.
  • the slide size S (slide amount) is smaller than the window size M (width of the window W). Therefore, two pieces of divided raw data BS that are adjacent to each other in the time axis direction partially overlap with each other.
  • the window size M width of the window W. Therefore, two pieces of divided raw data BS that are adjacent to each other in the time axis direction partially overlap with each other.
  • FIG. 9B divided raw data BS1 and divided raw data BS2 that are adjacent in the time axis direction partially overlap with each other.
  • the imaging data when performing a motor task the answer data when performing an intellectual task, and the imaging data and answer when performing a dual task.
  • the cognitive function of the subject SJ can be evaluated by considering the electroencephalogram data BD. Therefore, the cognitive function of subject SJ can be evaluated with higher accuracy.
  • the value of can be set to 1.7 or more.
  • Sensitivity P1 is calculated by the following equation (2).
  • the specificity P2 is calculated by the following equation (3).
  • Sensitivity P1 NTP /( NTP + NFN )...(2)
  • Specificity P2 N TN /(N TN +N FP )...(3)
  • N TP indicates the number of people who were correctly predicted to be positive.
  • N TN indicates the number of people who were correctly predicted to be negative.
  • NFP indicates the number of people incorrectly predicted to be positive.
  • NFN indicates the number of people incorrectly predicted to be negative.
  • FIG. 10 is a diagram showing a model generation system 200 that generates a trained model TM.
  • the model generation system 200 includes a task presentation section 10, a motion detection section 20, an answer detection section 30, an evaluation section 40, a measurement section 50, an identification information acquisition section 60, and a data collection section 10. 80.
  • the task presentation unit 10 presents the task to the subject SJ, as described with reference to FIGS. 1 to 9.
  • the motion detection unit 20 generates imaging data as described with reference to FIGS. 1 to 9.
  • the answer detection unit 30 detects the answer to a predetermined cognitive question by the subject SJ, as described with reference to FIGS. 1 to 9.
  • the measurement unit 50 generates the brain wave data BD of the subject SJ, as described with reference to FIGS. 1 to 9.
  • the identification information acquisition unit 60 acquires the identification information of the subject SJ, as described with reference to FIGS. 1 to 9.
  • the data collection unit 80 generates learning data by collecting, for example, data obtained by subject SJ performing an intellectual task, a motor task, and a dual task, and brain wave data BD of subject SJ.
  • the data collection unit 80 collects the output (imaging data) of the motion detection unit 20. Further, the data collection unit 80 extracts and collects characteristics of the answers of the subject SJ from the output of the answer detection unit 30. Furthermore, the data collection unit 80 preprocesses the brain wave data BD during rest, when performing a motor task, when performing an intellectual task, and when performing a dual task, and extracts theta waves, alpha waves, and beta waves of each sample SA. collect. Note that the data collected by the data collection unit 80 may include a plurality of data obtained from the same subject SJ.
  • FIG. 11 is a block diagram showing part of the configuration of the model generation system 200. Specifically, FIG. 11 shows the configuration of the data collection section 80. As shown in FIG. 11, the data collection section 80 includes a communication section 81, an input section 82, a storage section 83, and a processing section 84. The data collection unit 80 is, for example, a server.
  • the communication unit 81 receives the brain wave data BD from the measurement unit 50 and inputs the received brain wave data BD to the processing unit 84.
  • the communication unit 81 is capable of wireless communication with communication devices compliant with the same communication standard.
  • the communication unit 81 performs wireless communication based on a short-range wireless communication standard such as Bluetooth (registered trademark).
  • the communication unit 81 includes, for example, a wireless LAN adapter.
  • the input unit 82 is operated by a worker to input various information to the processing unit 84.
  • the input unit 82 includes, for example, input devices such as a keyboard, a mouse, and a touch panel.
  • the operator operates the input unit 82 to input label data (teacher data) used in supervised learning or semi-supervised learning.
  • the worker uses a true value label (label data indicating positive) indicating that the label is classified into the dementia and mild cognitive impairment classes as label data (teacher data) and a label data indicating that the label is classified into the non-dementia class. Enter the true value label (label data indicating negative) indicating that it is classified.
  • the worker can identify the true value label (label data indicating positive) indicating that the worker is classified into the dementia class and the true value label (label data indicating negative) indicating that the worker is classified into the mild cognitive impairment and non-dementia class. Enter the label data (indicating the label).
  • subject SJ was asked to take a paper test (for example, MMSE paper test) and activities of daily living (ADL) in advance. This can be obtained by taking an evaluation test.
  • a paper test for example, MMSE paper test
  • ADL activities of daily living
  • the storage unit 83 stores computer programs and various data.
  • the storage unit 83 includes, for example, a semiconductor memory.
  • Semiconductor memories include, for example, RAM and ROM.
  • the semiconductor memory may further include VRAM.
  • the storage unit 83 may further include an HDD or an SSD.
  • the storage unit 83 stores the learning data acquired from each subject SJ in association with the identification information assigned to each subject SJ.
  • the learning data includes the imaging data (motion capture data) described with reference to FIGS. 1 to 9, the answer feature data described with reference to FIGS. This includes the electroencephalogram data BD described above. More specifically, the learning data includes, as the brain wave data BD, the ⁇ waves, ⁇ waves, and ⁇ waves of each sample SA described with reference to FIGS. 1 to 9.
  • the learning data further includes label data (teacher data) input from the input unit 82.
  • the storage unit 83 may store, for example, a database of learning data. Note that a plurality of pieces of learning data obtained from the same subject SJ are managed as different data.
  • the processing unit 84 executes a computer program stored in the storage unit 83 to perform various processes such as numerical calculation, information processing, and device control.
  • the processing unit 84 may include, for example, a CPU or an MPU.
  • the processing unit 84 may further include a GPU.
  • the processing unit 84 causes the storage unit 83 to store the label data (teacher data) input from the input unit 82 in association with the identification information of the subject SJ.
  • the processing unit 84 causes the task presentation unit 10 to display various screens as described with reference to FIGS. 2 and 3. Furthermore, the processing unit 84 acquires the imaging data generated by the motion detection unit 20, and stores it in the storage unit 83 in association with the identification information of the subject SJ. Further, the processing unit 84 extracts answer feature data from the output of the answer detection unit 30 and stores it in the storage unit 83 in association with the identification information of the subject SJ. Furthermore, the processing unit 84 extracts the ⁇ waves, ⁇ waves, and ⁇ waves of each sample SA from the electroencephalogram data BD generated by the measurement unit 50, and stores them in the storage unit 83 in association with the identification information of the subject SJ.
  • the processing unit 84 generates learning data based on the collected data. Then, the processing unit 84 outputs the learning data to the evaluation unit 40 (see FIG. 10). Note that the processing unit 84 may generate data for mini-batch learning and output it to the evaluation unit 40.
  • FIG. 12 is a block diagram showing the configuration of the evaluation section 40 during learning.
  • the storage unit 42 stores the learning program TP during learning.
  • the learning program TP is a program for finding a certain rule from the learning data and executing an algorithm (machine learning algorithm) for generating a model (learned model TM) expressing the rule.
  • the machine learning algorithm is not particularly limited as long as it is supervised learning, such as a decision tree, nearest neighbor method, naive Bayes classifier, support vector machine, or neural network. Error backpropagation may be used for machine learning.
  • the processing unit 43 executes the learning program TP using the learning data acquired from the data collection unit 80. As a result, learning is performed so that the true value label and the predicted label match, and a learned model TM is generated.
  • the characteristics of the motion of the subject SJ are extracted from the imaging data by executing the learning program TP.
  • the neural network constructed by the learning program TP is trained to generate the learned model TM.
  • the learned model TM is generated by determining the value of a parameter (parameter value) included in the neural network to a value that minimizes the loss function.
  • the ⁇ waves, ⁇ waves, and ⁇ waves may be trained by different convolutional neural networks (CNNs).
  • subject SJ was made to perform an intellectual task (single task), a motor task (single task), and a dual task in this order; ), motor tasks (single task), and dual tasks can be interchanged.
  • subject SJ was made to perform an intellectual task (single task), a motor task (single task), and a dual task, but the tasks that subject SJ was made to perform were Optional.
  • subject SJ may be made to perform a dual task, an intellectual task (single task), a motor task (single task), and a dual task in this order.
  • the subject SJ may be made to perform an intellectual task (single task) and a dual task, or may be made to perform a motor task (single task) and a dual task.
  • the task that the subject SJ is made to perform may be only a dual task.
  • subject SJ is made to perform an intelligence task (single task) and a dual task
  • the order in which the subject SJ is made to perform the intelligence task (single task) and dual task is arbitrary.
  • the order in which the subject SJ is made to perform the motor task (single task) and dual task is arbitrary.
  • the task presentation section 10 has a display, but the task presentation section 10 may also have an audio output device.
  • the answer detection section 30 has an answer switch, but the answer detection section 30 is not limited to an answer switch.
  • the answer detection unit 30 may include a line-of-sight direction detection device or a sound collector.
  • the viewing direction detection device includes a near-infrared LED and an imaging device.
  • the near-infrared LED irradiates the eyes of subject SJ with near-infrared rays.
  • the imaging device images the eyes of subject SJ.
  • the processing unit 43 and the processing unit 84 analyze the image captured by the imaging device and detect the position of the pupil (direction of line of sight) of the subject SJ.
  • the answer of the subject SJ can be obtained based on the voice generated by the subject SJ in response to the answer candidate presentation screen 12b shown in FIGS. 2(b) and 3.
  • the processing unit 43 and the processing unit 84 can obtain the answer of the test subject SJ by converting the voice generated by the test subject SJ into text data through voice recognition processing.
  • the recognition problem is not limited to a problem in which the subject SJ is asked to select one of two answer candidates.
  • subject SJ may be asked to answer a calculation problem.
  • the recognition questions may be questions in which answers are given using words. Questions that require you to answer words include, for example, the ⁇ shiritori question,'' ⁇ the question of naming words (e.g., words) that start with a sound (letter) arbitrarily selected from among the 50 syllabaries,'' or ⁇ the alphabet question.'' It may also be a question of ⁇ listing words (for example, words) that start with a randomly selected letter.''
  • the measurement unit 50 transmitted the brain wave data BD to the evaluation unit 40 via wireless communication, but the measurement unit 50 evaluated the brain wave data BD via a cable. It may also be transmitted to the section 40. Similarly, the measuring section 50 may transmit the brain wave data BD to the data collecting section 80 via a cable.
  • the measurement unit 50 measures brain waves when the subject SJ is at rest, brain waves when the subject SJ is performing an intellectual task, and electroencephalograms when the subject SJ is performing an intellectual task.
  • the brain waves while subject SJ was performing a motor task and the brain waves while subject SJ was performing a dual task were measured. Any one or two of the brain waves when subject SJ is performing an intellectual task, the brain waves when subject SJ is performing a motor task, and the brain waves when subject SJ is performing a dual task. , or three brain waves may be measured.
  • a patch type electroencephalograph was used, but the compact electroencephalograph is not limited to the patch type.
  • an earplug type or headset type electroencephalograph may be used as a small electroencephalograph.
  • a wet electroencephalograph was used, but a dry electroencephalograph may also be used.
  • an electroencephalograph small electroencephalograph having 10 or less electrodes was used, but an electroencephalograph having 11 or more electrodes was used. You can.
  • an electroencephalograph of a type in which electrodes are placed over the entire scalp of the subject SJ may be used.
  • the output unit 70 is a printer, but the output unit 70 is not limited to a printer.
  • the output unit 70 may be, for example, a communication unit that transmits an email indicating the evaluation result of the cognitive function of the subject SJ to an email address registered in advance by the subject SJ.
  • the trained model TM extracts the motion characteristics of the subject SJ, but the processing unit 43 and the processing unit 84 extract the motion characteristics of the subject SJ. You can.
  • the electroencephalogram data BD (raw data RBD) is divided into a plurality of pieces, but the electroencephalogram data BD (raw data RBD) does not need to be divided.
  • theta wave, alpha wave, and beta wave components included in the brain waves were used, but among the theta wave, alpha wave, and beta wave, Any one or two of these may be used.
  • the data collection unit 80 generates the learning data, but the evaluation unit 40 may generate the learning data.
  • the evaluation unit 40 classifies the subject SJ into a dementia and mild cognitive impairment class and a non-dementia class, or a dementia class.
  • the evaluation unit 40 may also classify subject SJ into the mild cognitive impairment class and the non-dementia class. may be classified into a dementia class, a mild cognitive impairment class, and a non-dementia class.
  • the evaluation unit 40 classifies the subject SJ into a dementia and mild cognitive impairment class and a non-dementia class, or a dementia class.
  • the evaluation unit 40 may classify the subject SJ according to the type of dementia.
  • the evaluation unit 40 may classify subject SJ into Alzheimer's type dementia and Lewy body dementia.
  • the present invention can be used for diagnosing mild cognitive impairment and dementia.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

被験者の認知機能を評価する認知機能評価システムを提供する。認知機能評価システム（１００）は、動作検出部（２０）、回答検出部（３０）、測定部（５０）、及び評価部（４０）を備える。動作検出部（２０）は、所定のタスクを遂行している被験者（ＳＪ）を撮像して、撮像データを生成する。回答検出部（３０）は、所定のタスクを遂行している被験者（ＳＪ）による所定の認知問題に対する回答を検出する。測定部（５０）は、被験者（ＳＪ）の脳波を測定する。評価部（４０）は、撮像データから被験者（ＳＪ）の動作の特徴を抽出し、回答検出部（３０）により検出された回答から被験者（ＳＪ）による回答の特徴を抽出し、動作の特徴、回答の特徴、及び脳波に基づいて、被験者（ＳＪ）の認知機能を評価する。所定のタスクは、所定の運動を被験者（ＳＪ）に課す運動タスクと、所定の認知問題に対する回答を被験者（ＳＪ）に課す知能タスクとを含む。

Description

認知機能評価システム
　本発明は、認知機能評価システムに関する。
　認知機能の低下を早期に発見することは、認知症の進行を遅らせるために重要である。例えば、非特許文献１には、デュアルタスクを利用して認知機能の低下を早期に発見するシステムが開示されている。具体的には、非特許文献１のシステムは、シングルタスクとデュアルタスクとを被験者に遂行させて収集したデータから、認知症に関する１２種類の特徴を算出し、機械学習を用いてＭＭＳＥ（Ｍｉｎｉ－Ｍｅｎｔａｌ　Ｓｔａｔｅ　Ｅｘａｍｉｎａｔｉｏｎ）スコアを推定する。
松浦　拓　他６名、「デュアルタスク歩行解析に基づく高齢者の認知機能スコア推定」、電子情報通信学会、技術研究報告、川崎、Ｖｏｌ．１１９、Ｎｏ．ＨＣＳ２０１９－９９、ｐｐ．８３－８８、Ｍａｒ．２０２０
　しかしながら、非特許文献１のシステムでは、精度が十分ではない。したがって、改善の余地がある。
　本発明は上記課題に鑑みてなされたものであり、その目的は、被験者の認知機能をより精度よく評価することができる認知機能評価システムを提供することにある。
　本発明の一局面によれば、認知機能評価システムは、動作検出部と、回答検出部と、測定部と、評価部とを備える。前記動作検出部は、所定のタスクを遂行している被験者を撮像して、撮像データを生成する。前記回答検出部は、前記所定のタスクを遂行している前記被験者による所定の認知問題に対する回答を検出する。前記測定部は、前記被験者の脳波を測定する。前記評価部は、前記撮像データから前記被験者の動作の特徴を抽出し、前記回答検出部により検出された前記回答から前記被験者による前記回答の特徴を抽出し、前記動作の特徴、前記回答の特徴、及び前記脳波に基づいて、前記被験者の認知機能を評価する。前記所定のタスクは、運動タスクと、知能タスクとを含む。前記運動タスクは、所定の運動を前記被験者に課す。前記知能タスクは、前記所定の認知問題に対する回答を前記被験者に課す。前記評価部は、前記運動タスクを遂行している前記被験者の前記撮像データから前記被験者の動作の特徴を抽出する。
　ある実施形態において、前記評価部は、前記被験者を、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類する。
　ある実施形態において、前記評価部は、前記被験者を、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類する。
　ある実施形態において、前記所定のタスクは、前記運動タスクと前記知能タスクとを同時に前記被験者に課すデュアルタスクを含む。
　ある実施形態において、前記動作検出部は、前記デュアルタスクを遂行している前記被験者を撮像する。
　ある実施形態において、前記回答検出部は、前記デュアルタスクを遂行している前記被験者の前記回答を検出する。
　ある実施形態において、前記脳波は、前記被験者が安静にしている際の脳波、前記被験者が前記運動タスクを遂行している際の脳波、前記被験者が前記知能タスクを遂行している際の脳波、及び、前記被験者が前記デュアルタスクを遂行している際の脳波のうちの少なくとも１つを含む。
　ある実施形態において、前記評価部は、前記測定部が測定した前記脳波から特定の周波数の信号を抽出し、前記動作の特徴、前記回答の特徴、及び前記特定の周波数の信号に基づいて、前記被験者の認知機能を評価する。
　ある実施形態において、前記評価部は、前記測定部が測定した前記脳波を複数個に分割する。
　ある実施形態において、前記評価部は、前記測定部が測定した脳波を、固定された幅のウィンドウをスライドさせながら分割する。
　ある実施形態において、前記スライドの量は、前記ウィンドウの幅よりも小さい。
　本発明に係る認知機能評価システムによれば、被験者の認知機能をより精度よく評価することができる。
（ａ）及び（ｂ）は、本発明の実施形態に係る認知機能評価システムを示す図である。 （ａ）～（ｄ）は、タスク提示部が被験者に提示するタスクの一例を示す図である。 タスク提示部が被験者に提示する認知問題の他例を示す図である。 （ａ）～（ｄ）は、被験者の脳波データの一例を示す図である。 （ａ）及び（ｂ）は、本発明の実施形態に係る認知機能評価システムの構成を示すブロック図である。 前処理を示すフローチャートである。 学習済みモデルに入力する前処理後のサンプルを示す図である。 （ａ）は、生データの一例を示す図である。（ｂ）は、θ波の一例を示す図である。（ｃ）は、α波の一例を示す図である。（ｄ）は、β波の一例を示す図である。 （ａ）及び（ｂ）は、分割処理を示す図である。 学習済みモデルを生成するモデル生成システムを示す図である。 モデル生成システムの構成の一部を示すブロック図である。 学習時における評価部の構成を示すブロック図である。
　以下、図面（図１～図１２）を参照して本発明の認知機能評価システムに係る実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。なお、説明が重複する箇所については、適宜説明を省略する場合がある。また、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
　まず、図１（ａ）及び図１（ｂ）を参照して、本実施形態の認知機能評価システム１００を説明する。図１（ａ）及び図１（ｂ）は、本実施形態の認知機能評価システム１００を示す図である。
　認知機能評価システム１００は、被験者ＳＪの認知機能を評価する。本実施形態の認知機能評価システム１００は、被験者ＳＪを、認知症及び軽度認知障害（Ｍｉｌｄ　Ｃｏｇｎｉｔｉｖｅ　Ｉｍｐａｉｒｍｅｎｔ；ＭＣＩ）のクラスと、非認知症のクラスとに分類する。あるいは、本実施形態の認知機能評価システム１００は、被験者ＳＪを、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類する。
　なお、軽度認知障害は、認知症の前段階であり、正常な状態と認知症の状態との中間の状態を示す。具体的には、軽度認知障害は、記憶力や注意力などの認知機能に低下がみられるものの、日常生活に支障をきたすほどには低下していない状態を示す。
　図１（ａ）に示すように、本実施形態の認知機能評価システム１００は、タスク提示部１０を備える。タスク提示部１０は、被験者ＳＪに遂行させるタスクを提示する。本実施形態において、タスク提示部１０は、例えば液晶ディスプレイのようなディスプレイを有する。タスク提示部１０は、被験者ＳＪに遂行させるタスクを示す画面をディスプレイに表示させる。なお、ディスプレイは、例えば、被験者ＳＪの正面に設置される。
　本実施形態において、被験者ＳＪに遂行させるタスク（所定のタスク）は、デュアルタスクを含む。デュアルタスクは、運動タスクと知能タスクとを同時に被験者ＳＪに課すタスクである。運動タスクは、所定の運動を被験者ＳＪに課すタスクである。知能タスクは、所定の認知問題に対する回答を被験者ＳＪに課すタスクである。所定の運動は、例えば、その場足踏み、歩行、走行、又はスキップである。所定の認知問題は、例えば、計算問題、位置記憶問題、又はじゃんけん問題である。
　本実施形態において、被験者ＳＪに遂行させるタスク（所定のタスク）は、知能タスク（シングルタスク）、運動タスク（シングルタスク）、及びデュアルタスクを含む。具体的には、被験者ＳＪは、知能タスク、運動タスク、及びデュアルタスクをこの順に連続して遂行する。
　より詳しくは、被験者ＳＪは、所定の時間（例えば、３０秒）、知能タスク（シングルタスク）を遂行する。その後、被験者ＳＪは、所定の時間（例えば、２０秒）、運動タスク（シングルタスク）を遂行する。最後に、被験者ＳＪは、所定の時間（例えば、３０秒）、デュアルタスクを遂行する。
　以下、被験者ＳＪに知能タスク（シングルタスク）を遂行させる時間を、「知能タスク遂行時間」と記載する場合がある。同様に、被験者ＳＪに運動タスク（シングルタスク）を遂行させる時間を、「運動タスク遂行時間」と記載する場合がある。また、被験者ＳＪにデュアルタスクを遂行させる時間を、「デュアルタスク遂行時間」と記載する場合がある。なお、知能タスク遂行時間の長さは、任意である。同様に、運動タスク遂行時間及びデュアルタスク遂行時間のそれぞれの長さも、任意である。
　本実施形態では、知能タスク（シングルタスク）において被験者ＳＪに課される認知問題は、デュアルタスクに含まれる知能タスクと同じ認知問題である。また、運動タスク（シングルタスク）において被験者ＳＪに課される運動は、デュアルタスクに含まれる運動タスクと同じ運動である。なお、知能タスク（シングルタスク）において被験者ＳＪに課される認知問題は、デュアルタスクに含まれる知能タスクと異なっていてもよい。同様に、運動タスク（シングルタスク）において被験者ＳＪに課される運動は、デュアルタスクに含まれる運動タスクと異なっていてもよい。
　続いて、図１（ａ）を参照して、本実施形態の認知機能評価システム１００を更に説明する。図１（ａ）に示すように、認知機能評価システム１００は、動作検出部２０と、回答検出部３０と、評価部４０とを更に備える。
　動作検出部２０は、所定のタスクを遂行している被験者ＳＪを撮像して、撮像データを生成する。例えば、動作検出部２０は、撮像された被験者ＳＪの全関節の三次元座標を示すフレームを時系列に沿って生成してもよい。詳しくは、動作検出部２０は、撮像部２１と、モーションキャプチャ部２２とを有する。
　撮像部２１は、被験者ＳＪを撮像する。具体的には、撮像部２１は、デュアルタスクを遂行している被験者ＳＪを撮像する。本実施形態では、撮像部２１は、運動タスク（シングルタスク）を遂行している被験者ＳＪを更に撮像する。撮像部２１は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又は測域センサ（レンジセンサ）を有する。撮像部２１は、例えば、被験者ＳＪの正面に配置される。撮像部２１を被験者ＳＪの正面に配置することにより、被験者ＳＪの全関節を捕捉することができる。
　モーションキャプチャ部２２は、被験者ＳＪの各部の動きをベクトルデータに変換して、被験者ＳＪの各部の動き（被験者ＳＪの動作）を反映したモーションキャプチャデータを生成する。具体的には、モーションキャプチャデータは、撮像部２１によって撮像された被験者ＳＪの動作に従って動く人体骨格モデルを示す連続フレームである。人体骨格モデルは、人体の構造に基づいて隣り合う関節をリンクさせたツリー構造によって被験者ＳＪの骨格モデルを表す。人体骨格モデル（フレーム）は、撮像された被験者ＳＪの全関節の三次元座標を示す。換言すると、人体骨格モデルは、３次元人体骨格モデルである。
　モーションキャプチャ部２２は、例えば、プロセッサと、記憶部とを有する。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、又はＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。プロセッサは、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を更に含んでもよい。記憶部は、プロセッサによって実行されるコンピュータプログラムを記憶する。コンピュータプログラムは、撮像部２１の出力からモーションキャプチャデータを生成するコンピュータプログラムを含む。記憶部は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）のような半導体メモリを含む。記憶部は、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）を更に含んでもよい。
　回答検出部３０は、所定のタスクを遂行している被験者ＳＪによる所定の認知問題に対する回答を検出する。具体的には、回答検出部３０は、デュアルタスクを遂行している被験者ＳＪの回答を検出する。本実施形態では、回答検出部３０は、知能タスク（シングルタスク）を遂行している被験者ＳＪの回答を更に検出する。
　例えば、回答検出部３０は、左手用の回答スイッチと、右手用の回答スイッチとを含む。被験者ＳＪは、右手用の回答スイッチ又は左手用の回答スイッチを押すことにより、タスク提示部１０によって提示される認知問題に回答する。
　なお、左手用の回答スイッチは、被験者ＳＪの左手に持たせてもよいし、被験者ＳＪの左側に設置する手摺に固定してもよい。同様に、右手用の回答スイッチは、被験者ＳＪの右手に持たせてもよいし、被験者ＳＪの右側に設置する手摺に固定してもよい。
　評価部４０は、動作検出部２０によって生成される撮像データから被験者ＳＪの動作の特徴を抽出する。例えば、評価部４０は、モーションキャプチャ部２２によって生成されるモーションキャプチャデータから被験者ＳＪの動作の特徴を抽出してもよい。具体的には、評価部４０は、被験者ＳＪの動作に従って動く人体骨格モデルを示す連続フレームに基づいて、撮像された被験者ＳＪの全関節の空間的な位置関係の特徴と、撮像された被験者ＳＪの全関節の時間的な変動の特徴とを示す動作特徴を出力してもよい。
　評価部４０は、更に、回答検出部３０によって検出された回答から、被験者ＳＪによる回答の特徴を抽出する。例えば、評価部４０は、回答検出部３０によって検出された回答に基づき、回答の特徴として、回答速度及び正答率を算出してもよい。回答速度は、被験者ＳＪが単位時間当たりに回答した回数を示す。単位時間は、例えば、１秒である。正答率は、回答数と正答数との比を示す。回答数は、被験者ＳＪが回答した回数を示す。正答数は、正解の回答数を示す。
　例えば、回答速度は、知能タスク遂行時間とデュアルタスク遂行時間との合計時間に対して算出される。すなわち、回答速度は、知能タスク（シングルタスク）の遂行時に被験者ＳＪが回答した回数と、デュアルタスクの遂行時に被験者ＳＪが回答した回数との合計値を、知能タスク遂行時間とデュアルタスク遂行時間との合計時間で除算することによって算出される。
　正答率は、知能タスク（シングルタスク）の遂行時に被験者ＳＪが回答した回数と、デュアルタスクの遂行時に被験者ＳＪが回答した回数との合計値と、知能タスク（シングルタスク）の遂行時に提示された問題に対して被験者ＳＪが正解した回数と、デュアルタスクの遂行時に提示された問題に対して被験者ＳＪが正解した回数との合計値との比を示す。
　続いて、図１（ｂ）を参照して、本実施形態の認知機能評価システム１００を説明する。図１（ｂ）に示すように、認知機能評価システム１００は、測定部５０を更に備える。測定部５０は、被験者ＳＪの脳波を測定する。より詳しくは、測定部５０は、被験者ＳＪの脳波を時系列に測定して、被験者ＳＪの脳波を時系列に沿って示す脳波データＢＤを生成する。
　本実施形態では、測定部５０は、脳波データＢＤを無線通信によって評価部４０へ送信する。なお、無線通信の規格は特に限定されない。例えば、測定部５０と評価部４０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信規格に準拠して無線通信を行ってもよい。
　本実施形態では、測定部５０は、被験者ＳＪが安静にしている際の脳波、被験者ＳＪが知能タスクを遂行している際の脳波、被験者ＳＪが運動タスクを遂行している際の脳波、及び、被験者ＳＪがデュアルタスクを遂行している際の脳波を測定する。安静時の脳波の計測時間は、例えば、１２０秒である。知能タスク遂行時の脳波の計測時間は、例えば、３０秒である。運動タスク遂行時の脳波の計測時間は、例えば、２０秒である。デュアルタスク遂行時の脳波の計測時間は、例えば、３０秒である。
　本実施形態では、測定部５０は、閉眼した状態で安静にしている被験者ＳＪの脳波を測定する。なお、測定部５０は、開眼した状態で安静にしている被験者ＳＪの脳波を測定してもよい。
　本実施形態では、測定部５０は、小型の脳波計を含む。小型の脳波計は、１０個以下の電極を有する脳波計である。より具体的には、測定部５０はパッチ式の脳波計を含む。パッチ式の脳波計は、ウェット式である。パッチ式の脳波計は、例えば、４個の電極を有する。４個の電極のうち、３個の電極は被験者ＳＪの額に配置される。残り１個の電極は被験者ＳＪの左耳に配置される。詳しくは、パッチ式の脳波計は、粘着性の電極シートを備える。脳波の測定時に、被験者ＳＪの額に電極シートが貼り付けられる。電極シートには、３個の電極が設けられている。
　本実施形態によれば、小型の脳波計を用いるので、被験者ＳＪの頭皮全体に電極を配置するタイプの脳波計と比べて電極の数を減らすことができる。よって、電極の装着が容易になる。したがって、被験者ＳＪが自ら脳波計を装着することができる。また、小型の脳波計は、被験者ＳＪの頭皮全体に電極を配置するタイプの脳波計と比べて軽量であるため、被験者ＳＪの負担を軽減することができる。また、小型の脳波計は軽量であるため、被験者ＳＪが運動をしても電極の位置がずれ難い。更に、本実施形態では、電極が被験者ＳＪの額に配置される。額は凹凸が少ないため、電極が密着し易い。よって、電極の位置がよりずれ難い。
　評価部４０は、被験者ＳＪの動作の特徴と、被験者ＳＪによる回答の特徴と、被験者ＳＪの脳波（脳波データＢＤ）とに基づいて、被験者ＳＪの認知機能を評価する。本実施形態では、評価部４０は、被験者ＳＪを、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類する。あるいは、評価部４０は、被験者ＳＪを、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類する。
　なお、ＭＭＳＥ（Ｍｉｎｉ　Ｍｅｎｔａｌ　Ｓｔａｔｅ　Ｅｘａｍｉｎａｔｉｏｎ）スコアを用いた診断では、ＭＭＳＥスコアが２３点以下の場合に認知症の疑いありと判断され、ＭＭＳＥスコアが２３点より高く２７点以下である場合に軽度認知障害の疑いありと判断される。また、ＭＭＳＥスコアが２７点より高い場合に非認知症と判断される。
　続いて、図２（ａ）～図２（ｄ）を参照して、タスク提示部１０が被験者ＳＪに提示するタスクの一例を説明する。図２（ａ）～図２（ｄ）は、タスク提示部１０が被験者ＳＪに提示するタスクの一例を示す図である。図２（ａ）～図２（ｄ）に示す例において、被験者ＳＪに課す運動は「足踏み」であり、被験者ＳＪに課す認知問題は「計算問題」である。
　図２（ａ）に示すように、タスク提示部１０は、まず、被験者ＳＪにタスクの開始を知らせる第１通知画面１１を表示する。次に、図２（ｂ）に示すように、タスク提示部１０は、知能タスク（シングルタスク）を被験者ＳＪに遂行させる。具体的には、タスク提示部１０は、認知問題を提示する問題提示画面１２ａを表示する。図２（ａ）～図２（ｄ）に示す例において、問題提示画面１２ａは、計算問題を提示する。例えば、タスク提示部１０は、計算問題として、引き算問題をディスプレイに表示させる。
　なお、図２（ｂ）に示す例では、計算問題は引き算問題であるが、計算問題は、引き算問題に限定されない。計算問題は、足し算問題であってもよい。あるいは、計算問題は、引き算問題と足し算問題とを含んでもよい。
　タスク提示部１０は、所定のタイミングで計算問題（認知問題）の提示を終了する。具体的には、タスク提示部１０は、問題提示画面１２ａをディスプレイから消去する。タスク提示部１０は、問題提示画面１２ａをディスプレイから消去した後、２つの回答の候補を示す回答候補提示画面１２ｂを表示する。被験者ＳＪは、２つの回答スイッチの一方を押して、回答を選択する。
　被験者ＳＪが回答を選択すると、次の問題として、今回回答した計算問題（認知問題）とは異なる計算問題（認知問題）がタスク提示部１０によって提示される。以降、所定の知能タスク遂行時間が経過するまで、被験者ＳＪが回答すべき計算問題（認知問題）の提示が繰り返される。
　図２（ｃ）に示すように、所定の知能タスク遂行時間が経過した後、タスク提示部１０は、運動タスク（シングルタスク）を被験者ＳＪに提示する。具体的には、タスク提示部１０は、被験者ＳＪに課す運動を提示する運動提示画面１３を表示する。図２（ａ）～図２（ｄ）に示す例において、運動提示画面１３は、足踏みを提示する。
　タスク提示部１０は、所定の運動タスク遂行時間が経過した後、デュアルタスク（シングルタスク）を被験者ＳＪに遂行させる。本実施形態では、デュアルタスクにおいて被験者ＳＪに課す運動が、運動タスク（シングルタスク）において被験者ＳＪに課す運動と同じである。また、デュアルタスクにおいて被験者ＳＪに課す認知問題が、知能タスク（シングルタスク）において被験者ＳＪに課す認知問題と同じである。したがって、タスク提示部１０は、所定の運動タスク遂行時間が経過した後、図２（ｂ）を参照して説明したように、所定のデュアルタスク遂行時間が経過するまで、被験者ＳＪが回答すべき計算問題（認知問題）の提示を繰り返す。
　図２（ｄ）に示すように、タスク提示部１０は、所定のデュアルタスク遂行時間が経過した後、被験者ＳＪにタスクの終了を知らせる第２通知画面１４をディスプレイに表示する。
　なお、タスク提示部１０が提示する認知問題は計算問題に限定されるものではない。例えば、認知問題は、位置記憶問題、又は、じゃんけん問題であってもよい。
　図３は、タスク提示部１０が被験者ＳＪに提示する認知問題の他例を示す図である。図３に示す例において、認知問題は、「位置記憶問題」である。図３に示すように、認知問題が位置記憶問題である場合、タスク提示部１０は、図形を配置可能な４つの領域のうちの１つに図形を配置した問題提示画面１２ａを表示する。
　タスク提示部１０は、問題提示画面１２ａをディスプレイから消去した後、図形を配置可能な４つの領域のうちの１つに図形を配置した回答候補提示画面１２ｂを表示する。回答候補提示画面１２ｂには、問題文と共に、２つの回答候補として、「はい」及び「いいえ」が表示される。問題文は、「はい」又は「いいえ」で回答可能な問題を示す。図３に示す例では、図形が配置されていた位置が問題提示画面１２ａと回答候補提示画面１２ｂとの間で同じであるか否かが被験者ＳＪに問われる。
　被験者ＳＪは、図形が配置されていた位置が問題提示画面１２ａと回答候補提示画面１２ｂとの間で同じであると判断した場合、左手用の回答スイッチを押して、「はい」を選択する。あるいは、被験者ＳＪは、図形が配置されていた位置が問題提示画面１２ａと回答候補提示画面１２ｂとの間で異なると判断した場合、右手用の回答スイッチを押して、「いいえ」を選択する。
　続いて、「じゃんけん問題」を説明する。知能タスクによって被験者ＳＪに課される認知問題が「じゃんけん問題」である場合、例えば、タスク提示部１０は、問題提示画面１２ａにおいて、「グー」、「チョキ」及び「パー」のうちの一つを表示する。そして、タスク提示部１０は、回答候補提示画面１２ｂにおいて、「グー」、「チョキ」及び「パー」のうちの一つと、問題文と、「はい」及び「いいえ」とを表示する。回答候補提示画面１２ｂでは、例えば、回答候補提示画面１２ｂに表示されている指のポーズによって、問題提示画面１２ａに表示されていた指のポーズに勝てるか否かが被験者ＳＪに問われる。
　被験者ＳＪは、回答候補提示画面１２ｂに表示されている指のポーズによって、問題提示画面１２ａに表示されていた指のポーズに勝てると判断した場合に、左手用の回答スイッチを押して、「はい」を選択する。あるい、被験者ＳＪは、回答候補提示画面１２ｂに表示されている指のポーズでは、問題提示画面１２ａに表示されていた指のポーズに負けると判断した場合に、右手用の回答スイッチを押して、「いいえ」を選択する。
　続いて、図４（ａ）～図４（ｄ）を参照して、測定部５０によって測定される脳波を説明する。図４（ａ）～図４（ｄ）は、被験者ＳＪの脳波データＢＤの一例を示す図である。詳しくは、図４（ａ）は、安静時に測定される脳波データＢＤの一例を示す。図４（ｂ）は、知能タスク遂行時に測定される脳波データＢＤの一例を示す。より詳しくは、図４（ｂ）は、計算問題に回答している際の脳波データＢＤの一例を示す。図４（ｃ）は、運動タスク遂行時に測定される脳波データＢＤの一例を示す。より詳しくは、図４（ｃ）は、足踏み時の脳波データＢＤの一例を示す。図４（ｄ）は、デュアルタスク遂行時に測定される脳波データＢＤの一例を示す。より詳しくは、図４（ｄ）は、足踏みしながら計算問題に回答している際の脳波データＢＤの一例を示す。
　図４（ａ）～図４（ｄ）において、横軸は測定時間を示す。縦軸は、脳波の電圧値を示す。図４（ａ）～図４（ｄ）に示すように、タスク遂行時の脳波は、安静時と比べて活性化する。特に、デュアルタスク遂行時の脳波が最も活性化する。なお、脳波データＢＤには、電源ノイズや筋電等のノイズが含まれる。特に、運動タスク遂行時及びデュアルタスク遂行時の脳波には、筋電のノイズが多く含まれている。また、脳波の電圧値は個人差が大きい。
　続いて、図５（ａ）及び図５（ｂ）を参照して、本実施形態の認知機能評価システム１００を説明する。図５（ａ）及び図５（ｂ）は、本実施形態の認知機能評価システム１００の構成を示すブロック図である。詳しくは、図５（ａ）は、評価部４０の構成を示す。図５（ｂ）は、学習済みモデルＴＭに入力されるデータと、学習済みモデルＴＭから出力されるデータとを示す。
　図５（ａ）に示すように、認知機能評価システム１００は、識別情報取得部６０と、出力部７０とを更に備える。また、評価部４０は、通信部４１と、記憶部４２と、処理部４３とを有する。
　認知機能評価システム１００を利用する被験者ＳＪにはそれぞれ、事前に固有の識別情報が割り当てられる。識別情報取得部６０は、被験者ＳＪに割り当てられた識別情報を取得する。識別情報取得部６０は、例えば、カードリーダ、キーボード、又はタッチパネルを含む。識別情報取得部６０がカードリーダである場合、被験者ＳＪは、カードに担持されている識別情報をカードリーダに読み取らせる。識別情報取得部６０が、キーボード又はタッチパネルである場合、被験者ＳＪは、キーボード又はタッチパネルを操作して、自身に割り当てられた識別情報を入力する。
　出力部７０は、被験者ＳＪの認知機能の評価結果を出力する。本実施形態において、評価結果は、認知機能の分類結果を含む。分類結果は、被験者ＳＪの認知機能が分類されるクラスを示す。具体的には、被験者ＳＪの認知機能は、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類される。あるいは、被験者ＳＪの認知機能は、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類される。出力部７０は、例えば、プリンタである。プリンタは、被験者ＳＪの認知機能の評価結果を用紙に印字して出力する。
　通信部４１は、測定部５０から脳波データＢＤを受信して、受信した脳波データＢＤを処理部４３に入力する。通信部４１は、同じ通信規格に準拠した通信機器と無線通信が可能である。例えば、通信部４１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信規格に準拠した無線通信を行う。通信部４１は、例えば、無線ＬＡＮアダプタを含む。
　記憶部４２は、コンピュータプログラム及び各種データを記憶する。記憶部４２は、例えば、半導体メモリを有する。半導体メモリは、例えば、ＲＡＭ及びＲＯＭを含む。半導体メモリは、ＶＲＡＭを更に含んでもよい。記憶部４２は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）を更に含んでもよい。
　本実施形態において、記憶部４２は、各被験者ＳＪの認知機能の評価結果を、各被験者ＳＪに割り当てられた識別情報に関連付けて記憶する。換言すると、記憶部４２は、各被験者ＳＪの認知機能の評価結果の履歴を記憶する。
　また、記憶部４２は、学習済みモデルＴＭを記憶する。学習済みモデルＴＭは、被験者ＳＪの動作（撮像データ）と、被験者ＳＪによる回答の特徴と、被験者ＳＪの脳波（脳波データＢＤ）とに基づいて、被験者ＳＪの認知機能を評価するコンピュータプログラムである。
　なお、学習済みモデルＴＭを構築するための機械学習アルゴリズムは、教師あり学習であれば特に限定されず、例えば、決定木、最近傍法、単純ベイズ分類器、サポートベクターマシン、又は、ニューラルネットワークである。したがって、学習済みモデルＴＭは、決定木、最近傍法、単純ベイズ分類器、サポートベクターマシン、又は、ニューラルネットワークを含む。
　例えば、ニューラルネットワークは、入力層、単数又は複数の中間層、及び、出力層を含む。具体的には、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、Ｔｒａｎｓｆｏｒｍｅｒ、あるいは、時空間グラフ畳み込みニューラルネットワーク（Ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ　Ｇｒａｐｈ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ；ＳＴ－ＧＣＮ）のようなグラフ畳み込みニューラルネットワークのうちの少なくとも１つを含み、ディープラーニングを行う。例えば、ディープニューラルネットワークは、入力層、複数の中間層、及び、出力層を含む。
　処理部４３は、記憶部４２に記憶されたコンピュータプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。処理部４３は、例えばＣＰＵ又はＭＰＵを含み得る。処理部４３は、ＧＰＵを更に含んでもよいし、ＮＰＵ（Ｎｅｕｒａｌｎｅｔｗｏｒｋ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を更に含んでもよい。あるいは、処理部４３は、量子コンピュータを含んでもよい。
　具体的には、処理部４３は、識別情報取得部６０が識別情報を取得すると、図２（ａ）～図２（ｄ）及び図３を参照して説明したように、タスク提示部１０に各種の画面を表示させる。
　また、図５（ｂ）に示すように、処理部４３は、動作検出部２０から出力された撮像データを学習済みモデルＴＭに入力する。更に、処理部４３は、回答検出部３０によって検出された回答から特徴を抽出して、回答特徴データを生成する。そして、処理部４３は、回答特徴データを学習済みモデルＴＭに入力する。また、処理部４３は、測定部５０から受信した脳波データＢＤを学習済みモデルＴＭに入力する。
　より詳しくは、処理部４３は、動作検出部２０から出力されたフレーム（モーションキャプチャデータ）から、運動タスク（シングルタスク）の遂行時に取得された連続フレームと、デュアルタスクの遂行時に取得された連続フレームとをそれぞれ抽出して、学習済みモデルＴＭに入力する。運動タスク（シングルタスク）のフレーム数は、例えば、１６０フレームである。デュアルタスクのフレーム数は、例えば、２６０フレームである。
　また、処理部４３は、回答検出部３０によって検出された回答に基づき、回答の特徴として、回答速度及び正答率を算出する。そして、処理部４３は、回答特徴データとして、回答速度を示すデータと、正答率を示すデータとを学習済みモデルＴＭに入力する。
　なお、回答の特徴は、回答速度及び正答率に限定されない。例えば、回答の特徴は、回答速度及び正答率のうちの一方のみであってもよい。あるいは、回答の特徴は、回答速度及び正答率に替えて、又は、回答速度及び正答率に加えて、回答数、正答数、平均回答時間間隔、及び回答時間間隔の標準偏差のうちの少なくとも１つを含んでもよい。ここで、回答時間間隔は、図２（ｂ）及び図３を参照して説明した回答候補提示画面１２ｂがタスク提示部１０によって提示されてから被験者ＳＪが回答スイッチを押すまでに要した時間間隔を示す。
　また、処理部４３は、脳波データＢＤを前処理して、前処理後の脳波データＢＤを学習済みモデルＴＭに入力する。以下、前処理前の脳波データＢＤを「生データＲＢＤ」と記載する。なお、図４（ａ）～図４（ｄ）に示す脳波データＢＤは、生データＲＢＤである。
　学習済みモデルＴＭは、撮像データ（モーションキャプチャデータ）と、回答特徴データと、脳波データＢＤ（前処理後の脳波データＢＤ）とが入力されると、評価結果を出力する。この結果、処理部４３が、被験者ＳＪの認知機能の評価結果を取得する。
　本実施形態において、学習済みモデルＴＭは、撮像データ（モーションキャプチャデータ）から、被験者ＳＪの動作の特徴を抽出する。例えば、学習済みモデルＴＭは、撮像された被験者ＳＪの全関節の空間的な位置関係の特徴と、撮像された被験者ＳＪの全関節の時間的な変動の特徴とを抽出してもよい。また、学習済みモデルＴＭは、前処理後の脳波データＢＤから、被験者ＳＪの脳波の特徴を抽出する。学習済みモデルＴＭは、被験者ＳＪの動作の特徴と、被験者ＳＪによる回答の特徴と、被験者ＳＪの脳波の特徴とに基づいて、評価結果を出力する。なお、学習済みモデルＴＭは、多数決処理により評価結果を出力してもよい。また、多数決の候補となる複数のラベルに対して異なる「重み」が付与されてもよい。
　処理部４３は、被験者ＳＪの認知機能の評価結果を取得すると、出力部７０に被験者ＳＪの認知機能の評価結果を出力させる。なお、処理部４３は、被験者ＳＪの認知機能の評価結果の履歴を出力部７０に出力させてもよい。出力部７０が出力する評価結果の履歴は、表形式又はグラフ形式で表現されてもよい。
　処理部４３は、被験者ＳＪの認知機能を評価すると、被験者ＳＪの認知機能の評価結果を識別情報に関連付けて記憶部４２に記憶させる。この結果、記憶部４２が、被験者ＳＪの認知機能の評価結果の履歴を識別情報に関連付けて記憶する。
　続いて、図５～図８を参照して、処理部４３が実行する前処理を説明する。図６は、前処理を示すフローチャートである。図７は、学習済みモデルＴＭに入力する前処理後のサンプルＳＡを示す図である。
　図６に示す前処理は、被験者ＳＪの安静時の生データＲＢＤ、被験者ＳＪの知能タスク遂行時の生データＲＢＤ、被験者ＳＪの運動タスク遂行時の生データＲＢＤ、及び被験者ＳＪのデュアルタスク遂行時の生データＲＢＤが処理部４３に入力されることにより開始する。
　図６に示すように、処理部４３は、安静時、知能タスク遂行時、運動タスク遂行時、及びデュアルタスク遂行時の各フェーズの生データＲＢＤが処理部４３に入力されると、各フェーズの生データＲＢＤをそれぞれ複数個（Ｎ個）に分割する分割処理を実行する（ステップＳ１）。以下、分割された生データＲＢＤを、「分割生データＢＳ」と記載する場合がある。生データＲＢＤを複数個に分割することにより、被験者ＳＪの脳波の特徴の抽出が容易になる。
　分割処理後、処理部４３は、分割生データＢＳを組み合わせる組み合わせ処理を実行する（ステップＳ２）。具体的には、処理部４３は、安静時、知能タスク遂行時、運動タスク遂行時、及びデュアルタスク遂行時の各フェーズから１つずつ分割生データＢＳを選択して組み合わせる。全ての組み合わせにより、Ｐ個のサンプルＳＡが生成される。なお、全ての組み合わせの数Ｐは、以下の式（１）で算出することができる。
　　　Ｐ＝Ｎ（安静）×Ｎ（知能タスク）×Ｎ（運動タスク）×Ｎ（デュアルタスク）・・・（１）
　組み合わせ処理後、処理部４３は、各サンプルＳＡに対してフィルタリング処理を実行して（ステップＳ３）、図６に示す前処理を終了する。そして、処理部４３は、フィルタリング処理後の各サンプルＳＡを学習済みモデルＴＭに入力する。
　具体的には、処理部４３は、各サンプルＳＡから特定の周波数の信号を抽出する。詳しくは、処理部４３は、逆フーリエ変換に基づく関数を用いてバンドパスフィルタリングを実行する。逆フーリエ変換は、逆高速フーリエ変換であってもよい。本実施形態では、処理部４３は、各サンプルＳＡから、θ波（周波数：４Ｈｚ以上８Ｈｚ未満）、α波（８Ｈｚ以上１３Ｈｚ未満）、及びβ波（１３Ｈｚ以上３０Ｈｚ未満）を抽出する。そして、図７に示すように、処理部４３は、各サンプルＳＡから抽出したθ波、α波、及びβ波を学習済みモデルＴＭに入力する。
　学習済みモデルＴＭは、被験者ＳＪの脳波の特徴として、θ波、α波、及びβ波の特徴を抽出してもよい。例えば、θ波、α波、及びβ波はそれぞれ異なる畳み込みニューラルネットワーク（ＣＮＮ）に入力されてもよい。その結果、θ波、α波、及びβ波のそれぞれの特徴が抽出される。
　なお、処理部４３は、分割処理後に、各分割生データＢＳに対して正規化処理を実行してもよい。例えば、正規化処理は、Ｍｉｎ－Ｍａｘ　ｎｏｒｍａｌｉｚａｔｉｏｎである。正規化処理により、脳波の電圧値の個人差に起因する誤判定を抑制することができる。
　続いて、図４（ｂ）～図４（ｃ）及び図８（ａ）～図８（ｄ）を参照して、θ波、α波、及びβ波を説明する。図８（ａ）は、生データＲＢＤの一例を示す図である。図８（ｂ）は、θ波の一例を示す図である。詳しくは、図８（ｂ）は、図８（ａ）に示す生データＲＢＤから抽出したθ波の一例を示す。図８（ｃ）は、α波の一例を示す図である。詳しくは、図８（ｃ）は、図８（ａ）に示す生データＲＢＤから抽出したα波の一例を示す。図８（ｄ）は、β波の一例を示す図である。詳しくは、図８（ｄ）は、図８（ａ）に示す生データＲＢＤから抽出したβ波の一例を示す。なお、図８（ａ）～図８（ｄ）において、横軸は測定時間を示す。縦軸は、脳波の電圧値を示す。
　図８（ｂ）～図８（ｄ）に示すように、θ波、α波、及びβ波はノイズ成分が除去されているため、図４（ｂ）～図４（ｃ）に示す生データＲＢＤと比べて、安静時、知能タスク遂行時、運動タスク遂行時、及びデュアルタスク遂行時の被験者ＳＪの脳波の特徴をより顕著に示す波形となる。
　本実施形態によれば、フィルタリング処理により、生データＲＢＤに含まれるノイズを除去することができる。その結果、被験者ＳＪの認知機能を、より高精度に評価することができる。なお、生データＲＢＤには、瞬目運動や眼球運動によるアーチファクト、足踏み等の運動による筋電、電源ノイズ等のノイズが含まれている可能性がある。
　続いて、図５（ａ）、図９（ａ）及び図９（ｂ）を参照して、処理部４３が実行する分割処理を説明する。図９（ａ）及び図９（ｂ）は、分割処理を示す図である。なお、図９（ａ）及び図９（ｂ）において、横軸は測定時間を示す。縦軸は、脳波の電圧値を示す。
　図９（ａ）及び図９（ｂ）に示すように、処理部４３は、スライディングウィンドウ処理により生データＲＢＤを複数個（Ｎ個）に分割して、複数個（Ｎ個）の分割生データＢＳ（ＢＳ１～ＢＳｎ）を生成してもよい。ここで、スライディングウィンドウ処理は、固定された幅（ウィンドウサイズＭ）のウィンドウＷを、固定されたスライド量（スライドサイズＳ）でスライドさせながら生データＲＢＤを複数個（Ｎ個）に分割する処理を示す。スライディングウィンドウ処理により、生データＲＢＤから、ウィンドウＷで囲まれた領域のデータが抽出される。ウィンドウサイズＭは、例えば、６秒である。スライドサイズＳは、例えば、３秒である。
　なお、図９（ｂ）に示すように、スライドサイズＳ（スライド量）はウィンドウサイズＭ（ウィンドウＷの幅）よりも小さい。したがって、時間軸方向において隣り合う２つの分割生データＢＳは、互いに一部分が重なる。例えば、図９（ｂ）に示すように、時間軸方向において隣り合う分割生データＢＳ１及び分割生データＢＳ２は、互いに一部分が重なる。
　以上、図１～図９を参照して説明したように、本実施形態によれば、運動タスク遂行時の撮像データと、知能タスク遂行時の回答データと、デュアルタスク遂行時の撮像データ及び回答データとに加えて、脳波データＢＤを考慮して被験者ＳＪの認知機能を評価することができる。したがって、被験者ＳＪの認知機能をより精度よく評価することができる。
　例えば、本実施形態によれば、陽性の被験者ＳＪを正しく認識できる割合を示す感度（ｓｅｎｓｉｔｉｖｉｔｙ）Ｐ１と、陰性の被験者ＳＪを正しく認識できる割合を示す特異度（ｓｐｅｃｉｆｉｃｉｔｙ）Ｐ２との和（Ｐ１＋Ｐ２）の値を１．７以上にすることができる。感度Ｐ１は、以下の式（２）により算出される。特異度Ｐ２は、以下の式（３）により算出される。
　　感度Ｐ１＝ＮTP／（ＮTP＋ＮFN）・・・（２）
　　特異度Ｐ２＝ＮTN／（ＮTN＋ＮFP）・・・（３）
　なお、式（２）及び式（３）において、ＮTPは、陽性であることを正しく予測できた人数を示す。ＮTNは、陰性であることを正しく予測できた人数を示す。ＮFPは、誤って陽性と予測した人数を示す。ＮFNは、誤って陰性と予測した人数を示す。
　続いて、図１０～図１２を参照して、学習済みモデルＴＭの生成方法を説明する。図１０は、学習済みモデルＴＭを生成するモデル生成システム２００を示す図である。
　図１０に示すように、モデル生成システム２００は、タスク提示部１０と、動作検出部２０と、回答検出部３０と、評価部４０と、測定部５０と、識別情報取得部６０と、データ収集部８０とを備える。
　タスク提示部１０は、図１～図９を参照して説明したように、被験者ＳＪにタスクを提示する。動作検出部２０は、図１～図９を参照して説明したように撮像データを生成する。回答検出部３０は、図１～図９を参照して説明したように、被験者ＳＪによる所定の認知問題に対する回答を検出する。測定部５０は、図１～図９を参照して説明したように、被験者ＳＪの脳波データＢＤを生成する。識別情報取得部６０は、図１～図９を参照して説明したように、被験者ＳＪの識別情報を取得する。
　データ収集部８０は、例えば、被験者ＳＪが知能タスク、運動タスク、及びデュアルタスクを遂行することによって得られるデータと、被験者ＳＪの脳波データＢＤとを収集して、学習用データを生成する。
　具体的には、データ収集部８０は、動作検出部２０の出力（撮像データ）を収集する。また、データ収集部８０は、回答検出部３０の出力から被験者ＳＪの回答の特徴を抽出して収集する。更に、データ収集部８０は、安静時、運動タスク遂行時、知能タスク遂行時、及びデュアルタスク遂行時の脳波データＢＤを前処理して、各サンプルＳＡのθ波、α波、及びβ波を収集する。なお、データ収集部８０が収集するデータには、同一の被験者ＳＪから得られる複数のデータが含まれていてもよい。
　続いて、図１１を参照して、モデル生成システム２００を説明する。図１１は、モデル生成システム２００の構成の一部を示すブロック図である。詳しくは、図１１は、データ収集部８０の構成を示す。図１１に示すように、データ収集部８０は、通信部８１と、入力部８２と、記憶部８３と、処理部８４とを備える。データ収集部８０は、例えば、サーバである。
　通信部８１は、測定部５０から脳波データＢＤを受信して、受信した脳波データＢＤを処理部８４に入力する。通信部８１は、同じ通信規格に準拠した通信機器と無線通信が可能である。例えば、通信部８１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信規格に準拠した無線通信を行う。通信部８１は、例えば、無線ＬＡＮアダプタを含む。
　入力部８２は、作業者によって操作されて、処理部８４に対して様々な情報を入力する。入力部８２は、例えば、キーボード、マウス、及びタッチパネルのような入力機器を含む。例えば、作業者は、入力部８２を操作して、教師あり学習又は半教師あり学習で用いるラベルデータ（教師データ）を入力する。
　具体的には、作業者は、ラベルデータ（教師データ）として、認知症及び軽度認知障害のクラスに分類されることを示す真値ラベル（陽性を示すラベルデータ）と、非認知症のクラスに分類されることを示す真値ラベル（陰性を示すラベルデータ）とを入力する。あるいは、作業者は、認知症のクラスに分類されることを示す真値ラベル（陽性を示すラベルデータ）と、軽度認知障害及び非認知症のクラスに分類されることを示す真値ラベル（陰性を示すラベルデータ）とを入力する。
　なお、認知症であるのか、軽度認知障害であるのか、非認知症であるのかは、被験者ＳＪに事前にペーパーテスト（例えば、ＭＭＳＥのペーパーテスト）と、日常生活活動度（Ａｃｔｉｖｉｔｉｅｓ　ｏｆ　ｄａｉｌｙ　ｌｉｖｉｎｇ；ＡＤＬ）評価テストを受けてもらうことで取得することができる。
　記憶部８３は、コンピュータプログラム及び各種データを記憶する。記憶部８３は、例えば、半導体メモリを有する。半導体メモリは、例えば、ＲＡＭ及びＲＯＭを含む。半導体メモリは、ＶＲＡＭを更に含んでもよい。記憶部８３は、ＨＤＤ又はＳＳＤを更に含んでもよい。
　本実施形態において、記憶部８３は、各被験者ＳＪから取得した学習用データを、各被験者ＳＪに割り当てられた識別情報に関連付けて記憶する。学習用データは、図１～図９を参照して説明した撮像データ（モーションキャプチャデータ）と、図１～図９を参照して説明した回答特徴データと、図１～図９を参照して説明した脳波データＢＤとを含む。より具体的には、学習用データは、脳波データＢＤとして、図１～図９を参照して説明した各サンプルＳＡのθ波、α波、及びβ波を含む。学習用データは更に、入力部８２から入力されたラベルデータ（教師データ）を含む。記憶部８３は、例えば、学習用データのデータベースを記憶してもよい。なお、同一の被験者ＳＪから得られる複数の学習用データは、異なるデータとして管理される。
　処理部８４は、記憶部８３に記憶されたコンピュータプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。処理部８４は、例えばＣＰＵ又はＭＰＵを含み得る。処理部８４は、ＧＰＵを更に含んでもよい。
　具体的には、処理部８４は、入力部８２から入力されたラベルデータ（教師データ）を被験者ＳＪの識別情報に関連付けて記憶部８３に記憶させる。処理部８４は、識別情報取得部６０が識別情報を取得すると、図２及び図３を参照して説明したように、タスク提示部１０に各種画面を表示させる。また、処理部８４は、動作検出部２０によって生成された撮像データを取得し、被験者ＳＪの識別情報に関連付けて記憶部８３に記憶させる。更に、処理部８４は、回答検出部３０の出力から回答特徴データを抽出し、被験者ＳＪの識別情報に関連付けて記憶部８３に記憶させる。また、処理部８４は、測定部５０によって生成された脳波データＢＤから各サンプルＳＡのθ波、α波、及びβ波を抽出し、被験者ＳＪの識別情報に関連付けて記憶部８３に記憶させる。
　処理部８４は、収集したデータに基づいて学習用データを生成する。そして、処理部８４は、学習用データを評価部４０に出力する（図１０参照）。なお、処理部８４は、ミニバッチ学習用のデータを生成して評価部４０に出力してもよい。
　続いて、図１２を参照して、モデル生成システム２００を説明する。図１２は、学習時における評価部４０の構成を示すブロック図である。図１２に示すように、記憶部４２は、学習時に学習用プログラムＴＰを記憶する。学習用プログラムＴＰは、学習用データの中から一定の規則を見出し、その規則を表現するモデル（学習済みモデルＴＭ）を生成するためのアルゴリズム（機械学習アルゴリズム）を実行するためのプログラムである。
　機械学習アルゴリズムは、教師あり学習であれば、特に限定されず、例えば、決定木、最近傍法、単純ベイズ分類器、サポートベクターマシン、又は、ニューラルネットワークである。機械学習に、誤差逆伝搬法が利用されてもよい。
　処理部４３は、データ収集部８０から取得した学習用データを用いて、学習用プログラムＴＰを実行する。この結果、真値ラベルと予測ラベルとが一致するように学習が行われて、学習済みモデルＴＭが生成される。なお、本実施形態では、学習用プログラムＴＰを実行することにより、撮像データから被験者ＳＪの動作の特徴が抽出される。
　機械学習アルゴリズムがニューラルネットワークである場合、学習用プログラムＴＰによって構築されるニューラルネットワークが訓練されて、学習済みモデルＴＭが生成される。具体的には、ニューラルネットワークに含まれるパラメータの値（パラメータ値）が損失関数を最小値にする値に決定されることで、学習済みモデルＴＭが生成される。なお、θ波、α波、及びβ波はそれぞれ異なる畳み込みニューラルネットワーク（ＣＮＮ）に学習させてもよい。
　以上、図面（図１～図１２）を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。
　図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。
　例えば、図１～図１２を参照して説明した実施形態では、知能タスク（シングルタスク）、運動タスク（シングルタスク）、及びデュアルタスクをこの順に被験者ＳＪに遂行させたが、知能タスク（シングルタスク）、運動タスク（シングルタスク）、及びデュアルタスクを遂行する順序は入れ替え可能である。
　また、図１～図１２を参照して説明した実施形態では、知能タスク（シングルタスク）、運動タスク（シングルタスク）、及びデュアルタスクを被験者ＳＪに遂行させたが、被験者ＳＪに遂行させるタスクは任意である。
　例えば、被験者ＳＪに、デュアルタスク、知能タスク（シングルタスク）、運動タスク（シングルタスク）、及びデュアルタスクをこの順に遂行させてもよい。あるいは、知能タスク（シングルタスク）とデュアルタスクとを被験者ＳＪに遂行させてもよいし、運動タスク（シングルタスク）とデュアルタスクとを被験者ＳＪに遂行させてもよい。被験者ＳＪに遂行させるタスクは、デュアルタスクのみであってもよい。知能タスク（シングルタスク）とデュアルタスクとを被験者ＳＪに遂行させる場合、知能タスク（シングルタスク）とデュアルタスクとを遂行させる順序は任意である。同様に、運動タスク（シングルタスク）とデュアルタスクとを被験者ＳＪに遂行させる場合、運動タスク（シングルタスク）とデュアルタスクとを遂行させる順序は任意である。
　また、図１～図１２を参照して説明した実施形態において、タスク提示部１０はディスプレイを有したが、タスク提示部１０は、音声出力器を有してもよい。
　また、図１～図１２を参照して説明した実施形態において、回答検出部３０は回答スイッチを有したが、回答検出部３０は回答スイッチに限定されない。例えば、回答検出部３０は、視線方向検出装置、又は集音器を有してもよい。
　視線方向検出装置を用いる場合、例えば、図２（ｂ）及び図３に示す回答候補提示画面１２ｂに対して被験者ＳＪが視線を向けた方向に基づいて、被験者ＳＪの回答を取得することができる。視線方向検出装置には、公知の視線方向検出技術を採用できる。例えば、視線方向検出装置は、近赤外ＬＥＤ及び撮像装置を含む。近赤外ＬＥＤは、被験者ＳＪの目に近赤外線を照射する。撮像装置は、被験者ＳＪの目を撮像する。処理部４３及び処理部８４は、撮像装置によって撮像された画像を解析して、被験者ＳＪの瞳孔の位置（視線の方向）を検出する。
　集音器を用いる場合、例えば、図２（ｂ）及び図３に示す回答候補提示画面１２ｂに対して被験者ＳＪが発生した音声に基づいて、被験者ＳＪの回答を取得することができる。例えば、処理部４３及び処理部８４は、被験者ＳＪが発生した音声を音声認識処理によってテキストデータに変換することにより、被験者ＳＪの回答を取得することができる。
　なお、集音器を用いる場合、認知問題は、２つの回答の候補のうちの一方を被験者ＳＪに選択させる問題に限定されない。例えば、被験者ＳＪに計算問題の回答を答えさせてもよい。また、集音器を用いる場合、認知問題は、言葉を回答する問題であってもよい。言葉を回答する問題は、例えば、「しりとり問題」、「五十音のうちから任意に選択された音（文字）から始まる言葉（例えば、単語）を挙げていく問題」、あるいは、「アルファベットのうちから任意に選択された文字から始まる言葉（例えば、単語）を挙げていく問題」であってもよい。
　また、図１～図１２を参照して説明した実施形態において、測定部５０は脳波データＢＤを無線通信によって評価部４０へ送信したが、測定部５０は、ケーブルを介して脳波データＢＤを評価部４０へ送信してもよい。同様に、測定部５０は、ケーブルを介して脳波データＢＤをデータ収集部８０へ送信してもよい。
　また、図１～図１２を参照して説明した実施形態において、測定部５０は、被験者ＳＪが安静にしている際の脳波、被験者ＳＪが知能タスクを遂行している際の脳波、被験者ＳＪが運動タスクを遂行している際の脳波、及び、被験者ＳＪがデュアルタスクを遂行している際の脳波を測定したが、測定部５０は、被験者ＳＪが安静にしている際の脳波、被験者ＳＪが知能タスクを遂行している際の脳波、被験者ＳＪが運動タスクを遂行している際の脳波、及び、被験者ＳＪがデュアルタスクを遂行している際の脳波のうちのいずれか１つ、２つ、又は３つの脳波を測定してもよい。
　また、図１～図１２を参照して説明した実施形態では、パッチ式の脳波計が使用されたが、小型の脳波計はパッチ式に限定されない。例えば、小型の脳波計として、耳栓式又はヘッドセット式の脳波計が使用されてもよい。
　また、図１～図１２を参照して説明した実施形態では、ウェット式の脳波計が使用されたが、ドライ式の脳波計が使用されてもよい。
　また、図１～図１２を参照して説明した実施形態では、１０個以下の電極を有する脳波計（小型の脳波計）が使用されたが、１１個以上の電極を有する脳波計が使用されてもよい。例えば、被験者ＳＪの頭皮全体に電極を配置するタイプの脳波計が使用されてもよい。
　また、図１～図１２を参照して説明した実施形態において、出力部７０はプリンタであったが、出力部７０はプリンタに限定されない。出力部７０は、例えば、被験者ＳＪによって予め登録されたメールアドレスに、被験者ＳＪの認知機能の評価結果を示すメールを送信する通信部であってもよい。
　また、図１～図１２を参照して説明した実施形態では、学習済みモデルＴＭが被験者ＳＪの動作の特徴を抽出したが、処理部４３及び処理部８４が被験者ＳＪの動作の特徴を抽出してもよい。
　また、図１～図１２を参照して説明した実施形態において、脳波データＢＤ（生データＲＢＤ）は複数個に分割されたが、脳波データＢＤ（生データＲＢＤ）は分割されなくてもよい。
　また、図１～図１２を参照して説明した実施形態では、脳波に含まれるθ波、α波、及びβ波の各成分が用いられたが、θ波、α波、及びβ波のうちのいずれか１つ、又は２つが用いられてもよい。
　また、図１～図１２を参照して説明した実施形態では、データ収集部８０により学習用データが生成されたが、評価部４０が学習用データを生成してもよい。
　また、図１～図１２を参照して説明した実施形態において、評価部４０は、被験者ＳＪを、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類するか、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類したが、評価部４０は、被験者ＳＪを、軽度認知障害のクラスと、非認知症のクラスとに分類してもよいし、被験者ＳＪを、認知症のクラスと、軽度認知障害のクラスと、非認知症のクラスとに分類してもよい。
　また、図１～図１２を参照して説明した実施形態において、評価部４０は、被験者ＳＪを、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類するか、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類したが、評価部４０は、被験者ＳＪを認知症のタイプ別に分類してもよい。例えば、評価部４０は、被験者ＳＪを、Ａｌｚｈｅｉｍｅｒ型認知症と、Ｌｅｗｙ小体型認知症とに分類してもよい。
　本発明は、軽度認知障害や認知症の診断に利用することができる。
２０　　：動作検出部
３０　　：回答検出部
４０　　：評価部
５０　　：測定部
１００　：認知機能評価システム
ＢＤ　　：脳波データ
Ｍ　　　：ウィンドウサイズ
Ｓ　　　：スライドサイズ
ＳＪ　　：被験者
Ｗ　　　：ウィンドウ

Claims (7)

  1. 　所定のタスクを遂行している被験者を撮像して、撮像データを生成する動作検出部と、
    　前記所定のタスクを遂行している前記被験者による所定の認知問題に対する回答を検出する回答検出部と、
    　前記被験者の脳波を測定する測定部と、
    　前記撮像データから前記被験者の動作の特徴を抽出し、前記回答検出部により検出された前記回答から前記被験者による前記回答の特徴を抽出し、前記動作の特徴、前記回答の特徴、及び前記脳波に基づいて、前記被験者の認知機能を評価する評価部と
    　を備え、
    　前記所定のタスクは、
    　所定の運動を前記被験者に課す運動タスクと、
    　前記所定の認知問題に対する回答を前記被験者に課す知能タスクと
    　を含み、
    　前記評価部は、前記運動タスクを遂行している前記被験者の前記撮像データから前記被験者の動作の特徴を抽出する、認知機能評価システム。
  2. 　前記評価部は、前記被験者を、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類するか、あるいは、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類する、請求項１に記載の認知機能評価システム。
  3. 　前記所定のタスクは、前記運動タスクと前記知能タスクとを同時に前記被験者に課すデュアルタスクを含み、
    　前記動作検出部は、前記デュアルタスクを遂行している前記被験者を撮像し、
    　前記回答検出部は、前記デュアルタスクを遂行している前記被験者の前記回答を検出する、請求項１又は請求項２に記載の認知機能評価システム。
  4. 　前記脳波は、前記被験者が安静にしている際の脳波、前記被験者が前記運動タスクを遂行している際の脳波、前記被験者が前記知能タスクを遂行している際の脳波、及び、前記被験者が前記デュアルタスクを遂行している際の脳波のうちの少なくとも１つを含む、請求項３に記載の認知機能評価システム。
  5. 　前記評価部は、前記測定部が測定した前記脳波から特定の周波数の信号を抽出し、前記動作の特徴、前記回答の特徴、及び前記特定の周波数の信号に基づいて、前記被験者の認知機能を評価する、請求項１又は請求項２に記載の認知機能評価システム。
  6. 　前記評価部は、前記測定部が測定した前記脳波を複数個に分割する、請求項１又は請求項２に記載の認知機能評価システム。
  7. 　前記評価部は、前記測定部が測定した脳波を、固定された幅のウィンドウをスライドさせながら分割し、
    　前記スライドの量は、前記ウィンドウの幅よりも小さい、請求項６に記載の認知機能評価システム。
PCT/JP2023/016874 2022-05-02 2023-04-28 認知機能評価システム WO2023214545A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-076304 2022-05-02
JP2022076304 2022-05-02

Publications (1)

Publication Number Publication Date
WO2023214545A1 true WO2023214545A1 (ja) 2023-11-09

Family

ID=88646483

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/016874 WO2023214545A1 (ja) 2022-05-02 2023-04-28 認知機能評価システム

Country Status (1)

Country Link
WO (1) WO2023214545A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム
WO2016148199A1 (ja) * 2015-03-16 2016-09-22 国立大学法人大阪大学 デュアルタスク遂行能力評価方法、及びデュアルタスク遂行能力評価システム
CN113288174A (zh) * 2021-05-31 2021-08-24 中国科学院西安光学精密机械研究所 一种精神分裂患者认知功能的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム
WO2016148199A1 (ja) * 2015-03-16 2016-09-22 国立大学法人大阪大学 デュアルタスク遂行能力評価方法、及びデュアルタスク遂行能力評価システム
CN113288174A (zh) * 2021-05-31 2021-08-24 中国科学院西安光学精密机械研究所 一种精神分裂患者认知功能的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UWATOKO MAMI, TADASHI MATAE, ATSUO NURUKI, SEI-ICHI TSUJIMURA, KAZUTOMO YUNOKUCHI, ASUTSUGU KURONO: "A Preliminary Study on Early Diagnosis for Dementia Using EEG Topography during Sternberg Task", SEITAI IKOUGAKU _ JAPANESE SOCIETY FOR MEDICAL AND BIOLOGICAL ENGINEERING. TRANSACTIONS, NIHON SEITAI IKOU GAKKAI, JP, vol. 47, no. 1, 10 February 2009 (2009-02-10), JP , pages 64 - 69, XP093106176, ISSN: 1347-443X, DOI: 10.11239/jsmbe.47.64 *

Similar Documents

Publication Publication Date Title
RU2292839C2 (ru) Способы и устройство для анализа поведения человека
Cecotti et al. Best practice for single-trial detection of event-related potentials: Application to brain-computer interfaces
JP2018526711A (ja) ブレインコンピュータインタフェースによる画像の分類
Tao et al. A comparative home activity monitoring study using visual and inertial sensors
JP2021514721A (ja) 異常運動の検出および補正のためのシステム及び方法
US20230371872A1 (en) Method and system for quantifying attention
Jiang et al. Predicting core characteristics of ASD through facial emotion recognition and eye tracking in youth
Kupryjanow et al. Updrs tests for diagnosis of parkinson's disease employing virtual-touchpad
US20240050006A1 (en) System and method for prediction and control of attention deficit hyperactivity (adhd) disorders
JP6628341B2 (ja) 意思解読装置及び意思伝達支援装置
KR102341937B1 (ko) 일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템
WO2023214545A1 (ja) 認知機能評価システム
JP2022045493A (ja) 信号処理装置、信号処理方法および信号処理プログラム
Muñoz-Saavedra et al. Designing and evaluating a wearable device for affective state level classification using machine learning techniques
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
Yauri et al. Mental workload detection based on EEG analysis
Gamage et al. Academic depression detection using behavioral aspects for Sri Lankan university students
WO2019227690A1 (zh) 行为范式指标的筛选及其应用
Hossain et al. A comparative study of motor imagery (MI) detection in electroencephalogram (EEG) signals using different classification algorithms
Khanal et al. Individual’s neutral emotional expression tracking for physical exercise monitoring
RU2787224C1 (ru) Способ оценки функционального состояния по показателям походки и/или кинематики движений и применение способа в сфере продвижения товаров и услуг
WO2023074829A1 (ja) 認知機能評価システム、及び学習方法
Kiprijanovska et al. Smart Glasses for Gait Analysis of Parkinson’s Disease Patients
Singh et al. Stress Detection Using EEG Signals: A Review on Current Strategies and Future Aspects
Chandrasekaran et al. Get up!: Assessing postural activity & transitions using bi-directional gated recurrent units (Bi-GRUs) on smartphone motion data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799475

Country of ref document: EP

Kind code of ref document: A1