WO2024053032A1 - 軽度認知障害のスクリーニングシステム - Google Patents
軽度認知障害のスクリーニングシステム Download PDFInfo
- Publication number
- WO2024053032A1 WO2024053032A1 PCT/JP2022/033631 JP2022033631W WO2024053032A1 WO 2024053032 A1 WO2024053032 A1 WO 2024053032A1 JP 2022033631 W JP2022033631 W JP 2022033631W WO 2024053032 A1 WO2024053032 A1 WO 2024053032A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- application
- test
- cognitive impairment
- processing device
- mild cognitive
- Prior art date
Links
- 238000012216 screening Methods 0.000 title claims abstract description 56
- 208000010877 cognitive disease Diseases 0.000 title claims abstract description 38
- 208000027061 mild cognitive impairment Diseases 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 130
- 238000012360 testing method Methods 0.000 claims description 129
- 230000010365 information processing Effects 0.000 claims description 46
- 238000007689 inspection Methods 0.000 claims description 37
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 4
- 239000004984 smart glass Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000012217 deletion Methods 0.000 description 12
- 230000037430 deletion Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 206010012289 Dementia Diseases 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005978 brain dysfunction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010855 neuropsychological testing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000005561 Musa balbisiana Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
Definitions
- the present invention relates to a system for screening people who may have mild cognitive impairment (hereinafter referred to as "MCI").
- MCI refers to a stage between a healthy person and dementia, in which a person is able to lead daily life without problems, but cognitive function has deteriorated, and if left untreated, the symptoms will progress and lead to future problems. This is a situation where there is a high possibility that the patient will progress to dementia.
- MCI is a pre-dementia stage
- MCI requires diagnosis from a variety of viewpoints by a doctor, but if it is possible to screen (sieve out) those who are likely to have MCI as a pre-diagnosis step by a doctor. It is expected that this will lead to a smooth diagnosis by a doctor.
- conventional screening means neuropsychological tests such as MoCA-J and MMSE had to be conducted by medical professionals, so there were few opportunities to conduct them.
- Patent Document 1 relates to a testing system for higher brain dysfunction using mixed reality, and does not describe screening for MCI.
- Patent Document 2 relates to a rehabilitation system for improving higher brain dysfunction (including cases caused by dementia), and does not describe screening for MCI.
- Patent Document 3 is a system related to rehabilitation using virtual reality, and although it describes that it is also effective in preventing dementia (Paragraph 0035 of Patent Document 3), it does not describe screening for MCI.
- Patent Document 4 uses augmented reality and is an AR device used for training to reduce the risk of dementia. Paragraph 0021 of Patent Document 4 describes that it is possible to evaluate the dementia level, but does not describe screening for MCI.
- the present invention aims to provide a system that can screen those who may have MCI.
- the present invention is a system for screening for mild cognitive impairment, and a test application for presenting test questions to a subject using images using virtual reality, augmented reality, or mixed reality.
- a test application for presenting test questions to a subject using images using virtual reality, augmented reality, or mixed reality.
- the group of subjects is divided into a first group of subjects determined to have mild cognitive impairment based on a different determination method and a second group of healthy subjects, and the test subjects are divided into a first group of healthy subjects based on the test results of the first group and the second group.
- a ROC curve Receiveiver Operating Characteristic curve
- the determination criteria are determined based on a cutoff value obtained from the ROC curve.
- the determination criterion is determined based on a cutoff value when the AUC (Area Under the Curve) of the ROC curve is greater than or equal to a predetermined value.
- the criterion has a margin within a predetermined range.
- whether or not there is a possibility that a subject has mild cognitive impairment is expressed as a percentage indicating the possibility or a graded degree of risk.
- the test application may be an application that presents a problem in which numbers are selected in order, or an application that presents a problem in which objects placed in a virtual space are selected while moving.
- the test application includes an application that presents a problem of selecting numbers in order, an application that presents a problem of selecting an object to be selected, an application that presents a problem of selecting an object to be selected, and an application that presents a problem of selecting an object while moving an object placed in a virtual space.
- An app that presents problems that you have to choose from an app that presents problems that require you to move through a maze in virtual space, an app that presents problems that require you to move squares in a virtual space as specified, This is either an app that asks a quiz and asks you to select an object in a virtual space, or an app that asks you to find an object hidden among objects in a virtual space.
- One embodiment includes an image processing device for executing a test application and an information processing device for determining the possibility of mild cognitive impairment.
- the image processing device is a head-mounted display, smart glasses, or a smartphone attached to goggles.
- an image processing device for executing a test application is provided, and the possibility of mild cognitive impairment is determined by the image processing device.
- the present invention provides a computer system for screening for mild cognitive impairment.
- the present invention it is possible to provide a system that can screen people who may have MCI. According to the present invention, it is expected that more MCI can be detected at an early stage because screening can be performed easily.
- Neuropsychological tests are basically paper-based tests, so they are conducted in two dimensions. According to the present invention, since screening can be performed in a three-dimensional space, screening can be easily performed with a small number of tasks.
- False negatives can be eliminated by allowing some leeway in the judgment criteria.
- FIG. 1 is a diagram showing the overall configuration of an MCI screening system 3 according to an embodiment of the present invention.
- FIG. 2 is a block diagram showing the functional configuration of the image processing device 1 according to an embodiment of the present invention.
- FIG. 3 is a block diagram showing the functional configuration of the information processing device 2 according to an embodiment of the present invention.
- FIG. 4 is a flowchart showing an overview of the operation of the MCI screening system 3 according to an embodiment of the present invention.
- FIG. 5 is a flowchart showing the operation of the inspection application execution process in the image processing device 1.
- FIG. 6 is a flowchart showing the operation of image drawing processing in the image processing device 1.
- FIG. 7 is a flowchart showing the operation of the inspection execution process in the image processing apparatus 1.
- FIG. 1 is a diagram showing the overall configuration of an MCI screening system 3 according to an embodiment of the present invention.
- FIG. 2 is a block diagram showing the functional configuration of the image processing device 1 according to an embodiment of the present invention.
- FIG. 8 is a flowchart showing the operation of the inspection determination process in the information processing device 2.
- FIG. 9 is a diagram for explaining an overview of a number deletion application, which is an example of an inspection application.
- FIG. 10 is a diagram for explaining an overview of a selection deletion application that is an example of an inspection application.
- FIG. 11 is a diagram for explaining the outline of the Hanamichi application, which is an example of the inspection application.
- FIG. 12 is a diagram for explaining the outline of a maze application, which is an example of an inspection application.
- FIG. 13 is a diagram for explaining an overview of a grid application, which is an example of an inspection application.
- FIG. 14 is a diagram for explaining an overview of a quiz application that is an example of an inspection application.
- FIG. 9 is a diagram for explaining an overview of a number deletion application, which is an example of an inspection application.
- FIG. 10 is a diagram for explaining an overview of a selection deletion application that is an example of an inspection application.
- Figure 15 is a diagram for explaining an overview of an object finding application, which is an example of an inspection application.
- Figure 16 shows 80 subjects with MMSE scores of 28 or higher when they used the number erasure app for the first time under the first condition (20 numbers and a 120 degree angle of arrangement, the same applies hereinafter) using erasure using head tracking. It is a diagram showing the ROC curve, AUC, p value, and cutoff value created based on the time required for MMSE and the time required for 29 subjects with MMSE points of 27 or less.
- Figure 17 shows the time required for 80 subjects with an MMSE score of 28 or more and the time required for 29 subjects with an MMSE score of 27 or less when the number erasure app was implemented for the second time under the first condition using erasure using head tracking.
- Figure 18 shows the average values of the required time for 80 subjects with an MMSE score of 28 or higher and those with an MMSE score of 27 or lower when the number erasure app was implemented for the first and second time under the first condition using erasure by head tracking. It is a graph which shows the ROC curve created based on each average value of the required time of 29 test subjects, and its cutoff value. Note that the average value here refers to the average value of the first and second times for each subject, and is not the overall average value of all subjects (Fig. 18, Fig. 21, Fig. 24, Fig. 27, Fig. 30, Fig. 33, FIG. 36, and FIG. 39).
- Figure 19 shows 80 subjects with MMSE scores of 28 or higher when they used the number erasure app for the first time under the second condition (20 numbers placed and a 180 degree placement angle, the same applies hereinafter) using erasure using head tracking. It is a diagram showing the ROC curve, AUC, P value, and cutoff value created based on the time required for MMSE and the time required for 29 subjects with MMSE points of 27 or less.
- Figure 20 shows the time required for 80 subjects with an MMSE score of 28 or more and the time required for 29 subjects with an MMSE score of 27 or less when the number erasure app was implemented for the second time under the second condition using erasure using head tracking.
- Figure 21 shows the average values of the required time for 80 subjects with an MMSE score of 28 or higher and those with an MMSE score of 27 or lower when the number erasure app was implemented for the first and second time under the second condition using erasure using head tracking. It is a graph which shows the ROC curve created based on each average value of the required time of 29 test subjects, and its cutoff value.
- Figure 22 shows that the Hanamichi app is used for the first time under the third condition (two types of flowers are deleted. However, selecting two types of flowers is considered a mistake. The same applies hereafter) using deletion using head tracking.
- FIG. 2 is a diagram showing the ROC curve, AUC, P value, and cutoff value created by the method.
- Figure 24 shows the average values of the required time for 80 subjects with an MMSE score of 28 or higher and the subjects with an MMSE score of 27 or lower when the Hanamichi app was used for the first and second time under the third condition using head tracking erasure. It is a graph showing an ROC curve created based on each average value of the required time of 29 people and its cutoff value.
- Figure 25 shows that the Hanamichi app is used for the first time under the fourth condition (3 types of flowers are deleted. However, selecting one type of flower is considered a mistake. The same applies hereafter) using deletion using head tracking.
- FIG. 2 is a diagram showing the ROC curve, AUC, P value, and cutoff value created by the method.
- Figure 27 shows the average values of the required time for 80 subjects with an MMSE score of 28 or higher and subjects with an MMSE score of 27 or lower when the Hanamichi app was used for the first and second time under the fourth condition using head tracking deletion. It is a figure which shows the ROC curve, AUC, P value, and cutoff value created based on each average value of the required time of 29 people.
- Figure 28 shows the required time and MMSE27 of 80 subjects with MMSE of 28 points or higher when the number erasure app was used for the first time under the first condition using erasure by touch (tap by gesture; the same applies hereinafter). It is a figure which shows the ROC curve, AUC, P value, and cutoff value created based on the required time of 29 test subjects below a point.
- Figure 29 is based on the time required for 80 subjects with an MMSE score of 28 or above and the time required for 29 subjects with an MMSE score of 27 or less when the number erasure app was implemented for the second time under the first condition using touch erasure.
- FIG. 2 is a diagram showing the ROC curve, AUC, P value, and cutoff value created by the method.
- Figure 30 shows the average values of the time required for 80 subjects with an MMSE score of 28 or higher and subjects with an MMSE score of 27 or lower when the number erasure app was used for the first and second time under the first condition using touch erasure. It is a graph showing an ROC curve created based on each average value of the required time of 29 people and its cutoff value.
- Figure 31 is based on the time required for 80 subjects with an MMSE score of 28 or higher and the time required for 29 subjects with an MMSE score of 27 or lower when the number erasure app was first implemented under the second condition using touch erasure.
- FIG. 2 is a diagram showing the ROC curve, AUC, P value, and cutoff value created by the method.
- Figure 32 is based on the time required for 80 subjects with an MMSE score of 28 or higher and the time required for 29 subjects with an MMSE score of 27 or lower when the number erasure app was implemented for the second time under the second condition using touch erasure.
- FIG. 2 is a diagram showing the ROC curve, AUC, P value, and cutoff value created by the method.
- Figure 33 shows the average values of the time required for 80 subjects with an MMSE score of 28 or higher and subjects with an MMSE score of 27 or lower when the number erasure app was implemented for the first and second time under the second condition using touch erasure. It is a graph showing an ROC curve created based on each average value of the required time of 29 people and its cutoff value.
- Figure 34 is based on the time required for 80 subjects with an MMSE score of 28 or higher and the time required for 29 subjects with an MMSE score of 27 or lower when using the Hanamichi app for the first time under the third condition using erasure by touch. It is a figure showing the created ROC curve, AUC, P value, and cutoff value.
- Figure 35 is based on the time required for 80 subjects with an MMSE score of 28 or more and the time required for 29 subjects with an MMSE score of 27 or less when the Hanamichi app was implemented for the second time under the third condition using erasure by touch. It is a graph showing a created ROC curve and its cutoff value.
- Figure 36 shows the average values of the required time for 80 subjects with MMSE scores of 28 or higher and the 29 subjects with MMSE scores of 27 or lower when using the Hanamichi app for the first and second time using touch erasure under the third condition.
- 3 is a graph showing an ROC curve created based on each average value of the time required for the name, and its cutoff value.
- Figure 37 is based on the time required for 80 subjects with an MMSE score of 28 or more and the time required for 29 subjects with an MMSE score of 27 or less when using the Hanamichi app for the first time using touch erasure under the fourth condition. It is a figure showing the created ROC curve, AUC, P value, and cutoff value.
- Figure 38 is based on the time required for 80 subjects with an MMSE score of 28 or more and the time required for 29 subjects with an MMSE score of 27 or less when the Hanamichi app was implemented for the second time under the fourth condition using touch erasure. It is a graph showing a created ROC curve and its cutoff value.
- Figure 39 shows the average values of the required time for 80 subjects with an MMSE score of 28 or higher and the 29 subjects with an MMSE score of 27 or lower when the Hanamichi app was used for the first and second time under the fourth condition using touch erasure.
- 3 is a graph showing an ROC curve created based on each average value of the time required for the name, and its cutoff value.
- FIG. 40 is a table summarizing the AUC, p value, and cutoff value obtained in FIGS. 16 to 39.
- the MCI screening system 3 includes an image processing device 1 and an information processing device 2.
- the image processing device 1 is a device such as a head-mounted display (HMD), smart glasses, or a device realized by attaching a smartphone to goggles, and is a device that can realize mixed reality (MR). be.
- the image processing device in the present invention may be a device capable of realizing augmented reality (AR) or virtual reality (VR).
- the image processing device 1 displays images related to the virtual space, giving the user the sensation of actually existing in the virtual space.
- the displayed image changes according to the user's movements, giving the user the sensation of moving in a virtual space.
- three-dimensional information of objects in the virtual space and tracking information such as the position and tilt of the image processing device 1 and the user's line of sight are required.
- the position and orientation of the user in the virtual space is calculated, and an image in the virtual space is displayed on the image processing device 1 based on the calculation. Become.
- augmented reality When so-called video see-through type augmented reality is used, an image of a virtual object is synthesized with the real image obtained by the image processing device 1, and the synthesized images of both are displayed.
- augmented reality a real image for synthesizing a virtual object is recognized, and an image of the virtual object is synthesized with the recognized real image. Therefore, in this specification, it is assumed that the image processing device 1 does not obtain tracking information such as the position and tilt of the image processing device 1, the user's line of sight, etc., as in virtual reality or mixed reality.
- this definition is merely a definition used in this specification to make the explanation easier to understand, and in the present invention, the present invention is realized by augmented reality using an image processing device that can obtain tracking information. Needless to say, you can leave it alone.
- mixed reality spatial recognition is realized in which real space is recognized as a three-dimensional shape using image recognition, depth cameras, infrared sensors, laser irradiation, and various other sensors and detectors.
- the image processing device 1 displays an image that makes it appear as if the object exists in the recognized real space, giving the user the impression that the virtual object exists in the real space. gives a sense of perception.
- the image processing device 1 can recognize the position and tilt of the image processing device 1 in real space, the user's line of sight, face, head direction, etc. (tracking information), and In addition to the movement of the virtual object, a display can be performed that gives the user the impression that the virtual object remains located in the real space.
- the image processing device 1 can detect the user's line of sight, face, head direction, etc., and can understand which direction the user is facing. Therefore, the image processing device 1 can also change the displayed image according to the orientation of the user. Furthermore, in mixed reality, the user's finger and hand movements are detected and virtual objects can be selected.
- the following description will be exemplified by using an eye tracking function or the like to detect the user's line of sight, but it is only necessary to know which direction the user is facing, or at least the orientation of the user. Therefore, all the parts described as the user's line of sight can be read as the user's direction, and in that case, in the image processing device 1, the direction detecting unit 14 is used instead of the line of sight detecting unit 14.
- the invention shall be understood as if Note that the user's line of sight is a concept included in the user's orientation.
- the line of sight detection unit 14 is a concept included in the orientation detection unit 14.
- As a specific means for detecting the user's orientation other than the line of sight for example, neck movement sensing can be used, but the present invention is not limited to the specific means.
- MCI screening system of the present invention can be implemented using not only mixed reality but also virtual reality and augmented reality.
- tracking information Information regarding the position and tilt of the image processing device 1, and the user's line of sight will be collectively referred to as tracking information. Note that since the user's position and inclination are detected by detecting the position and inclination of the image processing device 1, the tracking information of the image processing device 1 and the user's tracking information will be explained as having the same meaning. To go.
- the image processing device 1 is worn by a subject and executes an application for an MCI screening test.
- the subject performs the test according to the instructions of the application (execution process of the test application: see FIG. 5).
- the test results are transmitted to the information processing device 1.
- the information processing device 2 is a device such as a personal computer (PC), a tablet, or a smartphone, and is a device that can communicate with the image processing device 1.
- the communication method may be short-range communication such as Bluetooth (registered trademark), network communication such as Wi-Fi (registered trademark), mobile phone network, or Internet network, or wired communication such as USB connection. As long as data can be exchanged between the processing device 1 and the information processing device 2, the communication method is not limited in the present invention.
- the information processing device 2 executes processing for determining the possibility of MCI (test determination processing: see FIG. 8) based on the data sent from the image processing device 1, and stores and displays the results. .
- the image processing device 1 and the information processing device 2 are described as being separate devices. This is to enable the subject to use the image processing device 1 and display the results separately on the information processing device 2.
- the image processing device 1 may execute the test determination process in the information processing device 2. In that case, the test results may be viewed only on the image processing device 1, or the test results may be viewed on the information processing device 2 as well.
- the MCI screening system 3 only needs to be configured to include a test application execution processing unit and a test determination processing unit, and the configuration of the device itself is not limited in the present invention.
- the MCI screening system 3 uses a computer system consisting of an image processing device 1 and an information processing device 2, or a computer system consisting of an image processing device 1, for inspection using images using virtual reality, augmented reality, or mixed reality.
- the MCI Screening System 3 is used at health checkup centers and municipal health fairs.
- the subject uses the image processing device 1 to execute the test application.
- the personal data of the test results is transmitted from the image processing device 1 to the information processing device 2.
- the information processing device 2 determines the test results.
- the organizer may inform the test subject of the results on the spot or at a later date.
- test subject or his or her family downloads and installs the test app onto a smartphone attached to an HMD or goggles. Then, the subject uses an HMD or the like to execute the test application and conduct the test.
- the personal data of the test results are transmitted to the information processing device 2 connected via the network.
- the information processing device 2 notifies the test subject of the test results immediately or at a later date.
- the MCI screening system 3 of the present invention also includes cases where test results are determined using a single HMD or smartphone.
- the image processing device 1 detects the possibility of MCI after the test, without adopting a configuration in which personal data is sent to the information processing device 2 and notification of the test results is separately received.
- the structure is such that a judgment is made and the subject is notified immediately.
- the image processing device 1 includes a communication section 10, a control section 11, a storage section 12, an image processing section 13, a line of sight detection section 14, a tracking section 15, a spatial recognition section 16, and an audio output section. It includes a section 17, a display section 18, and an input section 19.
- the communication unit 10 is at least a device that can communicate with the information processing device 2.
- the communication method is not limited in the present invention, and any communication method may be used.
- the control unit 11 controls the overall operation of the image processing device 5.
- the storage unit 12 is a recording medium such as a memory or an SSD.
- the storage unit 12 stores an application execution program that controls the operation of the test application, at least one test application, and personal data that stores the execution results of the test application. Note that it is sufficient that at least one test application is stored, and it is not necessary that all rehabilitation applications described below be stored.
- the application execution program is a program for controlling the overall operation of the image processing device 1, and loads the instructed inspection application, executes the inspection application, and stores the inspection results obtained by the inspection application as personal data. go. Further, the application execution program is responsible for transmitting and receiving data to and from the information processing device 2 .
- the inspection application performs object display processing, selection or deletion processing, and counting of points and seconds during the inspection, and passes the inspection results to the application execution program.
- the personal data is stored in association with information for identifying the test subject and test results (time required to run the test app, correct answer rate, etc.).
- the data format of personal data is not limited in the present invention.
- the input unit 19 is a device for operating the image processing device 1, such as a wired or wireless switch or a touch panel. Note that in the image processing device 1, it is also possible to operate the image processing device 1 by recognizing the user's gestures, so the camera and the image recognition processing unit (not shown) can also be considered to function as the input unit 19. It is possible. Furthermore, even if the line of sight remains at a certain place for a certain period of time (so-called staring), it can be said that a selection operation has been performed. The process of determining that an operation has been performed can also be understood to be a process by the input unit 19.
- the display unit 18 is a device for displaying generated images.
- the display unit 18 is a small display for the left and right eyes.
- the background may be transparent or the background may be opaque. If it is an HMD for MR, it is a small display for the left and right eyes.
- Microsoft (registered trademark)'s HOLOLENS (registered trademark) is used as an MR HMD, the background is transparent.
- the information processing device 1 is constructed using a device such as a smartphone and goggles attached to the device, the display screen of the device becomes the display unit 18.
- MR magnetic resonance imaging
- the real space may be transmitted through the lens and perceived, or the real-time image of the real space taken from the camera may be displayed on a small display, so that it can be viewed as a real-time image.
- MR may be realized by compositing with a virtual object.
- the information processing device 1 includes devices that implement MR using all known methods.
- the image processing device 1 can add a new inspection application to the storage unit 12 by, for example, downloading an inspection application that is not installed.
- the audio output unit 17 is a speaker, earphones, or the like.
- the audio output unit 17 outputs, in response to instructions from the control unit 11, the correct answer sound and incorrect answer sound for the question, the execution start sound of the test application, the sound during execution of the test application, and the like.
- the space recognition unit 16 includes a camera, and recognizes the three-dimensional shape of the surrounding space of the image processing device 1 using image recognition technology.
- image recognition technology Various techniques have already been developed for recognizing the three-dimensional shape of a space through camera photography, and here, spatial recognition will be performed using any of these techniques. Note that the space recognition unit 16 may be omitted when using VR and AR.
- spatial recognition by the spatial recognition unit 16 may not be necessary depending on the application, and is not essential in the present invention.
- the tracking unit 15 recognizes the position, tilt, etc. of the image processing device 1.
- Various tracking technologies for VR and MR have already been developed, so any of these technologies will be used here to recognize the position and inclination.
- the tracking unit 15 is not only structurally included inside the casing of the image processing device 1, but also may be configured to detect the position, inclination, etc. using a sensor attached to the outside of the casing. good. Therefore, the image processing device 1 may realize not only tracking using the inside-out method but also tracking using the outside-in method. In that case, the tracking unit 15 will exist outside the casing of the image processing device 1, but it is assumed that the image processing device 1 includes the tracking unit 15 that exists outside the casing. .
- the line of sight detection unit 14 is a device that detects the line of sight of the user using the image processing device 1.
- Various visual line detection techniques for VR and MR have already been developed, so here, visual line recognition will be performed using any of these techniques. Note that if line of sight detection is considered to be part of the tracking technology, the line of sight detection section 14 may be considered to be included in the tracking section 15.
- the image processing unit 13 generates a three-dimensional image to be displayed on the display unit 18.
- data that is the source of a three-dimensional image will be referred to as three-dimensional data.
- the image processing unit 13 stores the three-dimensional structure of the real space recognized by the space recognition unit 16 in the storage unit 12 as three-dimensional data.
- the image processing unit 13 stores the three-dimensional data of the virtual object to be placed in the storage unit 12 using the same coordinate axes as the three-dimensional data of the three-dimensional structure in the real space.
- the image processing unit 13 also stores three-dimensional data of tracking information (position, inclination, and line of sight) in the storage unit 12 using the same coordinate axes as the three-dimensional data of the three-dimensional structure in real space.
- the image processing unit 13 can generate an image of a virtual object visible from the patient's line of sight and display it on the display unit 53. .
- the image processing section 13 calculates the three-dimensional data separately from the control section 11. good.
- the test subject completes the given task while viewing the image displayed on the display unit 18.
- the information processing device 2 includes a communication section 20, a control section 21, an input section 22, a display section 23, and a storage section 24.
- the communication unit 20 is at least a device that can communicate with the image processing device 1.
- the communication method is not limited in the present invention, and any communication method may be used.
- the control unit 21 controls the overall operation of the information processing device 2 .
- the storage unit 24 is a recording medium such as a memory, SSD, or HDD.
- the storage unit 24 stores test programs, criteria for determining the possibility of MCI, and data for each individual.
- the storage unit 24 may store past data such as previous result data.
- the input unit 22 is a device for operating the information processing device 2.
- the display unit 23 is a liquid crystal screen or the like.
- the information processing device 2 determines the possibility of MCI based on the post-test personal data sent from the image processing device 1 and outputs the result.
- the information processing device 2 first allows the user to specify a test application (S201), and receives a test start instruction from the user (S202). If there is an instruction to start the inspection, the information processing device 2 instructs the image processing device 1 to execute the inspection application.
- the application execution program of the image processing device 1 reads the specified inspection application and starts the inspection application (S101). While the inspection application is being executed, the image processing device 1 saves the inspection results (time required for the inspection, number of correct answers, number of incorrect answers, etc.) (S102).
- the image processing device 1 associates the test results with information for identifying the subject and transmits the test results to the information processing device 2 as personal data. It is assumed that the information for identifying the subject is initially set in a separate process not shown. Note that it is not essential whether or not to identify the subject, and the information processing device 2 may receive the data and then associate it with the subject. Note that it goes without saying that the information that identifies the subject does not need to be in a format that identifies the individual.
- the information processing device 2 receives the transmitted personal data (S203), determines the test result based on the possibility determination criteria of MCI (S204), and displays and saves the test result (S205).
- the present invention also includes the ability of the image processing device 1 to determine the possibility of MCI.
- the designation of the test application shown in FIG. 4 is performed by the image processing device 1, and the image processing device 1 determines the test results without transmitting or receiving personal data.
- control unit 11 of the image processing device 1 has read and executed an application execution program, and executes the application instructed by the information processing device 2 under the instructed application setting conditions.
- the application setting conditions include, for example, the number and types of objects to be deleted, the range in which objects are displayed (left/right, up/down angle, etc.), and the like.
- the operation shown in FIG. 5 is assumed to be in the case of MR, but the operation in the case of VR and AR will be explained as appropriate.
- the space recognition unit 16 uses a built-in camera to recognize the surrounding three-dimensional space and convert it into three-dimensional data (S110).
- the tracking unit 15 recognizes the position and tilt of the image processing device 1 (S111).
- the control unit 11 grasps the position of the image processing device 1 in the three-dimensional space, and recognizes at which position in the three-dimensional space the image processing device 1 is located.
- the present invention also includes cases where the OS of the image processing device 1 performs processing for spatial recognition and processing for tracking.
- the present invention applies to spatial recognition processing that is not limited to image recognition using a built-in camera, but also when performed using various other sensors and detectors such as a depth camera, infrared sensor, and laser irradiation. included.
- control unit 11 In the case of VR, the control unit 11 generates three-dimensional data of the virtual space in S110, recognizes the position and tilt of the image processing device 1 in S111, and determines where the image processing device 1 is located in the virtual space. Recognize the presence of animals.
- control unit 11 photographs surrounding images and determines the area in which the problem will be combined.
- control unit 11 generates questions to be used in the specified test application (S112).
- the control unit 11 Based on the application setting conditions, the control unit 11 generates a question. Since this is a test for screening MCI, the control unit 11 generates questions such that the difficulty level of the questions is constant. For example, when executing a number erasing application, if the information processing device 2 specifies that the number of numbers to be erased is from 1 to 20, the difficulty level is set by arranging the numbers 1 to 20 in a line. Don't create problems by lowering the value. Furthermore, if the arrangement angle is specified to be 180 degrees, the numbers must not be arranged biased to one side. Therefore, questions need to be generated according to predetermined criteria (including random criteria). In addition, questions are generated according to application settings such as object color and size.
- the control unit 11 places the generated object in the virtual space of the problem on the three-dimensional data of the virtual space (S113). Thereafter, the execution of the inspection application proceeds, and in parallel with the execution of the inspection application (S115), drawing processing is performed by the image processing unit 13 (S114).
- FIG. 6 is a flowchart of image drawing processing in the image processing unit 13. Since image drawing processing requires high-speed and large-scale calculations, it is assumed here that the processing is executed by an image processing section 13 that is separate from the control section 11. However, the performance of the control section 11 naturally It goes without saying that the control unit 11 may execute the process depending on the situation.
- the image processing unit 13 detects the position and tilt of the image processing device 1 on the three-dimensional data based on the information from the tracking unit 15 (S120). Next, the direction of the line of sight on the three-dimensional data is detected based on the information from the line of sight detection unit 14 (S121). Next, the image processing unit 13 arranges objects in the virtual space on the three-dimensional data according to the current position and inclination of the image processing device 1 and the orientation of the line of sight, face, head, etc. (S122), and 18 is determined and the image is displayed (S123). By performing such processing for each frame, it is possible to display a display on the display unit 18 as if a virtual image exists in real space in accordance with the movement of the image processing device 1. becomes.
- the image processing unit 13 is similar to the case of MR described above, except that the image processing unit 13 causes the display unit 18 to display an image in which the object is placed on the image of the virtual space.
- the image processing unit 13 recognizes the image of the real space captured by the image processing device 1, and synthesizes the object in the virtual space.
- FIG. 7 is a flowchart showing the operation in the test execution process of FIG. 5.
- the control unit 11 presents the subject with the questions arranged in S113 in text, voice, etc. (S130).
- each inspection application will be explained with reference to FIGS. 8 to 15. As shown in FIG. 9, when the number deletion application is executed, a specified number of numbers are arranged in space in S113.
- the outer broken line shown in FIG. 9 is the maximum area in space where it is arranged, and when receiving an instruction from the information processing device 2 such as 120 degrees or 180 degrees as an application setting condition, 120 degrees Numbers are arranged in degrees or 180 degrees.
- the number of numbers to be arranged is also specified by the information processing device 2 as an application setting condition.
- numbers 1 to 20 are arranged.
- the dashed line inside FIG. 9 is the area visible to the subject. When the subject moves his or her face, the visible range changes accordingly (the same applies hereafter).
- the instruction "Please select in ascending order” is displayed. This is the presentation of the task to be cleared (S130).
- the number erasing app selects and erases numbers in the specified order.
- a method of erasing either a gesture of touching the number (hereinafter referred to as “tap” or “touching") or a method of erasing when the line of sight fixes on the corresponding number by head tracking is used. It is possible (the same applies hereafter).
- the evaluation standard is the time required to erase all the numbers (required time).
- FIG. 10 shows an example when the selection deletion application is executed.
- the task ⁇ Please choose a star,'' students select and erase the stars.
- points are added when the correct symbol is selected, and points are deducted when the incorrect symbol is selected, but various evaluation methods may be adopted.
- FIG. 11 shows an example when the Hanamichi application is executed.
- the flower path application virtual flowers and virtual stands on which the flowers are placed are displayed and arranged in space.
- the flower is also displayed as if it were nearby.
- the flower can then be erased once it is within reach of the subject.
- the message ⁇ Please erase the black flowers.'' is displayed.
- FIG. 12 shows an example when the maze application is executed.
- a three-dimensional maze is displayed in a virtual space, and a two-dimensional maze that serves as a hint is displayed. Then, while moving, items exist at the locations indicated by the stars, and the player touches the items to erase them as he or she heads towards the goal.
- For maze apps it's a good idea to evaluate the time it takes to reach the goal.
- FIG. 13 shows an example when a grid application is executed.
- instructions to move on the grid are displayed, for example, "Please move 3 to the west, 4 to the south, and 1 to the east.”
- the subject moves on the grid according to the instructions. It is best to evaluate the time taken to reach the goal correctly, or whether the position after moving is correct.
- FIG. 14 shows an example when the quiz app is executed.
- a question such as "What month is it today?" is displayed, and answer options are displayed in virtual space. The subject selects and erases the displayed option.
- multiple questions are presented and evaluation criteria may be based on the time required to answer correctly or the number of correct or incorrect answers.
- the quiz app may also ask questions about the year, month, day, day of the week, or address. Also, questions about the names of animals and fruits, questions about arithmetic, questions about abstract concepts (for example, questions about the concept of "fruit” for bananas and oranges), questions about language ability, questions about attention, and questions about memory. Questions may also be asked. The content of the questions may be determined with reference to questions used in MoCaA-J (The MONTREAL COGNITIVE ASSESSMENT), MMSE (Mini Mental State Examination), and the like.
- FIG. 15 shows an example when the object search application is executed. Assume that an item such as a laptop computer or a telephone is displayed in a three-dimensional space, and for example, bills are hidden beneath it. In response to the task ⁇ Look for a bill,'' the subject makes a gesture of touching the item, lifts the item, and checks whether there is a bill underneath. It is a good idea to evaluate the time it takes to find the banknote.
- test applications can be considered, and any test application is included in the present invention.
- the subject selects an object (in the above example, the smallest number, a star, a black flower, etc.) to be the object of the task. It is assumed that the subject can make a selection using either head tracking or gesture tap (touching), but which method to select must be specified in advance in the application setting conditions.
- the image processing device 1 determines whether the selected object is correct or incorrect (S132).
- the processing for correct and incorrect answers differs depending on each test app. For example, in the case of a number erasing app, if you make a mistake in the order, the digits will not be erased, but will remain as they are, and a process will play a voice indicating that you made a mistake, prompting you to select the correct number. It will be done. In the case of a selection deletion application, points will be deducted if the wrong object is selected. In this way, the image processing device 1 executes predetermined correct/incorrect processing for each application (S133).
- the image processing device 1 records the test results (number of correct answers, number of incorrect answers, etc.) in association with the subject's information (S134).
- the image processing device 1 determines whether the conditions for ending the test have been reached (S135). If it is a number erasing app, the termination condition is that all the numbers have been erased. If it is a selection deletion application, the termination condition is that all specified objects are deleted.
- the image processing device 1 If the termination condition has not been reached, the image processing device 1 returns to the operation of S131. If the termination condition is reached, the image processing device 1 transmits personal data of the test results, such as the required time, the number of correct answers, and the number of incorrect answers, to the information processing device 2 (S136), and ends the process.
- inspection determination processing in information processing device 2 Next, inspection determination processing in the information processing device 2 will be described with reference to FIG. 8.
- the information processing device 2 refers to the personal data of the received test results (S210). This reference does not need to be in real time and may be referenced later.
- the information processing device 2 refers to the MCI possibility determination criteria for the test application used for the test (S211). For example, in the case of a number erasing application, if the time required to erase all the numbers is longer than a certain amount of time, the information processing device 2 determines that there is a possibility of MCI. , will be published.
- ROC curve Receiveiver Operating Characteristic curve
- This criterion is determined for each test application and each application setting condition using a statistical method.
- the information processing device 2 determines whether or not there is a possibility of MCI from the personal data to be examined (S212), records and displays the determination result (S213).
- FIGS. 16 to 39 show ROC curves, their cutoff values, and p values created based on the time required for 80 subjects with MMSE points of 28 or higher and the time required for 29 subjects with MMSE points of 27 or lower.
- the description "touch” indicates a condition where the object is selected by tapping it with a gesture.
- the description "head tracking” indicates a condition where the selection is made by directing the line of sight toward the object to be selected and gazing at it.
- 120 degrees and 180 degrees mean the maximum angle at which the numbers are arranged, and are conditions specified in the app setting conditions.
- the 2 types and 3 types are the types of flowers that are selected from among the displayed flowers. If there are 4 types of flowers in total, if you select 2 types of flowers, the remaining 2 types are flowers that should not be selected, and if you select 3 types of flowers, the remaining 1 type is a flower that should not be selected.
- the cutoff values determined in FIGS. 16 to 39 are summarized in a table in FIG.
- the cutoff value determined for each application setting condition serves as a criterion for determining the possibility of MCI.
- the present invention is not limited to using the cutoff value as it is as the criterion.
- a value obtained by providing a margin value with respect to the cutoff value may be used as the determination criterion.
- the possibility of MCI may be expressed as a percentage or as a degree of risk, with the cutoff value as the center. That is, the determination criteria may be determined based on the cutoff value.
- the cutoff value is used as a criterion
- the test application is executed under the conditions shown in Figure 40 and the required time is longer than the cutoff value, the subject will The information processing device 2 determines that there is a possibility.
- a table as shown in FIG. 40 serves as a criterion for determining the possibility of MCI.
- the AUC value exceeding 0.7 is the time required to use the touch-to-delete number erasing app for the second time, and This is a case where the screening criteria is based on the time required to perform the three types of Hanamichi apps for the second time.
- the AUC is 0.7 or more, it is considered to be Moderate accuracy, and it is said that moderately accurate test results can be obtained if the cutoff value at that time is used. ing.
- the most preferable screening is the time required for the second implementation of the number erasing app that erases by touching (app setting conditions: number of placements 20 and placement angle 180 degrees), and the time required for the second time of the number erasing app that erases by touching. This is the time required to conduct the seeding for the second time.
- the criterion for determining the possibility of MCI is not limited to the cutoff value when AUC is 0.7 or more.
- the cut-off value to be used as the criterion for determining the possibility of MCI is determined by experts such as doctors as appropriate.
- test results obtained when the test application is executed for the second time for determination may be preferable as a result of screening. Even if the test result was not good the first time because you are unfamiliar with the test app, if you have the ability to learn what you learned the first time and reflect it in the test results the second time, This is because the possibility of it being MCI is thought to be low. On the other hand, if there is no difference between the first and second test results and the second test result is also bad, there is a possibility that the patient has MCI.
- FIG. 18, FIG. 21, FIG. 24, FIG. 27, FIG. 30, and FIG. 33 which are the averages of the first and second test results, are the average values obtained by equally dividing the first and second test results.
- the test results may be evaluated using a weighted average obtained by weighting the second test results.
- the possibility of MCI may be determined based on the second test result, or the possibility of MCI may be determined using a weighted average obtained by weighting the second test results. In other words, the possibility of MCI may be determined based on the results of the second test. It goes without saying that in the present invention, the possibility of MCI may be determined based on the first test result.
- the test application in order to determine the criteria for screening, is executed on healthy subjects and those with MCI under the same application setting conditions, and the evaluation results such as the required time and correct answer rate are evaluated.
- the cutoff value By obtaining an ROC curve and using the cutoff value as a criterion for determining the possibility of MCI, it becomes possible to statistically and medically screen those who are likely to have MCI.
- the same cutoff value may not be output even if the original data is the same. Therefore, as a criterion for screening, it is preferable to provide a predetermined margin with respect to the cutoff value.
- the cutoff value is the cutoff value when the number erasing app is executed for the second time under the second condition (number of placements: 20 and placement angle: 180 degrees) using erasure by tapping (touching). is 78.99 seconds, but assuming that a margin of -3% (approximately 2 seconds) is provided, the values below the decimal point are rounded off.
- the fact that it took 77 seconds or more may be used as a criterion for determining the possibility of MCI, and those who take 77 seconds or more may be selected as having the possibility of MCI. This margin may be determined as appropriate, and the above numbers are merely examples for explanation.
- the possibility of MCI may be expressed in terms of probability percentage, degree of risk, etc., using as an index how close the test result is to the criteria for determining the possibility of MCI. For example, if the probability criterion is greatly exceeded, the probability of MCI may be increased, and if the probability criterion is close to the probability criterion, the percentage of probability of MCI may be lowered. It may also be expressed as a level of risk. Further, the possibility of MCI may be expressed by expressing changes or transitions from past test results such as the previous test result.
- the required time is incremented every 5 seconds, and the probability of MCI for a subject taking 79 seconds or more and less than 84 seconds is set to 65%, and the probability of MCI for a subject taking 84 seconds or more is 65%.
- the possibility may be set to 90%, the probability of MCI for subjects taking 75 seconds or more and less than 79 seconds to be 50%, and the probability of MCI for subjects taking less than 75 seconds to 30% or less, respectively. It may also be expressed in risk classifications such as A, B, C, and D.
- the present invention can be executed on a general-purpose image processing device. We can expect the invention to spread.
- the present invention can be executed on a general-purpose image processing device, and the present invention can be expected to become widespread. .
- the present invention is a system that can screen people who may have MCI, and is industrially applicable.
- Image processing device Information processing device 3
- MCI screening system 10
- Communication unit 11
- Control unit 12
- Storage unit 13
- Image processing unit 14
- Line of sight detection unit 15
- Tracking unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Space recognition unit 16
- Audio output unit Display unit 19
- Communication unit 21
- Control section 22
- Display section 24 Storage section
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Processing Or Creating Images (AREA)
Abstract
軽度認知障害であるか否かのスクリーニングを行うためのスクリーニングシステム(3)であって、仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行し、前記被験者が前記問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、前記被験者が軽度認知障害の可能性があるか否かを判定する。好ましくは、被験者のグループを、別な判定手法に基づいて軽度認知障害と判断された第1グループと、健常者の第2グループとに分けて、第1グループ及び第2グループの検査結果に基づいて、ROC曲線を求め、ROC曲線から得られるカットオフ値に基づいて、判定基準が決められているとよい。
Description
本発明は、軽度認知障害(Mild Cognitive Impairment、以下、「MCI」という)の可能性がある人をスクリーニングするためのシステムに関する。
MCIとは、健常者と認知症との中間の段階を指し、日常生活を問題なく送ることができている状態であるが、認知機能の低下が起きており、放置すると症状が進行し、将来、認知症へと移行してしまう可能性が高い状況である。
MCIは認知症の前段階ではあるものの、MCIであっても、適切に対処することで、健康な状態に回復する可能性があることが、近年分かってきている。
そのため、MCIから認知症への進行を防ぐためには、MCIを早期発見して、適切な対策を取ることで、認知症への進行の確率を下げることが期待できる。
そのため、MCIから認知症への進行を防ぐためには、MCIを早期発見して、適切な対策を取ることで、認知症への進行の確率を下げることが期待できる。
MCIであることを診断するには、医師による様々な観点からの診断が必要となるが、医師による診断を受ける前段階として、MCIである可能性が高い者をスクリーニング(ふるい分け)することができれば、医師による診断へ、スムーズにつなげることが期待できる。
しかし、従来のスクリーニング手段としては、MoCA-JやMMSEなどの神経心理学的検査を医療専門職などにより実施する必要があったため、実施される機会が少なかった。
しかし、従来のスクリーニング手段としては、MoCA-JやMMSEなどの神経心理学的検査を医療専門職などにより実施する必要があったため、実施される機会が少なかった。
特許文献1は、複合現実を用いた高次脳機能障害の検査システムに関するものであり、MCIをスクリーニングすることに関しては、記載されていない。
特許文献2は、高次脳機能障害(認知症が原因の場合も含む)を改善するためのリハビリテーションのシステムに関するものであり、MCIをスクリーニングすることに関しては、記載されていない。
特許文献3は、仮想現実を用いたリハビリテーションに関するシステムであり、認知症の予防にも有効である旨の記載はあるが(特許文献3の段落0035)、MCIをスクリーニングすることに関しては、記載されていない。
特許文献4は、拡張現実を用いており、認知症リスクを低下させるためのトレーニングに使用されるAR装置である。特許文献4の段落0021には、認知症レベルの評価を行うことが可能である旨が記載されているが、MCIをスクリーニングすることに関しては、記載されていない。
特許文献2は、高次脳機能障害(認知症が原因の場合も含む)を改善するためのリハビリテーションのシステムに関するものであり、MCIをスクリーニングすることに関しては、記載されていない。
特許文献3は、仮想現実を用いたリハビリテーションに関するシステムであり、認知症の予防にも有効である旨の記載はあるが(特許文献3の段落0035)、MCIをスクリーニングすることに関しては、記載されていない。
特許文献4は、拡張現実を用いており、認知症リスクを低下させるためのトレーニングに使用されるAR装置である。特許文献4の段落0021には、認知症レベルの評価を行うことが可能である旨が記載されているが、MCIをスクリーニングすることに関しては、記載されていない。
それゆえ、本発明は、MCIである可能性がある者をスクリーニングすることが可能なシステムを提供することを目的とする。
上記課題を解決するために、本発明は、以下のような特徴を有する。
本発明は、軽度認知障害であるか否かのスクリーニングを行うためのシステムであって、仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行し、被験者が問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、被験者が軽度認知障害の可能性があるか否かを判定する。
本発明は、軽度認知障害であるか否かのスクリーニングを行うためのシステムであって、仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行し、被験者が問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、被験者が軽度認知障害の可能性があるか否かを判定する。
好ましくは、被験者のグループを、別な判定手法に基づいて軽度認知障害と判断された第1グループと、健常者の第2グループとに分けて、第1グループ及び第2グループの検査結果に基づいて、ROC曲線(Receiver Operating Characteristic curve)を求め、ROC曲線から得られるカットオフ値に基づいて、判定基準が決められているとよい。
好ましくは、ROC曲線のAUC(Area Under the Curve)が予め決められた値以上の場合に、カットオフ値に基づいて、判定基準が決められているとよい。
好ましくは、判定基準は、予め決められた所定の範囲の余裕度を持たせるとよい。
好ましくは、被験者が軽度認知障害の可能性があるか否かは、可能性を示すパーセンテージ又は段階的な危険度で表現されているとよい。
好ましくは、検査アプリを2回目に実行したときの検査結果を踏まえて、被験者が軽度認知障害の可能性があるか否かを判定するとよい。そのとき、検査アプリは、数字を順番に選択していく問題を提示するアプリ、又は、仮想空間上に配置されたオブジェクトを移動しながら選択していく問題を提示するアプリであるとよい。
一実施形態として、検査アプリは、数字を順番に選択していく問題を提示するアプリ、選択対象のオブジェクトを選択していく問題を提示するアプリ、仮想空間上に配置されたオブジェクトを移動しながら選択していく問題を提示するアプリ、仮想空間上の迷路を移動しながら進んで行く問題を提示するアプリ、仮想空間上のマス目を指定された通りに移動して行く問題を提示するアプリ、クイズを出題して仮想空間上のオブジェクトを選択してく問題を提示するアプリ、又は、仮想空間上のオブジェクトに隠されたオブジェクトを探す問題を提示するアプリのいずれかである。
一実施形態として、検査アプリを実行するための画像処理装置と、軽度認知障害の可能性を判定するための情報処理装置とを備える。
一実施形態として、画像処理装置は、ヘッドマウントディスプレイ、スマートグラス、又は、ゴーグルに装着されたスマートフォンである。
一実施形態として、検査アプリを実行するための画像処理装置を備え、画像処理装置によって、軽度認知障害の可能性が判定される。
また、本発明は、軽度認知障害であるか否かのスクリーニングを行うためのコンピュータシステムを、
仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行させる手段、及び、
前記被験者が前記問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、前記被験者が軽度認知障害の可能性があるか否かを判定する手段として機能させることを特徴とする、軽度認知障害のスクリーニングのためのプログラムである。
仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行させる手段、及び、
前記被験者が前記問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、前記被験者が軽度認知障害の可能性があるか否かを判定する手段として機能させることを特徴とする、軽度認知障害のスクリーニングのためのプログラムである。
本発明によれば、MCIである可能性がある者をスクリーニングすることが可能なシステムが提供可能となる。
本発明によれば、簡便にスクリーニングが行えるようになることで、より多くのMCIを早期発見することが期待できる。
神経心理学検査は基本的には紙面による検査であるため、2次元で実施される。本発明によれば、3次元空間で実施することができるので、少ない課題数で簡便にスクリーニングが行える。
本発明によれば、簡便にスクリーニングが行えるようになることで、より多くのMCIを早期発見することが期待できる。
神経心理学検査は基本的には紙面による検査であるため、2次元で実施される。本発明によれば、3次元空間で実施することができるので、少ない課題数で簡便にスクリーニングが行える。
ROC曲線から得られるカットオフ値に基づいて、MCIの可能性の判定基準を決定することで、統計学的に有効なスクリーニングが可能となる。
判定基準に余裕度を持たせることで、偽陰性を解消できる。
MCIの可能性をパーセンテージや危険度、課題に要する時間などで表すことで、診断が確定していなという印象を被験者に与えることができる。
2回目に実行したときの検査結果を用いることで、MCIである可能性のスクリーニングの精度が増す。そのとき、数字を順に選択するアプリや、指定されたオブジェクトを選択するアプリが有効であることが、実験によって確認されている。
その他の検査アプリを用いても、MCIの可能性をスクリーニングすることが可能である。
本発明のこれら、及び他の目的、特徴、局面、効果は、添付図面と照合して、以下の詳細な説明から一層明らかになるであろう。
(MCIスクリーニングシステム3の全体構成)
図1において、MCIスクリーニングシステム3は、画像処理装置1と情報処理装置2とを備える。
図1において、MCIスクリーニングシステム3は、画像処理装置1と情報処理装置2とを備える。
画像処理装置1は、ヘッドマウントディスプレイ(HMD)や、スマートグラス、スマートフォンをゴーグルに装着して実現される機器等の装置であり、複合現実(MR:Mixed Reality)を実現することができる装置である。ただし、本発明における画像処理装置は、拡張現実(AR:Augmented Reality)又は仮想現実(VR:Virtual Reality)を実現することが可能な装置であってもよい。
仮想現実、拡張現実、及び複合現実の分類方法については、種々考えられるが、本明細書では、以下の技術的意義を有するものとして、説明することとする。
仮想現実を用いた場合、画像処理装置1は、仮想空間に関する画像を表示し、ユーザに対して、実際に仮想空間に存在しているかのような知覚を与える。一般に、仮想現実を用いた場合、ユーザの動きに合せて、表示されている画像が変化し、仮想空間上を移動しているかのような知覚をユーザに与えることができる。仮想現実を用いる場合は、仮想空間上の物体の3次元情報及び画像処理装置1の位置や傾き、ユーザの視線などトラッキング情報が必要である。仮想空間上で、ユーザがどの位置で、どのような向きで仮想空間を視認しているかが計算され、その計算に基づいて、仮想空間上での画像が画像処理装置1に表示されることとなる。
いわゆるビデオシースルー型の拡張現実を用いた場合、画像処理装置1が得た現実画像に対して、現実画像に仮想の対象物の画像が合成されて、合成された両者の画像が表示される。拡張現実では、仮想の対象物を合成するための現実画像を認識して、認識した現実画像に対して、仮想の対象物の画像を合成している。そのため、本明細書上では、画像処理装置1は、仮想現実や複合現実のように、画像処理装置1の位置や傾き、ユーザの視線などのトラッキング情報を得ていないとする。ただし、この定義は、説明を分かりやすくするための本明細書上の定義に過ぎず、本発明において、トラッキング情報を得ることができる画像処理装置を用いて、拡張現実によって、本発明を実現していてもよいことは言うまでもない。
複合現実では、現実空間を、画像認識や深度カメラ、赤外線センサ、レーザ照射、その他の各種センサや検出機などによって、立体形状として認識する空間認識を実現している。複合現実を用いた場合、画像処理装置1は、認識した現実空間に対象物が存在しているかのような画像を表示し、ユーザに、現実空間に仮想の対象物が存在しているかのような知覚を与える。さらに、複合現実を用いた場合は、画像処理装置1は、現実空間における画像処理装置1の位置や傾き、ユーザの視線や顔、頭の向きなど(トラッキング情報)を認識でき、現実空間におけるユーザの移動と合せて、仮想の対象物が現実空間に配置されたままであるとの知覚をユーザに与えることができる表示を行うことができる。複合現実の場合、画像処理装置1は、ユーザの視線や顔、頭の向きなどを検出することができ、ユーザがどの向きを向いているかを把握することができる。そのため、画像処理装置1は、ユーザの向きに合せて、表示される画像も変化させることができる。さらに、複合現実では、ユーザによる指や手の動作が検出されて、仮想の対象物を選択等することができるものとする。
複合現実における空間認識の手法は種々提案されているが、たとえば、画像上の特異点を抽出して、抽出した複数の特異点を3次元座標に変換することで、周囲の立体形状を把握し、さらに、自身の位置を特定する。
なお、拡張現実及び複合現実においては、現実空間に仮想のオフジェクトが配置されていればよいので、現実空間の見せ方としては、光学シースルー型でも、ビデオシースルー型でもどちらでもよい。
なお、拡張現実及び複合現実においては、現実空間に仮想のオフジェクトが配置されていればよいので、現実空間の見せ方としては、光学シースルー型でも、ビデオシースルー型でもどちらでもよい。
なお、以下の説明において、アイトラッキング機能等によって、ユーザの視線を検出する場合を用いて、例示的に説明するが、ユーザがどの方向を向いているか、少なくともユーザの向きが分かればよい。したがって、ユーザの視線と説明している箇所は、全て、ユーザの向きと置き換えて読むことができ、その場合、画像処理装置1において、視線検出部14の代わりに、向き検出部14が用いられているとして、発明を理解するものとする。なお、ユーザの視線は、ユーザの向きに包含される概念である。視線検出部14は、向き検出部14に包含される概念である。視線以外にユーザの向きを検出するための具体的手段として、たとえば、頚部運動センシングを用いることができるが、具体的な手段は、本発明を限定するものではない。
なお、本実施形態は、複合現実を用いた場合を想定しているが、適宜、仮想現実及び拡張現実を用いた場合の実施形態についても説明する。
本発明のMCIスクリーニングシステムは、複合現実だけでなく、仮想現実及び拡張現実を用いても実現できる。
本発明のMCIスクリーニングシステムは、複合現実だけでなく、仮想現実及び拡張現実を用いても実現できる。
画像処理装置1の位置、傾き、及びユーザの視線に関する情報をまとめてトラッキング情報ということにする。なお、画像処理装置1の位置及び傾きを検出することで、ユーザの位置及び傾きが検出されるのであるから、画像処理装置1のトラッキング情報とユーザのトラッキング情報とは、同義であるとして説明していく。
画像処理装置1は、被験者に装着されて、MCIのスクリーニング検査のためのアプリを実行する。被験者は、当該アプリの指示にしたがって、検査を実施する(検査アプリの実行処理:図5参照)。検査結果は、情報処理装置1に送信される。
情報処理装置2は、パソコン(PC)やタブレット、スマートフォンなどの装置であり、画像処理装置1と、通信可能な装置である。通信方法は、Bluetooth(登録商標)などの短距離通信の他、Wi-Fi(登録商標)や携帯電話網、インターネット網などのネットワーク通信でもよく、また、USB接続などの有線通信でもよく、画像処理装置1と情報処理装置2とで、データをやりとり出来るのであれば、通信方法については、本発明においては、限定されない。
情報処理装置2は、画像処理装置1から送信されてきたデータに基づいて、MCIの可能性を判定するための処理(検査判定処理:図8参照)を実行して、結果を保存及び表示する。
図1において、MCIスクリーニングシステム3では、画像処理装置1と情報処理装置2とが別々の装置であるように記載している。これは、被験者が画像処理装置1を使用し、その結果を、情報処理装置2で別途表示できるようにするためである。
もし、被験者がスクリーニングの検査結果を直接見ることができるようにするのであれば、情報処理装置2での検査判定処理を画像処理装置1で実行するようにしてもよい。
その場合、画像処理装置1のみで、検査結果を見ることができるようにしてもよいし、情報処理装置2でも、検査結果を見ることができるようにしてもよい。
その場合、画像処理装置1のみで、検査結果を見ることができるようにしてもよいし、情報処理装置2でも、検査結果を見ることができるようにしてもよい。
したがって、MCIスクリーニングシステム3は、検査アプリの実行処理手段及び検査判定処理手段を備えるように構成されていればよく、装置自体の構成は、本発明において、限定されるものではない。
なお、MCIスクリーニングシステム3は、画像処理装置1及び情報処理装置2からなるコンピュータシステム、又は、画像処理装置1からなるコンピュータシステムを、仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行させる手段、及び、前記被験者が前記問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、前記被験者が軽度認知障害の可能性があるか否かを判定する手段として機能させるプログラムが各装置にインストールされることで、実現されている。
(MCIスクリーニングシステム3が使用される場面)
ここで、MCIスクリーニングシステム3が使用される場面について、いくつか例示する。
ここで、MCIスクリーニングシステム3が使用される場面について、いくつか例示する。
たとえば、健康診断センターや自治体の健康フェアなどで、MCIスクリーニングシステム3を使用する。被験者は、画像処理装置1を使って、検査アプリを実行する。検査後、画像処理装置1から情報処理装置2に対して、検査結果の個人データが送信される。情報処理装置2で、検査結果を判定する。主催者は、その結果をその場で被験者に伝えるか、若しくは、後日、被験者に伝えるなどする。
また、被験者又はその家族は、HMDやゴーグルに取り付けたスマートフォンに、検査アプリをダウンロードするなどして、インストールする。そして、被験者は、HMD等を利用して、検査アプリを実行して、検査を実施する。検査結果の個人データは、ネットワークを介して接続される情報処理装置2に送信される。情報処理装置2は、即時、若しくは、後日、検査結果を被験者に通知する。
なお、HMDやスマートフォン単体で、検査結果の判定を行う場合も、本発明のMCIスクリーニングシステム3に含まれる。その場合は、上記したように、情報処理装置2に個人データを送信して、検査結果の通知を別途受けるという構成は採用せずに、画像処理装置1が、検査後に、MCIの可能性を判断して、そのまま、被験者に通知するという構成となる。
その他、種々の使用場面が想定されるが、使用場面は、本発明を限定するものではない。
(画像処理装置1の構成)
図2において、画像処理装置1は、通信部10と、制御部11と、記憶部12と、画像処理部13と、視線検出部14と、トラッキング部15と、空間認識部16と、音声出力部17と、表示部18と、入力部19と、を備える。
図2において、画像処理装置1は、通信部10と、制御部11と、記憶部12と、画像処理部13と、視線検出部14と、トラッキング部15と、空間認識部16と、音声出力部17と、表示部18と、入力部19と、を備える。
通信部10は、少なくとも、情報処理装置2と通信可能な装置である。通信方法については、本発明において限定されるものではなく、如何なる通信方法であってもよい。
制御部11は、画像処理装置5全体の動作を制御する。
記憶部12は、メモリやSSD等の記録媒体である。記憶部12には、検査アプリの動作を制御するアプリ実行プログラムと、少なくとも一以上の検査アプリと、検査アプリの実行結果を格納している個人データとが記憶されている。なお、検査アプリは、少なくとも一つが記憶されていればよく、後述する全てのリハビリ用アプリが記憶されている必要はない。
アプリ実行プログラムは、画像処理装置1の全体の動作を制御するためのプログラムであり、指示された検査アプリを読み込んで、検査アプリを実行し、検査アプリによる検査結果を、個人データとして記憶していく。また、アプリ実行プログラムは、情報処理装置2とのデータの送受信を担う。
検査アプリは、検査の際のオブジェクト表示処理や、選択又は抹消処理、点数を秒数のカウントなどを実行して、検査結果をアプリ実行プログラムに渡す。
個人データには、被験者を特定するための情報に、検査結果(検査アプリを実行した際の所要時間や正解率など)を対応付けて記憶されている。個人データのデータ形式は、本発明において、限定されない。
入力部19は、有線又は無線のスイッチやタッチパネルなど、画像処理装置1を操作するための機器である。なお、画像処理装置1においては、ユーザのジェスチャーを認識して、画像処理装置1を操作することも可能であるため、図示しないカメラと画像認識処理部とが入力部19として機能すると捉えることも可能である。さらに、視線が一定時間一定の場所で止まっている場合(いわゆる、凝視されている場合)にも、選択という操作が行われたと言えるので、視線検出部14からの情報に基づいて、制御部11によって操作が行われたと捉える処理も入力部19による処理であると理解することもできる。
表示部18は、生成された画像を表示するための装置である。VR用のHMDであれば、表示部18は、左右の眼用の小型ディスプレイである。なお、VR用のHMDにおいて、背景が透過されていてもよいし、背景を不透過としてもよい。MR用のHMDであれば、左右の眼用の小型ディスプレイである。たとえば、MR用のHMDとして、マイクロソフト(登録商標)社のHOLOLENS(登録商標)を用いるのであれば、背景が透過されている。スマートフォンなどの装置及びそれを装着するゴーグルによって、情報処理装置1を構築する場合は、当該装置の表示画面が表示部18となる。
なお、MRの例として、ここでは、マイクロソフト(登録商標)社のHOLOLENS(登録商標)を例示したが、それ以外のMR用の装置であっても良いことは言うまでもない。MRの場合、レンズから現実空間が透過して知覚できるようになっていてもよいし、また、カメラから撮影した現実空間のリアルタイムの画像が小型ディスプレイに表示されるようにして、リアルタイムの画像と仮想の対象物とを合成することで、MRを実現するようにしてもよい。その他、周知のあらゆる手法を用いて、MRを実現する装置が、情報処理装置1に含まれている。
画像処理装置1は、インストールされていない検査アプリをダウンロードするなどして、記憶部12に新しい検査アプリを追加することが可能である。
アプリ実行プログラムを制御部11に読み込んで実行することで、各検査アプリへの動作の開始指示、各検査アプリの動作条件の設定(「アプリ設定条件」という。)、個人データの記憶、情報処理装置2への個人データの送信を実現することが可能となる。
音声出力部17は、スピーカーやイヤホンなどである。音声出力部17は、制御部11からの指示に応じて、問題の正解音や不正解音、検査アプリの実行開始音、検査アプリ実行中の音声などを出力する。
空間認識部16は、カメラを含んでおり、画像処理装置1の周辺空間の立体形状を画像認識技術を用いて認識する。カメラ撮影によって、空間の立体形状を認識するための技術については、既に、種々開発されているため、ここでは、そのいずれかの技術を利用して、空間認識を行うものとする。なお、空間認識部16は、VR及びARを用いる場合は、無くてもよい。
なお、空間認識部16による空間認識は、アプリによって、必要がない場合もあり、本発明においては、必須ではない。
トラッキング部15は、画像処理装置1の位置や傾きなどを認識する。VRやMRでのトラッキング技術については、既に、種々開発されているため、ここでは、そのいずれかの技術を利用して、位置や傾きの認識を行うものとする。
トラッキング部15は、画像処理装置1の筐体の内部に構造的に含まれているものばかりでなく、筐体の外部に取り付けられたセンサ等によって、位置や傾きなどを検出するようにしてもよい。したがって、画像処理装置1は、インサイドアウト方式によるトラッキングだけでなく、アウトサイドイン方式によるトラッキングを実現してもよい。その場合、トラッキング部15は、画像処理装置1の筐体の外部に存在することとなるが、筐体の外部に存在するトラッキング部15を含めて、画像処理装置1であると捉えるものとする。
視線検出部14は、画像処理装置1を使用しているユーザの視線を検出する装置である。VRやMRでの視線検出技術については、既に、種々開発されているため、ここでは、そのいずれかの技術を利用して、視線の認識を行うものとする。なお、視線検出をトラッキング技術の一部と捉えるのであれば、視線検出部14は、トラッキング部15に含まれていると捉えてもよい。
画像処理部13は、表示部18に表示すべき3次元画像を生成する。ここでは、3次元画像の元となるデータを3次元データと呼ぶことにする。各検査アプリの実行中、画像処理部13は、空間認識部16で認識された現実空間の立体構造を、3次元データとして記憶部12に記憶しておく。画像処理部13は、配置すべき仮想の対象物の3次元データを、現実空間の立体構造の3次元データと同じ座標軸で記憶部12に記憶しておく。画像処理部13は、トラッキング情報(位置、傾き、及び視線)の3次元データについても、現実空間の立体構造の3次元データと同じ座標軸で記憶部12に記憶しておく。これらの3種類の3次元データを同じ座標軸で管理することで、画像処理部13は、患者の視線から見える仮想の対象物の画像を生成して、表示部53に表示させることが可能となる。
なお、3次元データの処理負担が大きいので、ここでは、制御部11とは切り離して画像処理部13が3次元データの計算を行うこととしているが、当然、制御部11で行うようにしてもよい。
被験者は、表示部18に表示される画像を見ながら、与えられた課題をクリアしていく。
(情報処理装置2の構成)
図3において、情報処理装置2は、通信部20と、制御部21と、入力部22と、表示部23と、記憶部24とを含む。
図3において、情報処理装置2は、通信部20と、制御部21と、入力部22と、表示部23と、記憶部24とを含む。
通信部20は、少なくとも、画像処理装置1と通信可能な装置である。通信方法については、本発明において限定されるものではなく、如何なる通信方法であってもよい。
制御部21は、情報処理装置2の全体の動作を制御する。
記憶部24は、メモリやSSD、HDD等の記録媒体である。記憶部24には、検査プログラムと、MCIの可能性の判定基準と、各個人のデータとが記憶されている。記憶部24には、前回結果データなど過去のデータが記憶されていてもよい。
入力部22は、情報処理装置2を操作するための装置である。
表示部23は、液晶画面等である。
記憶部24は、メモリやSSD、HDD等の記録媒体である。記憶部24には、検査プログラムと、MCIの可能性の判定基準と、各個人のデータとが記憶されている。記憶部24には、前回結果データなど過去のデータが記憶されていてもよい。
入力部22は、情報処理装置2を操作するための装置である。
表示部23は、液晶画面等である。
情報処理装置2は、画像処理装置1から送信されてくる検査後の個人データに基づいて、MCIの可能性を判定して、結果を出力する。
(MCIスクリーニングシステム3の全体動作)
図4を参照しながら、MCIスクリーニングシステム3の全体動作について説明する。情報処理装置2は、まず、ユーザに検査アプリを指定させ(S201)、ユーザからの検査開始指示を受け付ける(S202)。検査開始時指示があったら、情報処理装置2は、画像処理装置1に対して、当該検査アプリの実行を指示する。
図4を参照しながら、MCIスクリーニングシステム3の全体動作について説明する。情報処理装置2は、まず、ユーザに検査アプリを指定させ(S201)、ユーザからの検査開始指示を受け付ける(S202)。検査開始時指示があったら、情報処理装置2は、画像処理装置1に対して、当該検査アプリの実行を指示する。
画像処理装置1のアプリ実行プログラムは、指定のあった検査アプリを読み込んで、検査アプリを開始する(S101)。検査アプリの実行中、画像処理装置1は、検査結果(検査に要した時間や正解数、不正解数など)を保存していく(S102)。
検査アプリが終了すると(S103)、画像処理装置1は、検査結果を、被験者を特定する情報に対応付けて、個人データとして、情報処理装置2に送信する。
なお、被験者を特定するための情報は、別途、図示していない処理で、最初に設定しているものとする。
なお、被験者を特定するか否かは必須ではなく、情報処理装置2側で、データを受信してから、被験者と対応付けるようにしてもよい。
なお、被験者を特定する情報は、個人を特定する形式である必要はないことは言うまでもない。
なお、被験者を特定するための情報は、別途、図示していない処理で、最初に設定しているものとする。
なお、被験者を特定するか否かは必須ではなく、情報処理装置2側で、データを受信してから、被験者と対応付けるようにしてもよい。
なお、被験者を特定する情報は、個人を特定する形式である必要はないことは言うまでもない。
情報処理装置2は、送信されてきた個人データを受信し(S203)、MCIの可能性判定基準に基づいて、検査結果を判定して(S204)、検査結果を表示及び保存する(S205)。
なお、本発明では、画像処理装置1がMCIの可能性を判定することが可能であることも含まれている。その場合は、図4に示した検査アプリの指定は、画像処理装置1で行われ、個人データの送受信を行わずに、画像処理装置1が検査結果を判定するようにする。
(画像処理装置1での検査アプリの実行処理)
次に、図5を参照しながら、画像処理装置1での検査アプリの実行処理について説明する。
次に、図5を参照しながら、画像処理装置1での検査アプリの実行処理について説明する。
前提として、画像処理装置1の制御部11は、アプリ実行プログラムを読み込んで、実行しており、情報処理装置2から指示されたアプリを指示されたアプリ設定条件で、実行するものとする。アプリ設定条件とは、たとえば、抹消対象となるオブジェクトの数や種類、オブジェクトを表示する範囲(左右や上下の角度など)などである。また、前提として、図5に示す動作は、MRの場合を想定しているが、適宜、VR及びARの場合の動作について、説明を加えていく。
MRの場合、空間認識部16は、内蔵されているカメラを用いて、周囲の3次元空間を認識して、3次元データ化する(S110)。次に、トラッキング部15は、画像処理装置1の位置や傾きを認識する(S111)。
制御部11は、S110及びS111の処理によって、画像処理装置1の3次元空間上の位置を把握して、3次元空間のどの位置に、画像処理装置1が存在しているかを認識する。なお、空間認識のための処理や、トラッキングのための処理については、画像処理装置1のOSが行う場合も、本発明に含まれる。また、空間認識処理については、内蔵されているカメラによる画像認識に限らず、深度カメラや、赤外線センサ、レーザ照射など、その他の各種センサや検出器などを用いて行われる場合も、本発明に含まれる。
VRの場合は、制御部11は、S110で仮想空間の3次元データを生成し、S111で画像処理装置1の位置や傾きを認識して、仮想空間上に画像処理装置1がどこに位置しているかを認識する。
ARの場合は、制御部11は、S110及びS111で、周辺の画像を撮影し、問題を合成する領域を決定する。
次に、制御部11は、指定された検査アプリで使用する問題を生成する(S112)。
ここで、問題生成処理について、詳しく説明する。アプリ設定条件に基づいて、制御部11は、問題を生成する。
MCIのスクリーニングのための検査であるので、問題の難易度は、一定のものとなるようにして、制御部11は、問題を生成する。
たとえば、数字抹消アプリを実行する際に、情報処理装置2から、抹消対象の数字の数が1~20であると指定されたときに、たとえば、1~20を一列に並べるようにして難易度を下げるようにして問題を生成してはならない。
また、配置角度が180度であると指定されている場合に、片側に数字を偏って配置してはならない。
したがって、問題は、予め決められた基準(ランダムとする基準も含む)に従って、生成される必要がある。
その他、オブジェクトの色や大きさなどのアプリ設定条件に従って、問題が生成される。
MCIのスクリーニングのための検査であるので、問題の難易度は、一定のものとなるようにして、制御部11は、問題を生成する。
たとえば、数字抹消アプリを実行する際に、情報処理装置2から、抹消対象の数字の数が1~20であると指定されたときに、たとえば、1~20を一列に並べるようにして難易度を下げるようにして問題を生成してはならない。
また、配置角度が180度であると指定されている場合に、片側に数字を偏って配置してはならない。
したがって、問題は、予め決められた基準(ランダムとする基準も含む)に従って、生成される必要がある。
その他、オブジェクトの色や大きさなどのアプリ設定条件に従って、問題が生成される。
制御部11は、生成した問題の仮想空間上のオブジェクトを、仮想空間の3次元データ上に配置する(S113)。その後、検査アプリの実行が進んでいくこととなるが、検査アプリの実行(S115)と平行して、画像処理部13による描画処理が行われる(S114)。
図6は、画像処理部13における画像の描画処理のフローチャートである。画像の描画処理は、高速かつ大量の計算を必要とするため、ここでは、制御部11とは別の画像処理部13によって、処理が実行されているとしているが、当然、制御部11の性能によっては、制御部11が実行してもよいことは言うまでもない。
画像処理部13は、トラッキング部15からの情報に基づいて、画像処理装置1の3次元データ上での位置及び傾きを検出する(S120)。次に、視線検出部14からの情報に基づいて、3次元データ上での視線の向きを検出する(S121)。次に、画像処理部13は、画像処理装置1の現在位置及び傾き並びに視線や顔、頭などの向きに応じて、仮想空間の対象物を3次元データ上に配置し(S122)、表示部18に表示させる画像を決定して、当該画像を表示させる(S123)。このような処理がフレーム毎に実施されることで、画像処理装置1の動きに合わせて、現実空間上に、仮想の画像が存在するかのような表示を表示部18に表示させることが可能となる。
VRの場合は、画像処理部13は、表示部18に仮想空間の画像上に、対象物を配置した画像を表示させる点を除いては、上記MRの場合と同様である。
ARの場合は、画像処理装置1の撮像している現実空間の画像を認識して、画像処理部13は、仮想空間の対象物を合成する。
図7は、図5の検査実行処理での動作を示すフローチャートである。制御部11は、S113で配置された問題について、被験者に対して、文字や音声などで、課題を提示する(S130)。
ここで、図8ないし図15を参照しながら、各検査アプリについて説明する。
図9に示すように、数字抹消アプリを実行すると、S113において、指定された個数の数字が、空間上に配置される。
図9に示すように、数字抹消アプリを実行すると、S113において、指定された個数の数字が、空間上に配置される。
図9に示す外側の破線が配置される空間上の最大領域であり、情報処理装置2から、たとえば、アプリ設定条件として、120度とか、180度などといった指示を受けて、被験者からみて、120度の開き、又は、180度の開きで、数字が配置される。
配置される数字の個数も情報処理装置2からアプリ設定条件として、指定されたものである。図9の例では、1~20の数字が配置されている。
図9の内側の一点鎖線は、被験者が見えている領域である。被験者が顔を動かすと、それに合わせて、見えている範囲も変化することとなる(以下同様)。
図9の内側の一点鎖線は、被験者が見えている領域である。被験者が顔を動かすと、それに合わせて、見えている範囲も変化することとなる(以下同様)。
図9に示したように、「小さい順に選んで下さい。」という指示が表示されている。これが、クリアすべき課題の提示(S130)ということになる。
数字抹消アプリでは、指定された順に、数字を選択して抹消していく。抹消の仕方として、数字に触れるジェスチャー(以下、「タップ」又は「触れる」という。)か、又は、ヘッドトラキングによって、視線が該当する数字を凝視したときに抹消するという方法のいずれかが利用可能である(以下、同様)。
数字抹消アプリでは、指定された順に、数字を選択して抹消していく。抹消の仕方として、数字に触れるジェスチャー(以下、「タップ」又は「触れる」という。)か、又は、ヘッドトラキングによって、視線が該当する数字を凝視したときに抹消するという方法のいずれかが利用可能である(以下、同様)。
もし、間違った数字を選択した場合は、数字は抹消されずに、正しい順番で抹消が行われるまで、継続される。数字抹消アプリの場合、評価基準は、全ての数字を抹消するのに要した時間(所要時間)である。
図10以降についても、同様に、説明する。
図10では、選択抹消アプリを実行したときの例である。
「星を選んで下さい。」という課題に対して、星印を選択して抹消していく。
選択抹消アプリの場合、正しい図柄を選択した場合に加点され、間違った図柄などを選択した場合は、減点とするとよいが、評価方法は種々採用し得る。
図10では、選択抹消アプリを実行したときの例である。
「星を選んで下さい。」という課題に対して、星印を選択して抹消していく。
選択抹消アプリの場合、正しい図柄を選択した場合に加点され、間違った図柄などを選択した場合は、減点とするとよいが、評価方法は種々採用し得る。
図11では、花道アプリを実行したときの例である。
花道アプリでは、仮想の花と当該花を載せている仮想の台が、空間上に配置されて表示される。被験者は、歩きながら、花に近づくと、花も近くに存在するように表示される。そして、被験者の手の届く範囲まで近づいたら、花を消去することができるようになっている。
課題として、たとえば、「黒い花を消して下さい。」という表示がされている。
このとき、選択抹消と同じように、正誤数などで、評価するとよいが、他の方法でもよい。
花道アプリでは、仮想の花と当該花を載せている仮想の台が、空間上に配置されて表示される。被験者は、歩きながら、花に近づくと、花も近くに存在するように表示される。そして、被験者の手の届く範囲まで近づいたら、花を消去することができるようになっている。
課題として、たとえば、「黒い花を消して下さい。」という表示がされている。
このとき、選択抹消と同じように、正誤数などで、評価するとよいが、他の方法でもよい。
図12では、迷路アプリを実行したときの例が示されている。
迷路アプリでは、仮想空間上に、立体迷路が表示されて、ヒントとなる平面上の迷路が表示される。そして、移動途中に、星印に示す箇所にアイテムが存在し、そのアイテムを触って抹消しながら、ゴールを目指す。迷路アプリでは、ゴールに到達した所要時間を評価するとよい。
迷路アプリでは、仮想空間上に、立体迷路が表示されて、ヒントとなる平面上の迷路が表示される。そして、移動途中に、星印に示す箇所にアイテムが存在し、そのアイテムを触って抹消しながら、ゴールを目指す。迷路アプリでは、ゴールに到達した所要時間を評価するとよい。
図13は、マス目アプリを実行したときの例が示されている。マス目アプリでは、たとえば、「西へ3、南へ4、東へ1進んで下さい。」のように、マス目上を移動させる指示が表示される。被験者は、指示に従って、マス目上を移動する。
ゴールに正しく到達した所要時間を評価するか、移動後の位置が正しいかどうかを評価するとよい。
ゴールに正しく到達した所要時間を評価するか、移動後の位置が正しいかどうかを評価するとよい。
図14は、クイズアプリを実行したときの例が示されている。クイズアプリでは、たとえば、「今日は何月ですか。」のような質問が表示されて、回答の選択肢が仮想空間上に表示される。被験者は、表示されている選択肢を選択して抹消する。クイズアプリでは、複数の問題が提示されて、正しく回答できた所要時間や、正誤数などを評価の基準とするとよい。
クイズアプリでは、他に、年月日や曜日を質問したり、住所を質問したりするようなものでもよい。
また、動物や果物の名前、算数の質問、抽象概念についての質問(例えば、バナナ・ミカンであれば、「果物」という概念についての質問)、言語能力についての質問、注意力に関する質問、記憶に関する質問などが行われてもよい。
質問の内容は、MoCaA-J(The MONTREAL COGNITIVE ASSESSMENT)やMMSE(Mini Mental State Examination)などで用いられる質問を参考に決めるなどしてもよい。
また、動物や果物の名前、算数の質問、抽象概念についての質問(例えば、バナナ・ミカンであれば、「果物」という概念についての質問)、言語能力についての質問、注意力に関する質問、記憶に関する質問などが行われてもよい。
質問の内容は、MoCaA-J(The MONTREAL COGNITIVE ASSESSMENT)やMMSE(Mini Mental State Examination)などで用いられる質問を参考に決めるなどしてもよい。
図15は、モノ探しアプリを実行したときの例が示されている。三次元空間上に、ノートパソコンや電話機などのアイテムが表示されており、その下に、たとえば、お札が隠れているとする。「お札を探して下さい。」という課題に対して、被験者は、アイテムを触るジェスチャーを行ってアイテムを持ち上げて、その下にお札があるかを確認する。お札を見つけるのに要した時間を評価対象とするとよい。
その他、あらゆる検査アプリを考えることができ、いずれの検査アプリであっても、本発明に含まれる。
図7の説明に戻る。課題の提示後、被験者によって、課題の対象となるオブジェクト(上記した例では、一番小さい数字や、星印、黒色の花など)が選択されたとする。
被験者による選択は、ヘッドトラッキングかジェスチャーによるタップ(触れる)のいずれかを用いることができるとするが、事前に、どちらの方法で選択するかは、アプリ設定条件で指定されているものとする。
被験者による選択は、ヘッドトラッキングかジェスチャーによるタップ(触れる)のいずれかを用いることができるとするが、事前に、どちらの方法で選択するかは、アプリ設定条件で指定されているものとする。
指定された方法で、被験者がオブジェクトを選択したのを画像処理装置1が検出したとする(S131)。
画像処理装置1は、選択されたオブジェクトが正解であったか、不正解であったかを判断する(S132)。
それぞれの検査アプリに応じて、正解、不正解毎の処理が異なる。
たとえば、数字抹消アプリの場合には、順番を間違った場合、数字を抹消せずに、そのまま残しておいて、間違ったことを示す音声などを流して、正しい数字を選択するように促す処理が行われる。
選択抹消アプリの場合には、間違ったオブジェクトを選んだ場合には、減点処理する。
このようにして、画像処理装置1は、アプリ毎に、予め決められた正解、不正解の処理を実行する(S133)。
それぞれの検査アプリに応じて、正解、不正解毎の処理が異なる。
たとえば、数字抹消アプリの場合には、順番を間違った場合、数字を抹消せずに、そのまま残しておいて、間違ったことを示す音声などを流して、正しい数字を選択するように促す処理が行われる。
選択抹消アプリの場合には、間違ったオブジェクトを選んだ場合には、減点処理する。
このようにして、画像処理装置1は、アプリ毎に、予め決められた正解、不正解の処理を実行する(S133)。
そして、画像処理装置1は、被験者の情報に対応付けて、検査結果(正解数、不正解数など)を記録していく(S134)。
画像処理装置1は、検査が終了する条件に達したか否かを判断する(S135)。数字抹消アプリであれば、全ての数字を抹消したことが終了条件である。選択抹消アプリであれば、指定されたオブジェクトを全て抹消したことが終了条件である。
終了条件に達していない場合は、画像処理装置1は、S131の動作に戻る。終了条件に達した場合は、画像処理装置1は、所用時間や、正解数、不正解数などの検査結果の個人データを、情報処理装置2に送信して(S136)、処理を終了する。
(情報処理装置2での検査判定処理)
次に、図8を参照しながら、情報処理装置2での検査判定処理について説明する。
情報処理装置2は、受信した検査結果の個人データを参照する(S210)。この参照は、リアルタイムである必要はなく、あとで参照されてもよい。
次に、図8を参照しながら、情報処理装置2での検査判定処理について説明する。
情報処理装置2は、受信した検査結果の個人データを参照する(S210)。この参照は、リアルタイムである必要はなく、あとで参照されてもよい。
情報処理装置2は、検査に使った検査アプリに対して、MCIの可能性判定基準を参照する(S211)。
たとえば、数字抹消アプリであれば、全ての数字を抹消するまでに要した所要時間について、ある時間以上必要であった場合には、MCIの可能性があるという判定結果を、情報処理装置2は、出すこととする。
たとえば、数字抹消アプリであれば、全ての数字を抹消するまでに要した所要時間について、ある時間以上必要であった場合には、MCIの可能性があるという判定結果を、情報処理装置2は、出すこととする。
ここで、MCIの可能性判定基準の求め方の例について説明する。
たとえば、検査対象となった被験者に対して、検査アプリを実行してもらい、その評価結果(所要時間や正解率など)を集計する。そして、MoCA-Jなどの他の判断手法を用いて、当該被験者を、MCIである第1グループと、健常者の第2グループとに分ける。
この2グループに対して、ROC曲線(Receiver Operating Characteristic curve)を求める。ROC曲線のAUC(Area Under the Curve)が、ある値以上の場合に、MCIの可能性のある被験者を抽出できる可能性があるものとして予め決めておく。
そして、AUCがある値以上であるときに、ROC曲線のカットオフ値を求める。そのカットオフ値が、使用した検査アプリで検査したときのMCIの可能性のある被験者を抽出するための指標となる。
たとえば、検査対象となった被験者に対して、検査アプリを実行してもらい、その評価結果(所要時間や正解率など)を集計する。そして、MoCA-Jなどの他の判断手法を用いて、当該被験者を、MCIである第1グループと、健常者の第2グループとに分ける。
この2グループに対して、ROC曲線(Receiver Operating Characteristic curve)を求める。ROC曲線のAUC(Area Under the Curve)が、ある値以上の場合に、MCIの可能性のある被験者を抽出できる可能性があるものとして予め決めておく。
そして、AUCがある値以上であるときに、ROC曲線のカットオフ値を求める。そのカットオフ値が、使用した検査アプリで検査したときのMCIの可能性のある被験者を抽出するための指標となる。
この判定基準については、統計学的手法によって、検査アプリ毎及びアプリ設定条件毎に決定されている。
情報処理装置2は、検査対象となる個人データから、MCIの可能性があるか否かを判断して(S212)、判断結果を記録し、表示する(S213)。
(MCIの可能性判定基準の例)
以下、図16ないし図39を参照して、MCIの可能性判定基準の求め方について具体例を示す。
図16ないし図39は、MMSE28点以上の被験者80名の所要時間とMMSE27点以下の被験者29名の所要時間に基づいて作成したROC曲線、そのカットオフ値、及びp値を示す。
図16ないし図39において、「触れる」と記載があるのは、ジェスチャーで、オブジェクトをタップして、選択するという条件の場合を示している。
同様に、「ヘッドトラキング」と記載があるのは、視線を選択対象のオブジェクトに向けて、凝視することで、選択するという条件の場合を示している。
以下、図16ないし図39を参照して、MCIの可能性判定基準の求め方について具体例を示す。
図16ないし図39は、MMSE28点以上の被験者80名の所要時間とMMSE27点以下の被験者29名の所要時間に基づいて作成したROC曲線、そのカットオフ値、及びp値を示す。
図16ないし図39において、「触れる」と記載があるのは、ジェスチャーで、オブジェクトをタップして、選択するという条件の場合を示している。
同様に、「ヘッドトラキング」と記載があるのは、視線を選択対象のオブジェクトに向けて、凝視することで、選択するという条件の場合を示している。
数字抹消アプリで、120度、180度とあるのは、数字が配置されている最大角度を意味しており、アプリ設定条件で指定された条件である。
花道アプリで、2種、3種とあるのは、表示される花のうち、選択対象とする花の種類である。全部で花の種類が4種類である場合、2種の花を選択する場合は、残りの2種類は、選択してはいけない花となり、3種の花を選択する場合は、残りの1種類は、選択してはいけない花となる。
図16ないし図39で求められたカットオフ値を図40に、表でまとめる。アプリ設定条件毎に求められたカットオフ値が、MCIの可能性判定基準となる。
ただし、カットオフ値をそのまま当該判定基準とすることに、本発明は、限定されない。
後述のように、カットオフ値に対して、余裕値を設けた値を判定基準としてもよい。
また、後述のように、カットオフ値を中心にして、MCIである可能性をパーセンテージで示したり、危険度で示したりしてもよい。
すなわち、判定基準は、カットオフ値に基づいて決められていればよい。
ただし、カットオフ値をそのまま当該判定基準とすることに、本発明は、限定されない。
後述のように、カットオフ値に対して、余裕値を設けた値を判定基準としてもよい。
また、後述のように、カットオフ値を中心にして、MCIである可能性をパーセンテージで示したり、危険度で示したりしてもよい。
すなわち、判定基準は、カットオフ値に基づいて決められていればよい。
たとえば、カットオフ値をそのまま判定基準に用いるのであれば、図40に示す条件下で、検査アプリを実行した場合に、カットオフ値よりも所要時間が大きくなった場合、当該被験者は、MCIの可能性があると、情報処理装置2は、判定することとなる。このとき、図40に示すような表が、MCIの可能性判定基準となる。
図16ないし図38に示した実施例によれば、AUCの値が0.7を超えているのが、触れて抹消する数字抹消アプリを2回目実施したときの所要時間、及び、触れて抹消する花道アプリの3種を2回目実施したときの所要時間を、スクリーニングの判定基準にした場合である。なお、ROC曲線を用いた統計的手法において、AUCが0.7以上の場合には、Moderate accuracyであるとして、そのときのカットオフ値を用いたら、適度な精度な検査結果が得られるとされている。
したがって、最も好ましスクリーニングは、触れて抹消する数字抹消アプリ(アプリ設定条件:配置数20個かつ配置角度180度)を2回目実施したときの所要時間、及び、触れて抹消する花道アプリの3種を2回目実施したときの所要時間ということになる。
しかし、他の実施例について、AUCの値から、信頼性が全くないとも断言できない。また、スクリーニングという観点からすれば、広くMCIの可能性のある被験者をすくい上げて、医師による診断につなげた方が、良い場合もある。
したがって、本発明では、AUCが0.7以上の場合のカットオフ値のみに、MCIの可能性判定基準を限定するものではない。
したがって、本発明では、AUCが0.7以上の場合のカットオフ値のみに、MCIの可能性判定基準を限定するものではない。
どの程度のAUCの値が得られた場合のカットオフ値を、MCIの可能性判定基準とするかは、適宜、医師等の専門家が決定することとする。
なお、検査アプリを2回目に実行したときの検査結果を判定に用いることが、スクリーニングの成果としては好ましい可能性がある。
それは、1回目は、検査アプリに不慣れであるために、検査結果が良好でなかったとしても、2回目に、1回目で学習した内容を習得して、検査結果に反映させる能力がある場合、MCIである可能性が低いと考えられるからである。
逆に、1回目の検査結果と2回目の検査結果とに差が無く、2回目においても、検査結果が悪かった場合には、MCIである可能性があるかもしれない。
それは、1回目は、検査アプリに不慣れであるために、検査結果が良好でなかったとしても、2回目に、1回目で学習した内容を習得して、検査結果に反映させる能力がある場合、MCIである可能性が低いと考えられるからである。
逆に、1回目の検査結果と2回目の検査結果とに差が無く、2回目においても、検査結果が悪かった場合には、MCIである可能性があるかもしれない。
1回目の検査結果と2回目の検査結果を平均した図18、図21、図24、図27、図30、及び図33は、1回目及び2回目を均等に割った平均値としている。しかし、上記したように、学習能力の有無を反映させるのであれば、2回目の検査結果に重みを付けた加重平均を用いて、検査結果を評価してもよい。
したがって、2回目の検査結果に基づいて、MCIの可能性を判定してもよいし、2回目の検査結果に重み付けをした加重平均で、MCIの可能性を判定してもよい。すなわち、2回目に実施した検査結果を踏まえた上で、MCIの可能性が判定されるとよい。
なお、言うまでもないが、本発明では、1回目の検査結果でMCIの可能性を判定してもよい。
なお、言うまでもないが、本発明では、1回目の検査結果でMCIの可能性を判定してもよい。
本件発明では、スクリーニングの判定基準の求め方として、健常者とMCIの者とに対して、同一のアプリ設定条件下で、検査アプリを実行し、所要時間や正解率などの評価結果に対して、ROC曲線を求め、カットオフ値を基準に、MCIの可能性判定基準として用いることで、統計学的及び医学的にMCIの可能性のある者をスクリーニングすることが可能となる。
なお、ROC曲線を求めるための統計ソフトによっては、元データが同じであっても、同じカットオフ値が出力されない可能性もある。したがって、スクリーニングの判定基準としては、カットオフ値に対して、予め決められた所定の範囲の余裕度を持たせるようにするとよい。
たとえば、図29の例のように、タップ(触れる)による抹消を用いて、第2条件(配置数20個かつ配置角度180度)で、数字抹消アプリを2回目に実施したときのカットオフ値は、78.99秒となっているが、余裕度として、たとえば、マイナス3%(約2秒)を設けたとして、小数点以下は、四捨五入することとする。
この場合、77秒以上の所要時間を要したということをMCIの可能性判定基準として、77秒以上の者をMCIの可能性があるとして拾い上げるようにしてもよい。この余裕度は、適宜決定すればよいのであって、上記数字は、説明のための例に過ぎない。
この場合、77秒以上の所要時間を要したということをMCIの可能性判定基準として、77秒以上の者をMCIの可能性があるとして拾い上げるようにしてもよい。この余裕度は、適宜決定すればよいのであって、上記数字は、説明のための例に過ぎない。
また、検査結果がMCIの可能性判定基準にどの程度近づいているかを指標として、可能性のパーセンテージや危険度などで、MCIの可能性を表現するようにしてもよい。
たとえば、可能性判定基準を大きく超えている場合は、MCIの可能性のパーセンテージを高くし、可能性判定基準に近い場合は、MCIの可能性のパーセンテージを低くするなどしてもよいし、何段階かの危険度で表しても良い。
また、前回など過去の検査結果からの変化や推移を表すようにして、MCIの可能性を表現するようにしてもよい。
たとえば、可能性判定基準を大きく超えている場合は、MCIの可能性のパーセンテージを高くし、可能性判定基準に近い場合は、MCIの可能性のパーセンテージを低くするなどしてもよいし、何段階かの危険度で表しても良い。
また、前回など過去の検査結果からの変化や推移を表すようにして、MCIの可能性を表現するようにしてもよい。
具体的には、図29の例であれば、所要時間を5秒毎に刻んで、79秒以上84秒未満までの被験者のMCIの可能性を65%とし、84秒以上の被験者のMCIの可能性を90%とし、75秒以上79秒未満の被験者のMCIの可能性を50%とし、75秒未満の被験者のMCIの可能性を30%以下とするようにしてもよいし、それぞれ、A,B,C,Dなどの危険度分けで表現してもよい。
なお、本発明の動作処理を実行可能なプログラムを提供して、各種装置にインストールして使用するようにすることで、本発明を、汎用的な画像処理装置で実行させることが可能となり、本発明の普及が期待できる。
また、本発明の動作処理を実行可能なプログラムを一時保存ではない記録媒体として提供することで、本発明を、汎用的な画像処理装置で実行させることが可能となり、本発明の普及が期待できる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本明細書に開示されている発明の構成要件は、それぞれ独立に単独した発明として成立するものとする。各構成要件をあらゆる組み合わせ方法で組み合わせた発明も、本発明に含まれることとする。
本発明は、MCIの可能性のある者をスクリーニングすることができるシステムであり、産業上利用可能である。
1 画像処理装置
2 情報処理装置
3 MCIスクリーニングシステム
10 通信部
11 制御部
12 記憶部
13 画像処理部
14 視線検出部
15 トラッキング部
16 空間認識部
17 音声出力部
18 表示部
19 入力部
20 通信部
21 制御部
22 入力部
23 表示部
24 記憶部
2 情報処理装置
3 MCIスクリーニングシステム
10 通信部
11 制御部
12 記憶部
13 画像処理部
14 視線検出部
15 トラッキング部
16 空間認識部
17 音声出力部
18 表示部
19 入力部
20 通信部
21 制御部
22 入力部
23 表示部
24 記憶部
Claims (12)
- 軽度認知障害であるか否かのスクリーニングを行うためのシステムであって、
仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行し、前記被験者が前記問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、前記被験者が軽度認知障害の可能性があるか否かを判定することを特徴とする、軽度認知障害のスクリーニングシステム。 - 被験者のグループを、別な判定手法に基づいて軽度認知障害と判断された第1グループと、健常者の第2グループとに分けて、前記第1グループ及び前記第2グループの前記検査結果に基づいて、ROC曲線(Receiver Operating Characteristic curve)を求め、前記ROC曲線から得られるカットオフ値に基づいて、前記判定基準が決められていることを特徴とする、請求項1に記載のスクリーニングシステム。
- 前記ROC曲線のAUC(Area Under the Curve)が予め決められた値以上の場合に、前記カットオフ値に基づいて、前記判定基準が決められていることを特徴とする、請求項2に記載のスクリーニングシステム。
- 前記判定基準は、予め決められた所定の範囲の余裕度を持たせることを特徴とする、請求項2に記載のスクリーニングシステム。
- 前記被験者が軽度認知障害の可能性があるか否かは、可能性を示すパーセンテージ又は段階的な危険度で表現されていることを特徴とする、請求項2に記載のスクリーニングシステム。
- 前記検査アプリを2回目に実行したときの検査結果を踏まえて、前記被験者が軽度認知障害の可能性があるか否かを判定することを特徴とする、請求項2に記載の軽度認知障害のスクリーニングシステム。
- 前記検査アプリは、数字を順番に選択していく問題を提示するアプリ、又は、仮想空間上に配置されたオブジェクトを移動しながら選択していく問題を提示するアプリであることを特徴とする、請求項6に記載のスクリーニングシステム。
- 前記検査アプリは、数字を順番に選択していく問題を提示するアプリ、選択対象のオブジェクトを選択していく問題を提示するアプリ、仮想空間上に配置されたオブジェクトを移動しながら選択していく問題を提示するアプリ、仮想空間上の迷路を移動しながら進んで行く問題を提示するアプリ、仮想空間上のマス目を指定された通りに移動して行く問題を提示するアプリ、クイズを出題して仮想空間上のオブジェクトを選択してく問題を提示するアプリ、又は、仮想空間上のオブジェクトに隠されたオブジェクトを探す問題を提示するアプリのいずれかであることを特徴とする、請求項2に記載のスクリーニングシステム。
- 前記検査アプリを実行するための画像処理装置と、
軽度認知障害の可能性を判定するための情報処理装置とを備えることを特徴とする、請求項2に記載のスクリーニングシステム。 - 前記画像処理装置は、ヘッドマウントディスプレイ、スマートグラス、又は、ゴーグルに装着されたスマートフォンであることを特徴とする、請求項9に記載のスクリーニングシステム。
- 前記検査アプリを実行するための画像処理装置を備え、
前記画像処理装置によって、軽度認知障害の可能性が判定されることを特徴とする、請求項2に記載のスクリーニングシステム。 - 軽度認知障害であるか否かのスクリーニングを行うためのコンピュータシステムを、
仮想現実、拡張現実、又は複合現実を用いた画像による検査用の問題を被験者に提示するための検査アプリを実行させる手段、及び、
前記被験者が前記問題を解いた結果得られた検査結果を、軽度認知障害の可能性があるか否かを判定するための判定基準と比較することで、前記被験者が軽度認知障害の可能性があるか否かを判定する手段として機能させることを特徴とする、軽度認知障害のスクリーニングのためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/033631 WO2024053032A1 (ja) | 2022-09-08 | 2022-09-08 | 軽度認知障害のスクリーニングシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/033631 WO2024053032A1 (ja) | 2022-09-08 | 2022-09-08 | 軽度認知障害のスクリーニングシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024053032A1 true WO2024053032A1 (ja) | 2024-03-14 |
Family
ID=90192510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/033631 WO2024053032A1 (ja) | 2022-09-08 | 2022-09-08 | 軽度認知障害のスクリーニングシステム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024053032A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019185036A (ja) * | 2018-03-30 | 2019-10-24 | 国立大学法人鳥取大学 | 数的基礎力の検査装置及び検査方法 |
JP2021157386A (ja) * | 2020-03-26 | 2021-10-07 | Mig株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
-
2022
- 2022-09-08 WO PCT/JP2022/033631 patent/WO2024053032A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019185036A (ja) * | 2018-03-30 | 2019-10-24 | 国立大学法人鳥取大学 | 数的基礎力の検査装置及び検査方法 |
JP2021157386A (ja) * | 2020-03-26 | 2021-10-07 | Mig株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Non-Patent Citations (1)
Title |
---|
HOWETT DAVID, CASTEGNARO ANDREA, KRZYWICKA KATARZYNA, HAGMAN JOHANNA, MARCHMENT DEEPTI, HENSON RICHARD, RIO MIGUEL, KING JOHN A, B: "Differentiation of mild cognitive impairment using an entorhinal cortex-based test of virtual reality navigation", BRAIN, OXFORD UNIVERSITY PRESS, GB, vol. 142, no. 6, 1 June 2019 (2019-06-01), GB , pages 1751 - 1766, XP093147416, ISSN: 0006-8950, DOI: 10.1093/brain/awz116 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11087538B2 (en) | Presentation of augmented reality images at display locations that do not obstruct user's view | |
US20230333377A1 (en) | Display System | |
US9721065B2 (en) | Interactive medical diagnosing with portable consumer devices | |
CN105339868A (zh) | 基于眼睛跟踪的视觉增强 | |
EP2600331A1 (en) | Head-mounted display based education and instruction | |
CN108028957A (zh) | 信息处理装置、信息处理方法和程序 | |
US9696798B2 (en) | Eye gaze direction indicator | |
CN104423575B (zh) | 基于关注的呈现和保真度 | |
US20190026589A1 (en) | Information processing device, information processing method, and program | |
JPWO2015170520A1 (ja) | 情報処理システムおよび情報処理方法 | |
KR102105552B1 (ko) | 사용자의 인지능력 개선을 위한 안마의자 시스템 | |
US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
US20230069764A1 (en) | Systems and methods for using natural gaze dynamics to detect input recognition errors | |
US20240020371A1 (en) | Devices, methods, and graphical user interfaces for user authentication and device management | |
US20160029938A1 (en) | Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium | |
US20200143774A1 (en) | Information processing device, information processing method, and computer program | |
KR20200092659A (ko) | 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법 | |
US20240061547A1 (en) | Devices, Methods, and Graphical User Interfaces for Improving Accessibility of Interactions with Three-Dimensional Environments | |
WO2024053032A1 (ja) | 軽度認知障害のスクリーニングシステム | |
US20230034773A1 (en) | Electronic headset for test or exam administration | |
CN116916809A (zh) | 使用头戴式设备进行眼科成像 | |
JP2021192802A (ja) | 高次脳機能検査用の三次元表示装置 | |
KR20190076722A (ko) | 모바일 기기를 이용한 vr/ar 기반 다중지능 검사방법 및 다중지능 검사시스템 | |
US20240152244A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
US20240104861A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22958111 Country of ref document: EP Kind code of ref document: A1 |