WO2022130609A1 - 認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム - Google Patents
認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム Download PDFInfo
- Publication number
- WO2022130609A1 WO2022130609A1 PCT/JP2020/047383 JP2020047383W WO2022130609A1 WO 2022130609 A1 WO2022130609 A1 WO 2022130609A1 JP 2020047383 W JP2020047383 W JP 2020047383W WO 2022130609 A1 WO2022130609 A1 WO 2022130609A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- black eye
- gaze
- screen
- position information
- unit
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 27
- 208000010877 cognitive disease Diseases 0.000 title description 3
- 206010061296 Motor dysfunction Diseases 0.000 title 2
- 230000001149 cognitive effect Effects 0.000 title 2
- 230000005856 abnormality Effects 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000000926 separation method Methods 0.000 claims abstract description 10
- 235000002673 Dioscorea communis Nutrition 0.000 claims description 82
- 241000544230 Dioscorea communis Species 0.000 claims description 82
- 208000035753 Periorbital contusion Diseases 0.000 claims description 82
- 210000005252 bulbus oculi Anatomy 0.000 claims description 24
- 230000003920 cognitive function Effects 0.000 claims description 23
- 230000007659 motor function Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 3
- 210000001747 pupil Anatomy 0.000 abstract 1
- 206010012289 Dementia Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 208000004350 Strabismus Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000834 fixative Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 235000019557 luminance Nutrition 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Definitions
- Dementia refers to a state in which daily life cannot be carried out normally due to impaired cognitive functions such as orientation, memory, attention, and verbal ability. As the symptoms of dementia progress, it becomes difficult to recover cognitive function, so it is important to detect and treat dementia at an early stage.
- Patent Document 1 a system for diagnosing dementia by detecting the movement of the subject's line of sight has been proposed for the purpose of enabling early determination of signs of dementia (see, for example, Patent Document 1).
- the diagnostic support system described in Patent Document 1 measures the movement of the line of sight of a subject performing a mental rotation task, and based on the measured movement of the line of sight of the subject, a fixed viewpoint (the line of sight of the subject stays for a certain period of time). It is determined whether or not the subject has mild cognitive dysfunction based on the distribution of the detected fixed viewpoints).
- Patent Document 2 As a method of detecting the movement of the line of sight, a method using machine learning is known (see, for example, Patent Document 2).
- a partial image including eyes is extracted from an image obtained by photographing the faces of one or a plurality of people under various conditions, and the line-of-sight direction of the person is set in the extracted partial image.
- Machine learning for estimating the line-of-sight direction is performed using a large number of training data created by associating. Then, by extracting the partial image including the eyes from the image including the face of the person to be estimated and inputting the partial image into the trained learning device, the line-of-sight information indicating the line-of-sight direction of the person is acquired from the learning device. ..
- the present invention has been made to solve such a problem, and an object thereof is to be able to determine whether or not there is a sign of a disorder in cognitive function, eye movement function, and the like.
- the position of the black eye portion is detected from the time-series facial image obtained by photographing the face of the person who is looking at the gaze object displayed on the screen.
- Obtain time-series black eye position information is separated into training data and test data, and machine learning is performed using the display position information on the screen of the object to be watched as the target variable and the black eye position information as training data as the explanatory variable.
- a prediction model for predicting the gaze position on the screen from the black eye position is generated.
- the gaze position information on the screen is acquired as the prediction result. Then, the accuracy of the prediction by the prediction model is verified based on the prediction result, and the line-of-sight abnormality of the person who is looking at the gaze object is evaluated based on the verification result.
- the black eye position information indicating the position of the black eye portion when looking at a moving gaze object is used as training data for machine learning, a healthy person with no gaze abnormality.
- this is utilized to evaluate the gaze abnormality of a person who is looking at an object of gaze based on the accuracy of prediction by a prediction model verified using test data. This makes it possible to determine from the evaluation results whether or not there are signs of impairment in cognitive function, eye movement function, and the like.
- FIG. 1 It is a figure which shows the structural example of the cognitive / motor function abnormality evaluation system by this embodiment. It is a figure which shows the functional composition example of the terminal apparatus and the server apparatus by this embodiment. It is a figure which shows an example of the movement of the gaze object shown on the display. It is a figure which shows the example of a plurality of feature points extracted from a face image. It is a figure which shows the result of estimating the position of an eyeball and the position of a black eye part, and an example of each coordinate information. It is a figure which shows the result of estimating the position of a face, and the example of the coordinate information. It is a figure which shows the eyeball deviation by a squint.
- the terminal device 100 is a mobile terminal such as a smartphone or a tablet.
- a display 101 with a touch panel is arranged on the front surface of the housing, and an in-camera 102 is arranged above the display 101.
- the in-camera 102 is a sub-camera provided separately from the main camera arranged on the back surface of the housing, and is also referred to as a front camera. It is not essential that the terminal device 100 is a mobile terminal, and it may be a stationary terminal such as a personal computer.
- the terminal device 100 captures the face of a person who is looking at the gaze object displayed on the screen of the display 101 with the in-camera 102, and transmits the captured image to the server device 200.
- the server device 200 functions as a line-of-sight abnormality evaluation device, and executes a process of evaluating a user's line-of-sight abnormality using a photographed image including a user's face sent from the terminal device 100.
- the cognitive / motor function abnormality evaluation system of the present embodiment can be configured only with the terminal device 100'.
- the terminal device 100' functions as a line-of-sight abnormality evaluation device. That is, the terminal device 100'executes a process of evaluating the user's line-of-sight abnormality using the photographed image of the user's face captured by the in-camera 102.
- the cognitive / motor function abnormality evaluation system of the present embodiment will be described as being configured as shown in FIG. 1 (a).
- FIG. 2 is a diagram showing a functional configuration example of the terminal device 100 and the server device 200 (line-of-sight abnormality evaluation device) according to the present embodiment.
- the terminal device 100 of the present embodiment includes an object display unit 11, a photographing processing unit 12, and a captured image transmitting unit 13 as functional configurations.
- the server device 200 of the present embodiment includes a face image acquisition unit 21, a black eye position detection unit 22, a data separation unit 23, a prediction model generation unit 24, a gaze position prediction unit 25, and an abnormality evaluation unit 26 as functional configurations.
- the server device 200 of the present embodiment includes a face image storage unit 27, a prediction model storage unit 28, and a display position storage unit 29 as storage media.
- Each functional block 11 to 13 of the terminal device 100 and each functional block 21 to 26 of the server device 200 can be configured by any of hardware, DSP (Digital Signal Processor), and software, respectively.
- DSP Digital Signal Processor
- each of the above functional blocks 11 to 13, 21 to 26 is actually configured to include a computer CPU, RAM, ROM, etc., and may be stored in a storage medium such as RAM, ROM, hard disk, or semiconductor memory. It is realized by operating the memorized cognitive / motor function abnormality evaluation program.
- FIG. 3 is a diagram showing an example of the movement of the gaze object displayed on the display 101 by the object display unit 11.
- the gaze object 31 is a round mark, and after starting to move from the upper right edge of the screen as shown in FIG. 3 (a), FIG. 3 (b) ⁇ (c) ⁇ Move on the screen in the order of (d) and return to the original start position. By repeating this movement a plurality of times, the gaze object 31 is displayed on the screen so as to move continuously for a certain period of time, for example, about 100 seconds.
- the shape of the gaze object 31 shown in FIG. 3 is only an example, and is not limited to a circular shape.
- the movement of the gaze object 31 shown in FIG. 3 is only an example, and the present invention is not limited to this. For example, it is not limited to the example of repeating a lap movement such as returning to the original start position. Further, the movement is not limited to regular movement, and may be irregular movement.
- the gaze object 31 may be displayed in order at a plurality of positions on the screen instead of the movement such that the gaze object 31 moves continuously.
- the movement (display position) of the gaze object 31 is used when evaluating the user's line-of-sight abnormality as described later. Therefore, when the object display unit 11 displays the gaze object 31 so as to move randomly, it is necessary to record the display position information indicating the series of movements and transmit this display position information to the server device 200 as well. be.
- the object display unit 11 can display the image of the gaze object 31 generated inside the terminal device 100 on the display 101.
- the object display unit 11 is generated by the server device 200 and transmitted to the terminal device 100 based on the display position information of the gaze object 31 stored in the display position storage unit 29 of the server device 200.
- the image of the object 31 may be displayed.
- the user of the terminal device 100 tracks the gaze object 31 so as to constantly gaze while the gaze object 31 is displayed to move on the screen as shown in FIG.
- the shooting processing unit 12 operates the in-camera 102 for a certain period of time to perform shooting.
- In front of the in-camera 102 there is a user who is looking at the gaze object 31 displayed so as to move on the screen.
- an image (face image) including the user's face is taken by the in-camera 102 for a certain period of time.
- the captured image transmitting unit 13 inserts the face of a person who is looking at the captured image taken by the photographing processing unit 12 for a certain period of time (that is, the gaze object 31 displayed so as to move on the screen of the display 101 for a certain period of time).
- a time-series facial image obtained by taking a picture with the camera 102) is transmitted to the server device 200.
- the object display unit 11 displays the gaze object 31 so as to move randomly on the screen
- the display position information indicating the series of movements is also transmitted to the server device 200.
- the face image acquisition unit 21 of the server device 200 acquires a photographed image (a time-series face image of a person who is looking at the gaze object 31) transmitted by the photographed image transmission unit 13 for a certain period of time, and is a face image storage unit. Make it memorize in 27.
- the black eye position detection unit 22 detects the position of the black eye portion from the time-series face image acquired by the face image acquisition unit 21 and obtains the time-series black eye position information. For example, the black eye position detection unit 22 obtains time-series black eye position information by detecting the position of the black eye portion for each frame in the time-series face image obtained by shooting for about 100 seconds.
- the black eye position detection unit 22 extracts a plurality of feature points from the face image acquired by the face image acquisition unit 21, and estimates the position of the eyeball and the position of the black eye portion in the eyeball from the plurality of feature points. do. Then, the coordinate information of the position of the eyeball and the coordinate information of the position of the black eye portion in the coordinate system of the captured image are obtained as the black eye position information.
- the coordinate system of the captured image may be an xy coordinate system having the x-axis and the y-axis with the center position of the captured image as the origin, or the u-axis with the position of the upper left end of the captured image as the origin. It may be a uv coordinate system with a v-axis.
- FIG. 4 is a diagram showing an example of a plurality of feature points extracted from a face image.
- the background is omitted for the sake of explanation, and only people are shown.
- a plurality of feature points are indicated by round dots.
- FIG. 4 is not a faithful reproduction and drawing of all the feature points actually detected, but is shown in a simplified manner for the sake of explanation.
- the black eye position detection unit 22 recognizes a face portion by performing image recognition processing on the captured image, and extracts a plurality of feature points from the recognized face portion. Feature points are extracted, for example, at boundaries where colors and luminances change on the image.
- FIG. 5 is a diagram showing an example of the result of estimating the position of the eyeball and the position of the black eye portion and the coordinate information of each.
- the black eye position detecting unit 22 forms a spherical eyeball in a circular region 51 formed based on a plurality of feature points extracted in a substantially circular shape around the eye. I presume. Further, the black eye position detecting unit 22 estimates that a plurality of feature points extracted in an arc shape as color boundaries in the eye correspond to a part of the outline of the circular black eye portion (iris portion), and left and right.
- the circular region 52 including the arc of is estimated as the position of the black eye portion.
- the black eye position detection unit 22 acquires the coordinates of the center position 51a of the circular region 51 estimated as the position of the eyeball as the coordinate information of the position of the eyeball as described above. Further, the black eye position detecting unit 22 has a positional relationship of 90 degrees with each other on the circular edge of the region 52 with the coordinates of the center position 52a of the circular region 52 estimated as the position of the black eye portion as described above 4. The coordinates of the points 52b to 52e are acquired as the coordinate information of the position of the black eye portion. The coordinate information of the position of the eyeball and the coordinate information of the position of the black eye portion are acquired for both the left and right eye portions. By acquiring the coordinate information of the position of the eyeball and the coordinate information of the position of the black eye portion, it is possible to recognize in which direction the black eye portion is relatively facing in the eyeball.
- the black eye position detection unit 22 estimates the position of the face based on a plurality of feature points extracted from the face image acquired by the face image acquisition unit 21, and the coordinate information of the eyeball position and the black eye portion described above.
- the coordinate information of the position of the face and the coordinate information of the position of the face may be acquired as the black eye position information.
- FIG. 6 is a diagram showing an example of the result of estimating the position of the face and its coordinate information.
- the black eye position detecting unit 22 estimates, for example, a rectangular region 61 consisting of a portion below the eyebrows and above the chin in the vertical direction and a portion inside the left and right ears in the left-right direction as the position of the face. do. Further, the black eye position detection unit 22 acquires the coordinates of the center position 61a of the rectangular region 61 estimated as the face position as the coordinate information of the face position as described above.
- the terminal device 100 When the user gazes at the gaze object 31, the terminal device 100 is fixedly installed somewhere and announcing to the user that the face should not be moved as much as possible at the time of shooting, but in reality, the face Movement may occur. Further, in addition to the case where only the eyeball is moved to see the gaze object 31 without moving the face, the face may be moved while staring at the same place. Therefore, in addition to the coordinate information of the position of the eyeball and the coordinate information of the position of the black eye portion, it is preferable to acquire the coordinate information of the position of the face. By doing so, when the gaze object 31 is viewed from which direction relative to the terminal device 100, it is possible to recognize which direction the black eye portion is relatively facing in the eyeball. Is possible.
- the black eye position detection unit 22 may acquire the three-dimensional coordinate information including the information in the depth direction that changes according to the distance from the in-camera 102 to the object as the coordinate information described above.
- the angle of the line of sight varies depending on the distance from the terminal device 100 on which the gaze object 31 is displayed to the user. When the user is gazing at the gaze object 31, the distance from the terminal device 100 may change while fixing the same place. Therefore, it is preferable to acquire three-dimensional coordinate information including depth information.
- the data separation unit 23 separates the time-series black eye position information detected by the black eye position detection unit 22 into training data and test data.
- the data separation unit 23 has the black eye position information acquired from the first half 4/5 of the time-series black eye position information acquired for each frame from the face image obtained by shooting for about 100 seconds. Is used as training data, and the black eye position information acquired from the latter 1/5 frame group is used as test data.
- the prediction model generation unit 24 uses the display position information on the screen of the gaze object 31 stored in the display position storage unit 29 as a target variable, and the black eye position information as training data by the data separation unit 23 as an explanatory variable. By performing machine learning, a prediction model for predicting the gaze position on the screen from the black eye position is generated. In this prediction model, when the black eye position information (coordinate information indicating the position of the face, the position of the eyeball, and the position of the black eye portion in the coordinate system of the captured image) is input, the gaze position information (screen coordinate system) on the screen is input. This is a model in which the coordinate information indicating the user's gaze position) is output.
- the prediction model generation unit 24 inputs the black eye position information by performing machine learning using the display position information on the screen of the gaze object 31 as the target variable and the black eye position information as training data as the explanatory variable. At that time, various parameters of the prediction model are adjusted so that the display position information of the gaze object 31 as the correct answer can be easily output. Then, the prediction model generation unit 24 stores the generated prediction model in the prediction model storage unit 28.
- the display position information on the screen of the gaze object 31 used as the target variable at this time is a group of 4/5 frames as training data among the display position information of all frames showing a series of movements of the gaze object 31. It is the display position information of the first half 4/5 corresponding to.
- the gaze object 31 makes a predetermined movement as shown in FIG. 3, and the display position information of the gaze object 31 on the screen (indicating the display position of the gaze object 31 in the screen coordinate system). (Coordinate information) is stored in advance in the display position storage unit 29.
- display position information indicating the series of movements is transmitted to the server device 200 to display the display position storage unit. It is stored in 29.
- the form of the prediction model generated by the prediction model generation unit 24 can be, for example, any of a neural network model, a regression model, a tree model, a Bayes model, a clustering model, and the like.
- the form of the prediction model given here is only an example, and is not limited to this.
- the gaze position prediction unit 25 predicts by inputting the black eye position information as test data by the data separation unit 23 to the prediction model generated by the prediction model generation unit 24 and stored in the prediction model storage unit 28.
- the gaze position information on the screen output from the model is acquired as the prediction result.
- the abnormality evaluation unit 26 includes gaze position information on the screen acquired (predicted) by the gaze position prediction unit 25 and display position information on the screen of the gaze object 31 stored in the display position storage unit 29. Based on the above, the accuracy of prediction by the prediction model is verified, and based on the verification result, the line-of-sight abnormality of the person who is looking at the gaze object 31 is evaluated.
- the display position information on the screen of the gaze object 31 used at this time corresponds to 1/5 of the frame group used as the test data among the display position information of all the frames showing the series of movements of the gaze object 31. It is the display position information of the latter half 1/5.
- Verification of the accuracy of prediction by the prediction model represents, for example, the magnitude of the difference between the gaze position information on the screen output from the prediction model and the display position information on the screen of the gaze object 31, which is the correct answer. This is done by calculating the index value.
- an index value in this case, it is possible to use a mean absolute error, a root mean square error, a coefficient of determination, a mean difference, or the like.
- the abnormality evaluation unit 26 evaluates the line-of-sight abnormality of the person who is looking at the gaze object 31 based on the calculated index value. For example, when the index value is equal to or higher than the threshold value, it can be determined that there is a line-of-sight abnormality, and when it is less than the threshold value, it can be determined that there is no line-of-sight abnormality. Two or more different threshold values may be set to determine the degree of line-of-sight abnormality.
- the predictive model generated by the predictive model generation unit 24 is between a predictive model generated from training data of a healthy person without gaze abnormality and a predictive model generated from training data of an unhealthy person with gaze abnormality. There is a difference in the accuracy of prediction.
- the accuracy of prediction When the user gazes at the gaze object 31 moving on the screen, the stability of fixation (a state in which the line of sight is fixed to the gaze object 31) differs between a healthy person and an unhealthy person. Therefore, when the black eye position information when looking at the gaze object 31 is used as the training data for machine learning, the accuracy of the training data also differs between the healthy person and the unhealthy person, and it is generated under the influence of the difference. There is a difference in the accuracy of the predicted model.
- the fixative in the case of a healthy person with no abnormality in the line of sight, the fixative is stable and there is little wobbling of the line of sight, so that the line of sight also stably follows the movement of the gaze object 31.
- the fixative in the case of an unhealthy person with an abnormal line of sight, the fixative is unstable and the line of sight fluctuates a lot, so that the follow-up of the line of sight to the movement of the gaze object 31 becomes unstable. Therefore, when the black eye position information when looking at the moving gaze object 31 is used as the training data for machine learning, the prediction model generated from the training data of the unhealthy person is generated from the training data of the healthy person. The prediction accuracy is worse than the prediction model.
- Gaze abnormalities can occur, for example, in people with impaired cognitive function or in people with eyeball deviations such as the strabismus shown in FIG. Therefore, according to the present embodiment, it is possible to determine whether or not there is a sign of disorder in cognitive function, eye movement function, and the like, or the degree thereof, through the evaluation of the line-of-sight abnormality.
- the terminal device 100 may have the functions of the face image acquisition unit 21 and the black eye position detection unit 22, and the terminal device 100 may transmit the time-series black eye position information to the server device 200.
- the data separation unit 23 may also be provided in the terminal device 100.
- an example of acquiring black eye position information by analyzing a face image taken by the in-camera 102 has been described, but the present invention is not limited to this.
- a glasses-type or stand-alone eye tracking device line-of-sight detection device
- an in-camera 102 such as a smartphone
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
画面上に表示された注視対象物を見ている人を撮影することによって得られる時系列の顔画像から黒目部分の位置を検出する黒目位置検出部２２と、時系列の黒目位置情報をトレーニングデータとテストデータとに分離するデータ分離部２３と、注視対象物の画面上での表示位置情報を目標変数、トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより予測モデルを生成する予測モデル生成部２４と、テストデータとされた黒目位置情報を予測モデルに入力することにより画面上での注視位置を予測する注視位置予測部２５と、その予測結果をもとに予測モデルによる予測の精度を検証し、健常者と非健常者とでトレーニングデータから生成される予測モデルの精度に差が生じることを利用して、予測モデルにより注目位置を予測した結果の精度に基づいて視線異常を評価する異常評価部２６とを備える。
Description
本発明は、認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラムに関し、特に、視線の動きに基づいて視線異常を評価し、これによって認知機能や眼球運動機能の異常を判定可能にするシステムに用いて好適なものである。
近年、人口の高齢化とともに認知症の患者が増加している。認知症とは、見当識、記憶力、注意力、言語的能力などの認知機能に障害を来たすことにより、日常生活が正常に送れない状態になることをいう。認知症の症状が進行すると認知機能の回復が困難になるため、認知症を早期に発見し、治療することが重要である。
従来、認知症の兆候を早期に判定できるようにすることを目的として、被験者の視線の動きを検出して認知症の診断を行うシステムが提案されている（例えば、特許文献１参照）。特許文献１に記載の診断支援システムでは、メンタル・ローテーション課題を遂行している被験者の視線の動きを測定し、当該測定された被験者の視線の動きに基づいて固視点（被験者の視線が一定時間以上動かない状態で見つめ続けた点）を検出し、検出された固視点の分布に基づいて、被験者が軽度認知機能障害であるかどうかを判定する。
なお、視線の動きを検出する方法として、機械学習を利用した方法が知られている（例えば、特許文献２参照）。特許文献２に記載の視線方向推定システムでは、１または複数の人物の顔を様々な条件で撮影して得られる画像から目を含む部分画像を抽出し、抽出した部分画像に人物の視線方向を紐付けることで作成された多数の学習データを用いて、視線方向を推定するための機械学習を行う。そして、推定対象の人物の顔を含む画像から目を含む部分画像を抽出し、学習済みの学習器に部分画像を入力することで、人物の視線方向を示す視線情報を当該学習器から取得する。
上記特許文献１に記載の診断支援システムでは、被験者の視線の動きに基づいて画面上の固視点を検出する処理、検出した固視点が画面上のどの領域（参照画像の領域、正答選択肢画像の領域、誤答選択肢画像の領域、それ以外の空白部分の領域）に該当するのかを検出する処理を行っている。すなわち、被験者の視線方向を画面上の位置にマッピングした上で固視点を検出することが必要である。そのため、診断の精度を上げるためには、視線方向から画面上の固視点へのマッピングの精度を上げることが求められる。
しかしながら、認知症の症状がある人の場合、視線が絶えずふらつくようにさ迷っていて固視点が定まらない可能性がある。また、例えば斜視のような眼球偏位を有する人の場合、その人が意識として見ている点と、眼球の物理的な向きに基づいて検出される注視点とが一致しない可能性がある。このため、特許文献１に記載の方法では、認知機能や眼球運動に障害がない人については認知症の兆候がないことをある程度精度よく判定することは可能であるが、認知機能や眼球運動に障害がある人については、画面上の固視点を特定すること自体が難しく、必ずしも精度よく認知症の兆候を判定することができないという問題があった。
本発明は、このような問題を解決するために成されたものであり、認知機能や眼球運動機能などについて障害の兆候があるか否かを判別できるようにすることを目的とする。
上記した課題を解決するために、本発明では、画面上に表示された注視対象物を見ている人の顔を撮影することによって得られる時系列の顔画像から黒目部分の位置を検出して時系列の黒目位置情報を得る。ここで、時系列の黒目位置情報をトレーニングデータとテストデータとに分離し、注視対象物の画面上での表示位置情報を目標変数、トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する。また、テストデータとされた黒目位置情報を予測モデルに入力することにより、画面上での注視位置情報を予測結果として取得する。そして、その予測結果をもとに予測モデルによる予測の精度を検証し、その検証結果に基づいて、注視対象物を見ている人の視線異常を評価するようにしている。
上記のように構成した本発明によれば、移動する注視対象物を見ているときの黒目部分の位置を表す黒目位置情報を機械学習のトレーニングデータとして用いた場合に、視線異常のない健常者のトレーニングデータから生成される予測モデルと、視線異常がある非健常者のトレーニングデータから生成される予測モデルとの間で予測の精度に差が生じる。本発明では、このことを利用して、テストデータを使って検証される予測モデルによる予測の精度に基づいて、注視対象物を見ている人の視線異常が評価される。これにより、その評価結果から、認知機能や眼球運動機能などについて障害の兆候があるか否かを判別することが可能である。
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による認知・運動機能異常評価システムの構成例を示す図である。本実施形態の認知・運動機能異常評価システムは、例えば図１（ａ）に示すように、ユーザが使用する端末装置１００と、サーバ装置２００とを備えて構成される。端末装置１００とサーバ装置２００との間は、インターネットまたは携帯電話網等の通信ネットワーク５００により接続される。
端末装置１００は、例えばスマートフォンまたはタブレットなどのモバイル端末である。端末装置１００は、筐体の正面にタッチパネル付きのディスプレイ１０１が配置されるとともに、ディスプレイ１０１の上方にインカメラ１０２が配置されている。インカメラ１０２は、筐体の背面に配置されたメインカメラとは別に設けられたサブカメラであり、フロントカメラとも称される。なお、端末装置１００がモバイル端末であることは必須ではなく、例えばパーソナルコンピュータのような据置型の端末であってもよい。
端末装置１００は、ディスプレイ１０１の画面上に表示された注視対象物を見ている人の顔をインカメラ１０２により撮影し、その撮影画像をサーバ装置２００に送信する。サーバ装置２００は、視線異常評価装置として機能するものであり、端末装置１００から送られたユーザの顔を含む撮影画像を用いて、ユーザの視線異常を評価する処理を実行する。
なお、本実施形態の認知・運動機能異常評価システムは、図１（ｂ）に示すように、端末装置１００’のみで構成することも可能である。この場合、端末装置１００’が視線異常評価装置として機能する。すなわち、端末装置１００’は、インカメラ１０２により撮影されたユーザの顔の撮影画像を用いて、ユーザの視線異常を評価する処理を実行する。なお、以下では、本実施形態の認知・運動機能異常評価システムは図１（ａ）のように構成されているものとして説明する。
図２は、本実施形態による端末装置１００およびサーバ装置２００（視線異常評価装置）の機能構成例を示す図である。図２に示すように、本実施形態の端末装置１００は、機能構成として、対象物表示部１１、撮影処理部１２および撮影画像送信部１３を備えている。また、本実施形態のサーバ装置２００は、機能構成として、顔画像取得部２１、黒目位置検出部２２、データ分離部２３、予測モデル生成部２４、注視位置予測部２５および異常評価部２６を備えている。また、本実施形態のサーバ装置２００は、記憶媒体として、顔画像記憶部２７、予測モデル記憶部２８および表示位置記憶部２９を備えている。
端末装置１００の各機能ブロック１１～１３およびサーバ装置２００の各機能ブロック２１～２６はそれぞれ、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１３，２１～２６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記憶媒体に記憶された認知・運動機能異常評価用プログラムが動作することによって実現される。
端末装置１００の対象物表示部１１は、注視対象物をディスプレイ１０１の画面上に表示させる。図３は、対象物表示部１１がディスプレイ１０１に表示させる注視対象物の動きの一例を示す図である。図３に示す例において、注視対象物３１は、丸形状のマークであり、図３（ａ）のように画面の右上端部から移動を開始した後、図３（ｂ）→（ｃ）→（ｄ）の順番で画面上を移動し、元のスタート位置に戻る。この動きを複数回繰り返すことにより、例えば１００秒程度の一定時間、注視対象物３１を画面上に連続的に動くように表示させる。
なお、図３に示した注視対象物３１の形状は一例に過ぎず、円形に限定されない。また、図３に示した注視対象物３１の動きも一例に過ぎず、これに限定されない。例えば、元のスタート位置に戻るような周回の動きを繰り返す例に限らない。また、規則的な動きに限らず、不規則な動きをするものであってもよい。また、注視対象物３１が連続的に移動するような動きではなく、画面上の複数の位置に注視対象物３１が順番に表示されるような態様であってもよい。ただ、注視対象物３１の動き（表示位置）は、後述するようにユーザの視線異常を評価する際に用いる。そのため、対象物表示部１１が注視対象物３１をランダムに動くように表示させた場合は、その一連の動きを示す表示位置情報を記録し、この表示位置情報もサーバ装置２００に送信する必要がある。
対象物表示部１１は、以上のように、端末装置１００の内部で生成した注視対象物３１の画像をディスプレイ１０１に表示させるようにすることが可能である。あるいは、対象物表示部１１は、サーバ装置２００の表示位置記憶部２９に記憶されている注視対象物３１の表示位置情報に基づいて、サーバ装置２００により生成されて端末装置１００に送信される注視対象物３１の画像を表示するようにしてもよい。
端末装置１００のユーザは、図３のように注視対象物３１が画面上に動くように表示されている間、当該注視対象物３１を常時注視するように追跡する。このとき撮影処理部１２は、インカメラ１０２を一定時間動作させて、撮影を実行する。インカメラ１０２の前方には、画面上に動くように表示された注視対象物３１を見ているユーザがいる。これにより、ユーザの顔を含む画像（顔画像）がインカメラ１０２により一定時間撮影される。
撮影画像送信部１３は、撮影処理部１２により撮影された一定時間の撮影画像（すなわち、ディスプレイ１０１の画面上に動くように一定時間表示された注視対象物３１を見ている人の顔をインカメラ１０２で撮影することによって得られる時系列の顔画像）をサーバ装置２００に送信する。なお、上述したように、対象物表示部１１が注視対象物３１を画面上にランダムに動くように表示させた場合は、その一連の動きを示す表示位置情報もサーバ装置２００に送信する。
サーバ装置２００の顔画像取得部２１は、撮影画像送信部１３により送信された一定時間の撮影画像（注視対象物３１を見ている人の時系列の顔画像）を取得し、顔画像記憶部２７に記憶させる。
黒目位置検出部２２は、顔画像取得部２１により取得された時系列の顔画像から黒目部分の位置を検出し、時系列の黒目位置情報を得る。例えば、黒目位置検出部２２は、１００秒程度の撮影によって得られた時系列の顔画像について、フレーム毎に黒目部分の位置を検出することにより、時系列の黒目位置情報を得る。
例えば、黒目位置検出部２２は、顔画像取得部２１により取得された顔画像から複数の特徴点を抽出し、当該複数の特徴点から眼球の位置および当該眼球の中の黒目部分の位置を推定する。そして、撮影画像の座標系における眼球の位置の座標情報および黒目部分の位置の座標情報を黒目位置情報として得る。ここで、撮影画像の座標系は、撮影画像の中央位置を原点としてｘ軸とｙ軸をとったｘｙ座標系であってもよいし、撮影画像の左上端部の位置を原点としてｕ軸とｖ軸をとったｕｖ座標系であってもよい。
図４は、顔画像から抽出される複数の特徴点の例を示す図である。図４では、説明のために背景は省略し、人のみを図示している。この図４において、複数の特徴点は丸形状のドットで示されている。なお、この図４は、実際に検出される全ての特徴点を忠実に再現して描画したものではなく、説明のために簡略化して示したものである。黒目位置検出部２２は、撮影画像に対して画像認識処理を行うことによって顔部分を認識し、認識した顔部分の中から複数の特徴点を抽出する。特徴点は、例えば、画像上で色や輝度が変わる境界において抽出される。
図５は、眼球の位置および黒目部分の位置を推定した結果とそれぞれの座標情報の例を示す図である。図５に示すように、黒目位置検出部２２は、目の周りにおいてほぼ円形を成す状態で抽出された複数の特徴点をもとに形成される円形の領域５１を、球体をした眼球の位置と推定する。また、黒目位置検出部２２は、目の中において色の境界として円弧状に抽出された複数の特徴点を、円形をした黒目部分（虹彩部分）の輪郭の一部に相当すると推定し、左右の円弧を含む円形の領域５２を黒目部分の位置と推定する。
黒目位置検出部２２は、以上のように眼球の位置として推定した円形の領域５１の中心位置５１ａの座標を眼球の位置の座標情報として取得する。また、黒目位置検出部２２は、以上のように黒目部分の位置として推定した円形の領域５２の中心位置５２ａの座標と、領域５２における円形のエッジ上において互いに９０度を成す位置関係にある４点の位置５２ｂ～５２ｅの座標とを黒目部分の位置の座標情報として取得する。眼球の位置の座標情報および黒目部分の位置の座標情報は、左右両方の目部分について取得する。眼球の位置の座標情報と黒目部分の位置の座標情報とを取得することにより、眼球の中で黒目部分が相対的にどの方向を向いているのかを認識することが可能である。
なお、黒目位置検出部２２は、顔画像取得部２１により取得された顔画像から抽出される複数の特徴点をもとに顔の位置を推定し、上述した眼球の位置の座標情報および黒目部分の位置の座標情報と、顔の位置の座標情報とを黒目位置情報として取得するようにしてもよい。図６は、顔の位置を推定した結果とその座標情報の例を示す図である。
図６に示すように、黒目位置検出部２２は、例えば、上下方向は眉毛より下で顎より上の部分、左右方向は左右の耳より内側の部分からなる矩形の領域６１を顔の位置として推定する。また、黒目位置検出部２２は、以上のように顔の位置として推定した矩形の領域６１の中心位置６１ａの座標を顔の位置の座標情報として取得する。
ユーザが注視対象物３１を注視する際に、端末装置１００をどこかの場所に固定して設置し、撮影時には顔を極力動かさないようにすることをユーザにアナウンスするが、実際には顔の動きが生じることもある。また、顔を動かさずに眼球だけを動かして注視対象物３１を見る場合の他に、同じ場所を固視しながら顔を動かすといったことが生じる場合もある。そこで、眼球の位置の座標情報および黒目部分の位置の座標情報に加え、顔の位置の座標情報も取得するのが好ましい。このようにすれば、端末装置１００に対して相対的にどの方向から注視対象物３１を見ているときに、眼球の中で黒目部分が相対的にどの方向を向いているのかを認識することが可能である。
また、黒目位置検出部２２は、上述した座標情報として、インカメラ１０２から対象物までの距離に応じて変わる奥行き方向の情報を含む３次元座標情報を取得するようにしてもよい。注視対象物３１が表示される端末装置１００からユーザまでの距離によって、視線の角度が異なってくる。ユーザが注視対象物３１を注視している際に、同じ場所を固視しながら端末装置１００からの距離が変わることもある。そこで、奥行き情報を含む３次元座標情報を取得するようにするのが好ましい。
データ分離部２３は、黒目位置検出部２２により検出された時系列の黒目位置情報をトレーニングデータとテストデータとに分離する。例えば、データ分離部２３は、１００秒程度の撮影によって得られた顔画像からフレーム毎に取得された時系列の黒目位置情報のうち、前半の４／５のフレーム群から取得された黒目位置情報をトレーニングデータとし、後半の１／５のフレーム群から取得された黒目位置情報をテストデータとする。
予測モデル生成部２４は、表示位置記憶部２９に記憶されている注視対象物３１の画面上での表示位置情報を目標変数、データ分離部２３によりトレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する。この予測モデルは、黒目位置情報（撮影画像の座標系において顔の位置、眼球の位置および黒目部分の位置を示す座標情報）が入力された際に、画面上での注視位置情報（画面座標系においてユーザの注視位置を示す座標情報）が出力されるようになされたモデルである。
すなわち、予測モデル生成部２４は、注視対象物３１の画面上での表示位置情報を目標変数、トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置情報が入力された際に、正解としての注視対象物３１の表示位置情報が出力されやすくなるように、予測モデルの各種パラメータを調整する。そして、予測モデル生成部２４は、生成した予測モデルを予測モデル記憶部２８に記憶させる。このとき目標変数として用いる注視対象物３１の画面上での表示位置情報は、注視対象物３１の一連の動きを示す全フレームの表示位置情報のうち、トレーニングデータとされた４／５のフレーム群に対応する前半４／５の表示位置情報である。
ここで、注視対象物３１は、図３に示したようにあらかじめ決められた動きをし、注視対象物３１の画面上での表示位置情報（画面座標系において注視対象物３１の表示位置を示す座標情報）は、表示位置記憶部２９にあらかじめ記憶されている。なお、上述したように、対象物表示部１１が注視対象物３１をランダムに動くように表示させた場合は、その一連の動きを示す表示位置情報がサーバ装置２００に送信されて表示位置記憶部２９に記憶される。
予測モデル生成部２４が生成する予測モデルの形態は、例えばニューラルネットワークモデル、回帰モデル、木モデル、ベイズモデル、クラスタリングモデルなどのうち何れかとすることも可能である。なお、ここに挙げた予測モデルの形態は一例に過ぎず、これに限定されるものではない。
注視位置予測部２５は、予測モデル生成部２４により生成され予測モデル記憶部２８に記憶された予測モデルに対して、データ分離部２３によりテストデータとされた黒目位置情報を入力することにより、予測モデルから出力される画面上での注視位置情報を予測結果として取得する。ここで、予測モデル生成部２４により生成された予測モデルの精度が高ければ高いほど、予測モデルから出力される画面上での注視位置情報が、正解である注視対象物３１の画面上での表示位置情報と一致または近似する可能性が高くなる。
異常評価部２６は、注視位置予測部２５により取得（予測）された画面上での注視位置情報と、表示位置記憶部２９に記憶されている注視対象物３１の画面上での表示位置情報とに基づいて、予測モデルによる予測の精度を検証し、その検証結果に基づいて、注視対象物３１を見ている人の視線異常を評価する。このとき用いる注視対象物３１の画面上での表示位置情報は、注視対象物３１の一連の動きを示す全フレームの表示位置情報のうち、テストデータとされた１／５のフレーム群に対応する後半１／５の表示位置情報である。
予測モデルによる予測の精度の検証は、例えば、予測モデルから出力される画面上での注視位置情報と、正解である注視対象物３１の画面上での表示位置情報との差の大きさを表す指標値を算出することによって行う。この場合の指標値として、平均絶対誤差、平方平均二乗誤差、決定係数、平均差などを用いることが可能である。
異常評価部２６は、算出した指標値に基づいて、注視対象物３１を見ている人の視線異常を評価する。例えば、指標値が閾値以上の場合に視線異常ありと判定し、閾値未満の場合に視線異常なしと判定することが可能である。異なる閾値を２つ以上設定し、視線異常の程度を判定するようにしてもよい。
予測モデル生成部２４により生成される予測モデルは、視線異常がない健常者のトレーニングデータから生成される予測モデルと、視線異常がある非健常者のトレーニングデータから生成される予測モデルとの間で予測の精度に差が生じる。画面上で移動する注視対象物３１をユーザが注視する際に、固視（視線を注視対象物３１に固定させる状態）の安定度が健常者と非健常者とで異なる。そのため、注視対象物３１を見ているときの黒目位置情報を機械学習のトレーニングデータとして用いる場合、トレーニングデータの精度にも健常者と非健常者とで差が生じ、その影響を受けて、生成される予測モデルの精度に差が生じる。
すなわち、視線異常がない健常者の場合は、固視が安定していて視線のふらつきが少ないため、注視対象物３１の動きに対して視線も安定して追従する。これに対し、視線異常がある非健常者の場合は、固視が不安定で視線のふらつきが多くなるため、注視対象物３１の動きに対する視線の追従が不安定となる。このため、移動する注視対象物３１を見ているときの黒目位置情報を機械学習のトレーニングデータとして用いると、非健常者のトレーニングデータから生成される予測モデルは、健常者のトレーニングデータから生成される予測モデルよりも予測の精度が悪くなる。
本実施形態では、このような性質を利用して、生成された予測モデルの検証結果から視線異常を評価するようにしている。視線異常は、例えば、認知機能に障害を有する人や、図７に示す斜視のような眼球偏位を有する人の場合に生じ得る。よって、本実施形態によれば、視線異常の評価を通じて、認知機能や眼球運動機能などについて障害の兆候があるか否かまたはその程度を判別することが可能である。
なお、上記実施形態では、視線異常評価装置の機能ブロック２１～２６を全てサーバ装置２００が有する構成について説明したが、本発明はこれに限定されない。例えば、顔画像取得部２１および黒目位置検出部２２の機能を端末装置１００が備え、時系列の黒目位置情報を端末装置１００からサーバ装置２００に送信するようにしてもよい。また、データ分離部２３も端末装置１００が備えるようにしてもよい。
また、上記実施形態では、インカメラ１０２で撮影した顔画像を解析することによって黒目位置情報を取得する例について説明したが、本発明はこれに限定されない。例えば、メガネ型またはスタンドアロン型のアイトラッキング装置（視線検出装置）を用いてもよい。ただし、スマートフォン等のインカメラ１０２を用いることにより、ユーザが専用の視線検出装置を用いることなく、例えば自宅等で撮影した画像を用いて視線異常の評価を行うことができる点で好ましい。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
１１ 対象物表示部
１２ 撮影処理部
１３ 撮影画像送信部
２１ 顔画像取得部
２２ 黒目位置検出部
２３ データ分離部
２４ 予測モデル生成部
２５ 注視位置予測部
２６ 異常評価部
１００，１００’ 端末装置
２００ サーバ装置
１２ 撮影処理部
１３ 撮影画像送信部
２１ 顔画像取得部
２２ 黒目位置検出部
２３ データ分離部
２４ 予測モデル生成部
２５ 注視位置予測部
２６ 異常評価部
１００，１００’ 端末装置
２００ サーバ装置
Claims (6)
- 画面上に表示された注視対象物を見ている人の顔を撮影することによって得られる時系列の顔画像を取得する顔画像取得部と、
上記顔画像取得部により取得された時系列の顔画像から黒目部分の位置を検出して時系列の黒目位置情報を得る黒目位置検出部と、
上記黒目位置検出部により検出された時系列の黒目位置情報をトレーニングデータとテストデータとに分離するデータ分離部と、
上記注視対象物の画面上での表示位置情報を目標変数、上記トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する予測モデル生成部と、
上記予測モデル生成部により生成された上記予測モデルに対して上記テストデータとされた黒目位置情報を入力することにより、上記予測モデルから出力される画面上での注視位置情報を予測結果として取得する注視位置予測部と、
上記注視位置予測部により取得された上記画面上での注視位置情報および上記注視対象物の画面上での表示位置情報に基づいて、上記予測モデルによる予測の精度を検証し、その検証結果に基づいて、上記注視対象物を見ている人の視線異常を評価する異常評価部とを備えた
ことを特徴とする認知・運動機能異常評価システム。 - 上記黒目位置検出部は、上記顔画像取得部により取得された顔画像から複数の特徴点を抽出し、当該複数の特徴点から眼球の位置および当該眼球の中の上記黒目部分の位置を推定し、撮影画像の座標系における上記眼球の位置の座標情報および上記黒目部分の位置の座標情報を上記黒目位置情報として得ることを特徴とする請求項１に記載の認知・運動機能異常評価システム。
- 上記黒目位置検出部は、上記顔画像取得部により取得された顔画像から顔の位置を推定し、上記眼球の位置の座標情報、上記黒目部分の位置の座標情報および上記顔の位置の座標情報を上記黒目位置情報として得ることを特徴とする請求項２に記載の認知・運動機能異常評価システム。
- 上記座標情報は、カメラから対象物までの距離に応じて変わる奥行き方向の情報を含む３次元座標情報であることを特徴とする請求項２または３に記載の認知・運動機能異常評価システム。
- 上記注視対象物を端末装置の画面上に表示させる対象物表示部を備え、
上記顔画像取得部は、上記端末装置に備えられたカメラにより撮影される時系列の顔画像を取得する
ことを特徴とする請求項１に記載の認知・運動機能異常評価システム。 - 画面上に表示された注視対象物を見ている人の顔を撮影することによって得られる時系列の顔画像を取得する顔画像取得手段、
上記顔画像取得手段により取得された時系列の顔画像から黒目部分の位置を検出して時系列の黒目位置情報を得る黒目位置検出手段、
上記黒目位置検出手段により検出された時系列の黒目位置情報をトレーニングデータとテストデータとに分離するデータ分離手段、
上記注視対象物の画面上での表示位置情報を目標変数、上記トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する予測モデル生成手段、
上記予測モデル生成手段により生成された上記予測モデルに対して上記テストデータとされた黒目位置情報を入力することにより、上記予測モデルから出力される画面上での注視位置情報を予測結果として取得する注視位置予測手段、および
上記注視位置予測手段により取得された上記画面上での注視位置情報および上記注視対象物の画面上での表示位置情報に基づいて、上記予測モデルによる予測の精度を検証し、その検証結果に基づいて、上記注視対象物を見ている人の視線異常を評価する異常評価手段
としてコンピュータを機能させるための認知・運動機能異常評価用プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021510242A JP6865996B1 (ja) | 2020-12-18 | 2020-12-18 | 認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム |
| PCT/JP2020/047383 WO2022130609A1 (ja) | 2020-12-18 | 2020-12-18 | 認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/047383 WO2022130609A1 (ja) | 2020-12-18 | 2020-12-18 | 認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022130609A1 true WO2022130609A1 (ja) | 2022-06-23 |
Family
ID=75638870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/047383 WO2022130609A1 (ja) | 2020-12-18 | 2020-12-18 | 認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6865996B1 (ja) |
| WO (1) | WO2022130609A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220168308A (ko) * | 2021-06-16 | 2022-12-23 | (주)해피마인드 | 아이트래킹을 이용한 정신과 검사 데이터에 기초하여 정신 장애 진단 및 치료 반응을 예측하는 시스템 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017189470A (ja) * | 2016-04-14 | 2017-10-19 | ヤンマー株式会社 | 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム |
| JP2019028843A (ja) * | 2017-08-01 | 2019-02-21 | オムロン株式会社 | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 |
| WO2020188633A1 (ja) * | 2019-03-15 | 2020-09-24 | オムロン株式会社 | 認知症検知装置及び認知症検知方法 |
| WO2020194849A1 (ja) * | 2019-03-22 | 2020-10-01 | 株式会社Ｊｖｃケンウッド | 評価装置、評価方法、及び評価プログラム |
-
2020
- 2020-12-18 WO PCT/JP2020/047383 patent/WO2022130609A1/ja active Application Filing
- 2020-12-18 JP JP2021510242A patent/JP6865996B1/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017189470A (ja) * | 2016-04-14 | 2017-10-19 | ヤンマー株式会社 | 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム |
| JP2019028843A (ja) * | 2017-08-01 | 2019-02-21 | オムロン株式会社 | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 |
| WO2020188633A1 (ja) * | 2019-03-15 | 2020-09-24 | オムロン株式会社 | 認知症検知装置及び認知症検知方法 |
| WO2020194849A1 (ja) * | 2019-03-22 | 2020-10-01 | 株式会社Ｊｖｃケンウッド | 評価装置、評価方法、及び評価プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022130609A1 (ja) | 2022-06-23 |
| JP6865996B1 (ja) | 2021-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
| US10318831B2 (en) | Method and system for monitoring the status of the driver of a vehicle | |
| CN105184246B (zh) | 活体检测方法和活体检测系统 | |
| JP4622702B2 (ja) | 映像監視装置 | |
| CN107847130B (zh) | 眼球观察装置、眼镜型终端、视线检测方法以及程序 | |
| US9639770B2 (en) | System and method for improving communication productivity | |
| WO2016059786A1 (ja) | なりすまし検知装置、なりすまし検知方法、および、記憶媒体 | |
| US20170344110A1 (en) | Line-of-sight detector and line-of-sight detection method | |
| WO2016090379A2 (en) | Detection of print-based spoofing attacks | |
| JP5225870B2 (ja) | 情動分析装置 | |
| CN109285602B (zh) | 用于自我检查用户眼睛的主模块、系统和方法 | |
| WO2016021034A1 (ja) | ３次元上の注視点の位置特定アルゴリズム | |
| CN104219992A (zh) | 自闭症诊断辅助方法和系统以及自闭症诊断辅助装置 | |
| US9888845B2 (en) | System and method for optical detection of cognitive impairment | |
| WO2020020022A1 (zh) | 视觉识别方法及其系统 | |
| US20170156585A1 (en) | Eye condition determination system | |
| CN117897778A (zh) | 用于获取侧面图像以进行眼睛突出分析的方法、执行方法的图像捕获设备和记录介质 | |
| Leelasawassuk et al. | Estimating visual attention from a head mounted IMU | |
| CN106709398A (zh) | 凝视分析方法与装置 | |
| WO2022130609A1 (ja) | 認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラム | |
| Stanley | Measuring attention using microsoft kinect | |
| Alam et al. | Active vision-based attention monitoring system for non-distracted driving | |
| EP2979635A1 (en) | Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium | |
| WO2015181729A1 (en) | Method of determining liveness for eye biometric authentication | |
| US20220284718A1 (en) | Driving analysis device and driving analysis method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2021510242 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20965996 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22/09/2023) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20965996 Country of ref document: EP Kind code of ref document: A1 |