WO2022075377A1 - 視線位置判定装置、視線位置判定方法およびトレーニング方法 - Google Patents

視線位置判定装置、視線位置判定方法およびトレーニング方法 Download PDF

Info

Publication number
WO2022075377A1
WO2022075377A1 PCT/JP2021/037044 JP2021037044W WO2022075377A1 WO 2022075377 A1 WO2022075377 A1 WO 2022075377A1 JP 2021037044 W JP2021037044 W JP 2021037044W WO 2022075377 A1 WO2022075377 A1 WO 2022075377A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
determination
user
training
Prior art date
Application number
PCT/JP2021/037044
Other languages
English (en)
French (fr)
Inventor
俊哉 中口
栄司 清水
好幸 平野
千尋 須藤
直美 白岩
友紀 池田
俊介 齋藤
Original Assignee
国立大学法人千葉大学
大日本住友製薬株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人千葉大学, 大日本住友製薬株式会社 filed Critical 国立大学法人千葉大学
Priority to US18/248,181 priority Critical patent/US20230404451A1/en
Priority to EP21877676.3A priority patent/EP4226906A1/en
Priority to CN202180082042.2A priority patent/CN116546952A/zh
Priority to JP2022555542A priority patent/JPWO2022075377A1/ja
Priority to CA3195141A priority patent/CA3195141A1/en
Publication of WO2022075377A1 publication Critical patent/WO2022075377A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06Children, e.g. for attention deficit diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Definitions

  • the present disclosure relates to a line-of-sight position determination device, a line-of-sight position determination system, a line-of-sight position determination method, a training system, an evaluation method, a training method, a monitoring method, a treatment method, and a program.
  • Non-Patent Document 1 As one of the effective treatment options for neuropsychiatric disorders, for example, cognitive-behavioral therapy as disclosed in Non-Patent Document 1 is being implemented.
  • Non-Patent Document 1 may not be available even if one wants to receive treatment because there is a shortage of medical professionals who can carry out the treatment.
  • the present disclosure discloses a line-of-sight position determination device capable of reproducing a line-of-sight communication environment close to the real world, a line-of-sight position determination system equipped with a line-of-sight position determination device, a line-of-sight position determination method capable of reproducing a line-of-sight communication environment close to the real world, and a line-of-sight position.
  • Treatment method for neuropsychiatric disorders using the determination method training system equipped with a line-of-sight position determination device or line-of-sight position determination system, evaluation method of line-of-sight communication ability using the line-of-sight position determination method, training method using the line-of-sight position determination method.
  • the line-of-sight position determination device of one aspect of the present disclosure is The line-of-sight position input section where the position of the user's line of sight is input, Judgment area setting unit that sets the judgment area and A determination unit for determining whether or not the line-of-sight position input by the line-of-sight position input unit is in the determination area, and a determination unit.
  • the determination unit determines that the position of the line of sight is in the determination area
  • the determination unit includes an output unit that outputs feedback to the user.
  • the line-of-sight position determination system of one aspect of the present disclosure is The line-of-sight position determination device of the above-described aspect and It is provided with a line-of-sight position acquisition unit that acquires the position of the line-of-sight of the user and outputs the position to the line-of-sight position input unit.
  • the method for determining the line-of-sight position is as follows. Detects the position of the user's line of sight and Set the judgment area and It is determined whether or not the detected position of the line of sight is in the determination area, and When it is determined that the position of the line of sight is in the determination area, feedback is output to the user.
  • the training system of one aspect of the present disclosure is The line-of-sight position determination device of the above-described embodiment or the line-of-sight position determination system of the above-described embodiment is provided.
  • the evaluation method of one aspect of the present disclosure is The line-of-sight position determination method of the above aspect was used.
  • the training method of one aspect of the present disclosure is The line-of-sight position determination method of the above aspect was used.
  • the monitoring method of one aspect of the present disclosure is The line-of-sight position determination method of the above aspect was used.
  • the treatment method of one aspect of the present disclosure is The training method of the above aspect was used.
  • the program of one aspect of the present disclosure is Have the computer execute the line-of-sight position determination method or training method of the above-described embodiment.
  • a determination area is set so as to include a social object to which the line of sight is directed, and a line-of-sight match determination and feedback are performed to create a communication environment with a line of sight close to the real world. Can be reproduced.
  • the line-of-sight position determination device can realize a line-of-sight position determination system that can reproduce a communication environment with a line of sight close to the real world.
  • a determination area is set so as to include a social object to which the line of sight is directed, and line-of-sight matching determination and feedback are performed to communicate with a line of sight close to the real world.
  • the environment can be reproduced.
  • the line-of-sight position determination method reproduces a communication environment with a line of sight close to the real world, and can realize highly effective treatment and training. It can also provide treatment and training that can be performed even when the practitioner (eg, doctor, psychologist (psychologist), counselor, therapist) is in a remote location or the practitioner is absent.
  • the practitioner eg, doctor, psychologist (psychologist), counselor, therapist
  • the line-of-sight position determination device or the line-of-sight position determination system and the line-of-sight position determination method can reproduce a communication environment with a line of sight close to the real world, and can realize a system with a high training effect. ..
  • the evaluation is standardized by the line-of-sight position determination method regardless of the practitioner's specialty or skill level, or even when the practitioner is remote or absent.
  • a method and a monitoring method can be realized.
  • FIG. 3 is a block diagram showing a configuration of a line-of-sight position determination system including the line-of-sight position determination device according to the first embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing a configuration of a line-of-sight position determination system including the line-of-sight position determination device according to the second embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing a configuration of a line-of-sight position determination system including the line-of-sight position determination device according to the third embodiment of the present disclosure.
  • FIG. 3 is a third diagram for explaining a target position and a determination area in the line-of-sight position determination device of FIG.
  • FIG. 4 is a fourth diagram for explaining a target position and a determination area in the line-of-sight position determination device of FIG.
  • FIG. 3 is a block diagram showing a configuration of a line-of-sight position determination system including the line-of-sight position determination device according to the fourth embodiment of the present disclosure.
  • the flowchart for demonstrating the line-of-sight determination process in the line-of-sight position determination apparatus of FIG. The block diagram which shows the 3rd modification of the line-of-sight position determination system of FIG.
  • the line-of-sight position determination system 1 of the first embodiment of the present disclosure includes a line-of-sight position determination device 10 and a line-of-sight position acquisition unit 20.
  • the line-of-sight position acquisition unit 20 acquires the position of the user's line of sight and outputs it to the line-of-sight position determination device 10.
  • the line-of-sight position determination device 10 includes a line-of-sight position input unit 11, a determination area setting unit 15, a determination unit 12, and an output unit 13, and the functions are realized by the CPU executing a predetermined program. Will be done.
  • the line-of-sight position input unit 11 inputs the position of the user's line of sight output from the line-of-sight position acquisition unit 20, and outputs the input position of the user's line of sight to the determination unit 12.
  • the determination area setting unit 15 sets the determination area P2 (see FIG. 6) so as to include the target position P1 which is the position of the user's gaze target, and outputs the information of the determination area P2 to the determination unit 12.
  • the determination area P2 is used as an allowable range of the line-of-sight position in the line-of-sight match determination. For example, by setting the determination area P2 so as to include the eyeball of a person or animal to be watched, it is possible to determine whether or not the user can make eye contact.
  • the determination area setting unit 15 can set the union of the determination areas P2 set for each target position P1 as the final determination area.
  • the target position P1 can be transmitted to the user by voice, not limited to the image. Therefore, the target position P1 and the determination area P2 may not be displayed in the image reflected in the user's field of view (hereinafter referred to as the field of view image).
  • the target position P1 is set as a social object to which the user looks, and for example, an image presented to the user (hereinafter referred to as a presented image) is attached with changes in X and Y coordinates with time in advance. Set.
  • Social objects include, for example, a part of the face such as the eyeball, nose, eyebrows, mouth of a person or animal, a part of the body such as hair, ears, neck, shoulders, hands of a person or animal, and a person or It can include the entire body of the animal and all or part of the attachment to the body, including clothing such as a tie or scarf.
  • the determination area setting unit 15 determines the distance L between the centers of the left and right eyeballs (hereinafter referred to as eyeball positions P3 and P4, respectively) in the view image 40 shown in FIG.
  • the determination area P2 can be set according to the size of the target image 100 based on the above.
  • the size of the determination region P2 is defined based on the size of the face, and the distance L between the centers of the left and right eyeballs is referred to as an element for determining the size of the face.
  • the determination area P2 can be provided with a lower limit value in its size. This is because if the target image 100 in the visual field image 40 is too small because the target image 100 in the presented image is too small, or the screen on which the presented image is presented is too far from the user, the eyeball This is because it becomes difficult to accurately grasp the position of the user's line of sight due to the influence of the fixative fine movement and the detection noise of the line-of-sight sensor.
  • the lower limit value of the determination area P2 may be an arbitrary value determined in advance regardless of the user, or may be an arbitrary value that can be set at the time of use. Further, the lower limit value of the determination region P2 may be a value determined based on the line-of-sight position fluctuation data when the user gazes at an arbitrary point. For example, a region of a circle whose radius is twice the standard deviation (2SD) of the line-of-sight position fluctuation data may be set as the lower limit of the determination area P2, or may be three times the standard deviation (3SD) or three times the standard deviation (3SD) depending on the training stage. The range may be expanded to 4 times (4SD).
  • the lower limit value of the determination region P2 may be determined for each user or may be determined from the average value of a plurality of users, but considering the variation in the fixative tremor of the eyeball among individuals, the lower limit value may be determined. It is preferable that it is determined for each user.
  • the average value of a plurality of healthy persons can be set as the lower limit value of the determination area P2.
  • the line-of-sight position fluctuation data means a plot of changes in the line-of-sight position over time.
  • the determination area P2 is set so as not to fall below the lower limit value.
  • the size of the determination region P2 is calculated based on the distance L between the left and right eyeball positions P3 and P4 in the view image 40, and when the size is smaller than the lower limit value, the lower limit value is the size of the determination region P2. Is set as. More specifically, for example, when the size of the determination region P2 shown in FIG. 8 is the lower limit value and the target image 100 is smaller than that of FIG. 8 and FIG. 9 is the view image 40, the size is the same as that of FIG. The determination area P2 of is set. As a result, the line-of-sight coincidence can be accurately determined regardless of the size of the target image in the field view image.
  • the determination unit 12 determines whether or not the position of the user's line of sight output from the line-of-sight position input unit 11 is in the determination area P2 (hereinafter referred to as line-of-sight match determination).
  • the determination area P2 may be set in advance on the presentation image presented to the user, for example, at the time of the line-of-sight matching determination. Further, the presented image in which the determination area P2 is set may be stored in, for example, a storage device (not shown) of the line-of-sight position determination device 10. Whether or not the position of the line of sight of the user is in the determination area P2 is determined as follows, for example.
  • the determination unit 12 determines whether or not the position of the user's line of sight is located in the determination area P2. Then, the time elapsed while staying in the determination area P2 (hereinafter referred to as the first time) from the time when the position of the user's line of sight is located in the determination area P2 is the preset maintenance time (use). It is determined whether or not the position of the line of sight of the person has reached the time to be maintained in the determination area P2, hereinafter referred to as the set maintenance time). When it is determined that the first time has reached the set maintenance time, the determination unit 12 determines that the position of the line of sight of the user is in the determination area P2 (in other words, the lines of sight match). The first time may be the cumulative time of staying in the determination area P2 from the time when the user's line of sight is first located in the determination area P2.
  • the first time is measured by, for example, the measuring unit 16 of the line-of-sight position determination device 10.
  • the measuring unit 16 can further measure one or more of the following indicators for determining the social line-of-sight control ability. For example, by further providing a storage unit 52 (see FIG. 12) that stores the user's line-of-sight position as a time transition of XY coordinates during training, the relationship between the user's line-of-sight position and the target position P1 or the determination area P2 can be obtained. It can be calculated with XY coordinates, and various indexes of social line-of-sight control ability can be measured. The index for determining the social gaze control ability can be aggregated for each task or for the entire training.
  • the output unit 13 outputs feedback to the user depending on whether or not the determination unit 12 determines that the position of the line of sight is in the determination area P2.
  • Feedback is given to the user and / or the person facing the user through a sense selected from visual, auditory and tactile sensations.
  • Feedback is feedback selected from, for example, an image containing letters, symbols and paintings, a sound containing voice, and vibration, the position of the line of sight via a display and / or a speaker (neither shown).
  • Is output after it is determined that is in the determination area P2 (for example, in real time).
  • the feedback may be output not only after it is determined that the position of the line of sight is in the determination region P2, but also in the stage before that.
  • the output unit 13 can output feedback even when the position of the line of sight is not located in the determination area P2.
  • the output unit 13 can output feedback that guides the line of sight to the determination area P2.
  • the output unit 13 outputs the analysis result of the index of social gaze control ability (for example, this result, comparison between this result and past result, this result and average value of other users). It is possible to output feedback to the user, medical staff, face-to-face person, etc.
  • the feedback for the analysis result may be output as an individual index of a plurality of social gaze control abilities, or may be output as a total score summarizing a plurality of indicators of the social gaze control ability. It should be noted that a device for feedback output may be separately provided and configured to output feedback via this device. This device may form a part of the line-of-sight position determination device 10, or may not form a part of the line-of-sight position determination device 10.
  • Each part constituting the line-of-sight position determination device 10 may be provided in, for example, an external device (for example, a server).
  • the line-of-sight position determination device 10 further includes a communication device connected to the external device wirelessly or by wire.
  • the line-of-sight position input unit 11 outputs the input position of the user's line-of-sight to the determination unit 12 of the external device via the communication device. Further, the output unit 13 acquires the determination result of the determination unit 12 via the communication device.
  • the line-of-sight position determination device 10 can also be configured as shown below.
  • the difficulty level setting unit 50 is configured to change and set the training difficulty level (in other words, the training load). good.
  • the difficulty level of the training includes at least one of the difficulty level of the line-of-sight match determination and the difficulty level of the task.
  • the parameters of the difficulty level of the line-of-sight matching determination for example, the size of the determination area P2 and the setting maintenance time can be mentioned. Multiple levels can be prepared for each parameter, and the difficulty level can be set by using parameters of any level individually or in combination.
  • the determination area P2 when the determination area P2 has a size including the entire human face and the line-of-sights match in the setting where the setting maintenance time is 2 seconds, the determination is made as shown in FIG.
  • the difficulty level of the line-of-sight matching determination can be increased.
  • the determination area P2 is further reduced and / or the setting maintenance time is increased (for example, 3 seconds) to further determine the line-of-sight matching. You can increase the difficulty level.
  • the difficulty level setting unit 50 can be configured to set the training difficulty level based on the result determined by the determination unit 12. For example, when the first time measured by the measuring unit 16 reaches a preset maintenance time and it is determined that the position of the line of sight is in the determination area, the difficulty setting unit 50 determines the size of the determination area. And / or set the training load by setting the length of the maintenance time. Specifically, when the determination unit 12 determines that the lines of sight do not match, the difficulty setting unit 50 determines the difficulty level of the line-of-sight matching determination by expanding the determination area P2 and / or reducing the maintenance time. Can be reduced.
  • the line-of-sight position determination device 10 may be provided with an operation unit 51 (see FIG. 12) capable of accepting a difficulty level changing operation for changing the training difficulty level.
  • the difficulty level setting unit 50 may be configured to set the difficulty level of the training by the difficulty level change operation received by the operation unit 51, and may determine the social line-of-sight control ability and / or the social line-of-sight control ability.
  • the difficulty setting unit 50 may be configured to set the difficulty of training according to the index.
  • the operation unit 51 is provided separately from the line-of-sight position determination device 10, but the present invention is not limited to this, and the operation unit 51 may be provided integrally with the line-of-sight position determination device 10.
  • the line-of-sight position determination device 10 may be provided with a storage unit 52 (see FIG. 12) that stores the measured index of the social line-of-sight control ability.
  • the difficulty setting unit 50 stores, for example, the index of the social line-of-sight control ability measured by the measurement unit 16 is measured and stored by the measurement unit 16 before the measured index of the social line-of-sight control ability. If it is higher than the index of social gaze control ability stored in the part 52, the training load is increased.
  • the line-of-sight position determination device 10 may be provided with a control ability acquisition unit 53 (see FIG. 12) for acquiring an index of the social line-of-sight control ability of another user.
  • the difficulty setting unit 50 may obtain, for example, the deviation of each task from the average value of the index of the user's social line-of-sight control ability measured by the measurement unit 16 by the control ability acquisition unit 53.
  • the task that the user is not good at is estimated, and the training load is based on the estimated task that the user is not good at. To set. This can enhance the effect of training.
  • the index of the social line-of-sight control ability of another user may be measured in advance by the measuring unit 16 and stored in the storage unit 52, or may be stored in an external device (for example, a server).
  • the control ability acquisition unit 53 acquires the index of the social line-of-sight control ability of another user stored in the storage unit 52 or the external device by wireless or wired communication.
  • the index of the social line-of-sight control ability of another user may be measured by the measuring unit 16 of the other line-of-sight position determination device 10, or may be measured by another device other than the line-of-sight position determination device 10. good.
  • the estimation of the problem that the user is not good at may be configured to be performed by another component unit (for example, the control ability acquisition unit 53) instead of the difficulty level setting unit 50.
  • the difficulty setting unit 50 may be omitted so that the training load is not set by the line-of-sight position determination device 10.
  • the line-of-sight position determination device 10 may be provided with a maintenance time setting unit 54 (see FIG. 12), and the maintenance time setting unit may be configured to set the set maintenance time.
  • the line-of-sight position determination system 1 of the first embodiment can be implemented, for example, in the embodiment shown in FIG. 3 or FIG.
  • the head-mounted display (HMD) 31 is provided with a line-of-sight position acquisition unit 20 (for example, an infrared line-of-sight tracking sensor), and the feedback output from the line-of-sight position determination device 10 is the HMD 31. It is output via the screen 33, a speaker (not shown), and the like. Further, the presented image is presented to the user via the screen 33 of the HMD 31, and the presented image is regarded as a field view image.
  • the determination area P2 is set, for example, based on the information regarding the target position P1 attached to the presented image in advance. In the line-of-sight position determination system 1 of FIG.
  • the HMD 31 is provided with a presentation image acquisition unit 34 for acquiring the presentation image.
  • the presentation image acquisition unit 34 may acquire the presentation image from an external device connected wirelessly or by wire, or may acquire it from a storage device (not shown) of the line-of-sight position determination device 10. Further, in the line-of-sight position determination system 1 of FIG. 3, the line-of-sight position determination device 10 and the line-of-sight position acquisition unit 20 can be built in the HMD 31, and the line-of-sight position determination device 10 and the line-of-sight position acquisition unit 20 are provided side by side in the HMD 31. You can also do it.
  • a line-of-sight position determination device 10 for example, a line-of-sight position determination device 10, a line-of-sight position acquisition unit 20 (for example, a line-of-sight sensor), and a presentation image acquisition unit 34 are provided separately from the display 32, and the screen 33 of the display 32. Feedback is output via a speaker (not shown) or the like.
  • the presented image acquired by the presented image acquisition unit 34 is presented to the user via the screen 33 of the display 32, and the presented image is regarded as a field view image.
  • the determination area P2 is set, for example, based on the information regarding the target position P1 attached to the presented image in advance.
  • the line-of-sight position acquisition unit 20 and the presentation image acquisition unit 34 can be provided on the display 32.
  • the line-of-sight position determination system 1 may further include a display (not shown) for the practitioner for displaying the presented image presented to the user to the operator (practitioner).
  • the display for the practitioner displays the presented image to the operator via a screen (not shown).
  • the line-of-sight position determination system 1 may be configured to display the field-of-sight image and the line-of-sight position in addition to the presented image by the display for the practitioner.
  • the line-of-sight position determination system 1 may be configured to present the feedback output from the line-of-sight position determination device 10 via a screen, a speaker (not shown), or the like.
  • the operator can grasp the result of the line-of-sight position determination or the progress of training by looking at the display. As a result, the difficulty level of the training can be changed or the training can be interrupted via the operation unit 51 during the training.
  • the line-of-sight position determination device 10 may include any one, a plurality, or all of a measurement unit 16, a difficulty level setting unit 50, an operation unit 51, a storage unit 52, a control ability acquisition unit 53, and a maintenance time setting unit 54. ..
  • the line-of-sight position determination system 1 of the second embodiment of the present disclosure is different from the first embodiment in that the line-of-sight position determination device 10 includes a target position setting unit 14.
  • the same reference number as that of the first embodiment is assigned and the description thereof will be omitted.
  • the target position setting unit 14 sets a target position P1 (see FIG. 6) as a target for the user of the line-of-sight position determination device 10 to match the line of sight.
  • the target position P1 is the position of the gaze target, for example, at least one manually or automatically at an arbitrary position of the target image in the presentation image including the image of the person or animal to be gaze (hereinafter referred to as the target image). Is set.
  • face recognition software and / or an object detection algorithm may be used as a method of setting the target position.
  • An arbitrary position set as the target position P1 includes, for example, an eyeball position, but is not limited to this.
  • a part of the face such as the nose, eyebrows, and mouth may be set as the target position P1
  • a part of the body such as hair, ears, neck, shoulders, and hands may be set as the target position P1, or the target image 100 itself.
  • the whole body of a person or an animal may be set as the target position P1, or a part of the attachment to the body including clothes such as a tie or a scarf may be set as the target position P1.
  • the target position setting unit 14 may acquire the presentation image from the storage device (not shown) of the line-of-sight position determination device 10 or acquire the presentation image from an external device such as a server connected by wire or wirelessly. You may.
  • the line-of-sight position determination system 1 of the third embodiment of the present disclosure is different from the first embodiment in the following points.
  • the same reference number as that of the first embodiment is assigned and the description thereof will be omitted.
  • a point where the line-of-sight position determination device 10 further includes a marker generation unit 17.
  • a point where the line-of-sight position input unit 11 has a display position detection unit 111 and a line-of-sight position conversion unit 112.
  • a point where the line-of-sight position acquisition unit 20 has an image pickup unit 21 and a line-of-sight direction acquisition unit 22.
  • the line-of-sight position determination device 10 makes a determination based on the information of the wearable terminal 35 having the line-of-sight position acquisition unit 20, and feedback is output via the screen 33 of the display 32 or the like.
  • the marker generation unit 17 generates, for example, a marker image for displaying a marker (for example, a QR code (registered trademark) and / or an AR marker) at the four corners of the screen 33.
  • the generated marker image is output to the display position detection unit 111 of the line-of-sight position input unit 11 and the screen 33.
  • the marker image can be created, for example, for the first time using the line-of-sight position determination system 1, and thereafter, the marker image created first can be used.
  • the marker image initially created may be stored in, for example, a storage device of the line-of-sight position determination device 10 or may be stored in a server connected via a communication device.
  • the display position detection unit 111 inputs the view image output from the image pickup unit 21 of the line-of-sight position acquisition unit 20 and the marker image generated by the marker generation unit 17.
  • the display position detection unit 111 detects the position of the marker image in the field view image, calculates a coordinate conversion matrix (for example, using a homography conversion matrix), and outputs the matrix information to the line-of-sight position conversion unit 112.
  • the line-of-sight position conversion unit 112 is a user in the coordinate system of the view image based on the line-of-sight vector output from the line-of-sight direction acquisition unit 22 of the line-of-sight position acquisition unit 20 and the matrix information output from the display position detection unit 111. Converts the line-of-sight position of to the line-of-sight position in the coordinate system of the presented image. The converted position of the user's line of sight is output to the determination unit 12.
  • the image pickup unit 21 is an example of a field of view image acquisition unit, and captures and acquires a user's field of view image.
  • the acquired view image is output to the display position detection unit 111.
  • the line-of-sight direction acquisition unit 22 detects the line-of-sight direction (in other words, the line-of-sight vector) of the user.
  • the detected line-of-sight vector is output to the line-of-sight position conversion unit 112.
  • the line-of-sight position determination system 1 of the third embodiment uses a wearable terminal having a line-of-sight position acquisition unit 20, high-precision line-of-sight detection can be realized regardless of the type of the display 32.
  • the line-of-sight movement outside the screen 33 and the movement of the user's head can also be memorized.
  • the line-of-sight position determination system 1 of the third embodiment may be provided with the target position setting unit 14 of the second embodiment.
  • the marker generation unit 17 can be omitted.
  • a marker image (hereinafter referred to as a generated marker image) is generated outside the line-of-sight position determination system 1 and stored in an external device such as a server.
  • the generated marker image is output from an external device via a communication device and input to the display position detection unit 111.
  • the line-of-sight position determination system 1 of the fourth embodiment of the present disclosure is different from the second embodiment in the following points.
  • the same reference number is assigned to the same portion as that of the second embodiment, and the description thereof will be omitted.
  • a point where the line-of-sight position acquisition unit 20 has an image pickup unit 21 and a line-of-sight direction acquisition unit 22.
  • the line-of-sight position acquisition unit 20 is provided in the wearable terminal 35, and the feedback output from the line-of-sight position determination device 10 provided separately from the wearable terminal 35 is output as voice feedback via the speaker 36.
  • the field image captured by the imaging unit 21 is output to the target position setting unit 14.
  • the determination area P2 is set based on the information of the target position P1.
  • the line-of-sight direction acquisition unit 22 detects the user's line-of-sight direction (line-of-sight vector), and the detected line-of-sight vector is output to the line-of-sight position input unit 11.
  • the determination area P2 can be set so as to include the human facing the user, so that a realistic human-to-human communication can be experienced.
  • the feedback output from the line-of-sight position determination device 10 to the user is not limited to voice feedback, and may be output via a screen (not shown).
  • the screen may be built in the wearable terminal 35, or may be provided separately from the wearable terminal 35.
  • the line-of-sight position determination method of the present disclosure a line-of-sight position determination method using the line-of-sight position determination device 10 (hereinafter referred to as the line-of-sight position determination method of the present disclosure) will be described.
  • the line-of-sight position determination method of FIG. 11 there is a line-of-sight position determination method of FIG. 11, and this line-of-sight position determination method is implemented, for example, by the CPU of the line-of-sight position determination device 10 executing a predetermined program, and is applied to treatment and training of neuropsychiatric disorders. You can also do it.
  • the target position P1 and the determination area P2 are set in the line-of-sight position determination device 10 (for example, the line-of-sight position determination device 10 of the second and fourth embodiments) including the target position setting unit 14.
  • the difficulty of training is set. The difficulty level and maintenance time of the training can be omitted if they are set in advance.
  • the position of the line of sight of the user is input to the line-of-sight position input unit 11 (step S1), and the determination unit 12 determines whether or not the position of the line of sight of the user is located in the determination area P2. Determination (step S2). When it is not determined that the position of the line of sight is located in the determination area P2, the determination unit 12 determines that the lines of sight do not match (line-of-sight mismatch) (step S7).
  • the determination unit 12 When it is determined that the line-of-sight position is located in the determination area P2, the determination unit 12 has reached a preset maintenance time (set maintenance time) while remaining in the determination area P2. Whether or not it is determined (step S3). When it is not determined that the set maintenance time has been reached for the elapsed time while staying in the determination area P2, the determination unit 12 determines that the lines of sight do not match (step S7).
  • the determination unit 12 determines that the lines of sight have matched (step S4), and the output unit 13 informs the user. Feedback is output in real time (step S5). It should be noted that the real time includes a predetermined time lag (for example, a time lag that occurs for technical reasons). After that, the line-of-sight position determination device 10 determines whether or not to end the line-of-sight match determination, in other words, whether or not to continuously perform the line-of-sight match determination (step S6).
  • step S6 the line-of-sight position determination device 10 ends the line-of-sight match determination. If it is determined in step S7 that the line-of-sight match determination is not established (that is, the line-of-sight match is not established), it is possible to return to step S1 and perform the line-of-sight match determination again after lowering the difficulty level of training. ..
  • the line-of-sight position determination device 10 determines in step S6 to end the line-of-sight match determination.
  • the line-of-sight position determination method using the line-of-sight position determination device 10 can be applied to, for example, diagnosis, severity classification, treatment, training and / or monitoring of neuropsychiatric disorders.
  • neuropsychiatric disorders include psychiatric disorders and neurodegenerative disorders.
  • the psychiatric disorders to which the present disclosure is applicable are not particularly limited, but are, for example, in the diagnostic criteria of DSM-5, neurodevelopmental disorder group, schizophrenia spectrum disorder and other psychotic disorder group, anxiety group, obsessive-compulsive disorder. And related disease group, psychotic trauma and stress factor related disorder group, neurocognitive disorder group and the like. It also includes diseases in which the ability to communicate with the eyes is reduced due to mental illness.
  • the mental illness is not particularly limited, but is preferably a neurodevelopmental disorder group, an anxiety group, obsessive-compulsive disorder and related disease group, and a traumatic and stress factor-related disorder group, and more preferably a neurodevelopmental disorder group, and Anxiety group is mentioned.
  • Diseases in the neurodevelopmental disorder group are not particularly limited, but are, for example, intellectual disability, general developmental delay, speech disorder, speech disorder, childhood onset fluency, and social (verbal) communication disorder.
  • Unspecified communication disorder autism spectrum disorder, attention deficit / hyperactivity disorder, localized learning disorder, developmental coordinated motility disorder, homozygous motility disorder, turret disease, persistent (chronic) exercise or voice ticosis, provisional tic Diseases, other identified tic disorders, unspecified tic disorders, other identified neurodevelopmental disorders, unspecified neurodevelopmental disorders, and the like.
  • Turretosis, persistent (chronic) motor or vocal ticosis, provisional ticosis, other identified tic disorders, unspecified tic disorders, other identified neurodevelopmental disorders, and unspecified neurodevelopmental disorders And more preferably childhood-onset fluency and autism spectrum disorders.
  • schizophrenia-type personality disorder is not particularly limited, but are, for example, schizophrenia-type personality disorder, delusional disorder, short-term psychotic disorder, schizophrenia-like disorder, schizophrenia.
  • Symptoms schizophrenia emotional disorders, substance / drug-induced psychotic disorders, psychotic disorders due to other medical disorders, tension disorders related to other mental disorders, tension pathological disorders due to other medical disorders, unspecified These include tension disease, other identified schizophrenia spectrum disorders and other psychotic disorders, unspecified schizophrenia spectrum disorders and other psychotic disorders, debilitating psychotic syndrome (quasi-psychotic syndrome), and the like.
  • the diseases of the anxiety group are not particularly limited, but for example, separation anxiety, scene silence (selective silence), localized phobia, social anxiety, panic, square phobia, general phobia, substance. • Drug-induced anxiety, anxiety due to other medical disorders, other identified phobias, etc. It is preferably separation anxiety, scene silence (selective silence), specific phobia, social anxiety, panic, agoraphobia, and general phobia, and more preferably social anxiety.
  • Obsessive-compulsive disorder, dysmorphic phobia, trichotillomania, and excoriation disorder are preferred, and dysmorphic phobia is particularly preferred.
  • Diseases in the group of traumatic and stress-related disorders are not particularly limited, but are, for example, reactive attachment disorders, desuppressive interpersonal interaction disorders, post-traumatic stress disorders, acute stress disorders, adaptation disorders, etc. Specified trauma and stress factor-related disorders, unspecified trauma and stress factor-related disorders, and the like.
  • the disease of the neurocognitive impairment group is not particularly limited, and examples thereof include delirium, dementia, and mild cognitive impairment. Dementia and mild cognitive impairment are preferred.
  • the neurodegenerative disease is not particularly limited, and examples thereof include Parkinson's disease, cranial neuropathy and / or other diseases in which a decrease in visual communication ability is observed.
  • the method for determining the line-of-sight position of the present disclosure is training for a person who has not been diagnosed with a neuropsychiatric disorder but has a tendency to deteriorate the ability of line-of-sight communication, or a person who may have an obstacle to social life due to a decrease in line-of-sight communication ability. Can also be applied to. As a result, training can be started at an early timing, and it is possible to avoid aggravation and intractability of neuropsychiatric disorders.
  • the training using the line-of-sight position determination method of the present disclosure (hereinafter referred to as the training of the present disclosure) is carried out by a training system equipped with a line-of-sight position determination device 10 or a line-of-sight position determination system 1, and communication by a line of sight close to the real world.
  • the environment can be reproduced, and for example, it is carried out with the goal of improving and improving the line-of-sight communication ability.
  • training of various line-of-sight communication abilities can be carried out.
  • the line-of-sight communication ability is an index of the ability to communicate through the line of sight in interpersonal relationships in the real world.
  • Gaze communication ability includes social gaze control ability (ability to control and use gaze as a signal), social gaze understanding ability (ability to understand gaze as signal), and social gaze transmission ability (in an appropriate context). It is composed of the ability to emit the line of sight as a signal), the ability to respond to the social line of sight (the ability to respond to the line of sight as a signal in an appropriate context), and the like.
  • Examples of the social gaze control ability include a social gaze matching ability, a social gaze shift ability, and a joint gaze ability. These can be measured through the training of the present disclosure (see Table 1).
  • Gaze communication ability includes Liebowitz Social Anxiety Scale, Social Phobia Inventory, Patient Health Questionnaire -9, Generalized Anxiety Disorder -7, etc.
  • the index for determining the social gaze control ability that is, the possibility of gaze matching, the analysis value of the first time, the second) Time, line-of-sight distance, and number of line-of-sight matches
  • the line-of-sight communication ability can be comprehensively evaluated at the time of examination by combining a clinical score and an index for determining social line-of-sight control ability.
  • the analysis value of the first time is the average value or the maximum value of the time elapsed while staying in the determination area P2 from the time when the position of the line of sight of the user is located in the determination area P2, and the first time. It is a ratio of time (ratio of time staying in the determination area P2), and the second time is determined to be in the determination area P2 from the time when the position of the user's line of sight is first input to the line-of-sight position input unit.
  • the line-of-sight distance is the average value of the distances between the target position P1 and the line-of-sight position within the determination time.
  • the social line-of-sight control ability can be trained, for example, by setting the determination area P2 so as to include a social object to which the line of sight is directed.
  • the social line-of-sight matching ability can be trained, for example, by setting the determination area P2 to include a social object that is a gaze target.
  • eye contact training can be performed by setting the determination area P2 to include the eyeball position.
  • the social line-of-sight shift ability can be trained, for example, by setting the determination area P2 to include a social object to be the target of the line-of-sight shift.
  • the joint gaze ability can be trained, for example, by setting the determination area P2 to include a social object designated as a shared object by another person.
  • the social line-of-sight control ability is determined based on any one or a combination of the possibility of line-of-sight matching, the first time, the second time, the line-of-sight distance, and the number of line-of-sight matching. For example, when different users tackle the same task, it is determined that the user who can match the line of sight has a higher social line-of-sight control ability than the user who cannot match the line of sight.
  • the analysis value of the first time is long or large
  • the second time is short
  • the line-of-sight distance is short
  • the number of line-of-sight matches is large, and the like means that the social line-of-sight control ability is high. ..
  • Examples of the ability to transmit social gaze include “Power Gazing”, which indicates that one is confident in contact, “Social Gazing”, which indicates an intention to interact, and “Intimate Gazing”, which indicates an intention to become close. ..
  • the training in this disclosure consists of any task in which one instruction is given to look at a social object.
  • the task can be determined by the line-of-sight communication ability that you want to improve.
  • the task is not particularly limited as long as it is configured for the purpose of improving and improving the ability, but it is preferable to incorporate the viewpoint of cognitive behavioral therapy.
  • By correcting cognitive-behavioral biased patterns in a cognitive-behavioral therapy it is possible to obtain the effects of attention shift training performed in cognitive-behavioral therapy, not just the acquisition of social gaze control ability. ..
  • a patient with social anxiety disorder has a bias in his / her own (internal) attention, and is in a state where he / she cannot flexibly switch between them. Therefore, teachings that pay attention to the facial expression recognition and emotion recognition of others (for example, “Look at the other person's face. What kind of facial expression?" Or “Look at the other person's face. Which" Do you feel like that? ”, Etc.), which has the effect of facilitating the shift of social gaze to the outside (others, etc.) in the training of social gaze shift ability.
  • teachings that indicate that you are in contact with confidence for example, "look at the other person's forehead and both eyes alternately" or teaching that you want to interact (for example, “the other person's eyes”).
  • “Alternately look at the mouth and mouth” or by making it a task that includes teaching (for example, "Alternately look at the other person's eyes and chest") to show the intention to get close to each other, the ability to transmit social gaze. It is also possible to learn.
  • an auditory attention shift training method called "Attention Training Technique (ATT)” that distinguishes between multiple sounds has been formulated.
  • ATT Automatic Training Technique
  • the training of the present disclosure is extremely useful in that it can realize visual attention shift training by combining the line-of-sight determination performed by the training system of the present disclosure and the task with cognitive-behavioral modification. expensive.
  • the training includes the first task in which the determination area P2 is set so as to include the constituent parts of the social object (for example, eyes, nose, mouth, forehead, etc.) to which the line of sight is directed, and the constituent parts. It may include a second task in which the determination area P2 is set so as to include the structural unit (for example, when the eye is a constituent part, the face, the whole body, etc. are the constituent units). .. Further, in the training, a third task in which the determination area P2 is set so as to alternately include the constituent parts and the constituent units, and facial expressions and / or facial expressions of social objects in which the determination area P2 is set are set. A fourth task of guessing emotions may be included.
  • the constituent parts of the social object for example, eyes, nose, mouth, forehead, etc.
  • Training is performed by the user performing one or more tasks. For example, it may be performed by performing a plurality of tasks presented in succession, and a plurality of trainings may be performed as a series of trainings at intervals of days and times.
  • the training result can be calculated as an evaluation for each task or a comprehensive evaluation for multiple tasks.
  • the task is a unit in which the line-of-sight matching determination is continuously performed for a predetermined time (for example, 20 seconds or 30 seconds), and the result of the line-of-sight matching determination is obtained at least once.
  • the difficulty level of training can be decided arbitrarily. For example, it can be determined based on the results of training already performed, and may be determined to be gradually higher.
  • the difficulty level of training can be set according to the difficulty level of the line-of-sight match judgment and / or the difficulty level of the task.
  • the difficulty level of the line-of-sight match determination can be set by the determination area P2 and / or the maintenance time.
  • the difficulty level of the line-of-sight matching determination can be changed by enlarging or reducing the determination area P2 and / or increasing or decreasing the maintenance time.
  • the difficulty level of the task is determined, for example, by the subjective and / or objective evaluation of the user.
  • the user's subjective and / or objective assessment includes, for example, the user's subjective and / or objective stress index.
  • the user's subjective stress means the stress felt by the user, and the stress index includes self-reporting of anxiety about training and the degree of pain.
  • the user's objective stress means stress evaluated by a person other than the user, and the stress index includes the social gaze control ability evaluated in training, the heart rate and heart rate fluctuation index during training, and training.
  • the degree of opening of the pupil inside, the number of blinks during training, their changes, etc. can be mentioned.
  • Heart rate variability indicators include low frequency components (LF), high frequency components (HF) and / or their ratios (LF / HF).
  • the stress applied to the user may be determined by the ease of applying stress that is generally assumed. For example, a task consisting of asking a person with a scary appearance for directions is more likely to put stress on the user than a task consisting of asking a person with a gentle appearance for directions. I can say.
  • the difficulty level of the task is changed, for example, by changing the elements constituting the task.
  • the elements constituting the task include those shown in Table 2 in addition to the teaching that directs the line of sight to the social object.
  • a method of presenting the task to the user there are a method of presenting by video content (video and / or still image), a method of presenting in VR space, a method of presenting in the real world, and depending on the selected presentation method. It is possible to change the difficulty level of the task.
  • the difficulty level of the task can be changed depending on the type of image (video, still image) and the type of image (illustration, animation, photo).
  • the duration, frequency and duration of each training are not particularly limited and can be arbitrarily set by the user and / or the practitioner.
  • one to 240 minutes of training is performed once every 90 days to 12 times a day for a period of one day to one year.
  • the effect of treatment can be expected by noticing the significance of eye contact and / or eye contact with social objects.
  • the effect of treatment can be expected by intensively performing 10-minute training once a day 12 times.
  • the effect of treatment can be expected by training at a slow pace of 20 minutes once every 90 days for one year.
  • the duration of each training session can be set arbitrarily, but if it is less than 1 minute per training session, it may be too short and the treatment effect may be reduced, and if it exceeds 240 minutes per training session, the user.
  • the load on the patient may become too great and the effect of treatment may be reduced.
  • the frequency of training can be set arbitrarily, but if training is performed at a frequency lower than once every 90 days (for example, once every 120 days), the training interval is too long and the effect of treatment is effective. May decrease.
  • when training is performed at a frequency higher than 12 times a day (for example, 20 times a day) the load on the user may become too large and the effect of the treatment may be reduced.
  • the period, frequency and duration of each training are not particularly limited and can be arbitrarily set by the user and / or the practitioner.
  • 10 to 40 minutes of training is performed once to twice a week, 8 to 16 times. Considering that it is common to go to the hospital about once a week, for example, assuming that one 20-minute training is performed once a week, it is considered that it takes about 8 weeks to become a habit. Because.
  • the period, frequency and duration of each training are not particularly limited and can be arbitrarily set by the user.
  • 10 to 40 minutes of training is performed once a day to once a week.
  • the total number of training sessions is not particularly limited, but is preferably performed in the range of 8 to 30 training sessions.
  • Outpatient treatment at a medical institution may be used in combination with home treatment.
  • the training disclosed in this disclosure is used not only for those who have been diagnosed with neuropsychiatric disorders, but also for those who have a tendency to have a decline in their line-of-sight communication ability, or those who may have an obstacle to their social life due to a decline in their line-of-sight communication ability. can.
  • the duration, frequency, and duration of each training are not particularly limited and can be arbitrarily set by the user and / or the practitioner.
  • the time and frequency are not particularly limited, but the training is preferably performed once a day to once a week for 10 to 40 minutes each time.
  • the line-of-sight position determination device 10 of the present disclosure includes a determination unit 12 for determining whether or not the position of the user's line of sight input to the line-of-sight position input unit 11 is in the determination area P2, and a determination area for setting the determination area P2. It includes a setting unit 15 and an output unit 13 that outputs feedback to the user when the determination unit 12 determines that the position of the line of sight is in the determination area P2. For example, by setting the determination area P2 so as to include the eyeball position of the person facing the user, it is possible to reproduce a communication environment with line-of-sight matching close to the real world.
  • the line-of-sight position determination device 10 of the first embodiment when it is determined that the position of the line-of-sight of the user is in the determination area, feedback is output to the user. Therefore, for example, when the line-of-sight position determination device 10 is used for the treatment or training of a neuropsychiatric disorder, the user's motivation for the treatment or training can be increased. For example, by setting the determination area P2 based on the concept of cognitive-behavioral therapy, it is possible to carry out training of various line-of-sight communication abilities.
  • the judgment unit 12 When the time (first time) elapsed from the time when the position of the line of sight of the user is located in the judgment area P2 while staying in the judgment area P2 reaches the preset maintenance time, the judgment unit 12 is used. It is determined that the position of the line of sight is in the determination area P2. With such a configuration, the line-of-sight matching determination can be performed more accurately.
  • the measuring unit 16 measures an index of social line-of-sight control ability. For example, the measurement unit 16 determines that the analysis value of the first time and the position of the line of sight are in the determination area P2 from the time when the line-of-sight position is first input to the line-of-sight position input unit 11 as an index of the social line-of-sight control ability. Measure at least one of the second time elapsed during the period, the distance between the user's line-of-sight position and the determination area P2, and the number of times the line-of-sight position is determined to be in the determination area P2. do. By using the measured index, it is possible to determine the social gaze control ability of the user. For example, by recording the measured social gaze control ability over time, it is possible to diagnose a neuropsychiatric disorder in which gaze control is difficult, or to monitor the treatment or training effect on the neuropsychiatric disorder.
  • the output unit 13 outputs feedback to the user in real time. With this configuration, it is possible to reproduce a communication environment with a line of sight closer to the real world.
  • the line-of-sight position determination device 10 further includes a target position setting unit 14 for setting a target position P1 to which the user aligns the line of sight.
  • a target position setting unit 14 for setting a target position P1 to which the user aligns the line of sight.
  • the determination area setting unit 15 is, for example, the entire body of a person facing the user, a part of the body of the person facing the user, the entire face of the person facing the user, and a part of the face of the person facing the user.
  • the determination area P2 can be set to include one selected from the eye part of the person facing the user and a part of the eyeball position of the person facing the user. With such a configuration, it is possible to reproduce a communication environment with a line of sight closer to the real world.
  • the determination area setting unit 15 is, for example, an entire animal body, a part of the animal body, an entire animal face, a part of the animal face, or an animal in an image of an animal including a person displayed on a display facing the user.
  • the determination region P2 can be set as the target position P1 so as to include one selected from the eye portion and the eyeball position of the animal. With such a configuration, it is possible to reproduce a communication environment with a line of sight closer to the real world.
  • the determination area setting unit 15 can set the determination area P2 so as to include, for example, the eyeball position of the animal in the image of the animal including the person facing the user or the person displayed on the display facing the user. .. With such a configuration, it is possible to reproduce a communication environment with a line of sight closer to the real world.
  • the determination area setting unit 15 determines the size of the determination area P2 based on, for example, the distance L between the left and right eyeball positions P3 and P4 of the person facing the user or the person displayed on the display facing the user. Can be set. With such a configuration, the size of the target image seen by the user can be calculated with a simple configuration, for example, it can be used as an index of the difficulty level of the task or used for standardizing the size of the judgment area P2 between tasks. can do.
  • a lower limit is set for the size of the determination area P2.
  • the line-of-sight position determination device 10 further includes a difficulty level setting unit 50 that sets the difficulty level of determination by the determination unit 12. With such a configuration, it is possible to set a plurality of levels of difficulty for the line-of-sight matching determination.
  • the difficulty level setting unit 50 sets the difficulty level of the line-of-sight matching determination by setting the size of the determination area P2 and / or the length of the maintenance time. With such a configuration, it is possible to easily set a plurality of levels of difficulty for the line-of-sight matching determination.
  • Feedback is given through one or more senses selected from visual, auditory and tactile sensations.
  • the line-of-sight position determination system 1 of the present disclosure includes a line-of-sight position determination device 10 and a line-of-sight position acquisition unit 20 that acquires the position of the user's line of sight and outputs it to the line-of-sight position input unit 11.
  • the line-of-sight position determination device 10 can realize a line-of-sight position determination system 1 that can reproduce a communication environment with a line of sight close to the real world.
  • the line-of-sight position determination method of the present disclosure detects the position of the line of sight of the user, determines whether or not the position of the detected line of sight is in the determination area P2, and determines that the position of the line of sight is in the determination area P2. If so, feedback is output to the user. Further, the program of the present disclosure causes a computer to execute the method of determining the line-of-sight position of the present disclosure. With such a configuration, for example, by setting the determination area P2 so as to include a social object to which the line of sight is directed, performing line-of-sight matching determination and feedback, it is possible to reproduce a communication environment with a line of sight closer to the real world.
  • the line-of-sight position determination method of the present disclosure can also be applied to a method for diagnosing a neuropsychiatric disorder and a method for supporting the diagnosis of a neuropsychiatric disorder.
  • a plurality of images in which the determination area P2 is set are continuously presented to the user.
  • the communication from the line of sight of the unreal world to the communication with the line of sight close to the real world is stepwise. It is possible to reproduce the communication environment with a clear line of sight.
  • the treatment method, training method, evaluation method and monitoring method of the present disclosure use the line-of-sight position determination method of the present disclosure.
  • the line-of-sight position determination method easily and uniformly reproduces the communication environment with the line of sight closer to the real world and outputs feedback, so that the treatment is highly continuous and highly effective.
  • the method and training method can be realized.
  • the therapeutic effect of the treatment method of the present disclosure and the training effect of the training method of the present disclosure are the Liebowitz Social Anxiety Scale, the Social Phobia Inventory, and the Patient Health Questionnaire-.
  • Health-related QOL evaluation self-administered using the medical and economic health-related QOL evaluation scale EuroQol 5 Dimension (EQ-5D), anxiety disorder of eye contact, And / or show that at least one improvement in the enjoyment of eye contact can be expected.
  • the difficulty of the task and the determination can be adjusted by the user, so that the anxiety and stress of the user can be reduced.
  • the situation where the practitioner is in a remote place regardless of the specialty and skill level of the practitioner (for example, a doctor, a psychologist (psychologist), a counselor, a therapist).
  • standardized treatment and training can be provided even in the absence of the practitioner.
  • the treatment method of the present disclosure also includes a treatment support method.
  • the training system of the present disclosure includes a line-of-sight position determination device 10 or a line-of-sight position determination system 1, and is configured to be capable of performing training using the line-of-sight position determination method.
  • a line-of-sight position determination device 10 or the line-of-sight position determination system 1 and the line-of-sight position determination method By the line-of-sight position determination device 10 or the line-of-sight position determination system 1 and the line-of-sight position determination method, a communication environment closer to the real world can be reproduced, and a highly effective training system can be realized.
  • the line-of-sight position determination device of the first aspect of the present disclosure is The line-of-sight position input section where the position of the user's line of sight is input, Judgment area setting unit that sets the judgment area and A determination unit for determining whether or not the line-of-sight position input by the line-of-sight position input unit is in the determination area, and a determination unit.
  • the determination unit determines that the position of the line of sight is in the determination area
  • the determination unit includes an output unit that outputs feedback to the user.
  • the line-of-sight position determination device of the second aspect of the present disclosure is Further, a measuring unit for measuring the first time elapsed in a state of staying in the determination area from the time when the position of the line of sight is located in the determination area is further provided.
  • the determination unit When the first time measured by the measuring unit reaches the preset maintenance time, it is determined that the position of the line of sight is in the determination region.
  • the line-of-sight position determination device of the third aspect of the present disclosure is The output unit is The feedback is output to the user in real time.
  • the line-of-sight position determination device is Further, a target position setting unit for setting a target position for the user to match his / her line of sight is provided.
  • the line-of-sight position determination device is The determination area setting unit is The entire body of the animal, including the person facing the user, the part of the body of the animal facing the user, the entire face of the animal facing the user, the face of the animal facing the user.
  • the determination area is set to include one selected from a portion, the eye of the animal facing the user, and a portion of the eyeball position of the animal facing the user.
  • the line-of-sight position determination device is The determination area setting unit is The whole body of the animal, a part of the body of the animal, the whole face of the animal, a part of the face of the animal, the eye of the animal, in the image of the animal including a person displayed on the display facing the user. And, the determination area is set so as to include one selected from the eyeball positions of the animal.
  • the line-of-sight position determination device is The determination area setting unit is The determination area is set so as to include the eyeball position of the animal.
  • the line-of-sight position determination device is The determination area setting unit is The size of the determination region is set based on the distance between the left and right eyeball positions of the animal in the image of the animal including the person included in the view image of the user.
  • the line-of-sight position determination device is A lower limit is set for the size of the determination area.
  • the line-of-sight position determination device is The animal is a human.
  • the line-of-sight position determination device is The measurement unit that measures the first time elapsed from the time when the position of the line of sight is located in the determination area stays in the determination area, and the determination is made from the time when the position of the line of sight is located in the determination area. In addition to the first time elapsed while staying in the area, the index of the user's social gaze control ability is measured.
  • the line-of-sight position determination device is The index of the social line-of-sight control ability is the analysis value of the first time, from the time when the line-of-sight position is first input to the line-of-sight position input unit to the time when it is determined to be in the determination area. It is at least one of a second time elapsed, a distance between the user's line-of-sight position and the determination area, and the number of times the line-of-sight position is determined to be in the determination area.
  • the line-of-sight position determination device is By comparing the measured index of the social gaze control ability of the user with the index of the social gaze control ability of another user, a plurality of the above-mentioned tasks of the training composed of a plurality of tasks. Of these, the problem that the user is not good at is estimated.
  • the line-of-sight position determination device is It also has a difficulty setting unit that sets the training load consisting of multiple tasks.
  • the difficulty setting unit sets the training load according to the measured index of the social gaze control ability.
  • the line-of-sight position determination device is It also has a difficulty setting unit that sets the training load consisting of multiple tasks.
  • the line-of-sight position determination device is The difficulty setting unit sets the training load based on the result determined by the determination unit.
  • the line-of-sight position determination device is In the difficulty setting unit, when the measured index of the social gaze control ability is higher than the measured index of the social gaze control ability before the measured index of the social gaze control ability. , Increase the load of the training.
  • the line-of-sight position determination device is Further, a measuring unit for measuring the first time elapsed in a state of staying in the determination area from the time when the position of the line of sight is located in the determination area is further provided.
  • the determination unit When the first time measured by the measuring unit reaches a preset maintenance time, it is determined that the position of the line of sight is in the determination region.
  • the difficulty setting unit is The training load is set by setting the size of the determination area and / or the length of the maintenance time.
  • the line-of-sight position determination device is The difficulty setting unit sets the deviation of each of the tasks with respect to the measured average value of the index of the social gaze control ability of the user as the average value of the index of the social gaze control ability of the other user. By comparing with each deviation of the task with respect to the above, the task that the user is not good at is estimated, and the load of the training is set based on the estimated task.
  • the line-of-sight position determination device is Further, a measuring unit for measuring the first time elapsed in a state of staying in the determination area from the time when the position of the line of sight is located in the determination area is further provided. In addition to the first time, the measuring unit measures an index of the user's social gaze control ability.
  • the line-of-sight position determination device is Further, a measuring unit for measuring the first time elapsed in a state of staying in the determination area from the time when the position of the line of sight is located in the determination area is further provided.
  • the determination unit When the first time measured by the measuring unit reaches a preset maintenance time, it is determined that the position of the line of sight is in the determination region.
  • the difficulty setting unit is The training load is set by setting the size of the determination area and / or the length of the maintenance time.
  • the line-of-sight position determination device is The index of the social line-of-sight control ability is the analysis value of the first time, from the time when the line-of-sight position is first input to the line-of-sight position input unit to the time when it is determined to be in the determination area. It is at least one of a second time elapsed, a distance between the user's line-of-sight position and the determination area, and the number of times the line-of-sight position is determined to be in the determination area.
  • the line-of-sight position determination device is It is further equipped with an operation unit that can accept the difficulty change operation for changing the training load.
  • the difficulty setting unit sets the difficulty level of the training by the difficulty level changing operation accepted by the operation unit.
  • the line-of-sight position determination device is In the difficulty setting unit, when the measured index of the social gaze control ability is higher than the measured index of the social gaze control ability before the measured index of the social gaze control ability. , Increase the load of the training.
  • the line-of-sight position determination device is The feedback is provided through one or more sensations selected from visual, auditory and tactile sensations.
  • the line-of-sight position determination device is The difficulty setting unit sets the deviation of each of the tasks with respect to the measured average value of the index of the social gaze control ability of the user with respect to the average value of the index of the social gaze control ability of the other user. By comparing with each deviation of the task, the task that the user is not good at is estimated, and the training load is set based on the estimated task.
  • the line-of-sight position determination device is It is used for the diagnosis, severity classification, treatment, training, and / or monitoring of neuropsychiatric disorders, or for improving the ability to communicate with the eyes.
  • the line-of-sight position determination device is It is further equipped with an operation unit that can accept the difficulty change operation for changing the training load.
  • the difficulty setting unit sets the difficulty level of the training by the difficulty level changing operation accepted by the operation unit.
  • the line-of-sight position determination device is The neuropsychiatric disorder is an anxiety group or a neurodevelopmental disorder group.
  • the line-of-sight position determination system is The line-of-sight position determination device of the above-described aspect and It has a line-of-sight direction acquisition unit that detects the line-of-sight direction of the user, and includes a line-of-sight position acquisition unit that outputs the line-of-sight direction of the user detected by the line-of-sight direction acquisition unit to the line-of-sight position input unit.
  • the line-of-sight position determination system is The line-of-sight position acquisition unit Further having a view image acquisition unit for acquiring the view image of the user, The position of the line of sight of the user is acquired based on the view image.
  • the line-of-sight position determination system is The line-of-sight position input unit A display position detecting unit that detects the position of the presented image presented to the user in the field image acquired by the field image acquisition unit, and a display position detecting unit. Based on the detected position of the presented image, a line-of-sight position changing unit that converts the position of the line of sight of the user in the coordinate system of the field image to the position of the line of sight of the user in the coordinate system of the presented image. Have more.
  • the line-of-sight position determination method is as follows. Enter the position of the user's line of sight and Set the judgment area and It is determined whether or not the input position of the line of sight is in the determination area, and When it is determined that the position of the line of sight is in the determination area, feedback is output to the user.
  • the line-of-sight position determination method is as follows.
  • the first time elapsed from the time when the position of the line of sight is located in the determination area is measured while the position of the line of sight remains in the determination area.
  • the measured first time reaches the preset maintenance time, it is determined that the position of the line of sight is in the determination area.
  • the method for determining the line-of-sight position according to the 28th aspect of the present disclosure is as follows.
  • the feedback is output to the user in real time.
  • the line-of-sight position determination method is as follows. Set the target position where the user looks at, The determination area including the target position is set.
  • the method for determining the line-of-sight position is as follows.
  • the entire body of the animal including the person facing the user, the part of the body of the animal facing the user, the entire face of the animal facing the user, the face of the animal facing the user.
  • the determination area is set to include one selected from a portion, the eye of the animal facing the user, and a portion of the eyeball position of the animal facing the user.
  • the method for determining the line-of-sight position according to the 31st aspect of the present disclosure is as follows.
  • the determination area is set to include one selected from the eyeball positions of the animal.
  • the method for determining the line-of-sight position according to the 32nd aspect of the present disclosure is as follows.
  • the size of the determination region is set based on the distance between the left and right eyeball positions of the animal including the person facing the user.
  • the method for determining the line-of-sight position according to the 33rd aspect of the present disclosure is as follows.
  • a lower limit is set for the size of the determination area.
  • the line-of-sight position determination method is as follows.
  • the lower limit value is determined based on the line-of-sight position fluctuation data representing the line-of-sight position that changes with the passage of time when the user gazes at an arbitrary point.
  • the method for determining the line-of-sight position according to the 35th aspect of the present disclosure is as follows.
  • the animal is a human.
  • the training system of the 36th aspect of the present disclosure is The line-of-sight position determination device of the above-described embodiment or the line-of-sight position determination system of the above-described embodiment is provided.
  • the evaluation method according to the 37th aspect of the present disclosure is as follows.
  • the line-of-sight position determination method of the above aspect was used.
  • the evaluation method according to the 38th aspect of the present disclosure is as follows.
  • the line-of-sight communication ability is a social line-of-sight control ability or a social line-of-sight transmission ability.
  • the evaluation method of the 39th aspect of the present disclosure is
  • the social gaze control ability is a social gaze matching ability, a social gaze shift ability, or a joint gaze ability.
  • the training method of the 40th aspect of the present disclosure is Training is carried out using the line-of-sight position determination method of the above aspect.
  • the training method of the 41st aspect of the present disclosure is The training is composed of a plurality of tasks configured so that a determination result as to whether or not the position of the line of sight is in the determination region can be obtained at least once, and the plurality of tasks are continuously performed.
  • the task includes directing the line of sight to any one of the plurality of determination areas according to the teaching.
  • the training method of the 42nd aspect of the present disclosure is For the above-mentioned problem,
  • the first task in which the determination area is set so as to include the constituent parts of the social object to which the line of sight is directed, and It includes a second task in which the determination area is set to include a structural unit that includes the constituent parts.
  • the training method of the 43rd aspect of the present disclosure is for the above-mentioned problem, A third task is included in which the determination area is set so as to alternately include the constituent parts and the constituent units.
  • a fourth task of inferring the facial expression and / or emotion of the social object in which the determination area is set is included.
  • the training method of the 45th aspect of the present disclosure is The training load is set according to the difficulty level of the task.
  • the training method of the 46th aspect of the present disclosure is The training load is set based on indicators including the subjective or objective evaluation of the user.
  • the training method of the 47th aspect of the present disclosure includes an evaluation in which the user self-reports the pain experienced by performing the training.
  • the training method of the 47-2 aspect of the present disclosure is The training load is set by the determination result of whether or not the position of the line of sight is in the determination area.
  • the training method of the 48th aspect of the present disclosure For the objective evaluation of the user, the result of the training, the change and / or the heart rate fluctuation index of the user during the training, the degree of opening of the pupil of the user, and the user. Includes at least one of the changes in the number of blinks.
  • the training method according to the 48-2 aspect of the present disclosure
  • the first time elapsed from the time when the position of the line of sight is located in the determination area while the position of the line of sight remains in the determination area reaches a preset maintenance time, and the position of the line of sight is the position of the determination area. If it is determined to be in the determination area,
  • the training load is set by setting the size of the determination area and / or the length of the maintenance time.
  • the training method of the 49th aspect of the present disclosure It measures an index of social line-of-sight control ability, which is the ability to control and use the line of sight as a signal.
  • the training method of the 50th aspect of the present disclosure is When the position of the line of sight is first input for the first time elapsed from the time when the position of the line of sight is located in the determination area to the state where the index of the social line-of-sight control ability remains in the determination area.
  • the second time elapsed from the time when it is determined to be in the determination area, the distance between the line-of-sight position of the user and the determination area, and the position of the line of sight are in the determination area. It is at least one of the number of times determined to be.
  • the training method of the 51st aspect of the present disclosure is The training load is set by the measured index of the user's social gaze control ability.
  • the training method of the 52nd aspect of the present disclosure is The training load is set based on the result of determination as to whether or not the position of the line of sight is in the set determination region.
  • the training method of the 53rd aspect of the present disclosure When the first time reaches a preset maintenance time and it is determined that the position of the line of sight is in the determination region.
  • the training load is set by setting the size of the determination area and / or the length of the maintenance time.
  • the training method of the 53-2 aspect of the present disclosure is The first time elapsed from the time when the position of the line of sight is located in the determination area and the state of staying in the determination area, and the index of the social line-of-sight control ability which is the ability to control and use the line of sight as a signal. measure.
  • the training method of the 54th aspect of the present disclosure In the training, among a plurality of tasks configured so that a determination result as to whether or not the position of the line of sight is in the determination area can be obtained at least once, the task is continuously used in order from the task having the lowest difficulty level. It is configured to be presented to the person.
  • the training method of the 54-2 aspect of the present disclosure is The index of the social line-of-sight control ability is the analysis value of the first time, the second time elapsed from the time when the position of the line of sight is first input to the time when it is determined to be in the determination area. , The distance between the line-of-sight position of the user and the determination area, and at least one of the number of times the position of the line of sight is determined to be in the determination area.
  • the training method according to the 55-2 aspect of the present disclosure is If the measured index of the social gaze control ability is higher than the measured index of the social gaze control ability before the measured index of the social gaze control ability, the training load is high. do.
  • the training method according to the 56-2 aspect of the present disclosure The deviation of each of the tasks with respect to the measured average value of the index of the social gaze control ability of the user and the deviation of each of the tasks with respect to the average value of the index of the social gaze control ability of another user. By comparing, the task that the user is not good at is estimated, and the load of the training is set based on the estimated task.
  • the training method according to the 57-2 aspect of the present disclosure
  • the difficulty level of the training is set by the difficulty level changing operation for changing the training load.
  • the monitoring method according to the 55th aspect of the present disclosure is described.
  • the line-of-sight position determination method of the above aspect was used.
  • the 56th aspect of the present disclosure is a method for treating a neuropsychiatric disorder. Training using the training method of the above aspect is carried out.
  • the 57th aspect of the present disclosure is a method for treating a neuropsychiatric disorder. During the period of 1 day to 1 year, the training for 1 minute to 240 minutes is performed once every 90 days to 12 times a day.
  • the 58th aspect of the present disclosure is a method for treating a neuropsychiatric disorder.
  • the training load is gradually increased.
  • the 59th aspect of the present disclosure is a method for treating a neuropsychiatric disorder.
  • the difficulty level of the training is changed according to the user.
  • the method for diagnosing a neuropsychiatric disorder according to the 60th aspect of the present disclosure is as follows.
  • the line-of-sight position determination method of the above aspect was used.
  • the program of the 61st aspect of the present disclosure is A computer is made to execute the line-of-sight position determination method of the above aspect.
  • the program of the 62nd aspect of the present disclosure is Have the computer perform the training method of the above aspect.
  • the line-of-sight position determination device is The line-of-sight position input section where the position of the user's line of sight is input, Judgment area setting unit that sets the judgment area and A determination unit for determining whether or not the line-of-sight position input by the line-of-sight position input unit is in the determination area, and a determination unit.
  • the determination unit determines that the position of the line of sight is in the determination area, the determination unit includes an output unit that outputs feedback to the user.
  • the line-of-sight position determination device of the second aspect of the present disclosure is Further, a measuring unit for measuring the first time elapsed in a state of staying in the determination area from the time when the position of the line of sight is located in the determination area is further provided.
  • the determination unit When the first time measured by the measuring unit reaches the preset maintenance time, it is determined that the position of the line of sight is in the determination region.
  • the line-of-sight position determination device of the third aspect of the present disclosure is In addition to the first time, the measuring unit measures an index of social line-of-sight control ability.
  • the line-of-sight position determination device is The index of the social line-of-sight control ability is the analysis value of the first time, from the time when the line-of-sight position is first input to the line-of-sight position input unit to the time when it is determined to be in the determination area. It is at least one of a second time elapsed, a distance between the user's line-of-sight position and the determination area, and the number of times the line-of-sight position is determined to be in the determination area.
  • the line-of-sight position determination device is The output unit is The feedback is output to the user in real time.
  • the line-of-sight position determination device is Further, a target position setting unit for setting a target position for the user to match his / her line of sight is provided.
  • the line-of-sight position determination device is The determination area setting unit is The entire body of the animal, including the person facing the user, the part of the body of the animal facing the user, the entire face of the animal facing the user, the face of the animal facing the user.
  • the determination area is set to include one selected from a portion, the eye of the animal facing the user, and a portion of the eyeball position of the animal facing the user.
  • the line-of-sight position determination device is The determination area setting unit is The whole body of the animal, a part of the body of the animal, the whole face of the animal, a part of the face of the animal, the eye of the animal, in the image of the animal including a person displayed on the display facing the user. And, the determination area is set so as to include one selected from the eyeball positions of the animal.
  • the line-of-sight position determination device is The determination area setting unit is The determination area is set so as to include the eyeball position of the animal.
  • the line-of-sight position determination device is The determination area setting unit is The size of the determination region is set based on the distance between the left and right eyeball positions of the animal in the image of the animal including the person included in the view image of the user.
  • the line-of-sight position determination device is A lower limit is set for the size of the determination area.
  • the line-of-sight position determination device is The animal is a human.
  • the line-of-sight position determination device is It also has a difficulty setting unit that sets the difficulty level of training consisting of multiple tasks.
  • the difficulty level of the training is set by the difficulty level of the task and / or the difficulty level of the line-of-sight matching determination which is a determination of whether or not the input position of the line of sight is in the determination area.
  • the line-of-sight position determination device is Further, a measuring unit for measuring the first time elapsed in a state of staying in the determination area from the time when the position of the line of sight is located in the determination area is further provided.
  • the determination unit When the first time measured by the measuring unit reaches a preset maintenance time, it is determined that the position of the line of sight is in the determination region.
  • the difficulty setting unit is By setting the size of the determination area and / or the length of the maintenance time, the difficulty level of the line-of-sight matching determination is set.
  • the line-of-sight position determination device is The difficulty setting unit sets the difficulty level of the training based on the result determined by the determination unit.
  • the line-of-sight position determination device is Further equipped with an operation unit capable of accepting the difficulty level change operation for changing the difficulty level of the training.
  • the difficulty setting unit sets the difficulty level of the training by the difficulty level changing operation accepted by the operation unit.
  • the line-of-sight position determination device is The feedback is provided through one or more sensations selected from visual, auditory and tactile sensations.
  • the line-of-sight position determination device is Used for diagnosis, severity classification, treatment, training, and / or monitoring of neuropsychiatric disorders, or for improving gaze communication and / or social gaze control.
  • the line-of-sight position determination device is The neuropsychiatric disorder is an anxiety group or a neurodevelopmental disorder group.
  • the line-of-sight position determination system is The line-of-sight position determination device of the above-described aspect and It has a line-of-sight direction acquisition unit that detects the line-of-sight direction of the user, and has a line-of-sight direction acquisition unit. It includes a line-of-sight position acquisition unit that outputs the line-of-sight direction of the user detected by the line-of-sight direction acquisition unit to the line-of-sight position input unit.
  • the line-of-sight position determination system is The line-of-sight position acquisition unit Further having a view image acquisition unit for acquiring the view image of the user, The position of the line of sight of the user is acquired based on the view image.
  • the line-of-sight position determination system is The line-of-sight position input unit A display position detecting unit that detects the position of the presented image presented to the user in the field image acquired by the field image acquisition unit, and a display position detecting unit. It further includes a line-of-sight position changing unit that converts the coordinate system of the field image into the coordinate system of the presented image based on the detected position of the presented image.
  • the line-of-sight position determination method is as follows. Enter the position of the user's line of sight and Set the judgment area and It is determined whether or not the input position of the line of sight is in the determination area, and When it is determined that the position of the line of sight is in the determination area, feedback is output to the user.
  • the line-of-sight position determination method is as follows.
  • the first time elapsed from the time when the position of the line of sight is located in the determination area is measured while the position of the line of sight remains in the determination area.
  • the measured first time reaches the preset maintenance time, it is determined that the position of the line of sight is in the determination area.
  • the line-of-sight position determination method is as follows. In addition to the first time, an index of social gaze control ability is measured.
  • the line-of-sight position determination method is as follows.
  • the index of the social line-of-sight control ability is the analysis value of the first time, from the time when the line-of-sight position is first input to the line-of-sight position input unit to the time when it is determined to be in the determination area.
  • the second time elapsed, the distance between the line-of-sight position of the user and the determination area, and at least one of the number of times the position of the line of sight is determined to be in the determination area.
  • the line-of-sight position determination method is as follows.
  • the feedback is output to the user in real time.
  • the line-of-sight position determination method is as follows. Set the target position where the user looks at, The determination area including the target position is set.
  • the line-of-sight position determination method is as follows.
  • the determination area is set to include one selected from the eye portion of the person facing the user and a part of the eyeball position of the person facing the user.
  • the line-of-sight position determination method is as follows.
  • the determination area is set to include one selected from the eyeball positions of the animal.
  • the line-of-sight position determination method is as follows.
  • the size of the determination region is set based on the distance between the left and right eyeball positions of the animal including the person facing the user.
  • the line-of-sight position determination method according to the A32 aspect of the present disclosure is A lower limit is set for the size of the determination area.
  • the line-of-sight position determination method is as follows.
  • the animal is a human.
  • the line-of-sight position determination method is as follows. Judgment as to whether or not the input position of the line of sight is in the set determination area is performed according to the set difficulty level of the training composed of a plurality of tasks.
  • the line-of-sight position determination method is as follows. When the first time elapsed while staying in the determination area from the time when the position of the line of sight is located in the determination area reaches a preset maintenance time, and the position of the line of sight is in the determination area. If judged, The difficulty of the training is set by setting the size of the determination area and / or the length of the maintenance time.
  • the line-of-sight position determination method is as follows.
  • the difficulty level of the training is set by the result of determination as to whether or not the position of the line of sight is in the set determination area.
  • the line-of-sight position determination method is as follows. A plurality of images in which the determination area is set are continuously presented to the user.
  • the training system of the A38 aspect of the present disclosure is The line-of-sight position determination device of the above-described embodiment or the line-of-sight position determination system of the above-described embodiment is provided.
  • the method for evaluating the line-of-sight communication ability according to the A39 aspect of the present disclosure is as follows.
  • the line-of-sight position determination method of the above aspect was used.
  • the method for evaluating the line-of-sight communication ability according to the A40 aspect of the present disclosure is as follows.
  • the line-of-sight communication ability is a social line-of-sight control ability or a social line-of-sight transmission ability.
  • the method for evaluating the line-of-sight communication ability according to the A41 aspect of the present disclosure is as follows.
  • the social gaze control ability is a social gaze matching ability, a social gaze shift ability, or a joint gaze ability.
  • the training method of the A42 aspect of the present disclosure is Training is carried out using the line-of-sight position determination method of the above aspect.
  • the training method of the A43 aspect of the present disclosure is The training is composed of a plurality of tasks configured so that a determination result as to whether or not the position of the line of sight is in the determination region can be obtained at least once, and the plurality of tasks are continuously performed.
  • the task includes directing the line of sight to one of the plurality of determination areas of different sizes according to the teaching.
  • the training method of the A44 aspect of the present disclosure is For the above-mentioned problem,
  • the first task in which the determination area is set so as to include the constituent parts of the social object to which the line of sight is directed, and It includes a second task in which the determination area is set to include a structural unit that includes the constituent parts.
  • a third task is included in which the determination area is set so as to alternately include the constituent parts and the constituent units.
  • the training method of the A46 aspect of the present disclosure is for the above-mentioned problem, In addition to directing the line of sight to the determination area, a fourth task of inferring the facial expression and / or emotion of the social object in which the determination area is set is included.
  • the training method of the A47 aspect of the present disclosure is The difficulty level of the training is set by the difficulty level of the task.
  • the training method of the A48 aspect of the present disclosure is The difficulty of the training is set based on an index including the subjective or objective evaluation of the user.
  • the training method of the A49 aspect of the present disclosure is The subjective evaluation of the user includes an evaluation in which the user self-reports the pain experienced by performing the training.
  • the training method of the A50 aspect of the present disclosure is
  • the user's objective evaluation includes at least one of the result of the training, a change in the user's heart rate during the training, and a change in the degree of pupil opening of the user.
  • the training method of the A51 aspect of the present disclosure is The difficulty level of the training is set by the difficulty level of the line-of-sight matching determination, which is a determination of whether or not the input position of the line of sight is in the determination area.
  • the training method of the A52 aspect of the present disclosure is An index of the user's social line-of-sight control ability is measured, and the difficulty level of the line-of-sight matching determination is set by the index.
  • the monitoring method of the A53 aspect of the present disclosure is as follows.
  • the line-of-sight position determination method of the above aspect was used.
  • the method for treating a psychiatric disorder according to the A54 aspect of the present disclosure is as follows. Training using the training method of the above aspect is carried out.
  • the method for treating a psychiatric disorder according to the A55 aspect of the present disclosure is as follows. During the period of 1 day to 1 year, the training for 1 minute to 240 minutes is performed once every 90 days to 12 times a day.
  • the method for treating a psychiatric disorder according to the A56 aspect of the present disclosure is as follows.
  • the difficulty of the training is gradually increased.
  • the method for treating a psychiatric disorder according to the A57 aspect of the present disclosure is as follows.
  • the difficulty level of the training is changed according to the user.
  • the program of aspect A58 of the present disclosure is A computer is made to execute the line-of-sight position determination method of the above aspect.
  • the program of the A59 aspect of the present disclosure is Have the computer perform the training method of the above aspect.
  • Line-of-sight position determination system 10 Line-of-sight position determination device 11 Line-of-sight position input unit 111 Display position detection unit 112 Line-of-sight position conversion unit 12 Judgment unit 13 Output unit 14 Target position setting unit 15 Judgment area setting unit 16 Measurement unit 17 Marker generation unit 20 Line-of-sight Position acquisition unit 21 Imaging unit 22 Line-of-sight direction acquisition unit 31 Head-mounted display 32 Display 33 Screen 34 Presented image acquisition unit 35 Wearable terminal 36 Speaker 40 View image 50 Difficulty setting unit 51 Operation unit 52 Storage unit 53 Control capability acquisition unit 54 Maintenance Time setting unit 100 Target image P1 Target position P2 Judgment area

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

視線位置判定装置は、使用者の視線の位置が入力される視線位置入力部と、判定領域を設定する判定領域設定部と、視線位置入力部により入力された視線の位置が判定領域にあるか否かを判定する判定部と、判定部により視線の位置が判定領域にあると判定された場合、使用者に対してフィードバックを出力する出力部とを備える。

Description

視線位置判定装置、視線位置判定方法およびトレーニング方法
 本開示は、視線位置判定装置、視線位置判定システム、視線位置判定方法、トレーニングシステム、評価方法、トレーニング方法、モニタリング方法、治療方法およびプログラムに関する。
 現在、精神神経疾患に対する有効な治療選択肢の1つとして、例えば、非特許文献1に開示されているような認知行動療法が実施されている。
Yoshinaga et al., Psychotherapy and Psychosomatics, 2016, 85(4), p.208-217.
 しかし、非特許文献1の治療方法は、実施可能な医療者が不足しているため、治療を受けたくても受けることができない場合がある。
 本開示は、現実社会に近い視線コミュニケーション環境を再現可能な視線位置判定装置、視線位置判定装置を備えた視線位置判定システム、現実社会に近い視線コミュニケーション環境を再現可能な視線位置判定方法、視線位置判定方法を用いた精神神経疾患の治療方法、視線位置判定装置または視線位置判定システムを備えたトレーニングシステム、視線位置判定方法を用いた視線コミュニケーション能力の評価方法、視線位置判定方法を用いたトレーニング方法、視線位置判定方法を用いたモニタリング方法、および、視線判定位置判定方法またはトレーニング方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
 本開示の一態様の視線位置判定装置は、
 使用者の視線の位置が入力される視線位置入力部と、
 判定領域を設定する判定領域設定部と、
 前記視線位置入力部により入力された前記視線の位置が判定領域にあるか否かを判定する判定部と、
 前記判定部により前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する出力部と
を備える。
 本開示の一態様の視線位置判定システムは、
 前記態様の視線位置判定装置と、
 前記使用者の視線の位置を取得して、前記視線位置入力部に出力する視線位置取得部と
を備える。
 本開示の一態様の視線位置判定方法は、
 使用者の視線の位置を検出し、
 判定領域を設定し、
 検出された前記視線の位置が判定領域にあるか否かを判定し、
 前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する。
 本開示の一態様のトレーニングシステムは、
 前記態様の視線位置判定装置、または、前記態様の視線位置判定システムを備える。
 本開示の一態様の評価方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の一態様のトレーニング方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の一態様のモニタリング方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の一態様の治療方法は、
 前記態様のトレーニング方法を用いた。
 本開示の一態様のプログラムは、
 前記態様の視線位置判定方法またはトレーニング方法をコンピュータに実行させる。
 前記態様の視線位置判定装置によれば、例えば、視線を向ける社会的対象物を含むように判定領域を設定し、視線一致判定とフィードバックとを行うことで、現実社会に近い視線によるコミュニケーション環境を再現できる。
 前記態様の視線位置判定システムによれば、前記視線位置判定装置により、現実社会に近い視線によるコミュニケーション環境を再現可能な視線位置判定システムを実現できる。
 前記態様の視線位置判定方法およびプログラムによれば、例えば、視線を向ける社会的対象物を含むように判定領域を設定し、視線一致判定とフィードバックとを行うことで、現実社会に近い視線によるコミュニケーション環境を再現できる。
 前記態様の治療方法、トレーニング方法およびプログラムによれば、前記視線位置判定方法により、現実社会に近い視線によるコミュニケーション環境が再現されて、効果の高い治療およびトレーニングを実現できる。また、実施者(例えば、医師、心理師(心理士)、カウンセラー、セラピスト)が遠隔地にいる状況または実施者が不在の状況であっても実施可能な治療およびトレーニングを実現できる。
 前記態様のトレーニングシステムによれば、前記視線位置判定装置または前記視線位置判定システムと、前記視線位置判定方法により、現実社会に近い視線によるコミュニケーション環境が再現されて、トレーニング効果の高いシステムを実現できる。また、実施者が遠隔地にいる状況または実施者が不在の状況であっても実施可能なトレーニングシステムを実現できる。
 前記態様の評価方法およびモニタリング方法によれば、前記視線位置判定方法により、実施者の専門性または熟練度に関係なく、または、実施者が遠隔または不在の状況であっても、標準化された評価方法およびモニタリング方法を実現できる。
本開示の第1実施形態の視線位置判定装置を備えた視線位置判定システムの構成を示すブロック図。 本開示の第2実施形態の視線位置判定装置を備えた視線位置判定システムの構成を示すブロック図。 図1の視線位置判定システムの第1の変形例を示すブロック図。 図1の視線位置判定システムの第2の変形例を示すブロック図。 本開示の第3実施形態の視線位置判定装置を備えた視線位置判定システムの構成を示すブロック図。 図1の視線位置判定装置における目標位置および判定領域を説明するための第1の図。 図1の視線位置判定装置における目標位置および判定領域を説明するための第2の図。 図1の視線位置判定装置における目標位置および判定領域を説明するための第3の図。 図1の視線位置判定装置における目標位置および判定領域を説明するための第4の図。 本開示の第4実施形態の視線位置判定装置を備えた視線位置判定システムの構成を示すブロック図。 図1の視線位置判定装置における視線判定処理を説明するためのフローチャート。 図1の視線位置判定システムの第3の変形例を示すブロック図。
 以下、本開示の一例を添付図面に従って説明する。
 (第1実施形態)
 本開示の第1実施形態の視線位置判定システム1は、図1に示すように、視線位置判定装置10と、視線位置取得部20とを備えている。視線位置取得部20は、使用者の視線の位置を取得し、視線位置判定装置10に出力する。
 視線位置判定装置10は、図1に示すように、視線位置入力部11、判定領域設定部15、判定部12および出力部13を備え、CPUが所定のプログラムを実行することによりその機能が実現される。
 視線位置入力部11は、視線位置取得部20から出力された使用者の視線の位置が入力され、入力された使用者の視線の位置を判定部12に出力する。
 判定領域設定部15は、使用者の注視目標の位置である目標位置P1を含むように、判定領域P2(図6参照)を設定し、その判定領域P2の情報を判定部12に出力する。判定領域P2は、視線一致判定において視線位置の許容範囲として用いられる。例えば、注視対象となる人物または動物の眼球を含むように判定領域P2を設定することで、使用者がアイコンタクトできるか否かを判定できる。
 判定領域設定部15は、例えば、目標位置P1が複数設定されている場合、目標位置P1毎に設定された判定領域P2の和集合を最終的な判定領域として設定することができる。
 なお、目標位置P1は、画像に限らず、音声により使用者に伝えることができる。このため、使用者の視界に映る画像(以下、視界画像という。)に目標位置P1および判定領域P2が表示されないこともあり得る。目標位置P1は、使用者が視線を向ける社会的対象物に設定され、例えば、使用者に提示される画像(以下、提示画像という。)にXおよびY座標の経時変化を予め付帯させることで設定される。社会的対象物は、例えば、人物または動物の眼球、鼻、眉毛、口等の顔の一部と、人物または動物の髪、耳、首、肩、手等の体の一部と、人物または動物の体全体と、ネクタイまたはスカーフ等の衣服を含む体への装着物の全部または一部とを含むことができる。
 判定領域設定部15は、例えば、提示画像が使用者に提示されるとすると、図6に示す視界画像40における左右の眼球の中心(以下、それぞれ眼球位置P3、P4という。)間の距離Lに基づいた対象像100の大きさにより、判定領域P2を設定することができる。具体的には、判定領域P2の大きさは顔の大きさを基準に定義され、顔の大きさを決定する要素として左右の眼球の中心間の距離Lを参照する。
 ここで、判定領域P2は、その大きさに下限値を設けることができる。これは、提示画像の中の対象像100が小さすぎる、または、提示画像が提示されるスクリーンが使用者から離れすぎている等の理由により、視界画像40における対象像100が小さすぎると、眼球の固視微動および視線センサの検出ノイズの影響で使用者の視線の位置を正確に捉えることが難しくなるからである。
 判定領域P2の下限値は、使用者にかかわらず予め決定された任意の値であってもよいし、使用時に設定可能な任意の値であってもよい。さらに、判定領域P2の下限値は、使用者が任意の一点を注視する際の視線位置変動データに基づいて決定された値であってもよい。例えば、視線位置変動データの標準偏差の2倍(2SD)の長さを半径とする円の領域を判定領域P2の下限値としてもよいし、トレーニングの段階により標準偏差の3倍(3SD)または4倍(4SD)と範囲を拡げてもよい。また、判定領域P2の下限値は、使用者毎に決定されてもよいし、複数の使用者の平均値から決定されてもよいが、個人間における眼球の固視微動のばらつきを考慮すると、使用者毎に決定されることが好ましい。なお、視線位置判定装置10のデフォルト値として、複数の健常者の平均値を判定領域P2の下限値として設定することもできる。なお、視線位置変動データは、時間経過による視線位置の変動のプロットを意味する。
 判定領域P2に下限値を設けた場合、判定領域P2は、下限値を下回らないように設定される。例えば、視界画像40における左右の眼球位置P3、P4間の距離Lに基づいて判定領域P2の大きさが算出され、その大きさが下限値よりも小さい場合、下限値が判定領域P2の大きさとして設定される。より具体的には、例えば、図8に示す判定領域P2の大きさが下限値であり、図8よりも対象像100が小さい図9が視界画像40であった場合、図8と同じ大きさの判定領域P2が設定される。これにより、視界画像の中の対象像の大きさに左右されることなく、視線一致を正確に判定することができる。
 判定部12は、視線位置入力部11から出力された使用者の視線の位置が、判定領域P2にあるか否かを判定する(以下、視線一致判定という。)。判定領域P2は、例えば、視線一致判定の際、使用者に提示される提示画像に予め設定されてもよい。また、判定領域P2が設定された提示画像は、例えば、視線位置判定装置10の記憶装置(図示せず)に記憶されていてもよい。使用者の視線の位置が判定領域P2にあるか否かについては、例えば、次のように判断する。
 まず、判定部12は、使用者の視線の位置が判定領域P2に位置したか否かを判定する。そして、使用者の視線の位置が判定領域P2に位置したときから、判定領域P2に留まっている状態で経過した時間(以下、第1の時間という。)が、予め設定された維持時間(使用者の視線の位置が判定領域P2で維持されるべき時間。以下、設定維持時間という。)に到達したか否かを判定する。第1の時間が設定維持時間に到達したと判定された場合に、判定部12は、使用者の視線の位置が判定領域P2にある(言い換えると、視線が一致した)と判定する。なお、第1の時間は、使用者の視線が最初に判定領域P2に位置したときから判定領域P2に留まった累積時間であってもよい。
 なお、第1の時間は、例えば、視線位置判定装置10の計測部16で計測される。計測部16は、さらに、次に示す社会的視線制御能力を判定する指標のいずれか1つまたは複数を計測できる。例えば、トレーニング中における使用者の視線位置をXY座標の時間推移として記憶する記憶部52(図12参照)をさらに備えることにより、使用者の視線位置と目標位置P1または判定領域P2との関係をXY座標で算出することができ、様々な社会的視線制御能力の指標を計測できる。社会的視線制御能力を判定する指標は、課題ごとに集計することもできるし、トレーニング全体で集計することもできる。以下に社会的視線制御能力の指標の例を示す。
  ・使用者の視線の位置が判定領域P2に位置したか否か
  ・第1の時間の解析値(例えば、第1の時間の平均値または最大値、および、第1の時間の割合(言い換えると、判定領域P2に留まった時間の割合))
  ・使用者の視線の位置が視線位置入力部に最初に入力されたときから判定領域P2にあると判定されるまでの間に経過した時間(以下、第2の時間という。)
  ・判定時間内の目標位置P1と視線の位置との距離の平均値(以下、視線距離という。)
  ・視線が一致したと判定された回数
 出力部13は、判定部12により視線の位置が判定領域P2にあると判定されたか否かにより、使用者に対してフィードバックを出力する。フィードバックは、使用者および/または使用者と対面する人に対して、視覚、聴覚および触覚から選択される感覚を通じて行われる。フィードバックは、例えば、文字、記号および絵画を含む画像と、音声を含む音と、振動とから選択されるフィードバックであり、ディスプレイおよび/またはスピーカ(いずれも図示せず)を介して、視線の位置が判定領域P2にあると判定された以降に(例えば、リアルタイムで)出力される。フィードバックは、視線の位置が判定領域P2にあると判定された後に加えて、その前段階においても出力されてよい。例えば、視線位置が判定領域P2に位置したときに第1段階目のフィードバックを出力し、第1の時間が設定維持時間に到達したときに第2段階目のフィードバックを出力することもできる。さらに、出力部13は、視線の位置が判定領域P2に位置しない場合でもフィードバックを出力することができる。例えば、出力部13は、判定領域P2へ視線を誘導するようなフィードバックを出力することができる。このようにフィードバックを多段階的に出力することで、トレーニングまたは治療の効果を高めることができる。さらに、出力部13は、トレーニング終了後に、社会的視線制御能力の指標の解析結果(例えば、今回の結果、今回の結果と過去の結果との比較、今回の結果と他の使用者の平均値との比較)に対するフィードバックを使用者、医療者、対面する人等に対して出力することができる。解析結果に対するフィードバックは、複数の社会的視線制御能力の指標を個別に出力してもよいし、複数の社会的視線制御能力の指標をまとめた総合スコアとして出力してもよい。なお、フィードバック出力用の装置を別途設け、この装置を介してフィードバックを出力するように構成することもできる。この装置は、視線位置判定装置10の一部を構成するようにしてもよいし、視線位置判定装置10の一部を構成しないようにしてもよい。
 視線位置判定装置10を構成する各部は、例えば、外部機器(例えば、サーバ)に設けられていてもよい。例えば、判定部12が外部機器に設けられている場合、視線位置判定装置10は、外部機器に無線または有線で接続された通信装置をさらに備える。視線位置入力部11は、通信装置を介して、入力された使用者の視線の位置を外部機器の判定部12に出力する。また、出力部13は、通信装置を介して、判定部12の判定結果を取得する。
 視線位置判定装置10は、以下に示すように構成することもできる。
 視線位置判定装置10に、難易度設定部50(図12参照)をさらに設け、難易度設定部50がトレーニングの難易度(言い換えると、トレーニングの負荷)を変更および設定するように構成してもよい。視線位置判定装置10に難易度設定部50を組み込むことで、使用者に合った負荷のトレーニングを提供できる。トレーニングの難易度には、視線一致判定の難易度および課題の難易度の少なくともいずれかが含まれる。視線一致判定の難易度のパラメータとしては、例えば、判定領域P2の大きさおよび設定維持時間が挙げられる。各パラメータに複数のレベルを用意しておき、任意のレベルのパラメータを単独または複数組み合わせて難易度を設定することができる。例えば、図6に示すように、判定領域P2が人の顔全体を含む大きさであって設定維持時間が2秒である設定において視線が一致した場合には、図7に示すように、判定領域P2を縮小させることで視線一致判定の難易度を上昇させることができる。また、図7に示す判定領域P2においても視線が一致した場合には、判定領域P2をさらに縮小させ、および/または、設定維持時間を増加(例えば、3秒)させて、さらなる視線一致判定の難易度の上昇を行うことができる。
 難易度設定部50は、判定部12により判定された結果によりトレーニングの難易度を設定するように構成することができる。例えば、計測部16で計測された第1の時間が予め設定された維持時間に到達した場合、視線の位置が判定領域にあると判定される場合、難易度設定部50は、判定領域の大きさ、および/または、維持時間の長さを設定することで、トレーニングの負荷を設定する。具体的には、難易度設定部50は、判定部12により視線が一致していないと判定された場合には、判定領域P2の拡大および/または維持時間の減少により視線一致判定の難易度を低下させることができる。使用者には判定領域P2を可視化せず、難易度設定部50によりトレーニングの難易度を使用者に応じた難易度に調整するように構成することにより、使用者の苦手意識および心理的負担を増すことなく、治療またはトレーニングを行うことができ、その効果および継続性を高めることができる。また、視線位置判定装置10にトレーニングの難易度の変更を行う難易度変更操作を受け付け可能な操作部51(図12参照)を設けてもよい。操作部51が受け付けた難易度変更操作により、難易度設定部50がトレーニングの難易度を設定するように構成してもよいし、社会的視線制御能力および/または社会的視線制御能力を判定する指標により難易度設定部50がトレーニングの難易度を設定するように構成してもよい。図12では、操作部51は、視線位置判定装置10と別体に設けているが、これに限らず、視線位置判定装置10と一体に設けてもよい。
 視線位置判定装置10に、計測された社会的視線制御能力の指標を記憶する記憶部52(図12参照)を設けてもよい。この場合、難易度設定部50は、例えば、計測部16で計測された社会的視線制御能力の指標が、計測された社会的視線制御能力の指標よりも前に計測部16で計測されて記憶部52に記憶された社会的視線制御能力の指標よりも高い場合、トレーニングの負荷を高くする。
 視線位置判定装置10に、他の使用者の社会的視線制御能力の指標を取得する制御能力取得部53(図12参照)を設けてもよい。この場合、難易度設定部50は、例えば、計測部16で計測された使用者の社会的視線制御能力の指標の平均値に対する各課題の偏差を、制御能力取得部53で取得された他の使用者の社会的視線制御能力の指標の平均値に対する各課題の偏差と比較することにより、使用者の苦手な課題を推定し、推定された使用者が苦手な課題に基づいて、トレーニングの負荷を設定する。これにより、トレーニングの効果を高めることができる。他の使用者の社会的視線制御能力の指標は、例えば、予め計測部16で計測して記憶部52に記憶してもよいし、外部装置(例えば、サーバ)に記憶してもよい。この場合、制御能力取得部53は、記憶部52または外部装置に記憶された他の使用者の社会的視線制御能力の指標を無線または有線の通信により取得する。また、他の使用者の社会的視線制御能力の指標は、他の視線位置判定装置10の計測部16で計測してもよいし、視線位置判定装置10ではない他の装置で計測してもよい。使用者の苦手な課題の推定は、難易度設定部50ではなく、他の構成部(例えば、制御能力取得部53)で行われるように構成してもよい。この場合、難易度設定部50を省略して、視線位置判定装置10でトレーニングの負荷を設定しないようにすることもできる。
 視線位置判定装置10に、維持時間設定部54(図12参照)を設け、維持時間設定部で設定維持時間を設定するように構成してもよい。
 第1実施形態の視線位置判定システム1は、例えば、図3または図4に示す態様で実施することができる。
 図3の視線位置判定システム1では、例えば、ヘッドマウントディスプレイ(HMD)31に視線位置取得部20(例えば、赤外線式の視線追跡センサ)を設け、視線位置判定装置10から出力されたフィードバックがHMD31のスクリーン33、スピーカ(図示せず)等を介して出力される。また、提示画像は、HMD31のスクリーン33を介して使用者に提示され、提示画像が視界画像とみなされる。判定領域P2は、例えば、提示画像に予め付帯されている目標位置P1に関する情報に基づいて設定される。図3の視線位置判定システム1では、HMDを使用することにより、不要な外界の刺激(外乱)を除去できると共に、高い没入感を実現できる。なお、HMD31には、提示画像を取得する提示画像取得部34が設けられている。提示画像取得部34は、無線または有線で接続された外部装置から提示画像を取得してもよいし、視線位置判定装置10の記憶装置(図示せず)から取得してもよい。また、図3の視線位置判定システム1では、HMD31に視線位置判定装置10と視線位置取得部20とを内蔵することもできるし、HMD31に視線位置判定装置10と視線位置取得部20とを併設することもできる。
 図4の視線位置判定システム1では、例えば、ディスプレイ32とは別に視線位置判定装置10、視線位置取得部20(例えば、視線センサ)および提示画像取得部34が併設され、ディスプレイ32のスクリーン33、スピーカ(図示せず)等を介してフィードバックが出力される。提示画像取得部34で取得された提示画像は、ディスプレイ32のスクリーン33を介して使用者に提示され、提示画像が視界画像とみなされる。判定領域P2は、例えば、提示画像に予め付帯されている目標位置P1に関する情報に基づいて設定される。図4の視線位置判定システム1では、身体に何も装着しないため使用者の負担を低減できる。なお、図4の視線位置判定システム1では、ディスプレイ32に視線位置取得部20および提示画像取得部34を設けることもできる。
 視線位置判定システム1はさらに、使用者に提示している提示画像を操作者(実施者)に表示するための実施者用のディスプレイ(図示せず)を備えていてもよい。実施者用のディスプレイは、スクリーン(図示せず)を介して提示画像を操作者に表示する。実施者用のディスプレイにより、提示画像に加えて視界画像および視線位置を表示するように視線位置判定システム1が構成されてもよい。また、視線位置判定装置10から出力されたフィードバックを、スクリーンまたはスピーカ(図示せず)等を介して提示するように視線位置判定システム1が構成されてもよい。操作者は、視線位置判定の結果またはトレーニングの進捗をディスプレイを見て把握することができる。これにより、トレーニング中に操作部51を介してトレーニングの難易度を変更したり、トレーニングを中断したりすることができる。
 視線位置判定装置10は、計測部16、難易度設定部50、操作部51、記憶部52、制御能力取得部53および維持時間設定部54のいずれか1つまたは複数または全部を備えることができる。
 (第2実施形態)
 本開示の第2実施形態の視線位置判定システム1は、図2に示すように、視線位置判定装置10が、目標位置設定部14を備える点で、第1実施形態とは異なっている。第2実施形態では、第1実施形態と同一部分に同一参照番号を付してその説明を省略する。
 目標位置設定部14は、視線位置判定装置10の使用者が視線を合わせる目標となる目標位置P1(図6参照)を設定する。目標位置P1は、注視目標の位置であり、例えば、注視対象となる人物または動物の像(以下、対象像という。)を含む提示画像における対象像の任意の位置に、手動または自動で少なくとも1つ設定される。目標位置を設定する方法としては、例えば、顔認識ソフトウェアおよび/または物体検出アルゴリズム等を使用してもよい。
 目標位置P1として設定される任意の位置としては、例えば、眼球位置が挙げられるが、これに限らない。例えば、鼻、眉毛、口等の顔の一部を目標位置P1としてもよいし、髪、耳、首、肩、手等の体の一部を目標位置P1としてもよいし、対象像100そのもの(人物または動物の体全体)を目標位置P1としてもよいし、ネクタイまたはスカーフ等の衣服を含む体への装着物の一部を目標位置P1としてもよい。なお、目標位置設定部14は、視線位置判定装置10の記憶装置(図示せず)から提示画像を取得してもよいし、有線または無線で接続されたサーバ等の外部装置から提示画像を取得してもよい。
 (第3実施形態)
 本開示の第3実施形態の視線位置判定システム1は、図5に示すように、以下に示す点において、第1実施形態とは異なっている。第3実施形態では、第1実施形態と同一部分に同一参照番号を付してその説明を省略する。
  ・視線位置判定装置10が、マーカー生成部17をさらに備える点。
  ・視線位置入力部11が、表示位置検出部111と視線位置変換部112とを有する点。
  ・視線位置取得部20が、撮像部21と、視線方向取得部22とを有する点。
 第3実施形態では、例えば、視線位置取得部20を有するウェアラブル端末35の情報を基に視線位置判定装置10が判定を行い、ディスプレイ32のスクリーン33等を介してフィードバックが出力される。
 マーカー生成部17は、例えば、スクリーン33の四隅にマーカー(例えば、QRコード(登録商標)および/またはARマーカー)を表示させるマーカー画像を生成する。生成されたマーカー画像は、視線位置入力部11の表示位置検出部111とスクリーン33とに出力される。マーカー画像は、例えば、視線位置判定システム1を使用する最初の1回目に作成され、その後は、最初に作成されたマーカー画像を用いることができる。最初に作成されたマーカー画像は、例えば、視線位置判定装置10の記憶装置に記憶してもよいし、通信装置を介して接続されたサーバに記憶してもよい。
 表示位置検出部111は、視線位置取得部20の撮像部21から出力された視界画像と、マーカー生成部17で生成されたマーカー画像が入力される。表示位置検出部111は、視界画像の中のマーカー画像の位置を検出して座標変換行列(例えば、ホモグラフィ変換行列を使う)を算出し、その行列情報を視線位置変換部112に出力する。
 視線位置変換部112は、視線位置取得部20の視線方向取得部22から出力された視線ベクトルと、表示位置検出部111から出力された行列情報とに基づいて、視界画像の座標系における使用者の視線の位置を提示画像の座標系における視線位置に変換する。変換された使用者の視線の位置は、判定部12に出力される。
 撮像部21は、視界画像取得部の一例で、使用者の視界画像を撮像して取得する。取得された視界画像は、表示位置検出部111に出力される。視線方向取得部22は、使用者の視線方向(言い換えると、視線ベクトル)を検出する。検出された視線ベクトルは、視線位置変換部112に出力される。
 第3実施形態の視線位置判定システム1では、視線位置取得部20を有するウェアラブル端末を用いているので、ディスプレイ32の種別を問わず、高精度な視線検出を実現できる。また、スクリーン33外の視線動向および使用者の頭部の動きも記憶することができる。
 第3実施形態の視線位置判定システム1に、第2実施形態の目標位置設定部14を設けてもよい。
 マーカー生成部17は、省略することができる。この場合、例えば、視線位置判定システム1の外部でマーカー画像(以下、生成済みマーカー画像)が生成され、サーバ等の外部装置に記憶される。生成済みマーカー画像は、通信装置を介して外部装置から出力され、表示位置検出部111に入力される。
 (第4実施形態)
 本開示の第4実施形態の視線位置判定システム1は、図10に示すように、以下に示す点において、第2実施形態とは異なっている。第4実施形態では、第2実施形態と同一部分に同一参照番号を付してその説明を省略する。
  ・視線位置取得部20が、撮像部21と、視線方向取得部22とを有する点。
 第4実施形態では、ウェアラブル端末35に視線位置取得部20を設け、ウェアラブル端末35とは別に設けられた視線位置判定装置10から出力されたフィードバックがスピーカ36を介した音声フィードバックとして出力される。第4実施形態では、撮像部21で撮像された視界画像は、目標位置設定部14に出力される。目標位置設定部14で目標位置P1が設定された後、目標位置P1の情報に基づいて判定領域P2が設定される。視線方向取得部22は、使用者の視線方向(視線ベクトル)を検出し、検出された視線ベクトルは、視線位置入力部11に出力される。
 第4実施形態の視線位置判定システム1では、使用者に対面するヒトを含むように判定領域P2を設定できるので、ヒト対ヒトの現実的なコミュニケーションが体験できる。なお、使用者に対して視線位置判定装置10から出力されるフィードバックは、音声フィードバックに限らず、スクリーン(図示せず)を介して出力されてもよい。スクリーンは、ウェアラブル端末35に内蔵されていてもよいし、ウェアラブル端末35とは別に併設されていてもよい。
 次に、視線位置判定装置10を用いた視線位置判定方法(以下、本開示の視線位置判定方法という。)について説明する。例えば、図11の視線位置判定方法があり、この視線位置判定方法は、例えば、視線位置判定装置10のCPUが所定のプログラムを実行することで実施され、精神神経疾患の治療およびトレーニングに適用することもできる。
 視線位置判定方法が開始されると、目標位置設定部14を備える視線位置判定装置10(例えば、第2および第4実施形態の視線位置判定装置10)では、目標位置P1および判定領域P2が設定され、トレーニングの難易度が設定される。なお、トレーニングの難易度および維持時間の設定については、予め設定されている場合、省略することができる。
 図11に示すように、視線位置入力部11に使用者の視線の位置が入力され(ステップS1)、判定部12が、使用者の視線の位置が判定領域P2に位置しているか否かを判定する(ステップS2)。視線の位置が判定領域P2に位置していると判定されなかった場合、判定部12は、視線が一致しなかった(視線不一致)と判定する(ステップS7)。
 視線の位置が判定領域P2に位置していると判定された場合、判定部12は、判定領域P2に留まっている状態で経過した時間が予め設定された維持時間(設定維持時間)に到達したか否かを判定する(ステップS3)。判定領域P2に留まっている状態で経過した時間が設定維持時間に到達したと判定されなかった場合、判定部12は、視線が一致しなかったと判定する(ステップS7)。
 判定領域P2に留まっている状態で経過した時間が設定維持時間に到達したと判定された場合、判定部12は、視線が一致したと判定し(ステップS4)、出力部13が、使用者にリアルタイムでフィードバックを出力する(ステップS5)。なお、リアルタイムは、所定のタイムラグ(例えば、技術的な理由で発生するタイムラグ)を含む。その後、視線位置判定装置10は、視線一致判定を終了させるか否か、言い換えると、視線一致判定を連続して行うか否かを判定する(ステップS6)。視線一致判定を終了させると判定されなかった場合、言い換えると、視線一致判定を連続して行う場合はステップS1に戻り、使用者の視線の位置が入力される。ステップS6で視線一致判定を終了させると判定された場合、視線位置判定装置10は、視線一致判定を終了させる。なお、ステップS7で視線一致判定が成立しない(つまり、視線一致不成立)と判定された場合、トレーニングの難易度を低下させた後、ステップS1に戻り、再び視線一致判定を行うことも可能である。視線一致判定が、所定回数連続して成立しなかった場合、または、視線不一致の状態で所定時間経過した場合、視線位置判定装置10は、ステップS6において、視線一致判定を終了させると判定する。
 視線位置判定装置10を用いた視線位置判定方法は、例えば、精神神経疾患の診断、重症度分類、治療、トレーニングおよび/またはモニタリングに適用できる。本開示において、精神神経疾患は、精神疾患および神経変性疾患を含む。
 本開示を適用可能な精神疾患としては、特に限定されないが、例えば、DSM-5の診断基準における、神経発達症群、統合失調症スペクトラム障害および他の精神病性障害群、不安症群、強迫症および関連症群、心的外傷およびストレス因関連障害群、および神経認知障害群等が挙げられる。また、精神疾患に伴う視線コミュニケーション能力の低下が見られる疾患等も含まれる。精神疾患として特に限定はないが、好ましくは神経発達症群、不安症群、強迫症および関連症群、ならびに心的外傷およびストレス因関連障害群であり、さらに好ましくは、神経発達症群、および不安症群が挙げられる。
 神経発達症群の疾患としては、特に限定されはないが、例えば、知的能力障害、全般的発達遅延、言語症、語音症、小児期発症流暢症、社会的(語用論的)コミュニケーション症、特定不能のコミュニケーション症、自閉スペクトラム症、注意欠如・多動症、限局性学習症、発達性協調運動症、常同運動症、トゥレット症、持続性(慢性)運動または音声チック症、暫定的チック症、他の特定されるチック症、特定不能のチック症、他の特定される神経発達症、特定不能の神経発達症等が挙げられる。好ましくは言語症、語音症、小児期発症流暢症、社会的(語用論的)コミュニケーション症、特定不能のコミュニケーション症、自閉スペクトラム症、注意欠如・多動症、限局性学習症、常同運動症、トゥレット症、持続性(慢性)運動または音声チック症、暫定的チック症、他の特定されるチック症、特定不能のチック症、他の特定される神経発達症、および特定不能の神経発達症であり、さらに好ましくは小児期発症流暢症、および自閉スペクトラム症である。
 統合失調症スペクトラム障害および他の精神病性障害群の疾患としては、特に限定されはないが、例えば、統合失調症型パーソナリティ障害、妄想性障害、短期精神病性障害、統合失調症様障害、統合失調症、統合失調感情障害、物質・医薬品誘発性精神病性障害、他の医学的疾患による精神病性障害、他の精神疾患に関連する緊張病、他の医学的疾患による緊張病性障害、特定不能の緊張病、他の特定される統合失調症スペクトラム障害および他の精神病性障害、特定不能の統合失調症スペクトラム障害および他の精神病性障害、減弱精神病症候群(準精神病症候群)等が挙げられる。好ましくは統合失調症型パーソナリティ障害、統合失調症、および統合失調感情障害である。
 不安症群の疾患としては、特に限定されはないが、例えば、分離不安症、場面緘黙(選択性緘黙)、限局性恐怖症、社交不安症、パニック症、広場恐怖症、全般恐怖症、物質・医薬品誘発性不安症、他の医学的疾患による不安症、他の特定される不安症等が挙げられる。好ましくは分離不安症、場面緘黙(選択性緘黙)、限局性恐怖症、社交不安症、パニック症、広場恐怖症、および全般恐怖症であり、さらに好ましくは社交不安症である。
 強迫症および関連症群、心的外傷およびストレス因関連障害群の疾患としては、特に限定されはないが、例えば、強迫症、醜形恐怖症、ためこみ症、抜毛症、皮膚むしり症、物質・医薬品誘発性強迫症および関連症、他の医学的疾患による強迫症および関連症、他の特定される強迫症および関連症、特定不能の強迫症および関連症等が挙げられる。好ましくは強迫症、醜形恐怖症、抜毛症、および皮膚むしり症であり、特に好ましくは醜形恐怖症である。
 心的外傷およびストレス因関連障害群の疾患としては、特に限定されはないが、例えば、反応性アタッチメント障害、脱抑制型対人交流障害、心的外傷後ストレス障害、急性ストレス障害、適応障害、他の特定される心的外傷およびストレス因関連障害、特定不能の心的外傷およびストレス因関連障害等が挙げられる。
 神経認知障害群の疾患としては、特に限定されはないが、例えば、せん妄、認知症、軽度認知障害が挙げられる。好ましくは認知症、および軽度認知障害である。
 神経変性疾患としては、特に限定されはないが、例えば、パーキンソン病、脳神経障害および/またはその他の視線コミュニケーション能力の低下が見られる疾患等が挙げられる。
 本開示の視線位置判定方法は、精神神経疾患と診断されていないが、視線コミュニケーションの能力が低下傾向にある人、または、視線コミュニケーション能力の低下によって社会生活に支障をきたす恐れのある人のトレーニングにも適用できる。これにより、早いタイミングでトレーニングを開始することができるので、精神神経疾患の重症化および難治化を回避できる。
 本開示の視線位置判定方法を用いたトレーニング(以下、本開示のトレーニングという。)は、視線位置判定装置10または視線位置判定システム1を備えたトレーニングシステムで実施され、現実社会に近い視線によるコミュニケーション環境を再現でき、例えば、視線コミュニケーション能力の改善および向上を目標として実施される。例えば、認知行動療法の考え方に基づき、社会的対象物を含むように判定領域P2を設定することにより、各種の視線コミュニケーション能力のトレーニングが実施できる 。
 視線コミュニケーション能力は、実社会における対人関係における視線を介した意思疎通能力の指標である。視線コミュニケーション能力は、社会的視線制御能力(視線を信号として制御し、使用する能力)、社会的視線理解能力(視線を信号として理解する能力)、社会的視線発信能力(適切な文脈の中で視線を信号として発する能力)、社会的視線応答能力(適切な文脈の中で視線を信号として応ずる能力)等から構成される。社会的視線制御能力としては、例えば、社会的視線一致能力、社会的視線シフト能力、共同注視能力が挙げられる。これらは、本開示のトレーニングを通じて、測定することができる(表1参照)。視線コミュニケーション能力は、リボビッツ社交不安尺度(Liebowitz Social Anxiety Scale)、社交恐怖症尺度(Social Phobia Inventory)、うつ状態評価尺度(Patient Health Questionnaire -9)、不安状態評価尺度(Generalized Anxiety Disorder -7)等の臨床スコアとの関連性を見ながら、診察時に総合的に評価することもできるが、社会的視線制御能力を判定する指標(つまり、視線一致の可否、第1の時間の解析値、第2の時間、視線距離および視線一致の回数)のいずれか1つまたは複数の組み合わせに基づいて評価することもできる。例えば、視線コミュニケーション能力は、臨床スコアと社会的視線制御能力を判定する指標とを組み合わせて、診察時に総合的に評価することもできる。
Figure JPOXMLDOC01-appb-T000001
 表1において、第1の時間の解析値は、使用者の視線の位置が判定領域P2に位置したときから判定領域P2に留まっている状態で経過した時間の平均値または最大値、第1の時間の割合(判定領域P2に留まった時間の割合)であり、第2の時間は、使用者の視線の位置が視線位置入力部に最初に入力されたときから判定領域P2にあると判定されるまでの間に経過した時間であり、視線距離は、判定時間内の目標位置P1と視線の位置との距離の平均値である。
 社会的視線制御能力は、例えば、視線を向ける社会的対象物を含むように判定領域P2を設定することにより、トレーニングすることができる。社会的視線一致能力は、例えば、判定領域P2を注視目標である社会的対象物を含むように設定することにより、トレーニングすることができる。一例として、判定領域P2を眼球位置を含むように設定することにより、アイコンタクトのトレーニングを行うことができる。社会的視線シフト能力は、例えば、判定領域P2を視線シフトの対象となる社会的対象物を含むように設定することにより、トレーニングすることができる。共同注視能力は、例えば、判定領域P2を他者から共有対象として指示された社会的対象物を含むように設定することにより、トレーニングすることができる。
 社会的視線制御能力は、前述のように、視線一致の可否、第1の時間、第2の時間、視線距離、視線一致の回数のいずれか1つまたは複数の組み合わせに基づいて判定される。例えば、異なる使用者が同じ課題に取り組むとき、視線一致ができた使用者は、視線一致ができなかった使用者より、社会的視線制御能力が高いと判定される。また、第1の時間の解析値が長いまたは大きいこと、第2の時間が短いこと、視線距離が短いこと、視線一致の回数が多いこと等は、社会的視線制御能力が高いことを意味する。
 社会的視線制御能力を経時的に記録することで、治療またはトレーニング効果をモニタリングすることもできる。例えば、同じ使用者が、トレーニングを繰り返すことにより、同一課題において、以前できなかった視線一致ができるようになること、第1の時間の解析値を延長または増大できること、第2の時間を短縮できること、視線距離を短くできること、視線一致の回数を増加できること等により、社会的視線制御能力が向上したことを確認できる。社会的視線制御能力の向上を目指してトレーニングすることにより、視線コミュニケーション能力の改善および向上が期待できる。
 社会的視線発信能力としては、例えば、自分が自信を持って接していることを示す「Power Gazing」、交流をしたい意思を示す「Social Gazing」、親しくなりたい意思を示す「Intimate Gazing」が挙げられる。
 本開示のトレーニングは、社会的対象物に視線を向けるような1つの教示がなされる任意の課題で構成される。
 課題は、向上させたい視線コミュニケーション能力により決定することができる。課題は、当該能力の改善および向上を目的として構成されるものであれば特に限定されないが、認知行動療法の視点を取り入れることが好ましい。認知的、行動的に偏ったパターンを認知行動療法的に修正することで、単なる社会的視線制御能力の習得に留まらず、認知行動療法の中で行われる注意シフトトレーニングの効果を得ることができる。
 例えば、社交不安症の患者は、自分自身(内部)への注意の偏り(バイアス)が生じ、それを柔軟に切り変えることができない状態に陥っている。そこで、他者の表情認知や感情認知に注意を向けるような教示(例えば、「相手の顔全体を見てください。どのような表情でしょうか?」または「相手の顔全体を見てください。どのような気持ちでしょうか?」等)を加えた課題にすることで、社会的視線シフト能力のトレーニングにおいて、外部(他者等)への社会的視線シフトを容易にする効果が得られる。
 また、例えば、自閉スペクトラム症の患者は、認知的な課題である「セットシフティング(認知の柔軟性)」および「セントラルコヒーレンス(全体統合性)」が不得手とされる。そこで、「両目を見てください」のような部分を見る教示と、「顔全体を見てください」のような全体を見る教示とを織り交ぜた課題にすることで、社会的視線シフト能力のトレーニングにおいて「セットシフティング(認知の柔軟性)」のみならず、「セントラルコヒーレンス(全体統合性)」を高める効果が得られる。
 さらに、自分が自信を持って接していることを示す教示(例えば、「相手のおでこと両目を交互に見てください」)、または、交流をしたい意思を示す教示(例えば、「相手の両目と口を交互に見てください」)、または、親しくなりたい意思を示す教示(例えば、「相手の両目と胸元を交互に見てください」)を含めた課題にすることで、社会的視線発信能力の習得も可能となる。
 従来、認知行動療法においては、複数の音の聞き分けを行う「Attention Training Technique (ATT)」という聴覚による注意シフトトレーニング方法が定式化されている。本開示のトレーニングは、本開示のトレーニングシステムにより行われる視線一致判定と認知行動療法的な修正を加えた課題とを組み合わせて、視覚による注意シフトトレーニングを具現化できる点で、非常に有用性が高い。
 つまり、トレーニングには、視線を向ける社会的対象物の構成部位(例えば、眼、鼻、口、おでこ等)を含むように判定領域P2が設定された第1の課題と、当該構成部位を包括する構成単位(例えば、眼が構成部位である場合には、顔や体全体等が構成単位となる)を含むように判定領域P2が設定された第2の課題とが含まれていてもよい。また、トレーニングには、前記構成部位と前記構成単位とを交互に含むように判定領域P2が設定された第3の課題や、判定領域P2が設定されている社会的対象物の表情および/または感情を推測する第4の課題が含まれていてもよい。
 トレーニングは、1以上の課題を使用者が実施することにより行われる。例えば、連続して提示される複数の課題の実施により行われ、複数のトレーニングが日や時間を置いて一連のトレーニングとして行われてもよい。トレーニングの結果は、課題毎の評価または複数課題の総合評価として算出することができる。なお、課題は、所定時間(例えば、20秒間または30秒)の視線一致判定が連続して行われる単位であり、視線一致判定の結果が少なくとも1回得られるように構成される。
 トレーニングの難易度は、任意に決定することができる。例えば、既に実施されたトレーニング結果に基づいて決定することができ、段階的に高くなるように決定されてもよい。
 トレーニングの難易度は、視線一致判定の難易度および/または課題の難易度により設定できる。
 視線一致判定の難易度は、前述の通り、判定領域P2および/または維持時間により設定できる。例えば、判定領域P2を拡大または縮小させ、および/または、維持時間を増加または減少させることにより、視線一致判定の難易度を変更できる。
 課題の難易度は、例えば、使用者の主観的および/または客観的な評価より決定される。使用者の主観的および/または客観的な評価には、例えば、使用者の主観的および/または客観的なストレス指標が含まれる。使用者の主観的なストレスとは、使用者が実感しているストレスを意味し、当該ストレス指標としては、トレーニングに対する不安や辛さの度合いの自己申告等が挙げられる。使用者の客観的なストレスとは、使用者以外が評価するストレスを意味し、当該ストレス指標としては、トレーニングで評価された社会的視線制御能力、トレーニング中の心拍数および心拍数変動指標、トレーニング中の瞳孔の開き具合、トレーニング中の瞬目数、それらの変化等が挙げられる。心拍数変動指標としては、低周波数成分(LF)、高周波数成分(HF)および/またはそれらの比(LF/HF)が挙げられる。なお、使用者に掛かるストレスは、一般的に想定されるストレスの掛かりやすさで判断されてもよい。例えば、怖そうな外見の人に道を尋ねる場面で構成される課題は、優しそうな外見の人に道を尋ねる場面で構成される課題よりも、使用者にストレスが掛かりやすい状況であるといえる。
 課題の難易度の変更は、例えば、課題を構成する要素を変更することにより行われる。課題を構成する要素としては、社会的対象物に視線を向けるような教示のほかに、例えば、表2に示すものが挙げられる。
Figure JPOXMLDOC01-appb-T000002
 また、課題を使用者に提示する方法として、映像コンテンツ(動画および/または静止画)により提示する方法、VR空間で提示する方法、実社会で提示する方法があり、選択される提示方法によっても、課題の難易度の変更が可能である。
 さらに、画像を用いて提示する場合は、画像の種類(動画、静止画)や画像のタイプ(イラスト、アニメーション、写真)によっても課題の難易度の変更が可能である。
 本開示のトレーニングは、前述のように課題を決定および変更できるため、例えば、使用者毎にカスタマイズされたメニューとすることも可能となる。
 本開示のトレーニングを精神神経疾患の治療に用いる場合、トレーニングの期間、頻度および1回当たりの実施時間は、特に限定されず、使用者および/または実施者により任意に設定することができる。好ましくは、1日から1年の期間に、1回あたり1分から240分のトレーニングを90日に1回から1日12回の頻度で実施する。90日に1回1分だけのトレーニングでも、社会的対象物への視線一致および/またはアイコンタクトの意義に気が付くことで、治療の効果が期待できる。一方、1日に1回10分のトレーニングを12回にわたって集中的に行うことでも、治療の効果が期待できる。一方、1年にわたって、90日に1回20分のゆっくりとしたペースでトレーニングを行うことでも、治療の効果が期待できる。なお、トレーニング1回あたりの実施時間は、任意に設定できるが、1回あたり1分未満の場合、短すぎて治療の効果が低下する場合があり、1回あたり240分を超える場合、使用者への負荷が大きくなりすぎて治療の効果が低下する場合がある。また、トレーニングの実施頻度についても、任意に設定できるが、90日に1回よりも低い頻度(例えば、120日に1回)でトレーニングを行う場合、トレーニングの間隔が長すぎて治療の効果が低下する場合がある。また、1日に12回よりも高い頻度(例えば、1日20回)でトレーニングを行う場合、使用者への負荷が大きくなりすぎて治療の効果が低下する場合がある。
 例えば、医療機関に通院して治療を行う場合、トレーニングの期間、頻度および1回当たりの実施時間は、特に限定されず、使用者および/または実施者により任意に設定することができる。好ましくは、1回あたり10分~40分のトレーニングを、毎週1回~2回の頻度で、8回~16回行う。これは、週1回程度の通院が一般的であることを考慮して、例えば、1回20分のトレーニングを週1回行うと仮定すると、習慣化するのに8週間程度必要になると考えられるからである。一方、医療機関外、例えば、自宅で治療またはトレーニングを行う場合も、トレーニングの期間、頻度および1回当たりの実施時間は、特に限定されず、使用者により任意に設定することができる。好ましくは、1回あたり10分~40分のトレーニングを、毎日1回から毎週1回の頻度で行う。トレーニングの総回数には、特に制限はないが、8回~30回の範囲で行うのが好ましい。医療機関での通院治療と自宅治療とを併用してもよい。
 本開示のトレーニングは、精神神経疾患と診断されている人に限らず、視線コミュニケーション能力が低下傾向にある人、または、視線コミュニケーション能力の低下によって社会生活に支障をきたすおそれのある人にも使用できる。この場合も、トレーニングの期間、頻度および1回当たりの実施時間は、特に限定されず、使用者および/または実施者により任意に設定することができる。時間および頻度に特に制限はないが、好ましくは、1回あたりの10~40分、毎日1回から毎週1回の頻度でトレーニングを行う。
 本開示の視線位置判定装置10によれば、次のような効果を発揮できる。
 本開示の視線位置判定装置10は、視線位置入力部11に入力された使用者の視線の位置が判定領域P2にあるか否かを判定する判定部12と、判定領域P2を設定する判定領域設定部15と、判定部12により視線の位置が判定領域P2にあると判定された場合、使用者に対してフィードバックを出力する出力部13とを備えている。例えば、使用者と対面する人の眼球位置が含まれるように判定領域P2を設定することで、現実社会に近い視線一致によるコミュニケーション環境を再現できる。また、第1実施形態の視線位置判定装置10では、使用者の視線の位置が判定領域にあると判定された場合、使用者にフィードバックが出力される。このため、例えば、視線位置判定装置10を精神神経疾患の治療またはトレーニングに用いた場合、使用者の治療またはトレーニングに対する意欲を高めることができる。例えば、認知行動療法の考え方に基づき判定領域P2を設定することにより、各種の視線コミュニケーション能力のトレーニングを実施できる。
 判定部12は、使用者の視線の位置が判定領域P2に位置したときから判定領域P2に留まっている状態で経過した時間(第1の時間)が予め設定された維持時間に到達した場合、視線の位置が判定領域P2にあると判定する。このような構成により、視線一致判定をより正確に行うことができる。
 計測部16が、社会的視線制御能力の指標を計測する。例えば、計測部16は、社会的視線制御能力の指標として、第1の時間の解析値、視線の位置が視線位置入力部11に最初に入力されたときから判定領域P2にあると判定されるまでの間に経過した第2の時間、使用者の視線位置と判定領域P2との間の距離、および、視線の位置が判定領域P2にあると判定された回数の少なくともいずれか1つを測定する。計測された指標を用いることで、使用者の社会的視線制御能力を判定することができる。例えば、測定された社会的視線制御能力を経時的に記録することで、視線制御が困難な精神神経疾患を診断したり、精神神経疾患に対する治療またはトレーニング効果をモニタリングしたりすることができる。
 出力部13は、使用者に対してフィードバックをリアルタイムで出力する。このように構成することで、現実社会により近い視線によるコミュニケーション環境を再現できる。
 視線位置判定装置10が、使用者が視線を合わせる目標位置P1を設定する目標位置設定部14をさらに備える。このような構成により、例えば、使用者と対面する人に動きがある場合でも、リアルタイムに眼球位置P3、P4を目標位置P1に設定することで、現実社会により近い視線によるコミュニケーション環境を再現できる。
 判定領域設定部15は、例えば、使用者と対面する人の体全体、使用者と対面する人の体の一部分、使用者と対面する人の顔全体、使用者と対面する人の顔の一部分、使用者と対面する人の眼部、および、使用者と対面する人の眼球位置の一部から選択された1つを含むように判定領域P2を設定することができる。このような構成により、現実社会により近い視線によるコミュニケーション環境を再現できる。
 判定領域設定部15は、例えば、使用者と対面するディスプレイに表示された人を含む動物の画像における動物の体全体、動物の体の一部分、動物の顔全体、動物の顔の一部分、動物の眼部、および、動物の眼球位置から選択された1つを含むように判定領域P2を目標位置P1として設定することができる。このような構成により、現実社会により近い視線によるコミュニケーション環境を再現できる。
 判定領域設定部15は、例えば、使用者と対面する人または使用者と対面するディスプレイに表示された人を含む動物の画像における動物の眼球位置を含むように判定領域P2を設定することができる。このような構成により、現実社会により近い視線によるコミュニケーション環境を再現できる。
 判定領域設定部15は、例えば、使用者と対面する人または使用者と対面するディスプレイに表示された人の左右の眼球位置P3、P4間の距離Lに基づいて、判定領域P2の大きさを設定することができる。このような構成により、簡単な構成で使用者から見た対象像の大きさを算出でき、例えば、課題の難易度の指標としたり、課題間の判定領域P2の大きさの標準化に利用したりすることができる。
 判定領域P2の大きさに下限値が設定されている。このような構成により、使用者の視線の位置を正確に捉えることができ、より正確に視線一致判定をすることができる。
 視線位置判定装置10が、判定部12による判定の難易度を設定する難易度設定部50をさらに備える。このような構成により、視線一致判定に対して複数段階の難易度を設定することができる。
 難易度設定部50は、判定領域P2の大きさ、および/または、維持時間の長さを設定することで、視線一致判定の難易度を設定する。このような構成により、視線一致判定に対して複数段階の難易度を容易に設定することができる。
 フィードバックが、視覚、聴覚および触覚から選択される1つまたは複数の感覚を通じて行われる。このような構成により、例えば、視線位置判定装置10を精神神経疾患の治療またはトレーニングに用いた場合、使用者の治療またはトレーニングに対する意欲をより高めることができる。
 本開示の視線位置判定システム1は、視線位置判定装置10と、使用者の視線の位置を取得して視線位置入力部11に出力する視線位置取得部20とを備える。視線位置判定装置10により、現実社会に近い視線によるコミュニケーション環境を再現可能な視線位置判定システム1を実現できる。
 本開示の視線位置判定方法は、使用者の視線の位置を検出し、検出された視線の位置が判定領域P2にあるか否かを判定し、視線の位置が判定領域P2にあると判定された場合使用者に対してフィードバックを出力する。また、本開示のプログラムは、本開示の視線位置判定方法をコンピュータに実行させる。このような構成により、例えば、視線を向ける社会的対象物を含むように判定領域P2を設定し、視線一致判定およびフィードバックを行うことで、現実社会により近い視線によるコミュニケーション環境を再現できる。本開示の視線位置判定方法は、精神神経疾患の診断方法、および、精神神経疾患の診断支援方法にも適用できる。
 使用者に対して、判定領域P2がそれぞれ設定された複数の画像を連続して提示する。このような構成により、例えば、複数の画像のうち、課題の難易度が低い画像から順に使用者に提示することで、非現実社会の視線によるコミュニケーションから現実社会に近い視線によるコミュニケーションまで、段階的な視線によるコミュニケーション環境を再現できる。
 本開示の治療方法、トレーニング方法、評価方法およびモニタリング方法は、本開示の視線位置判定方法を用いる。本開示の治療方法およびトレーニング方法によれば、視線位置判定方法により、現実社会により近い視線によるコミュニケーション環境が簡便かつ均質に再現されて、フィードバックが出力されるので、継続性が高く効果の高い治療方法およびトレーニング方法を実現できる。本開示の治療方法による治療効果および本開示のトレーニング方法によるトレーニング効果とは、リボビッツ社交不安尺度(Liebowitz Social Anxiety Scale)、社交恐怖症尺度(Social Phobia Inventory)、うつ状態評価尺度(Patient Health Questionnaire -9)、不安状態評価尺度(Generalized Anxiety Disorder -7)、医療経済的な健康関連QOL評価尺度EuroQol 5 Dimension (EQ-5D)を用いた健康関連QOL評価(自記式)、アイコンタクトの不安感、および/または、アイコンタクトの楽しさの少なくともいずれか1つの改善を期待できることを示す。本開示の治療方法およびトレーニング方法によれば、使用者により課題および判定の難易度を調整できるため、使用者の不安およびストレスを軽減できる。また、本開示の治療方法およびトレーニング方法によれば、実施者(例えば、医師、心理師(心理士)、カウンセラー、セラピスト)の専門性および熟練度に関係なく、実施者が遠隔地にいる状況または実施者が不在の状況であっても、標準化された治療およびトレーニングを提供できる。このため、使用日毎の視線コミュニケーション能力および社会的視線制御能力のスコアの変動が少なくなり、これらのスコアを定量的な指標として用いることができる。つまり、本開示の評価方法およびモニタリング方法によれば、視線位置判定方法により、視線コミュニケーション能力を定量的に評価可能な評価方法およびモニタリング方法を実現できる。なお、本開示の治療方法には、治療支援方法も含まれる。
 本開示のトレーニングシステムは、視線位置判定装置10または視線位置判定システム1を備え、視線位置判定方法を用いてトレーニングを実施可能に構成されている。視線位置判定装置10または視線位置判定システム1と、視線位置判定方法により、現実社会により近いコミュニケーション環境が再現されて、効果の高いトレーニングシステムを実現できる。
 以上、図面を参照して本開示における種々の実施形態を詳細に説明したが、最後に、本開示の種々の態様について説明する。
 本開示の第1態様の視線位置判定装置は、
 使用者の視線の位置が入力される視線位置入力部と、
 判定領域を設定する判定領域設定部と、
 前記視線位置入力部により入力された前記視線の位置が前記判定領域にあるか否かを判定する判定部と、
 前記判定部により前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する出力部と
を備える。
 本開示の第2態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
 前記判定部は、
 前記計測部で計測された第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定する。
 本開示の第3態様の視線位置判定装置は、
 前記出力部は、
 前記使用者に対して前記フィードバックをリアルタイムで出力する。
 本開示の第4態様の視線位置判定装置は、
 前記使用者が視線を合わせる目標位置を設定する目標位置設定部をさらに備える。
 本開示の第5態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記使用者と対面する人を含む動物の体全体、前記使用者と対面する前記動物の体の一部分、前記使用者と対面する前記動物の顔全体、前記使用者と対面する前記動物の顔の一部分、前記使用者と対面する前記動物の眼部、および、前記使用者と対面する前記動物の眼球位置の一部から選択された1つを含むように前記判定領域を設定する。
 本開示の第6態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記使用者と対面するディスプレイに表示された人を含む動物の画像における前記動物の体全体、前記動物の体の一部分、前記動物の顔全体、前記動物の顔の一部分、前記動物の眼部、および、前記動物の眼球位置から選択された1つを含むように前記判定領域を設定する。
 本開示の第7態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記動物の眼球位置を含むように前記判定領域を設定する。
 本開示の第8態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記使用者の視界画像に含まれる人を含む動物の画像における前記動物の左右の眼球位置間の距離に基づいて、前記判定領域の大きさを設定する。
 本開示の第9態様の視線位置判定装置は、
 前記判定領域の大きさに下限値が設定されている。
 本開示の第10態様の視線位置判定装置は、
 前記動物が、人である。
 本開示の第11態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部が、前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間に加え、前記使用者の社会的視線制御能力の指標を計測する。
 本開示の第12態様の視線位置判定装置は、
 前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が前記視線位置入力部に最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである。
 本開示の第13態様の視線位置判定装置は、
 計測された前記使用者の前記社会的視線制御能力の指標と、他の使用者の前記社会的視線制御能力の指標とを比較することにより、複数の課題で構成されるトレーニングの複数の前記課題のうち、前記使用者の苦手な前記課題を推定する。
 本開示の第14態様の視線位置判定装置は、
 複数の課題で構成されるトレーニングの負荷を設定する難易度設定部をさらに備え、
 前記難易度設定部は、計測された前記社会的視線制御能力の指標により前記トレーニングの負荷を設定する。
 本開示の第14-2態様の視線位置判定装置は、
 複数の課題で構成されるトレーニングの負荷を設定する難易度設定部をさらに備える。
 本開示の第15態様の視線位置判定装置は、
 前記難易度設定部は、前記判定部により判定された結果により前記トレーニングの負荷を設定する。
 本開示の第16態様の視線位置判定装置は、
 前記難易度設定部は、計測された前記社会的視線制御能力の指標が、計測された前記社会的視線制御能力の指標よりも前に計測された前記社会的視線制御能力の指標よりも高い場合、前記トレーニングの負荷を高くする。
 本開示の第16-2態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
 前記判定部は、
 前記計測部で計測された前記第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定し、
 前記難易度設定部は、
 前記判定領域の大きさ、および/または、前記維持時間の長さを設定することで、前記トレーニングの負荷を設定する。
 本開示の第17態様の視線位置判定装置は、
 前記難易度設定部は、計測された前記使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差を前記他の使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差と比較することにより、前記使用者の苦手な前記課題を推定し、推定された前記課題に基づいて、前記トレーニングの負荷を設定する。
 本開示の第17-2態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
 前記計測部が、前記第1の時間に加え、前記使用者の社会的視線制御能力の指標を計測する。
 本開示の第18態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
 前記判定部は、
 前記計測部で計測された前記第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定し、
 前記難易度設定部は、
 前記判定領域の大きさ、および/または、前記維持時間の長さを設定することで、前記トレーニングの負荷を設定する。
 本開示の第18-2態様の視線位置判定装置は、
 前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が前記視線位置入力部に最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである。
 本開示の第19態様の視線位置判定装置は、
 前記トレーニングの負荷の変更を行う難易度変更操作を受け付け可能な操作部をさらに備え、
 前記難易度設定部は、前記操作部が受け付けた前記難易度変更操作により前記トレーニングの難易度を設定する。
 本開示の第19-2態様の視線位置判定装置は、
 前記難易度設定部は、計測された前記社会的視線制御能力の指標が、計測された前記社会的視線制御能力の指標よりも前に計測された前記社会的視線制御能力の指標よりも高い場合、前記トレーニングの負荷を高くする。
 本開示の第20態様の視線位置判定装置は、
 前記フィードバックが、視覚、聴覚および触覚から選択される1つまたは複数の感覚を通じて行われる。
 本開示の第20-2態様の視線位置判定装置は、
 前記難易度設定部は、計測された前記使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差を他の使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差と比較することにより、前記使用者の苦手な前記課題を推定し、推定された前記課題に基づいて、前記トレーニングの負荷を設定する。
 本開示の第21態様の視線位置判定装置は、
 精神神経疾患の診断、重症度分類、治療、トレーニング、および/または、モニタリングために使用されるか、もしくは、視線コミュニケーション能力の向上のために使用される。
 本開示の第21-2態様の視線位置判定装置は、
 前記トレーニングの負荷の変更を行う難易度変更操作を受け付け可能な操作部をさらに備え、
 前記難易度設定部は、前記操作部が受け付けた前記難易度変更操作により前記トレーニングの難易度を設定する。
 本開示の第22態様の視線位置判定装置は、
 前記精神神経疾患が、不安症群または神経発達症群である。
 本開示の第23態様の視線位置判定システムは、
 前記態様の視線位置判定装置と、
 前記使用者の視線方向を検出する視線方向取得部を有し、前記視線方向取得部で検出された前記使用者の視線方向を前記視線位置入力部に出力する視線位置取得部と
を備える。
 本開示の第24態様の視線位置判定システムは、
 前記視線位置取得部が、
 前記使用者の視界画像を取得する視界画像取得部をさらに有し、
 前記視界画像に基づいて前記使用者の視線の位置を取得する。
 本開示の第25態様の視線位置判定システムは、
 前記視線位置入力部が、
 前記視界画像取得部により取得された前記視界画像における前記使用者に提示された提示画像の位置を検出する表示位置検出部と、
 検出された前記提示画像の位置に基づいて、前記視界画像の座標系における前記使用者の視線の位置を前記提示画像の座標系における前記使用者の視線の位置に変換する視線位置変換部と
をさらに有する。
 本開示の第26態様の視線位置判定方法は、
 使用者の視線の位置を入力し、
 判定領域を設定し、
 入力された前記視線の位置が判定領域にあるか否かを判定し、
 前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する。
 本開示の第27態様の視線位置判定方法は、
 前記視線の位置が前記判定領域に位置したときから、前記視線の位置が前記判定領域に留まっている状態で経過した第1の時間を計測し、
 計測された第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定する。
 本開示の第28態様の視線位置判定方法は、
 前記使用者に対して前記フィードバックをリアルタイムで出力する。
 本開示の第29態様の視線位置判定方法は、
 前記使用者が視線を合わせる目標位置を設定し、
 前記目標位置が含まれる前記判定領域を設定する。
 本開示の第30態様の視線位置判定方法は、
 前記使用者と対面する人を含む動物の体全体、前記使用者と対面する前記動物の体の一部分、前記使用者と対面する前記動物の顔全体、前記使用者と対面する前記動物の顔の一部分、前記使用者と対面する前記動物の眼部、および、前記使用者と対面する前記動物の眼球位置の一部から選択された1つを含むように前記判定領域が設定される。
 本開示の第31態様の視線位置判定方法は、
 前記使用者と対面するディスプレイに表示された人を含む動物の画像における前記動物の体全体、前記動物の体の一部分、前記動物の顔全体、前記動物の顔の一部分、前記動物の眼部、および、前記動物の眼球位置から選択された1つを含むように前記判定領域が設定される。
 本開示の第32態様の視線位置判定方法は、
 前記使用者と対面する人を含む動物の左右の眼球位置間の距離に基づいて、前記判定領域の大きさが設定される。
 本開示の第33態様の視線位置判定方法は、
 前記判定領域の大きさに下限値が設定されている。
 本開示の第34態様の視線位置判定方法は、
 前記下限値は、前記使用者が任意の一点を注視する際に時間経過により変動する視線位置を表す視線位置変動データに基づいて決定される。
 本開示の第35態様の視線位置判定方法は、
 前記動物が、人である。
 本開示の第36態様のトレーニングシステムは、
 前記態様の視線位置判定装置、または、前記態様の視線位置判定システムを備える。
 本開示の第37態様の評価方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の第38態様の評価方法は、
 前記視線コミュニケーション能力が、社会的視線制御能力または社会的視線発信能力である。
 本開示の第39態様の評価方法は、
 前記社会的視線制御能力が、社会的視線一致能力、社会的視線シフト能力、または、共同注視能力である。
 本開示の第40態様のトレーニング方法は、
 前記態様の視線位置判定方法を用いたトレーニングを実施する。
 本開示の第41態様のトレーニング方法は、
 前記トレーニングは、前記視線の位置が前記判定領域にあるか否かの判定結果が少なくとも1回得られるように構成された複数の課題で構成され、複数の前記課題が連続して実施され、
 前記課題には、教示に従って、複数の前記判定領域のうちのいずれかに視線を向けることが含まれる。
 本開示の第42態様のトレーニング方法は、
 前記課題には、
 視線を向ける社会的対象物の構成部位を含むように前記判定領域が設定された第1の課題と、
 前記構成部位を包括する構成単位を含むように前記判定領域が設定された第2の課題と
が含まれる。
 本開示の第43態様のトレーニング方法は、
 前記課題には、
 前記構成部位と前記構成単位とを交互に含むように前記判定領域が設定された第3の課題が含まれる。
 本開示の第44態様のトレーニング方法は、
 前記課題には、
 前記判定領域に視線を向けることに加えて、前記判定領域が設定されている社会的対象物の表情および/または感情を推測する第4の課題が含まれる。
 本開示の第45態様のトレーニング方法は、
 前記トレーニングの負荷が、前記課題の難易度により設定される。
 本開示の第46態様のトレーニング方法は、
 前記トレーニングの負荷が、前記使用者の主観的または客観的な評価を含む指標に基づいて設定される。
 本開示の第47態様のトレーニング方法は、
 前記使用者の主観的な評価には、前記トレーニングを実施して実感した辛さを前記使用者が自己申告した評価が含まれる。
 本開示の第47-2態様のトレーニング方法は、
 前記トレーニングの負荷が、前記視線の位置が前記判定領域にあるか否かの判定結果により設定される。
 本開示の第48態様のトレーニング方法は、
 前記使用者の客観的な評価には、前記トレーニングの結果、前記トレーニング中の前記使用者の心拍数の変化および/または心拍数変動指標、前記使用者の瞳孔の開き具合、および、前記使用者の瞬目数の変化の少なくともいずれかが含まれる。
 本開示の第48-2態様のトレーニング方法は、
 前記視線の位置が前記判定領域に位置したときから前記視線の位置が前記判定領域に留まっている状態で経過した第1の時間が予め設定された維持時間に到達し、前記視線の位置が前記判定領域にあると判定される場合、
 前記トレーニングの負荷が、前記判定領域の大きさ、および/または、前記維持時間の長さを設定することにより設定される。
 本開示の第49態様のトレーニング方法は、
 視線を信号として制御し使用する能力である社会的視線制御能力の指標を計測する。
 本開示の第50態様のトレーニング方法は、
 前記社会的視線制御能力の指標が、前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間、前記視線の位置が最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離と、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである。
 本開示の第51態様のトレーニング方法は、
 前記トレーニングの負荷が、計測された前記使用者の社会的視線制御能力の指標により設定される。
 本開示の第52態様のトレーニング方法は、
 前記トレーニングの負荷が、前記視線の位置が設定された前記判定領域にあるか否かの判定の結果により設定される。
 本開示の第53態様のトレーニング方法は、
 前記第1の時間が予め設定された維持時間に到達し、前記視線の位置が前記判定領域にあると判定される場合、
 前記トレーニングの負荷が、前記判定領域の大きさ、および/または、前記維持時間の長さを設定することにより設定される。
 本開示の第53-2態様のトレーニング方法は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間と、視線を信号として制御し使用する能力である社会的視線制御能力の指標とを計測する。
 本開示の第54態様のトレーニング方法は、
 前記トレーニングは、前記視線の位置が前記判定領域にあるか否かの判定結果が少なくとも1回得られるように構成された複数の課題のうち、難易度が低い前記課題から順に連続して前記使用者に提示するように構成されている。
 本開示の第54-2態様のトレーニング方法は、
 前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである。
 本開示の第55-2態様のトレーニング方法は、
 計測された前記社会的視線制御能力の指標が、計測された前記社会的視線制御能力の指標よりも前に計測された前記社会的視線制御能力の指標よりも高い場合、前記トレーニングの負荷を高くする。
 本開示の第56-2態様のトレーニング方法は、
 計測された前記使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差を他の使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差と比較することにより、前記使用者の苦手な前記課題を推定し、推定された前記課題に基づいて、前記トレーニングの負荷を設定する。
 本開示の第57-2態様のトレーニング方法は、
 前記トレーニングの負荷の変更を行う難易度変更操作により、前記トレーニングの難易度を設定する。
 本開示の第55態様のモニタリング方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の第56態様の精神神経疾患の治療方法は、
 前記態様のトレーニング方法を用いたトレーニングを実施する。
 本開示の第57態様の精神神経疾患の治療方法は、
 1日から1年の期間に、1回あたり1分から240分の前記トレーニングが、90日に1回から1日12回の頻度で実施される。
 本開示の第58態様の精神神経疾患の治療方法は、
 前記トレーニングの負荷が、段階的に高くなる。
 本開示の第59態様の精神神経疾患の治療方法は、
 前記トレーニングの難易度が、前記使用者に合わせて変更される。
 本開示の第60態様の精神神経疾患の診断方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の第61態様のプログラムは、
 前記態様の視線位置判定方法をコンピュータに実行させる。
 本開示の第62態様のプログラムは、
 前記態様のトレーニング方法をコンピュータに実行させる。
 本開示の第A1態様の視線位置判定装置は、
 使用者の視線の位置が入力される視線位置入力部と、
 判定領域を設定する判定領域設定部と、
 前記視線位置入力部により入力された前記視線の位置が前記判定領域にあるか否かを判定する判定部と、
 前記判定部により前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する出力部と
を備える。
 本開示の第A2態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
 前記判定部は、
 前記計測部で計測された第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定する。
 本開示の第A3態様の視線位置判定装置は、
 前記計測部が、前記第1の時間に加え、社会的視線制御能力の指標を計測する。
 本開示の第A4態様の視線位置判定装置は、
 前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が前記視線位置入力部に最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれかである。
 本開示の第A5態様の視線位置判定装置は、
 前記出力部は、
 前記使用者に対して前記フィードバックをリアルタイムで出力する。
 本開示の第A6態様の視線位置判定装置は、
 前記使用者が視線を合わせる目標位置を設定する目標位置設定部をさらに備える。
 本開示の第A7態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記使用者と対面する人を含む動物の体全体、前記使用者と対面する前記動物の体の一部分、前記使用者と対面する前記動物の顔全体、前記使用者と対面する前記動物の顔の一部分、前記使用者と対面する前記動物の眼部、および、前記使用者と対面する前記動物の眼球位置の一部から選択された1つを含むように前記判定領域を設定する。
 本開示の第A8態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記使用者と対面するディスプレイに表示された人を含む動物の画像における前記動物の体全体、前記動物の体の一部分、前記動物の顔全体、前記動物の顔の一部分、前記動物の眼部、および、前記動物の眼球位置から選択された1つを含むように前記判定領域を設定する。
 本開示の第A9態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記動物の眼球位置を含むように前記判定領域を設定する。
 本開示の第A10態様の視線位置判定装置は、
 前記判定領域設定部は、
 前記使用者の視界画像に含まれる人を含む動物の画像における前記動物の左右の眼球位置間の距離に基づいて、前記判定領域の大きさを設定する。
 本開示の第A11態様の視線位置判定装置は、
 前記判定領域の大きさに下限値が設定されている。
 本開示の第A12態様の視線位置判定装置は、
 前記動物が、人である。
 本開示の第A13態様の視線位置判定装置は、
 複数の課題で構成されるトレーニングの難易度を設定する難易度設定部をさらに備え、
 前記トレーニングの難易度は、前記課題の難易度および/または入力された前記視線の位置が前記判定領域にあるか否かの判定である視線一致判定の難易度により設定される。
 本開示の第A14態様の視線位置判定装置は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
 前記判定部は、
 前記計測部で計測された前記第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定し、
 前記難易度設定部は、
 前記判定領域の大きさ、および/または、前記維持時間の長さを設定することで、前記視線一致判定の難易度を設定する。
 本開示の第A15態様の視線位置判定装置は、
 前記難易度設定部は、前記判定部により判定された結果により前記トレーニングの難易度を設定する。
 本開示の第A16態様の視線位置判定装置は、
 前記トレーニングの難易度の変更を行う難易度変更操作を受け付け可能な操作部をさらに備え、
 前記難易度設定部は、前記操作部が受け付けた前記難易度変更操作により前記トレーニングの難易度を設定する。
 本開示の第A17態様の視線位置判定装置は、
 前記フィードバックが、視覚、聴覚および触覚から選択される1つまたは複数の感覚を通じて行われる。
 本開示の第A18態様の視線位置判定装置は、
 精神神経疾患の診断、重症度分類、治療、トレーニング、および/または、モニタリングために使用されるか、もしくは、視線コミュニケーション能力の向上、および/または、社会的視線制御能力の向上のために使用される。
 本開示の第A19態様の視線位置判定装置は、
 前記精神神経疾患が、不安症群または神経発達症群である。
 本開示の第A20態様の視線位置判定システムは、
 前記態様の視線位置判定装置と、
 前記使用者の視線方向を検出する視線方向取得部を有し、
 前記視線方向取得部で検出された前記使用者の視線方向を前記視線位置入力部に出力する視線位置取得部と
を備える。
 本開示の第A21態様の視線位置判定システムは、
 前記視線位置取得部が、
 前記使用者の視界画像を取得する視界画像取得部をさらに有し、
 前記視界画像に基づいて前記使用者の視線の位置を取得する。
 本開示の第A22態様の視線位置判定システムは、
 前記視線位置入力部が、
 前記視界画像取得部により取得された前記視界画像における前記使用者に提示された提示画像の位置を検出する表示位置検出部と、
 検出された前記提示画像の位置に基づいて、前記視界画像の座標系を前記提示画像の座標系に変換する視線位置変換部と
をさらに有する。
 本開示の第A23態様の視線位置判定方法は、
 使用者の視線の位置を入力し、
 判定領域を設定し、
 入力された前記視線の位置が判定領域にあるか否かを判定し、
 前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する。
 本開示の第A24態様の視線位置判定方法は、
 前記視線の位置が前記判定領域に位置したときから、前記視線の位置が前記判定領域に留まっている状態で経過した第1の時間を計測し、
 計測された第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定する。
 本開示の第A25態様の視線位置判定方法は、
 前記第1の時間に加え、社会的視線制御能力の指標を計測する。
 本開示の第A26態様の視線位置判定方法は、
 前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が前記視線位置入力部に最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離と、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである。
 本開示の第A27態様の視線位置判定方法は、
 前記使用者に対して前記フィードバックをリアルタイムで出力する。
 本開示の第A28態様の視線位置判定方法は、
 前記使用者が視線を合わせる目標位置を設定し、
 前記目標位置が含まれる前記判定領域を設定する。
 本開示の第A29態様の視線位置判定方法は、
 前記使用者と対面する人の体全体、前記使用者と対面する人の体の一部分、前記使用者と対面する人の顔全体、前記使用者と対面する人の顔の一部分、前記使用者と対面する人の眼部、および、前記使用者と対面する人の眼球位置の一部から選択された1つを含むように前記判定領域が設定される。
 本開示の第A30態様の視線位置判定方法は、
 前記使用者と対面するディスプレイに表示された人を含む動物の画像における前記動物の体全体、前記動物の体の一部分、前記動物の顔全体、前記動物の顔の一部分、前記動物の眼部、および、前記動物の眼球位置から選択された1つを含むように前記判定領域が設定される。
 本開示の第A31態様の視線位置判定方法は、
 前記使用者と対面する人を含む動物の左右の眼球位置間の距離に基づいて、前記判定領域の大きさが設定される。
 本開示の第A32態様の視線位置判定方法は、
 前記判定領域の大きさに下限値が設定されている。
 本開示の第A33態様の視線位置判定方法は、
 前記動物が、人である。
 本開示の第A34態様の視線位置判定方法は、
 入力された前記視線の位置が設定された前記判定領域にあるか否かの判定が、複数の課題で構成されるトレーニングの設定された難易度により行われる。
 本開示の第A35態様の視線位置判定方法は、
 前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間が予め設定された維持時間に到達し、前記視線の位置が前記判定領域にあると判定される場合、
 前記トレーニングの難易度が、前記判定領域の大きさ、および/または、前記維持時間の長さを設定することにより設定される。
 本開示の第A36態様の視線位置判定方法は、
 前記トレーニングの難易度が、前記視線の位置が設定された前記判定領域にあるか否かの判定の結果により設定される。
 本開示の第A37態様の視線位置判定方法は、
 前記使用者に対して、前記判定領域がそれぞれ設定された複数の画像を連続して提示する。
 本開示の第A38態様のトレーニングシステムは、
 前記態様の視線位置判定装置、または、前記態様の視線位置判定システムを備える。
 本開示の第A39態様の視線コミュニケーション能力の評価方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の第A40態様の視線コミュニケーション能力の評価方法は、
 前記視線コミュニケーション能力が、社会的視線制御能力または社会的視線発信能力である。
 本開示の第A41態様の視線コミュニケーション能力の評価方法は、
 前記社会的視線制御能力が、社会的視線一致能力、社会的視線シフト能力、または、共同注視能力である。
 本開示の第A42態様のトレーニング方法は、
 前記態様の視線位置判定方法を用いたトレーニングを実施する。
 本開示の第A43態様のトレーニング方法は、
 前記トレーニングは、前記視線の位置が前記判定領域にあるか否かの判定結果が少なくとも1回得られるように構成された複数の課題で構成され、前記複数の課題が連続して実施され、
 前記課題には、教示に従って、大きさの異なる複数の前記判定領域のうちのいずれかに視線を向けることが含まれる。
 本開示の第A44態様のトレーニング方法は、
 前記課題には、
 視線を向ける社会的対象物の構成部位を含むように前記判定領域が設定された第1の課題と、
 前記構成部位を包括する構成単位を含むように前記判定領域が設定された第2の課題と
が含まれる。
 本開示の第A45態様のトレーニング方法は、
 前記課題には、
 前記構成部位と前記構成単位とを交互に含むように前記判定領域が設定された第3の課題が含まれる。
 本開示の第A46態様のトレーニング方法は、
 前記課題には、
 前記判定領域に視線を向けることに加えて、前記判定領域が設定されている社会的対象物の表情および/または感情を推測する第4の課題が含まれる。
 本開示の第A47態様のトレーニング方法は、
 前記トレーニングの難易度が、前記課題の難易度により 設定される。
 本開示の第A48態様のトレーニング方法は、
 前記トレーニングの難易度が、前記使用者の主観的または客観的な評価を含む指標に基づいて設定される。
 本開示の第A49態様のトレーニング方法は、
 前記使用者の主観的な評価には、前記トレーニングを実施して実感した辛さを前記使用者が自己申告した評価が含まれる。
 本開示の第A50態様のトレーニング方法は、
 前記使用者の客観的な評価には、前記トレーニングの結果、前記トレーニング中の前記使用者の心拍数の変化、および、前記使用者の瞳孔の開き具合の変化の少なくともいずれかが含まれる。
 本開示の第A51態様のトレーニング方法は、
 前記トレーニングの難易度が、入力された前記視線の位置が前記判定領域にあるか否かの判定である視線一致判定の難易度により設定される。
 本開示の第A52態様のトレーニング方法は、
 前記使用者の社会的視線制御能力の指標を計測し、前記指標により視線一致判定の難易度が設定される。
 本開示の第A53態様のモニタリング方法は、
 前記態様の視線位置判定方法を用いた。
 本開示の第A54態様の精神疾患の治療方法は、
 前記態様のトレーニング方法を用いたトレーニングを実施する。
 本開示の第A55態様の精神疾患の治療方法は、
 1日から1年の期間に、1回あたり1分から240分の前記トレーニングが、90日に1回から1日12回の頻度で実施される。
 本開示の第A56態様の精神疾患の治療方法は、
 前記トレーニングの難易度が、段階的に高くなる。
 本開示の第A57態様の精神疾患の治療方法は、
 前記トレーニングの難易度が、前記使用者に合わせて変更される。
 本開示の第A58態様のプログラムは、
 前記態様の視線位置判定方法をコンピュータに実行させる。
 本開示の第A59態様のプログラムは、
 前記態様のトレーニング方法をコンピュータに実行させる。
 なお、前記様々な実施形態または変形例のうちの任意の実施形態または変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせまたは実施例同士の組み合わせまたは実施形態と実施例との組み合わせが可能であると共に、異なる実施形態または実施例の中の特徴同士の組み合わせも可能である。
1 視線位置判定システム
10 視線位置判定装置
11 視線位置入力部
111 表示位置検出部
112 視線位置変換部
12 判定部
13 出力部
14 目標位置設定部
15 判定領域設定部
16 計測部
17 マーカー生成部
20 視線位置取得部
21 撮像部
22 視線方向取得部
31 ヘッドマウントディスプレイ
32 ディスプレイ
33 スクリーン
34 提示画像取得部
35 ウェアラブル端末
36 スピーカ
40 視界画像
50 難易度設定部
51 操作部
52 記憶部
53 制御能力取得部
54 維持時間設定部
100 対象像
P1 目標位置
P2 判定領域

Claims (66)

  1.  使用者の視線の位置が入力される視線位置入力部と、
     判定領域を設定する判定領域設定部と、
     前記視線位置入力部により入力された前記視線の位置が前記判定領域にあるか否かを判定する判定部と、
     前記判定部により前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する出力部と
    を備える、視線位置判定装置。
  2.  前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
     前記判定部は、
     前記計測部で計測された第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定する、請求項1の視線位置判定装置。
  3.  前記出力部は、
     前記使用者に対して前記フィードバックをリアルタイムで出力する、請求項1または2の視線位置判定装置。
  4.  前記使用者が視線を合わせる目標位置を設定する目標位置設定部をさらに備える、請求項1から3のいずれか1つの視線位置判定装置。
  5.  前記判定領域設定部は、
     前記使用者と対面する人を含む動物の体全体、前記使用者と対面する前記動物の体の一部分、前記使用者と対面する前記動物の顔全体、前記使用者と対面する前記動物の顔の一部分、前記使用者と対面する前記動物の眼部、および、前記使用者と対面する前記動物の眼球位置の一部から選択された1つを含むように前記判定領域を設定する、請求項1から4のいずれか1つの視線位置判定装置。
  6.  前記判定領域設定部は、
     前記使用者と対面するディスプレイに表示された人を含む動物の画像における前記動物の体全体、前記動物の体の一部分、前記動物の顔全体、前記動物の顔の一部分、前記動物の眼部、および、前記動物の眼球位置から選択された1つを含むように前記判定領域を設定する、請求項1から5のいずれか1つの視線位置判定装置。
  7.  前記判定領域設定部は、
     前記動物の眼球位置を含むように前記判定領域を設定する、請求項5または6の視線位置判定装置。
  8.  前記判定領域設定部は、
     前記使用者の視界画像に含まれる人を含む動物の画像における前記動物の左右の眼球位置間の距離に基づいて、前記判定領域の大きさを設定する、請求項1から7のいずれか1つの視線位置判定装置。
  9.  前記判定領域の大きさに下限値が設定可能であるように構成されている、請求項8の視線位置判定装置。
  10.  前記動物が、人である、請求項5から9のいずれか1つの視線位置判定装置。
  11.  前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
     前記計測部が、前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間に加え、前記使用者の社会的視線制御能力の指標を計測する、請求項1から10のいずれか1つの視線位置判定装置。
  12.  前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が前記視線位置入力部に最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである、請求項11の視線位置判定装置。
  13.  計測された前記使用者の前記社会的視線制御能力の指標と、他の使用者の前記社会的視線制御能力の指標とを比較することにより、複数の課題で構成されるトレーニングの複数の前記課題のうち、前記使用者の苦手な前記課題を推定する、請求項11または12の視線位置判定装置。
  14.  複数の課題で構成されるトレーニングの負荷を設定する難易度設定部をさらに備える、請求項1から10のいずれかの1つの視線位置判定装置。
  15.  前記難易度設定部は、前記判定部により判定された結果により前記トレーニングの負荷を設定する、請求項14の視線位置判定装置。
  16.  前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
     前記判定部は、
     前記計測部で計測された前記第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定し、
     前記難易度設定部は、
     前記判定領域の大きさ、および/または、前記維持時間の長さを設定することで、前記トレーニングの負荷を設定する、請求項14または15の視線位置判定装置。
  17.  前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間を計測する計測部をさらに備え、
     前記計測部が、前記第1の時間に加え、前記使用者の社会的視線制御能力の指標を計測する、請求項14から16のいずれか1つの視線位置判定装置。
  18.  前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が前記視線位置入力部に最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである、請求項17の視線位置判定装置。
  19.  前記難易度設定部は、計測された前記社会的視線制御能力の指標が、計測された前記社会的視線制御能力の指標よりも前に計測された前記社会的視線制御能力の指標よりも高い場合、前記トレーニングの負荷を高くする、請求項17または18の視線位置判定装置。
  20.  前記難易度設定部は、計測された前記使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差を他の使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差と比較することにより、前記使用者の苦手な前記課題を推定し、推定された前記課題に基づいて、前記トレーニングの負荷を設定する、請求項17から19のいずれか1つの視線位置判定装置。
  21.  前記トレーニングの負荷の変更を行う難易度変更操作を受け付け可能な操作部をさらに備え、
     前記難易度設定部は、前記操作部が受け付けた前記難易度変更操作により前記トレーニングの難易度を設定する、請求項14から20のいずれか1つの視線位置判定装置。
  22.  前記フィードバックが、視覚、聴覚および触覚から選択される1つまたは複数の感覚を通じて行われる、請求項1から21のいずれか1つの視線位置判定装置。
  23.  精神神経疾患の診断、重症度分類、治療、トレーニング、および/または、モニタリングために使用されるか、もしくは、視線コミュニケーション能力の向上のために使用される、請求項1から22のいずれか1つの視線位置判定装置。
  24.  前記精神神経疾患が、不安症群または神経発達症群である、請求項23の視線位置判定装置。
  25.  請求項1から24のいずれか1つの視線位置判定装置と、
     前記使用者の視線方向を検出する視線方向取得部を有し、前記視線方向取得部で検出された前記使用者の視線方向を前記視線位置入力部に出力する視線位置取得部と
    を備える、視線位置判定システム。
  26.  前記視線位置取得部が、
     前記使用者の視界画像を取得する視界画像取得部をさらに有し、
     前記視界画像に基づいて前記使用者の視線の位置を取得する、請求項25の視線位置判定システム。
  27.  前記視線位置入力部が、
     前記視界画像取得部により取得された前記視界画像における前記使用者に提示された提示画像の位置を検出する表示位置検出部と、
     検出された前記提示画像の位置に基づいて、前記視界画像の座標系における前記使用者の視線の位置を前記提示画像の座標系における前記使用者の視線の位置に変換する視線位置変換部と
    をさらに有する、請求項26の視線位置判定システム。
  28.  使用者の視線の位置を入力し、
     判定領域を設定し、
     入力された前記視線の位置が判定領域にあるか否かを判定し、
     前記視線の位置が前記判定領域にあると判定された場合、前記使用者に対してフィードバックを出力する、視線位置判定方法。
  29.  前記視線の位置が前記判定領域に位置したときから、前記視線の位置が前記判定領域に留まっている状態で経過した第1の時間を計測し、
     計測された第1の時間が予め設定された維持時間に到達した場合、前記視線の位置が前記判定領域にあると判定する、請求項28の視線位置判定方法。
  30.  前記使用者に対して前記フィードバックをリアルタイムで出力する、請求項28または29の視線位置判定方法。
  31.  前記使用者が視線を合わせる目標位置を設定し、
     前記目標位置が含まれる前記判定領域を設定する、請求項28から30のいずれか1つの視線位置判定方法。
  32.  前記使用者と対面する人を含む動物の体全体、前記使用者と対面する前記動物の体の一部分、前記使用者と対面する前記動物の顔全体、前記使用者と対面する前記動物の顔の一部分、前記使用者と対面する前記動物の眼部、および、前記使用者と対面する前記動物の眼球位置の一部から選択された1つを含むように前記判定領域が設定される、請求項28から31のいずれか1つの視線位置判定方法。
  33.  前記使用者と対面するディスプレイに表示された人を含む動物の画像における前記動物の体全体、前記動物の体の一部分、前記動物の顔全体、前記動物の顔の一部分、前記動物の眼部、および、前記動物の眼球位置から選択された1つを含むように前記判定領域が設定される、請求項28から31のいずれか1つの視線位置判定方法。
  34.  前記使用者と対面する人を含む動物の左右の眼球位置間の距離に基づいて、前記判定領域の大きさが設定される、請求項28から33のいずれか1つの視線位置判定方法。
  35.  前記判定領域の大きさに下限値が設定されている、請求項34の視線位置判定方法。
  36.  前記下限値は、前記使用者が任意の一点を注視する際に時間経過により変動する視線位置を表す視線位置変動データに基づいて決定される、請求項35の視線位置判定方法。
  37.  前記動物が、人である、請求項32から36のいずれか1つの視線位置判定方法。
  38.  請求項1から24のいずれか1つの視線位置判定装置、または、請求項25から27のいずれか1つの視線位置判定システムを備える、トレーニングシステム。
  39.  請求項28から37のいずれか1つの視線位置判定方法を用いた、視線コミュニケーション能力の評価方法。
  40.  前記視線コミュニケーション能力が、社会的視線制御能力または社会的視線発信能力である、請求項39の評価方法。
  41.  前記社会的視線制御能力が、社会的視線一致能力、社会的視線シフト能力、または、共同注視能力である、請求項40の評価方法。
  42.  請求項28から37のいずれか1つの視線位置判定方法を用いたトレーニングを実施する、トレーニング方法。
  43.  前記トレーニングは、前記視線の位置が前記判定領域にあるか否かの判定結果が少なくとも1回得られるように構成された複数の課題で構成され、複数の前記課題が連続して実施され、
     前記課題には、教示に従って、複数の前記判定領域のうちのいずれかに視線を向けることが含まれる、請求項42のトレーニング方法。
  44.  前記課題には、
     視線を向ける社会的対象物の構成部位を含むように前記判定領域が設定された第1の課題と、
     前記構成部位を包括する構成単位を含むように前記判定領域が設定された第2の課題と
    が含まれる、請求項43のトレーニング方法。
  45.  前記課題には、
     前記構成部位と前記構成単位とを交互に含むように前記判定領域が設定された第3の課題が含まれる、請求項44のトレーニング方法。
  46.  前記課題には、
     前記判定領域に視線を向けることに加えて、前記判定領域が設定されている社会的対象物の表情および/または感情を推測する第4の課題が含まれる、請求項43から45のいずれか1つのトレーニング方法。
  47.  前記トレーニングの負荷が、前記視線の位置が前記判定領域にあるか否かの判定結果により設定される、請求項43から46のいずれか1つのトレーニング方法。
  48.  前記視線の位置が前記判定領域に位置したときから前記視線の位置が前記判定領域に留まっている状態で経過した第1の時間が予め設定された維持時間に到達し、前記視線の位置が前記判定領域にあると判定される場合、
     前記トレーニングの負荷が、前記判定領域の大きさ、および/または、前記維持時間の長さを設定することにより設定される、請求項47のトレーニング方法。
  49.  前記トレーニングの負荷が、前記課題の難易度により設定される、請求項43から48のいずれか1つのトレーニング方法。
  50.  前記トレーニングの負荷が、前記使用者の主観的または客観的な評価を含む指標に基づいて設定される、請求項43から49のいずれか1つのトレーニング方法。
  51.  前記使用者の主観的な評価には、前記トレーニングを実施して実感した辛さを前記使用者が自己申告した評価が含まれる、請求項50のトレーニング方法。
  52.  前記使用者の客観的な評価には、前記トレーニングの結果、前記トレーニング中の前記使用者の心拍数の変化および/または心拍数変動指標、前記使用者の瞳孔の開き具合、および、前記使用者の瞬目数の変化の少なくともいずれかが含まれる、請求項50または51のトレーニング方法。
  53.  前記視線の位置が前記判定領域に位置したときから前記判定領域に留まっている状態で経過した第1の時間と、視線を信号として制御し使用する能力である社会的視線制御能力の指標とを計測する、請求項42から52のいずれか1つのトレーニング方法。
  54.  前記社会的視線制御能力の指標が、前記第1の時間の解析値、前記視線の位置が最初に入力されたときから前記判定領域にあると判定されるまでの間に経過した第2の時間、前記使用者の視線位置と前記判定領域との間の距離、および、前記視線の位置が前記判定領域にあると判定された回数の少なくともいずれか1つである、請求項53のトレーニング方法。
  55.  計測された前記社会的視線制御能力の指標が、計測された前記社会的視線制御能力の指標よりも前に計測された前記社会的視線制御能力の指標よりも高い場合、前記トレーニングの負荷を高くする、請求項53または54のトレーニング方法。
  56.  計測された前記使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差を他の使用者の前記社会的視線制御能力の指標の平均値に対する前記課題の各々の偏差と比較することにより、前記使用者の苦手な前記課題を推定し、推定された前記課題に基づいて、前記トレーニングの負荷を設定する、請求項53から55のいずれか1つのトレーニング方法。
  57.  前記トレーニングの負荷の変更を行う難易度変更操作により、前記トレーニングの難易度を設定する、請求項42から55のいずれか1つのトレーニング方法。
  58.  前記トレーニングは、前記視線の位置が前記判定領域にあるか否かの判定結果が少なくとも1回得られるように構成された複数の課題のうち、難易度が低い前記課題から順に連続して前記使用者に提示するように構成されている、請求項42から57のいずれか1つのトレーニング方法。
  59.  請求項28から37のいずれか1つの視線位置判定方法を用いた、モニタリング方法。
  60.  請求項42から58のいずれか1つのトレーニング方法を用いたトレーニングを実施する、精神神経疾患の治療方法。
  61.  1日から1年の期間に、1回あたり1分から240分の前記トレーニングが、90日に1回から1日12回の頻度で実施される、請求項60の精神神経疾患の治療方法。
  62.  前記トレーニングの負荷が、段階的に高くなる、請求項60または61の精神神経疾患の治療方法。
  63.  前記トレーニングの難易度が、前記使用者に合わせて変更される、請求項60から62のいずれか1つの精神神経疾患の治療方法。
  64.  請求項28から37のいずれか1つの視線位置判定方法を用いた、精神神経疾患の診断方法。
  65.  請求項28から37のいずれか1つの視線位置判定方法をコンピュータに実行させるためのプログラム。
  66.  請求項42から58のいずれか1つのトレーニング方法をコンピュータに実行させるためのプログラム。
PCT/JP2021/037044 2020-10-07 2021-10-06 視線位置判定装置、視線位置判定方法およびトレーニング方法 WO2022075377A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/248,181 US20230404451A1 (en) 2020-10-07 2021-10-06 Sightline-position determination device, sightline-position determination method, and training method
EP21877676.3A EP4226906A1 (en) 2020-10-07 2021-10-06 Sightline-position determination device, sightline-position determination method, and training method
CN202180082042.2A CN116546952A (zh) 2020-10-07 2021-10-06 视线位置确定设备、视线位置确定方法和训练方法
JP2022555542A JPWO2022075377A1 (ja) 2020-10-07 2021-10-06
CA3195141A CA3195141A1 (en) 2020-10-07 2021-10-06 Sightline-position determination device, sightline-position determination method, and training method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-169779 2020-10-07
JP2020169779 2020-10-07
JP2021-095207 2021-06-07
JP2021095207 2021-06-07

Publications (1)

Publication Number Publication Date
WO2022075377A1 true WO2022075377A1 (ja) 2022-04-14

Family

ID=81126965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037044 WO2022075377A1 (ja) 2020-10-07 2021-10-06 視線位置判定装置、視線位置判定方法およびトレーニング方法

Country Status (5)

Country Link
US (1) US20230404451A1 (ja)
EP (1) EP4226906A1 (ja)
JP (1) JPWO2022075377A1 (ja)
CA (1) CA3195141A1 (ja)
WO (1) WO2022075377A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473816A (zh) * 2023-04-18 2023-07-25 广州视景医疗软件有限公司 一种针对弱视训练的视觉交互方法和装置
WO2024117679A1 (ko) * 2022-11-29 2024-06-06 주식회사 뉴다이브 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008307978A (ja) * 2007-06-13 2008-12-25 Toyota Motor Corp 情報出力制御装置
JP2010104754A (ja) * 2008-09-30 2010-05-13 Hanamura Takeshi 情動分析装置
JP2011206542A (ja) * 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
JP2014071779A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 診断支援装置および診断支援方法
JP2019046438A (ja) * 2017-09-05 2019-03-22 株式会社Jvcケンウッド 評価装置、及び評価方法
JP2019175413A (ja) * 2018-03-29 2019-10-10 富士通株式会社 判定プログラム、判定方法および判定装置
US20200074150A1 (en) * 2016-06-21 2020-03-05 Stefan Zechner Method and device for modifying the affective visual information in the field of vision of an user
JP2020144247A (ja) * 2019-03-07 2020-09-10 株式会社豊田中央研究所 車載表示装置、車載表示方法、および、コンピュータプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008307978A (ja) * 2007-06-13 2008-12-25 Toyota Motor Corp 情報出力制御装置
JP2010104754A (ja) * 2008-09-30 2010-05-13 Hanamura Takeshi 情動分析装置
JP2011206542A (ja) * 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
JP2014071779A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 診断支援装置および診断支援方法
US20200074150A1 (en) * 2016-06-21 2020-03-05 Stefan Zechner Method and device for modifying the affective visual information in the field of vision of an user
JP2019046438A (ja) * 2017-09-05 2019-03-22 株式会社Jvcケンウッド 評価装置、及び評価方法
JP2019175413A (ja) * 2018-03-29 2019-10-10 富士通株式会社 判定プログラム、判定方法および判定装置
JP2020144247A (ja) * 2019-03-07 2020-09-10 株式会社豊田中央研究所 車載表示装置、車載表示方法、および、コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHINAGA ET AL., PSYCHOTHERAPY AND PSYCHOSOMATICS, vol. 85, no. 4, 2016, pages 208 - 217

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117679A1 (ko) * 2022-11-29 2024-06-06 주식회사 뉴다이브 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램
CN116473816A (zh) * 2023-04-18 2023-07-25 广州视景医疗软件有限公司 一种针对弱视训练的视觉交互方法和装置

Also Published As

Publication number Publication date
CA3195141A1 (en) 2022-04-14
US20230404451A1 (en) 2023-12-21
EP4226906A1 (en) 2023-08-16
JPWO2022075377A1 (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
US20230078793A1 (en) Systems and methods for an artificial intelligence engine to optimize a peak performance
US20220331663A1 (en) System and Method for Using an Artificial Intelligence Engine to Anonymize Competitive Performance Rankings in a Rehabilitation Setting
US20230072368A1 (en) System and method for using an artificial intelligence engine to optimize a treatment plan
US10548805B2 (en) Virtual reality apparatus and methods therefor
JP6358586B2 (ja) 拡張現実感表示によって従業員に健康情報を提供するためのシステム、コンピュータ媒体およびコンピュータにより実行される方法
WO2022075377A1 (ja) 視線位置判定装置、視線位置判定方法およびトレーニング方法
Bekele et al. Design of a virtual reality system for affect analysis in facial expressions (VR-SAAFE); application to schizophrenia
WO2019173189A1 (en) Cognitive screens, monitor and cognitive treatments targeting immune-mediated and neuro-degenerative disorders
CA2953752A1 (en) Virtual reality apparatus and methods therefor
Czub et al. Respiration entrainment in virtual reality by using a breathing avatar
Feinberg et al. Zenvr: Design evaluation of a virtual reality learning system for meditation
Liu et al. Viewing garden scenes: Interaction between gaze behavior and physiological responses
CN113257387B (zh) 一种用于康复训练的可穿戴设备、康复训练方法和系统
Simone et al. Head-mounted displays for clinical virtual reality applications: pitfalls in understanding user behavior while using technology
US20230360766A1 (en) System and method for using ai, machine learning and telemedicine for long-term care via an electromechanical machine
Bekele et al. Responses during facial emotional expression recognition tasks using virtual reality and static IAPS pictures for adults with schizophrenia
KR102437583B1 (ko) 생체신호를 활용한 선호 색상에 대한 사용자 맞춤형 색상콘텐츠를 제공하는 시스템 및 방법
AU2017200112A1 (en) Virtual reality apparatus and methods therefor
CN116546952A (zh) 视线位置确定设备、视线位置确定方法和训练方法
US20230320640A1 (en) Bidirectional sightline-position determination device, bidirectional sightline-position determination method, and training method
Vartak et al. Cognitive state estimation for adaptive learning systems using wearable physiological sensors
US11887717B2 (en) System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
TWI844438B (zh) 應用於促進心肺適能訓練的介入方法及系統
JP6713526B1 (ja) Vdt症候群及び繊維筋痛症の改善
US11955222B2 (en) System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877676

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555542

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3195141

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021877676

Country of ref document: EP

Effective date: 20230508

WWE Wipo information: entry into national phase

Ref document number: 202180082042.2

Country of ref document: CN