WO2013141098A1 - 自閉症診断支援方法およびシステム並びに自閉症診断支援装置 - Google Patents

自閉症診断支援方法およびシステム並びに自閉症診断支援装置 Download PDF

Info

Publication number
WO2013141098A1
WO2013141098A1 PCT/JP2013/056919 JP2013056919W WO2013141098A1 WO 2013141098 A1 WO2013141098 A1 WO 2013141098A1 JP 2013056919 W JP2013056919 W JP 2013056919W WO 2013141098 A1 WO2013141098 A1 WO 2013141098A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sight
line
subject
person
Prior art date
Application number
PCT/JP2013/056919
Other languages
English (en)
French (fr)
Inventor
則夫 森
勝昭 鈴木
土屋 賢治
千江 新村
桜井 敬久
恵樹 徳谷
Original Assignee
国立大学法人浜松医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人浜松医科大学 filed Critical 国立大学法人浜松医科大学
Priority to CN201380015493.XA priority Critical patent/CN104219992B/zh
Priority to US14/386,217 priority patent/US20150050628A1/en
Priority to EP13763733.6A priority patent/EP2829221B1/en
Publication of WO2013141098A1 publication Critical patent/WO2013141098A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167Personality evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06Children, e.g. for attention deficit diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to an autism diagnosis support method and system, and an autism diagnosis support apparatus, and more particularly, to an autism diagnosis support method and system for supporting an early confirmed diagnosis of an autism patient using a gaze detection technique.
  • the present invention also relates to an autism diagnosis support apparatus.
  • diseases related to autism such as Asperger's syndrome and Asperger's disorder (pervasive developmental disorder in which sociality, interest, and communication are specific). Including and applicable.
  • Autism is one of the developmental disorders whose main symptom is social disability (prevalence rate is said to be 1%). If not diagnosed or discovered correctly, the child's daily life and school life It is predicted that psychiatric symptoms such as decreased self-esteem, anxiety and depression will occur.
  • a known gaze detection technique referred to as “gaze detection technique”, “gaze detection technique”, “gaze input technique”, “gaze recognition technique”, “gaze tracking technique”, etc.
  • a first imaging camera for measuring the position of the pupil with respect to the coordinate system, and a light source for forming a corneal reflection point arranged at a known position in the coordinate system, the center of the pupil and the corneal reflection are provided.
  • Computing means for computing a line-of-sight direction based on information from each imaging camera using a distance r between points and a second imaging camera that acquires data of an angle ⁇ of the distance r with respect to the coordinate axis of the coordinate system;
  • a method for detecting the gaze of a subject to be used and a technique for using the gaze detection method have been proposed (see, for example, Patent Documents 1 to 5).
  • Patent Document 6 includes one or more light sources that emit light in the direction of the user's head, and the user's head.
  • Eye detection comprising: a detector that receives light from the imaging camera and repeatedly captures the picture; and an evaluation unit connected to the detector to determine the position and / or gaze direction of the eye The evaluation unit determines an area where an image of one or more eyes is located in a picture captured by the detector, and is captured by the detector after the determination of the area.
  • Eye detection configured to control the detector to send only information about successive or subsequent pictures corresponding to the determined region of the captured image to the evaluation unit Location is disclosed.
  • Patent Document 7 irradiates light on an eyeball to be recognized as a line of sight, forms an image having three or more feature points on the cornea of the eyeball with an imaging camera, and forms an image on the cornea.
  • the center of corneal curvature of the eyeball is obtained from the feature
  • video data input means for receiving video data generated by an eye imaging means (imaging camera) for monitoring the user's eyes, and (b) the brightness higher than a threshold value.
  • Point comprising: adaptive threshold means for providing a display of a portion of the image generated by the eye imaging means; and spot identification means for selecting a valid reference spot by comparing said portion of the image with a predetermined validity criterion. Illuminating the user's eye with a light source to determine a position of a reference spot formed on the user's eye from the video data; and (c) from the video data to the reference spot.
  • a pupil position specifying means for determining a center position of a pupil of the user's eye and determining a gaze line of the user, wherein the pupil position Selecting means for selecting a pupil tracking window including a part of the image generated by the eye imaging means including the pupil with respect to the position of the effective reference spot; and the pupil tracking window having a gradient larger than a threshold value
  • An edge determining means for determining the edge of the pupil by selecting the portion of the gradient of the image portion within, and center determination for determining the position of the center of the pupil by referring to a point selected for the edge of the pupil
  • Said center determining means substantially randomly selecting pixels above three thresholds from a plurality of pixels of pupil image data to form a triple for further processing.
  • Pupil position designation means including triplet selection means, and triplet processing means for determining the center and radius of a virtual circle passing through each of the selected pixels, and (d) the pupil And target tracking system view for monitoring the eye movements of the user and display means for displaying a gazing point of the user is disclosed from line of sight of the user as determined by the spot position specifying means.
  • Patent Documents 9 to 11 do not use the above-described camera (eye imaging means) for imaging the eyeball, but instead use a line-of-sight detection unit using an electrode for detecting the movement of the user's eyeball worn on the head. 2.
  • a line-of-sight detection unit using an electrode for detecting the movement of the user's eyeball worn on the head. 2.
  • the object of the present invention is to provide an early detection / early definitive diagnosis based on an objective evaluation, particularly for infants with autism, using the conventionally proposed “line-of-sight detection technology”.
  • An object of the present invention is to provide an autism diagnosis support method and system and an autism diagnosis support apparatus that enable support.
  • the major problem of the present invention is that it is more desirable to reduce the number of typical developmental persons who are said to be “suspected of autism” as much as possible, and it is possible to perform screening that reliably captures autistic persons. It is an object of the present invention to provide diagnosis support.
  • the present inventors are thought to derive from the social disorder that is the true form of autism, for abnormalities in the gaze distribution of the autistic infant, Moreover, since it is considered to be a sign that appears very early, as a technique for correctly detecting this abnormality, the “line-of-sight detection technique” cited in the “line-of-sight detection technique” of the prior art document is applied, and In cooperation with this technology, by displaying a specific “composite image” to the subject, the subject is a regular development child (also called a normal child, hereinafter referred to as an “adult development”, including adults, children, infants and infants).
  • the camera unit (a1) that images the eyeball of the subject or the electrode unit (a2) that is attached to the head of the subject and detects the movement of the eyeball, and the eyesight of the subject
  • a method of assisting diagnosis of autism of a subject using a gaze detection unit (A) comprising at least a display unit (a3) to be installed, On the screen of the display unit (a3), a composite image that continuously displays two or more images including the specific person image (I) and the specific non-person image (II) is displayed, and the line-of-sight detection unit (A) is used.
  • the gaze position information of the subject is input to the gaze position information storage unit and compared with the gaze position information of the autistic person and / or the typical development person
  • An autism diagnosis support method characterized by evaluating a gaze position of a subject by a gaze position evaluation algorithm.
  • the eye-gaze position evaluation algorithm is characterized in that the specific person image (I) is a still image (i) and a moving image (ii) partially operating.
  • the frequency of movement of the line of sight when either the still image (i) or the moving image (ii) in which a part of the moving image is displayed on the screen of the display unit (a3), It is based on the contrast or difference in the line-of-sight trend between a typical developmental person and an autistic person that the movement frequency of the line of sight to the movement location of the person tends to be low in the movement of the line of sight in the autistic person A method for assisting diagnosis of autism is provided.
  • the specific person image (I) includes a face still image (ia) and a face moving image (ia) that opens and closes only eyes.
  • an autism diagnosis support method characterized by comprising three types: a moving image (iib) of a face that opens and closes only the mouth.
  • the line-of-sight movement frequency is determined based on the movement of the face around the eyes when the moving image (ia) of the face that opens and closes only the eyes is displayed. Gaze movement frequency is based on a contrast or difference in gaze movements between atypical and autistic individuals, in which autism tends to be less frequent in autistic patients than in those with typical development A method for assisting diagnosis of autism is provided. Furthermore, according to a fifth aspect of the present invention, in the third aspect, the eye movement frequency is determined by first displaying a moving image (iib) of a face that opens and closes only the mouth, and then opens and closes only the eyes.
  • the movement frequency of the line of sight to (ia) is a typical development when the still image of the face (ia) or the moving image of the face that opens and closes only the mouth (iib) is displayed.
  • Autism characterized by a comparison or difference in gaze movements between a typical developmental person and an autistic person that the movement frequency of the gaze tends to be lower in the autistic person than the movement frequency of the gaze of the elderly.
  • the specific person image (I) is an image of a person known by a subject.
  • a diagnosis support method is provided.
  • the eye-gaze position evaluation algorithm is characterized in that the specific non-person image (II) is an appearance prediction image ( ⁇ ), an illusion recognition image ( ⁇ ), or a difference.
  • An autism diagnosis support method comprising at least one type selected from a point search image ( ⁇ ) is provided.
  • the appearance prediction image ( ⁇ ) of the specific non-person image (ii) is optionally a moving body image ( ⁇ 1) and a shielding body image ( ⁇ 2). ),
  • the moving body image ( ⁇ 1) is displayed so as to move on the screen of the display unit (a3), and then the moving body image ( ⁇ 1) is displayed on the display unit ( In the frequency of movement of the line of sight when the moving body image ( ⁇ 1) is redisplayed from the specific position of the display unit (a3) after being made non-displayed by the outside on the screen of a3) or the shielding body image ( ⁇ 2)
  • the movement frequency of the line of sight increases to the position where the moving body image ( ⁇ 1) is redisplayed, whereas in the autistic person, the movement of the line of sight tends to be low.
  • the movement frequency of the line of sight when the redisplay is performed is determined by moving the movement frequency when the redisplay is performed for the first time without considering the movement frequency.
  • an autism diagnosis support method characterized in that the frequency of movement from the second re-display in which regular movement of the body image ( ⁇ 1) can be predicted can be evaluated.
  • the illusion recognition image ( ⁇ ) of the specific non-person image (II) includes an illusion element ( ⁇ 1) and an illusion element ( ⁇ 1).
  • the difference retrieval image ( ⁇ ) of the specific non-person image (II) is a plurality of similar patterns ( ⁇ 1) having the same or similar appearance. And a different pattern ( ⁇ 2) composed of one or a few different shapes from the same kind of pattern, and the display unit (a3) is mixed with the different pattern ( ⁇ 2) in the same kind of pattern ( ⁇ 1).
  • the movement frequency of the line of sight when it is displayed, the movement frequency of the line of sight is less frequent between the positions where the same pattern ( ⁇ 1) and the different pattern ( ⁇ 2) are displayed in a typical developmental person, whereas in the case of autism
  • An autism diagnosis support method is provided, which is based on a comparison or difference in line-of-sight trends between a typical developmental person and an autistic person who tend to have a high frequency of movement.
  • the subject's line of sight is guided to a predetermined position in advance.
  • the preliminary image induced image ( ⁇ ) is displayed on a display body, and an autism diagnosis support method is provided.
  • the evaluation of the movement frequency of the line-of-sight-developed person and the autistic person is based on the movement frequency obtained from the detected line-of-sight position information of the subject.
  • the gaze position evaluation algorithm includes gaze position information of a past subject and definitive diagnosis information as to whether or not the subject has autism.
  • an autism diagnosis support method characterized in that a threshold is set for the eye movement frequency based on a recorded database.
  • Gaze detection means for detecting gaze position information of a subject who looks on the screen of the display unit using a gaze detection unit (A) including at least a display unit (a3) installed at the gaze point; (B) means for inputting gaze position information of the subject; (C) When the gaze position information of the subject is displayed on the screen of the display unit (a3) as a composite image that continuously displays two or more images including the specific person image (I) and the specific non-person image (II)
  • Line-of-sight evaluation means for evaluating the line-of-sight position of the subject by means of a line-of-sight position evaluation algorithm for comparing the line-of-sight position information of the subject with the line-of-sight position information of the autistic person and / or the typical development person
  • D Line-of-sight evaluation means for evaluating the line-of-sight position of the subject by means of a line-of-sight position evaluation algorithm for comparing the line-of-sight position information of the subject with the line-of-s
  • An autism diagnosis support device (A) a line-of-sight detection unit that detects line-of-sight position information of a subject who views the composite image displayed at the line-of-sight of the subject using line-of-sight detection means; (B) a line-of-sight position information recording unit that records line-of-sight position information detected by the line-of-sight detection unit; (C) a line-of-sight position information display unit that displays the line-of-sight position information of the subject recorded in the line-of-sight position information storage unit; (D) By using a gaze position evaluation algorithm that compares the gaze position information of the subject displayed on the gaze position information display unit with the gaze position information of the autistic person and / or a typical development person, A gaze position information evaluation unit for evaluating the analogy with the gaze
  • the second invention of the present invention by displaying a specific moving image to the subject, the tendency that the frequency of movement of the line of sight of the normal development person and the autistic person with respect to the movement location on the screen is extracted is extracted. And can be used for evaluation.
  • the third aspect of the present invention by displaying a specific face image to the subject, the tendency of the frequency of movement of the line of sight between a typical developer and an autistic person is extracted and used for evaluation. Can do.
  • the tendency of the frequency of movement of the line of sight of the typical developmental person and the autistic person is further evaluated.
  • the tendency of the frequency of movement of the line of sight of the typical developmental person and the autistic person is further evaluated.
  • the tendency of the movement frequency of the line of sight can be further used for evaluation.
  • the eyes of the typical developer are viewed as a state in which the eyes of the displayed face image are easy to see directly.
  • the tendency of the movement frequency that the autistic person relatively does not look can be used for the evaluation.
  • the seventh aspect of the present invention by using the appearance prediction image, the illusion recognition image, and the difference search image as the specific non-person image, not only the tendency of the movement frequency of the line of sight in the specific person image, It is possible to extract the tendency that the line-of-sight movement frequency of the typical developer and the autistic person with respect to these images is different, and to use it in combination.
  • the typical developer and the autistic person for these images are displayed. It is possible to extract tendencies with different gaze movement frequencies and use them in combination. Furthermore, according to the ninth aspect of the present invention, by using the appearance prediction image to extract whether or not the subject sees the position where the moving body appears on the screen, the typical developer can predict relatively. The tendency to see the moving body and the tendency not to look at the display unit by the autistic person can be used for evaluation.
  • the position at which the moving object appears on the screen after the second time By extracting whether or not the subject is watching, it is possible to reduce the ability difference predicted by the subject and use it for the evaluation. Furthermore, according to the eleventh aspect of the present invention, by displaying to an examinee using an illusion recognition image, a tendency for a typical developer to see an illusion part, and for an autistic person, an illusion part is provided. The tendency to not see can be used for evaluation.
  • the tendency of the typical development person to see the illusion part and the part causing the illusion depending on the autistic person. The tendency to not see can be used for evaluation.
  • the tendency of the fixed form developer to search for the difference or the difference when searching for the difference The tendency to have a very high ability to find a difference in autism or to find a difference in a short time can be used for evaluation.
  • the fourteenth aspect of the present invention by displaying the guidance image ( ⁇ ), the subject's line-of-sight position when displaying the next image can be guided to a predetermined position in advance and displayed.
  • the change in the evaluation due to the deviation of the position of the line of sight at the time is reduced, and the tendency of the movement frequency between the stable development person and the autistic person can be used for the evaluation.
  • FIG. 1 is a diagram showing a schematic configuration of an autism diagnosis support method and system according to the present invention.
  • FIG. 2 is a diagram illustrating an example of a composite image.
  • FIG. 3 is a diagram illustrating an example of the specific person image (I).
  • FIG. 4 is a diagram illustrating an example of an appearance prediction image ( ⁇ ) of the specific non-person image (II).
  • FIG. 5 is a diagram illustrating an example of the illusion recognition image ( ⁇ ) of the specific non-person image (II).
  • FIG. 6 is a diagram illustrating an example of the difference search image ( ⁇ ) of the specific non-person image (II).
  • FIG. 7 is a diagram illustrating an example of the induced image ( ⁇ ).
  • FIG. 8A is a diagram illustrating an example of a gaze position evaluation algorithm.
  • FIG. 8B is a diagram illustrating an example of a gaze position evaluation algorithm.
  • FIG. 8C is a diagram illustrating an example of a gaze position evaluation algorithm.
  • FIG. 9A is a diagram illustrating an example of displaying line-of-sight position information.
  • FIG. 9B is a diagram illustrating an example of displaying the line-of-sight position information.
  • FIG. 10 is a diagram illustrating an example in which the line-of-sight position is evaluated.
  • the mode for carrying out the present invention includes one described in the following examples, and further includes various methods that can be improved within the technical idea.
  • the eye gaze detection unit 2 preferably used in the present invention will be described, and then the autism substantially corresponding to the eye gaze position evaluation algorithm and the autism diagnosis support system while explaining the composite image.
  • the entire diagnosis support apparatus will also be described.
  • the autism diagnosis support method will be described together (in the following description, for convenience, the autism diagnosis support apparatus is referred to as the autism diagnosis support apparatus.
  • the diagnosis support system and autism diagnosis methods may also be explained.
  • the gaze detection unit 2 used in the gaze detection means (a) of the autism diagnosis support system of the present invention will be described.
  • the line-of-sight detection unit 2 includes a camera unit 22 that images the eye of the subject A and a display unit 21 that displays an image, and reliably captures the pupil as necessary.
  • An imaging auxiliary illumination unit 23 is provided.
  • the display unit 21 can be a commercially available display, and is not particularly limited, such as a liquid crystal display, a CRT, or a projector, and the size and shape of the display part are also arbitrary.
  • an electrode electrode part
  • the imaging auxiliary illumination unit 23 is provided as necessary, such as sensitivity of the camera unit 22 and ambient brightness.
  • the line-of-sight detection unit 2 detects the pupil of the subject A and outputs the position of the object (display unit 21) that the subject A is looking at as the line-of-sight position information 32. Specifically, From the positional relationship between the camera unit 22 and the display unit 21, it is configured so that it is possible to output as the line-of-sight position information 31 which position on the screen of the display unit 21 the subject A is looking at.
  • the present invention is not limited to numerical data or image data. More specifically, the line-of-sight position information 32 outputs two-dimensional relative position coordinates such as X and Y that match the position of the screen of the display unit 21 and imaging time as numerical data, Regardless of the position of the screen, the absolute position coordinates specific to the camera unit 22 and the imaging time are detected as numerical data from the position of the eye of the subject A imaged from the camera unit 22 of the line-of-sight detection unit 2. Alternatively, in the case of image data instead of numerical data, the line-of-sight position captured by the camera unit 22 may be directly output as a plot point to the displayed image data.
  • the line-of-sight position information 32 is converted into position information that matches the resolution of the display unit 21 (display) used in the line-of-sight detection unit 2 or the dot position information (coordinate information) to be displayed, This makes it easy to align with the position of the pattern displayed above.
  • the line-of-sight position information 32 may be obtained by converting the line-of-sight position information 22 of the subject A according to the two-dimensional data (X, Y coordinates) on the screen of the display unit 21.
  • the output of the line-of-sight position information 22 of the line-of-sight detection unit 2 is also converted from the vertical 480 and horizontal 640 corresponding to the screen resolution to position information indicating the position on the screen and output. It is good to adjust so that.
  • the line-of-sight position information is not limited to the above-described planar two-dimensional data (X, Y coordinates) on the screen, but may be three-dimensional three-dimensional data (X, Y, Z coordinates). Good.
  • a gaze point detection device manufactured by Shizuoka University [the information and science technology forum lecture paper collection (9 (3), 589-591, 2010-08-20), “head movement And a gazing point detection device that can be easily calibrated by a stereo camera that allows the “
  • the unit is used to adjust the line-of-sight position information 32 so that it is converted into position information on the screen of the display unit 21 and output.
  • the line-of-sight detection unit 2 detects the line-of-sight position information of the subject A in accordance with the operations and instructions of the main body unit 1 and the display unit 21 described later, but is not necessarily linked to the main body unit 1 and the display unit 21. There is no. If not linked, the body unit 1 side receives and aggregates the line-of-sight position information constantly output from the line-of-sight detection unit 2, and analyzes and displays the position of each displayed picture of the display image information and the display of the subject A What is necessary is just to identify the gaze position at the time of doing.
  • the composite image is display image information 31 to be displayed on the display unit 21 of the upper line-of-sight detection unit 2, and as shown in FIGS. 2A to 2C, a specific person image (I) and a specific non-person image (II ) Are continuously displayed.
  • Such a composite image is an image in which one image is composed of several seconds to several tens of seconds, and is an image of about several minutes at the longest.
  • the order of (I) and (II) and the total number of continuous images are not limited. Note that the term “continuity” does not necessarily mean that the images are displayed with temporal continuity, but should be understood as the continuity in a series of diagnosis support, including the case where a guidance image described later is displayed between images.
  • the specific person image (I) is a state in which an image of a real person, an animated person, an anthropomorphized animal, or the like is selected as a person image and is still on the screen (still image) ) (I) and a state in which there is some movement on the screen (moving image in which a part operates) (ii).
  • the still image (i) is an image in which a human image has a body or expression still, and includes a state in which a moving image is paused.
  • a moving image (ii) An image in which a part of the image is moved, including changes in facial expressions.
  • the specific person image (I) may be configured so that the whole body or a part of the body is displayed.
  • the size of the screen of the display unit 21 as a moving image, particularly in the facial expression,
  • the image is a size that is close to life, and that can clearly display the movement of the eyes and mouth in the clearness. It is desirable to be.
  • An image using a person (a familiar face) known to the subject A is desirable in that the subject A can easily view the person image (particularly the eyes). It is good to use the image of the person.
  • the image used for these may be an image captured in real time in addition to an image captured in advance, and is not particularly limited.
  • FIG. 3A an image with the eyes open and the mouth closed (a face image with the whole stationary) (ia)
  • FIG. 3B As shown in Fig. 3C, an image in which the eyes are continuously opened and closed for several seconds with the mouth closed (a face image in which only the eyes are opened and closed) (iii), and as shown in Fig. 3C, An image including an image that continuously opens and closes for several seconds (a face image that opens and closes only the mouth) (iib) is desirable.
  • the above-described images are each configured as a set of several seconds.
  • the eyes are opened and closed more gently and firmly than the normal instantaneous blink, taking into account that the movement is clearly observed. It is important to use an image that repeats the operation of starting the next blink without stopping (no interval). Therefore, in the present invention, a normal instantaneous blink is not included in the opening and closing of the eyes.
  • the average blink rate is 0.1 to 0.15 seconds on average
  • the normal blink rate is 5 to 18 per minute for children, 20 for men for adults and 15 for women.
  • the number of times per minute that is, the time to stand still with the eyes open is 12 to 3.3 seconds for both children, about 3 seconds for men and about 4 seconds for women).
  • the blinking speed is 0.2 to 0.5 times the normal speed, and there is almost no time to keep the eyes open. It is desirable to use an image that is 3 to 12 times or more) in order for the subject A to be aware of the position of movement.
  • the specific non-person image (II) used in the present invention is an image including an appearance prediction image ( ⁇ ), an illusion recognition image ( ⁇ ), and a difference search image ( ⁇ ), each of which is specified as a set of several seconds. It is configured together with the person image (I).
  • One or more of these are configured as a continuous image. Examples of such continuous images include (I) ⁇ ( ⁇ ) and ( ⁇ ) ⁇ (I), or a plurality of (I) ⁇ ( ⁇ ) ⁇ ( ⁇ ) and ( ⁇ ) ⁇ (I) ⁇ ( ⁇ ), ( ⁇ ) ⁇ (I) ⁇ ( ⁇ ) ⁇ (I) ⁇ ( ⁇ ), and various variations.
  • the appearance prediction image ( ⁇ ) is a pattern (moving body ( ⁇ 1)) that moves the display unit based on a certain rule, and the moving body is not displayed outside the screen, or the screen It is configured to be displayed on the screen again after being overlapped with another pattern displayed on the screen (referred to as shield ( ⁇ 2)) and hidden for a certain period of time on the background of the shield ( ⁇ 2).
  • shield ( ⁇ 2) another pattern displayed on the screen
  • ⁇ 2 a certain period of time on the background of the shield
  • the movement based on the above-mentioned constant law means that a moving body ( ⁇ 1) on the screen appears on the display unit and disappears outside the screen while moving in a certain direction as shown in FIG. 3A.
  • the moving object ( ⁇ 1) is displayed by an image configured to appear again from the same position, or an image configured to appear in the opposite direction from the position disappeared outside the screen as shown in FIG. 3B. This is a state in which the redisplayed position is configured so that it can be easily identified by the subject A.
  • FIGS. 4A to 4D show a plurality of arrows and patterns displayed in the explanation, one pattern is actually used. However, it does not deny that a plurality of moving objects are displayed.
  • the moving body ( ⁇ 1) overlaps with the shielding body ( ⁇ 2) and is not displayed while moving on the screen.
  • the state in which the position where the moving body ( ⁇ 1) is redisplayed can be easily identified by the subject A by the image configured to appear again from the shielding body ( ⁇ 2).
  • the subject A is configured as an image that can guide the line of sight to a specific position (predicted position on the screen) where the image is redisplayed.
  • the illusion recognition image ( ⁇ ) is an image composed of a pattern including an element ( ⁇ 1) that causes an illusion on the screen of the display unit and an element ( ⁇ 2) that does not cause an illusion.
  • an image there are various publications in the general definition called illusion image, illusion figure, etc. [Free Encyclopedia “Wikipedia” “Illusion”. http: // en. wikipedia. org / wiki / Peripheral drift illumination etc.] is used.
  • Examples of such an illusion recognition image ( ⁇ ) include those shown in FIG. FIG. 5A shows an example in which the Ebbinghaus illusion figure is applied, FIG. 5B shows an example in which the Kanitsa triangle illusion figure is applied, and FIG. 5C shows an example in which the Fraser-Wilcox illusion figure is applied.
  • FIG. 5D shows an example of an improvement of the Kanizza triangle illusion figure in FIG. 5B
  • FIG. 5E shows the Fraser-Wilcox illusion figure in FIG. This is an improved example.
  • the element ( ⁇ 1) causing the illusion and the element ( ⁇ 2) not causing the illusion are simultaneously displayed on the screen of the display unit 21.
  • the portion of a circle that causes an illusion that appears different in size at the center of each of the two circular sets as shown in FIG. 8H is an illusion.
  • the element ( ⁇ 1) that causes the illusion is formed so that the portion around the element ( ⁇ 1) including each circle arranged so as to surround the periphery of the element ( ⁇ 1) is an element ( ⁇ 2) that does not cause an illusion.
  • 5B and 5D when Kanitza's triangular illusion figure is applied, as shown in FIG. 8H, the part ( ⁇ 1) where the figure that does not exist on the screen shows the illusion is displayed on the screen.
  • the pattern portion displayed above is used for an image as a configuration in which an illusion does not occur ( ⁇ 2).
  • the “non-existent graphic” does not necessarily exist on the screen or is colorless and transparent, and is the same color as the background color of the entire screen, that is, the background color on the screen. It expresses an indistinguishable state.
  • the entire pattern is configured as an element ( ⁇ 1) that causes an illusion.
  • element ( ⁇ 1) that causes an illusion By displaying the picture on the upper part (the left half of the screen in the figure), the part ( ⁇ 1) that causes the illusion of that part does not cause the illusion of the other part that does not display the picture (the right half of the screen in the figure). It is used for an image as a configuration with element ( ⁇ 2).
  • the mechanism that causes the illusion of this illusion figure is not yet fully understood, but all of these illusion figures are configured as still images.
  • 8J is an example in which an illusion figure is displayed on the left side and a figure that does not generate an illusion element is displayed on the right side of the entire display unit.
  • the figure that does not cause an illusion is a pattern drawn so that the appearance (morphological components such as shape, pattern, color, etc.) approximates the illusion figure, but the color of the pattern does not cause an illusion, It is a figure that does not produce an illusion element that looks like the pattern of the part of the line of sight slightly moving up and down, left and right or in the rotation direction, for example, the shadow of the pattern (color scheme for each point)
  • An illusion element can be eliminated by changing the way of attaching (making the position of a shadow generated by a light source from one direction) or the like.
  • the subject A is perceived as if the same pattern is developed on the entire screen at first glance, but a part that causes an illusion while viewing the entire pattern (the left half of the screen in the figure). Are configured so as to be distinguishable so as to be a portion where no optical illusion occurs (the right half of the screen in the figure).
  • the subject A sees any part of the screen displayed on the display unit 21, but when the illusion element is felt by the illusion image or the subject A moves his / her eyes, An illusion element can be made to feel in a part of the image, that is, a part of the specific illusion image where the line of sight is slightly removed.
  • the subject A feels an illusion element, when the line of sight is guided to the part or the line of sight is aligned with the specific illusion element image, the illusion element is not generated in the part with the line of sight. Since the subject's line of sight can be moved frequently on the screen.
  • subject A is an autistic person
  • he / she does not feel the illusion element, or even if he / she feels it, he / she has a strong will to gaze at the part he / she is interested in.
  • the tendency to not receive is generated, that is, the line of sight of the autistic person is less likely to move frequently on the screen.
  • either or both of the displayed optical illusion image and non-illusion image may be moved to the left and right from time to time, blinking, etc.
  • Displaying a still image with a pattern similar to the entire display unit 21 can detect the movement of the subject's line of sight in a more natural state without performing the act of guiding the subject's line of sight. This can be particularly desirable in infants who cannot communicate with each other.
  • the other illusion-related patterns are also applied to images based on the above elements as a configuration in which an illusion element ( ⁇ 1) and an illusion element ( ⁇ 2) are simultaneously displayed on the display screen. That's fine.
  • the difference search image ( ⁇ ) is an image made up of a combination of a plurality of similar patterns ( ⁇ 1) having the same or similar appearance and one to a few different patterns ( ⁇ 2) having different shapes from the same pattern.
  • ⁇ 1 a pattern having the same appearance
  • ⁇ 2 a pattern having the same appearance
  • ⁇ 2 a pattern having the same appearance
  • ⁇ 2 is displayed in a scattered manner on the screen, and the same pattern is only one element of color or orientation.
  • FIGS. 6B and 6C while the same kind of picture ( ⁇ 1) is scattered and displayed on the screen, it differs from the same kind of picture in features of two or more elements in terms of appearance, orientation, and color. An image composed of 1 or a little of the pattern. In the figure, out of 6 lions and 6 cats, only 1 reverse cat is mixed.
  • the subject A By displaying such a plurality of similar patterns ( ⁇ 1) and one to a few different patterns ( ⁇ 2), a large number of the same patterns seem to be dispersed on the entire screen like an illusion image.
  • the subject A discover the existence of a different pattern from the group of images that seem to be the same by the subject A's own will, without inducing the subject's line of sight due to the stimulus due to the difference in the pattern.
  • the movement of the line of sight can be caused to the subject A in a more natural state that does not induce or restrict the position to be viewed by promoting movement.
  • the subject A is configured as an image that can guide the line of sight to a specific position where the same pattern ( ⁇ 1) or the different pattern ( ⁇ 2) is displayed.
  • the guide image ( ⁇ ) displayed together with these composite images will be described.
  • the guide image ( ⁇ ) displays a picture for guiding the subject's line of sight to a predetermined position in advance before displaying the composite image on the screen of the display unit 21. It is an image which consists of a structure which displays a picture for several seconds at a position.
  • the position of the first line of sight on the screen to be displayed next is intended by displaying it on a part of the screen and causing the subject A to pay attention to the design.
  • This is a pattern for guiding to a predetermined position.
  • the guide image ( ⁇ ) is an image that should guide the line of sight to a predetermined position, it may be a still image or a moving image, but the size of the pattern is displayed on the entire screen. It is desirable that it is moderately small.
  • the enlarged picture may be displayed so as to be gradually reduced on the entire screen, or the moving picture may be reduced to a specific position on the screen instead of the stationary picture.
  • even an image that disappears or disappears so as to move off the screen can be applied from the viewpoint of guiding the line of sight.
  • the guidance image ( ⁇ ) is displayed, it is possible to exclude the evaluation of the line-of-sight position not intended by the subject A when the mouth is accidentally displayed at the position where the subject A is viewing, that is, at the moment when the mouth is displayed. It can be improved.
  • the guide image ( ⁇ ) is displayed at the same position as the position where the eyes are intentionally displayed. When a face image is displayed, it can be used to evaluate the tendency of an autistic person to consciously turn their eyes.
  • the gaze position displayed for the first few seconds is intentionally excluded from the evaluation.
  • the gaze position displayed for the first few seconds is intentionally excluded from the evaluation.
  • the gaze position like a hint of one position to be viewed is given to the subject A. It can also be used as an inductive guiding element.
  • the autism diagnosis support system evaluates the movement of the line of sight of the subject A as follows. First, as input means (b) of the autism diagnosis support system, the main unit 1 transmits the display image information 31 of the composite image to the display unit 21 of the line-of-sight detection unit 2, and the screen of the subject A from the line-of-sight detection unit 2 The upper line-of-sight position information 32 is received.
  • the display image information 31 is composed of pattern data of a composite image and display timing data. If the composite image is prepared in advance on the line-of-sight detection unit 2 side, a command for timing for displaying the composite image may be transmitted from the main unit 1.
  • the line-of-sight position information 32 is information indicating the position of the line of sight of the subject A described above, and the position coordinate data matched with the coordinates of the display unit 21 by the main unit 1 or image data in which the position of the line of sight is indicated by a marker. As received. The received line-of-sight position information 32 may be displayed on the display unit 11 of the inspector B to be confirmed by the inspector B.
  • the main unit 1 has the line-of-sight movement information 32 of the subject A corresponding to the composite image on a recording medium (line-of-sight information recording unit) such as a memory or a hard disk. Record.
  • the recorded line-of-sight position information 32 can be displayed on the display unit 11 (line-of-sight position information display unit) of the inspector B and confirmed by the inspector.
  • the examiner B can check the line-of-sight position information 32 and the line-of-sight position information detection result information 34 displayed on the screen by another display unit 11 in real time or later.
  • the body unit 1 and the line-of-sight detection unit 2 are not prevented from being incorporated into the display unit 11 or the like of the subject A or the examiner B in terms of configuration. For example, if the configuration is extremely integrated, the diagnosis of the subject A and the confirmation of the examiner B will not proceed at the same time, and if the operations of the subject A and the examiner B are switched, all the configurations (each display Part and the whole main unit 1) can be integrated.
  • the units on the side of the examiner B and the side of the subject A are not limited to being placed in the same room, but the examiner B examines the subject A at a remote place, and the recorded test image of the subject A is displayed. It is also included in the present invention that the examiner B evaluates at a different place at a later date.
  • the line-of-sight evaluation means (c) executes an algorithm as to whether the subject A looks at the specific position from the line-of-sight position information 32 for each image of the composite image.
  • the line-of-sight evaluation means (c) of the main unit 1 sets a stimulation area S and a non-stimulation area N to be described in more detail for the composite image, and subjects in the set areas S and N
  • the movement frequency of the line of sight of A is obtained.
  • the stimulus area S is a range on the screen for determining a tendency to induce the movement of the line of sight especially for a typical development person, and the operation location of the specific person image (I) and the specific non-person image (II ) Surrounding the pattern at each specific position.
  • the non-stimulus area N is a range on the screen for determining a tendency not to induce the movement of the line of sight especially for autistic persons, and surrounds a picture at a specific position excluding the induction stimulus area S. It is a range.
  • stimulation areas S and non-stimulation areas N there may be one or a plurality of stimulation areas S and non-stimulation areas N, and also includes cases where the areas are reduced or enlarged, moved, generated for a certain period of time, or exchanged positions with each other. It is.
  • each area S, N is set along the outer shape (outline) for each picture at a specific position, but for easy setting, the grid of the appropriate size in the vertical and horizontal directions ( It is also possible to divide the block into blocks), and to set the block at the position matching the pattern for each block as one small area, and to set one pattern with a continuous set of the small areas. In this case, it may be determined as appropriate, such as setting a small area if a part of the outline of the pattern is included in the block more than half, or setting it as a small area if it slightly matches the pattern. In addition, what is necessary is just to determine suitably that the outside of the screen of the display body 21 is set as the non-stimulation area N or excluded from the setting as outside the area.
  • Such areas S and N may be set in advance for each specific position of the composite image, or at a position that matches a specific pattern for each composite image displayed automatically.
  • the position information of each area is also given to the entire composite image for the image of the display image information 31 in the main unit 1 and stored in the line-of-sight position information.
  • the timing to give does not matter before and after displaying a display image to the subject A. It may be performed by the time when the main body unit 1 stores and analyzes the movement frequency of the line of sight of the subject A as the record information 33.
  • the main unit 1 may automatically set each area information from the color data in the image, the picture determination program, or the like, or the inspector B manually sets each area information for each image. Or may be adjustable.
  • the recorded information 33 such as the movement speed and the like is evaluated by the gaze position evaluation algorithm.
  • the main unit 1 displays the specific person image (I) on the display unit 21 to urge the subject A to see the operation position of the person image.
  • the entire screen is stationary as a still image (i).
  • the state in which the action part is shown at the position of the eye in the face image (ia) that opens and closes only the eyes, and the position of the mouth in the face image (iib) that only opens and closes the mouth The state which showed the operation
  • FIG. 9A shows an example of extracting the line-of-sight movement frequency of a typical developmental person and an autistic person when (ia) in Table 1 below is displayed for 5 seconds.
  • Table 1 shows an example of extracting the line-of-sight movement frequency of a typical developmental person and an autistic person when (ia) in Table 1 below is displayed for 5 seconds.
  • the line-of-sight evaluation means (c) sets the stimulation area S at the eye position and the non-stimulation area N at the mouth position in the face image (ia) that opens and closes only the eyes, The movement frequency of the line of sight of the subject A at specific positions in the areas S and N is obtained.
  • a stimulation area S is set at the position of the mouth, and a non-stimulation area N is set at the position of the eyes. Determine the movement frequency of the line of sight.
  • the positions of the eyes and the mouth are both non-stimulation areas N (a state where no stimulation area S exists).
  • multiple areas may be provided to analyze whether or not they are directly viewing. The provision of multiple areas is not limited to face images.
  • autistic individuals are more likely to move around their eyes or mouth, which is the area of action, i.e., the stimulation area S, in any of the above trends (ia), (ia), and (iib) compared to typical developers. Although there is a tendency to gaze at a position having a specific interest, it is significant to obtain the line-of-sight movement frequency for the non-stimulation area N as well as the stimulation area S.
  • the face image (iib) that opens and closes only the mouth is used for the common tendency of both a typical developmental person and autism to find a tendency to easily adjust the line of sight around the mouth.
  • the face image (iib) that opens and closes only the mouth is displayed, and the face image (ia) that opens and closes only the eyes is continuously displayed. Should be analyzed.
  • the face image (iib) that opens and closes only the mouth a typical development person tends to see the position of the eyes relatively. It may be extracted.
  • the periphery of the mouth as the non-stimulation area N and setting the periphery of the eyes as the stimulation area S, it is preferable to detect the movement frequency of the position of the eyes while only opening and closing the mouth.
  • the main unit 1 confirms the tendency of the subject A to see the specific part to be redisplayed at the timing when the moving body ( ⁇ 1) is redisplayed as shown in FIGS. 4A to 4G. Therefore, as shown in FIGS. 8E to G, the line-of-sight evaluation means (c) sets the stimulation area S at the specific position redisplayed at the redisplay timing, and the shielding body ( ⁇ 2), A non-stimulation area N is set at a position surrounding the shield, and the movement frequency of the subject's line of sight in each of the areas S and N is obtained. What is important is that it is desirable to analyze whether the subject A has a tendency to see the moving body ( ⁇ 1) or whether to tend to see a portion to be displayed again after the moving body disappears.
  • the stimulation area S provided at the specific position is one in which the stimulation area S is set only for a short time before and after the redisplay timing, and the same position other than the timing is outside the non-stimulation area N or area setting. Is set. Further, the moving body ( ⁇ 1) obtains the movement frequency as the positioning of another stimulation area S when the stimulation area S at the redisplayed position is present and is not in the non-stimulation area N or the area setting otherwise. Good.
  • the position of the stimulation area S at the redisplayed position may be fixed at the redisplayed position, or the stimulation area S may be moved following the movement of the moving body ( ⁇ 1).
  • the time set in the stimulation area S may be adjusted according to the moving speed of the moving body ( ⁇ 1) and the response delay of the subject A, but may be about 1 to 2 seconds before and after being redisplayed.
  • a plurality of stimulation areas S that are adjacent to each other may be provided to analyze whether or not the user is looking directly.
  • providing an adjacent area is not restricted to an appearance prediction image.
  • the movement frequency of the line of sight of a typical developmental person and an autistic person by changing the stimulation area S and the non-stimulation area N in the appearance prediction image ( ⁇ ), which is different from the specific person image (I), is different.
  • the trend can be extracted and used for the high evaluation of the screening which surely captures the autistic person.
  • the main unit 1 displays the optical illusion images shown in FIGS. 5A to 5E to prompt the subject A to see the position of the element causing the optical illusion, and to locate the element causing the optical illusion. Check the tendency to see.
  • the line-of-sight evaluation means (c) sets the stimulation area S at the position of the element ( ⁇ 1) that causes the illusion and performs non-stimulation at the position of the element ( ⁇ 2) that does not cause the illusion.
  • the area N is set, and the movement frequency of the line of sight of the subject A at a specific position in each of the areas S and N is obtained.
  • FIG. 8K in Table 3 as an example of extracting the line-of-sight movement frequency of a typical developmental person and an autistic person when left and right ( ⁇ 1) and ( ⁇ 2) are displayed side by side and displayed for 5 seconds.
  • the accumulated stays in the stimulation area S and the non-stimulation area N during the period from the start to the end of the display. It can be confirmed from the time, longest time, and ratio, and when the ratio of the number of times of movement between area S and area N and the ratio of accumulated time is small, it can be confirmed that there is no interest in the optical illusion, so that the tendency can be confirmed and judged. It is.
  • the Kanizza triangle illusion figure in the case where the Kanizza triangle illusion figure is applied, if a figure that does not exist on the screen among elements ( ⁇ 1) that cause the illusion is observed, the figure is consciously displayed on the screen.
  • the tendency to see the vicinity of a contour of a non-existent figure can be promoted, and as a result, the effect of increasing the frequency of movement to the position of the stimulation area S, particularly the position near the contour of the stimulation area S, can be obtained as a regular development person. Is desirable.
  • the stimulation area S surrounding the figure that does not exist on the screen is made a multiple area, specifically, FIG. It is only necessary to provide a large and small double area S along the contour of the figure that does not include the stimulus area S and extract only the movement of the line of sight between the large area and the small area.
  • each area may be provided in a multiple manner so as not to directly look at the pattern, or the area may be divided to analyze a partial line-of-sight movement tendency of one pattern. .
  • the subject A When displayed on the screen of the display unit 21, the subject A will be inspected about the portion causing the optical illusion.
  • the movement of the line of sight unique to the autistic person can be confirmed.
  • the subject A is configured as an image so that the line of sight can be guided to a specific position where the illusion of the screen occurs due to a sense of discomfort between the element causing the illusion and the element not causing the illusion.
  • the main unit 1 displays a plurality of similar patterns ( ⁇ 1) and one or a few different patterns ( ⁇ 2) as shown in FIGS.
  • the tendency to see the position of the same pattern ( ⁇ 1) and the position of the different pattern ( ⁇ 2) is confirmed. Therefore, the line-of-sight evaluation means (c) has only to set the stimulation area S at the position of the different pattern ( ⁇ 2) as shown in FIGS. 8N to O, and in addition, as shown in FIGS.
  • the non-stimulation area N is set at the position ( ⁇ 1), and the movement frequency of the line of sight of the subject A in each area S, N is obtained.
  • FIG. 9A shows an example of extracting the line-of-sight movement frequency of a typical development person and an autistic person when FIG. 8Q is displayed for 5 seconds in Table 4 below.
  • the movement frequency of the line of sight can be confirmed from the movement of the line of sight with the following elements. That is, in order to determine whether or not a different pattern ( ⁇ 2) has been found, it can be confirmed from the accumulated stay time or the longest time of the stimulus area S from the start to the end of the display. If the line of sight has moved, it can be determined that it has not been discovered yet and that it is the time period for which it is looking.
  • a tendency can be confirmed and judged by the ratio of the number of movements and the accumulated time between the non-stimulation areas N provided in the same pattern ( ⁇ 1) or between the areas S and N.
  • each area S or N may be totaled, and on the other hand, it may be arbitrarily counted individually such as the stimulation area S1 and the stimulation area S2.
  • the line of sight may once again move and then the line of sight may return and concentrate in the same area.
  • the line of sight may be converted into the vector direction and the amount from the amount of movement during the movement from dot to dot in the position information, and the frequency and speed of eye movement may be aggregated as one piece of information.
  • the stimulation area S is used as a reference within the stimulation area S based on the line-of-sight position information of the subject A.
  • the tendency to stagnation and the tendency to move from the inside to the outside of the stimulation area S and from the outside to the inside can be easily tabulated, thereby contributing to effective analysis and comparison.
  • the main body unit 1 since the main body unit 1 has such recorded information, it is possible to change the tendency of the same subject A in the past or to differ the tendency of different subjects A for the same image information. is there. In addition, it is easy to compare with recorded information by the same image information made by a person who has already been diagnosed by a doctor as a typical development person or a person who has been confirmed by a doctor as having autism Become.
  • the line-of-sight evaluation means (c) stores the recorded information in the recorded information based on the result of executing the algorithm for each image of the composite image, and in real time or after detection, the entire composite image is unique to the autistic person.
  • the movement of the line of sight or the movement of the line of sight of the typical developer is tabulated, and after the tabulation, the evaluation result is stored in the evaluation result recording unit, and the subject A moves the line of sight specific to the autistic person.
  • Based on the frequency difference optionally compare with the movement of the gaze of the person who is recognized as the basic fixed form developer (or the movement of the gaze of the person who is recognized as the basic autistic person) (gaze) Location information evaluation section).
  • the recorded information stores display image information (including area information) to be transmitted to the display unit 21 and gaze position information of the subject A input from the gaze detection unit 2.
  • the criteria / comparison target can be classified according to various trends such as age, gender, and appearance characteristics. Adding supplementary information is also a suitable one.
  • the illusion image plane area and the non-illusion image are based on a database in which the gaze position information of the subject A in the past and the diagnosis information on whether or not the subject A is autistic is recorded. It is preferable to set a threshold value for the movement frequency of the line of sight that moves in the plane area.
  • complementary information may be added to the recorded information. For example, the title name and property information of the image file, the time history of using the image, the specification information about the unit used, the personal information about the subject A, the past diagnosis history, etc. may be included as complementary information.
  • the total of the images displayed on the subject A may be totaled, or may be totaled for a part of time or divided for each displayed individual image. Furthermore, it is desirable to tabulate the difference between these and the recorded information of the standard development person or autistic person who is the reference / target based on the same image as necessary. What is important in the analysis here is that, with regard to the movement frequency of subject A's line of sight, by setting a specific area in a specific image, a standard that can aggregate the movement frequency of the line of sight is obtained. It is intended to make it possible to evaluate recorded information of autistic patients by comparing or different tendencies in the movement frequency of the line of sight.
  • the main body unit 1 when comparing the movement frequency of the line of sight, has various types of line-of-sight position information of the same examiner examined in the past and the line-of-sight position information of other subjects A in the same image.
  • Such information should be stored, added, and corrected in the recorded information. Further, the line-of-sight position information of the subject A can be appropriately compared with the line-of-sight position information stored in the main unit 1 or compared with the average value of the stored specific information.
  • the frequency of the stimulation area S and the non-stimulation area N per average time it is preferable to specify the frequency of the stimulation area S and the non-stimulation area N per average time, and the display body to be used It is preferable to store information on the display body in the line-of-sight position information recording unit so that the comparison does not occur due to dimensional differences due to differences in size, ratio, and resolution.
  • the time-of-sight information for example, a radio timepiece or the like can be used as time information that clearly indicates when the subject's line of sight is directed to which position in the display image information on which the main unit 1 or the line-of-sight detection unit 2 is displayed.
  • the unit of evaluation is not limited to time, but is appropriate, for example, when the line-of-sight detection unit 2 counts the number of detections per second.
  • the measurement time per line until the line-of-sight detection unit 2 acquires one line-of-sight table is 1 plot. You may count as time.
  • the gaze position information evaluation unit displays and evaluates the total number of images determined for the composite image, and terminates and evaluates the display when the autism-specific gaze trend is obtained at a certain frequency during the display. You may do it.
  • the detection result information is to display, print, or transfer the contents obtained by analyzing the record information in the main body unit 1 to the inspector in a format desired by the inspector. This includes outputting screen information and recording information to a print medium such as a printer, an external storage medium, a reproduction medium, or another display medium.
  • the detection result information does not need to be a numerical value.
  • the detection result information is represented by a bar graph such as the number of lines of sight gathered and the concentration distribution according to time, as well as various lines such as line, bubble, scatter, and circle.
  • a bar graph such as the number of lines of sight gathered and the concentration distribution according to time, as well as various lines such as line, bubble, scatter, and circle.
  • an image obtained by recording display image information and line-of-sight position information and its line-of-sight It also includes displaying various reproductions, such as displaying with superimposed color-specific changes.
  • the graphs shown in FIGS. 10A and 10B show the position of the line of sight looking at the stimulation area S and the non-stimulation area N during the display time of the composite image, as a percentage per time staying in the area.
  • 10 regular developmental persons and 10 autistic persons are tabulated, assuming that the area where the stimulus area S is constantly observed is 100%.
  • FIG. 10A the line-of-sight movement tendency of a stationary face image as a still image (i) is shown, whereas in FIG. 10B, to the periphery of the eye when a moving image (iii) of a face that opens and closes only the mouth is displayed.
  • the data to be compared and displayed may be appropriately selected and displayed as necessary, such as personal data measured for each, the average value of data selected according to specific conditions, standard values, and combinations thereof.
  • the analysis content of the recorded information is shown, it is suitable as the line-of-sight position information indicating the possibility of symptoms of autism to the examiner.
  • the autism diagnosis support method and the autism diagnosis support system according to the present invention are particularly useful for early autism based on an objective evaluation even for infants with autism before the age at which a specialist can identify autism. This is useful because it enables support for discovery and early diagnosis.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Neurology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

 従来から提案されている「視線検出技術」を用いて、特に乳幼児の自閉症に対して、客観的評価にもとづく、早期発見・早期確定診断の支援を可能とする自閉症診断支援方法およびシステム並びに自閉症診断支援装置を提供する。 被験者の眼球を撮像するカメラ部または被験者の頭部に装着し眼球の動きを検出する電極部と、被験者の視線先に設置される表示部とを少なくとも具備する視線検出ユニット(A)を用いて、被験者の自閉症を診断する支援方法であって、該表示部の画面上に、特定人物画像(I)と特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像を表示し、該視線検出ユニットを用いて、該複合画像を見る被験者の視線位置情報を検出した後、被験者の視線位置情報を、視線位置情報記憶部に入力し、自閉症者及び/又は定型発達者の視線位置情報とを比較する視線位置評価アルゴリズムにより、被験者の視線位置を評価することを特徴とする自閉症診断支援方法など。

Description

自閉症診断支援方法およびシステム並びに自閉症診断支援装置
 本発明は、自閉症診断支援方法およびシステム並びに自閉症診断支援装置に関し、詳しくは、視線検出技術を用いて、自閉症患者の早期確定診断を支援する自閉症診断支援方法およびシステム並びに自閉症診断支援装置に関する。
 なお、以下、自閉症と、総じて記載するが、本発明は、アスペルガー症候群やアスペルガー障害(社会性・興味・コミュニケーションについて、特異性が認められる広汎性発達障害)といった自閉症の類縁疾患も含み、適用できるものである。
 自閉症は、社会性の障害を主症状とする発達障害の一つであり(有病率1%といわれている。)、正しく診断または発見されなければ、その子どもの日常生活、学校生活に大きな支障をきたし、さらには、自尊心の低下、不安や抑うつなどの精神症状の出現が予測される。
 しかし、自閉症に対する有効性の確立された薬物療法は、見出されておらず、早期診断と、これに基づく早期(3歳未満)の教育的介入とが、予後を改善させる唯一の道筋である。
 ところが、今日の標準的臨床的技法では、早期に自閉症の診断を確実に行うことは、容易でない。例えば、従来の自閉症診断では、小児科医・児童精神科医が乳幼児の行動から評価、診断を行っているが、専門家(専門医)が少なく、かつ早期診断が難しく、また、評価者毎の評価に相違があり、客観的な評価が困難な現状である。
 現在、専門医の自閉症診断では、面談で経験的に外見から判断したり、血液採取による成分検査が行われている。しかし、外見判断では、専門医による豊富な経験を必要とし、また、数値化困難といった問題がある。他方、血液検査では、採取する煩雑さの問題がある。しかも、乳幼児の診察においては、面談での意志疎通がほぼ行えないことや、血液成分での検査では、3才未満の検証例がまだ研究段階であることから、現状では、有効、確実な検査手段となっていない。さらには、乳幼児が自閉症であるか親が気づかず、医師へ相談すること自体が行われない、或いは遅れてしまうという深刻な問題もある。
 したがって、上記の現状において、大人だけに限らず、子ども、特に乳幼児の自閉症に対して、客観的評価にもとづく、専門家(専門医)の早期発見・早期確定診断を可能とする方法、装置や支援システムの開発が望まれている。
 一方、近年、未診断の自閉症の乳幼児の注視点分布に異常が見出されていることが判明しつつある。すなわち、自閉症の乳幼児は、他者の視線に正しく注目することができないという特徴を有することが明らかになってきている。これは、自閉症の本態である社会性の障害に由来し、しかも、極めて早期に出現する徴候であると、考えられているものである。
 本発明者らは、この異常を正しく検出し、それを客観的な自閉症の早期診断指標として、好ましい視線検出技術を用いれば、活用できると、着目した。
 このような注視点の分布を得るにあたり、公知の視線を検出する技術(「視線検出技術」「視線検知技術」「視線入力技術」「視線認識技術」「視線追跡技術」などと称される)としては、例えば座標系に対する瞳孔の位置を測定するための第1の撮像カメラと、前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離rと前記距離rの前記座標系の座標軸に対する角度φのデータを取得する第2の撮像カメラとを用いて前記各撮像カメラからの情報により、視線方向を演算する演算手段とを用いる被験者の視線検出方法やその利用技術(視線検出装置、視線検出技術など)などが提案されている(例えば、特許文献1~5参照。)。
 また、上記特許文献に開示された「視線検出技術」と類似した他の技術として、特許文献6には、ユーザの頭部の方向に光線を発する1つ又は複数の光源と、ユーザの頭部からの光線を撮像カメラにて受光し、そのピクチャを反復的に取り込む検知器と、眼の位置及び/又は凝視方向を決定するために前記検知器に接続された評価ユニットと、を備える眼検知装置であって、前記評価ユニットは、前記検知器によって取り込まれたピクチャ内の、単数又は複数の目の像が位置している領域を決定し、前記領域の決定後、前記検知器によって取り込まれた像の前記決定された領域に対応する連続的な、又は後続のピクチャに関する情報だけを前記評価ユニットに送るように前記検知器を制御するように構成されていることを特徴とする眼検知装置が開示されている。
 また、特許文献7には、視線認識対象の眼球に光を照射し当該眼球の角膜上に3点以上の特徴点を持つ像を撮像カメラにて結像させ、前記角膜上に結像された像の特徴点から前記眼球の角膜曲率中心を求め、角膜曲率中心と瞳孔中心の位置情報から視線方向を認識する視線認識装置において、角膜曲率中心と瞳孔中心の位置関係から仮の視線方向を計算する仮視線計算手段と、仮の視線方向と瞳孔の位置情報から限定された角膜領域を求める角膜領域判定手段と、前記限定された角膜領域内に前記像の特徴点がある場合には、仮の視線方向を視線認識結果とし、限定された角膜領域内に像の特徴点の一部がない場合には、限定された角膜領域内に存在する像の特徴点を選択し、選択された像の特徴点から前記眼球の角膜曲率中心を求めて、角膜曲率中心と瞳孔中心の位置情報とから視線方向を認識し、視線認識結果とする処理手段とを備えることを特徴とする視線認識装置が開示されている。
 さらに、特許文献8には、(a)ユーザの眼を監視する眼撮像手段(撮像カメラ)によって生成されたビデオデータを受信するビデオデータ入力手段と、(b)閾値よりも高い輝度を有する前記眼撮像手段によって生成された画像の部分の表示を提供する適応閾値手段、および前記画像の前記部分を所定の妥当性基準と比較することによって有効な基準スポットを選択するスポット同定手段を含む、点光源で前記ユーザの眼を照明することによって、前記ユーザの眼上に形成される基準スポットの位置を前記ビデオデータから決定するスポット位置指定手段と、(c)前記ビデオデータから、前記基準スポットに対する前記ユーザの眼の瞳孔の中心位置を決定して、前記ユーザの注視線を決定する瞳孔位置指定手段であって、前記瞳孔位置指定手段が、前記有効基準スポットの位置に対する前記瞳孔を含む前記眼撮像手段によって生成された前記画像の一部を含む瞳孔追跡ウィンドウを選択する選択手段、閾値よりも大きい勾配を有する前記瞳孔追跡ウィンドウ内の前記画像部分の勾配の前記部分の選択によって瞳孔の縁部を決定する縁部決定手段、および瞳孔の縁部について選択された点を参照することにより瞳孔の中心の位置を決定する中心決定手段を含み、前記該中心決定手段が、瞳孔画像データの複数の画素の中から、3つの閾値を超える画素を実質的に無作為に選択して、さらなる処理のための3つ組を形成する3つ組選択手段、および前記選択した画素の各々を通過する仮想円の中心および半径を決定する3つ組処理手段を含む、瞳孔位置指定手段と、(d)前記瞳孔およびスポット位置指定手段によって決定した前記ユーザの注視線から前記ユーザの注視点を表示する表示手段とを備えるユーザの眼運動を監視するための視標追跡システムが開示されている。
 さらにまた、特許文献9~11には、前記までの眼球を撮像するカメラ(眼撮像手段)を用いず、代わりに頭部に装着したユーザの眼球の動きを検出する電極を用いた視線検出ユニット2であり、主としてイヤホンやヘッドホンを用いる電子機器を対象に、耳周辺に接触する部位へと前記電極を装着することで、ハンドブリーで視線による機器の操作や制御指示を行うことを目的に研究されている技術として開示されている。
 しかしながら、上記カメラまたは電極を少なくとも具備する「視線検出技術」などを、自閉症診断支援に適用する先行技術は、本発明者らが研究成果展開事業(先端計測分析技術・機器開発プログラム)に係る委託研究開発において、開発課題名:自閉症乳幼児診断用の注視点検出装置を開発しているなかで出願した、特許文献12や特許文献13のように、僅かに見出される程度である。
 ちなみに、後述するが、本発明では、上記特許文献1~11のような「視線検出技術」を適用できる位置づけであり、特に、上記特許文献1~5に開示の技術は、瞳孔が小さく言葉を理解しえないことから指示どおり静止しないであろう乳幼児に適した技術の一つである。
特許第4517049号公報 特許第4452835号公報 特許第4452836号公報 特許第4491604号公報 特許第4528980号公報 特許第4783018号公報 特許第3453911号公報 特許第4181037号公報 特開2006-340986号公報 WO2009/142008号公報 特開2011-120887号公報 特開2011-206542号公報 特願2011-192387号明細書
 本発明の目的は、上記問題点に鑑み、従来から提案されている「視線検出技術」を用いて、特に乳幼児の自閉症に対して、客観的評価にもとづく、早期発見・早期確定診断の支援を可能とする自閉症診断支援方法およびシステム並びに自閉症診断支援装置を提供することにある。
 ここで、自閉症の診断支援をするにあたり、高い確度で被験者の視線の動きを検出することは当然としても、重要な思想背景として、「自閉症の疑いのある被験者を間違いなく抽出すること」を念頭におかなければならない。換言すれば、医師が自閉症診断をするにあたり感度および特異度が高い支援を要求される。
 つまり、仮に1千人という被験者のなかに、10人の自閉症者が内在していたとすれば、被験者のうち定型発達者を数人“自閉症の疑い有り”と判定しようともこの10人の自閉症者を確実に捉えるスクリーニングをすることが重要となる。
 従って、本発明の大きな課題は、上記の“自閉症の疑い有り”とした定型発達者を出来る限り少なくできることはさらに望ましいとしたうえで、自閉症者を確実に捉えるようなスクリーニングのできる診断支援をすることを本発明の課題とするものである。
 そして、本発明者らは、先に挙げた特許文献12および13に記載の発明を提案したが、自閉症診断支援において、上記の大きな課題を解決するにあたり、自閉症者が他者の視線に正しく注目することができない傾向を評価するだけでなく、そのほかの自閉症者特有の視線の傾向をも複合的に考慮することによって、優れたスクリーニングができることを見いだした。
 なお、評価に役立てる(或いは評価する)と記載するが、自閉症の本態である社会性の障害に由来する徴候を視線の動きから検出し、もって客観的な早期診断指標を示唆することをいい、医療行為(確定診断)そのものを示すものではない。
 本発明によれば、専門家(専門医)が少ない地域の場合や、学校や保健所の集団検診など自閉症に関する専門家(専門医)がその場に不在となる場合においても、データ検出だけ行う検査自体は実施でき、評価結果に基づいた専門家(専門医)による確定診断は、その後または通信手段による遠隔地での早期発見を可能とすること、あるいは、分野の異なる医師などが評価結果を基に専門家(専門医)による確定診断を得るよう推奨を可能とすること、といった利便性を高めることができる支援方法を実現するものである。
 本発明者らは、上記課題を解決すべく鋭意検討した結果、前記自閉症の乳幼児の注視点分布の異常に対して、自閉症の本態である社会性の障害に由来すると考えられ、しかも、極めて早期に出現する徴候であると考えられているため、この異常を正しく検出する技術として、前記先行技術文献の「視線検出技術」などに挙げた「視線検出技術」を適用し、かつ、この技術と連携して、特定の「複合画像」を被験者に表示させることにより、被験者である定型発達児(健常児ともいわれ、以下、大人や子ども、幼児や乳幼児も含め「定型発達者」と称する。)と自閉症児(以下、大人や子ども、幼児や乳幼児も含め「自閉症者」と称する。)との視線動向の違いを、上記の「視線検出技術」で評価できることを見出し、これらの知見により、発明を完成するに至ったものである。
 すなわち、本発明の第1の発明によれば、被験者の眼球を撮像するカメラ部(a1)または被験者の頭部に装着し眼球の動きを検出する電極部(a2)と、被験者の視線先に設置される表示部(a3)とを少なくとも具備する視線検出ユニット(A)を用いて、被験者の自閉症を診断する支援方法であって、
 該表示部(a3)の画面上に、特定人物画像(I)と特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像を表示し、該視線検出ユニット(A)を用いて、該複合画像を見る被験者の視線位置情報を検出した後、被験者の視線位置情報を、視線位置情報記憶部に入力し、自閉症者及び/又は定型発達者の視線位置情報とを比較する視線位置評価アルゴリズムにより、被験者の視線位置を評価することを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第2の発明によれば、第1の発明において、前記視線位置評価アルゴリズムは、前記特定人物画像(I)が静止画像(i)と、一部分が動作する動画像(ii)とからなり、表示部(a3)の画面上に、静止画像(i)または一部分が動作する動画像(ii)のいずれかを表示したときの視線の移動頻度において、定型発達者では該動画像の動作箇所への視線の移動頻度が多いのに対し、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする自閉症診断支援方法が提供される。
 さらに、本発明の第3の発明によれば、第2の発明において、前記特定人物画像(I)は、顔の静止画像(ia)と、目のみを開閉する顔の動画像(iia)と、口のみを開閉する顔の動画像(iib)との3種からなることを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第4の発明によれば、第3の発明において、前記視線の移動頻度は、目のみを開閉する顔の動画像(iia)を表示しているときの目の周囲への視線の移動頻度が、定型発達者の視線の移動頻度に比べて、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする自閉症診断支援方法が提供される。
 さらに、本発明の第5の発明によれば、第3の発明において、前記視線の移動頻度は、先ず口のみを開閉する顔の動画像(iib)を表示した後に、引き続き目のみを開閉する顔の動画像(iia)を表示したときの(iia)への視線の移動頻度が、顔の静止画像(ia)または口のみを開閉する顔の動画像(iib)を表示したときの定型発達者の視線の移動頻度に比べて、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第6の発明によれば、第1~3のいずれかの発明において、前記特定人物画像(I)は、被験者の知っている人物の画像を用いることを特徴とする自閉症診断支援方法が提供される。
 さらに、本発明の第7の発明によれば、第2の発明において、前記視線位置評価アルゴリズムは、前記特定非人物画像(II)が出現予測画像(α)、錯視認識画像(β)または相違点検索画像(γ)から選ばれる少なくとも一種類を含むことを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第8の発明によれば、第1の発明において、前記特定非人物画像(ii)の出現予測画像(α)は、移動体画像(α1)と任意で遮蔽体画像(α2)との組み合わせから構成される動画であり、先ず、移動体画像(α1)が表示部(a3)の画面上を移動するよう表示し、次に、該移動体画像(α1)を表示部(a3)の画面上の外側あるいは遮蔽体画像(α2)により非表示状態とした後、表示部(a3)の特定位置から移動体画像(α1)を再表示したときの視線の移動頻度において、定型発達者では視線の移動頻度が移動体画像(α1)が再表示される位置へと移動頻度が多いのに対し、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする自閉症診断支援方法が提供される。
 さらに、本発明の第9の発明によれば、第7の発明において、前記再表示したときの視線の移動頻度は、1度目に再表示したときの移動頻度を評価の対象とせずに、移動体画像(α1)の規則的な動きを予見できる2度目の再表示からの移動頻度を評価の対象とすることを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第10の発明によれば、第7の発明において、前記特定非人物画像(II)の錯視認識画像(β)は、錯視を生ずる要素(β1)と錯視を生じない要素(β2)を含む絵柄から構成される画像であり、錯視を生ずる要素(β1)を表示したときの視線の移動頻度において、定型発達者では視線の移動頻度が錯視を生ずる要素(β1)と錯視を生じない要素(β2)を表示した位置間の移動頻度が多いのに対し、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする自閉症診断支援方法が提供される。
 さらに、本発明の第11の発明によれば、第7の発明において、前記特定非人物画像(II)の相違点検索画像(γ)は、外観が同一または類似する複数の同種絵柄(γ1)と同種絵柄と形状が異なる1乃至若干数からなる異種絵柄(γ2)との組み合わせからなる画像であり、表示部(a3)に同種絵柄(γ1)中に異種絵柄(γ2)を混在させるように表示したときの視線の移動頻度において、定型発達者では視線の移動頻度が同種絵柄(γ1)と異種絵柄(γ2)を表示した位置間の移動頻度が少ないのに対し、自閉症者では視線の移動頻度が多い傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第12の発明によれば、第1の発明において、前記複合画像面を表示部(a3)の画面上に表示する前に、被験者の視線を予め所定の位置に誘導するための予備画像誘導画像(θ)を表示体上に表示させることを特徴とする自閉症診断支援方法が提供される。
 また、本発明の第13の発明によれば、第2の発明において、記定型発達者と自閉症者の視線の移動頻度の評価は、検出した被験者の視線位置情報から得られた移動頻度の多少が、表示部の画面上にそれぞれ画像を表示した時間から平均時間に基づき、頻度を検出することを特徴とする請求項1に記載の自閉症診断支援方法。
 さらに、本発明の第14の発明によれば、第2の発明において、前記視線位置評価アルゴリズムは、過去の被験者の視線位置情報および該被験者に対する自閉症であるか否かの確定診断情報を記録したデータベースに基づいて、視線の移動頻度について閾値を設定することを特徴とする自閉症診断支援方法が提供される。
 一方、本発明の第15の発明によれば、(a)被験者の眼球を撮像するカメラ部(a1)または被験者の頭部に装着し眼球の動きを検出する電極部(a2)と、被験者の視線先に設置される表示部(a3)とを少なくとも具備する視線検出ユニット(A)を用いて、表示部の画面上を見る被験者の視線位置情報を検出する視線検出手段と、
 (b)該被験者の視線位置情報を入力する手段と、
 (c)該被験者の視線位置情報を、特定人物画像(I)および特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像として表示部(a3)の画面上に表示したときの位置情報に基づき、該被験者の視線位置情報と、自閉症者及び/又は定型発達者の視線位置情報とを、比較する視線位置評価アルゴリズムにより、該被験者の視線位置を評価する視線評価手段と、
 (d)該被験者の視線位置の評価結果を表示する表示手段とを、具備することを特徴とする自閉症診断支援システムが提供される。
 また、本発明の第16の発明によれば、特定人物画像(I)および特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像を用いて自閉症診断を支援する自閉症診断支援装置であって、
 (イ)視線検出手段を用いて、被験者の視線先に表示される該複合画像を見る被験者の視線位置情報を、検出する視線検出部と、
 (ロ)該視線検出部により検出された視線位置情報を記録する視線位置情報記録部と、
 (ハ)該視線位置情報記憶部に記録された被験者の視線位置情報を表示する視線位置情報表示部と、
 (ニ)該視線位置情報表示部に表示された被験者の視線位置情報を、自閉症者及び/又は定型発達者の視線位置情報と比較する視線位置評価アルゴリズムにより、自閉症者または定型発達者の視線位置情報との類比について評価する視線位置情報評価部と、
 (ホ)該視線位置情報評価部で得られた評価結果を出力する評価結果出力部と、
 (ヘ)該評価結果出力部が出力した評価結果または視線位置情報評価部が取得した評価結果を記録する評価結果記録部とを、具備することを特徴とする自閉症診断支援装置が提供される。
 これら各発明の構成により、前記課題を解決することができる。
 先ず、本発明の第1、第15、第16の発明によれば、前記特許文献などに開示されている「視線検出技術」を応用して、かつ、この技術と連携して、特定の「2以上の画像が連続する複合画像」を特定の構成で被験者に表示することによって、自閉症者を確実に捉えるスクリーニングの思想背景に基づいて、自閉症患者の早期確定診断の支援を可能にするものであり、また、専門医でなくても、自閉症である可能性の高さまたは低さを示し、診察必要性を示唆することができる。そして、特に、専門医が自閉症と特定できる年齢となる前の乳幼児の自閉症に対しても、客観的評価にもとづく、早期発見・早期確定診断の支援を可能にするという効果を発揮する。
 また、本発明の第2の発明によれば、特定の動画像を被験者に表示することによって、画面上の動作箇所に対する定型発達者と自閉症者の視線の移動頻度の相違する傾向を抽出し、評価に役立てることができる。
 さらに、本発明の第3の発明によれば、特定の顔画像を被験者に表示することによって、定型発達者と自閉症者の視線の移動頻度の相違する傾向を抽出し、評価に役立てることができる。
 また、本発明の第4の発明によれば、顔画像の口の開閉を行う動画像を被験者に表示することによって、定型発達者と自閉症者の視線の移動頻度の傾向を、より評価に役立てることができる。
 さらに、本発明の第5の発明によれば、特定の顔画像を特定の順に(口の開閉のあと目の開閉をする順に)被験者に表示することによって、定型発達者と自閉症者の視線の移動頻度の傾向を、より評価に役立てることができる。
 また、本発明の第6の発明によれば、被験者にとって知っている(馴染みのある)顔画像を用いることによって、表示される顔画像の目を直視しやすい状態として定型発達者の目を見る傾向を高めて、自閉症者が目を比較的見ないとする移動頻度の傾向を、より評価に役立てることができる。
 さらに、本発明の第7の発明によれば、特定非人物画像として出現予測画像や錯視認識画像、相違点検索画像を用いることによって、特定人物画像での視線の移動頻度の傾向だけでなく、これらの画像に対する定型発達者と自閉症者の視線の移動頻度の相違する傾向をも抽出し、複合して評価に役立てることができる。
 また、本発明の第8の発明によれば、特定人物画像と連続して出現予測画像や錯視認識画像、相違点検索画像を表示することによって、これらの画像に対する定型発達者と自閉症者の視線の移動頻度の相違する傾向を抽出し、複合して評価に役立てることができる。
 さらに、本発明の第9の発明によれば、出現予測画像を用いて移動体が画面上に出現する位置を被験者が見ているかどうかを抽出することによって、定型発達者が比較的予測して移動体を見る傾向と、自閉症者によって表示部を比較的予測するように見ない傾向を評価に役立てることができる。
 また、本発明の第10の発明によれば、出現予測画像において移動体が一定の動きのパターンに基づいて画面上に繰り返し表示させたときに2度目以降に移動体が画面上に出現する位置を被験者が見ているかどうかを抽出することによって、被験者の予測する能力差を少なくし、評価に役立てることができる。
 さらに、本発明の第11の発明によれば、錯視認識画像を用いて被験者に表示することによって、定型発達者が錯視を生ずる部分を見る傾向と、自閉症者によっては錯視を生ずる部分を見ない傾向を、評価に役立てることができる。
 また、本発明の第12の発明によれば、錯視認識画像を用いて被験者に表示することによって、定型発達者が錯視を生ずる部分を見る傾向と、自閉症者によっては錯視を生ずる部分を見ない傾向を、評価に役立てることができる。
 さらに、本発明の第13の発明によれば、相違点検索画像を用いて被験者に表示することによって、定型発達者が相違点を探そうとする傾向や相違点を探し出した際の傾向と、自閉症者の相違点を探そうとしない、あるいは逆に短時間で相違点を探し出す能力が極めて高い傾向を評価に役立てることができる。
 また、本発明の第14の発明によれば、誘導画像(θ)を表示することによって、次の画像を表示する際の被験者の視線位置を予め所定の位置に誘導することができ、表示されるときの視線の位置のズレによる評価の変化を少なくし、安定した定型発達者と自閉症者の移動頻度の傾向を得ることで評価に役立てることができる。
図1は、本発明の自閉症診断支援方法およびシステムの構成の概略を示す図である。 図2は、複合画像の一例を示す図である。 図3は、特定人物画像(I)の一例を示す図である。 図4は、特定非人物画像(II)の出現予測画像(α)の一例を示す図である。 図5は、特定非人物画像(II)の錯視認識画像(β)の一例を示す図である。 図6は、特定非人物画像(II)の相違点検索画像(γ)の一例を示す図である。 図7は、誘導画像(θ)の一例を示す図である。 図8-1は、視線位置評価アルゴリズムの一例を示す図である。 図8-2は、視線位置評価アルゴリズムの一例を示す図である。 図8-3は、視線位置評価アルゴリズムの一例を示す図である。 図9-1は、視線位置情報を表示した一例を示す図である。 図9-2は、視線位置情報を表示した一例を示す図である。 図10は、視線位置を評価した一例を示す図である。
 本発明を実施するための形態は、以下の実施例に述べるものをその一つとするとともに、更にその技術思想内において、改良し得る種々の手法を含むものである。
 説明にあたっては、先ず、本発明において好適に用いられる視線検出ユニット2について説明し、その後、複合画像について説明しながら、視線位置評価アルゴリズムや実質的に自閉症診断支援システムに相当する自閉症診断支援装置全体について併せて説明する。
 次いで、自閉症診支援装置の作動態様について説明しながら、自閉症診断支援方法について併せて説明する(以下の説明においては、便宜上、前記の自閉症診断支援装置と称して、自閉症診断支援システムや自閉症診断方法についても、説明することがある。)。
 先ず、本発明の自閉症診断支援システムの視線検出手段(a)に用いられる視線検出ユニット2(視線検出部)について説明する。
 視線検出ユニット2は、図1に示すように、被験者Aの目を撮像するカメラ部22と画像を表示する表示部21を有しており、必要に応じて、瞳孔を確実に撮像するための撮像補助照明部23が設けられている。表示部21は、市販のディスプレイを用いることができ、液晶ディスプレイ、CRTやプロジェクタなど、特に限定されず、表示部分の大きさや形状も任意である。また、図示しないが、前記カメラ部22の代わりに、ヘッドホンやイヤホンのように頭部に接触して眼球の動きを検出する電極(電極部)を用いてもよい。撮像補助照明部23は、カメラ部22の感度や周囲の明るさ等必要に応じて設けられる。
 視線検出ユニット2は、被験者Aの瞳孔を検出して被験者Aの見ている対象(表示部21)の位置を視線位置情報32として出力するようになっており、具体的には、被験者Aとカメラ部22と表示部21との位置関係から、被験者Aが表示部21の画面上のどの位置をいつ見ているかを視線位置情報31として出力できるように構成されたものである。
 すなわち、自閉症診断支援における視線の移動の解析において、後述する表示画像情報の絵柄の位置や時間と視線位置情報の位置や時間を合致して特定できればよいものであり、視線位置情報32は、数値データや画像データいずれに限定するものでない。
 詳細に説明すると、視線位置情報32は表示部21の画面の位置に合致する2次元のX,Yといった相対的な位置座標と撮像時刻を数値データとして出力するものであったり、表示部21の画面の位置とは関係なく、視線検出ユニット2のカメラ部22から撮像した被験者Aの目の位置からカメラ部22固有の絶対的な位置座標と撮像時刻を数値データとして検出するものであってもよく、あるいは、数値データではなく画像データの場合は、カメラ部22で撮像した視線位置が、表示した画像データへとプロット点として直接視線位置を合成して出力するものであってもよい。
 望ましい例としては、視線位置情報32は、視線検出ユニット2に用いる表示部21(ディスプレイ)の解像度や表示されるドット位置情報(座標情報)に合致する位置情報に変換して出力すれば、画面上に表示する絵柄の位置との整合がしやすくできる。一例として、視線位置情報32は、被験者Aの視線位置情報22を、表示部21の画面上の2次元データ(X,Y座標)に合わせて変換すればよく、例えば、表示部21が縦480ドット、横640の画面解像度のディスプレイであれば、視線検出ユニット2の視線位置情報22の出力も画面解像度に相当する縦480、横640から画面上の位置を示す位置情報に変換して出力されるように調整しておくとよい。
 なお、視線位置情報とは、前記説明した画面上の平面的な2次元データ(X,Y座標)に限るものでなく、立体的な3次元データ(X,Y,Z座標)であってもよい。
 ちなみに、市販、公知の各種検出手段として好適なものは、できるだけ被験者Aの視線位置を精度良く検出することが重要となるが、例えば、前記特許文献1~5の視線検出技術(その他各種出願、公開中の発明も含め)の公報に挙げられた技術を視線検出ユニット2として適用すれば、視線を検出するうえで困難とされる、静止せず動き回る乳幼児であったり、眼鏡をかけた被験者Aであったり、被験者Aごと異なる目の曲率などの補正を要する場合において、誤差が少なく高い精度でかつ小型化、簡便に視線を検出できる構成とできるため、視線位置情報の検出において適格かつ簡便に視線を検出する技術の一つとして、極めて好適である。
 代表的な視線検出手段としては、静岡大学製注視点検出装置[情報科学技術フォーラム講演論文集(9(3),589-591,2010-08-20)で発表された装置、「頭部移動を許容するステレオカメラによる較正容易な注視点検出装置」]が挙げられる。本発明ではこのユニットを用いて、視線位置情報32が表示部21の画面上の位置情報に変換して出力されるように調整したものを適用したものとして説明する。
 なお、視線検出ユニット2は、後述する本体ユニット1や表示部21の動作や指示にそって、被験者Aの視線位置情報を検出するが、本体ユニット1や表示部21と必ずしも連動している必要はない。連動していない場合は、本体ユニット1側において、視線検出ユニット2から常時出力される視線位置情報を受信、集計し、解析によって、表示画像情報の各表示した絵柄の位置と、被験者Aの表示した際の視線位置とを特定すればよい。
 次に、本発明の表示画像情報31に用いられる複合画像について説明する。
 複合画像は、上の視線検出ユニット2の表示部21に表示するための表示画像情報31であり、図2A~Cに示すように、特定人物画像(I)、および、特定非人物画像(II)を、連続して表示するよう構成されている。このような複合画像は、一つの画像が数秒から十数秒で構成された画像であり、長くても全体で数分程度の画像となっている。(I)(II)の順や連続する画像総数は限定しない。
 なお、前記連続とは、必ずしも時間的な連続性をもって表示するというものでなく、後述する誘導画像を画像間に表示する場合も含め、一連の診断支援における連続性で理解すべきである。
 前記特定人物画像(I)とは、先ず、人物画像として、実在する人物、アニメーションの人物や擬人化した動物等の画像が選択され、かつ、画面上で全体に静止している状態(静止画像)(i)と画面上で何らかの動きのある状態(一部が動作する動画像)(ii)とで構成された画像である。静止画像(i)とは、人物画像が体や表情を静止させた状態の画像をいい、動画像を一時停止させた状態を含むものであり、動画像(ii)とは、人物画像が体の一部分を動かしている状態の画像をいい、顔の表情の変化を含むものである。
 ここで、特定人物画像(I)において、全身または体の一部が表示されるように構成するとよいが、表示部21の画面の大きさによるが、動画像として、特に表情において目や口の周囲の動きを被験者Aに確認させるうえで、上半身か顔周辺からなる画像を表示することが望ましく、大きさでは等身に近い大きさ、鮮明さでは目や口の動きが明確に表示できる画像であることが望ましい。
 また、被験者Aの知っている人物(馴染みのある顔)を用いた画像であれば、被験者Aが人物画像(特に目)を直視しやすくできる点で望ましく、たとえば被験者Aの一親等または二親等の人物の画像を用いるとよい。
 これらに用いられる画像は、予め撮像した画像のほか、リアルタイムに撮像する画像でもよく、特に、限定しない。
 そして、特定人物画像(I)としては、上記の人物画像のうち、図3Aに示すように、目を開け口を閉じた状態の画像(全体を静止した顔画像)(ia)と、図3Bに示すように、口を閉じた状態で目の開閉を連続して数秒行う画像(目のみを開閉する顔画像)(iia)と、図3Cに示すように、目を開けた状態で口の開閉を連続して数秒行う画像(口のみを開閉する顔画像)(iib)を含む画像が望ましく、この場合は、上記の画像でそれぞれ数秒を一組として構成する。
 ここで、表示部21おいて、(iia)の画像では、目の開閉は、動きを明確に看取されるよう配慮し、通常の瞬間的な瞬きよりも緩やか且つしっかりと開閉させつつ、目の動きを静止せず(間を置かず)に、次の瞬きを開始する動作を繰り返す画像を用いることが重要である。
 よって、本発明においては、通常の瞬間的な瞬きは上記目の開閉に含めない。Wikipedeiaによれば、通常の瞬きの速さが平均で0.1~0.15秒、通常の瞬きの回数が子供では5~18回/分、大人では男性が20回/分、女性が15回/分程度である(すなわち、目を開いた状態を静止する時間が子共は12~3.3秒間、大人は男性が約3秒間、女性が約4秒間程度)としているが、本発明では、瞬きの速さは、通常の0.2~0.5倍の速度、通常の目を開いた状態を維持する時間がほぼ無く目を閉じる動作を行うか長くとも1秒以下(通常の3~12倍かこれ以上)とする画像を用いることが、被験者Aが動きのある位置を意識させる上で望ましい。
 また、(iib)の画像では、図3Dに示すように、通常の話すときの口の動きをするとよいが、口の開閉を明確に看取されるよう意識して大きく動かすように配慮し、口が大きく動く様がみえる画像とすることが望ましく、また、乳幼児では馴染みのあるあやし言葉や挨拶言葉といった相手への反応を伺う用語を用いると、被験者Aに、より画像に意識させる上で望ましい。画像とともに音声を連携させても、よいことは勿論である。
 このように、被験者Aへと、動作箇所(とくに目、口の周囲)へと意識して視線を誘導させることができるような画像として構成される。
 次に、前記特定非人物画像(II)について説明する。
 本発明で用いられる特定非人物画像(II)は、出現予測画像(α)や錯視認識画像(β)、相違点検索画像(γ)を含む画像であり、いずれも数秒を一組として、特定人物画像(I)とともに構成する。これらは1乃至複数を連続した画像として構成する。このような連続した画像としては、例えば、(I)→(α)や(β)→(I)のように連続したり、複数では(I)→(α)→(β)や、(γ)→(I)→(β)や、(α)→(I)→(β)→(I)→(α)と連続したり、各種のバリエーションが挙げられる。
 出現予測画像(α)とは、一定の法則に基づいて表示部を移動する絵柄(移動体(α1)という)があり、該移動体が、画面の外側に非表示となるか、あるいは、画面上に表示される他の絵柄(遮蔽体(α2)という)と重なり、あたかも遮蔽体(α2)の背景へと一定時間非表示となったのちに、再び、画面上に表示されるように構成された動画像をいう。絵柄は、とくに限定されない。
 そして、上記の一定の法則に基づいて移動するとは、図3Aに示すように、画面上の移動体(α1)が表示部に出現して一定の方向に移動しながら画面の外側へと消える一連の動作がされ、再び同じ位置から出現するように構成した画像や、図3Bに示すように、画面の外側に消えた位置から反対方向に出現するように構成した画像によって、移動体(α1)の再表示される位置が、被験者Aに容易に特定できるように構成されている状態をいう。ちなみに、図4A~Dは、説明する上で矢印や絵柄を複数表示したように示したが、実際には1つの絵柄を用いている。ただし、移動体を複数表示することを否定するものではない。
 あるいは、図4E~Gに示すように、画面上に遮蔽体(α2)を表示させる場合には、移動体(α1)が画面上を移動するなかで遮蔽体(α2)と重なり非表示となったあと、再び遮蔽体(α2)から出現するように構成した画像によって、移動体(α1)の再表示される位置が、被験者Aに容易に特定できるように構成されている状態をいう。なお、これらの状態を複合して構成してもよい。
 これによって、被験者Aへと、画像の再表示される特定位置(予測される画面上の位置)へと意識して視線を誘導させることができるような画像として構成される。
 錯視認識画像(β)とは、表示部の画面上に錯視を生ずる要素(β1)と錯視を生じない要素(β2)を含む絵柄から構成される画像をいい、このような絵柄としては、錯視画像として、錯覚画像、錯視図形などとも呼ばれている一般的な定義のもの[フリー百科事典『ウィキペディア(Wikipedia)』「錯視」に各種掲載ある。http://en.wikipedia.org/wiki/Peripheral drift illusion 等]が用いられる。
 このような錯視認識画像(β)としては、図5に示すものが挙げられる。図5Aがエビングハウス錯視図形を適用した例、図5Bがカニッツァの三角形錯視図形を適用した例、図5Cがフレーザー・ウィルコックス錯視図形を適用した例である。
 また、これらの派生・改良にあたる錯視図形も絵柄として適用できるものであり、図5Dが、図5Bのカニッツァの三角形錯視図形を改良した例、図5Eが、図5Cのフレーザー・ウィルコックス錯視図形を改良した例である。
 これらの絵柄を本発明の錯視認識画像(β)として適用するには、錯視を生ずる要素(β1)と錯視を生じない要素(β2)を、表示部21の画面上に同時に表示させた絵柄として構成する。
 ここで、図5Aに示すように、エビングハウス錯視図形を適用した場合は、図8Hに示すように2つの円形の集合のうち、それぞれ中央で大きさが異なって見える錯視を生ずる円の部分が錯視を生ずる要素(β1)に、その周囲を囲むように配置される円それぞれを含む要素(β1)の周りの部分が錯視を生じない要素(β2)とした構成として画像に用いる。
 また、図5B,Dに示すように、カニッツァの三角形錯視図形を適用した場合は、図8Hに示すように、画面上に存在しない図形が示される部分が錯視を生ずる要素(β1)に、画面上に表示された絵柄の部分が錯視を生じない要素(β2)とした構成として画像に用いる。
 なお、前記の“存在しない図形”とは、本発明においては、画面上で必ずしも存在しないか無色透明かというものではなく、画面全体の背景色と同一色であり、つまり画面上の背景色と見分け不能な状態を表現しているものである。
 また、図5C、Eに示すように、フレーザー・ウィルコックス錯視図形を適用した場合は、当該絵柄全体が錯視を生ずる要素(β1)として構成されるため、図8H、Jに示すように、画面上の一部分(図示では画面左半分)に当該絵柄を表示することでその部分を錯視を生ずる要素(β1)に、当該絵柄を表示しないその他の部分(図示では画面右半分)を錯視を生じない要素(β2)とした構成として画像に用いる。
 この錯視図形の錯視を生ずるメカニズムは、まだ完全に解明にされていないと思われるが、この錯視図形は、いずれも静止画として構成されており、この静止画を静視していると、恰も視野における視点の周囲(視野の中心を除くピントがあっていない部位)において、静止画であるにも拘わらず、「視線を少し外した部分の絵柄が上下左右方向や回転方向にゆらいで動いているように、見せかける錯視要素」を含む図形であることは共通している。
 その効果は、総じて色盲・色弱・盲目といった目の不自由な者でない限り、同じ効果を見る者に感じさせることができるとされている。なお、色盲・色弱の者については、本人が識別できる配色やグレーの画像を選択するとよい。
 なお、図8Jに示すものは、表示部全面のうち、左側に錯視図形、右側に錯視要素を生じない図形を表示させた例である。
 錯視を生じない図形は、外観(形状や模様、色彩等の形態構成要素)は錯視図形と近似するが、柄の色彩が錯視を生じない絵柄となるように描かれた模様となっており、視線を少し外した部分の絵柄が上下左右方向や回転方向にゆらいで動いているように見せかける錯視要素を生じないようになっている図形であり、たとえば、絵柄の影(点ごとの配色)の付け方を替える(一方向からの光源により生じる影の位置にする)等により、錯視要素を生じなくすることができる。
 これによれば、被験者Aは、一見して画面全体に同じ絵柄が展開されているように看取されるが、絵柄を全体に見ているうちに錯視を生ずる部分(図示では画面左半分)と、錯視を生じない部分(図示では画面右半分)になるように見分け可能に構成されているものである。
 具体的には、被験者Aは、表示部21に表示された画面のいずれか一部を見ることとなるが、錯視画像によって錯視要素を感じさせることや、被験者Aが目線を動かすと、画面の一部つまり特定錯視画像によって視線を少し外した部分の画像に錯視要素を感じさせることができる。ここで、被験者Aが錯視要素を感じた際に、その部分に視線を誘導することや、特定錯視要素画像ではその部分に視線を合わせると、その視線を合わせた部分に錯視要素が生じなくなることを看取させることができるから、被験者Aの視線を画面上で、頻繁に移動させることができる。
 しかし、被験者Aが自閉症者である場合には、錯視要素を感じない、または感じたとしても、本人が興味のある部分を注視する意志が強いことから、自然と、錯視要素の影響を受けない傾向が生じる、つまり、自閉症者の視線は、画面上で頻繁に移動する傾向が希薄となるのである。
 ここで、表示した錯視画像と非錯視画像のいずれかまたは双方を、時折左右に動かす、点滅させるなどにより、被験者Aの目線を意図的に特定の位置へと誘導しやすくしてもよいが、表示部21全面に似た絵柄の静止画像を表示することこそ、被験者Aの視線を誘導する行為を行わず、より自然な状態で被験者Aの視線の移動を検出することができ、他方、言葉による意思伝達がしえない乳幼児において、特に望ましくすることができる。
 その他の錯視の生ずる絵柄についても、上のような要素に基づき、錯視を生ずる要素(β1)と錯視を生じない要素(β2)を表示部の画面上に同時に表示させた構成として画像に適用すればよい。
 これによって、被験者Aへと、錯視を生ずる要素(β1)の表示される特定位置へと視線を誘導させることができるような画像として構成される。
 前記相違点検索画像(γ)とは、外観が同一または類似する複数の同種絵柄(γ1)と、同種絵柄と形状が異なる1乃至若干数の異種絵柄(γ2)との組み合わせからなる画像であり、表示部に同種絵柄(γ1)中に異種絵柄(γ2)を混在させるように表示するよう構成した画像をいう。
 このような画像としては、図6Aに示すように、外観が同一の絵柄(同種絵柄:γ1)を画面上に多数点在して表示する中で、同種絵柄とは色あるいは向きの1要素だけ特徴を変化させた絵柄(異種絵柄γ2)が1または若干数含まれて構成された画像をいう。図では、ワニが10匹いるうち、逆向きのワニを1匹だけ混在させている。
 あるいは、図6BやCに示すように、上記の同種絵柄(γ1)を画面上に多数点在して表示する中で、同種絵柄とは外観、向き、色彩から2要素以上の特徴を異ならせた絵柄が1または若干含まれて構成した画像をいう。同図中では、ライオンとネコが6匹ずついるうち、逆向きのネコを1匹だけ混在させている。
 このような複数の同種絵柄(γ1)と1乃至若干数の異種絵柄(γ2)の表示することで、錯視画像のように、画面全体において、一見して多数の同じ絵柄が分散しているように看取させるなかで、被験者Aに、絵柄の違いによる刺激での視線が誘導させることなく、被験者A自らの意志により、一見同じように見える画像群から、異種絵柄の存在を発見させる視線の移動を興させて、見たい位置を誘導させない、規制させない、より自然な状態で、被験者Aに視線の移動を生じさせることができる。
 これによって、被験者Aへと、同種絵柄(γ1)や異種絵柄(γ2)の表示される特定位置へと意識して視線を誘導させることができるような画像として構成される。
 続いて、これらの複合画像と合わせて表示する誘導画像(θ)について説明する。
 前記誘導画像(θ)とは、複合画像を表示部21の画面上に表示する前に、被験者Aの視線を予め所定の位置に誘導するための絵柄を表示するものであり、画面の特定の位置に数秒間絵柄を表示する構成からなる画像である。
 このような誘導画像(θ)としては、図7Aに示すように、画面の一部分に表示しその絵柄を被験者Aに注目させることで、次に表示される画面の、最初の視線の位置を意図的に所定の位置に誘導させるための絵柄である。
 このため、誘導画像(θ)は、視線を所定の位置に誘導させるべき画像であるから、静止画であっても動画であってもよいが、絵柄の大きさが画面全体に表示されるものでなく適度に小さいことが望ましい。
 ただし、図7Bのように、画面全体に拡大された絵柄が次第に縮小させるように表示してもよいし、あるいは、静止した絵柄でなく、移動する絵柄が画面の特定の位置に縮小するように消えたり、画面外に移動するように消えたりするような画像であっても、視線を誘導する思想からして適用できることは勿論である。
 ここで、誘導画像(θ)において重要なことは、図7Cのように、次に表示する複合画像において、視線の位置を評価するための位置との関係を考慮して、誘導画像(θ)を表示することにある。
 より具体的に説明すると、特定人物画像(I)で口を開閉する顔画像(iib)で口の位置に視線が移動するか評価したいときには、評価に影響しない口と離れた位置に誘導画像(θ)を表示すれば、たまたま被験者Aが見ている位置に口が表示された場合、つまり表示した瞬間の、被験者Aの意図によらない視線位置の評価を除外できるので、評価の精度をより向上させることができるものである。
 あるいは、目を開閉する顔画像(iia)で目の位置に視線が移動するかを評価したいときにおいて、意図的に目が表示される位置と同じ位置に誘導画像(θ)を表示させることで、顔画像が表示された瞬間に、自閉症者であれば意識的に目をそらせる傾向を評価することに役立てることができる。
 さらに、特定非人物画像(II)の(α)(β)(γ)についても、同様であるが、表示した最初の若干秒の視線位置は、評価から除外するよう考慮しつつも、意図的に、出現予測位置と同じ位置や、錯視の生ずる位置や、異種絵柄の位置へと、誘導画像(θ)を表示することで、ひとつの見るべき位置のヒントのような視線位置を被験者Aに内示する誘導要素としても役立てることができる。
 このような視線検出ユニット2と各種の複合画像を用いることにより、自閉症診断支援システムは、次のように被験者Aの視線の動向を評価する。
 先ず、自閉症診断支援システムの入力手段(b)として、本体ユニット1が、複合画像の表示画像情報31を視線検出ユニット2の表示部21へ送信し、視線検出ユニット2から被験者Aの画面上の視線位置情報32を受信する。
 ここで、該表示画像情報31とは、複合画像の絵柄のデータや表示するタイミングのデータから構成されるものである。複合画像が予め視線検出ユニット2側に用意されていれば、本体ユニット1から複合画像を表示するタイミングの指令を送信すればよい。
 また、視線位置情報32とは、前述した被験者Aの視線の位置を示す情報であり、本体ユニット1が表示部21の座標に合わせた位置座標データや視線の位置がマーカーで示された画像データとして受信する。受信した視線位置情報32は、検査者Bの表示部11に表示し検査者Bに確認させるとよい。
 次に、自閉症診断支援システムの視線評価手段(c)として、本体ユニット1が、メモリーやハードディスクなどの記録媒体(視線情報記録部)に複合画像に応じた被験者Aの視線の移動情報32を記録する。記録した視線位置情報32は、検査者Bの表示部11(視線位置情報表示部)に表示し検査者に確認させることができる。
 ここまでにおいて、図1では、検査者Bが別の表示部11で画面上に表示される視線位置情報32や視線位置情報の検出結果情報34が、リアルタイムまたは後に確認できるようになっているが、本体ユニット1や視線検出ユニット2は、構成上、被験者Aまたは検査者Bの表示部11などに組み込まれることを妨げない。例えば、極端に一体的な構成とするならば、被験者Aの診断と検査者Bの確認を同時に進行しないものとして、被験者Aと検査者Bの動作を切替式にすれば、構成すべて(各表示部や本体ユニット1の全体)を一体にでき、兼用することも可能である。ちなみに、検査者B側と被験者A側のユニットは、同室に配置することを制限するものでなく、被験者Aを遠隔地で検査者Bが検査することや、記録された被験者Aの検査画像を後日に別の場所で検査者Bが評価することも、本発明に含むものである。
 続いて、視線評価手段(c)は、複合画像の画像ごと、視線位置情報32から被験者Aが前記特定位置を見ているかのアルゴリズムを実行する。
 具体的には、本体ユニット1の視線評価手段(c)が、複合画像に対して、これより詳細に説明する刺激エリアSや非刺激エリアNを設定し、設定した各エリアS,Nにおける被験者Aの視線の移動頻度を求める。
 前記刺激エリアSとは、特に定型発達者に対して視線の移動を誘導される傾向を判断するための画面上の範囲であり、特定人物画像(I)の動作箇所や特定非人物画像(II)の各特定位置の絵柄を包囲した範囲である。
 また、前記非刺激エリアNとは、特に自閉症者に対して視線の移動を誘導されない傾向を判断するための画面上の範囲であり、誘導刺激エリアSを除く特定位置の絵柄を包囲した範囲である。
 さらに、後に説明するが、刺激エリアSと非刺激エリアNは、単数あるいは複数存在することもあり、また、エリアの縮小拡大、移動、一定時間のみ発生したり、互いに位置を交換する場合も含まれる。
 なお、各エリアS,Nの範囲は、特定位置の絵柄ごとに外形(輪郭)にそって設定するが、簡便に設定するには、表示体の画面上を縦横適宜の大きさの碁盤目(ブロック)に分割して、そのブロックごとに絵柄と合致した位置のブロックをひとつの小エリアとしこの小エリアの連続する集合体をもって一つの絵柄を設定しても良い。この場合は、絵柄の輪郭の一部がブロック内に半分以上含まれた場合は小エリアと設定するか、僅かでも絵柄に合致していれば小エリアと設定するなど適宜決定すればよい。なお、表示体21の画面外については、全て非刺激エリアNとして設定したり、あるいはエリア外として設定から除外させることも適宜決定すればよい。
 このようなエリアS,Nの設定は、複合画像の特定位置ごとに、予め、または、自動的に表示される各複合画像に対して特定の絵柄に一致する位置に設定されるようにしてもよいが、表示画像情報31の画像に対して、各エリアの位置情報も複合画像全てを対象に、本体ユニット1において付与されて、視線位置情報に保存される。付与するタイミングは、被験者Aへ表示画像を表示する前後を問わない。本体ユニット1が、被験者Aの視線の移動頻度を記録情報33として保存し解析する時点までに、行われればよい。
 この付与としては、本体ユニット1において、画像中の色データや絵柄判定プログラムなどから自動的に各エリア情報を設定させてもよいし、検査者Bにおいて、手動的に画像ごと各エリア情報を設定や調整ができるようにしてもよい。
 このような各エリアに対して、被験者Aの視線の移動頻度として、複合画像を表示する時間あたりの各エリア累積滞在時間平均滞在時間、最長滞在時間、エリアS,N間の移動回数、移動方向や移動速度などの記録情報33を視線位置評価アルゴリズムで評価するのである。
 以下、複合画像ごとに自閉症者及び/又は定型発達者の視線位置情報とを比較する視線位置評価アルゴリズムについて説明する。
 先ず、特定人物画像(I)のアルゴリズムについて説明する。
 本体ユニット1が表示部21に、特定人物画像(I)を表示することで、被験者Aに人物画像の動作箇所を見るように促すのであるが、とくに、静止画像(i)として画面全体が静止した顔画像で動作箇所を示さない状態に対し、目のみを開閉する顔画像(iia)で目の位置に動作箇所を示した状態と、口のみを開閉する顔画像(iib)で口の位置に動作箇所を示した状態を表示し、被験者Aが動作箇所の位置を見る傾向を確認する。
 たとえば、下記表1のうち(iia)を5秒間表示したときの定型発達者と自閉症者の視線の移動頻度を抽出した一例を、図9Aに示したが、被験者の視線の位置を33ミリ秒ごとに、1回顔画像上にプロット点として表示したところ、図中のプロット点のドットの分散具合から見て分かるように、明らかに自閉症者は、目を見ずに口周辺に視線が集まっていることが看取できている。
 そのために視線評価手段(c)は、図8Aに示すように、目のみを開閉する顔画像(iia)で目の位置に刺激エリアSを、口の位置に非刺激エリアNを設定し、各エリアS,Nの特定位置における被験者Aの視線の移動頻度を求める。
 また、図8Bに示すように、口のみを開閉する顔画像(iib)で口の位置に刺激エリアSを、目の位置に非刺激エリアNを設定し、各エリアS,Nにおける被験者Aの視線の移動頻度を求める。
 なお静止画像(i)では、目と口の位置はいずれも非刺激エリアNとする(刺激エリアSが存在しない状態)。また、図8Cに示すように各エリアを多重に設けて、直接的に見ているかどうかを分析してもよい。なお多重エリアを設けることは、顔画像に限るものではない。
Figure JPOXMLDOC01-appb-T000001
 このように、自閉症者は、定型発達者に比較して、上の(ia)(iia)(iib)何れの傾向においても、動作箇所、すなわち、刺激エリアSである目や口の周囲への視線の移動がみられるものの、ある特定の興味をもった位置を注視する傾向があるため、刺激エリアSとともに非刺激エリアNについてもあわせて視線の移動頻度を求めることが有意となる。
 中でも、図8Dに示すように、口のみを開閉する顔画像(iib)には、定型発達者も自閉症も共通して、いちど視線を口の周囲に合わせやすい傾向が見いだせることを利用し、先ず口のみを開閉する顔画像(iib)を表示し、引き続き目のみを開閉する顔画像(iia)を表示した際のそれぞれの刺激エリアSと非刺激エリアNの逆転する視線の移動の傾向を分析するとよい。
 あるいは、図示しないが、口のみを開閉する顔画像(iib)において、定型発達者は比較的目の位置も見る傾向があることから、口のみを開閉する間の、目の位置の移動頻度を抽出してもよい。この場合は、口の周囲を非刺激エリアNに設定し、目の周囲を刺激エリアSに設定することで、口のみを開閉する間の目の位置の移動頻度を検出するとよい。
 このアルゴリズムによって、定型発達者と自閉症者の視線の移動の共通要素や共通しない要素の両面から、定型発達者と自閉症者の視線の移動頻度の相違する傾向を抽出し評価に役立てることができる。
 次に、特定非人物画像(II)のアルゴリズムについて説明する。
 出現予測画像(α)では、本体ユニット1が、図4A~Gに示すように移動体(α1)が再表示されるタイミングで、再表示される特定部位を被験者Aが見る傾向を確認する。
 そのために、視線評価手段(c)は、図8E~Gに示すように、再表示されるタイミングで再表示される特定位置にそれぞれ刺激エリアSを、遮蔽体(α2)がある場合には、遮蔽体を囲む位置に非刺激エリアNを設定し、各エリアS,Nにおける被験者Aの視線の移動頻度を求める。重要なことは、移動体(α1)を被験者Aが見る傾向があるか、移動体が消えたのち再表示する部分を予測的に見る傾向があるか、を分析することが望ましいことにある。
Figure JPOXMLDOC01-appb-T000002
 そこで、上記特定位置に設ける刺激エリアSとは、再表示されるタイミング前後の若干時間にだけ刺激エリアSが設定されるものであり、そのタイミング以外の同位置が非刺激エリアNあるいはエリア設定外と設定している。また、移動体(α1)は、前記再表示されている位置の刺激エリアSが存在中は非刺激エリアNあるいはエリア設定外であり、それ以外は別の刺激エリアSの位置づけとして移動頻度を求めるとよい。
 なお、再表示される位置の刺激エリアSの位置は、再表示される位置に固定してもよいし、移動体(α1)の移動に伴い刺激エリアSも追従して移動させてもよい。刺激エリアSの設定する時間は移動体(α1)の移動速度や被験者Aの反応遅さにより調整すればよいが、再表示される前後1~2秒程度まででよい。
 ちなみに、自閉症者が目を直視しないように、移動体そのものでなく移動体前後の位置を意図的に見ている傾向の有無を捉えるために、図8Gのように、刺激エリアSの前後に隣接するような刺激エリアSを複数設けて、直接的に見ているかどうかを分析してもよい。なお、隣接するエリアを設けることは出現予測画像に限るものではない。
 このアルゴリズムによって、特定人物画像(I)とは異なる、出現予測画像(α)における刺激エリアSと非刺激エリアNを変化させることによる定型発達者と自閉症者の視線の移動頻度の相違する傾向を抽出し、自閉症者を確実に捉えるスクリーニングの高い評価に役立てることができる。
 錯視画像(β)では、本体ユニット1が、図5A~Eに示すような錯視画像を表示することで、被験者Aに錯視を生ずる要素の位置を見るように促し、錯視を生ずる要素の位置をみる傾向を確認する。
 そのために、視線評価手段(c)は、図8H~Mに示すように、錯視を生ずる要素(β1)の位置に刺激エリアSを設定し、錯視を生じない要素(β2)の位置に非刺激エリアNを設定し、各エリアS,Nの特定位置における被験者Aの視線の移動頻度を求める。
 たとえば、表3のうち図8Kのように、左右(β1)と(β2)をそれぞれ左右に並べて5秒間表示したときの定型発達者と自閉症者の視線の移動頻度を抽出した一例として図9Cを示すが、被験者の視線の位置を33ミリ秒ごとに1回錯視画像上にプロット点として表示したところ、図中のプロット点のドットの分散具合から見て分かるように、自閉症者は(β2)の一点に視線が集まっていることが看取できている。
 ここで、上記視線の移動頻度は、視線の移動から、錯視に興味をもって見ているかを判定するには、表示開始から終了までの間に、刺激エリアSと非刺激エリアNのそれぞれの累積滞在時間や最長時間、比率から確認でき、エリアSとエリアN間の移動回数、累積時間の比率が少ないときは錯視に興味を示さないことが確認でき、これらよって傾向を確認し、判断が行えるものである。
 なお特に、図8Iに示すように、カニッツァの三角形錯視図形を適用した場合は、錯視を生ずる要素(β1)のうち、画面上に存在しない図形が看取されると、意識的に画面上に存在しない図形の輪郭付近を見る傾向を促すことができ、結果として、定型発達者ほど、刺激エリアSの位置、とくに、刺激エリアSの輪郭付近の位置への移動頻度を高くさせる効果が得られて望ましい。
 なお、図示していないが、輪郭付近の位置への視線の移動頻度を詳細に確認するには、画面上に存在しない図形を囲む刺激エリアSを多重のエリアにして、具体的には図8Iの刺激エリアSを存在しない図形の輪郭にそって大小2重のエリアSを設けて大きいエリアと小さいエリア間の視線の移動だけを抽出すればよい。
 他方、特に、図8Kに示すように、フレーザー・ウィルコックス錯視図形を適用した場合は、錯視を生ずる要素(β1)を直視した状態よりも、錯視を生じない要素(β2)の位置を見ているときに視界の中で錯視を生ずる要素(β1)の位置が恰も動きを生じているように看取されるため、錯視を生ずる要素(β1)を見るように促すことができ、結果として、定型発達者ほど、刺激エリアSと非刺激エリアNの位置の移動頻度を高くさせる効果が得られて望ましい。なお、図8LやMに示すように各エリアを多重に設けて直接的に絵柄を見ない傾向や、エリア内を分割して一つの絵柄の部分的な視線の移動傾向を分析してもよい。
Figure JPOXMLDOC01-appb-T000003
 表示部21の画面上に表示されると、被験者Aに対して錯視を生ずる部分について看取させることとなる。ここで、全般的に、表1の被験者Aの傾向から、自閉症者特有の視線の動きを確認できるのである。
 これによって、被験者Aへと、錯視を生ずる要素と錯視を生じない要素との違和感によって、画面の錯視を生ずる特定位置へと意識して視線を誘導させることができるよう画像として構成される。
 相違点検索画像(γ)では、本体ユニット1が、図6A、Bに示すような複数の同種絵柄(γ1)と1乃至若干数からなる異種絵柄(γ2)を表示することで、被験者Aに同種絵柄(γ1)の位置や異種絵柄(γ2)の位置をみる傾向を確認する。
 そのために、視線評価手段(c)は、図8N~Oに示すように、異種絵柄(γ2)の位置に刺激エリアSを設定すればよく、加えて図8P~Qに示すように、同種絵柄(γ1)の位置に非刺激エリアNを設定し、各エリアS,Nにおける被験者Aの視線の移動頻度を求める。同種絵柄(γ1)の位置に非刺激エリアNを設定しない場合は、異種絵柄(γ2)の位置の刺激エリアS以外を非刺激エリアNとすればよい。
 たとえば、下記表4のうち図8Qを5秒間表示したときの定型発達者と自閉症者の視線の移動頻度を抽出した一例を、図9Aに示したが、被験者の視線の位置を33ミリ秒ごとに1回顔画像上にプロット点として表示したところ、図中のプロット点のドットの分散具合から見て分かるように、明らかに自閉症者は画面の全体の絵柄を見ていない傾向が看取できている。
 ここで、上記視線の移動頻度は、視線の移動から次の要素をもって確認できる。すなわち、異種絵柄(γ2)を発見したかを判定するには、表示開始から終了までの間に、刺激エリアSの累積滞在時間や最長時間から確認でき、他方、瞬間的に刺激エリアS中に視線の移動があった場合はまだ発見していない、探している期間であると判断できる。また、各種絵柄から少数の異種絵柄(γ2)の存在を探そうとしているか、傾向があるかを、判定したり、あるいは一つの絵柄を注視している傾向があるかを判定するには、各同種絵柄(β1)に設けた非刺激エリアN同士またはエリアSとエリアNにおける、移動回数、累積時間の比率によって傾向を確認し、判断が行えるものである。
Figure JPOXMLDOC01-appb-T000004
 これにより、表示部の画面全体に表示された画像のそれぞれを、自らの意志で見る中で、一見同じように見える同種絵柄中の一部に異種絵柄を自らの意志で見る(一見して同じ絵柄にも係わらず、外観の異なる部分に違和感、不自然さを感じさせ、それに興味をもつ。)ことを利用して、被験者Aの同種絵柄や異種絵柄との間に視線の移動を生じさせることができ、このように自閉症者と定型発達者との傾向を視線の移動に確認することで、視線の移動頻度を求めることが有意となる。
 このアルゴリズムによって、定型発達者と自閉症者の視線の移動の共通要素や共通しない要素の両面から、定型発達者と自閉症者の視線の移動頻度の相違する傾向を抽出し評価に役立てることができる。
 以上のような画像において、各エリアの集計によって特定のエリア中に被験者Aがどの程度注視しているかをそれぞれ把握できる。
 なお、刺激エリアSや非刺激エリアNが1つの画像中に複数存在する場合や、複数の画像を用いる際には、それぞれに刺激エリアSと非刺激エリアNが存在するので、その場合は、各エリアSやNの総数を集計するとよく、他方、刺激エリアS1、刺激エリアS2のように個別に集計することも任意にしてもよい。具体的には、平均滞在数によって、一度視線をほかに移動したのち、また同エリアに視線が戻り集中する場合もあることから、このような集計をすることが望ましい。
 あるいは、位置情報のドットからドットに移動する間の移動量から視線をベクトル方向と量に換算して、目線の動きの頻度や早さの程度を一つの情報として集計してもよい。
 このように画像の特定位置に各エリアを設定し、その位置における視線の移動の情報を抽出することで、被験者Aの視線位置情報を基に、刺激エリアSを基準として、刺激エリアS内に停滞する傾向や刺激エリアS内から外、外から内へ移動する傾向等を簡便に集計でき、有効な分析・比較に貢献できる。
 さらに、後述するが、本体ユニット1がこのような記録情報を持つことによって、同じ画像情報を対象として、過去の同被験者Aの傾向の変化、または異なる被験者Aとの傾向の相異が行えるのである。
 そのほかにも、既に定型発達者であると医師に確定診断された者や、自閉症であると医師に確定診断された者で行った同じ画像情報による記録情報と、比較することも容易となる。
 このように、視線評価手段(c)が、複合画像の各画像ごとアルゴリズムを実行した結果に基づき、前記記録情報に保存し、リアルタイムまたは検出後において、全体の複合画像から自閉症者特有の視線の動きか、定型発達者の視線の動きかを集計し、また、集計後、このような評価した結果を評価結果記録部に保存するとともに、被験者Aが自閉症者特有の視線の移動頻度の相違をもとに、任意で、基本となる定型発達者と認定された者の視線の動き(あるいは基本となる自閉症者と認定された者の視線の動き)と比較する(視線位置情報評価部)。
 記録情報とは、本体ユニット1において、表示部21に送信する表示画像情報(エリア情報を含む)と、視線検出ユニット2から入力した被験者Aの視線位置情報を保管して、両者の位置情報を整合し、解析するための視線の位置に関するデータとして保管される情報をいう。
 また、このような記録情報33とすることで、過去の被験者Aが、のちに定型発達者または自閉症と確定診断された場合には、その被験者Aの過去の記録情報に補足情報として保存することで、基準・比較対象を補強することも、可能となるほか、専門家(専門医)が少ない地域の場合や、学校や保健所の集団検診など自閉症に関する専門家(専門医)がその場に不在となる場合においても、記録情報を取得する検査自体は、実施でき、評価結果に基づいた専門家(専門医)による確定診断は、その後または通信手段による遠隔地での早期発見を可能とすること、あるいは、分野の異なる医師などが評価結果を基に専門家(専門医)による確定診断を得るよう推奨し、記録情報を専門家(専門医)に通知する等を可能とすること、といった利便性を高めることができる。
 なお、これら情報においては、検査者の所望する検討、より検証を考察したいために、基準・比較対象を、年齢別、男女別、外見的な特徴別など、さまざまな傾向ごとに区分できるような補足情報を付加することも、好適な一つである。
 ここで、本発明では、過去の被験者Aの視線位置情報および該被験者Aに対する自閉症であるか否かの確定した診断情報を記録したデータベースに基づいて、前記錯視画像面エリアと非錯視画像面エリアを相互に移動する視線の移動頻度について、閾値を設定することが好ましい。
 この記録情報には、前述したエリア位置情報と視線位置情報以外にも、補完的な情報を付加しても差し支えない。例えば、画像ファイルのタイトル名やプロパティ情報、画像を使用した時間歴、使用したユニットに関する仕様情報、被験者Aに関する個人情報、過去の診断履歴等を補完的な情報として含んでもよい。
 解析では、被験者Aに表示した画像の全体をまとめた集計、または一部の時間あたり、または表示した個別の画像ごと分割した集計を行うとよい。
 さらに、必要に応じて、これらと、同一の画像による基準・対象となる定型発達者や自閉症者の記録情報との差違の集計を行うことが望ましい。
 ここで解析において重要なことは、被験者Aの視線の移動頻度について、これを特定の画像に特定のエリアを設定したことにより、視線の移動頻度を集計できる基準を得ること、定型発達者や自閉症者の記録情報を視線の移動頻度の傾向を対比または相違することで、評価できるようにすることにある。そのため、このような評価においては、視線の移動頻度を比較するにあたり、本体ユニット1には、過去に検査した同一の検査者の視線位置情報や他の被験者Aの同一画像における視線位置情報を各種保存しておくと良く、とくに、診断情報として自閉症であると診断された者の視線情報(確定診断情報)との比較が望ましい。
 このような情報は、記録情報に蓄積、追加、修正等ができるようにしておくとよい。また、被験者Aの視線位置情報は、このような本体ユニット1に保存された視線位置情報と個別に比較したり、あるいは、保存した特定情報の平均値と比較するなども適宜行うことができる。
 また、画像ごとに表示するスピードや時間合計が異なると累積時間の比較に差が生ずるため、平均時間あたりの刺激エリアSや非刺激エリアNの頻度を特定するとよく、また、使用する表示体の大きさや比率、解像度の違いによる寸法差で比較に差が生じないよう表示体に関する情報も視線位置情報記録部に保存しておくと良い。
 ここで、視線位置情報として、本体ユニット1または視線検出ユニット2が表示された表示画像情報のどの位置に、いつ被験者Aの視線が向けられたかが明確に分かる時間情報としては、たとえば電波時計等を利用した実時間情報を、検出した視線位置情報に付与しておくと、のちに記録情報の整合が確実にできて好ましい。ちなみに、評価の単位は、時間だけに限るものではなく、視線検出ユニット2が1秒あたりの検出回数に応じた回数で集計するなど適宜である。たとえば、視線検出ユニット2が1つの視線一座表を獲得するまでの1つあたりの測定時間(例:1秒間に30プロット検出できる視位置検出ユニットであれば1プロット1/30sec)を1プロットの時間としてカウントしてもよい。
 なお、視線位置情報評価部では、複合画像は決められた画像総数をすべて表示し評価するほか、表示中に自閉症特有の視線動向が一定の頻度得られた時点で表示を終了し評価するようにしてもよい。
 続いて、解析した結果を、表示部Aへと検出結果情報として出力する(評価結果出力部)。
 検出結果情報とは、本体ユニット1において、記録情報を解析した内容を検査者の所望する様式で、検査者に対して表示し、印刷し、あるいは転送するものであり、表示部だけでなく、画面情報や録画情報をプリンターなどの印刷媒体や外部の保存媒体、再生媒体、別の表示媒体へと出力することを含む。
 また、検出結果情報は、数値である必要はなく、図10A,Bのグラフに示すように視線の集合した数や時間による濃度分布など棒グラフで示すほか、折れ線、バブル、散布、円等の各種の図表グラフなどに各種分布に変換した図表であったり、図9A~Dに示すように、記録情報の解析した内容以外にも表示画像情報と視線位置情報を録画した画像やその視線を軌跡や重畳した色別変化を付けて表示する等々、各種再現して表示することも含む。
 ちなみに、図10A,Bに示すグラフは、複合画像の表示時間中に刺激エリアSや非刺激エリアNを見ている視線の位置を、エリア中に滞在している時間あたりの割合で示したものであり、常時刺激エリアSを見ている場合を100%として定型発達者10名と自閉症者10名を集計したものである。
 図10Aでは、静止画像(i)として静止した顔画像での視線移動の傾向に対し、図10Bでは、口のみを開閉する顔の動画像(iia)を表示しているときの目の周囲への視線の移動頻度の傾向が大きく変化した状態を示されており、ここでは、(i)に比べて(iia)において定型発達者の視線の移動頻度の変化が顕著に変化していることが分かる。
 そして、検査者の視線の移動頻度がどちらの視線の移動頻度に近いか合致するかを類比することにより、自閉症の疑いの度合いを確認することができるのであり、このように複合画像の各画像ごとあるいは複合画像全体から、定型発達者と自閉症者の視線動向の対比または相違をする状態を視覚的に検査者へ提供できるので、比較検討が容易に行えるように支援することができる。
 尚、比較表示するデータは、各々に測定した個人データ、特定の条件により選択したデータの平均値、標準値や、これら組み合わせ等、必要により適宜選択し表示するとよい。
 このように記録情報の解析した内容を示せば、検査者への自閉症の症状の可能性を示す視線位置情報として好適となる。
 本発明の自閉症診断支援方法および自閉症診断支援システムは、特に、専門医が自閉症と特定できる年齢となる前の乳幼児の自閉症に対しても、客観的評価にもとづく、早期発見・早期確定診断の支援を可能にするので、有用である。
 1  本体ユニット
 11 表示部
 2  視線検出ユニット
 21 表示部
 22 カメラ部
 23 撮像補助照明部
 31 表示画像情報
 32 視線位置情報
 33 記録情報
 34 検出結果情報
 A  被験者
 B  検査者

Claims (16)

  1.  被験者の眼球を撮像するカメラ部(a1)または被験者の頭部に装着し眼球の動きを検出する電極部(a2)と、被験者の視線先に設置される表示部(a3)とを少なくとも具備する視線検出ユニット(A)を用いて、被験者の自閉症を診断する支援方法であって、
     該表示部(a3)の画面上に、特定人物画像(I)と特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像を表示し、
     該視線検出ユニット(A)を用いて、該複合画像を見る被験者の視線位置情報を検出した後、被験者の視線位置情報を、視線位置情報記憶部に入力し、自閉症者及び/又は定型発達者の視線位置情報とを比較する視線位置評価アルゴリズムにより、被験者の視線位置を評価することを特徴とする自閉症診断支援方法。
  2.  前記視線位置評価アルゴリズムは、前記特定人物画像(I)が静止画像(i)と、一部分が動作する動画像(ii)とからなり、表示部(a3)の画面上に、静止画像(i)または一部分が動作する動画像(ii)のいずれかを表示したときの視線の移動頻度において、定型発達者では該動画像の動作箇所への視線の移動頻度が多いのに対し、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする請求項1に記載の自閉症診断支援方法。
  3.  前記特定人物画像(I)は、顔の静止画像(ia)と、目のみを開閉する顔の動画像(iia)と、口のみを開閉する顔の動画像(iib)との3種からなることを特徴とする請求項2に記載の自閉症診断支援方法。
  4.  前記視線の移動頻度は、目のみを開閉する顔の動画像(iia)を表示しているときの目の周囲への視線の移動頻度が、定型発達者の視線の移動頻度に比べて、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする請求項3に記載の自閉症診断支援方法。
  5.  前記視線の移動頻度は、先ず口のみを開閉する顔の動画像(iib)を表示した後に、引き続き目のみを開閉する顔の動画像(iia)を表示したときの(iia)への視線の移動頻度が、顔の静止画像(ia)または口のみを開閉する顔の動画像(iib)を表示したときの定型発達者の視線の移動頻度に比べて、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする請求項3に記載の自閉症診断支援方法。
  6.  前記特定人物画像(I)は、被験者の知っている人物の画像を用いることを特徴とする請求項1~3のいずれかに記載の自閉症診断支援方法。
  7.  前記視線位置評価アルゴリズムは、前記特定非人物画像(II)が出現予測画像(α)、錯視認識画像(β)または相違点検索画像(γ)から選ばれる少なくとも一種類を含むことを特徴とする請求項2に記載の自閉症診断支援方法。
  8.  前記特定非人物画像(ii)の出現予測画像(α)は、移動体画像(α1)と任意で遮蔽体画像(α2)との組み合わせから構成される動画であり、先ず、移動体画像(α1)が表示部(a3)の画面上を移動するよう表示し、次に、該移動体画像(α1)を表示部(a3)の画面上の外側あるいは遮蔽体画像(α2)により非表示状態とした後、表示部(a3)の特定位置から移動体画像(α1)を再表示したときの視線の移動頻度において、定型発達者では視線の移動頻度が移動体画像(α1)が再表示される位置へと移動頻度が多いのに対し、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする請求項1に記載の自閉症診断支援方法。
  9.  前記再表示したときの視線の移動頻度は、1度目に再表示したときの移動頻度を評価の対象とせずに、移動体画像(α1)の規則的な動きを予見できる2度目の再表示からの移動頻度を評価の対象とすることを特徴とする請求項7に記載の自閉症診断支援方法。
  10.  前記特定非人物画像(II)の錯視認識画像(β)は、錯視を生ずる要素(β1)と錯視を生じない要素(β2)を含む絵柄から構成される画像であり、錯視を生ずる要素(β1)を表示したときの視線の移動頻度において、定型発達者では視線の移動頻度が錯視を生ずる要素(β1)と錯視を生じない要素(β2)を表示した位置間の移動頻度が多いのに対し、自閉症者では視線の移動頻度が少ない傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする請求項7に記載の自閉症診断支援方法。
  11.  前記特定非人物画像(II)の相違点検索画像(γ)は、外観が同一または類似する複数の同種絵柄(γ1)と同種絵柄と形状が異なる1乃至若干数からなる異種絵柄(γ2)との組み合わせからなる画像であり、表示部(a3)に同種絵柄(γ1)中に異種絵柄(γ2)を混在させるように表示したときの視線の移動頻度において、定型発達者では視線の移動頻度が同種絵柄(γ1)と異種絵柄(γ2)を表示した位置間の移動頻度が少ないのに対し、自閉症者では視線の移動頻度が多い傾向であるという定型発達者と自閉症者の視線動向の対比または相違に基づくことを特徴とする請求項7に記載の自閉症診断支援方法。
  12.  前記複合画像面を表示部(a3)の画面上に表示する前に、被験者の視線を予め所定の位置に誘導するための予備画像誘導画像(θ)を表示体上に表示させることを特徴とする請求項1に記載の自閉症診断支援方法。
  13.  前記定型発達者と自閉症者の視線の移動頻度の評価は、検出した被験者の視線位置情報から得られた移動頻度の多少が、表示部の画面上にそれぞれ画像を表示した時間から平均時間に基づき、頻度を検出することを特徴とする請求項2に記載の自閉症診断支援方法。
  14.  前記視線位置評価アルゴリズムは、過去の被験者の視線位置情報および該被験者に対する自閉症であるか否かの確定診断情報を記録したデータベースに基づいて、視線の移動頻度について閾値を設定することを特徴とする請求項2に記載の自閉症診断支援方法。
  15.  (a)被験者の眼球を撮像するカメラ部(a1)または被験者の頭部に装着し眼球の動きを検出する電極部(a2)と、被験者の視線先に設置される表示部(a3)とを少なくとも具備する視線検出ユニット(A)を用いて、表示部の画面上を見る被験者の視線位置情報を検出する視線検出手段と、
     (b)該被験者の視線位置情報を入力する手段と、
     (c)該被験者の視線位置情報を、特定人物画像(I)および特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像として表示部(a3)の画面上に表示したときの位置情報に基づき、該被験者の視線位置情報と、自閉症者及び/又は定型発達者の視線位置情報とを、比較する視線位置評価アルゴリズムにより、該被験者の視線位置を評価する視線評価手段と、
     (d)該被験者の視線位置の評価結果を表示する表示手段とを、
    具備することを特徴とする自閉症診断支援システム。
  16.  特定人物画像(I)および特定非人物画像(II)よりなる2以上の画像を連続表示する複合画像を用いて自閉症診断を支援する自閉症診断支援装置であって、
     (イ)視線検出手段を用いて、被験者の視線先に表示される該複合画像を見る被験者の視線位置情報を、検出する視線検出部と、
     (ロ)該視線検出部により検出された視線位置情報を記録する視線位置情報記録部と、
     (ハ)該視線位置情報記憶部に記録された被験者の視線位置情報を表示する視線位置情報表示部と、
     (ニ)該視線位置情報表示部に表示された被験者の視線位置情報を、自閉症者及び/又は定型発達者の視線位置情報と比較する視線位置評価アルゴリズムにより、自閉症者または定型発達者の視線位置情報との類比について評価する視線位置情報評価部と、
     (ホ)該視線位置情報評価部で得られた評価結果を出力する評価結果出力部と、
     (ヘ)該評価結果出力部が出力した評価結果または視線位置情報評価部が取得した評価結果を記録する評価結果記録部とを、
    具備することを特徴とする自閉症診断支援装置。
PCT/JP2013/056919 2012-03-21 2013-03-13 自閉症診断支援方法およびシステム並びに自閉症診断支援装置 WO2013141098A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380015493.XA CN104219992B (zh) 2012-03-21 2013-03-13 自闭症诊断辅助系统以及自闭症诊断辅助装置
US14/386,217 US20150050628A1 (en) 2012-03-21 2013-03-13 Autism diagnosis support method and system, and autism diagnosis support device
EP13763733.6A EP2829221B1 (en) 2012-03-21 2013-03-13 Asperger's diagnosis assistance device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-063237 2012-03-21
JP2012063237 2012-03-21
JP2013-030686 2013-02-20
JP2013030686A JP5926210B2 (ja) 2012-03-21 2013-02-20 自閉症診断支援システム及び自閉症診断支援装置

Publications (1)

Publication Number Publication Date
WO2013141098A1 true WO2013141098A1 (ja) 2013-09-26

Family

ID=49222558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/056919 WO2013141098A1 (ja) 2012-03-21 2013-03-13 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Country Status (5)

Country Link
US (1) US20150050628A1 (ja)
EP (1) EP2829221B1 (ja)
JP (1) JP5926210B2 (ja)
CN (1) CN104219992B (ja)
WO (1) WO2013141098A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160029938A1 (en) * 2014-07-31 2016-02-04 JVC Kenwood Corporation Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium
CN106163418A (zh) * 2014-03-25 2016-11-23 Jvc建伍株式会社 检测装置和检测方法
JP2016537067A (ja) * 2013-10-17 2016-12-01 チルドレンズ ヘルスケア オブ アトランタ, インコーポレイテッド 乳児及び子供の発達をアイ・トラッキングによって評価するための方法
JP2017099513A (ja) * 2015-11-30 2017-06-08 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP2018140007A (ja) * 2017-02-28 2018-09-13 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
CN109770921A (zh) * 2019-02-03 2019-05-21 清华大学 自闭症儿童早期语言与认知能力筛查的方法及装置
JP2020513253A (ja) * 2016-11-10 2020-05-14 ニューロトラック テクノロジーズ,インク. 認識能力の分析のために、画像取得デバイスを人間のユーザーに関連付けるための方法およびシステム
JP2020151359A (ja) * 2019-03-22 2020-09-24 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554102A (en) * 1983-09-26 1985-11-19 Shell Oil Company Cyanohydrination catalyst comprising non-crystalline or amorphous dipeptide
JPS6092888A (ja) * 1983-10-27 1985-05-24 Tokyo Electric Co Ltd 電子タイプライタ−
GB2511237A (en) * 2011-12-05 2014-08-27 Gautam Singh Computer implemented system and method for statistically assessing co-scholastic skills of user
JP5983131B2 (ja) * 2012-07-19 2016-08-31 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP5983135B2 (ja) * 2012-07-23 2016-08-31 株式会社Jvcケンウッド 診断支援装置および診断支援方法
WO2014051010A1 (ja) * 2012-09-28 2014-04-03 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP5974790B2 (ja) * 2012-09-28 2016-08-23 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP6217445B2 (ja) * 2013-03-07 2017-10-25 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP6142824B2 (ja) * 2013-07-30 2017-06-07 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP6142822B2 (ja) * 2013-07-29 2017-06-07 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP6217446B2 (ja) * 2013-06-28 2017-10-25 株式会社Jvcケンウッド 制御装置、診断支援装置、制御方法及び制御プログラム
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
WO2015080063A1 (ja) * 2013-11-27 2015-06-04 株式会社ニコン 電子機器
JP2015181797A (ja) * 2014-03-25 2015-10-22 株式会社Jvcケンウッド 検出装置および検出方法
JP6187347B2 (ja) * 2014-03-25 2017-08-30 株式会社Jvcケンウッド 検出装置および検出方法
JP6287486B2 (ja) * 2014-03-31 2018-03-07 富士通株式会社 情報処理装置、方法及びプログラム
EP3202331A4 (en) 2014-09-30 2018-04-18 National University Corporation Hamamatsu University School of Medicine Inattention measurement device, system, and method
FR3027206B1 (fr) * 2014-10-21 2021-06-04 Univ Paris Descartes Procede de test d'un nourrisson et dispositif adapte pour mettre en oeuvre le procede de test
JP2016131741A (ja) * 2015-01-20 2016-07-25 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
JP2016157326A (ja) * 2015-02-25 2016-09-01 株式会社Jvcケンウッド 視線検出装置および視線検出方法
JP6471533B2 (ja) * 2015-02-25 2019-02-20 株式会社Jvcケンウッド 視線検出装置および視線検出方法
JP2016163166A (ja) * 2015-03-02 2016-09-05 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
WO2016160014A1 (en) * 2015-04-01 2016-10-06 Pracar Alexis Monitoring, tracking, and managing symptoms of autism spectrum disorder
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Jvcケンウッド 視線検出装置及び視線検出方法
US11281893B2 (en) 2016-06-21 2022-03-22 Stefan Zechner Method and device for modifying the affective visual information in the field of vision of an user
JP2018116537A (ja) * 2017-01-19 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6895144B2 (ja) * 2017-04-05 2021-06-30 北海道公立大学法人 札幌医科大学 診断支援システム、診断支援システムの作動方法、及びプログラム
JP6737234B2 (ja) * 2017-05-22 2020-08-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
CN107833618B (zh) * 2017-11-06 2021-02-23 广州优涵信息技术有限公司 自闭症儿童及家庭信息管理系统
CN111343927B (zh) 2017-11-14 2023-10-13 国立大学法人大阪大学 认知功能障碍诊断装置以及认知功能障碍诊断程序记录介质
EP3714438B1 (en) * 2017-11-21 2023-08-16 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
CN108960101B (zh) * 2018-06-22 2022-06-14 张小勇 数据处理方法和系统
CN108922617B (zh) * 2018-06-26 2021-10-26 电子科技大学 一种基于神经网络的自闭症辅助诊断方法
KR102166010B1 (ko) 2018-07-09 2020-10-15 주식회사 두브레인 얼굴인식을 이용한 인지장애 판단 방법 및 시스템
JP7268307B2 (ja) * 2018-08-31 2023-05-08 株式会社Jvcケンウッド 評価装置、評価装置の作動方法、及び評価プログラム
CN109431523B (zh) * 2018-10-19 2022-08-30 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN109616179B (zh) * 2018-12-07 2022-06-21 山东大学 自闭症谱系障碍混合现实康复训练系统及方法
JP7057483B2 (ja) * 2018-12-14 2022-04-20 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6988787B2 (ja) * 2018-12-28 2022-01-05 株式会社Jvcケンウッド 表示装置、表示方法、およびプログラム
CN109846497A (zh) * 2019-01-21 2019-06-07 上海交通大学 一种基于视觉的自闭症辅助早筛方法及装置
JP6787601B2 (ja) * 2019-03-19 2020-11-18 Impute株式会社 自閉症治療支援システム、自閉症治療支援装置、及びプログラム
CN110999798B (zh) * 2019-12-12 2022-04-22 深圳先进技术研究院 一种整体知觉的行为检测装置及动物认知行为测试方法
CN113362961A (zh) * 2020-03-05 2021-09-07 北京力泰克科技有限公司 自闭症快速筛查系统
EP4129200A1 (en) 2020-03-27 2023-02-08 Osaka University Cognitive impairment diagnostic device and cognitive impairment diagnostic program
WO2022102721A1 (ja) * 2020-11-11 2022-05-19 Assest株式会社 うつ状態判別プログラム
EP4002199A1 (en) * 2020-11-20 2022-05-25 Xiaomi Technology (Wuhan) Co., Ltd. Method and device for behavior recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN112434595A (zh) 2020-11-20 2021-03-02 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN113974631A (zh) * 2021-12-03 2022-01-28 中国科学院心理研究所 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3453911B2 (ja) 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
JP2006340986A (ja) 2005-06-10 2006-12-21 Ntt Docomo Inc 顔面情報検出装置および顔面情報検出式通信装置
JP4181037B2 (ja) 2001-08-15 2008-11-12 キネテイツク・リミテツド 視標追跡システム
WO2009142008A1 (ja) 2008-05-20 2009-11-26 パナソニック株式会社 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路
JP4452836B2 (ja) 2006-07-31 2010-04-21 国立大学法人静岡大学 瞳孔を検出する方法及び装置
JP4452835B2 (ja) 2006-07-31 2010-04-21 国立大学法人静岡大学 瞳孔を検出する方法及び装置
JP4491604B2 (ja) 2004-12-17 2010-06-30 国立大学法人静岡大学 瞳孔検出装置
JP4517049B2 (ja) 2003-12-25 2010-08-04 国立大学法人静岡大学 視線検出方法および視線検出装置
JP4528980B2 (ja) 2005-08-23 2010-08-25 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
JP2011120887A (ja) 2009-11-12 2011-06-23 Panasonic Corp 眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、眼電位計測方法、及びプログラム
JP4783018B2 (ja) 2002-11-21 2011-09-28 トビイ・テクノロジー・エイビイ 眼及びその凝視方向を検知し、追跡する方法と装置
JP2011192387A (ja) 2010-03-11 2011-09-29 Sumitomo Wiring Syst Ltd 雌端子および充電用コネクタ
JP2011206542A (ja) 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
JP2013052116A (ja) * 2011-09-05 2013-03-21 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
US7384399B2 (en) * 2004-02-11 2008-06-10 Jamshid Ghajar Cognition and motor timing diagnosis and training system and method
US20050273017A1 (en) * 2004-03-26 2005-12-08 Evian Gordon Collective brain measurement system and method
US8403480B2 (en) * 2006-01-24 2013-03-26 University Of Tennessee Research Foundation Adaptive photoscreening system
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
WO2008097933A1 (en) * 2007-02-04 2008-08-14 Miralex Systems Incorporated Systems and methods for gaze tracking using multiple images
US8714982B2 (en) * 2007-10-15 2014-05-06 Casey Wimsatt System and method for teaching social skills, social thinking, and social awareness
US8808195B2 (en) * 2009-01-15 2014-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
US20110065072A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of word recognition sensitivity
US20110065078A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of social interactions nulling testing
US20110065071A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of word identification latency
US8454165B2 (en) * 2009-09-16 2013-06-04 Cerebral Assessment Systems, Inc. Method and system for quantitative assessment of visual contrast sensitivity
US20110065077A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of spatial sequence memory
US8777630B2 (en) * 2009-09-16 2014-07-15 Cerebral Assessment Systems, Inc. Method and system for quantitative assessment of facial emotion sensitivity
US20110066069A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of visual form discrimination
US20110066068A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of functional impairment
US20110066003A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of facial emotion nulling
US20110065076A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of social cues sensitivity
US20110065070A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of letter identification latency
US8562541B2 (en) * 2009-09-16 2013-10-22 Cerebral Assessment Systems, Inc. Method and system for quantitative assessment of visual motion discrimination
US20110065069A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of verbal recognition memory
US20110066082A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of visual motor response
US8475391B2 (en) * 2009-09-16 2013-07-02 Cerebral Assessment Systems Method and system for quantitative assessment of spatial distractor tasks
US8882510B2 (en) * 2009-09-16 2014-11-11 Cerebral Assessment Systems, Inc. Method and system for quantitative assessment of verbal memory
US20110065073A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of word detection latency
US20110262887A1 (en) * 2010-04-21 2011-10-27 Lc Technologies Inc. Systems and methods for gaze based attention training
US8678592B2 (en) * 2011-03-09 2014-03-25 The Johns Hopkins University Method and apparatus for detecting fixation of at least one eye of a subject on a target
CN102354349B (zh) * 2011-10-26 2013-10-02 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
JP5817582B2 (ja) * 2012-02-22 2015-11-18 株式会社Jvcケンウッド 脳機能疾患診断支援装置および脳機能疾患診断支援方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3453911B2 (ja) 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
JP4181037B2 (ja) 2001-08-15 2008-11-12 キネテイツク・リミテツド 視標追跡システム
JP4783018B2 (ja) 2002-11-21 2011-09-28 トビイ・テクノロジー・エイビイ 眼及びその凝視方向を検知し、追跡する方法と装置
JP4517049B2 (ja) 2003-12-25 2010-08-04 国立大学法人静岡大学 視線検出方法および視線検出装置
JP4491604B2 (ja) 2004-12-17 2010-06-30 国立大学法人静岡大学 瞳孔検出装置
JP2006340986A (ja) 2005-06-10 2006-12-21 Ntt Docomo Inc 顔面情報検出装置および顔面情報検出式通信装置
JP4528980B2 (ja) 2005-08-23 2010-08-25 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
JP4452836B2 (ja) 2006-07-31 2010-04-21 国立大学法人静岡大学 瞳孔を検出する方法及び装置
JP4452835B2 (ja) 2006-07-31 2010-04-21 国立大学法人静岡大学 瞳孔を検出する方法及び装置
WO2009142008A1 (ja) 2008-05-20 2009-11-26 パナソニック株式会社 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路
JP2011120887A (ja) 2009-11-12 2011-06-23 Panasonic Corp 眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、眼電位計測方法、及びプログラム
JP2011192387A (ja) 2010-03-11 2011-09-29 Sumitomo Wiring Syst Ltd 雌端子および充電用コネクタ
JP2011206542A (ja) 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
JP2013052116A (ja) * 2011-09-05 2013-03-21 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"device for detection of points of regard with easy calibration by a stereo camera, which allows head movement", COLLECTION OF PAPERS FOR INFORMATION SCIENCE AND TECHNOLOGY FORUM, vol. 9, no. 3, 20 August 2010 (2010-08-20), pages 589 - 591
"Wikipedia, The Free Encyclopedia"
KEISUKE MATSUMURA ET AL.: "Precise and Real- time Pupil Position Estimation in Color Camera Face Images Based on Near-infrared Pupil Detection Method", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 65, no. 12, 2011, pages 1783 - 1787, XP055160955 *
See also references of EP2829221A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016537067A (ja) * 2013-10-17 2016-12-01 チルドレンズ ヘルスケア オブ アトランタ, インコーポレイテッド 乳児及び子供の発達をアイ・トラッキングによって評価するための方法
CN106163418A (zh) * 2014-03-25 2016-11-23 Jvc建伍株式会社 检测装置和检测方法
US20160029938A1 (en) * 2014-07-31 2016-02-04 JVC Kenwood Corporation Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium
JP2017099513A (ja) * 2015-11-30 2017-06-08 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP2020513253A (ja) * 2016-11-10 2020-05-14 ニューロトラック テクノロジーズ,インク. 認識能力の分析のために、画像取得デバイスを人間のユーザーに関連付けるための方法およびシステム
JP2018140007A (ja) * 2017-02-28 2018-09-13 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
CN109770921A (zh) * 2019-02-03 2019-05-21 清华大学 自闭症儿童早期语言与认知能力筛查的方法及装置
CN109770921B (zh) * 2019-02-03 2020-12-08 清华大学 自闭症儿童早期语言与认知能力筛查的方法及装置
JP2020151359A (ja) * 2019-03-22 2020-09-24 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
WO2020194849A1 (ja) * 2019-03-22 2020-10-01 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7092082B2 (ja) 2019-03-22 2022-06-28 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Also Published As

Publication number Publication date
JP2013223713A (ja) 2013-10-31
EP2829221A1 (en) 2015-01-28
EP2829221B1 (en) 2020-06-24
CN104219992B (zh) 2017-03-29
CN104219992A (zh) 2014-12-17
JP5926210B2 (ja) 2016-05-25
EP2829221A4 (en) 2015-11-25
US20150050628A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
JP5926210B2 (ja) 自閉症診断支援システム及び自閉症診断支援装置
US20230056506A1 (en) Systems and methods for assessing and improving sustained attention
JP5912351B2 (ja) 自閉症診断支援システム及び自閉症診断支援装置
CN109215804B (zh) 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统
Alghowinem et al. Eye movement analysis for depression detection
Kätsyri et al. Impaired recognition of facial emotions from low-spatial frequencies in Asperger syndrome
US20150282705A1 (en) Method and System of Using Eye Tracking to Evaluate Subjects
KR20190005219A (ko) 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
Marandi et al. Aging and eye tracking: in the quest for objective biomarkers
WO2004091371A9 (en) Determining a psychological state of a subject
JP2009508553A (ja) 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
WO2013102768A1 (en) An apparatus and a method for psychiatric evaluation
Kuwahara et al. Eye fatigue estimation using blink detection based on Eye Aspect Ratio Mapping (EARM)
Daros et al. Identifying mental disorder from the faces of women with borderline personality disorder
Boucart et al. Recognition of facial emotion in low vision: a flexible usage of facial features
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
CN211862821U (zh) 一种基于深度学习的孤独症辅助评估系统
Zhou et al. Gaze Patterns in Children With Autism Spectrum Disorder to Emotional Faces: Scanpath and Similarity
Lian et al. The effect of background elements of pictures on the visual attention among ASD children with intellectual disabilities, children with intellectual disabilities and typical development: Evidence from eye-tracking and fMRI
Florea et al. Computer vision for cognition: An eye focused perspective
Sato et al. A guide for the use of fNIRS in microcephaly associated to congenital Zika virus infection
Florea et al. Computer Vision for Cognition
DO HYONG The Study of Visual Attention: From Raw Data to an Interdisciplinary Environment
KR102155777B1 (ko) 인체 미동 기반 상호작용에 따른 경쟁과 협력 평가 방법
Mei et al. Quantitative assessment of perceived visibility enhancement with image processing for single face images: a preliminary study

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13763733

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013763733

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14386217

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE