JP2023508339A - 欺まん検出のための眼球システム - Google Patents
欺まん検出のための眼球システム Download PDFInfo
- Publication number
- JP2023508339A JP2023508339A JP2022538381A JP2022538381A JP2023508339A JP 2023508339 A JP2023508339 A JP 2023508339A JP 2022538381 A JP2022538381 A JP 2022538381A JP 2022538381 A JP2022538381 A JP 2022538381A JP 2023508339 A JP2023508339 A JP 2023508339A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- eye
- iris
- pupil
- blink
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 95
- 210000003205 muscle Anatomy 0.000 claims abstract description 68
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000004044 response Effects 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000001429 visible spectrum Methods 0.000 claims abstract description 8
- 238000012502 risk assessment Methods 0.000 claims abstract description 5
- 210000001508 eye Anatomy 0.000 claims description 137
- 210000001747 pupil Anatomy 0.000 claims description 111
- 230000008859 change Effects 0.000 claims description 73
- 230000001149 cognitive effect Effects 0.000 claims description 72
- 230000004434 saccadic eye movement Effects 0.000 claims description 60
- 230000011218 segmentation Effects 0.000 claims description 47
- 230000001179 pupillary effect Effects 0.000 claims description 33
- 210000005070 sphincter Anatomy 0.000 claims description 32
- 230000004424 eye movement Effects 0.000 claims description 30
- 230000006998 cognitive state Effects 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 23
- 230000002996 emotional effect Effects 0.000 claims description 18
- 230000007787 long-term memory Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 18
- 230000006403 short-term memory Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 208000004350 Strabismus Diseases 0.000 claims description 15
- 230000008602 contraction Effects 0.000 claims description 15
- 230000003205 diastolic effect Effects 0.000 claims description 15
- 210000001087 myotubule Anatomy 0.000 claims description 15
- 210000003786 sclera Anatomy 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims description 15
- 230000037007 arousal Effects 0.000 claims description 13
- 206010010904 Convulsion Diseases 0.000 claims description 11
- 230000036461 convulsion Effects 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 210000000653 nervous system Anatomy 0.000 claims description 7
- 230000011514 reflex Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 230000006735 deficit Effects 0.000 claims description 6
- 230000004446 light reflex Effects 0.000 claims description 6
- 206010029864 nystagmus Diseases 0.000 claims description 6
- 208000019901 Anxiety disease Diseases 0.000 claims description 5
- 230000036506 anxiety Effects 0.000 claims description 5
- 230000019771 cognition Effects 0.000 claims description 5
- 230000010339 dilation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000003340 mental effect Effects 0.000 claims description 4
- 230000024188 startle response Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 claims description 2
- 230000036651 mood Effects 0.000 claims 13
- 230000003542 behavioural effect Effects 0.000 claims 2
- 238000011156 evaluation Methods 0.000 claims 1
- 210000000554 iris Anatomy 0.000 description 115
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 208000005392 Spasm Diseases 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 210000005153 frontal cortex Anatomy 0.000 description 4
- 230000037191 muscle physiology Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004439 pupillary reactions Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 210000001320 hippocampus Anatomy 0.000 description 2
- 208000013403 hyperactivity Diseases 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000004384 eye physiology Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000000971 hippocampal effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0091—Fixation targets for viewing direction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/161—Flicker fusion testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/164—Lie detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4863—Measuring or inducing nystagmus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Marketing (AREA)
Abstract
欺まん検出、動作リスクの評定、または学習の最適化の方法は、被検者の眼の接写ビューを記録するように構成されたビデオカメラを設けることによる被検者の眼球情報に基づく。眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別する。眼球信号の変化は、機械学習アルゴリズムによって畳込みニューラルネットワークから評価される。次に、結果を、欺まんのレベル、動作リスクのレベル、または学習を最適化する最適の方式に関して提示することができる。方法は、虹彩筋肉組織における予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な、支質において識別される少なくとも1つの予測歪みを識別することによって促進される。
Description
関連出願の相互参照
[Para 1]この国際出願は、2020年12月18日に出願された米国非仮実用特許出願第17/247,634号、2020年12月18日に出願された米国非仮実用特許出願第17/247,635号、2020年12月18日に出願された米国非仮実用特許出願第17/247,636号、および2020年12月18日に出願された米国非仮実用特許出願第17/247,637号の優先権を主張するものである。これらの非仮実用特許出願は全て、2019年12月19日に出願された米国仮出願第62/950,918号の優先権を主張し、その内容全体が引用により本明細書に完全に組み入れられる。
[Para 1]この国際出願は、2020年12月18日に出願された米国非仮実用特許出願第17/247,634号、2020年12月18日に出願された米国非仮実用特許出願第17/247,635号、2020年12月18日に出願された米国非仮実用特許出願第17/247,636号、および2020年12月18日に出願された米国非仮実用特許出願第17/247,637号の優先権を主張するものである。これらの非仮実用特許出願は全て、2019年12月19日に出願された米国仮出願第62/950,918号の優先権を主張し、その内容全体が引用により本明細書に完全に組み入れられる。
[Para 2]本発明は、一般には、眼球システムに関する。より詳細には、本発明は、虹彩筋の徹照により支質(stroma)変形を推測することで可能にすることができる、欺まん(deception)検出、動作リスクの評定、および学習の最適化を行うことができる眼球システムに関する。
[Para 3]本出願の発明者らは、米国仮特許出願第62/239,840号、2020年3月3日に発行された米国特許第10,575,728号、2020年2月5日に出願された米国特許出願第16/783,128号、現米国特許出願公開第2020/0170560号によって開示されている眼球システムにおける多くの経験を有し、これらの特許文献は、その内容全体が引用により本明細書に完全に組み入れられる。
[Para 4]したがって、改善された眼球システムが必要とされている。本発明は、これらの需要を満たし、他の関連する利点を提供する。
[Para 5]欺まん検出のための眼球システム
[Para 6]本発明の例示的な実施形態は、被検者の眼球情報に基づいた欺まん検出方法であり、この方法は、検査中に被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、スタンドオフデバイスは被検者と物理的に接触せず、スタンドオフデバイスは、被検者の少なくとも一方の眼の接写ビュー(close-up view)を記録するように構成された少なくとも1つのビデオカメラを有し、スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、認知負荷は、被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、覚醒状態は、被検者の神経系の活性化に基づく、ステップと、少なくとも1つのビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、被検者に質問する前に、被検者の少なくとも一方の眼の眼球情報の基準状態を確立するステップと、被検者に質問を行い、被検者が質問に回答することを許可するステップと、質問を行い、被検者が質問に回答する時間を含めた後、眼球情報を処理して、被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、眼球信号の変化のみに基づいて認知状態モデルおよび感情状態モデルを評価し、被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、真実または欺まんのバイナリ出力を判断するステップと、バイナリ出力を管理者に表示するステップとを含む。
[Para 6]本発明の例示的な実施形態は、被検者の眼球情報に基づいた欺まん検出方法であり、この方法は、検査中に被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、スタンドオフデバイスは被検者と物理的に接触せず、スタンドオフデバイスは、被検者の少なくとも一方の眼の接写ビュー(close-up view)を記録するように構成された少なくとも1つのビデオカメラを有し、スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、認知負荷は、被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、覚醒状態は、被検者の神経系の活性化に基づく、ステップと、少なくとも1つのビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、被検者に質問する前に、被検者の少なくとも一方の眼の眼球情報の基準状態を確立するステップと、被検者に質問を行い、被検者が質問に回答することを許可するステップと、質問を行い、被検者が質問に回答する時間を含めた後、眼球情報を処理して、被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、眼球信号の変化のみに基づいて認知状態モデルおよび感情状態モデルを評価し、被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、真実または欺まんのバイナリ出力を判断するステップと、バイナリ出力を管理者に表示するステップとを含む。
[Para 7]他の例示的な実施形態では、眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード(saccade)率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視(fixation)持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目(blink)率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜(sclera)セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 8]他の例示的な実施形態では、被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップは、被検者の回答中の期間にわたって取得された複数の推定値を含み、複数の推定値は、重み付けされ、組み合わされて、バイナリ出力が生成される。
[Para 9]他の例示的な実施形態では、少なくとも1つのビデオカメラは、少なくとも毎秒100フレーム、毎秒50フレーム、または毎秒30フレームのレートでフレームを捕捉することができる。
[Para 10]他の例示的な実施形態では、スタンドオフデバイスは、被検者の顔の全体を記録するように構成された第2のビデオカメラを含むことができる。
[Para 11]他の例示的な実施形態では、コンピューティングデバイスは、スタンドオフデバイスから遠隔に配設されたクラウドベースのコンピューティングデバイスとすることができる。
[Para 11]他の例示的な実施形態では、コンピューティングデバイスは、スタンドオフデバイスから遠隔に配設されたクラウドベースのコンピューティングデバイスとすることができる。
[Para 12]他の例示的な実施形態では、コンピューティングデバイスは、スタンドオフデバイスの一部であってもよく、またはスタンドオフデバイスと別個であってもよい。
[Para 13]他の例示的な実施形態では、被検者に質問を行い、被検者が質問に回答することを許可した後、更なる質問を被検者に行う前に、或る期間待機し、被検者の少なくとも一方の眼の眼球情報の基準状態を再確立することができる。
[Para 13]他の例示的な実施形態では、被検者に質問を行い、被検者が質問に回答することを許可した後、更なる質問を被検者に行う前に、或る期間待機し、被検者の少なくとも一方の眼の眼球情報の基準状態を再確立することができる。
[Para 14]他の例示的な実施形態では、被検者による発言全体を、質問に対する回答として評価することができる。
[Para 15]他の例示的な実施形態では、各バイナリ出力と、少なくとも1つのビデオカメラにより記録された各対応するビデオとを保存するステップは、コンピューティングデバイスによって行うことができる。
[Para 15]他の例示的な実施形態では、各バイナリ出力と、少なくとも1つのビデオカメラにより記録された各対応するビデオとを保存するステップは、コンピューティングデバイスによって行うことができる。
[Para 16]動作リスクを評定するための眼球システム
[Para 17]本発明の例示的な実施形態は、被検者の眼球情報に基づいた動作リスクの評定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、複数の画像を被検者に表示するように構成された電子表示画面を設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、電子ディスプレイにより、少なくとも一方の眼球運動タスクを表示するステップと、少なくとも一方の眼球運動タスク中に、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって眼球信号の変化に対応する少なくとも一方の眼球運動タスクと組み合わされた畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の職務適性結果を判断するステップであって、職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、被検者および/または監督者に、被検者の職務適性結果を表示するステップとを含む。
[Para 17]本発明の例示的な実施形態は、被検者の眼球情報に基づいた動作リスクの評定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、複数の画像を被検者に表示するように構成された電子表示画面を設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、電子ディスプレイにより、少なくとも一方の眼球運動タスクを表示するステップと、少なくとも一方の眼球運動タスク中に、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって眼球信号の変化に対応する少なくとも一方の眼球運動タスクと組み合わされた畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の職務適性結果を判断するステップであって、職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、被検者および/または監督者に、被検者の職務適性結果を表示するステップとを含む。
[Para 18]他の例示的な実施形態では、眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 19]他の例示的な実施形態では、少なくとも1つの眼球運動タスクは、以下のもの、瞳孔対光反射、視覚性運動反射、水平注視眼振、円滑追跡、視線較正または驚愕反応のうちの任意のものを含むことができる。
[Para 20]他の例示的な実施形態では、電子表示画面は、スマートフォン、タブレット、ラップトップ画面、デスクトップ画面または電子画面のものとすることができる。
[Para 21]他の例示的な実施形態では、ビデオカメラ、電子表示画面およびコンピューティングデバイスは、全てスマートフォンまたはタブレットとして含めることができる。
[Para 21]他の例示的な実施形態では、ビデオカメラ、電子表示画面およびコンピューティングデバイスは、全てスマートフォンまたはタブレットとして含めることができる。
[Para 22]本発明の例示的な実施形態は、被検者の眼球情報に基づいた動作リスクの評定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを受動的に記録するように構成されたビデオカメラを設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の職務適性結果を判断するステップであって、職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、被検者および/または監督者に、被検者の職務適性結果を表示するステップとを含む。
[Para 23]他の例示的な実施形態では、眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 24]他の例示的な実施形態では、職務適性結果は被検者の酩酊度に関することができる。
[Para 25]他の例示的な実施形態では、職務適性結果は被検者の機能障害度に関することができる。
[Para 25]他の例示的な実施形態では、職務適性結果は被検者の機能障害度に関することができる。
[Para 26]他の例示的な実施形態では、職務適性結果は被検者の疲労度に関することができる。
[Para 27]他の例示的な実施形態では、職務適性結果は被検者の不安度および/またはストレス度に関することができる。
[Para 27]他の例示的な実施形態では、職務適性結果は被検者の不安度および/またはストレス度に関することができる。
[Para 28]学習を最適化するための眼球システム
[Para 29]本発明の例示的な実施形態は、被検者の眼球情報に基づいた学習の最適化方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、複数の教育主題を被検者に表示するように構成された第1の電子ディスプレイを設けるステップと、出力をインストラクターに表示するように構成された第2の電子ディスプレイを設けるステップと、ビデオカメラ、第1の電子ディスプレイおよび第2の電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、複数の教育主題を学習している間、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、最適化アルゴリズムの使用を通じて被検者の眼球信号の変化を識別するステップと、被検者が受ける低度から高度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、認知負荷は、被検者が心的資源を利用する程度を測定する、ステップと、コンピューティングデバイスにより、眼球信号の変化に基づいて認知状態モデルを評価し、被検者が受ける低度から高度の認知負荷の確率を判断するステップと、第2の電子ディスプレイにより、被検者が受ける低度から高度の認知負荷の確率をインストラクターに表示するステップとを含む。
[Para 29]本発明の例示的な実施形態は、被検者の眼球情報に基づいた学習の最適化方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、複数の教育主題を被検者に表示するように構成された第1の電子ディスプレイを設けるステップと、出力をインストラクターに表示するように構成された第2の電子ディスプレイを設けるステップと、ビデオカメラ、第1の電子ディスプレイおよび第2の電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、複数の教育主題を学習している間、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、最適化アルゴリズムの使用を通じて被検者の眼球信号の変化を識別するステップと、被検者が受ける低度から高度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、認知負荷は、被検者が心的資源を利用する程度を測定する、ステップと、コンピューティングデバイスにより、眼球信号の変化に基づいて認知状態モデルを評価し、被検者が受ける低度から高度の認知負荷の確率を判断するステップと、第2の電子ディスプレイにより、被検者が受ける低度から高度の認知負荷の確率をインストラクターに表示するステップとを含む。
[Para 30]他の例示的な実施形態では、この方法は、コンピューティングデバイスにより、被検者の少なくとも一方の眼との関連で第1の電子ディスプレイの位置を確立するステップと、眼球信号の変化から、複数の教育主題との関連で被検者の視線位置を判断するステップと、複数の教育主題の被検者の視線位置および眼球信号の変化を被検者の認知負荷とリンク付けするステップと、第2の電子ディスプレイによりインストラクターに対し、複数の教育主題との関連で被検者の認知負荷を表示するステップとを含むことができる。
[Para 31]他の例示的な実施形態では、この方法は、電力スペクトル密度周波数変換を利用することによって、認知負荷の変化から結果として生じる被検者の瞳孔拡張を、周辺輝度の変化から分離するステップを含むことができる。
[Para 32]他の例示的な実施形態では、この方法は、代表母集団または被検者の事前データに基づいて被検者の学習スケールを有する最適学習スケールモデルを提供するステップであって、学習スケールは、刺激不足から過剰の範囲をとる、ステップと、コンピューティングデバイスにより、眼球信号の変化を評価して、学習スケールに沿った被検者の位置を判断するステップと、第2のディスプレイによりインストラクターに対し、学習スケールに沿った被検者の位置を表示するステップとを含むことができる。
[Para 33]他の例示的な実施形態では、この方法は、短期および/または長期記憶の強度を判断するように構成された記憶形成モデルを提供するステップと、コンピューティングデバイスにより、眼球信号の変化を評価して、複数の教育主題との関連で被検者の短期および/または長期記憶の強度を判断するステップと、第2のディスプレイによりインストラクターに対し、複数の教育主題との関連で被検者の短期および/または長期記憶の強度を表示するステップとを含むことができる。
[Para 34]他の例示的な実施形態では、眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 35]他の例示的な実施形態では、複数の教育主題を学習している間、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップは、複数の教育主題を学習している間、カメラにより、被検者の表情および/または姿勢を記録することも含むことができる。
[Para 36]本発明の例示的な実施形態は、被検者の眼球情報に基づいた認知負荷の測定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の認知負荷を判断するステップと、被検者および/または監督者に、被検者の認知負荷を表示するステップとを含む。
[Para 37]他の例示的な実施形態では、眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 38]支質変形を推測するための虹彩筋の徹照
[Para 39]本発明の例示的な実施形態は、虹彩生理学と、被検者の認知状態および/または感情状態との間の関係の発見方法であり、この方法は、コンピューティングデバイスを設けるステップと、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、被検者の下瞼の皮膚に保持されるように構成された第1のライトを設け、光が少なくとも一方の眼の中から光ることを可能にするステップと、被検者から離れた距離に位置し、被検者と接触しないように構成され、被検者の少なくとも一方の眼の支質を照明するように構成された第2のライトを設けるステップであって、第1のライトおよび第2のライトは共に電子的に同期され、交互に点滅するように構成される、ステップと、ユーザに複数のタスクに従事させるステップであって、複数のタスクのうちの各タスクは、認知または感情を喚起するように構成される、ステップと、ビデオカメラにより、複数のタスクによって生じた被検者の認知状態および/または感情状態に起因した虹彩筋肉組織における反応および支質における対応する歪みを含む眼球情報を記録するステップと、コンピューティングデバイスにより、最適化アルゴリズムの使用を通じて、眼球情報を処理し、虹彩筋肉組織における反応と、支質における歪みとの間の相関を識別するステップと、コンピューティングデバイスにより、被検者が複数のタスクによって生じた認知状態および/または感情状態にあったときに、虹彩筋肉組織の予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な支質における少なくとも1つの予測歪みを識別するステップとを含む。
[Para 39]本発明の例示的な実施形態は、虹彩生理学と、被検者の認知状態および/または感情状態との間の関係の発見方法であり、この方法は、コンピューティングデバイスを設けるステップと、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、被検者の下瞼の皮膚に保持されるように構成された第1のライトを設け、光が少なくとも一方の眼の中から光ることを可能にするステップと、被検者から離れた距離に位置し、被検者と接触しないように構成され、被検者の少なくとも一方の眼の支質を照明するように構成された第2のライトを設けるステップであって、第1のライトおよび第2のライトは共に電子的に同期され、交互に点滅するように構成される、ステップと、ユーザに複数のタスクに従事させるステップであって、複数のタスクのうちの各タスクは、認知または感情を喚起するように構成される、ステップと、ビデオカメラにより、複数のタスクによって生じた被検者の認知状態および/または感情状態に起因した虹彩筋肉組織における反応および支質における対応する歪みを含む眼球情報を記録するステップと、コンピューティングデバイスにより、最適化アルゴリズムの使用を通じて、眼球情報を処理し、虹彩筋肉組織における反応と、支質における歪みとの間の相関を識別するステップと、コンピューティングデバイスにより、被検者が複数のタスクによって生じた認知状態および/または感情状態にあったときに、虹彩筋肉組織の予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な支質における少なくとも1つの予測歪みを識別するステップとを含む。
[Para 40]他の例示的な実施形態では、第1のライトは(150mw)NIR LEDを含むことができる。第2のライトは(150mw)NIR LEDを含むことができる。
[Para 41]他の例示的な実施形態では、第1のライトおよび第2のライトは、交互に(160Hzで)点滅するように構成することができ、結果としての(80Hzの)効果が生じる。
[Para 42]別の例示的な実施形態では、この方法は、可視光画像から近赤外線画像を生成する方法を更に含むことができ、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成された可視スペクトルビデオカメラを設けるステップと、可視スペクトルビデオカメラにより、被検者の認知状態および/または感情状態に起因した支質における歪みを含む眼球情報を記録するステップと、コンピューティングデバイスにより、可視スペクトルビデオカメラからの眼球情報を用いて、敵対的生成ネットワークを通じて被検者の少なくとも一方の眼の赤外線画像を予測するステップとを含み、予測は、コンピューティングデバイスにより、赤外線画像を作成するために、支質における少なくとも1つの予測歪みを利用する。
[Para 43]本発明の他の特徴および利点は、本発明の原理を例として示す添付の図面と併せて解釈したときに以下のより詳細な説明から明らかになる。
[Para 44]添付の図面は本発明を例示する。
[Para 44]添付の図面は本発明を例示する。
[Para 62]本明細書において、本出願における「Senseye」への言及は、本発明者らの会社(すなわち、出願人)を指すことに留意されたい。
[Para 63]欺まん検出のための眼球システム:
[Para 64]Senseye欺まん検出器は、眼球信号を用いて、構造化された質問、能動的な尋問、および人間の受動的観察を含む多岐にわたる設定において欺まんを検出するように設計されたスタンドオフ(standoff)デバイスである。このデバイスは眼球信号を記録し、人物の発言を真実または欺まんとして分類する。このデバイスはバイナリ分類を提供する。各質問の分類は、応答または発言時に取得された眼球情報のみに基づき、したがって、システム設計は、重複した質問または特定の質問構造を必要とすることなく、各質問の個々の分類を可能にする。これは、質問の話題の複数の事例に依拠して結論に達するか、または質問の結果を互いに比較することに依拠する、多くの欺まん検出システムおよび技法に対する進歩である。欺まんの閾値は、使用事例に基づいて設定することができる(例えば、よりハイステークスの状況の場合、より厳密なパラメータ)。
[Para 63]欺まん検出のための眼球システム:
[Para 64]Senseye欺まん検出器は、眼球信号を用いて、構造化された質問、能動的な尋問、および人間の受動的観察を含む多岐にわたる設定において欺まんを検出するように設計されたスタンドオフ(standoff)デバイスである。このデバイスは眼球信号を記録し、人物の発言を真実または欺まんとして分類する。このデバイスはバイナリ分類を提供する。各質問の分類は、応答または発言時に取得された眼球情報のみに基づき、したがって、システム設計は、重複した質問または特定の質問構造を必要とすることなく、各質問の個々の分類を可能にする。これは、質問の話題の複数の事例に依拠して結論に達するか、または質問の結果を互いに比較することに依拠する、多くの欺まん検出システムおよび技法に対する進歩である。欺まんの閾値は、使用事例に基づいて設定することができる(例えば、よりハイステークスの状況の場合、より厳密なパラメータ)。
[Para 65]欺まん検出器は、認知および感情状態のモデルの組み合わせを用いて、最終欺まんモデルおよび分類に投入する。したがって、システムは、構成要素モデルの結果のバイナリ分類を出力することが可能である。このシステムは、人物が自身の応答を策定するために心的資源を利用する程度を測定する、高認知負荷または低認知負荷の分類を出力する。このシステムは、被検者の神経系の活性化に基づいて、高覚醒または低覚醒の分類を出力する。これらの尺度の双方が、欺まんの分類のコンテキストを提供することが意図される。
[Para 66]当業者であれば、Senseye欺まん検出器は、スタンドオフデバイスとならないように再構成することができ、代わりに、少なくとも部分的に、ユーザが装着または保持するヘッドギア、帽子、眼鏡等に存在することができることも理解されたい。この方式で被検者を監視および観察することはより煩わしいものであるが、依然として、本明細書において教示される残りの方法および戦略を用いる。
[Para 67]欺まん検出器は、眼球信号に依拠して分類を行う。これらの眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 68]信号は、眼から微妙な情報を抽出するように設計されたマルチステッププロセスを用いて取得される。図1に示すように、ビデオデータからの画像フレームは、関心対象の構造を分離し定量化するように設計された一連の最適化アルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化された、手作業でパラメータ化された、およびノンパラメトリックの、変換およびアルゴリズムの混合を用いて更に処理される。これらの信号および認知負荷および覚醒コンテキスト情報の時系列の特徴を活用して、これらの方法のうちのいくつかは、入力データが欺まん状態を表す確率を特に推定する。複数の推定値が組み合わされ、重み付けされて、応答または発言中に真実または欺まんとして生じる眼球信号に基づいて、そのような応答または発言を分類するモデルを生成する。
[Para 69]本発明によるコンピュータビジョンセグメンテーションの結果として生じる眼球メトリックを処理し、ワールド内で生じる時間にリンクしたイベント中にこれらの出力を分析することによって、この製品は機能する。欺まん検出器の1つのバージョンは、特定のSenseyeハードウェア設計において機能する。デバイスのこの実施形態(図2Aを参照)は、参加者から離して眼のレベルに載置されるように設計された開口を有するボックスを有する。参加者に対面するウェブカメラ等のビデオカメラは、参加者の頭部を捕捉し、顔のキーポイントを用いて眼をパースする。眼の位置が特定されると、高分解能のカメラが、左眼(または右眼)の接写ビューを得るように自動的に調整する。図2Aの実施形態に示すように、ミラー2A.1、USBウェブカメラ2A.2、Canon70-300USM AFレンズ2A.3、Cマウント-CanonEFアダプタ2A.4、Emergent HR-12000-S-M 2A.5および10GigE SFP+ 2A.6が存在する。
[Para 70]カメラは、超高忠実度の虹彩セグメンテーションを可能にする。高い接続速度により、毎秒100フレームを上回る更新速度が可能になり、眼の生理学において最も僅かで最速の変化でさえ検出可能となる。しかしながら、毎秒50フレームまたは30フレームのフレームレート等のより低速なフレームレートが用いられてもよい。アダプタマウントは、1メートル超離れた場所から眼をフレームに埋めることができる焦点距離を可能にする。加えて、アダプタは、Senseyeシステムがソフトウェアにより焦点リングおよびアパーチャを制御することを可能にする。ビデオデータは、未加工フォーマットで記憶され、処理された表形式データがローカルデータベースに記憶される。
[Para 71]ユーザ、被検者およびシステムの配置および距離を示す1つの可能な使用事例は、図2Bにも示される。カメラは、ユーザに対し垂直に配置され、45度の角度ミラーを用いて眼を捕捉する。ユーザは、セッション単位でレンズをオートフォーカスするように選択することができる。システムは、手動フォーカスの必要性を回避し、ヒューマンエラーの発生点をなくす。図2Bの実施形態に示すように、被検者2B.1は、固視点2B.3から91.44cm(36インチ)の距離2B.2にある。カメラ2B.4は、60.96cm(24インチ)の距離2B.5にある。ここに示すように、実験者2B.6は約132.08cm(52インチ)の距離2B.7にある。表には本発明のデバイス2B.8もある。
[Para 72]このハードウェアセットアップは、システムが機能するように設計されるいくつかの方式のうちの1つである。システムは、クラウドインスタンスまたはオンサイト計算ノード等の外部解決策に計算作業負荷をオフロードすることもできる。
[Para 73]双方の場合に、システムは図3における概略に従って機能する。評定の開始時に、システムは、被検者の基準読み値を生成するメトリックを記録する。上記で列挙し、モデルに含まれたメトリックの多くは、これらの基準読み値からの様々な種類の変化に基づく。これらの変化はモデルへの入力として作用し、応答を真実または欺まんとして迅速に分類することを可能にする。各質問の間に、インタビューされる人物の神経系および眼球メトリックが基準に戻るための時間が許容される。このリセット期間後、通常10秒後、インタビュアーは次の質問に進み、ここでもまた、応答後に迅速に欺まんまたは真実の分類を受信する。
[Para 74]迅速な分類に加えて、システムは、質問ごとに与えられた結果を表示するセッション後レポートを出力する。システムは、セッション全体にわたって生じるイベントに対しタイムスタンプを付されたモデルにおけるメトリックごとの読み値を含むデータファイルをダウンロードするオプションを提供する。システムは、戻って任意の以前に記録されたセッションのビデオおよび分類結果を見るオプションを有する。システムは、このシステムを様々な使用事例に対し柔軟性を有するものにする他の特徴を有する。システムは、質問のテンプレートを作成するオプションを提供し、このテンプレートは、反復スクリーニングのために順序付けおよび自動化することができる。システムは、自由質問のためにテンプレートなしで動作することもできる。最後に、システムは、質問が行われていない状態で参加者が発言しているビデオを作ることができる。この場合、ビデオ発言全体はシステムによって1つの質問とみなされ、ビデオが完了すると、同じ動作後オプションを伴って、同じ形式で分類が出力される。
[Para 75]動作リスクを評定するための眼球システム:
[Para 76]Senseye動作リスク管理(ORM)システムは、作業者の作業への適性の客観的尺度を提供する。システムは、過剰な疲労、アルコールまたは薬物による機能障害、ならびに仕事のパフォーマンスおよび安全性に干渉し得る心理学的リスク因子について作業者をスクリーニングする。システムは、ユーザの眼が様々な眼球運動タスクを行い、および/または受動的に画面を見ている間、ユーザの眼のビデオを記録する。ORMシステムは、ユーザに刺激を与えるソフトウェアも含む。システムは、コンピュータビジョンを用いて眼をセグメンテーションし、多岐にわたる眼球特徴を定量化する。次に、眼球メトリックが機械学習アルゴリズムに入力されることとなる。機械学習アルゴリズムは、作業者が自身の仕事を安全に行うには過度に疲労しているか、または(薬物、アルコールまたは心理学的リスク要因に起因して)機能障害があるときに検出するように設計される。適性の閾値は、使用事例に基づいて設定することができる(例えば、ハイステークス/ハイリスクの職業の場合、より厳密なパラメータ)。ORMモデルおよび閾値の更なる適用は、これらを、ユーザがタスクを行っているときに、スクリーニングの刺激を必要とせずにユーザを受動的に見るビデオにおいて実施することができることである。
[Para 76]Senseye動作リスク管理(ORM)システムは、作業者の作業への適性の客観的尺度を提供する。システムは、過剰な疲労、アルコールまたは薬物による機能障害、ならびに仕事のパフォーマンスおよび安全性に干渉し得る心理学的リスク因子について作業者をスクリーニングする。システムは、ユーザの眼が様々な眼球運動タスクを行い、および/または受動的に画面を見ている間、ユーザの眼のビデオを記録する。ORMシステムは、ユーザに刺激を与えるソフトウェアも含む。システムは、コンピュータビジョンを用いて眼をセグメンテーションし、多岐にわたる眼球特徴を定量化する。次に、眼球メトリックが機械学習アルゴリズムに入力されることとなる。機械学習アルゴリズムは、作業者が自身の仕事を安全に行うには過度に疲労しているか、または(薬物、アルコールまたは心理学的リスク要因に起因して)機能障害があるときに検出するように設計される。適性の閾値は、使用事例に基づいて設定することができる(例えば、ハイステークス/ハイリスクの職業の場合、より厳密なパラメータ)。ORMモデルおよび閾値の更なる適用は、これらを、ユーザがタスクを行っているときに、スクリーニングの刺激を必要とせずにユーザを受動的に見るビデオにおいて実施することができることである。
[Para 77]Senseye ORMシステムに対する主な入力は、ユーザの眼がシステムによって提示された眼球運動タスクを行っているか、または電話もしくはタブレットの画面もしくはコンピュータモニタを受動的に見ている間のユーザの眼のビデオフィルム映像である。開いた眼からの視認可能な解剖学的特徴(すなわち、強膜、虹彩および瞳孔)の位置およびアイデンティティが、元は医療画像セグメンテーションのために開発された畳込みニューラルネットワークによりピクセル単位でデジタル画像において分類される。畳込みニューラルネットワークの出力に基づいて、多数の眼球特徴が生成される。これらの眼球メトリックは、コンテキストおよびラベルを提供する眼球運動タスクからのイベントデータと組み合わされる。眼球メトリックおよびイベントデータは機械学習アルゴリズムに提供され、機械学習アルゴリズムは、「職務適性あり」、「職務適性なし」、または「更なる情報が必要」の結果を返す。システムは、「職務適性なし」の指定の背後にある理由も返す(例えば、過度の疲労、薬物またはアルコールによる機能障害が疑われる、過度の不安)。
[Para 78]ORMは、眼球信号に依拠して分類を行う。これらの眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 79]Senseye ORMシステムは、多岐にわたるハードウェアオプション上で実行するように設計される。眼のビデオは、ウェブカメラ、携帯電話のカメラ、または十分な分解能およびフレームレートを有する任意の他のビデオカメラによって取得することができる。刺激は、携帯電話、タブレット、もしくはラップトップ画面または標準的なコンピュータモニタ上に提示することができる。ソフトウェアを実行するために必要なハードウェアは、デバイス内にあるかまたはAPIを通じてアクセスされるサーバ上にあるニューラルネットワーク対応のFPGA、ASICまたはアクセラレーテッドハードウェアである。
[Para 80]Senseye ORM評定は、ユーザがシステムにログインすることによってプロセスを始動することから開始する。これは、ユーザネームおよびパスワードをタイピングすることによって、または顔認識を用いることによって達成することができる。1つの実施形態において、ユーザは、瞳孔対光反射、視覚性運動反射、眼振試験および円滑追跡を含むことができる一連の眼球運動タスクを提示される。視線較正タスクは、システムによる視線測定出力を改善するように含めることもできる。各タスクについて以下で簡単に説明する。使用事例に依拠して、これらのタスクのサブセットが含まれる。別の実施形態において、スキャンはより受動的となるように設計され、このため、ユーザの眼は画面を受動的に見ている間に記録される。
[Para 81]図4は、瞳孔対光反射の例を示す。瞳孔対光反射は、画面の輝度を操作することによってORMシステムによって測定される。ユーザは、画面が灰色から黒へ、白へと変化し、そして黒に戻る間、画面の中心の十字を固視する。明るい白色画面は瞳孔を収縮させる。瞳孔サイズは、コンピュータビジョンを用いて測定され、収れん潜伏期、速度および振幅等の様々なパラメータが計算される。非定型瞳孔動力学は、疲労、酩酊、ストレス/不安、およびPTSDを示す交感神経機能亢進を示す可能性がある。
[Para 82]図5は視覚性運動反射の例を示す。視覚性運動反射は、画面を横切って動く交互の黒色および白色のバーをユーザに提示することによって引き起こされる。眼は、画面を横切って動くバーを反射的に追跡し、次に、バーが画面から離れて動くと、開始点まで移動して戻る。これにより、眼の視線x位置において特徴的な鋸歯パターンが生成され、これは刺激速度に対応するはずである。刺激速度からのずれは、視覚性運動反射が機能障害を有することを示した。
[Para 83]図6は、水平注視眼振の例を示す。眼振試験は、法執行機関によって用いられる現場で行われる飲酒検査の構成要素に類似している。円形刺激は、画面にわたって水平方向に動き、各方向において45度の視角を横切る。ユーザは、眼で刺激を追跡するように命令される。健康な人では、不随意の水平方向の眼の振動は、眼が右または左に40~45度動くと生じることが予期される。ユーザが酩酊している場合、この不随意の動きはより小さな視角で生じることになる。
[Para 84]図7は、円滑追跡の例を示す。このタスクは、ユーザが一定の速度で動いている円形刺激を自身の眼で追跡することを要求する。速度および空間精度の観点で刺激を正確に追跡する能力が定量化される。速度または空間位置の整合不良は機能障害を示す。
[Para 85]図8は視線較正の例を示す。視線較正タスクは、各々数秒間、画面上の11個の異なる空間位置に表示される一連のドットからなる。ユーザは、各ドットが現れると、このドットを固視するように要求される。このタスクは、他のタスクにおける挙動を評定するのに用いられる正確な視線情報を提供するために視線追跡システムを較正するのに用いられる。
[Para 86]驚愕反応(図示せず)は、驚愕反応を試験するために、ホワイトノイズの予測不可能な大バーストでユーザを試験することができるときのものである。ノイズバーストに反応した急速で大きな拡張は、交感神経機能亢進を示す。
[Para 87]上記で説明した刺激およびメトリックに基づいたORMモデルの開発の継続は、受動的監視状況における使用である。これらの状況において、製品はスクリーニングデバイスとして機能せず、むしろ、タスクを行っているユーザのビデオ観察を通じてモデルから分類状態を出力する。これらのモデルおよび閾値は、上記で列挙した同じメトリックを利用するが、1つのシナリオから別のシナリオへの学習の転送に起因して、コンテキストへの依存度がより低い。
[Para 88]学習を最適化するための眼球システム:
[Para 89]Senseye標的学習システム(TLS)は、認知活動の非侵襲的眼球尺度を用いてトレーニングおよびスキルベースの学習のプロセスを通知し、最適化する。TLSアルゴリズムは、認知労力、短期および長期記憶利用および符号化、ならびに覚醒レベルを含む認知イベントおよび状態を監視および分類する。これらのメトリックは、所与のタスク中に必要とされる認知のインジケータとして個々の目的を果たす。これらは合わせて、人物が最適学習を促す状態にいるときを示すことができる。経時的に、これらは、人物の学習軌道を定量化することができる。多岐にわたる学習カリキュラムと組み合わせて用いられることで、TLSは、カリキュラムを個人の独自の学習ペースに迅速に適合させるのに役立つ。このレベルの適応型トレーニングは、カリキュラム教材の保持を確実にしながら、学習の高速化をもたらす。標的学習システムは、認知負荷、Senseye学習パラメータ(SLP)、ならびに短期および長期記憶符号化のインスタンスの出力を含む。
[Para 89]Senseye標的学習システム(TLS)は、認知活動の非侵襲的眼球尺度を用いてトレーニングおよびスキルベースの学習のプロセスを通知し、最適化する。TLSアルゴリズムは、認知労力、短期および長期記憶利用および符号化、ならびに覚醒レベルを含む認知イベントおよび状態を監視および分類する。これらのメトリックは、所与のタスク中に必要とされる認知のインジケータとして個々の目的を果たす。これらは合わせて、人物が最適学習を促す状態にいるときを示すことができる。経時的に、これらは、人物の学習軌道を定量化することができる。多岐にわたる学習カリキュラムと組み合わせて用いられることで、TLSは、カリキュラムを個人の独自の学習ペースに迅速に適合させるのに役立つ。このレベルの適応型トレーニングは、カリキュラム教材の保持を確実にしながら、学習の高速化をもたらす。標的学習システムは、認知負荷、Senseye学習パラメータ(SLP)、ならびに短期および長期記憶符号化のインスタンスの出力を含む。
[Para 90]TLSは、眼球信号に依拠して分類を行う。これらの眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。
[Para 91]信号は、眼から微妙な情報を抽出するように設計されたマルチステッププロセスを用いて取得される。ビデオデータからの画像フレームは、関心対象の構造を分離し定量化するように設計された一連の最適化アルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化された、手作業でパラメータ化された、およびノンパラメトリックの、変換およびアルゴリズムの混合を用いて更に処理される。
[Para 92]認知負荷:
[Para 93]TLSソフトウェアは、前面カメラを有する任意のデバイス(タブレット、電話、コンピュータ、VRヘッドセット等)上で機能することが可能である。TLSソフトウェアは、画像から抽出された解剖学的信号(より詳細には、生理学的信号)を用いて、最適化アルゴリズムを通じて様々な認知状態を予測する。アルゴリズムは、入力データが特定の認知状態を表す推定確率を提供し、1つ以上の認知状態の存在を識別することができる。画像信号は、一連のデータ処理動作を通じて実行され、信号および推定が抽出される。まず複数の画像マスクが適用され、眼の構成要素と顔の特徴とを分離し、様々なメトリックがリアルタイムで画像から抽出されることを可能にする。画像フィルタから、認知状態の最終推定を支持する変換アルゴリズムを通じて関連信号が抽出される。複数のデータストリームおよび推定を単一の計算において行うことができ、認知負荷信号は、複数の独自の処理および推定アルゴリズムの組み合わせから生じることができる。認知負荷出力は、認知負荷出力のイベント時間および時間経過を関係付けることによって刺激(示されるビデオおよび/または画像および/または空白画面)に直接リンクさせることができる。ソフトウェアは、リアルタイムで、イベントが発生している際の個人の認知負荷を表示することができる(図9および図10)。
[Para 93]TLSソフトウェアは、前面カメラを有する任意のデバイス(タブレット、電話、コンピュータ、VRヘッドセット等)上で機能することが可能である。TLSソフトウェアは、画像から抽出された解剖学的信号(より詳細には、生理学的信号)を用いて、最適化アルゴリズムを通じて様々な認知状態を予測する。アルゴリズムは、入力データが特定の認知状態を表す推定確率を提供し、1つ以上の認知状態の存在を識別することができる。画像信号は、一連のデータ処理動作を通じて実行され、信号および推定が抽出される。まず複数の画像マスクが適用され、眼の構成要素と顔の特徴とを分離し、様々なメトリックがリアルタイムで画像から抽出されることを可能にする。画像フィルタから、認知状態の最終推定を支持する変換アルゴリズムを通じて関連信号が抽出される。複数のデータストリームおよび推定を単一の計算において行うことができ、認知負荷信号は、複数の独自の処理および推定アルゴリズムの組み合わせから生じることができる。認知負荷出力は、認知負荷出力のイベント時間および時間経過を関係付けることによって刺激(示されるビデオおよび/または画像および/または空白画面)に直接リンクさせることができる。ソフトウェアは、リアルタイムで、イベントが発生している際の個人の認知負荷を表示することができる(図9および図10)。
[Para 94]TLS製品は、認知状態に対する推論を実行するように様々な視線の形態を利用することも可能である。この製品において用いられる視線は、次の3つの主要なカテゴリーに分類される。1)フレームにおける眼の中心推定、2)眼の位置および向きの推定、および3)空間内の被検者の焦点に関する3D視点推定。これらの全ての手法から精製された情報は、個々にまたは連携して用いることができる。個々に、これらの方法は、眼球運動の独自の有益な測定を提供し、これらは合わせて(追加の較正ルーチンを用いても用いなくても)、眼および視線ベクトルの3Dモデルを構築するのに用いられるカスケード情報パラメータを提供する。次に、視線ベクトルを、オブジェクトの表面に平行な対応する2次元平面と交差させることによって、コンピュータモニタ等の現実空間内のオブジェクトにおける注視点を推定することができる。モニタ、IRライト、nIRライトおよびカメラ位置は、視線推定前に全て既知の量である。参加者の視線は、参加者が見ている画面上にヒートマップの形態で投影される。視線の時点における認知負荷をプロットすることによって、ソフトウェアは、視線位置および視線に関連する認知負荷をリンクさせることができる。これにより、個人は、個人の認知負荷出力に変更があったとき、参加者が見ていた位置/オブジェクト/タスクを正確に分析することが可能になる。
[Para 95]ユーザが見ている刺激が一定の輝度を呈する可能性は低い。周辺輝度における知覚変化が瞳孔反応の主な要因であることはよく知られている。輝度ベースの瞳孔反応を考慮するために、TLSはパワースペクトル密度(PSD)周波数変換を使用して、結果として得られた瞳孔拡張を認知負荷から分離する。PSD変換は、間隔内の各特定の周波数において波形のパワーを測定する。この方法を用いて、任意の種類の波を構成する様々なタイプの正弦波を決定することができる。PSDを通じた瞳孔波形の分解により、輝度条件と無関係に認知負荷が検出されることがわかっている(Marshall、2002;Nakayama&Shimizu、2004;Hampson他、2010;Peysakhovich他、2015;Peysakhovich他、2017;Reiner&Gelfeld、2014)。輝度反応は反射性であり高速であるが、認知プロセスに起因した瞳孔変化はより低速である(Joshi他、2016)。測定された輝度および瞳孔反応信号の混合を用いて、TLSアルゴリズムは、PSDおよび他の変換を適用し、複数の時間および周波数信号から導出された新たな結合信号を作成する。次に、これらの信号は、最適化アルゴリズムを通じて認知状態の確率推定を駆動し、外部光源からの瞳孔反応が存在する場合であっても認知負荷状態を識別する。
[Para 96]Senseye学習パラメータ:
[Para 97]TLSの一部として、SenseyeはSenseye学習パラメータ(SLP)を開発した。人物の学習能力は、内部要因(例えば、疲労、低関与、過剰)およびタスク関連要因(例えば、過度に容易、過度に難解)の双方に依拠して変化する可能性がある。SLPは、個人の内部要因を考慮し、低関与/刺激不足から、高い内部状態/過剰までのスケールとして表されるTLSアルゴリズムの一部である。これは、個人の眼球信号を最適な学習スケールにおける読み値に変換するアルゴリズムを用いて計算される。最適な学習スケールは、統計的に、代表母集団または個人の事前データに基づく(適応型Senseye学習パラメータを参照)。参加者の内部状態が低いとき(最小認知負荷が維持される)、インジケータはSLPスケールの低い側にシフトするのに対し、高い内部状態(高い認知負荷が維持され、過剰であることが示される)は、SLPインジケータをスケールの高い側にシフトさせる。これにより、インストラクターは、参加者が最良の学習結果(図11)のために最適な学習ポイント(SLPの中央)に留まることができるようにタスクを採用して調整することが可能になる。
[Para 97]TLSの一部として、SenseyeはSenseye学習パラメータ(SLP)を開発した。人物の学習能力は、内部要因(例えば、疲労、低関与、過剰)およびタスク関連要因(例えば、過度に容易、過度に難解)の双方に依拠して変化する可能性がある。SLPは、個人の内部要因を考慮し、低関与/刺激不足から、高い内部状態/過剰までのスケールとして表されるTLSアルゴリズムの一部である。これは、個人の眼球信号を最適な学習スケールにおける読み値に変換するアルゴリズムを用いて計算される。最適な学習スケールは、統計的に、代表母集団または個人の事前データに基づく(適応型Senseye学習パラメータを参照)。参加者の内部状態が低いとき(最小認知負荷が維持される)、インジケータはSLPスケールの低い側にシフトするのに対し、高い内部状態(高い認知負荷が維持され、過剰であることが示される)は、SLPインジケータをスケールの高い側にシフトさせる。これにより、インストラクターは、参加者が最良の学習結果(図11)のために最適な学習ポイント(SLPの中央)に留まることができるようにタスクを採用して調整することが可能になる。
[Para 98]適応型Senseye学習パラメータ:
[Para 99]上記で説明したように、SLPは、固定の方程式において演算を行い、最適学習パラメータを生成することができる。しかしながら、SLPは、被検者の専門知識および学習能力に応じてパラメータを変更する能力も有する。個人が依然として新たな情報を吸収しながら受ける可能性があるストレス量は、人物ごとに異なる。同じ量のストレスおよび覚醒の下で、何人かの人物は、学習能力を維持する一方で、他の人物は維持しない。様々な覚醒レベルにおける認知性能の変動が従来の研究において観察されている(Chaby他、2015;YerkesおよびDodson、1908;Anderson、1994)。SLPの適応機能は、個人の専門知識(初級、中級、上級)を判断する性能を使用して、該性能を認知負荷と相関付けて、個人のための最適スケールを自動的に生成する。スケールは、個人がタスクを学習してマスターする際のストレス条件下の個人の性能および認知負荷の変化に依拠してシフトおよび調整することができる。この機能は、定量化された学習のカスタマイズ性を更に向上させ、インストラクターまたは自動化されたレッスンシステムが、カリキュラムを個々の学習プロファイルに応じてより効率的に変更することを可能にする。
[Para 99]上記で説明したように、SLPは、固定の方程式において演算を行い、最適学習パラメータを生成することができる。しかしながら、SLPは、被検者の専門知識および学習能力に応じてパラメータを変更する能力も有する。個人が依然として新たな情報を吸収しながら受ける可能性があるストレス量は、人物ごとに異なる。同じ量のストレスおよび覚醒の下で、何人かの人物は、学習能力を維持する一方で、他の人物は維持しない。様々な覚醒レベルにおける認知性能の変動が従来の研究において観察されている(Chaby他、2015;YerkesおよびDodson、1908;Anderson、1994)。SLPの適応機能は、個人の専門知識(初級、中級、上級)を判断する性能を使用して、該性能を認知負荷と相関付けて、個人のための最適スケールを自動的に生成する。スケールは、個人がタスクを学習してマスターする際のストレス条件下の個人の性能および認知負荷の変化に依拠してシフトおよび調整することができる。この機能は、定量化された学習のカスタマイズ性を更に向上させ、インストラクターまたは自動化されたレッスンシステムが、カリキュラムを個々の学習プロファイルに応じてより効率的に変更することを可能にする。
[Para 100]記憶分類:
[Para 101]また、TLSは、限定ではないが、学習プロセス中の短期記憶(STM)および長期記憶(LTM)の形成を含む記憶形成の発生および強度を区別することができる。従来の文献は、異なる脳の領域が様々なタイプの記憶形成に関与していることを示している。前頭葉皮質は、LTMに関連し、海馬はSTMに密接に関連している。前頭葉皮質に病変または損傷を有する人物は、多くの場合、記憶の符号化および索出が困難な時期を有する(Jetter他、1986;McAndrewsおよびMilner、1991;EslingerおよびGrattan、1994;Stuss他、1994;MoscovitchおよびWinocur、1995)のに対し、短期記憶の機能障害はほとんどまたは全く示さない(Kesner他、1994;Stuss他、1994;SwickおよびKnight、1996;Dimitrov他、1999;Alexander他、2003)。海馬は、短期記憶の形成に関与することがわかっており、海馬の病変は、新たな記憶の符号化を阻害する(Jonides他、2008;CohenおよびEichenbaum、1993)。
[Para 101]また、TLSは、限定ではないが、学習プロセス中の短期記憶(STM)および長期記憶(LTM)の形成を含む記憶形成の発生および強度を区別することができる。従来の文献は、異なる脳の領域が様々なタイプの記憶形成に関与していることを示している。前頭葉皮質は、LTMに関連し、海馬はSTMに密接に関連している。前頭葉皮質に病変または損傷を有する人物は、多くの場合、記憶の符号化および索出が困難な時期を有する(Jetter他、1986;McAndrewsおよびMilner、1991;EslingerおよびGrattan、1994;Stuss他、1994;MoscovitchおよびWinocur、1995)のに対し、短期記憶の機能障害はほとんどまたは全く示さない(Kesner他、1994;Stuss他、1994;SwickおよびKnight、1996;Dimitrov他、1999;Alexander他、2003)。海馬は、短期記憶の形成に関与することがわかっており、海馬の病変は、新たな記憶の符号化を阻害する(Jonides他、2008;CohenおよびEichenbaum、1993)。
[Para 102]前頭葉皮質は、LTMに関与するのみでなく、運動コマンドを脳幹に伝達することを通じて様々な眼球運動を生成する上でも重要である。また、記憶の形成および索出(Kucewicz他、2018)に関連した瞳孔径の変化を調整することも知られている(Schlag-Ray他、1992;EbitzおよびMoore、2017)。LTMおよび眼球メトリックは共に前頭葉皮質に関連しているため、眼球メトリックを利用して、記憶形成を読み出し、LTMおよびSTMの形成中に生じる眼球メトリックの様々なパターンに基づいてモデルを構築することができる。このモデルを用いて、TLSは、人物が学習タスクに従事している間に生じる記憶形成の強度およびタイプを出力する機能を構築した。
[Para 103]図9および図10は、認知負荷セッションのTLSソフトウェア出力の1つの実施形態を示す。これらの図は、TLSユーザインタフェースの反復を表す。図9は、特定のセッション中のユーザの認知負荷およびSLP出力のライブ時系列分析である。図10において、認知負荷およびSLPの双方の即時フィード、およびそれぞれの機能を出力するのに用いられる眼の検出およびマスキングアルゴリズムのライブフィードが存在する。眼の検出アルゴリズムは、ユーザの顔における両眼を位置特定し、一方の眼に集中して虹彩、瞳孔および強膜をセグメンテーションする。認知負荷の即時読出しは、ゲージの形態で視覚的に報告され、ユーザの認知負荷のパーセントまたは類似の解釈の形態で量的に報告される。
[Para 104]図11は、TLS認知負荷のUI/UXおよびsenseye学習パラメータ出力の1つの実施形態である。SLPに沿った認知負荷レベルおよび学習状態の1つの表現。灰色のドットは、参加者の現在の状態である。上部には認知負荷メータがある。ここで、低い認知負荷は緑色の領域で表され、高い認知負荷領域は赤色で提示される。底部はSLPである。認知負荷の読出しと同様に、灰色のドットは参加者の現在の学習状態を表す。スケールの末端は、刺激不足および過剰刺激に起因した準最適学習状態を表す。
[Para 105]支質変形を推測するための虹彩筋の徹照:
[Para 106]全体的な概観として、以前の文献では、眼の虹彩筋が脳の特定の領域によって神経支配されていることが示されてきた。これらの脳領域を活性化すると、結果として、虹彩のそれぞれの筋群内で補完的な変化が生じ、虹彩生理学により、関連する認知状態を定量化するための非侵襲的な手段を提供することができるという仮説が導かれた。特に、虹彩筋生理学の直接観測は、支質として知られる、上に重なる膜により不明瞭になる。ここで概説される、以降「徹照」と呼ばれる技法は、虹彩筋生理学および解剖学的構造を視覚化し、その後、筋肉運動のこれらのパターンが虹彩の上に重なる支質内の歪みとしてどのように現れるかを視覚化するための方法である。既知の筋肉生理学と支質歪みの既知のパターンとの関連付けをマッピングすることによって、徹照は、ユーザが、眼の単純な表面レベルのビデオ記録から、虹彩筋生理学の複雑なパターンを推測することを可能にする。徹照は、眼から脳信号にアクセスするための不可欠な技術である。
[Para 106]全体的な概観として、以前の文献では、眼の虹彩筋が脳の特定の領域によって神経支配されていることが示されてきた。これらの脳領域を活性化すると、結果として、虹彩のそれぞれの筋群内で補完的な変化が生じ、虹彩生理学により、関連する認知状態を定量化するための非侵襲的な手段を提供することができるという仮説が導かれた。特に、虹彩筋生理学の直接観測は、支質として知られる、上に重なる膜により不明瞭になる。ここで概説される、以降「徹照」と呼ばれる技法は、虹彩筋生理学および解剖学的構造を視覚化し、その後、筋肉運動のこれらのパターンが虹彩の上に重なる支質内の歪みとしてどのように現れるかを視覚化するための方法である。既知の筋肉生理学と支質歪みの既知のパターンとの関連付けをマッピングすることによって、徹照は、ユーザが、眼の単純な表面レベルのビデオ記録から、虹彩筋生理学の複雑なパターンを推測することを可能にする。徹照は、眼から脳信号にアクセスするための不可欠な技術である。
[Para 107]Senseyeは、認知および感情状態に関連付けられた虹彩の動きに対する個々の筋群および線維の寄与を分析し、これらの動きを市販のカメラで視認可能な眼の表面層、すなわち支質上にマッピングするための技法を開発した。この革新は、眼球メトリックから脳活動を読み取る接触なしの方法を達成することに向けた新規の大きなステップである。これは、概念的革新および技術的革新の双方を伴う。概念的革新は、様々な認知状態下で筋肉の個々の動きを調べて信頼性の高い信号を抽出することにある。技術的革新は、支質および徹照された筋肉が、互いにマッピングされることが可能であるように視覚化される方法である。
[Para 108]虹彩の筋肉は、副交換神経系および交換神経系によって神経支配されている。特に、虹彩の散大筋は、SNSの多くの個々の末端によって神経支配されており、括約筋は、PNSの多くの個々の末端によって神経支配されている。これらの神経支配により、情報がこれらの神経系の経路に沿って下流に虹彩の個々の筋肉まで進み、運動が生じ、この運動を測定および使用して、認知状態および感情状態を推測することができる。虹彩筋を見て支質上にマッピングする徹照技法は、虹彩における表面レベルの変化を用いて脳活動をモデル化するSenseye製品の作成を可能にする。
[Para 109]プロセスに関して、信号取得デバイスは、以降、「照明構成要素1」(LC1)および「照明構成要素2」(LC2)と呼ばれる2つの照明構成要素、および1つのカメラからなる。LC1は、5ボルトで給電される単一の150mw nIR LEDである。これは、光が虹彩の筋肉組織内から光り、虹彩の筋肉組織が見えるように下瞼の皮膚に保持される。LC2は、虹彩の外側支質を照明する150mwのnIRスタンドオフLEDアレイである(図1)。これらの照明システムは、各々がオシロスコープを用いて160hzで交互に点滅するように同期され、完全に同期された、虹彩筋肉組織の1つ、および外側支質の1つの2つの80hzビデオの効果を生成する(図2)。ビデオデータは、虹彩筋の微細な動きを捕捉することが可能なフレームレートおよび分解能でカメラを用いて収集される。
[Para 110]データ収集プロトコルは、自動化された一連の指示およびタスクが提示されている間、カメラの正面の席に参加者を配置する(図12)。アプリケーションは、タスクごとに構成可能なタイミングを有し、眼球反応を誘導するために、参加者の正面の画面上の画像を変更し、算術または手を氷の中に置く等、認知または感情を喚起する特定の挙動を行うべきときに関する自動化された命令を提供する。アプリケーションは、表形式データの形態で特定のタイムスタンプを付されたイベントを出力し、記録されたフィルム映像が適切な分析のために生成された刺激と同期されることを可能にする。
[Para 111]次の一連の分析において、ビデオデータからの画像フレームは、関心対象の構造を分離し定量化するように設計された一連の最適化アルゴリズムおよび変換を通じて処理される。LC1によって照明された画像から導出されたデータを用いて、虹彩筋肉組織の直接観察から構造をパースする。LC2によって照明された画像から導出されたデータを用いて、虹彩の上に重なる支質内の歪みをパースする。結果として得られる画像対は、不随意の虹彩筋動作の独自の表面対表面下のマッピングを提供する。これらの画像から抽出された信号は、構造化されたフォーマットで収集され、広範にわたる認知状態およびプロセスを文脈付けすることが可能な関連実験メタデータと共に記憶される。これらの新規のデータセットを用いて、脳活動および表面支質の運動を、測定可能で信頼性の高い方式で表面下の虹彩活性に直接マッピングすることができる。
[Para 112]図12は、徹照ハードウェアおよびプロセスの1つの実施形態を示す。LEDを眼の位置に保持する一方で、モニタ上のLEDによっても160hzで交互に照明されている参加者を見ることができる。眼のビデオを捕捉する、参加者に対面するカメラ。
[Para 113]図13は、徹照ハードウェアを用いて捕捉された表面層支質および徹照された虹彩ビデオの静止画像である。13.1は、徹照された括約筋を指し、13.2は、徹照された散大筋を指し、13.3は表面層支質を指している。
[Para 114]RGBカメラからNIR画像を生成するための方法
[Para 115]本発明の方法は、敵対的生成ネットワーク、ならびに可視光およびIR光の組み合わせを用いており、これについてはここで更に論じられる。IR光において可視の表面下虹彩構造と可視光において見える表面構造とのマッピングを作成するテーマを継続すると、Senseyeは、可視光から抽出されたデータに対しIR画像上に形成された虹彩マスクを投影する方法を開発した。この技法は、敵対的生成ネットワーク(GAN)を用いて、可視光の下で捕捉された入力画像のIR画像を予測する(図14を参照)。次に、CVマスクが予測されたIR画像上で実行され、可視光画像に戻して重ね合わされる(図15を参照)。
[Para 115]本発明の方法は、敵対的生成ネットワーク、ならびに可視光およびIR光の組み合わせを用いており、これについてはここで更に論じられる。IR光において可視の表面下虹彩構造と可視光において見える表面構造とのマッピングを作成するテーマを継続すると、Senseyeは、可視光から抽出されたデータに対しIR画像上に形成された虹彩マスクを投影する方法を開発した。この技法は、敵対的生成ネットワーク(GAN)を用いて、可視光の下で捕捉された入力画像のIR画像を予測する(図14を参照)。次に、CVマスクが予測されたIR画像上で実行され、可視光画像に戻して重ね合わされる(図15を参照)。
[Para 116]本方法の一部は、GANが可視光画像からIR画像を予測するように学習する画像のトレーニングセットを生成している(図14を参照)。Senseyeは、これらの画像を生成するために、ハードウェアシステムおよび実験プロトコルを開発した。装置は、1つの色感受性カメラ、および1つのNIR感受性カメラの、2つのカメラからなる(図16における符号16.1および16.2を参照)。2つは互いに正接して配置され、ホットミラーが双方に対し45度の角度を成すようになっている(図16における符号16.3を参照)。ミラーの第1の表面の重心は、双方のセンサから等距離にある。可視光はホットミラーを直線状に通過し、可視センサに達し、NIRはNIRセンサ内に跳ね返る。したがって、システムは、高度に光学的に位置合わせされたNIRおよびカラー画像を作成し、これをピクセル単位で重ね合わせることができる。ハードウェアトリガーを用いて、カメラが1μS未満の誤差で同時に露出されることを確実にする。
[Para 117]図16は、NIRおよび可視光ビデオを同時に捕捉するハードウェア設計の図である。1つは近IRセンサを有し、1つは可視光センサを有する2つのカメラが、ホットミラーとの45度の角度のシャーシに装着され(一方のカメラセンサには不可視であり、他方には不透明なミラー)、ピクセルレベルの精度で画像オーバレイを作成する。
[Para 118]光学的および時間的に位置合わせされた可視データセットおよびNIRデータセットを低誤差で作成することにより、Senseyeは、ラベル付けを必要としない大量で多様なデータセットを作成することが可能になる。手動のラベル付けではなく、位置合わせにより、Senseyeは、カラー画像をトレーニングする基準としてNIR画像を用いることが可能になる。既存のネットワークは、眼を強膜、虹彩、瞳孔等に分類し、セグメンテーションする能力を既に有し、それらの出力をトレーニングラベルとして用いる能力を与える。更に、pix-to-pixGANのような教師なし技法は、このフレームワークを利用して、画像タイプ間の類似性および差異をモデル化する。これらのデータを用いて、可視および不可視の虹彩特徴の表面対表面、および/または表面対表面下のマッピングを作成する。
[Para 119]RGBスペクトルがNIR画像に似るようにRGBスペクトルを適切にフィルタリングするために考えられる他の方法は、レンダリングされた画像が自然光およびNIR光スペクトルにおける自然光の双方に似るように眼のシミュレーションを用いることである。ニューラルネットワーク構造は、上記で列挙したもの(pix-to-pix)に類似しており、目的は、角膜下構造(虹彩および瞳孔)が、自然光スペクトル(360~730nm)と特定の眼との相互作用によって生じた反射または他のアーチファクトに関わらず適切に復元およびセグメンテーションされることを可能にすることである。
[Para 120]GANの有用性は、RGB画像からNIR画像を生成することが可能な機能を学習することである。RGB画像の問題は、特により暗い眼の場合の、瞳孔と虹彩との間のコントラストの劣化から生じる。これが意味することは、眼に十分な光が溢れていない場合、茶色の虹彩と瞳孔の孔との境界が、色スペクトルの近接性に起因して区別不可能であるというものである。RGB空間では、光の特定のスペクトルを制御しないことに起因して、ミラーとして機能する眼の別の特性に翻弄される。この特性は、任意のオブジェクトが、瞳孔/虹彩の上の透明フィルムとして現れることを可能にする。この例は、rgb画像を所与として眼の上に明るいモニタのより小さなバージョンを作成する可能性があることである。このため、GANがフィルタとして機能する。GANは、反射をフィルタリング除去し、境界を先鋭化し、学習された埋め込みに起因して、虹彩および瞳孔の真の境界を回復することが可能である。
[Para 121]例示の目的でいくつかの実施形態が詳細に説明されたが、それぞれ本発明の範囲および趣旨から逸脱することなく、様々な変更を行うことができる。したがって、本発明は、添付の特許請求の範囲によって限定されることを除き、限定されない。
Claims (51)
- 被検者の眼球情報に基づいた欺まん検出方法であって、前記方法は、
検査中に前記被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、前記スタンドオフデバイスは前記被検者と物理的に接触せず、前記スタンドオフデバイスは、前記被検者の少なくとも一方の眼の接写ビューを記録するように構成された少なくとも1つのビデオカメラを有し、前記スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、
前記被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、前記認知負荷は、前記被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、
前記被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、前記覚醒状態は、前記被検者の神経系の活性化に基づく、ステップと、
前記少なくとも1つのビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記被検者に質問する前に、前記被検者の前記少なくとも一方の眼の前記眼球情報の基準状態を確立するステップと、
前記被検者に質問を行い、前記被検者が前記質問に回答することを許可するステップと、
前記質問を行い、前記被検者が前記質問に回答する時間を含めた後、前記眼球情報を処理して、前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、前記眼球信号の変化のみに基づいて前記認知状態モデルおよび前記感情状態モデルを評価し、前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、
真実または欺まんのバイナリ出力を判断するステップと、
前記バイナリ出力を管理者に表示するステップと、
を含む、欺まん検出方法。 - 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項1に記載の欺まん検出方法。
- 前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定する前記ステップは、前記被検者の回答中の期間にわたって取得された複数の推定値を含み、前記複数の推定値は、重み付けされ、組み合わされて、前記バイナリ出力が生成される、請求項1に記載の欺まん検出方法。
- 前記少なくとも1つのビデオカメラは、少なくとも毎秒100フレームのレートでフレームを捕捉する、請求項1に記載の欺まん検出方法。
- 前記少なくとも1つのビデオカメラは、少なくとも毎秒50フレームのレートでフレームを捕捉する、請求項1に記載の欺まん検出方法。
- 前記少なくとも1つのビデオカメラは、少なくとも毎秒30フレームのレートでフレームを捕捉する、請求項1に記載の欺まん検出方法。
- 前記スタンドオフデバイスは、前記被検者の顔全体を記録するように構成された第2のビデオカメラを含む、請求項1に記載の欺まん検出方法。
- 前記コンピューティングデバイスは、前記スタンドオフデバイスから遠隔に配設されたクラウドベースのコンピューティングデバイスである、請求項1に記載の欺まん検出方法。
- 前記コンピューティングデバイスは前記スタンドオフデバイスの一部である、請求項1に記載の欺まん検出方法。
- 前記コンピューティングデバイスは前記スタンドオフデバイスと別個である、請求項1に記載の欺まん検出方法。
- 前記被検者に前記質問を行い、前記被検者が前記質問に回答することを許可した後、更なる質問を前記被検者に行う前に、或る期間待機し、前記被検者の前記少なくとも一方の眼の前記眼球情報の前記基準状態を再確立する、請求項1に記載の欺まん検出方法。
- 前記被検者による発言全体が前記質問に対する回答として評価される、請求項1に記載の欺まん検出方法。
- 前記コンピューティングデバイスによって、各バイナリ出力と、前記少なくとも1つのビデオカメラにより記録された各対応するビデオとを保存するステップを含む、請求項1に記載の欺まん検出方法。
- 被検者の眼球情報に基づいた欺まん検出方法であって、前記方法は、
検査中に前記被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、前記スタンドオフデバイスは前記被検者と物理的に接触せず、前記スタンドオフデバイスは、前記被検者の少なくとも一方の眼の接写ビューを記録するように構成された少なくとも1つのビデオカメラを有し、前記スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、
前記被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、前記認知負荷は、前記被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、
前記被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、前記覚醒状態は、前記被検者の神経系の活性化に基づく、ステップと、
前記少なくとも1つのビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記被検者に質問する前に、前記被検者の前記少なくとも一方の眼の前記眼球情報の基準状態を確立するステップと、
前記被検者に質問を行い、前記被検者が前記質問に回答することを許可するステップと、
前記質問を行い、前記被検者が前記質問に回答する時間を含めた後、前記眼球情報を処理して、前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、前記眼球信号の変化のみに基づいて前記認知状態モデルおよび前記感情状態モデルを評価し、前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、
真実または欺まんのバイナリ出力を判断するステップと、
前記バイナリ出力を管理者に表示するステップと、
を含み、
前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定する前記ステップは、前記被検者の回答中の期間にわたって取得された複数の推定値を含み、前記複数の推定値は、重み付けされ、組み合わされて、前記バイナリ出力が生成される、欺まん検出方法。 - 被検者の眼球情報に基づいた欺まん検出方法であって、前記方法は、
検査中に前記被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、前記スタンドオフデバイスは前記被検者と物理的に接触せず、前記スタンドオフデバイスは、前記被検者の少なくとも一方の眼の接写ビューを記録するように構成された少なくとも1つのビデオカメラを有し、前記スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、
前記被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、前記認知負荷は、前記被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、
前記被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、前記覚醒状態は、前記被検者の神経系の活性化に基づく、ステップと、
前記少なくとも1つのビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記被検者に質問する前に、前記被検者の前記少なくとも一方の眼の前記眼球情報の基準状態を確立するステップと、
前記被検者に質問を行い、前記被検者が前記質問に回答することを許可するステップと、
前記質問を行い、前記被検者が前記質問に回答する時間を含めた後、前記眼球情報を処理して、前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、前記眼球信号の変化のみに基づいて前記認知状態モデルおよび前記感情状態モデルを評価し、前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、
真実または欺まんのバイナリ出力を判断するステップと、
前記バイナリ出力を管理者に表示するステップと、
前記コンピューティングデバイスによって、各バイナリ出力と、前記少なくとも1つのビデオカメラにより記録された各対応するビデオとを保存するステップと、
を含む、欺まん検出方法。 - 被検者の眼球情報に基づいた動作リスクの評定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
複数の画像を被検者に表示するように構成された電子表示画面を設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記電子ディスプレイにより、少なくとも一方の眼球運動タスクを表示するステップと、
前記少なくとも一方の眼球運動タスク中に、前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記眼球信号の変化に対応する前記少なくとも一方の眼球運動タスクと組み合わされた前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の職務適性結果を判断するステップであって、
前記職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、
前記被検者および/または監督者に、前記被検者の前記職務適性結果を表示するステップと、
を含む、動作リスクの評定方法。 - 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項16に記載の動作リスクの評定方法。
- 前記少なくとも1つの眼球運動タスクは、以下のもの、瞳孔対光反射、視覚性運動反射、水平注視眼振、円滑追跡、視線較正または驚愕反応のうちの任意のものを含む、請求項17に記載の動作リスクの評定方法。
- 前記電子表示画面は、スマートフォン、タブレット、ラップトップ画面、デスクトップ画面または電子画面のものである、請求項17に記載の動作リスクの評定方法。
- 前記ビデオカメラ、前記電子表示画面および前記コンピューティングデバイスは、全てスマートフォンまたはタブレットとして含まれる、請求項17に記載の動作リスクの評定方法。
- 被検者の眼球情報に基づいた動作リスクの評定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを受動的に記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の職務適性結果を判断するステップであって、
前記職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、
前記被検者および/または監督者に、前記被検者の前記職務適性結果を表示するステップと、
を含む、動作リスクの評定方法。 - 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項6に記載の動作リスクの評定方法。
- 前記職務適性結果は前記被検者の酩酊度に関する、請求項22に記載の動作リスクの評定方法。
- 前記職務適性結果は前記被検者の機能障害度に関する、請求項22に記載の動作リスクの評定方法。
- 前記職務適性結果は前記被検者の疲労度に関する、請求項22に記載の動作リスクの評定方法。
- 前記職務適性結果は前記被検者の不安度および/またはストレス度に関する、請求項22に記載の動作リスクの評定方法。
- 被検者の眼球情報に基づいた前記被検者の心的状態の評定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを受動的に記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の前記心的状態を判断するステップと、
前記被検者および/または監督者に、前記被検者の前記心的状態を表示するステップと、
を含む、心的状態の評定方法。 - 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項27に記載の心的状態の評定方法。
- 前記心的状態は前記被検者の酩酊度に関する、請求項28に記載の心的状態の評定方法。
- 前記心的状態は前記被検者の機能障害度に関する、請求項28に記載の心的状態の評定方法。
- 前記心的状態は前記被検者の疲労度に関する、請求項28に記載の心的状態の評定方法。
- 前記心的状態は前記被検者の不安度および/またはストレス度に関する、請求項28に記載の心的状態の評定方法。
- 被検者の眼球情報に基づいた学習の最適化方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
複数の教育主題を前記被検者に表示するように構成された第1の電子ディスプレイを設けるステップと、
出力をインストラクターに表示するように構成された第2の電子ディスプレイを設けるステップと、
前記ビデオカメラ、前記第1の電子ディスプレイおよび前記第2の電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記複数の教育主題を学習している間、前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、最適化アルゴリズムの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記被検者が受ける低度から高度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、前記認知負荷は、前記被検者が心的資源を利用する程度を測定する、ステップと、
前記コンピューティングデバイスにより、前記眼球信号の前記変化に基づいて前記認知状態モデルを評価し、前記被検者が受ける前記低度から高度の認知負荷の確率を判断するステップと、
前記第2の電子ディスプレイにより、前記被検者が受ける前記低度から高度の認知負荷の確率を前記インストラクターに表示するステップと、
を含む、学習の最適化方法。 - 前記コンピューティングデバイスにより、前記被検者の前記少なくとも一方の眼との関連で前記第1の電子ディスプレイの位置を確立するステップと、前記眼球信号の変化から、前記複数の教育主題との関連で被検者の視線位置を判断するステップと、前記複数の教育主題の前記被検者の視線位置および前記眼球信号の変化を前記被検者の認知負荷とリンク付けするステップと、前記第2の電子ディスプレイにより前記インストラクターに対し、前記複数の教育主題との関連で前記被検者の認知負荷を表示するステップと、
を含む、請求項33に記載の学習の最適化方法。 - 電力スペクトル密度周波数変換を利用することによって、認知負荷の変化から結果として生じる前記被検者の瞳孔拡張を、周辺輝度の変化から分離するステップを含む、請求項33に記載の学習の最適化方法。
- 代表母集団または被検者の事前データに基づいて前記被検者の学習スケールを有する最適学習スケールモデルを提供するステップであって、前記学習スケールは、刺激不足から過剰の範囲をとる、ステップと、前記コンピューティングデバイスにより、前記眼球信号の変化を評価して、前記学習スケールに沿った前記被検者の位置を判断するステップと、前記第2のディスプレイにより前記インストラクターに対し、前記学習スケールに沿った前記被検者の位置を表示するステップとを含む、請求項33に記載の学習の最適化方法。
- 短期および/または長期記憶の強度を判断するように構成された記憶形成モデルを提供するステップと、前記コンピューティングデバイスにより、前記眼球信号の変化を評価して、前記複数の教育主題との関連で前記被検者の前記短期および/または前記長期記憶の強度を判断するステップと、前記第2のディスプレイにより前記インストラクターに対し、前記複数の教育主題との関連で前記被検者の前記短期および/または前記長期記憶の強度を表示するステップとを含む、請求項33に記載の学習の最適化方法。
- 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項33に記載の学習の最適化方法。
- 前記複数の教育主題を学習している間、前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップは、前記複数の教育主題を学習している間、前記カメラにより、前記被検者の表情および/または姿勢を記録することも含む、請求項33に記載の学習の最適化方法。
- 被検者の眼球情報に基づいた認知負荷の測定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の前記認知負荷を判断するステップと、
前記被検者および/または監督者に、前記被検者の前記認知負荷を表示するステップと、
を含む、認知負荷の測定方法。 - 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項40に記載の学習の最適化方法。
- 被検者の眼球情報に基づいた短期および/または長期記憶符号化の測定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の前記認知負荷を判断するステップと、
前記被検者および/または監督者に、前記被検者の前記認知負荷を表示するステップと、
を含む、短期および/または長期記憶符号化の測定方法。 - 前記眼球信号の変化は、以下のもの:眼球運動、視線位置X、視線位置Y、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー(空間)、視線のずれ(極角)、視線のずれ(偏心)、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路(経時的視線軌道)、瞳孔径、瞳孔領域、瞳孔対称性、速度(瞳孔径の変化)、加速(速度変化)、痙攣(瞳孔変化加速)、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー(周期性からのずれ)、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域(斜視)、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項42に記載の短期および/または長期記憶符号化の測定方法。
- 虹彩生理学と、被検者の認知状態および/または感情状態との間の関係の発見方法であって、前記方法は、
コンピューティングデバイスを設けるステップと、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
前記被検者の下瞼の皮膚に保持されるように構成された第1のライトを設け、光が前記少なくとも一方の眼の中から光ることを可能にするステップと、
前記被検者から離れた距離に位置し、前記被検者と接触しないように構成され、前記被検者の前記少なくとも一方の眼の支質を照明するように構成された第2のライトを設けるステップであって、
前記第1のライトおよび前記第2のライトは共に電子的に同期され、交互に点滅するように構成される、ステップと、
前記ユーザに複数のタスクに従事させるステップであって、前記複数のタスクのうちの各タスクは、認知または感情を喚起するように構成される、ステップと、
前記ビデオカメラにより、前記複数のタスクによって生じた前記被検者の前記認知状態および/または前記感情状態に起因した前記虹彩筋肉組織における反応および前記支質における対応する歪みを含む眼球情報を記録するステップと、
前記コンピューティングデバイスにより、最適化アルゴリズムの使用を通じて、前記眼球情報を処理し、前記虹彩筋肉組織における前記反応と、前記支質における前記歪みとの間の相関を識別するステップと、
前記コンピューティングデバイスにより、前記被検者が前記複数のタスクによって生じた前記認知状態および/または前記感情状態にあったときに、前記虹彩筋肉組織の予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な前記支質における少なくとも1つの予測歪みを識別するステップと、
を含む、関係の発見方法。 - 前記第1のライトはNIR LEDを含む、請求項44に記載の関係の発見方法。
- 前記第2のライトはNIR LEDを含む、請求項44に記載の関係の発見方法。
- 前記第1のライトおよび前記第2のライトは交互に点滅するように構成される、請求項44に記載の関係の発見方法。
- 前記第1のライトは150mwNIR LEDを含む、請求項44に記載の関係の発見方法。
- 前記第2のライトは150mwNIR LEDを含む、請求項44に記載の関係の発見方法。
- 前記第1のライトおよび前記第2のライトは、160Hzで交互に点滅し、結果として80Hzの効果を生じるように構成される、請求項44に記載の関係の発見方法。
- 可視光画像から近赤外線画像を生成する方法を更に含み、前記方法は、
前記被検者の前記少なくとも一方の眼の前記接写ビューを記録するように構成された可視スペクトルビデオカメラを設けるステップと、
前記可視スペクトルビデオカメラにより、前記被検者の前記認知状態および/または前記感情状態に起因した前記支質における前記歪みを含む前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記可視スペクトルビデオカメラからの前記眼球情報を用いて、敵対的生成ネットワークを通じて前記被検者の前記少なくとも一方の眼の赤外線画像を予測するステップと、
を含み、
前記予測は、前記コンピューティングデバイスにより、前記赤外線画像を作成するために前記支質における前記少なくとも1つの予測歪みを利用する、請求項1に記載の関係の発見方法。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962950918P | 2019-12-19 | 2019-12-19 | |
US62/950,918 | 2019-12-19 | ||
US17/247,635 US20210186396A1 (en) | 2019-12-19 | 2020-12-18 | Ocular system to assess operational risk |
US17/247,634 US11928632B2 (en) | 2019-12-19 | 2020-12-18 | Ocular system for deception detection |
US17/247,635 | 2020-12-18 | ||
US17/247,636 | 2020-12-18 | ||
US17/247,637 | 2020-12-18 | ||
US17/247,634 | 2020-12-18 | ||
US17/247,637 US20210186397A1 (en) | 2019-12-19 | 2020-12-18 | Transillumination of iris muscles to infer stroma deformation |
US17/247,636 US11640572B2 (en) | 2019-12-19 | 2020-12-18 | Ocular system to optimize learning |
PCT/US2020/070939 WO2021127704A1 (en) | 2019-12-19 | 2020-12-19 | Ocular system for deception detection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023508339A true JP2023508339A (ja) | 2023-03-02 |
Family
ID=76438170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022538381A Pending JP2023508339A (ja) | 2019-12-19 | 2020-12-19 | 欺まん検出のための眼球システム |
Country Status (6)
Country | Link |
---|---|
US (5) | US11928632B2 (ja) |
EP (1) | EP4076136A4 (ja) |
JP (1) | JP2023508339A (ja) |
AU (1) | AU2020405228A1 (ja) |
CA (1) | CA3160048A1 (ja) |
WO (1) | WO2021127704A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11298062B2 (en) * | 2017-02-01 | 2022-04-12 | Conflu3Nce Ltd | Multi-purpose interactive cognitive platform |
US11176675B2 (en) | 2017-02-01 | 2021-11-16 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
US11158060B2 (en) | 2017-02-01 | 2021-10-26 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
CN111291885B (zh) * | 2020-01-20 | 2023-06-09 | 北京百度网讯科技有限公司 | 近红外图像的生成方法、生成网络的训练方法和装置 |
US20220211266A1 (en) * | 2021-01-05 | 2022-07-07 | Corey Joseph Brewer | Police assistance device and methods of use |
US20230274582A1 (en) * | 2022-02-28 | 2023-08-31 | Securiport Llc | Deception detection |
US20230309882A1 (en) * | 2022-04-05 | 2023-10-05 | Al Seer Pte. Ltd. | Multispectral reality detector system |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040143170A1 (en) | 2002-12-20 | 2004-07-22 | Durousseau Donald R. | Intelligent deception verification system |
US7306337B2 (en) | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
US20070270659A1 (en) | 2006-05-03 | 2007-11-22 | Giegerich Gary D | Apparatus and Method for Remotely Detecting Deception |
US7614745B2 (en) | 2007-11-02 | 2009-11-10 | Visionetx, Inc. | System for analyzing eye responses to automatically determine impairment of a subject |
US7938785B2 (en) * | 2007-12-27 | 2011-05-10 | Teledyne Scientific & Imaging, Llc | Fusion-based spatio-temporal feature detection for robust classification of instantaneous changes in pupil response as a correlate of cognitive response |
US20090216092A1 (en) | 2008-02-26 | 2009-08-27 | Acunetx, Inc. | System for analyzing eye responses to accurately detect deception |
US20100324454A1 (en) | 2009-06-22 | 2010-12-23 | Kircher John C | Deception detection using oculomotor movements |
US20110066082A1 (en) | 2009-09-16 | 2011-03-17 | Duffy Charles J | Method and system for quantitative assessment of visual motor response |
US20120238831A1 (en) * | 2011-03-18 | 2012-09-20 | Jacob Benford | Portable Neurocognitive Assesment and Evaluation System |
CA2855984C (en) * | 2011-11-22 | 2023-03-14 | Dignity Health | System and method for using microsaccade dynamics to measure attentional response to a stimulus |
US9842511B2 (en) | 2012-12-20 | 2017-12-12 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for facilitating attention to a task |
US10716469B2 (en) * | 2013-01-25 | 2020-07-21 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods |
US10231614B2 (en) * | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
CN105792729B (zh) * | 2013-05-03 | 2018-04-27 | 眼泪科学公司 | 用于对睑板腺进行成像以供睑板腺分析的眼睑照明系统和方法 |
KR102173699B1 (ko) * | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
AU2015274601B2 (en) | 2014-06-11 | 2020-02-27 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for non-intrusive deception detection |
US9563805B2 (en) * | 2014-09-02 | 2017-02-07 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
US9357966B1 (en) | 2014-12-18 | 2016-06-07 | Karen Elise Cohen | Drug screening device for monitoring pupil reactivity and voluntary and involuntary eye muscle function |
US20180279948A1 (en) * | 2015-10-07 | 2018-10-04 | BAE Systems Information and Electronic System Systems Integration Inc. | Method and system for pupillometric assessment of toxin exposure |
US10575728B2 (en) | 2015-10-09 | 2020-03-03 | Senseye, Inc. | Emotional intelligence engine via the eye |
CA3013943A1 (en) * | 2016-02-08 | 2017-08-17 | Nuralogix Corporation | Deception detection system and method |
UA116785U (uk) | 2016-11-11 | 2017-06-12 | Державна Установа "Інститут Очних Хвороб І Тканинної Терапії Ім. В.П. Філатова Намн України" | Спосіб діафаноскопії ока з використанням траспальпебрального світлодіодного випромінювання інфрачервоного спектра |
US9953650B1 (en) * | 2016-12-08 | 2018-04-24 | Louise M Falevsky | Systems, apparatus and methods for using biofeedback for altering speech |
US20180160959A1 (en) | 2016-12-12 | 2018-06-14 | Timothy James Wilde | Modular electronic lie and emotion detection systems, methods, and devices |
JP2018142258A (ja) * | 2017-02-28 | 2018-09-13 | オムロン株式会社 | 生産管理装置、方法およびプログラム |
WO2018207183A1 (en) * | 2017-05-09 | 2018-11-15 | Eye-Minders Ltd. | Deception detection system and method |
US20200178876A1 (en) * | 2017-12-05 | 2020-06-11 | Yuen Lee Viola Lam | Interactive and adaptive learning, neurocognitive disorder diagnosis, and noncompliance detection systems using pupillary response and face tracking and emotion detection with associated methods |
EP3806710A4 (en) * | 2018-06-18 | 2022-03-30 | New Jersey Institute of Technology | METHOD, SYSTEM AND APPARATUS FOR DIAGNOSTIC EVALUATION AND SCREENING OF BINOCULAR MALFUNCTIONS |
CN111081371A (zh) * | 2019-11-27 | 2020-04-28 | 昆山杜克大学 | 基于虚拟现实的孤独症早期筛查评估系统及方法 |
CN111191573A (zh) * | 2019-12-27 | 2020-05-22 | 中国电子科技集团公司第十五研究所 | 一种基于眨眼规律识别的驾驶员疲劳检测方法 |
-
2020
- 2020-12-18 US US17/247,634 patent/US11928632B2/en active Active
- 2020-12-18 US US17/247,637 patent/US20210186397A1/en active Pending
- 2020-12-18 US US17/247,636 patent/US11640572B2/en active Active
- 2020-12-18 US US17/247,635 patent/US20210186396A1/en active Pending
- 2020-12-19 JP JP2022538381A patent/JP2023508339A/ja active Pending
- 2020-12-19 CA CA3160048A patent/CA3160048A1/en active Pending
- 2020-12-19 AU AU2020405228A patent/AU2020405228A1/en active Pending
- 2020-12-19 EP EP20902555.0A patent/EP4076136A4/en active Pending
- 2020-12-19 WO PCT/US2020/070939 patent/WO2021127704A1/en unknown
-
2023
- 2023-03-30 US US18/128,987 patent/US20230306341A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11928632B2 (en) | 2024-03-12 |
US20230306341A1 (en) | 2023-09-28 |
AU2020405228A1 (en) | 2022-07-07 |
US11640572B2 (en) | 2023-05-02 |
WO2021127704A1 (en) | 2021-06-24 |
US20210186397A1 (en) | 2021-06-24 |
CA3160048A1 (en) | 2021-06-24 |
EP4076136A1 (en) | 2022-10-26 |
US20210192351A1 (en) | 2021-06-24 |
US20210186395A1 (en) | 2021-06-24 |
EP4076136A4 (en) | 2023-12-27 |
US20210186396A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928632B2 (en) | Ocular system for deception detection | |
US10342472B2 (en) | Systems and methods for assessing and improving sustained attention | |
US9101312B2 (en) | System for the physiological evaluation of brain function | |
US20170364732A1 (en) | Eye tracking via patterned contact lenses | |
US20140364761A1 (en) | An apparatus and method for psychiatric evaluation | |
US20150282705A1 (en) | Method and System of Using Eye Tracking to Evaluate Subjects | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
CN113693552A (zh) | 视觉疲劳监测方法、装置、电子设备及可读存储介质 | |
CA3013267A1 (en) | Method and system for quantitative assessment of visual motor response | |
AU2014234955B2 (en) | Automatic detection of task transition | |
US9355366B1 (en) | Automated systems for improving communication at the human-machine interface | |
TW202020625A (zh) | 一種眼動凝視之即時辨識方法及採用該方法之眼動凝視即時辨識系統 | |
US20220211310A1 (en) | Ocular system for diagnosing and monitoring mental health | |
Florea et al. | Computer vision for cognition: An eye focused perspective | |
US11896376B2 (en) | Automated impairment detection system and method | |
US20240138762A1 (en) | Automated impairment detection system and method | |
US20240156189A1 (en) | Systems and methods for using eye imaging on face protection equipment to assess human health | |
EP2442707A1 (en) | A method and system for correlation measurements of eye function | |
Florea et al. | Computer Vision for Cognition | |
Islam et al. | BinoVFAR: An Efficient Binocular Visual Field Assessment Method using Augmented Reality Glasses | |
Marchak | Measuring eye behavior. | |
EP3164057B1 (en) | System and method for the determination of parameters of eye fixation | |
Ahtola | Eye tracking Based Methods for Evaluation of Infants’ Visual Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |