JPWO2020145161A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents
情報処理装置、移動装置、および方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2020145161A1 JPWO2020145161A1 JP2020565705A JP2020565705A JPWO2020145161A1 JP WO2020145161 A1 JPWO2020145161 A1 JP WO2020145161A1 JP 2020565705 A JP2020565705 A JP 2020565705A JP 2020565705 A JP2020565705 A JP 2020565705A JP WO2020145161 A1 JPWO2020145161 A1 JP WO2020145161A1
- Authority
- JP
- Japan
- Prior art keywords
- driver
- unit
- eyeball
- information
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 155
- 230000010365 information processing Effects 0.000 title claims description 100
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 454
- 230000037007 arousal Effects 0.000 claims abstract description 181
- 238000004458 analytical method Methods 0.000 claims abstract description 171
- 230000036626 alertness Effects 0.000 claims abstract description 121
- 230000004459 microsaccades Effects 0.000 claims abstract description 116
- 230000004434 saccadic eye movement Effects 0.000 claims abstract description 85
- 230000006399 behavior Effects 0.000 claims description 405
- 230000008569 process Effects 0.000 claims description 136
- 238000012545 processing Methods 0.000 claims description 114
- 238000003672 processing method Methods 0.000 claims description 12
- 230000004418 eye rotation Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 89
- 241001465754 Metazoa Species 0.000 description 62
- 238000001514 detection method Methods 0.000 description 62
- 230000033001 locomotion Effects 0.000 description 43
- 210000001508 eye Anatomy 0.000 description 42
- 238000004891 communication Methods 0.000 description 39
- 210000004556 brain Anatomy 0.000 description 37
- 238000011156 evaluation Methods 0.000 description 22
- 238000012544 monitoring process Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 13
- 230000004424 eye movement Effects 0.000 description 13
- 206010062519 Poor quality sleep Diseases 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 238000011084 recovery Methods 0.000 description 12
- 210000003128 head Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 241000251468 Actinopterygii Species 0.000 description 9
- 230000010391 action planning Effects 0.000 description 8
- 230000001149 cognitive effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000013589 supplement Substances 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000007177 brain activity Effects 0.000 description 5
- 230000010485 coping Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000000946 synaptic effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 241000282320 Panthera leo Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000005062 synaptic transmission Effects 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 241000283690 Bos taurus Species 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 2
- 241000283153 Cetacea Species 0.000 description 2
- 241000282819 Giraffa Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 241001494479 Pecora Species 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000004071 biological effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 230000003387 muscular Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000003478 temporal lobe Anatomy 0.000 description 2
- 241000962514 Alosa chrysochloris Species 0.000 description 1
- 206010003840 Autonomic nervous system imbalance Diseases 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000252229 Carassius auratus Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282821 Hippopotamus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000736305 Marsilea quadrifolia Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 241001247203 Syngnathidae Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000004452 microanalysis Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004439 pupillary reactions Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1101—Detecting tremor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者(ドライバ)の操作で走行を行うといったモード切り替えが必要となると予測される。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
運転者の脳内活動状況を検証する代表的処理として、運転者に課題を提示して、その課題に対する回答を検証する処理がある。
また、特許文献2(特開2015−115045号公報)は、運転者に特定のスイッチの操作指示を出力し、運転者が指示に従って正しい操作を行うまでの時間を計測して運転者の覚醒状態を判定する構成を開示している。
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置にある。
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置にある。
情報処理装置において実行する情報処理方法であり、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法にある。
移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラムにある。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。表示部に表示された課題を観察する運転者の眼球挙動を解析する眼球挙動解析部と、眼球挙動解析部の解析結果に基づいて、運転者の覚醒度を判定する覚醒度判定部を有する。覚醒度判定部は運転者が課題を解決するための固視やマイクロサッカード等の眼球挙動を実行しているか否かを解析して運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。
本構成により、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.移動装置と情報処理装置の構成と処理の概要について
2.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
3.本開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について
4.情報処理装置における覚醒度判定処理の実行構成について
5.運転者の覚醒度を判定するために運転者に提示する課題の具体例について
6.本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて
7.移動装置の具体的な構成と処理例について
8.情報処理装置の構成例について
9.本開示の構成のまとめ
手動運転のみが許容される車両や、一部の運転補助をシステムが行う部分的な自動運転車両は、基本的に運転操舵の責任は運転者にある。近年、このような車両においてドライバモニタリングシステムを装着した車両が増加している。現行のドライバモニタリングシステムは基本的に運転者の運転操舵作業を観測し、運転者の操舵離脱や異常を検出するものである。
具体的には、運転者の眼球の挙動を解析して、運転者の覚醒度を判定する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このように覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
すなわち、通知から実際の運転者の覚醒が十分復帰するまでの時間は異なることからその復帰特性に合わせて通知のタイミングを変更することが必要である。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者に大きな負担を発生させることなく、かつ短時間で運転者の覚醒度を判定する処理を行う。
どの程度早めに通知を行うかは、運転者状態の定常的モニタリングにより得られる各種の可観測状態情報に基づいて決定する。可観測状態情報から復帰に要する時間等、運転者固有の復帰特性は、学習により推定することが可能である。この可観測状態からの最適な復帰通知タイミングを決定して通知や警報を実行する。運転者の覚醒状態が手動運転に復帰してよい状態であるか否かの確認が必要となるのは、通知後に実際に車両の操舵を運転者に譲渡する前の段階である。
図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図1に示す自動車10に本開示の情報処理装置が装着されている。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。これら機器は測位センサともいう。
運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報や、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔や眼球の動きを検出するためのカメラやセンサ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
この覚醒度判定処理の具体例については後段で詳細に説明する。
データ処理部11は、さらに、例えば、自動運転の許容される自動運転区間から、自動運転が許容されない手動運転区間が近づいてきた場合等、自動運転モードから手動運転モードへの切り替えの必要が発生した場合、通知部15を介して、運転者に対して手動運転モードへの切り替えを行うように通知する処理等を実行する。
すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば30秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の120秒前に行う等の処理を行う。
通知部15を構成する表示部に対する警告表示の例を図2に示す。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
「手動運転に切り替えてください」
なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
図3には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
図4には、運転者情報取得部12に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、運転者情報取得部12は、運転者の位置、姿勢を検出するための検出器として、ToFカメラ、ステレオカメラ、シート・ストレイン・ゲージ(Seat Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識部(Face(Head) Recognition)、運転者眼球追跡部(ドライバ・アイ・トラッカー(Driver Eye Tracker))、運転者顔追跡部(ドライバー・フェイシャル・トラッカー(Driver Facial Tracker))等を備える。
運転者顔追跡部(ドライバー・フェイシャル・トラッカー(Driver Facial Tracker))は、運転者の顔や頭部の動きを検出する。
これらは、具体的には、例えばカメラや様々なセンサによって構成される。例えば眼球の電位計測を行うEOG(Electro−Oculogram)等のセンサを用いた構成としてもよい。
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図5は、図1に示す自動車10のデータ処理部11が実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
次に、開示の移動装置、情報処理装置が実行する運転者の覚醒度判定処理について説明する。
前述したように、運転者は、手動運転の開始時点において覚醒度が十分に高い状態であることが必要である。すなわち、確かな判断力に基づいて正しい運転動作が可能な状態であることが求められる。運転者の覚醒度が低い場合、手動運転を開始させることはできない。運転者の覚醒度が低い場合、早めに手動運転への切り替え通知を行い、さらに、その通知後においても、運転者の覚醒度の推移を確認する処理を行うことが必要となる。
具体的には、運転者の眼球の挙動を解析して、運転者の覚醒度を推定または判定する。
(a)自己の運動を三半規管等で捉え、その運動を打ち消すための前庭動眼運動を行う特性、
(b)聴覚や臭覚や視覚刺激等の入力情報の理解のために、補足情報の探索や詳細確認を行う際に発現する眼球挙動特性
本開示の処理は、上記(b)の眼球挙動特性を解析することで、運転者の覚醒度を推定または判定する。
情報処理は、意識判断と無意識判断に大別されるが、意識判断を行う場合には、例えば、判断対象に視線の中心視野を振り向け、対象の詳細特徴を中心視野で捉え、捉えた対象物と記憶情報との照合処理を実行する。
なお、自動運転走行中においても、運転者は自動運転が安全に行われているかを注意している場合もある。その様な状況では、運転者はシステムからの手動運転復帰要請の通知前に復帰必要性を意識して、自主的に手動運転へ復帰する待機を行う場合もある。本開示のシステムは、このような状態についても解析するため、運転者の状態モニタリングの段階から運転者の眼球挙動特性を解析することを可能としている。
これに対して、本開示のシステムは、時系列的なミクロ的解析である眼球の詳細挙動解析を行う。例えば、運転者が課題を目視で理解し、その課題に沿って対象を目視して取り込んだ視覚的な情報と記憶情報とを照合して判断を行う過程の眼球の詳細挙動解析を行う。この際、細部を確認するため中心視野の局所位置補正となるマイクロサカード等の挙動が観測される。他方で、脳内で判断を司るニューロンに入力される情報は多岐にわたり、判断のシナプス発火が起きるのは、それら多岐にわたる情報の入力に伴いシナプス電位が一定以上の閾値を超えた場合に起こることが知られている。つまり、脳内の覚醒状態で起こる活動には、中心視野で対象をとらえる以前から、個々のニューロンでは弱い形跡(エビデンス)情報の蓄積から始まり、発火の直前まではその判断の決め手となる追加情報の補充が該当するニューロンで進み、シナプス電位が一定以上を超えると、該当ニュウロンで判断の閾値の発火が起こり判断の伝達開始に至る。
運転者が車両走行時に道路前方を注視した状態では、道路前方の状況により運転者の眼球挙動は大きく異なる。単調な道路区間などでは顕著な挙動が現れず、単純なパッシブな視線挙動解析では必ずしも運転者の内部覚醒状態の把握ができない。これに対して本開示の処理ではアクティブな目視課題を運転者に提示し、運転者の内部覚醒度が高い場合に発現が期待される視線挙動の解析を行う。これにより運転者の覚醒復帰状況を高精度で判定することができる。
特徴があまり明瞭ではない複数の動物のシルエットを提示する課題を想定する。
複数のシルエット(図柄)を同時に提示し、それらから特徴が異なる図柄を一つ選択せよという課題を提示する。
例えば、2つ以上の捕食動物をランダムに配置し、さらに一つだけ牛や羊や豚と言った家畜のシルエットを配置する。
そのため、観測挙動が長く続くこともあれば、短い時間で完結するケースもある。単純な色の差異を判定させる課題や、明瞭な差異がある二者択一問題などは、周辺視野で特徴を捉えれば判断が完了し、眼球の局所探索挙動が発現しない場合があり、運転者の脳内活動状態判定に用いる課題には適さない。
本開示の根幹をなす技術は、提示課題の解決を行うための思考的判断に伴い発生する運転者の挙動、具体的には眼球挙動の解析にある。
重要な情報については主に中心視野で観察し、この観察情報について、断片的な記憶と俯瞰的な記憶とを参照しながら処理を行う。
従って、運転者個人単位の学習処理によって生成した学習辞書を利用して覚醒度判定を行うことが好ましい。
本開示の処理は、このようなボタン操作等、運転者に対する操作を要求しない。運転者の眼球挙動をセンサによって解析するのみであり、運転者に回答を入力させるといった負担は発生しない。
これらの処理過程で不足情報を捉えたり網膜の継時変化を捉えたりする必要性から前述した眼球の固視(Fixation)やマイクロサッカード(眼球微小回転)等の一定の挙動が観測される。
なお、前述したように、眼球の挙動解析を通して運転者の挙動解析を行う場合、運転者毎の固有挙動特性を学習解析した判定器を用いることが好ましい。
コンソールパネルやHUDなどの目視可能な表示部(インタフェース)に表示して、運転者の眼球挙動を解析する。この処理により、短時間で運転者の覚醒度判定が可能となる。
次に、本開示の移動装置、情報処理装置の覚醒度判定処理の実行構成について説明する。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者に大きな負担を発生させることなく、かつ短時間で運転者の覚醒度を判定する処理を行う。
運転者の覚醒度の判定処理は、図1に示す自動車10の運転者情報取得部12、およびデータ処理部11において実行される。
図6には、データ処理部11、運転者情報取得部12、表示部16、表示情報記憶部17を示している。
なお、図6は、本開示の移動装置に搭載された情報処理装置の一部構成を示す図である。すなわち、以下において説明する本開示の処理、すなわち運転者の覚醒度判定に適用する構成要素を選択して示したブロック図である。
運転者顔追跡部(ドライバー・フェイシャル・トラッカー(Driver Facial Tracker))51と、運転者眼球追跡部(ドライバ・アイ・トラッカー(Driver Eye Tracker))52である。
これらは、例えばカメラや顔検出センサ、眼球位置検出センサ等によって構成される。
運転者眼球追跡部(Driver Eye Tracker)52の検出した運転者の眼球の動き情報は、データ処理部11の運転者眼球挙動解析部63に入力される。
これら、図6に示す構成では、運転者顔追跡部51、眼球追跡部52やそのデータ処理部63はそれぞれ別構成として図示をしているが、その一部または全ての機能をイメージセンサ素子に一体化して取り込み、モノシリックな構成にしても良い。特に高速処理が必要な処理を、イメージセンサの裏面や近傍に配置する事で、高速な信号配線の引き回しを抑制し、ノイズ発生を抑制することに貢献する。
なお、具体的な課題の例については、後段で説明する。
表示部16には、図に示すように、表示部A(インストルメントパネル)71、表示部B(フロントウィンドウ表示部)72、表示部C(ウェアブル/ポータブル表示部)73、表示部D(HUD(ヘッドアップディスプレイ))74等、様々な形態の表示部がある。
運転者眼球挙動解析部63は、これら運転者の眼球挙動を解析する。
運転者覚醒度判定部65は、運転者眼球挙動解析部63の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のための眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部65は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部65は運転者の覚醒度が低いと判定する。
眼球の挙動解析は、運転者の意識復帰を確認する有効な手段である。なお、例えば視線を振り向けた方向を解析して視線を解析することが可能であることは、従来から知られている。この技術をさらに発展させ、高速で視線挙動の解析を行うことで、眼球のより詳細な挙動検出ができる。
眼球挙動に脳内の活動が反映されることを利用して、運転者の覚醒レベルを高精度で推測することが可能となる。
ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例を図7に示す。
図7に示す例は、人がまず、領域a付近を注視し、その後、領域b付近を注視した際の眼球挙動の軌跡を示したものである。
課題=小動物を数えて下さい
この課題である。
これは挙動特性の斜視や効き目の影響、その日の体調にともなう視力変化など、個人に属した傾向に影響されるため、覚醒判定には個人の特性を加味した状態判別を行うのが望ましく、個人を特定した上で各個人の特性を加味して判定を行うのがよい。
また、システムが運転者の視線が提示情報に振り向けられたことを検出し、検出したことをさらに目視認知したことを受けて認知完了と判断する処理を行ってもよい。
運転者眼球挙動学習器64は、運転者眼球挙動解析部63の解析した眼球挙動情報を入力し、その眼球挙動情報に基づいて運転者覚醒度判定部65が判定した運転者の覚醒度情報を入力し、さらに、運転者の運転操舵情報も入力する。
運転者眼球挙動学習器64は、これらの入力情報に基づいて、運転者の眼球挙動と、その眼球挙動時の運転者の覚醒度レベルの正しい対応関係を学習して、学習データとして記憶部に格納する。これらの処理は外部サーバが実行する構成としてもよい。
また、運転者眼球挙動学習器には、後述する他の生体センサによる運転者生体信号との相関や、日中の利用時間帯などの入力影響因子と連動学習することで、状況適用型判定を行うことで判定の高精度化を図ってもよい。
なお、学習データが存在しない、または少ない場合は、学習データを用いることなく、一般的な眼球挙動と覚醒度との対応データ(人の平均的データ)を用いて覚醒度判定を行う構成としてもよい。
次に、運転者の覚醒度を判定するために運転者に提示する課題の具体例について説明する。
従って、操作に必要な脳内の知覚判断活動が解析できれば、運転者が手動運転可能な判断能力を備えているか否か、すなわち覚醒度が高い状態にあるか否かを判定することができる。
このような不足情報の追加探索処理が行われると、眼球の固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動が発生する。
運転者眼球挙動解析部63は、運転者の眼球挙動として、眼球のサッカード(眼球回転)、固視(Fixation)、マイクロサッカード(眼球微小回転)等が観測されているか否かを解析する。
運転者が、課題解決のための眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部65は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部65は運転者の覚醒度が低いと判定する。
図9に示す例は、複数の動物シルエットを並べて表示して、さらに課題文として、「尾の長い動物を見てください」という課題を提示した例である。
動物シルエットとして、
(a)羊
(b)しか
(c)熊
(d)豚
(e)馬
(f)きりん
これら6種類の動物のシルエットが表示されている。
(S1)課題確認のため、課題表示部に眼球の視線を振り向けるサッカード(眼球回転)と、課題を読み込む固視(フィクセーション)、
(S2)各シルエットを一通り見渡す挙動、(並んで表示されているシルエット全体をさっと見渡す処理であり、特定シルエットに注目しない全体を見渡す視線移動処理)
(S3)正解の対象となる特定のシルエットに視線を振り向けるサッカード(眼球回転)と、特定のシルエットを解析するための固視を行い、特定シルエットの尾や頭部と言った特徴部を確認する処理、
ステップ(S4)として、運転者は、他の不正解と思われる対象も固視する眼球挙動を発生する可能性がある。
特に、課題提示の正解が一つでなく、複数の正解がある場合には、見落としの確認処理のため、多数のシルエットへの固視が発生する可能性が高い。
この場合、ステップ(S5)として、運転者の視線が次の課題提示部にサッカード移動することが予測される。
このような挙動が観測された場合は、運転者が課題を解決しようとしていることを示し、運転者の覚醒度が十分高い状態であると判断することができる。
例えば、危険状況の視覚的把握や、危険を回避するための周囲状況の把握、例えば、道路の障害物や、対向車や崖等の危険物、進行可能な空き方角や空間などの把握にはこれらを視覚的に確認するための眼球挙動が必要となる。
手動運転開始後は、自動運転から手動運転へ引き継ぎが完了する間、徐々に運転機器操舵をシステムから運転者に委ねる過程の運転者の操舵のモニタリングがなされる。運転者がステアリングへ負荷するトルクや操舵機器の操舵力が適切でないと判定された場合や、操舵確認ができない等の状況が確認された場合は、システム(情報処理装置)は、運転者の手動運転復帰能力が不足していると判定し、緊急減速や、徐行、あるいは退避、避難、停車等の処置を行う。
(1)定常時モニタリングによる状態評価
(2)復帰通知に対する応答有無評価、視差呼称等の動的行動正確性評価
(3)応答品質評価
(4)復帰姿勢推移評価
(5)着座推移、着座姿勢評価
(6)PERCLOS(開眼割合)評価
(7)本開示による眼球挙動解析による内部覚醒度評価
(8)操舵装置等への操舵妥当性評価
(9)操舵ノイズ修正妥当性評価
眼球挙動に基づく覚醒度評価に併せて、上記の様々な評価処理も併せて、運転者の手動運転の復帰品質価を行う。
図10には、2つの動物シルエットを並べて表示して、さらに課題文として、「尾の長い動物を見てください」という課題を提示した例である。
動物シルエットとして、
(a)馬
(b)うさぎ
これら2つの動物のシルエットが表示されている。
課題文である「尾の長い動物を見てください」という課題を提示した場合、ほぼ全ての回答者は馬の尾の詳細やうさぎの図柄をまじまじと視線を向けてじっくり注視するまでもなく、即座にどちらの図柄の動物の尾が長いかを判断することができる。
市街地など多様な風景が満ち溢れ、運転者が手動運転する際に視線移動をする対象が多数、存在する状況では、例えば、運転者の視線が向けられる運転方向の風景対応のマップ(サリエンシーマップ)に対する運転者の眼球挙動の解析を行う構成としてもよい。このような構成では恒常的に運転者の内部覚醒度判定を行うことも可能となる。
そこで重要となるのが、安定的に常に固視探索対応の眼球挙動を発生させる情報提示である。このためには、繰り返し性を抑えて、感度低下の無い情報を生成して提示することが必要となる。
(1)複数の動物シルエットを体重順に見させる課題
(2)動物シルエットを、それぞれ様々な角度で回転して表示を行い、回転されたシルエットを見て動物種類を判断させる過程を含む課題
(3)類似する図柄を配列して表示し、各図柄の違いを判断するために個別図柄の特徴の固視確認が必要となる課題
(4)複数の料理を配列して、和食であるか洋食であるかを判断させる課題
(5)ABC等をばらばらに表示して、文字順に見ることを要求する課題
(6)表示図柄を家畜に設定した課題
(7)表示図柄をペットに設定した課題
(8)表示図柄を家禽に設定した課題
(9)表示図柄を魚に設定した課題
(10)表示図柄を昆虫に設定した課題
例えば、これらの多数の課題を図6に示す表示情報記憶部17に格納し、表示情報生成部61は、これらの課題から同じ課題が繰り返されないように選択して提示する構成とすることが好ましい。
図11に示す例も、図9、図10と同様、複数の動物シルエットを並べて表示しているが、課題文として、「ペットになる動物の数を選択してください」という課題を提示した例である。
動物シルエットとして、
(a)秋田犬
(b)牛
(c)熊
(d)プードル
(e)ライオン
これら5種類の動物のシルエットともに、上部に1〜5までの選択可能な数値が表示されている。
(S2)動物シルエット全体の把握
(S3)周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認し、ペットになると推定される対象シルエットを確認するための個別固視のためのサッカード(眼球回転)を開始
(S4)動物シルエット(a)秋田犬を固視
(S5)動物シルエット(a)が犬であるか否かを判断するため、頭部を中心視野で見る局所部分の特徴を確認するためのマイクロサッカード(眼球微小回転)を実行
(S6)他の動物シルエットへ視点を移動させるサッカード(眼球回転)
(S7)動物シルエット(e)ライオンを固視
(S8)動物シルエット(e)が犬であるか否かを判断するため、頭部や尾を中心視野で見る局所部分の特徴を確認するためのマイクロサッカード(眼球微小回転)を実行して、動物シルエット(e)がライオンであると判断
(S9)他の動物シルエットへ視点を移動させるサッカード(眼球回転)
(S10)動物シルエット(d)プードルを固視
(S11)動物シルエット(d)が犬であることを、マイクロサッカード(眼球微小回転)を行うことなく即座に判断
(S12)(S2)における動物シルエット全体の把握時に視野に入り、ペットでないことを仮判定していた動物シルエット(b),(c)に視線を向け、ペットでないことを再確認
(S13)回答選択肢としての数値[2]に視線を移動させるサッカード(眼球回転)
なお、自信が無い場合にはシルエット(b)や(c)へ特徴確認のためのサッカード(眼球回転)を伴う視線移動を行う場合もある。
図12に示す例も、複数の動物シルエットを並べて表示しているが、課題文として、「体重の重い動物順に視線を移動させてください」という課題を提示した例である。
動物シルエットとして、
(a)かば
(b)馬
(c)こうもり
(d)豚
(e)ねずみ
これら5種類の動物のシルエットが表示されている。
(S2)動物シルエット全体の把握
(S3)周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認する。判断が困難なシルエットについては、特徴確認のためにサッカード(眼球回転)によるシルエットに対する視線移動を行い、さらに局所的特徴を確認するための固視やマイクロサッカード(眼球微小回転)を実行する
(S4)判断の付かない対象が無くなったら大きい物から順次、サッカード(眼球回転)を行い、視線を移動させる。
図13に示す例は、複数の魚や海洋生物等を並べて表示し、課題文として、「魚(Fish)は何匹いますか」という課題を提示した例である。
シルエットとして、
(a)かつお
(b)いるか
(c)金魚
(d)えい
(e)くじら
(f)たつのおとしご
これら6種類のシルエットと選択肢1〜4が表示されている。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
(S1)課題確認
(S2)シルエット全体の把握
(S3)周辺視野による全体観察から得られた情報と、脳内の記憶との相関を確認し、魚であると推定される対象シルエットを確認するための個別固視のためのサッカード(眼球回転)を開始
(S4)各シルエットを順に確認するサッカード(眼球回転)を行い、判断が困難な場合は、各シルエットの局所部分の特徴を確認するための固視やマイクロサッカード(眼球微小回転)を実行する。
(S5)回答選択肢としての数値[3]に視線を移動させるサッカード(眼球回転)
図13に示す課題を初めて見た場合、(a)〜(f)の各シルエットは全て魚に見える可能性が高い。
あるいは、例えば(d)えい、(f)たつのおとしご等について、疑問を感じ詳細の確認をするため固視やマイクロサッカード(眼球微小回転)を実行すると想定される。
局所的特徴の確認のための挙動である固視やマイクロサッカード(眼球微小回転)は、運転者が課題となる図柄の特徴を見た経験や記憶等によって異なることになる。
図14は、複数の動物シルエットを表示し、肉食動物の数を選択させる課題である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図15は、複数の調理用品や食材のシルエットを表示し、和食対応のシルエットの数と洋食対応のシルエットの数を選択させる課題である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図16は、様々な種類のシルエットを表示し、逆さに表示されたシルエットの数を選択させる課題である。
図17は、大文字と小文字が混在したアルファベットの文字をランダムに表示し、課題文「枠内の大文字に視線を合わせて下さい」という課題を提示した例である。
このように課題を変更すると運転者に複数の判断を要求することになる。複数の異なる課題を解決するためには、運転者は判断に必要な脳内の活動領域を変更する必要がある。従って、このような複合的な課題に対する眼球挙動解析を行うことで、より精度の高い覚醒度判定が可能となる。
このようにアルファベット順に見る課題を提示すると、覚醒度が高い運転者は文字順を判断して視線移動を行う。
図19は、様々な工具と文具をシルエット表示し、「工具の数と文具の数を選択してください」という課題を提示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図20も、「工具の数と文具の数を選択してください」という課題を提示した例であるが、表示シルエットに工具と文具と、いずれにも含まれないシルエット(動物)を表示した例である。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
なお、図に示す点線枠は、回答例として示しているものであり、表示される課題には含まれない。
図22は、変形文字列を表示して、「6はいくつ含まれますか?」という課題を提示した例である。
図22に示すように変形文字列から特定の文字や数字を選択させる処理等、奇数、偶数、母音、子音、ギリシャ文字等を選別させる処理は視線移動や眼科球挙動を誘発させるために有効な課題となる。
運転者は、この文字を1つずつ見て、その文字に従った方向に視線を移動させる処理を行う。
この処理に際して、運転者はサッカード(眼球回転)、固視、マイクロサッカード(眼球微小回転)等の眼球挙動を行うことになる。
運転者は、馬→犬→猫→キリンの順に視線を移動させる処理を行う。
この処理に際して、運転者はサッカード(眼球回転)、固視、マイクロサッカード(眼球微小回転)等の眼球挙動を行うことになる。
つまり、覚醒時の課題に対するサッカード、マイクロサッカードや固視といった特賞挙動の発現率等から、運転者の内部覚醒レベル推定をすることができる。
運転者覚醒度判定部65は、運転者挙動解析部63から入力した運転者の眼球挙動観測情報に基づいて、運転者が手動運転を実行できるレベルの高い覚醒度を有しているか否かを判定する。
次に、本開示の情報処理装置が実行する運転者の覚醒度判定処理のシーケンスについて説明する。
なお、図25、図26に示すフローチャートに従った処理は、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能であり、CPU等のプログラム実行機能を有するデータ処理部において実行される。
以下、図25に示すフローの各ステップの処理について、順次、説明する。
まず、情報処理装置のデータ処理部は、ステップS101において、眼球挙動特性データ(学習データ)を取得する。
なお学習データは、外部サーバが生成し保持する構成としてもよく、この場合は外部サーバから学習データを取得する。
前述したように、眼球挙動には個人差があり、全ての運転者に対して同様な処理を行うより、運転者固有のデータに基づいて処理を行う構成とするのが好ましい。
従って、運転者個人単位の学習処理によって生成した学習辞書を利用して覚醒度判定を行うことが好ましい。
なお、個人固有の学習データが生成されていない場合は、予め準備されている平均的な人の眼球挙動特性データ(学習データ)を利用して処理を行う。
次に、運転者情報を取得する。処理は、図6に示す運転者情報取得部12が実行する処理である。
このステップS102において取得する運転者情報は、主にパッシブ情報であり、図6に示す運転者顔追跡部(Driver Facial Tracker)51による運転者の顔の動きを取得する。
取得した運転者の顔の動きに基づいて、課題を提示する表示部の選択か否かを判定して表示部の選択処理等を行う。
次に、ステップS103において、ステップS102において取得した運転者情報に基づいて、課題を提示する表示部の選択と眼球挙動解析処理が実行可能であるか否かを判定する。
例えば、運転者が表示部のある位置にいない場合は、課題を表示部に表示しても課題を見ることができない。
この場合(ステップS103=No)は、例えばアラートを出力し、運転者に表示部に課題が提示されることを通知する等の処理を行い、さらに、ステップS102に戻り運転者情報の取得処理を継続して実行する。
ステップS104では、運転者が見ることができる表示部に表示する表示情報、すなわち課題を生成または選択する。
表示情報生成部61は、表示部16に表示する課題を生成する。具体的には、先に説明した複数の動物のシルエットから特徴が異なる図柄を一つ選択せよという課題等を生成する。
なお、図6に示す表示情報記憶部17には、様々な課題を生成するために利用可能な課題や課題生成用のデータが格納されており、表示情報生成部61は、表示情報記憶部17に格納された課題を選択、または格納されたデータを利用して表示部16に表示する課題を生成する。
次に、ステップS105において、ステップS104で選択または生成された表示情報、すなわち課題を表示部に表示する。
この処理は、図6に示す表示部選択部62が実行する。
次に、ステップS106において、眼球挙動解析による覚醒度判定処理を実行する。
図6に示す運転者眼球挙動解析部63は、図6に示す運転者眼球追跡部(Driver Eye Tracker)52の検出した運転者の眼球の動き情報を入力して運転者の眼球の動きを解析する。
運転者眼球挙動解析部63は、これら運転者の眼球挙動を解析する。
運転者覚醒度判定部65は、運転者眼球挙動解析部63の解析した眼球挙動情報に基づいて、運転者の覚醒度を判定する。
運転者が、課題解決のために眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動を実行していることが確認された場合は、運転者覚醒度判定部65は、運転者の覚醒度が高いと判定する。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者覚醒度判定部65は運転者の覚醒度が低いと判定する。
まず、ステップS201において、課題提示後の運転者の眼球挙動の観測データを取得する。
運転者眼球挙動解析部63は、図6に示す運転者眼球追跡部(Driver Eye Tracker)52の検出した運転者の眼球の動きの加速データを取得する。
次に、ステップS202において、ステップS201で取得した観測データから眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動情報を取得する。
前述したようえに、課題が表示部に表示されると、運転者は課題の解決に必要となる情報を取得するための眼球挙動を行う。例えば眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動を行う。運転者眼球挙動解析部63は、これら運転者の眼球挙動情報を観測データから抽出する。
次に、ステップS203において、運転者眼球挙動解析部63は、覚醒度判定に十分なデータが取得できたか否かを判定する。
具体的には、運転者の観測データから抽出される眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであるか否かを判定する。
一方、不十分であると判定した場合はステップS205に進む。
ステップS203において、運転者の観測データから抽出される眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであると判定した場合は、ステップS204に進む。
この処理は、図6に示す運転者覚醒度判定部65が実行する処理である。
一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、運転者の覚醒度が低いと判定する。
この覚醒度判定処理が完了すると、図25のフローのステップS107に進む。
一方、ステップS203において、運転者の観測データから抽出される眼球のサッカード(眼球回転)、固視(Fixation)やマイクロサッカード(眼球微小回転)等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータでないと判定した場合は、ステップS205に進む。
一方、達している場合は、図25のステップS110に進む。この場合は、ステップS110において、覚醒度評価を不合格、すなわち運転者が手動運転復帰可能な覚醒度を有していることが確認できないと判定して処理を終了する。この場合、手動運転への復帰は許容されず、自動車は緊急停止等、手動運転区間への侵入を回避する処理を行う。
図25に戻り、ステップS107以下の処理について説明する。
ステップS107の処理は、ステップS106において、眼球挙動解析による覚醒度判定処理が完了した後、実行される。
ステップS107では、ステップS106における眼球挙動解析による覚醒度判定処理結果として、運転者の覚醒度が手動運転を実行可能なレベルにあるか否かを判定する。
前述したように運転者覚醒度判定部65は、課題提示後の運転者の眼球挙動、すなわちサッカード(眼球回転)、固視、マイクロサッカード(眼球微小回転)等の眼球挙動観測情報に基づいて、運転者の覚醒度判定を実行する。
この場合、ステップS107の判定はYesとなり、ステップS108に進む。
この場合、ステップS107の判定はNoとなり、ステップS109に進む。
ステップS107において、運転者の覚醒度が高く、手動運転を実行可能なレベルにあると判定した場合は、ステップS108において、覚醒度評価を合格と判定し、手動運転復帰を許容する。
一方、ステップS107において、運転者の覚醒度が低く、手動運転を実行可能なレベルにないと判定した場合は、ステップS109において、予め規定された覚醒度判定処理のリトライ回数の上限に達しているか否かを判定する。
一方、達している場合は、ステップS110に進む。
ステップS109において、予め規定された覚醒度判定処理のリトライ回数の上限に達していると判定した場合は、ステップS110の処理を実行する。
一方、これらの眼球挙動が十分、発生していないと判定した場合は、運転者が手動運転可能な高い覚醒度を有していないと判定し、手動運転の開始を許容しない。この場合は、手動運転区間への侵入前に停止する等の緊急退避処理を行う。
運転者固有の復帰予測辞書データを利用して眼球の挙動特性解析結果に基づいて正常な復帰予測を実行することが望ましい。これらの処理により、安全な手動運転を開始させることが可能となる。
なお、上述した実施例では、自動運転から手動運転の引き継ぎの際に運転者の脳内の内部覚醒復帰を判定する実施例を説明したが、眼球挙動の解析手法は、被験者の脳内活動の外的観測可能な反映を解析可能とするものであり、自動運転から手動運転の引き継ぎの際の運転者状態を判定する以外にも様々な利用が可能である。
被験者に提示した課題と、被験者の記憶との照合が必要となる課題であれば、その回答を得る過程は被験者の状態や心理を反映したものとなる。従って、例えば飲酒申告や過労労務申告などの申告課題の提示に際して回答者の真偽判定などに応用も可能である。
なお、被験者が何らかの課題を解決するために必要とする視覚情報を選ぶ時は側頭葉の上側頭溝が、注意を向ける時は頭頂間溝が、眼を動かすときは前頭眼野が活動することが知られている。また、記憶しているものを思い出したりするには、側頭葉の内側にある海馬が働く。また自立神経失調など、いわゆる交感神経と副交感神経の相互バランスの変調による刺激反射の抑制が発生している場合には、眼球挙動が変化することも知られている。従って、本開示の眼球挙動解析処理は、運転者等の被験者のメンタルヘルスの検証やモニタリング処理としても利用可能である。具体的には例えばバス、タクシー等の商用車両の運転者の状態把握や健康管理に利用することで、安全な運行を可能とすることができる。
次に、図27以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
図27は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
さらに、運転者の覚醒度判定に用いられ、覚醒度判定結果に基づいて手動運転復帰を許容するか否かの判定処理にも用いられる。
上述した処理は、図27を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
図29を参照して、このような情報処理装置のハードウェア構成例について説明する。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置。
前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを取得する(1)〜(3)いずれかに記載の情報処理装置。
前記ユーザが前記課題を解決するための眼球挙動として、眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを取得する(1)〜(4)いずれかに記載の情報処理装置。
前記眼球挙動解析部から、前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する(1)〜(5)いずれかに記載の情報処理装置。
前記眼球挙動解析部から、前記ユーザが眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する(1)〜(6)いずれかに記載の情報処理装置。
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定される場合、前記ユーザの覚醒度が高いと判定し、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定されない場合、前記ユーザの覚醒度が低いと判定する(1)〜(7)いずれかに記載の情報処理装置。
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動として眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行していると判定される場合、前記ユーザの覚醒度が高いと判定する(1)〜(8)いずれかに記載の情報処理装置。
前記ユーザが手動運転を実行可能な覚醒度を有しているか否かを判定する(1)〜(9)いずれかに記載の情報処理装置。
物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題である(1)〜(10)いずれかに記載の情報処理装置。
文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題である(1)〜(10)いずれかに記載の情報処理装置。
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置。
前記眼球挙動解析部から、前記運転者が前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する(13)に記載の移動装置。
前記眼球挙動解析部から、前記運転者が眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する(13)または(14)に記載の移動装置。
前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有しないと判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容せず、手動運転区間への侵入を回避する処理を実行する(13)〜(15)いずれかに記載の移動装置。
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラム。
眼球挙動は人によっては斜視やモノビジョンの視力矯正により、情報探索挙動に目の左右差がある場合もあるため、両目解析や課題距離に合わせた片目解析など行ってもよい。
本明細書では、眼球挙動の解析を自動運転から手動運転への引き継ぎ時の覚醒状態判定の際に利用する例を説明しているが、眼球挙動の解析結果は、運転者のその他の生体情報や行動情報とともに、運転者の精神状態推定や疾患予測係数などの算出に適用してメンタルヘルスモニタリングを行ってもよい。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置の運転者の眼球挙動に基づいて運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。表示部に表示された課題を観察する運転者の眼球挙動を解析する眼球挙動解析部と、眼球挙動解析部の解析結果に基づいて、運転者の覚醒度を判定する覚醒度判定部を有する。覚醒度判定部は運転者が課題を解決するための固視やマイクロサッカード等の眼球挙動を実行しているか否かを解析して運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する。
本構成により、運転者が手動運転可能な覚醒度を有するか否かを、表示部に表示された課題を解決しようとする運転者の眼球挙動を解析して判定する構成が実現される。
Claims (19)
- 課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定部を有する情報処理装置。 - 前記課題は、前記ユーザが課題を解決するために不足情報を追加探索する作業を必要とする課題である請求項1に記載の情報処理装置。
- 前記課題は、前記ユーザが課題を解決するための眼球挙動として、眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を発生させる課題である請求項1に記載の情報処理装置。
- 前記眼球挙動解析部は、
前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを取得する請求項1に記載の情報処理装置。 - 前記眼球挙動解析部は、
前記ユーザが前記課題を解決するための眼球挙動として、眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを取得する請求項1に記載の情報処理装置。 - 前記覚醒度判定部は、
前記眼球挙動解析部から、前記ユーザが前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する請求項1に記載の情報処理装置。 - 前記覚醒度判定部は、
前記眼球挙動解析部から、前記ユーザが眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記ユーザの覚醒度を判定する請求項1に記載の情報処理装置。 - 前記覚醒度判定部は、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定される場合、前記ユーザの覚醒度が高いと判定し、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動であると判定されない場合、前記ユーザの覚醒度が低いと判定する請求項1に記載の情報処理装置。 - 前記覚醒度判定部は、
前記ユーザの眼球挙動が前記課題を解決するための眼球挙動として眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行していると判定される場合、前記ユーザの覚醒度が高いと判定する請求項1に記載の情報処理装置。 - 前記覚醒度判定部は、
前記ユーザが手動運転を実行可能な覚醒度を有しているか否かを判定する請求項1に記載の情報処理装置。 - 前記表示情報生成部が生成または取得する課題は、
物体を示すシルエットを複数配列し、課題解決のために各シルエットに対する視線移動が必要となる課題である請求項1に記載の情報処理装置。 - 前記表示情報生成部が生成または取得する課題は、
文字、またはシンボル、または記号、またはピクトグラムの少なくともいずれかのデータを配列し、課題解決のために各データに対する視線移動が必要となる課題である請求項1に記載の情報処理装置。 - 自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記運転者情報取得部の取得情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理部を有し、
前記データ処理部は、
課題を生成または取得して表示部に表示する表示情報生成部と、
前記表示部に表示された課題を観察する前記運転者の眼球挙動を解析する眼球挙動解析部と、
前記眼球挙動解析部の解析結果に基づいて、前記運転者の覚醒度を判定する覚醒度判定部を有する移動装置。 - 前記覚醒度判定部は、
前記眼球挙動解析部から、前記運転者が前記課題を解決するための眼球挙動を実行しているか否かを判定可能なデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する請求項13に記載の移動装置。 - 前記覚醒度判定部は、
前記眼球挙動解析部から、前記運転者が眼球のサッカード(眼球回転)、または固視(Fixation)、またはマイクロサッカード(眼球微小回転)の少なくともいずれかの眼球挙動を実行しているか否かを示すデータを入力し、入力データに基づいて前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定する請求項13に記載の移動装置。 - 前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有すると判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容し、
前記覚醒度判定部が、前記運転者が手動運転に復帰可能な覚醒度を有しないと判定した場合、前記移動装置の制御部は、前記運転者による手動運転開始を許容せず、手動運転区間への侵入を回避する処理を実行する請求項13に記載の移動装置。 - 情報処理装置において実行する情報処理方法であり、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。 - 移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
データ処理部が、前記運転者情報に基づいて、前記運転者が手動運転に復帰可能な覚醒度を有するか否かを判定するデータ処理ステップを実行し、
前記データ処理ステップにおいて、
表示情報生成部が、課題を生成または取得して表示部に表示する表示情報生成ステップと、
眼球挙動解析部が、前記表示部に表示された課題を観察するユーザの眼球挙動を解析する眼球挙動解析ステップと、
覚醒度判定部が、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定する覚醒度判定ステップを実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
表示情報生成部に、課題を生成または取得して表示部に表示させる表示情報生成ステップと、
眼球挙動解析部に、前記表示部に表示された課題を観察するユーザの眼球挙動を解析させる眼球挙動解析ステップと、
覚醒度判定部に、前記眼球挙動解析部の解析結果に基づいて、前記ユーザの覚醒度を判定させる覚醒度判定ステップを実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019000975 | 2019-01-08 | ||
JP2019000975 | 2019-01-08 | ||
PCT/JP2019/050983 WO2020145161A1 (ja) | 2019-01-08 | 2019-12-25 | 情報処理装置、移動装置、および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020145161A1 true JPWO2020145161A1 (ja) | 2021-11-18 |
JP7357006B2 JP7357006B2 (ja) | 2023-10-05 |
Family
ID=71520419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020565705A Active JP7357006B2 (ja) | 2019-01-08 | 2019-12-25 | 情報処理装置、移動装置、および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220081009A1 (ja) |
EP (1) | EP3910612A4 (ja) |
JP (1) | JP7357006B2 (ja) |
KR (1) | KR20210107017A (ja) |
CN (1) | CN113260547A (ja) |
WO (1) | WO2020145161A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7042974B2 (ja) * | 2019-04-24 | 2022-03-28 | 三菱電機株式会社 | 走行環境分析装置、走行環境分析システムおよび走行環境分析方法 |
US11654919B2 (en) * | 2020-08-11 | 2023-05-23 | Aptiv Technologies Limited | Adaptive user-specific automated driver assistance system warnings |
JP2022063952A (ja) * | 2020-10-13 | 2022-04-25 | 株式会社東海理化電機製作所 | 制御装置、提示システム、及びプログラム |
US20240153285A1 (en) * | 2021-06-11 | 2024-05-09 | Sdip Holdings Pty Ltd | Prediction of human subject state via hybrid approach including ai classification and blepharometric analysis, including driver monitoring systems |
US20210380143A1 (en) * | 2021-08-23 | 2021-12-09 | Intel Corporation | Handover assistant for machine to driver transitions |
US20230192100A1 (en) * | 2021-12-22 | 2023-06-22 | Arriver Software Llc | Awareness checker for enhancing collaborative driving supervision |
CN114399752A (zh) * | 2022-02-19 | 2022-04-26 | 桂林电子科技大学 | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080309616A1 (en) * | 2007-06-13 | 2008-12-18 | Massengill R Kemp | Alertness testing method and apparatus |
JP2017097518A (ja) * | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005352895A (ja) * | 2004-06-11 | 2005-12-22 | Kenwood Corp | 車両運転者覚醒システム |
JP2008225537A (ja) | 2007-03-08 | 2008-09-25 | Tamagawa Seiki Co Ltd | 自動車の安全装置 |
DE102012215397A1 (de) * | 2012-08-30 | 2014-03-06 | Robert Bosch Gmbh | Interaktive Aufmerksamkeitssteigerung |
JP2015115045A (ja) | 2013-12-16 | 2015-06-22 | 株式会社デンソー | 車両用居眠り防止装置及び車両用居眠り防止システム |
JP6273823B2 (ja) * | 2013-12-19 | 2018-02-07 | 株式会社デンソー | 状態推定装置、および状態推定プログラム |
JP6524501B2 (ja) * | 2015-06-11 | 2019-06-05 | パナソニックIpマネジメント株式会社 | 車両制御装置、車両制御方法および車両制御プログラム |
JP6656393B2 (ja) * | 2016-10-03 | 2020-03-04 | 三菱電機株式会社 | 運転権限移行判定装置および運転権限移行判定方法 |
-
2019
- 2019-12-25 JP JP2020565705A patent/JP7357006B2/ja active Active
- 2019-12-25 EP EP19909150.5A patent/EP3910612A4/en active Pending
- 2019-12-25 CN CN201980087495.7A patent/CN113260547A/zh active Pending
- 2019-12-25 KR KR1020217019797A patent/KR20210107017A/ko not_active Application Discontinuation
- 2019-12-25 US US17/420,126 patent/US20220081009A1/en active Pending
- 2019-12-25 WO PCT/JP2019/050983 patent/WO2020145161A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080309616A1 (en) * | 2007-06-13 | 2008-12-18 | Massengill R Kemp | Alertness testing method and apparatus |
JP2017097518A (ja) * | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113260547A (zh) | 2021-08-13 |
JP7357006B2 (ja) | 2023-10-05 |
EP3910612A1 (en) | 2021-11-17 |
EP3910612A4 (en) | 2022-03-09 |
KR20210107017A (ko) | 2021-08-31 |
US20220081009A1 (en) | 2022-03-17 |
WO2020145161A1 (ja) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7155122B2 (ja) | 車両制御装置及び車両制御方法 | |
US11738757B2 (en) | Information processing device, moving apparatus, method, and program | |
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
JP7204739B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7357006B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
US11993293B2 (en) | Information processing apparatus, moving apparatus, and method, and program | |
JP7324716B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7424305B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2021145131A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
JPWO2019202881A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
JP7431223B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2021049219A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
US11866073B2 (en) | Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 | |
WO2022172724A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN112672943B (zh) | 信息处理设备、移动装置、方法和程序 | |
KR102667182B1 (ko) | 차량 제어 디바이스 및 차량 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7357006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |