JPWO2019188398A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents
情報処理装置、移動装置、および方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2019188398A1 JPWO2019188398A1 JP2020510647A JP2020510647A JPWO2019188398A1 JP WO2019188398 A1 JPWO2019188398 A1 JP WO2019188398A1 JP 2020510647 A JP2020510647 A JP 2020510647A JP 2020510647 A JP2020510647 A JP 2020510647A JP WO2019188398 A1 JPWO2019188398 A1 JP WO2019188398A1
- Authority
- JP
- Japan
- Prior art keywords
- driver
- information
- unit
- evaluation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 173
- 230000010365 information processing Effects 0.000 title claims description 114
- 230000006399 behavior Effects 0.000 claims abstract description 197
- 238000011156 evaluation Methods 0.000 claims abstract description 196
- 238000012545 processing Methods 0.000 claims abstract description 180
- 230000037007 arousal Effects 0.000 claims abstract description 137
- 230000008569 process Effects 0.000 claims abstract description 132
- 238000004458 analytical method Methods 0.000 claims abstract description 126
- 210000001508 eye Anatomy 0.000 claims abstract description 49
- 230000007774 longterm Effects 0.000 claims abstract description 34
- 230000036626 alertness Effects 0.000 claims abstract description 32
- 210000001747 pupil Anatomy 0.000 claims abstract description 28
- 210000005252 bulbus oculi Anatomy 0.000 claims description 74
- 206010062519 Poor quality sleep Diseases 0.000 claims description 68
- 238000012544 monitoring process Methods 0.000 claims description 49
- 230000003542 behavioural effect Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 230000004434 saccadic eye movement Effects 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000004459 microsaccades Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000036961 partial effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000009209 sensory transmission Effects 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 abstract description 42
- 230000000694 effects Effects 0.000 abstract description 31
- 238000001514 detection method Methods 0.000 description 69
- 230000008859 change Effects 0.000 description 61
- 230000000007 visual effect Effects 0.000 description 53
- 238000003860 storage Methods 0.000 description 47
- 230000033001 locomotion Effects 0.000 description 45
- 238000004891 communication Methods 0.000 description 39
- 230000004044 response Effects 0.000 description 39
- 230000007423 decrease Effects 0.000 description 33
- 230000007704 transition Effects 0.000 description 30
- 238000013439 planning Methods 0.000 description 22
- 238000012546 transfer Methods 0.000 description 22
- 230000001149 cognitive effect Effects 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000009826 distribution Methods 0.000 description 19
- 210000005036 nerve Anatomy 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 18
- 210000005037 parasympathetic nerve Anatomy 0.000 description 15
- 238000011084 recovery Methods 0.000 description 15
- 206010003840 Autonomic nervous system imbalance Diseases 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 14
- 230000029058 respiratory gaseous exchange Effects 0.000 description 14
- 206010041349 Somnolence Diseases 0.000 description 13
- 230000019771 cognition Effects 0.000 description 13
- 206010044565 Tremor Diseases 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 230000007958 sleep Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001186 cumulative effect Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 230000011514 reflex Effects 0.000 description 9
- 230000002889 sympathetic effect Effects 0.000 description 9
- 208000024891 symptom Diseases 0.000 description 9
- 230000010391 action planning Effects 0.000 description 8
- 230000017531 blood circulation Effects 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 7
- 201000002859 sleep apnea Diseases 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 230000004630 mental health Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000036772 blood pressure Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000000241 respiratory effect Effects 0.000 description 5
- 230000005062 synaptic transmission Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 208000010125 myocardial infarction Diseases 0.000 description 4
- 210000001328 optic nerve Anatomy 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 239000002243 precursor Substances 0.000 description 4
- 208000020016 psychiatric disease Diseases 0.000 description 4
- 230000029305 taxis Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 208000008784 apnea Diseases 0.000 description 3
- 210000000467 autonomic pathway Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004071 biological effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 206010008118 cerebral infarction Diseases 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000004400 visual pathway Effects 0.000 description 2
- 210000000239 visual pathway Anatomy 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- FXNSVEQMUYPYJS-UHFFFAOYSA-N 4-(2-aminoethyl)benzenesulfonamide Chemical compound NCCC1=CC=C(S(N)(=O)=O)C=C1 FXNSVEQMUYPYJS-UHFFFAOYSA-N 0.000 description 1
- 208000012219 Autonomic Nervous System disease Diseases 0.000 description 1
- 208000031636 Body Temperature Changes Diseases 0.000 description 1
- 241000282461 Canis lupus Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010021079 Hypopnoea Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000006999 cognitive decline Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000011081 inoculation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 230000004433 ocular motility Effects 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 208000024335 physical disease Diseases 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004439 pupillary reactions Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0051—Handover processes from occupants to vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
- B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
- B60W2050/0072—Controller asks driver to take over
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/26—Incapacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
特許文献1(特開2005−168908号公報)は、運転者の生体信号を定期観測し、観測結果を解析装置に送信し、解析装置において異常の有無を判定し、異常検出時に運転席の表示部に警告情報を表示するシステムを開示している。
運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理装置にある。
移動装置の運転者の生体情報を取得する生体情報取得部と、
前記生体情報を入力して、前記運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する移動装置にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部が、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法にある。
移動装置において実行する情報処理方法であり、
生体情報取得部が、移動装置の運転者の生体情報を取得するステップと、
データ処理部が、前記運転者の生体情報を入力して、自動運転中の車内の運転者の覚醒度を評価するステップを有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行させ、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行させるプログラムにある。
具体的には、例えば、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有する。データ処理部は、運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する。データ処理部は、運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて運転者の覚醒度評価を実行する。データ処理部は、さらに運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する。
本構成により、運転者の生体情報を入力して、運転者の覚醒度評価を実行する構成が実現される。さらに、脳内の活動量推定とその経時的変化をモニタリングする事も合わせて可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.移動装置と情報処理装置の構成と処理の概要について
2.移動装置の具体的な構成と処理例について
3.覚醒状態評価辞書の生成処理と利用処理の概要、および辞書のデータ構成例について
4.(実施例1)運転者モニタリングに基づく制御を行う実施例(SAE定義レベル1〜2の場合の制御処理例)
5.(実施例2)運転者モニタリングに基づく制御を行う実施例(SAE定義レベル3以上の場合の制御処理例)
6.情報処理装置の構成例について
7.本開示の構成のまとめ
まず、図1以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
これらの状態の違いにより、運転者の覚醒度(覚醒度(意識レベル))は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち覚醒度(意識レベル)が低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図1に示す自動車10に本開示の情報処理装置が装着されている。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要、または、一部不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
運転者生体情報取得部12は、運転者の状態を判定するための情報として、運転者の生体情報を取得する。取得する生体情報は、例えば、PERCLOS(開眼割合)関連指標、心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッケード、マイクロサッケード、固視、ドリフト、凝視、虹彩の瞳孔反応、心拍数&呼吸から推定される眠気の深さ、累計蓄積疲労度、眠気指標、疲労度指標、視覚事象の眼球探索頻度、固視遅延特性、固視維持時間などの生体情報中の少なくともいずれかの情報である。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部16を介して通知する処理を実行する。
通知部16を構成する表示部に対する警告表示の例を図2に示す。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
「手動運転に切り替えてください」
次に、図3以下を参照して、本開示の移動装置10の具体的な構成と処理例について説明する。
図3は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
さらに、、データ取得部102は、運転者の眼球挙動特性や瞳孔挙動特性を検出して運転者の交感神経・副交感神経のアンバランス評価値を算出する心身アンバランスファクター算出器を備えている。
次に、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバのいずれかにおいて実行される覚醒状態評価辞書の生成処理と利用処理の概要、および辞書のデータ構成例について説明する。なお、生成された覚醒状態評価辞書は、移動装置を運転中の運転者の覚醒状態の評価処理に利用される。
覚醒状態評価辞書は、運転者固有の覚醒度(意識レベル)の低下リスク(=覚醒低下リスク)を示すデータを持つ辞書であり、各運転者に対応付けられた運転者固有の辞書である。
なお、図6以下のフローの説明において、フロー中の各ステップの処理は、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバにおいて実行される。ただし、以下においては、説明を簡略化するため、各ステップの処理を情報処理装置が実行する設定とした例を説明する。
まず、情報処理装置は、ステップS11において運転者の認証処理を実行する。この認証処理において情報処理装置は記憶部に予め登録されたユーザ情報(運転者情報)との照合処理を実行して運転者の個人識別を行い、さらに記憶部に格納済みの運転者の個人データを取得する。
次に、ステップS12において、認証済みの運転者の覚醒状態を評価する為に用いる辞書(運転者対応覚醒状態評価辞書)が車両のローカル辞書として情報処理装置の記憶部(車両内の記憶部)に保存されているか否かを確認する。
運転者固有の復帰挙動特性の辞書データを用いる事で、可観測された運転者の状態観測値からその検出状態から手動運転に復帰するまでの覚醒度、遅延時間をシステムは推測する事が可能となる。
例えば運転中にモニタリングされた運転者の脈波解析や眼球挙動等の一連の推移挙動の可観測評価値をもとに、その運転者の復帰遅延特性を算出する。
なお、リモート辞書には、多数の運転者対応の覚醒状態評価辞書によって構成される。
情報処理装置は、ステップS13において、運転者対応の覚醒状態評価辞書が、現在運転中の車両の記憶部にローカル辞書として格納されているか否かを確認する。
格納されている場合は、ステップS16に進む。
格納されていない場合はステップS14に進む。
情報処理装置は、ステップS13において、運転者対応の覚醒状態評価辞書が、現在運転中の車両の記憶部にローカル辞書として格納されていないと判定した場合、ステップS14〜S15において、サーバに運転者対応の覚醒状態評価辞書(リモート辞書)が格納されているか否かを確認し、さらに、格納されている場合はその鮮度についても確認する。
サーバに運転者対応の高鮮度の覚醒状態評価辞書(リモート辞書)が格納されている場合は、ステップS16に進む。
格納されていない場合はステップS14に進む。
辞書を有しない利用者が新たに車両を利生する場合や、辞書利用の空白期間が長期間になっている場合には、運転者の運転特性が変化している可能性があるため、ステップS17に進み、辞書の新規生成や既存辞書のリフレッシュを行い、運転者特性の新規学習を開始する必要性有無判定を行う。
そこで、既存認証者の継続再利用の場合は保存辞書の鮮度確認を行う必要があり、ステップS14〜S15では、その鮮度判定処理が行われる。
ステップS13で、車両から運転者対応の辞書(覚醒状態評価辞書(リモート辞書))が検出された場合、または、ステップS15で、サーバから高鮮度の運転者対応の辞書(覚醒状態評価辞書(リモート辞書))が検出された場合、ステップS16に進む。
ステップS16において、情報処理装置は、車両またはサーバから運転者対応の覚醒状態評価辞書を取得する。
ステップS13で、車両から運転者対応の辞書(覚醒状態評価辞書(リモート辞書))が検出されず、さらに、ステップS15で、サーバから高鮮度の運転者対応の辞書(覚醒状態評価辞書(リモート辞書))が検出されなかった場合、ステップS17に進む。
ステップS17〜S18において、情報処理装置は、運転者対応の新規辞書の生成を行う。なお、運転者対応の辞書があるが、未利用期間が長期化して辞書の陳腐化が起きている場合は辞書のリフレッシュ処理を行う。既存辞書から運転者状態を推定する場合、未利用期間に運転者の可観測覚醒関連生体情報と実際の覚醒復帰に要する遅延時間の変動の有無を確認し、較正を行う。
情報処理装置は、運転者の定期的なモニタリングを行い、モニタリング情報として、運転者状態情報(生体情報、操作情報)を取得して、状態変化を予測しながら適宜、観測機器の最適化を行い、最適化された観測結果を取得して、運転者対応の覚醒状態評価辞書200を用いて、運転者の覚醒状態判定処理、および手動運転の復帰までに必要な時間(遅延時間)の推定処理等を実行する。
図7には、自動車に装着された運転者状態情報取得、解析部300を示している。
運転者状態情報取得、解析部300は以下の構成を有する。
情報取得部として、運転者操作情報取得部301a、運転者第1生体情報取得部301b、運転者第2生体情報取得部301c、運転者第3生体情報取得部301d、運転者第4生体情報取得部301eを有する。
さらに、情報解析部として、運転者操作遅延、乱れ解析部302a、運転者呼吸、脈拍ベース睡眠深さ解析部302b、運転者眼球挙動ベース意識状態解析部302c、運転者姿勢、行動解析部302d、運転者活動量解析部302eを有する。また、運転者の行動履歴解析機器は更に腕時計型の様な日常装着が機器であっても良く、その場合は車両搭乗前からの一環行動推移情報も入力判定情報として利用が可能となる。
運転者第1生体情報取得部301bは、運転者の生体情報である呼吸や、脈拍情報を取得し、運転者呼吸、脈拍ベース睡眠深さ解析部302bはこれらの取得情報に基づいて運転者の睡眠深さを解析する。
運転者第3生体情報取得部301dは、運転者の生体情報である運転者姿勢、行動情報を取得し、運転者姿勢、行動解析部302dはこれらの取得情報に基づいて運転者の姿勢、行動を解析する。
運転者第4生体情報取得部301eは、運転者の生体情報を取得し、運転者活動量解析部302eは取得情報に基づいて運転者の活動量を解析する。
光学的な視野情報の取得には、純粋に光としてとらえた物理的情報を取り込んで終了するのではなく、初期視覚情報を元に記憶参照認知が始まり、判断に不足する情報を更に追加取得するなど一連の記憶情報とのフィードバックが繰り返し行われる。また、視覚情報が記憶との参照認知に繋がらない場合、目が泳ぐ等の影響がでるため、該当の運転者の通常正常覚醒時安定挙動状態が分かれば、眼球挙動の運転者の各覚醒レベル固有特性と比較解析をする事で、該当運転者の覚醒状態推定が可能となる。
自動運転の利用に連動して生じる、運転者の覚醒状態と、その結果に引き続く正常、非正常は手動運転への引き継ぎ品質が、事前取得せされる眼球挙動特性と連動して情報が取得できる。この取得された情報に基づいて、運転者の状態に応じた教師データとして学習が可能となる。正常な自動運転からの手動運転への引き継ぎは、脳内の認知挙動が的確でかつ俊敏に行われる結果として考えられるる。その反面、正常な引継ぎに遅延が生じたり失敗をしたりする場合では、運転者の意識が上の空であったり、不十分な覚醒復帰になっていなかったり、薬品接種等で意識が低下していたりすることなどにより、反応遅延が生じる。これらの情報を用いることで、様々な教師データ生成が自動で取得できることになる。
従来、眼球挙動と脳内の判断認知挙動の相関は、診察や臨床実験程度の限られた被験者数でしか挙動相関を捉える事ができなかった。つまりサンプルデータ数として限定的である。脳内の活動状態の影響を受ける眼球挙動を外的観測可能情報の入力値として、広範囲の多種多様な条件下での人工知能による挙動相関学習と長期変動トラッキングが学習器を通して行えるようになる。
これら自動運転の覚醒状態評価辞書には、システムによる車両の引き継ぎ判定という重要な機能を支えると同時に、利用者の脳内活動指標を副次的に算出が可能なことから、脳内活動に連動して症状が現れる自律失調症やその他疾患の前兆指標として利用が可能である。
図7のフローの説明に戻り、ステップS21〜S22の処理について説明する。
情報処理装置は、ステップS21〜S22において、上記の情報解析部として構成される、運転者操作遅延、乱れ解析部302a、運転者呼吸、脈拍ベース睡眠深さ解析部302b、運転者眼球挙動ベース意識状態解析部302c、運転者姿勢、行動解析部302d、運転者活動量解析部302e、これらの解析部から入力する状態パラメータに基づいて、運転手状態の総合判定処理を行う。
この処理には、先に図6を参照して説明したフローに従って生成した運転者対応の覚醒状態評価辞書を用いる。
このステップS21〜S22では、その時点の観測値に基づいて、運転者の覚醒状態判定処理、および手動運転の復帰までに必要な時間(遅延時間)の推定処理が行われる。
ステップS23では、手動運転復帰の必要性が判断され、必要ない場合は、ステップS24以下の処理を実行し、必要な場合はステップS28の処理を実行する。
ステップS23で、手動運転復帰の必要性が現時点でないと判定された場合は、ステップS24で、観測間隔の見直しを実行する。
すなわち、取得した運転者の覚醒観測情報を元に、復帰までの猶予期間に状態の再確認をするまでの時間猶予も合わせて確認し、必要に応じて定期観測の観測間隔の調整を行う。観測機器別繰り返し観測待機タイマー310を調整して新たな観測間隔を設定する。
道路は、例えば、自動運転可能な領域と手動運転が必要な領域とに区分されている。ただし、これら区間の状態固定ではなくは、天候、災害、渋滞や事故の発生等で逐次変化する。従って、環境変化等で予定外の早期の復帰地点(=自動運転から手動運転への切り替え点)が発生した際には、運転者は、当面運転に介在しないですむ予定に対し、予定より短期で手動運転を開始しなければならなくなる。例えば、このような場合に、復帰推移の観測が必要であり、覚醒から眼がさめ、立ち上がり、運転着座席に着き、視覚的状況把握をし、操舵に必要な状況判断をするなど一連の状態推移観測を行う必要がある。
次の観測待ち時間までに時間的猶予がある場合は、ステップS25で運転者状態の観測間隔や観測器を見直して運転者の可観測生体信号の継続観測を行う。
ステップS26では、各運転者の挙動特性や覚醒度合いを示す観測値が中長期的にどう変動しているか、過去の記憶保存された記録参照値と相対比較評価を行う。
運転者の挙動特性は、時間経過に伴って変化する場合がある。例えば、運転に慣れて緊張が解けてきた場合、事故の発生、あるいは事故に至らない事象経験などによって運転者の挙動特性は変化することがある。運転者の過去の挙動特性からの変化、例えばベースライン挙動変化を捉えて中長期的な解析結果を用いることで、観測値から復帰遅延時間推定を行う際の精度補正が可能となる。
なお、中長期的な解析結果を用いることで、運転者の自律神経失調症の前兆で交換神経、副交感神経のアンバランス等による神経伝達の遅延等を検出することが可能であり、認知判断遅延などの異常発言を早期に捉える事ができる。
ステップS27は、上述した中長期的特性変動のベースライン情報となる走行の都度、得られる運転者の挙動特性の学習処理と、学習結果に基づく辞書の生成、更新処理である。
学習データや辞書の保存は事象発生の都度行っても良いし、例えば自動車内のローカルメモリに保存した結果を旅程毎にまとめて運転者と紐付けて遠隔のサーバに保存する設定としてもよい。
図10〜図12に示すデータは、いずれも運転者対応の覚醒状態評価辞書の構成データの一部を示すものである。図10〜図12の左端の欄に示すように、運転者の覚醒状態ランクは0〜8の9区分に設定している。
覚醒状態ランク0が最も低い覚醒状態であり、深い睡眠に相当するレベルである。
覚醒状態ランク9が最も高い覚醒状態であり、能動的運転、すなわち通常の手動運転を実行可能な覚醒状態に相当するレベルである。
図10〜図12には以下の可観測情報を示している。
(1)眼球挙動
(2)眼電位
(3)顔面表情
(4)音声(知識応答とトーン&応答特性評価)
(5)体温、体温変化、末端体温(体温分布)
(6)脳波
(7)心拍・脈拍
(8)動脈血圧
(9)呼吸(頻度。間隔、無呼吸発生)
(10)操舵機器の操舵安定性評価、ステアリング&ペダル操舵速度、頻度、小刻み量、オーバー操舵量
(11)環境認知システムの理想操舵に対する運転者操舵の誤差と遅延量&ノイズ注入に対する反応評価を含む
(12)乗車前行動履歴を用いたい評価重み付、余韻ファクタ分類情報:睡眠時間、活動量ウェアブルログ履歴、認諸情報
(1a)Saccade頻度
(1b)眼球停留
(1c)マイクロサッケード発生頻度変化と分類
(1d)開瞼度、開眼割合
(1e)PERCLOS
(1f)開眼速度
(1g)瞳孔径反射
(1h)頭部安定度
(1i)頭部移動とサッケード相関
(1j)路上準静止体へのパーシュート発生
情報処理装置は、これらの取得情報に基づいて、運転者固有の辞書(覚醒状態評価辞書)を生成し、逐次、更新する。また辞書を用いて、運転者の覚醒度を評価する。すなわち、運転者の観測無値に基づいて、運転者の覚醒度レベルがレベル0〜9のいずれに相当するかを判定する。
覚醒度判定処理に際しては、これらのす観測値φ1〜φ25を用いて、例えば以下の演算式(式1)に従って覚醒度評価値を算出する。
覚醒度評価値=Σφ(i)・ω(i)・・・(式1)
ω(i)は各観測値φ(i)に対応する重みの値である。
なお、この重みの値は、各運転者固有の値とすることで、各運転者固有の覚醒度レベルを算出することができる。重みの値は、例えば運転者のモニタリングの結果から算出された値を用いる。
(A)環境情報取得部等により取得した運転者視野注視対象物の分布情報(Saliency Map)
(B)対象物の動体判定を加味した(自走相関物判定を加味したSaliency Map)
これらのデータも含めた構成とすることが可能である。
さらに、図13に示すように、SAE(Society of Automotive Engineers)の自動運運転定義の自動運転レベルに応じた観測可能データについての定義も含めた構成としてもよい。
覚醒状態評価辞書の例として示す図10〜図12の辞書構成はデータ構成の一例である。人工知能等を用いて運転引き継ぎ品質と紐付けて自己学習させることで多変数相関関係を自動または半自動で生成し、システムの自己学習演算に許容される範囲で自律学習する事で複合要因判別性能を向上する事が可能である。この教師データを自己選別して学習が可能となるのは、引き継ぎ品質評価が自動運転における引き継ぎイベント毎に実施されるからである。運転者毎の辞書学習が第三者のデータ収集とラべリングなしで行えるのは、自動運転の引き継ぎ時に学習機能を実行する事で初めて現実的に広く実施が可能となる。詳細は後述する。
次に、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバが実行する処理の実施例1として、運転者モニタリングに基づく制御を行う実施例について説明する。
以下に説明する実施例1はSAE(Society of Automotive Engineers)の自動運運転定義で自動運転レベル1からレベル2程度の自動運転を実行している場合の制御処理例である。
なお、取得された生体信号は、随時規定の閾値に基づいて異常性の判定を行うとともに、時間的に数分から数十分といった時間レンジの操舵動作特性変化を加味した解析も並列して実行して、運転者の身体的、機能的な異常の検出を行い、注意喚起や車両の緊急停車をさせることで事故の未然防止を実現する。
図14に示すフローの各ステップの処理について、順次、説明する。
本開示の情報処理装置は、ステップS101において、運転者状態をモニタリングする。モニタリング対象とする運転者状態には、運転者の生体情報と、運転者による自動車の操作情報、例えばハンドルの操作情報等が含まれる。
これらのモニタリング運転者情報は、ログ401として記憶部に逐次格納される。
次に、情報処理装置は、ステップS102において、取得ログに基づく現在の運転者情報(生体情報、操作情報)と、過去に取得済みの学習データを利用した運転者の覚醒度(意識レベル)の解析を行う。情報処理装置は、運転者状態情報のログに基づく学習処理を実行する学習処理部(学習器)を有しており、情報処理装置の記憶部には、学習結果として生成される学習データ辞書も格納される。
情報処理装置は、ステップS102において、過去の学習処理によって生成済みの運転者対応の学習データ辞書に基づいて、運転者の反応特性の長期的変動の有無を観測する。
これら分類行動学習には、既知の分類で学習を行う事も可能であるが、運転者個人や多様な走行環境やその組み合わせが実際にはあり、システムが有する入力情報を元に人工知能により自己分類学習する事で多様は状況に適用的分類をさせる事で、運転者固有であったり、車両や積載貨物の運動特性にあったり、状況に最適化をはかる事が可能となる。
次に、ステップS103で運転者の覚醒度(意識レベル)の低下判定を行う。覚醒度(意識レベル)の低下が観測されなければ引き続き運転者状態の観測を継続する為にステップS101に戻り、ステップS101以下の処理を繰り返す。すなわち、時間経過に伴う運転者状態ログを、継続して取り込み、記憶部に記録する。
ステップS103において、運転者の覚醒度(意識レベル)が低下していると判定した場合は、情報処理装置は、次のステップS104において、運転者の意識低下レベルを現時点より、さらに低下させない為に、例えば、注意警報を発報したり、着座シートへハップティックス振動を加えたり、ハンドルへ信号を加えたりして、運転者に対する通知を行い、運転操舵復帰を促す。
さらに、情報処理装置は、ステップS105において、運転者の意識低下レベル(覚醒レベル)の継続観測を行うとともに、車両の減速処理、自動運転による運転制御の強制終了処理を開始する。さらに、ペナルティ発行処理を実行してもよい。ペナルティとは、ペナルティを利用者に課す事が本来的な目的ではなく、運転者が該当のペナルティを受けることを事前回避するために設けられる機能である。そのため、段階的ペナルティ付与は有効である。システムは運転者の覚醒状態を判定して利用許可と利用の拒絶を行う事を想定する。例えば違反傾向がある運転者に対して、レベル2の追従走行設定を利用者が起動しようと設定した際に、覚醒低下した状態での利用が追従走行以外の機能で運転者が対処できないリスクが発生する事から、一定の意識低下状態では利用を拒絶する事が有用である。その判定の際に、運転者の覚醒度の十分、不十分判定の閾値を引き上げる事で、利用制限を掛けるペナルティを課してもよい。覚醒状態判定閾値を上げることにより、その運転者の覚醒度(意識レベル)が低下している機能の利用が制限される。パナルティの処置方法は多様であり、利用違反に対する罰則であっても良いし、上限巡航速度の引き下げ、サービスエリアへの強制誘導、車両の利用制限などその一例である。
次に、情報処理装置は、ステップS106において、ステップS105で開始された手動運転の操作情報を解析し、運転者が正常な運転操作を実行しているか否かを検証し、この検証結果に基づいて、運転者の覚醒度(意識レベル)状態が運転復帰可能レベルであるか否かを判定する。
情報処理装置の学習処理部は、
(a)図14に示すフローのステップS101において取得するログ401、
(b)ステップS103の判定でNoと判定された場合に取得される正常時教師データL(T)402、
(c)ステップS105において取得される異常時教師データL(F)403、
これらのデータを入力、または生成する。
覚醒状態評価辞書200は、運転者の覚醒度(意識レベル)の低下度合いを判定するための辞書である。
図15のフローの各ステップの処理について説明する。
情報処理装置の学習処理部(学習器)は、まず、ステップS141において、図14のフローのステップS101で取得するログ401が、過去の学習処理によって生成され、記憶部に格納済みの正常時教師データ(L(T))と、異常時教師データ(L(F))のどちらに類似するかを判別し、ログデータ推移に基づいて、運転者が正常な手動運転復帰可能範囲にあるか否かを判定する。
現在の得運転者状態を示すログデータが、過去の学習処理において生成済みの正常時教師データ(L(T))に近ければ、運転者が正常な手動運転復帰可能範囲にあると判定する。
一方、現在の得運転者状態を示すログデータが、過去の学習処理において生成済みの異常時教師データ(L(F))に近ければ、運転者が正常な手動運転復帰可能範囲にないと判定する。
次に、情報処理装置の学習処理部(学習器)は、ステップS142において、ログデータと、過去の履歴データとの差分(シフト変動)を解析して、運転者個人対応の判定辞書、すなわち覚醒状態評価辞書200を更新する。
ステップS141では、運転者状態を示すログデータが、覚醒度(意識レベル)の低下がない覚醒事の事前状態を示す正常時教師データ(L(T))に近いか、覚醒度(意識レベル)が低下した状態である覚醒低下時の事前状態を示す異常時教師データ(L(F))に近いかの分類処理を行う。
ステップS142では、ステップS141の分類結果を用いて、運転者固有の覚醒度(意識レベル)の低下リスク(=覚醒低下リスク)を示すデータを持つ判定辞書、すなわち覚醒状態評価辞書200の更新処理を実行する。
次に、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバが実行する処理の実施例1として、運転者モニタリングに基づく制御を行う実施例について説明する。
以下に説明する実施例1はSAE(Society of Automotive Engineers)の自動運運転定義で自動運転レベル3以上の自動運転を実行している場合の制御処理例である。
しかし、区間侵入前に予測されなかった予定外の事象発生により、運転者に運転作業への復帰が求められる区間やその可能性がある区間が進路上に発生した場合、運転者が対応できないことがある。例えば運転者における突発的な疾患の発生により、警告(アラーム)を出力しても運転者が気づかず、運転者が手動運転に復帰できない状態になる場合、システムが自動操舵では対処が出来ずに事故の発生につながる。以下で説明する実施例では、運転者状態を常にモニタリングして、このような事故の発生を未然に防止することを可能とした実施例である。
その結果、レベル3自動運転走行の利用は、レベル4自動運転走行が可能な区間が断続的に続くような環境で、レベル4自動運転可能区間の間の短期区間での利用が望ましい。レベル4自動運転走行が可能な区間が断続的になるのは、レベル4自動運転の連続利用にはインフラ整備や環境整備が必要だからである。走行環境としてレベル4区間やレベル3区間が斑状に繋ぎ合わさるような環境では、運転に対する注意が必要な走行が求められる区間が途中途中に発生し、その都度、レベル3以下の運転者の復帰要請を行い、的確に復帰をする運用形態が想定される。そして、運転者の適切な覚醒度復帰、つまりは認知判断と対処行動が運転者に求められる覚醒レベルに復帰している事をシステムは自動で判断することが必要となる。そして、通知や警報を受けてから運転者が実際に操舵席で操舵が可能となるまでには、運転者固有の復帰遅延時間が必要となり、システムは運転者の覚醒レベルに応じて該当の運転者が復帰間に要する時間的遅延量を推定した上でその前に通知や警報を発報する必要がある。さらに、覚醒レベルと復帰シーケンスの特性をシステムは把握している必要がある。運転者が明示的に覚醒レベルと復帰シーケンスの特性を示している訳ではないので、システムはその推定をする必要がある。後述その詳細の説明をするが、その推定処理の有力な候補が眼球や瞳孔の挙動解析となる。
脳内の知覚判断と対処行動をシステムが直接的に観測する事は困難である。しかし、外界認知の情報取り込みと判断に必要な追加視覚情報探索などが眼球の挙動に現れるため、その詳細観測から、認知判断に及ぶ情報伝達ループに基づいた反応、つまり脳で(脳の視覚野で)情報を理解する為に、情報を取得できるような眼球挙動反応が観測される。他方で、脳内の認知判断活動を眼球の挙動から観測する事は、脳内で起こる神経伝達特性の一部反映結果を観察することを意味する。眼球挙動観測の副次的効果として、脳内の知覚に必要な神経伝達特性の推定が可能となり、絶対的評価は困難であるものの、眼球挙動の経時的変化を通して神経伝達の活性度の推移は検出が可能となる。
その結果、運転者の自律神経のバランスの崩れによって起こる応答反射反応の低下などが取得できる。特に自動運転の利用で頻繁に運転者の観測がなされるため、運転者に意識させることなく、長期間にわたる持続的な情報収集が行え、運転者の状態の変動の検出が行える。そのため、メンタルヘルスモニタリング観点での利用が期待される。
なお、運転者の眼球挙動に付いて簡単に述べると、人の環境認知の際おける眼球の挙動は、知覚認知を効率的に行う為に、例えば周辺視野でとらえた情報に基づいて注意が必要な方向への視線移動し、更には過去の経験の記憶と視覚からの情報に基づくいた参照/探索を順次進め、物体/状況認識としての確定判断がえられた段階で必要な次期探索を繰り返す。それら脳内の判断手順の一部反応は眼球の視覚情報の探索応答として観測できる。一般に、自動運転が普及して利用者が運転操舵ループから一旦完全に離脱した後、仮眠やビデオ鑑賞など運転に関わらない状況から操舵復帰をする場合、運転者が夢想した状態では無く、知覚・認知と行動判断まで復帰している必要がある。そこで、脳内のそれら行動判断に至っている事を知る外部観測有力手段にこの眼球の挙動解析がある。以下その詳細について記述する。
自動運転の実社会への導入が進むとしても、人工知能による環境認知と判断能力で車両が走行し得るあらゆる環境条件にまたがり人が一切の操舵に介在せずに異なる2点間を自由に従来の手動運転走行車両と同等の速度で移動する事はまだ暫く難しいと目されている。そこで、人が介在せずとも自動運転システムによる走行が可能な道路インフラを整える事で、人が介在しない走行区間の導入が現実的な導入手順として考えられている。他方で、我々が使い慣れている所有車両の形態では道路環境が連続的に繋がっていれば、回り道はあるにせよ、あらゆる出発点から目的地まで道路に沿って移動が出来る利点がある。つまり、人が介在していなくても自動で走行できる区間と人の介在が必要な区間の混在した道路環境が整備され、この混在区間を、運転者が必要に応じて復帰して走行区間を走破する考えである。
この場合、自動運転走行区間から手動運転走行区間に侵入する前に、運転者の手動運転への復帰可否判断を行う必要がある。つまり、運転者状態を常時モニタリングして、手動運転開始タイミングで、運転者が所定の覚醒度に到達していることがもとめられる。その実現の為には、システムは運転者の状態観測することが不可欠である。また、その引き継ぎ作業を実際に行った結果、実際の引き継ぎ成功可否や引き継ぎ品質(引継ぎ成功時の運転者の状態の程度)としての結果の観測が可能である。運転者に関連付けた覚醒度関連の可観測な評価値の観測と引き継ぎの成否、引き継ぎ復帰遅延時間などの引き継ぎ品質等が蓄積データとして収拾でき、イベント発生の都度加わるデータを相関学習する事で、システムが的確な通知タイミングや覚醒(警報発報)タイミングを推定する事が可能となる。そのタイミング推定に付いての詳細は後述する。他方で、この運転者状態観測から得られる可観測評価値とその都度派生する引き継ぎ作業の引き継ぎ成功品質と関連付けて可観測評価値を中長期的にその変動を自己学習し、その経時的変動の推移を解析する事でメンタルヘルス的な指標をえることが可能となる。特に、通常時に比して運転者の持続的なメンタルヘルス指標の変化が継続的に観測される場合に、交換神経・副交感神経のアンバランスが生じている可能性が高く、その状態が持続的に続くと自律神経失調症やうつ病などの重篤化に繋がるリスクが高まると考えられる。交換神経・副交感神経のアンバランスは初期の段階で自覚症状は知られていなく、一般的に、重篤化した段階で初めて診察等を経て病状判明する事が多い。そのため、診断に至った段階ではすでに負担を強いられる治療が長期にわたり必要となるケースがほとんどである。
ここで、自動運転の前述の利用では、運転者の視覚認知判断をつかさどる視神経反応の挙動特性から運転者の復帰遅延時間推定するために、運転者の常時モニタリング観測をする。そして、これら交換神経・副交感神経のアンバランスに影響された反応特性がその観測結果から副次的に得られる。この指標を提供する技術に関する。具体的には高精度な指標算出を可能とする技術の仕組みは、自動運転の利用の際の手動運転引き継ぎ時に利用する復帰時間推定器がコアとなる部分であり、、図16以下のフローチャートを用いて説明する。
図16に示すフローの各ステップの処理について、順次、説明する。
(ステップS201)
情報処理装置は、ステップS201において、運転者の可観測生体情報の常時観測を開始し、過去の履歴記録辞書を参照して、運転者の可観測の評価値より予測される通知または覚醒警報をシステムから受けてから手動運運転復帰までに要する運転者固有の引き継ぎ成功までに遅延時間分布を推定する。
なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
本実施例としては、この可観測値を個人特徴として捉え、運転者の実際の観測値やその各状況別観測とその観測された状態での引き継ぎ結果として更に観測される運転復帰可能レベルとの相関を自己学習する事でクラシファイヤー(分類器)の自己完結学習が可能となる。その学習処理を車両の利用を通して常に実行される為、運転者の通常時の反応特性が取得でき、その応答特性に変化が現れれば観測ができるようにある。この運転者の分類可能な挙動特性を長期モニタリングする事で、その応答変化特性をとらえる事が可能となり、アンバランス指標を副次的に算出するものである。
なお、従来のドライバモニタシステムでは運転者状態観測では、覚醒低下が観測対象であり、挙動特性とその挙動に応じた引き継ぎ時の引き継ぎ品質、つまり覚醒低下初期で中断される為、覚醒度低下した範囲に及ぶ覚醒度品質による詳細な分類処理を要しなかったため、挙動特性の変化は分類可能な可観測値の変動幅が狭く、ただの観測バラツキ幅でしかなかった。
次に、情報処理粗数値は、ステップS202において、自動運転から手動運転への切り替え必要性判定と安全な切り替え可能性判定処理を行う。
この判定処理は、ステップS201aで発生するTOR(Take Over Request引き継ぎ要請情報=自動運転から手動運転への引き継ぎまでに必要な時間)の要請時間を参照して行われる。
TOR(Take Over Request引き継ぎ要請情報)の要請時間と、復帰必要性猶予時間の残存バジェットとを比較して、ステップS202の判定処理を実行する。
{t(n+1)−{t(ToR_point)−ΔtMTBT(Minimum Transition Budget Time)}}<0
上記式に基づいて判断される。この通知タイミングは、運転者の復帰特性の学習結果に基づいて、算出タイミングに遅れて通知や覚醒警報をシステムが発報した場合に、運転者が正常に手動運転に復帰できるまでの復帰推移時間の残存時間予算が過不足なく確保できる時間とする。
なお、ここでいう変化とは、眠気に襲われ本来であれば引き継ぎ点の直前の通知で良かった状態から、より早いタイミングで覚醒警告をする状態の変化が発生し得るため、その対応の対策である。引き継ぎ発生状態に変化がなければ、ステップS202からステップS201に戻り、変化を観測しループを回す事で引き継ぎ待機ループを構成する。なお、道路インフラや天候、走行環境、車両の流れなどに特性変化等があればt(ToR_point)が変わる可能性があり、運転者の2次タスク作業内容が変われば復帰に要する時間猶予、つまりΔtMTBT (Minimum Transition Budget Time)も変化する可能性がある。
それら変化を加味しても時間的余裕があり、引き続き更に運転者の状態変化が起きないかを確認する余裕がある場合は、ステップS201に戻る。
(1)ステップS202からステップS201に戻るケース
運転者が目を覚ましてタブレット端末等の携帯端末を操作する状態が観測されていたが、時間の経過に伴い、寝入ったしまった。さらに、手動運転の必要な区間が接近していない。この場合、更なる変化観測のモニタリングを続けることが可能であり、ステップS201に戻り、モニタリングを継続する。
運転者が目を覚ましてタブレット端末等の携帯端末を操作する状態が観測されていたが、時間の経過に伴い、寝入ったしまった。さらに、手動運転の必要な区間が接近している。この場合、ステップS203に進み、運転者に対して覚醒アラームや覚醒通知を行い、運転復帰を促す。
運転者が目を覚ましてタブレット端末等の携帯端末を操作する状態が観測されていたが、時間の経過に伴い、寝入ったしまった。さらに、手動運転が必要となる引き継ぎ開始予測到達地点以前のポイントで事故や道路環境の急激な変化等(例えば予定走行道路の急激な雨に夜冠水変化)で予定外の早期の手動運転復帰要請が発生した。このように、通常の予定走行より早いタイミングでの急な復帰要請で運転者がアラームを受けて覚醒復帰をしたのでは間に合わない状況では、システムによる緊急減速退避対処を自動で行うための退避処理を行うために、ステップS205へ進む。
ステップS203は、ステップS202の分岐処理において、自動運転から手動運転への切り替えの必要性が発生し、運転者による手動運転を安全に開始できると判定された場合に実行される。
システム(情報処理装置)は、ステップS203において、運転者に対して覚醒アラームや覚醒通知を行い、運転復帰を促す。
ステップS204では、自動運転から手動運転への引き継ぎの完了を受けて、その引継ぎ動作が順調に進んだか、又は手順で遅延が伴ったか引き継ぎの都度の品質評価を行う。
ステップS204で引継ぎ不全と判断された場合、引き継ぎ不全に伴う事故や渋滞誘発を回避するため、車両を減速したり徐行退避させたりする、ようにしてもよい。基本的に引き継ぎ不全が発生する主要な要因は、運転者が必要なタイミングで引継ぎを的確に出来ていなかったり、自律神経失調症やその前兆症状で状況検知判断能力に鈍っていたりすることもある。自動運転の利用システムをして、運転者のシステム要請に対する遅延が発生した場合に運転者になにがしかのペナルティを及ぼす仕組みと相まって、運転者は通常であればシステムから復帰要請や警報通知を受けたら、速やかな復帰作業に取り掛かるようになる。
学習処理部は、これらのデータを用いて、図19に示すフローに従った処理を行い、図19のフローの末尾に示す覚醒状態評価辞書200の更新処理を行う。
覚醒状態評価辞書200は、運転者の覚醒度(意識レベル)の低下度合いを判定するための辞書である。
図19のフローの各ステップの処理について説明する。
情報処理装置の学習処理部(学習器)は、まず、ステップS241において、覚醒状態評価辞書200を生成、更新するための学習処理を実行する。具体的には、例えば、運転者モニタリングにより、覚醒状態を反映したログデータを解析して生成した覚醒度評価値から、運転者復帰成功時間分布データを生成する。
ステップS241は、先に図16を参照して説明したフローのステップS202の判定処理を行う為の覚醒状態評価辞書200を作成する学習ステップとなる。判定処理に用いる学習器は、例えば、運転者の可観測活動量評価値から、復帰通知を受けた際に実際の復帰完了までに時間を算出する評価器である。算出時間は、運転者の手動復帰に必要な猶予時間が有るか無いかの判定に用いるが、実際は運転者毎の特性ばらつきがある。このばらつきを除外しないと、大多数のドライバに適用可能な余裕を持った猶予時間を設定して通知を行う必要がでる。
より正確な復帰遅延時間の推定を行うためには、例えば運転者の脳内知覚判断可否状態等の検出も行う。このような処理を行うことでより正確な運転者覚醒度の判定が出来、ひいては復帰時間推測の精度を向上させることが可能となる。
ステップ242では、最新のログデータと、過去の履歴データとの差分(シフト変動)を解析して、運転者個人対応の覚醒状態評価辞書200を生成、更新する。
具体的には、ステップS241で取得した運転者観測値から復帰遅延時間分布特性を得るために履歴保存した運転者ログ情報を用いて、過去の中・長期的変動量の履歴モニタリングを行う事で、短期観測では検出が困難な特性変動を解析する。
ステップ242では、この個人特性を反映した学習データを中長期的に取得して、挙動の定点観測を継続する事で、多くの場合なだらかな変化として現れる疾患や疾患の前兆として現れる挙動変化を検出するための学習処理である。
生活の中でストレス等により特定の要因等で一方の神経に過度の負荷がかかり、なにらかの理由で自律神経のバランスが乱れうまく調節できなくなることがある。その結果、様々な心身の不調があらわれることがあり、自律失調症などの疾患を誘発する。この交感神経・副交感神経の何れかの一方で緊張状態が続くと神経の頻繁な偏った発火が過剰に起こり、緊張状態を持続する。多くの自律神経失調症に至る患者は、症状が進んだ結果として体調の異変を来たし、体の不調をきっかけに症状の関連する診療科を受診する。本発明は、運転者が自動運転車の自動運転機能を利用する際に実施が不可欠な運転者自身の覚醒判定に関するものである。運転者自身の覚醒判定の際に取得される情報を用いることで、メンタルヘルスの指標がえられる。そのため、本発明には自律神経失調症等の運転者の精神疾患の重篤化の前の対処が容易に行えるという効果もある。
上述した処理は、図3を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置においてし実行することが可能である。
図20を参照して、このような情報処理装置のハードウェア構成例について説明する。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理装置。
眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する(1)または(2)に記載の情報処理装置。
運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する(1)〜(3)いずれかに記載の情報処理装置。
運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する(1)〜(5)いずれかに記載の情報処理装置。
運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する(1)〜(6)いずれかに記載の情報処理装置。
運転者の生体情報を取得するモニタリング処理によって得られたログの解析による学習処理を実行して、運転者の覚醒度評価を実行する運転者固有の覚醒状態評価辞書を生成する学習処理部を有する(1)〜(7)いずれかに記載の情報処理装置。
自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理を実行する(8)に記載の情報処理装置。
運転者から取得される運転者生体情報を含む運転者状態情報の中長期的なデータを利用して運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する(1)〜(9)いずれかに記載の情報処理装置。
運転者から取得される現在の運転者生体情報を含む運転者状態情報と、予め取得済みの運転者状態情報の中長期的なデータとの差分を算出して、算出した差分データに基づいて運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する(1)〜(10)いずれかに記載の情報処理装置。
前記生体情報を入力して、前記運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する移動装置。
眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する(12)または(13)に記載の移動装置。
運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する(12)〜(14)いずれかに記載の移動装置。
運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する(12)〜(15)いずれかに記載の移動装置。
運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する(12)〜(16)いずれかに記載の移動装置。
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部が、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法。
生体情報取得部が、移動装置の運転者の生体情報を取得するステップと、
データ処理部が、前記運転者の生体情報を入力して、自動運転中の車内の運転者の覚醒度を評価するステップを有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法。
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行させ、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行させるプログラム。
具体的には、例えば、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有する。データ処理部は、運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する。データ処理部は、運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて運転者の覚醒度評価を実行する。データ処理部は、さらに運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する。
なお、本開示の処理によって、観測に伴うデータが中長期的に解析され、また自動運転の利用に際して手動運転復帰要請に対する持続的なモニタリングが自己完結的に行われる。この解析情報は自律神経の疾患等の前兆をとらえるための高感度なメンタルヘルスケアモニタリングデータとしても同時に利用可能であり、重篤化する前の予防利用が期待される。
本構成により、運転者の生体情報を入力して、運転者の覚醒度評価を実行する構成が実現される。
Claims (20)
- 運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理装置。 - 前記運転者は、自動運転実行中の移動装置内の運転者であり、運転操作から完全離脱、または一部操作のみを行っている運転者である請求項1に記載の情報処理装置。
- 前記データ処理部は、
眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する請求項1に記載の情報処理装置。 - 前記覚醒状態評価辞書は、運転者から取得可能な複数の生体情報に基づいて、運転者の覚醒度を算出するためのデータを格納した構成である請求項1に記載の情報処理装置。
- 前記データ処理部は、
運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者の生体情報を取得するモニタリング処理によって得られたログの解析による学習処理を実行して、運転者の覚醒度評価を実行する運転者固有の覚醒状態評価辞書を生成する学習処理部を有する請求項1に記載の情報処理装置。 - 前記学習処理部は、
自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理を実行する請求項8に記載の情報処理装置。 - 前記データ処理部は、
運転者から取得される運転者生体情報を含む運転者状態情報の中長期的なデータを利用して運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者から取得される現在の運転者生体情報を含む運転者状態情報と、予め取得済みの運転者状態情報の中長期的なデータとの差分を算出して、算出した差分データに基づいて運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する請求項1に記載の情報処理装置。 - 移動装置の運転者の生体情報を取得する生体情報取得部と、
前記生体情報を入力して、前記運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する移動装置。 - 前記運転者は、自動運転実行中の移動装置内の運転者であり、運転操作から完全離脱、または一部操作のみを行っている運転者である請求項12に記載の移動装置。
- 前記データ処理部は、
眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する請求項12に記載の移動装置。 - 前記データ処理部は、
運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する請求項12に記載の移動装置。 - 前記データ処理部は、
運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する請求項12に記載の移動装置。 - 前記データ処理部は、
運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する請求項12に記載の移動装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部が、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法。 - 移動装置において実行する情報処理方法であり、
生体情報取得部が、移動装置の運転者の生体情報を取得するステップと、
データ処理部が、前記運転者の生体情報を入力して、自動運転中の車内の運転者の覚醒度を評価するステップを有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行させ、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066914 | 2018-03-30 | ||
JP2018066914 | 2018-03-30 | ||
PCT/JP2019/010776 WO2019188398A1 (ja) | 2018-03-30 | 2019-03-15 | 情報処理装置、移動装置、および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019188398A1 true JPWO2019188398A1 (ja) | 2021-05-13 |
JP7204739B2 JP7204739B2 (ja) | 2023-01-16 |
Family
ID=68058347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020510647A Active JP7204739B2 (ja) | 2018-03-30 | 2019-03-15 | 情報処理装置、移動装置、および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210016805A1 (ja) |
EP (1) | EP3779921A4 (ja) |
JP (1) | JP7204739B2 (ja) |
KR (1) | KR20200135799A (ja) |
CN (1) | CN112041910B (ja) |
WO (1) | WO2019188398A1 (ja) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9663118B1 (en) * | 2016-11-02 | 2017-05-30 | Smartdrive Systems, Inc. | Autonomous vehicle operator performance tracking |
US11225257B2 (en) * | 2017-09-26 | 2022-01-18 | Nissan Motor Co., Ltd. | Driving assistance method and driving assistance device |
JP6773002B2 (ja) * | 2017-10-30 | 2020-10-21 | 株式会社デンソー | 車両用装置及びコンピュータプログラム |
US10620627B2 (en) | 2017-12-19 | 2020-04-14 | PlusAI Corp | Method and system for risk control in switching driving mode |
US10710590B2 (en) * | 2017-12-19 | 2020-07-14 | PlusAI Corp | Method and system for risk based driving mode switching in hybrid driving |
US10406978B2 (en) | 2017-12-19 | 2019-09-10 | PlusAI Corp | Method and system for adapting augmented switching warning |
KR20190134862A (ko) * | 2018-04-27 | 2019-12-05 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
US20200073379A1 (en) * | 2018-08-31 | 2020-03-05 | Toyota Research Institute, Inc. | Systems and methods for confirming that a driver has control of a vehicle |
JP7172321B2 (ja) * | 2018-09-12 | 2022-11-16 | トヨタ自動車株式会社 | 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム |
DE102018218192A1 (de) * | 2018-10-24 | 2020-04-30 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Anpassen einer Position einer Sitzeinrichtung eines Fahrzeugs bei und/oder vor einem Umschalten des Fahrzeugs von einem automatisierten Fahrmodus in einen manuellen Fahrmodus |
JP7158352B2 (ja) * | 2019-08-08 | 2022-10-21 | 本田技研工業株式会社 | 運転支援装置、車両の制御方法、およびプログラム |
KR20210022803A (ko) * | 2019-08-20 | 2021-03-04 | 현대자동차주식회사 | 차량 및 그 제어방법 |
US11427207B1 (en) * | 2019-08-29 | 2022-08-30 | United Services Automobile Association (Usaa) | Systems and methods for controlling vehicle systems based on driver assessment |
DE112019007788T5 (de) * | 2019-10-04 | 2022-09-01 | Mitsubishi Electric Corporation | Fahrerverfügbarkeitsdetektionsvorrichtung und Fahrerverfügbarkeitsdetektionsverfahren |
JP7331632B2 (ja) * | 2019-10-31 | 2023-08-23 | 株式会社Jvcケンウッド | 運転支援装置、運転支援方法、及び運転支援プログラム |
WO2021095153A1 (ja) * | 2019-11-13 | 2021-05-20 | 株式会社日立物流 | ドライバー異常対応システム、ドライバー異常対応方法、及びプログラム |
JP7470510B2 (ja) * | 2019-12-02 | 2024-04-18 | ダイムラー トラック エージー | 車両制御装置、車両制御方法、及び車両制御プログラム |
WO2021137777A1 (en) * | 2019-12-31 | 2021-07-08 | Kasap Sevil Sinem | A smart seat belt with a heart rate sensor and a safe vehicle construct |
US11565653B2 (en) | 2020-01-03 | 2023-01-31 | Aptiv Technologies Limited | Vehicle occupancy-monitoring system |
EP3845431B1 (en) * | 2020-01-06 | 2024-08-07 | Aptiv Technologies AG | Driver-monitoring system |
DE112020006551T5 (de) | 2020-01-17 | 2022-11-17 | Sony Semiconductor Solutions Corporation | Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm |
US11772672B2 (en) | 2020-02-13 | 2023-10-03 | Toyota Motor North America, Inc. | Unsafe transport operation |
US11945447B2 (en) * | 2020-02-13 | 2024-04-02 | Toyota Motor North America, Inc. | Transport boundary expansion |
JP7384185B2 (ja) * | 2020-03-23 | 2023-11-21 | 株式会社デンソー | 情報提示制御装置 |
JP7343437B2 (ja) * | 2020-04-02 | 2023-09-12 | トヨタ自動車株式会社 | 車両の運行管理装置、運行管理方法、および、交通システム |
JP2021167163A (ja) * | 2020-04-13 | 2021-10-21 | マツダ株式会社 | ドライバ異常判定装置 |
JP7459634B2 (ja) * | 2020-04-13 | 2024-04-02 | マツダ株式会社 | ドライバ異常判定システム |
JP7459633B2 (ja) * | 2020-04-13 | 2024-04-02 | マツダ株式会社 | ドライバ異常判定装置 |
WO2021255632A1 (ja) * | 2020-06-15 | 2021-12-23 | フォーブ インコーポレーテッド | 情報処理システム |
JP7449811B2 (ja) * | 2020-07-31 | 2024-03-14 | 株式会社Subaru | 車両の緊急連絡装置 |
JP7371588B2 (ja) * | 2020-08-24 | 2023-10-31 | トヨタ自動車株式会社 | 車両安全装置 |
WO2022050200A1 (ja) * | 2020-09-07 | 2022-03-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US12043265B2 (en) * | 2020-12-22 | 2024-07-23 | Subaru Corporation | Safety drive assist apparatus |
EP4020343A3 (en) * | 2020-12-25 | 2022-10-05 | Toyota Jidosha Kabushiki Kaisha | Information processing device, information processing method, storage medium, and information processing system |
JP2022156147A (ja) * | 2021-03-31 | 2022-10-14 | パナソニックIpマネジメント株式会社 | データ生成装置、データ生成方法、及び、プログラム |
CN112947390B (zh) * | 2021-04-02 | 2022-09-06 | 清华大学 | 基于环境风险评估的智能网联汽车安全控制方法和系统 |
WO2023012510A1 (en) * | 2021-08-06 | 2023-02-09 | Kumar N C Santosh | An intelligent single tool for clinicians |
WO2023026718A1 (ja) * | 2021-08-23 | 2023-03-02 | 株式会社デンソー | 提示制御装置、提示制御プログラム、自動運転制御装置、及び自動運転制御プログラム |
CN114132329B (zh) * | 2021-12-10 | 2024-04-12 | 智己汽车科技有限公司 | 一种驾驶员注意力保持方法及系统 |
US11718314B1 (en) | 2022-03-11 | 2023-08-08 | Aptiv Technologies Limited | Pedestrian alert system |
CN115482933B (zh) * | 2022-11-01 | 2023-11-28 | 北京鹰瞳科技发展股份有限公司 | 用于对驾驶员的驾驶风险进行评估的方法及其相关产品 |
US12089957B1 (en) | 2023-03-14 | 2024-09-17 | Stat Capsule Inc. | Vehicle diagnostic system for detecting heartbeat frequency using steering wheel photoplethysmography sensor |
US11820384B1 (en) | 2023-03-14 | 2023-11-21 | Stat Capsule Inc. | Method to diagnose real time pulseless condition of a driver operating a vehicle |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123092A (ja) * | 2006-11-09 | 2008-05-29 | Aisin Aw Co Ltd | ディスプレイ表示システム |
JP2008213595A (ja) * | 2007-03-01 | 2008-09-18 | Denso Corp | 前照灯制御装置 |
JP2017030555A (ja) * | 2015-07-31 | 2017-02-09 | トヨタ自動車株式会社 | 車両制御装置 |
WO2017195405A1 (ja) * | 2016-05-11 | 2017-11-16 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5422690A (en) * | 1994-03-16 | 1995-06-06 | Pulse Medical Instruments, Inc. | Fitness impairment tester |
JP3070384B2 (ja) * | 1994-04-26 | 2000-07-31 | 三菱自動車工業株式会社 | 運転注意力判別方法 |
AU767533B2 (en) * | 1999-01-27 | 2003-11-13 | Compumedics Limited | Vigilance monitoring system |
JP4612943B2 (ja) * | 2000-11-24 | 2011-01-12 | 富士重工業株式会社 | 車両用の覚醒度推定装置および覚醒度推定方法 |
JP2003022500A (ja) * | 2001-07-09 | 2003-01-24 | Mitsubishi Motors Corp | ドライバーの覚醒度検出装置 |
JP2005168908A (ja) | 2003-12-12 | 2005-06-30 | Toyota Motor Corp | 自動車を用いた運転者の健康管理システム |
JP2008099884A (ja) * | 2006-10-19 | 2008-05-01 | Toyota Motor Corp | 状態推定装置 |
JP4697185B2 (ja) * | 2006-12-04 | 2011-06-08 | トヨタ自動車株式会社 | 覚醒度判定装置及び覚醒度判定方法 |
JP4240118B2 (ja) * | 2006-12-12 | 2009-03-18 | トヨタ自動車株式会社 | 運転支援装置 |
JP2008234009A (ja) | 2007-03-16 | 2008-10-02 | Denso Corp | 健康管理支援システム |
JP2011065527A (ja) * | 2009-09-18 | 2011-03-31 | Toyota Motor Corp | 運転評価システム、車載機及び情報処理センター |
WO2011118393A1 (ja) * | 2010-03-23 | 2011-09-29 | アイシン精機株式会社 | 覚醒度判定装置、覚醒度判定方法及びプログラム |
AU2011100185B4 (en) * | 2010-08-23 | 2011-05-19 | Goran Berkec | Recording, Tracking and Evaluating Apparatus and Method |
DE102011117850B4 (de) * | 2011-11-08 | 2020-12-03 | Audi Ag | Verfahren zum Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug |
US9251704B2 (en) * | 2012-05-29 | 2016-02-02 | GM Global Technology Operations LLC | Reducing driver distraction in spoken dialogue |
CN103680246B (zh) * | 2013-12-17 | 2016-05-18 | 西南交通大学 | 基于视觉注意分配的驾驶安全性考核测评系统 |
WO2015175435A1 (en) * | 2014-05-12 | 2015-11-19 | Automotive Technologiesinternational, Inc. | Driver health and fatigue monitoring system and method |
JP6323318B2 (ja) * | 2014-12-12 | 2018-05-16 | ソニー株式会社 | 車両制御装置および車両制御方法、並びにプログラム |
US10331127B2 (en) * | 2014-12-12 | 2019-06-25 | Sony Corporation | Automatic driving control device and automatic driving control method, and program |
CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院(吴江) | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
CN105726046B (zh) * | 2016-01-29 | 2018-06-19 | 西南交通大学 | 一种驾驶员警觉度状态检测方法 |
JP2017197011A (ja) * | 2016-04-27 | 2017-11-02 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
US9956963B2 (en) * | 2016-06-08 | 2018-05-01 | GM Global Technology Operations LLC | Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels |
JP6778872B2 (ja) * | 2016-06-28 | 2020-11-04 | パナソニックIpマネジメント株式会社 | 運転支援装置及び運転支援方法 |
US10495334B2 (en) * | 2016-09-28 | 2019-12-03 | Johnson Controls Techology Company | Systems and methods for steady state detection |
US10496090B2 (en) * | 2016-09-29 | 2019-12-03 | Magna Electronics Inc. | Handover procedure for driver of autonomous vehicle |
CN106965814A (zh) * | 2017-04-20 | 2017-07-21 | 陕西科技大学 | 一种驾驶水平评估实时提醒及纠正系统 |
JP7074432B2 (ja) * | 2017-06-26 | 2022-05-24 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
CN107392153B (zh) * | 2017-07-24 | 2020-09-29 | 中国科学院苏州生物医学工程技术研究所 | 人体疲劳度判定方法 |
-
2019
- 2019-03-15 JP JP2020510647A patent/JP7204739B2/ja active Active
- 2019-03-15 CN CN201980028191.3A patent/CN112041910B/zh active Active
- 2019-03-15 EP EP19776339.4A patent/EP3779921A4/en active Pending
- 2019-03-15 KR KR1020207028198A patent/KR20200135799A/ko not_active Application Discontinuation
- 2019-03-15 WO PCT/JP2019/010776 patent/WO2019188398A1/ja active Application Filing
- 2019-03-15 US US17/040,931 patent/US20210016805A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123092A (ja) * | 2006-11-09 | 2008-05-29 | Aisin Aw Co Ltd | ディスプレイ表示システム |
JP2008213595A (ja) * | 2007-03-01 | 2008-09-18 | Denso Corp | 前照灯制御装置 |
JP2017030555A (ja) * | 2015-07-31 | 2017-02-09 | トヨタ自動車株式会社 | 車両制御装置 |
WO2017195405A1 (ja) * | 2016-05-11 | 2017-11-16 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
Also Published As
Publication number | Publication date |
---|---|
KR20200135799A (ko) | 2020-12-03 |
CN112041910B (zh) | 2023-08-18 |
US20210016805A1 (en) | 2021-01-21 |
WO2019188398A1 (ja) | 2019-10-03 |
EP3779921A1 (en) | 2021-02-17 |
JP7204739B2 (ja) | 2023-01-16 |
CN112041910A (zh) | 2020-12-04 |
EP3779921A4 (en) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7204739B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
US11738757B2 (en) | Information processing device, moving apparatus, method, and program | |
US20230211810A1 (en) | Information processing device, mobile device, information processing system, and method | |
JP7324716B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7155122B2 (ja) | 車両制御装置及び車両制御方法 | |
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
WO2021145131A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
US20240034362A1 (en) | Information processing device, information processing method, and information processing program | |
JPWO2020145161A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2019208014A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
WO2022172724A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7204739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |