JP7459633B2 - ドライバ異常判定装置 - Google Patents
ドライバ異常判定装置 Download PDFInfo
- Publication number
- JP7459633B2 JP7459633B2 JP2020071671A JP2020071671A JP7459633B2 JP 7459633 B2 JP7459633 B2 JP 7459633B2 JP 2020071671 A JP2020071671 A JP 2020071671A JP 2020071671 A JP2020071671 A JP 2020071671A JP 7459633 B2 JP7459633 B2 JP 7459633B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- function
- driving
- level
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims description 191
- 238000001514 detection method Methods 0.000 claims description 224
- 230000002159 abnormal effect Effects 0.000 claims description 34
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 457
- 230000006399 behavior Effects 0.000 description 177
- 210000003128 head Anatomy 0.000 description 62
- 230000004434 saccadic eye movement Effects 0.000 description 43
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 39
- 230000033001 locomotion Effects 0.000 description 38
- 238000012545 processing Methods 0.000 description 31
- 201000010099 disease Diseases 0.000 description 30
- 238000000034 method Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000007423 decrease Effects 0.000 description 18
- 230000004044 response Effects 0.000 description 18
- 230000007659 motor function Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000000737 periodic effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 10
- 208000035475 disorder Diseases 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 230000008717 functional decline Effects 0.000 description 8
- 238000012821 model calculation Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 210000000467 autonomic pathway Anatomy 0.000 description 5
- 206010015037 epilepsy Diseases 0.000 description 5
- 230000013632 homeostatic process Effects 0.000 description 5
- 206010010904 Convulsion Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000001720 vestibular Effects 0.000 description 4
- 230000002747 voluntary effect Effects 0.000 description 4
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 3
- 206010061216 Infarction Diseases 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 230000036626 alertness Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000007574 infarction Effects 0.000 description 3
- 230000001734 parasympathetic effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013058 risk prediction model Methods 0.000 description 3
- 210000001103 thalamus Anatomy 0.000 description 3
- 206010057315 Daydreaming Diseases 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001037 epileptic effect Effects 0.000 description 2
- 208000028329 epileptic seizure Diseases 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 206010029864 nystagmus Diseases 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000022540 Consciousness disease Diseases 0.000 description 1
- 206010013496 Disturbance in attention Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 208000013016 Hypoglycemia Diseases 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002218 hypoglycaemic effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000012043 vestibular reflex Effects 0.000 description 1
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
- A61B5/4035—Evaluating the autonomic nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0051—Handover processes from occupants to vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Description
本開示の技術は、特に、前述の第2の方向性の自動運転システム、すなわち、人が運転をすることを前提としたドライバ主体型の自動運転システムにおいて真価を発揮するものである。
ところで、ドライバの状態は、健康な正常状態と、機能障害や疾患が発生した異常状態とに大別される。正常状態には、覚醒の度合いが高い状態から順に記載すると、運転に最大限に集中しているフロー状態、運転集中状態、リラックス運転状態、脇見運転状態、漫然運転状態、覚醒低下状態、居眠り状態が含まれる。疾患には、様々な疾患が存在するが、非特許文献1の知見を基にすると、運転中に意識障害発作が発症したことが明らかな症例の代表的なものとして、てんかん、脳卒中、心筋梗塞、低血糖が挙げられる。
〈ドライバの機能による分類〉
一般的に、ドライバ異常を判定する方法、すなわち、運転能力レベルが低下し運転不能状態となったことを判定する方法として、ドライバの意思とは関係なく成立している機能である、いわゆる不随意機能に異常が発生していることを検知する技術が知られている。不随意機能の異常検出方法として、例えば、撮像部が撮像した映像を基に、ドライバの運転姿勢崩れやドライバの開眼度を解析し、ドライバの疾患を判断する方法がある。
図4は、予測機能、ベース機能、不随意機能の各機能について、運転シーンごとの判定に適したタイミングについて一例を示した図である。
(車両制御装置)
図5は、実施形態による車両制御装置10の構成を例示する。車両制御システム1は、車両に設けられる。車両Aは、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する運転である。車両制御装置10は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御装置10は、車両に設けられたアクチュエータ80を制御することで車両の動作(特に走行)を制御する。
情報取得装置60は、少なくとも、車両Aの運転シーンを特定するための情報、ドライバの状態を特定するための情報を取得する。車両Aの運転シーンとは、車両の走行シーン及び停車シーンを含む。情報取得装置60は、複数の車外カメラ61と、複数のレーダ62と、位置センサ63と、車両状態センサ64と、車外通信装置65と、運転操作センサ66と、ドライバ状態センサ67とを含む。
複数の車外カメラ61は、例えば、車両Aの周囲に広がる環境(路上障害物を含む。以下、車外環境という)が撮影できるように車両に設けられ、車外環境を撮影する。複数の車外カメラ61の各々による撮影データは、車両制御装置10に送信される。車外カメラ61は、車両Aの車外環境情報を取得する車外環境取得装置(以下、単に車外環境取得装置という)の一例である。また、車外カメラ61の撮影データは、車両Aの運転シーンを特定するための車外環境情報(以下、単に車外環境情報という)の一例である。なお、車外カメラ61は、車外環境を撮影するためのカメラ全般を指すものとし、車室内に設けられて車外を撮影するためのカメラを含む。
複数のレーダ62は、車外環境にある物体(路上障害物を含む)が検出できるように、すなわち、車外に向かって物体検出用の電波を出射させることができるように車両Aのボディ等に取り付けられる。複数レーダ62の各々で撮影された画像データは、車両制御装置10に送信される。
位置センサ63は、車両の位置(例えば緯度および経度)を検出する。位置センサ63は、例えば、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ63により得られた情報(車両の位置)は、車両制御装置10に送信される。位置センサ63で検出された車両の位置情報は、車両の運転シーンを特定するために使用することができる。すなわち、位置センサ63は、車外情報取得装置の一例であり、位置センサ63で検出された車両Aの位置情報は、車外環境情報の一例である。
車両状態センサ64は、車両の状態(例えば速度や加速度やヨーレートなど)を検出する。例えば、車両状態センサ64は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ64により得られた情報(車両の状態)は、車両制御装置10に送信される。
車外通信装置65は、車両の外部に設けられた車外ネットワーク(例えばインターネットなど)を通じて各種情報を受信する。例えば、車外通信装置65は、車両の周囲に位置する他車両からその他車両に関する情報を受信したり、ナビゲーションシステム(図示を省略)からカーナビゲーションデータ、交通情報、高精度地図情報などを受信したりする。車外通信装置65により得られた情報は、車両制御装置10に送信される。車外通信装置65により車外ネットワークから取得された交通情報、高精度地図情報などの情報には、車両Aの運転シーンを特定するための情報が含まれる。すなわち、車外通信装置65は、車外情報取得装置の一例であり、車外通信装置65で受信された情報は、車外環境情報の一例である。
運転操作センサ66は、車両に加えられる運転操作を検出する。例えば、運転操作センサ66は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。
ドライバ状態センサ67は、車両を運転するドライバの状態を(例えば、ドライバの身体挙動や生体情報など)を検出する。ドライバ状態センサ67により得られた情報(ドライバの状態)は、車両制御装置10に送信される。ドライバ状態センサ67は、例えば、車内カメラ68、生体情報センサ69を含む。
車内カメラ68は、例えば、ドライバの前方において、ドライバの眼球が撮影範囲内となるように設置される。車内カメラ68は、ドライバの眼球を含む領域を撮影することでドライバの眼球を含む画像データを取得する。車内カメラ28の撮影データは、車両制御装置10に送信される。尚、車内カメラ68は、運転者に装着されるゴーグル(図示省略)に設けられてもよい。
生体情報センサ69は、運転者の生体情報(例えば、発汗、心拍、血流量、皮膚温など)を検出する。生体情報センサ69により得られた情報(運転者の生体情報)は、車両制御装置10に送信される。
車両制御装置10は、演算処理部100と、記憶部300とを備える。演算処理部100は、運転シーン認知部210と、運転操作認知部220と、車両挙動推定部230と、走行制御部500と、ドライバ状態推定部400とを有する。
認知部200は、運転シーン認知部210と、運転操作認知部220と、車両挙動推定部230とを備える。
運転シーン認知部210は、外部環境取得装置で取得された外部環境情報に基づいて、車両の運転シーンを認知する。具体的には、運転シーン認知部210は、車外カメラ61、レーダ62、位置センサ63、車外通信装置65及び車両挙動推定部230のうちの1または複数で取得された車外環境情報を用いて車両の運転シーンを認知する。
運転操作認知部220は、運転操作センサ66の出力に基づいてドライバから車両に与えられる運転操作を認知する。具体的には、例えば、ドライバによるアクセルペダル、ブレーキペダル、ステアリング、シフト、方向指示器、電装品のスイッチの操作を検知する。なお、運転操作認知部220は、運転操作センサ66の入力に加えて、運転シーン認知部210の運転シーン情報を参照し、運転操作の認知精度を高めるようにしてもよい。
車両挙動推定部230は、車両状態センサ64の出力に基づいて車両の挙動(例えば、速度や加速度やヨーレートなど)を推定する。例えば、車両挙動推定部230は、深層学習により生成された学習モデルを用いて、車両状態センサ64の出力に基づいて車両の挙動を示す車両挙動データを生成する。
走行制御部500は、経路設定部510と、運動制御部520とを備える。
経路設定部510は、運転シーン認知部210で認知された運転シーンに基づいて、車両の走行目標となる目標位置に車両を走行させるための1または複数の候補経路を生成する。経路設定部510は、例えば、複数の候補経路のうちドライバが最も快適であると感じる経路を選択し、車両Aの走行目標経路として運動制御部520に出力する。また、経路設定部510は、例えば、後述するドライバ状態推定部400でドライバの異常が検出された場合のような緊急時には、車両を緊急停車させる停車位置を探索して目標位置に設定し、停車位置までの退避経路を生成する。そして、その退避経路を走行目標経路として運動制御部520に出力する。
運動制御部520は、経路設定部510で設定された走行目標経路を走行するために必要となる車両の運動である目標運動を決定し、その決定された目標運動に基づいてアクチュエータ80を制御する。例えば、運動制御部520は、目標運動を達成するための目標駆動力、目標制動力、目標操舵量をそれぞれ導出する。そして、運動制御部520は、目標駆動力を示す駆動指令値を駆動系のアクチュエータに、目標制動力を示す制動指令値を制動系のアクチュエータに、目標操舵量を示す操舵指令値を操舵系のアクチュエータに、それぞれ送信する。駆動系のアクチュエータの例としては、エンジンE、トランスミッションT、モータが挙げられる。制動系のアクチュエータの例としては、ブレーキBが挙げられる。操舵系のアクチュエータの例としては、ステアリングSが挙げられる。本開示では、アクチュエータ80との用語は、駆動系アクチュエータ、制動系アクチュエータ及び操舵系アクチュエータの総称として用いるものとする。また、車両Aについてアクチュエータ80以外の搭載機器をまとめて周辺機器Dと呼ぶものとする。周辺機器Dには、例えば、カーナビのモニタなどの情報表示装置D1、音声などを再生するためのスピーカD2、エンジンスタート用スイッチやドライバの応答用のスイッチなどを含む各種のスイッチD3、ドライバの音声を入力するためのマイクD4、前照灯や方向指示器などの照明装置(図示省略)などが含まれる。
ドライバ状態推定部400は、ドライバ挙動認知部410と、不随意機能検知部420と、運転機能検知部430と、応答確認部450と、異常判定部440とを備える。ドライバ状態推定部400は、ドライバの体調異常を検出する機能を有する。したがって、ドライバ状態推定部400を備える車両制御装置10は、ドライバの体調異常を判定するドライバ異常判定装置の一例である。
ドライバ挙動認知部410は、ドライバ状態センサ67の出力に基づいて、ドライバの挙動(頭部挙動、視線挙動を含む)を検知する。例えば、ドライバ挙動認知部410は、車内カメラ68の撮影データに基づいてドライバの頭部挙動を検知する頭部挙動検知部411(図7参照)と、車内カメラ68の撮影データに基づいてドライバの視線挙動を検知する視線挙動検知部412(図11参照)とを備える。頭部挙動検知部411及び視線挙動検知部412については、後ほど説明する。
不随意機能検知部420は、ドライバの状態を検出するドライバ状態センサの検出データに基づいて、不随意機能に基づくドライバ異常を検知する。具体的には、前述のとおり、ドライバ状態センサ67の検出データがドライバ挙動認知部410に送信される。そこで、不随意機能検知部420は、ドライバ挙動認知部410の出力に基づいて、不随意機能に基づくドライバ異常を検知する。例えば、ドライバの不随意機能が正常に機能している程度である不随意機能レベルを演算する。ここでのドライバ状態センサには、ドライバ状態センサ67に加えて、運転操作センサ66が含まれる。すなわち、運転操作センサ66を用いてドライバの状態を検出することができる場合があり、その場合、運転操作センサ66は、本開示の技術におけるドライバ状態センサに包含される。他の情報取得装置60の構成要素についても同様である。なお、不随意機能検知部420にドライバ挙動認知部410の機能を取り込み、ドライバ状態センサ67の検出データを直接不随意機能検知部420に入力して、処理するようにしてもよい。
運転機能検知部430は、ドライバの運転中の動作(以下、運転動作という)を検出する運転動作センサの検出データに基づいてドライバの運転機能が正常に機能している程度である運転機能レベルを検知する。ここでの運転動作センサには、運転操作センサ66と、ドライバ状態センサ67とが含まれる。すなわち、運転機能検知部430は、運転操作センサ66で検出されたドライバの運転操作の状況や、ドライバ状態センサ67(例えば、車内カメラ68など)で検出されたドライバの状態に基づいて、ドライバの運転機能を検知する。なお、前述のとおり、運転動作センサの検出データの一部または全部は、ドライバ挙動認知部410に送信され、そこでドライバの状態が認知される。そこで、運転機能検知部430は、ドライバ挙動認知部410(例えば、頭部挙動検知部411及び/または視線挙動検知部412)の認知結果を用いてもよい。
予測機能検知部431は、例えば、ドライバの運転操作、ドライバの視線挙動、及び/またはドライバの頭部挙動に基づいて予測機能レベルを検知する。
ベース機能検知部435は、例えば、ドライバの運転操作、ドライバの視線挙動、及び/またはドライバの頭部挙動に基づいてベース機能レベルを検知する。
異常判定部440は、不随意機能検知部420で演算された不随意機能レベル、予測機能検知部431で演算された予測機能レベル、及び、ベース機能検知部435で検知されたベース機能レベルを受信し、これらを総合的に判断して、ドライバの異常を判定する。
応答確認部450は、異常判定部440でドライバの異常の予兆が認識されたと判断された場合に、ドライバの応答を確認する機能を有する。応答確認部450は、問いかけ部451と、応答検出部452とを備える。
以下において、不随意行動、ベース行動、予測行動のそれぞれの階層(行動)において、機能レベルの検知動作及びその後の異常判定動作について、具体例を示して説明する。なお、以下の説明は、発明の理解を容易にするために各階層の機能レベルの検知動作の一例を示しているものであって、以下の説明の内容に限定する意図はない。すなわち、それぞれの階層の機能レベルの検知について、以下の説明以外の検知方法を用いてもよい。
ここでは、図6A下段及び図6B下段に示す不随意行動に関する不随意機能レベルの検知項目のうち、頭部挙動及び視線挙動に関する不随意機能レベルの検知動作例について、図面を参照しつつ説明する。
頭部挙動に関する不随意機能レベルの検知動作例について、図7~図9を参照しつつ説明する。図7は、不随意機能レベルの検知動作について説明するためのブロック図であり、図5の構成から説明に用いるブロックを抜粋し、必要に応じて内部ブロックを追加している。
視線挙動に関する不随意機能レベルの検知動作例について、図11~図13を参照しつつ説明する。図11は、不随意機能レベルの検知動作について説明するためのブロック図であり、図5の構成から説明に用いるブロックを抜粋し、必要に応じて内部ブロックを追加している。具体的に、図11の例では、運転シーン認知部210は、注意度検出部213を備える。不随意機能検知部420は、異常条件設定部424を備える。また、前述のとおり、ドライバ挙動認知部410は、視線挙動検知部412を備える。応答確認部450は、問いかけ部451と、応答検出部452とを備える。
次に、図12を参照して、ここでの異常判定部440の動作について説明する。
視線挙動検知部412は、ドライバの視線を検出する。例えば、視線挙動検知部412は、車内カメラ68により得られた画像(画像データ)の中からドライバの瞳孔を検出し、その検出された瞳孔に基づいてドライバの視線を検出する。次に、視線挙動検知部412は、ドライバの視線からドライバの視線の移動距離の時間的変化に基づいて、ドライバの視線の速度を算出する。
次に、視線挙動検知部412は、視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、視線挙動検知部412は、視線の移動速度が予め定められた速度閾値(例えば40deg/s)未満である状態が予め定められた停滞時間(例えば0.1秒間)継続する期間を「注視期間」として抽出する。そして、視線挙動検知部412は、隣り合う2つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値(例えば40deg/s)以上であり、且つ、移動距離が予め定められ距離閾値(例えば3deg)以上である視線移動を「サッケード候補」として抽出する。
次に、視線挙動検知部412は、最小自乗法により複数のサッケード候補に基づいた回帰曲線を導出し、その回帰曲線に対して視線の移動速度の増減方向にそれぞれ基準曲線を引いて、その基準曲線間をサッケード範囲とする。そして、視線挙動検知部412は、複数のサッケード候補のうち所定のサッケード範囲内に含まれるサッケード候補をサッケードとして抽出し、サッケード範囲内に含まれないサッケード候補をサッケードとして抽出しない。
次に、視線挙動検知部412は、第1期間P1内におけるサッケードの振幅dsを算出する。具体的には、視線挙動検知部412は、第1期間P1内に含まれるサッケードの振幅dsの平均値を「第1期間P1内におけるサッケードの振幅ds」として算出する。
本願発明者は、運転者の状態と運転者の挙動(特に視線の動き)との関係を調べるために、下記のような実験を実施した。
前述のとおり、期間T12,T23における対象機能レベルは、不随意機能レベルのみである。そこで、期間T12,T23では、異常判定部440は、不随意機能検知部420から出力された不随意機能レベルに基づいてドライバの異常判定を行う。このとき、どのような評価項目を用いて、どのように組み合わせるかについては、特に限定されない。例えば、図6A,6Bのような評価項目がある場合に、車両Aが走行している運転シーンに応じて、使用する項目を選択するようにしてもよい。例えば、図14に示すように、運転シーンに対して評価可能な指標を紐づけたようなテーブルを用意し、判定が可能な項目について組み合わせてドライバの異常を判定するようにしてもよい。図14において、「操作」、「頭部」、「視線」のそれぞれの指標は、図6A,6Bの「操作」、「頭部」、「視線」のそれぞれの項目と対応している。また、図14において、「○印」は、異常の判定に用いることができる項目を示しており、「-印」は、異常の判定に用いることが困難な項目を示している。また、図14のCは、困難な理由毎に符号を分けており、C1は判定対象となる行動が生じない、C2は予兆段階では異常時と正常時との差が生じにくい、C3は外乱が大きい、となっている。
ここでは、図6A中段及び図6B中段に示すベース行動に関するベース機能レベルの検知項目のうち、運転操作に関するベース機能レベルの検知動作例について、図面を参照しつつ説明する。
図15は、不随意機能レベルの検知動作について説明するためのブロック図であり、図5の構成から説明に用いるブロックを抜粋し、必要に応じて内部ブロックを追加している。具体的に、図15の例では、ドライバ挙動認知部410は、運転操作推定部414と、運転操作学習モデル415と、運転操作推定モデル416とを備える。ベース機能検知部435は、推定誤差算出部436を備える。運転操作学習モデル415及び運転操作推定モデル416は、例えば、記憶部300に格納される。
前述のとおり、図4の期間T22,T24,T32における対象機能レベルは、ベース機能レベル及び不随意機能レベルである。そこで、期間T22,T24,T32では、異常判定部440は、不随意機能検知部420から出力された不随意機能レベル及びベース機能検知部435から出力されたベース機能レベルについて、組み合わせも含めて所定条件に合致するかどうかを判定する。この場合に、前述の図14に示すように、走行シーンに応じて、どのような指標を組み合わせるかを判断してもよい。また、各機能レベルのレベル値をスコア化して、それらを加算したり、加重平均をとったりするなどして、ベース機能レベル及び不随意機能レベルから選択された一部または全体としての総合スコアに対して所定の条件が設定されてもよい。
ここでは、図6A上段及び図6B上段に示すベース行動に関する予測機能レベルの検知項目のうち、視線挙動及び運転操作に関するベース機能レベルの検知動作例について、図面を参照しつつ説明する。
視線挙動に関する予測機能レベルの検知動作において、ブロック図としては、図11と同じような構成を用いることができるので、ここでは不随意機能レベルの検知動作と異なる点を中心に説明する。具体的には、図11における不随意機能検知部420の位置にベース機能検知部435が設けられる。
図18,19は、ドライビングシミュレータ70を用いて運転者の視線を検出し、サリエンシー指標の時間変化としてプロットしたものである。図18は健常者の測定結果であり、図19は機能障害患者の測定結果である。ただし、走行スピードが互いに異なるので、時間軸と走行場所が必ずしも一致しているわけではない。
図20,21は、ドライビングシミュレータ70を用いて、運転者の視線を検出し、運転シーンの画像に重ねた結果を示している。予測機能検知部431でも同様の処理が実行される。
前述のとおり、図4の期間T11,T13,T21,T25,T31,T33における対象機能レベルは、予測機能レベル、ベース機能レベル及び不随意機能レベルである。そこで、これら期間では、異常判定部440は、不随意機能検知部420から出力された不随意機能レベル、ベース機能検知部435から出力されたベース機能レベル及び予測機能検知部431から出力された予測機能レベルについて、組み合わせも含めて所定条件に合致するかどうかを判定する。この場合に、前述の図14に示すように、走行シーンに応じて、どのような指標を組み合わせるかを判断してもよい。また、各機能レベルのレベル値をスコア化して、それらを加算したり、加重平均をとったりするなどして、ベース機能レベル及び不随意機能レベルから選択された一部または全体としての総合スコアに対して所定の条件が設定されてもよい。
ここまでの説明では、車両制御装置10によるドライバの異常判定処理について、各機能レベルの検知処理と紐づけて説明した。ここでは、図23を参照しつつ、ドライバの異常判定という観点から、一連のドライバの異常判定動作について説明する。なお、ドライバの異常判定に使用するブロック図は、図5をはじめとして、これまでの説明と共通であり、ここでは構成についての説明を省略する。
運転シーン認知部210は、前述のとおり、外部環境情報取得装置60で取得された外部環境情報に基づいて、車両の運転シーンを認知する。
演算処理部100では、運転シーン認知部210で認知された運転シーンが運転機能の発揮が必要な運転シーンか否かを判定する。運転機能の発揮が必要な運転シーンか否かとは、例えば、運転操作センサ66の出力に基づいて、ドライバの運転操作があるか否かで判定することができる。なお、運転機能の発揮が必要な運転シーンか否かの判定方法は、特に限定されず、例えば、車外カメラ61の撮影結果や車両状態センサ64などの情報を基に車両の走行状態(停車状態)から判定してもよいし、車内カメラ68などのドライバ状態センサ67を用いてドライバの状態をモニタすることで判定するようにしてもよいし、それらを組み合わせてもよい。
異常判定部440は、不随意機能検知部420、予測機能検知部431、及び、ベース機能検知部435で検知されたドライバの機能レベルの結果について、それらの組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常を判定する。例えば、異常判定部440は、図24に示すように、不随意機能検知部420、予測機能検知部431、及び、ベース機能検知部435の各機能(以下、単に各機能ともいう)ついての判定基準を設け、それぞれの判定基準を満たすかどうかを判定する。図24の例では、これまで説明した評価項目での判定が実施される例を示している。
フローがステップST21に戻ると、運転シーン認知部210による車両の運転シーンの認知結果が更新される。
図24において、次の期間T12では、運転機能の発揮が必要な運転シーンではなく、すなわち、運転機能の検知が困難であり、不随意機能のみが判定対象であるものとする。そうすると、ステップST22では「NO」となり、フローはステップST34に進む。
異常判定部440は、不随意機能検知部420で検知されたドライバの機能レベルの結果について、不随意機能の各測定項目の組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常の予兆があるか否かを判定する。図24の例では、期間T12において、サッケード振幅について判定基準を満たさなくなったものとする。そうすると、ステップST34では、「NG項目あり」(図23では「NGあり」と記載)となり、フローは次のステップST35に進む。
異常判定部440は、不随意機能検知部420での測定結果を総合して、ドライバの異常を判定する。すなわち、車両Aを自動運転に切り替えるか否かを判定する。ここでは、例えば、異常判定部440は、周期性特徴量(頭部挙動)及びサッケード振幅(視線挙動)の両方の項目がNGの場合に、ドライバに異常が発生したと判定し(ステップST35でNG)、自動運転に切り替える制御をするものとする(ステップST36)。
異常判定部440は、ドライバ異常を判定するための判定基準をドライバの異常が判定されやすい方向に緩和する。すなわち、通常時にはドライバ異常と判断されないような状態においても、早期にドライバ異常と判定されるようにする。どの判定基準を変更するかは特に限定されない。不随意機能についての判定基準を変更してもよいし、運転機能(ベース機能及び/または予測機能)についての判定基準を変更してもよい。ここでは、(1)予測機能について、サリエンシー指標の評価基準を「X以上でNG」から「X-α(αは正の数)でNG」に緩和し、(2)ベース機能について、ステア操作の逸脱度を「0.4[deg]以上でNG」から「0.35[deg]以上でNG」に緩和するものとする。ステップST38の処理が終わると、フローはステップST21に戻る。
フローがステップST21に戻ると、運転シーン認知部210による車両の運転シーンの認知結果が更新される。ここで、車両の運転シーンは、期間T13に移行したものとする。
図24において、期間T13は、運転機能の発揮が必要な運転シーンであり、ステップST22は「YES」となり、フローはステップST24に進む。
異常判定部440は、前述のとおり、図24の判定項目と判定基準に基づいてドライバの異常を判定する。なお、サリエンシー指標については、判定基準が緩和された状態となっている。そして、期間T13では、サリエンシー指標についても、NG判定となったものとする。ここでは、異常判定部440は、「NG項目あり」(図23では「NGあり」と記載)と判定するので、フローは次のステップST25に進む。
異常判定部440は、不随意機能検知部420で検知された不随意機能の発揮レベル、予測機能検知部431で検知された予測機能の発揮レベル(予測機能発揮レベル)、及び、ベース機能検知部435で検知されたベース機能の発揮レベル(ベース機能発揮レベル)の評価結果を総合して、ドライバの異常を判定する。すなわち、車両Aを自動運転に切り替えるか否かを判定する。ここでは、例えば、異常判定部440は、(1)不随意機能において周期性特徴量(頭部挙動)及びサッケード振幅(視線挙動)の両方がNGの場合、または、(2)4つ以上の評価項目がNGの場合に、ドライバに異常が発生したと判定し(ステップST25でNG)、自動運転に切り替える制御をするものとする(ステップST26)。
異常判定部440は、ドライバ異常を判定するための判定基準をドライバ異常が判定されやすい方向に緩和する。すなわち、通常時にはドライバ異常と判断されないようなドライバの状態においても、早期に異常と判定されるようにする。どの判定基準を変更するかは特に限定されない。不随意機能の発揮レベルについての判定基準を変更してもよいし、運転機能(ベース機能及び/または予測機能)の発揮レベルについての判定基準を変更してもよい。ここでは、上記のステップST38での条件緩和に加えて、(1)ベース機能の発揮レベルについて、ステア操作の逸脱度を「0.35[deg]以上でNG」から「0.3[deg]以上でNG」にさらに緩和し、(2)予測機能の発揮レベルについて、障害物との距離についての評価基準を「リスク値がY以上でNG」から「リスク値がY-β(βは正の数)以上でNG」に緩和するものとする。ステップST28の処理が終わると、フローはステップST21に戻る。
フローがステップST21に戻ると、運転シーン認知部210による車両の運転シーンの認知結果が更新される。車両の運転シーンは、期間T13のままであるものとする。
期間T13は、継続して運転機能の発揮が必要な運転シーンであり、ステップST22は「YES」となり、フローはステップST24に進む。
異常判定部440は、前述のとおり、図24の判定項目と判定基準に基づいてドライバ異常を判定する。ここでは、継続して「NG項目あり」となり、フローは次のステップST25に進む。
異常判定部440は、前述のとおり、不随意機能の発揮レベル、予測機能の発揮レベル、及び、ベース機能の発揮レベルの評価結果を総合して、ドライバの異常を判定する。ここでは、NGの評価項目が4つに増えたものとする(図24の最左の欄参照)。そうすると、ステップST25で「NG」となり、フローはステップST26に進む。
異常判定部440は、走行制御部500に対して、車両を自動的に退避位置(例えば、路肩)に退避させて停車させるよう指示する。これにより、車両Aは、走行制御部500の制御を受けて、路肩へ退避走行し、退避位置に停車する。
10 車両制御装置(ドライバ異常判定装置)
66 運転操作センサ
67 ドライバ状態センサ
420 不随意機能検知部
431 予測機能検知部
435 ベース機能検知部
440 異常判定部
Claims (2)
- ドライバの運転操作を検出する運転操作センサ及びドライバの状態を検出するドライバ状態センサが設けられた車両用のドライバ異常判定装置であって、
前記ドライバ状態センサの検出データに基づいて、ドライバの不随意機能の発揮レベルを検知する不随意機能検知部と、
ドライバの運転操作がある場合に、前記運転操作センサの検出データに基づいてドライバの運転機能の発揮レベルを検知する運転機能検知部と、
前記不随意機能検知部で検知された不随意機能の発揮レベル、及び、前記運転機能検知部で検知された運転機能の発揮レベルに基づいて、ドライバの異常を判定する異常判定部とを備え、
前記異常判定部は、前記不随意機能の発揮レベルまたは前記運転機能の発揮レベルのうちの一方の機能レベルが所定の判定基準以下に低下したことが検出された場合に、他方の機能レベルの判定基準をドライバの異常が判定されやすい方向に緩和し、
前記運転機能の発揮レベルは、ドライバの予測運転機能についての予測機能の発揮レベルと、ドライバの運転操作のベースとなるベース機能についてのベース機能の発揮レベルとを含み、
前記運転機能検知部は、
前記予測機能の発揮レベルを検知する予測機能検知部と、
前記ベース機能の発揮レベルを検知するベース機能検知部とを備え、
前記異常判定部は、前記予測機能の発揮レベルが所定の判定基準以下に低下したことが検出された場合に、前記ベース機能の発揮レベルについての判定基準をドライバの異常が判定されやすい方向に緩和する、ことを特徴とするドライバ異常判定装置。 - 前記異常判定部は、前記不随意機能検知部において前記不随意機能の発揮レベルが所定の判定基準以下に低下したことが検出された場合に、前記運転機能の発揮レベルについての判定基準をドライバの異常が判定されやすい方向に緩和する、請求項1に記載のドライバ異常判定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020071671A JP7459633B2 (ja) | 2020-04-13 | 2020-04-13 | ドライバ異常判定装置 |
US17/198,271 US20210316737A1 (en) | 2020-04-13 | 2021-03-11 | Driver abnormality determination apparatus, method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020071671A JP7459633B2 (ja) | 2020-04-13 | 2020-04-13 | ドライバ異常判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021167164A JP2021167164A (ja) | 2021-10-21 |
JP7459633B2 true JP7459633B2 (ja) | 2024-04-02 |
Family
ID=78005730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020071671A Active JP7459633B2 (ja) | 2020-04-13 | 2020-04-13 | ドライバ異常判定装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210316737A1 (ja) |
JP (1) | JP7459633B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220052430A (ko) * | 2020-10-20 | 2022-04-28 | 현대자동차주식회사 | 자율주행차량의 거동 제어 장치 및 그 방법 |
WO2023243069A1 (ja) * | 2022-06-17 | 2023-12-21 | 三菱電機株式会社 | 脇見判定装置および脇見判定方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8698639B2 (en) * | 2011-02-18 | 2014-04-15 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10503987B2 (en) * | 2014-06-23 | 2019-12-10 | Denso Corporation | Apparatus detecting driving incapability state of driver |
JP6216406B1 (ja) * | 2016-04-27 | 2017-10-18 | 株式会社デンソーアイティーラボラトリ | ドライバ緊張度判定装置及びドライバ緊張度判定方法 |
CN112041910B (zh) * | 2018-03-30 | 2023-08-18 | 索尼半导体解决方案公司 | 信息处理装置、移动设备、方法和程序 |
-
2020
- 2020-04-13 JP JP2020071671A patent/JP7459633B2/ja active Active
-
2021
- 2021-03-11 US US17/198,271 patent/US20210316737A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210316737A1 (en) | 2021-10-14 |
JP2021167164A (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7459634B2 (ja) | ドライバ異常判定システム | |
JP7204739B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7226479B2 (ja) | 画像処理装置及び画像処理方法、並びに移動体 | |
JP6699831B2 (ja) | 運転意識推定装置 | |
JP7342638B2 (ja) | 運転者状態検出装置 | |
JP7459633B2 (ja) | ドライバ異常判定装置 | |
WO2020145161A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN112644507B (zh) | 驾驶者状态判定装置 | |
EP3868621B1 (en) | Driver state estimation device and movable body | |
EP3868622B1 (en) | Driver state estimation device and movable body | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
US20210316736A1 (en) | Driver abnormality determination apparatus, method and computer program | |
JP7415460B2 (ja) | 車両制御装置及び運転者状態判定方法 | |
JP7298508B2 (ja) | 状態推定装置 | |
JP7415459B2 (ja) | 車両制御装置及び運転者状態判定方法 | |
JP7318560B2 (ja) | 状態推定装置 | |
JP7298510B2 (ja) | 状態推定装置 | |
JP2021133754A (ja) | 状態推定装置 | |
JP2023022409A (ja) | 運転者状態判定方法及びその判定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240304 |