JP6264492B1 - 運転者監視装置、運転者監視方法、学習装置及び学習方法 - Google Patents
運転者監視装置、運転者監視方法、学習装置及び学習方法 Download PDFInfo
- Publication number
- JP6264492B1 JP6264492B1 JP2017120586A JP2017120586A JP6264492B1 JP 6264492 B1 JP6264492 B1 JP 6264492B1 JP 2017120586 A JP2017120586 A JP 2017120586A JP 2017120586 A JP2017120586 A JP 2017120586A JP 6264492 B1 JP6264492 B1 JP 6264492B1
- Authority
- JP
- Japan
- Prior art keywords
- driver
- information
- driving
- learning
- concentration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012806 monitoring device Methods 0.000 title claims abstract description 14
- 238000012544 monitoring process Methods 0.000 title claims description 49
- 230000006399 behavior Effects 0.000 claims abstract description 73
- 238000013528 artificial neural network Methods 0.000 claims description 112
- 230000004043 responsiveness Effects 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 62
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 18
- 230000008878 coupling Effects 0.000 claims description 14
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 210000000056 organ Anatomy 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000007774 longterm Effects 0.000 claims description 8
- 230000006403 short-term memory Effects 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 description 56
- 210000002569 neuron Anatomy 0.000 description 33
- 230000008569 process Effects 0.000 description 23
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 206010041349 Somnolence Diseases 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 208000032140 Sleepiness Diseases 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 238000011176 pooling Methods 0.000 description 9
- 230000037321 sleepiness Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 7
- 230000000391 smoking effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000035622 drinking Effects 0.000 description 5
- 230000007937 eating Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
Abstract
【課題】運転者の取り得る多様な状態を反映して、運転者の運転に対する集中の程度を推定可能にする技術を提供する。【解決手段】本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得部と、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する運転者状態推定部と、を備える。【選択図】図4
Description
本発明は、運転者監視装置、運転者監視方法、学習装置及び学習方法に関する。
近年、居眠り、体調の急変等に起因する自動車の交通事故を防止するため、運転者の状態を監視する技術の開発が進んでいる。また、自動車の自動運転の実現に向けた動きが加速している。自動運転は、システムにより自動車の操舵を制御するものであるが、システムに代わって運転者が運転しなければならない場面もあり得ることから、自動運転中であっても、運転者が運転操作を行える状態にあるか否かを監視する必要性があるとされている。この自動運転中に運転者の状態を監視する必要性があることは、国連欧州経済委員会(UN−ECE)の政府間会合(WP29)においても確認されている。この点からも、運転者の状態を監視する技術の開発が進められている。
運転者の状態を推定する技術として、例えば、特許文献1では、まぶたの開閉、視線の動き、又はハンドル角のふらつきから運転者の実集中度を検出する方法が提案されている。特許文献1の方法では、検出した実集中度と車両の周辺環境情報から算出した要求集中度とを比較することで、要求集中度に対して実集中度が十分であるか否かを判定する。そして、要求集中度に対して実集中度が不十分であると判定した場合には、自動運転の走行速度を低速にする。これにより、特許文献1の方法によれば、クルーズ制御を行っている際の安全性を高めることができる。
また、例えば、特許文献2では、開口行動及び口の周りの筋肉の状態に基づいて、運転者の眠気を判定する方法が提案されている。特許文献2の方法では、運転者が開口行動を実施していない場合に、弛緩状態である筋肉の数に応じて運転者に生じている眠気のレベルを判定する。すなわち、特許文献2の方法によれば、眠気により無意識に生じる現象に基づいて、運転者の眠気のレベルを判定しているため、眠気が生じていることを検出する検出精度を高めることができる。
また、例えば、特許文献3では、運転者のまぶたの動きが生じた後に、顔向き角度の変化が生じたか否かに基づいて、当該運転者の眠気を判定する方法が提案されている。特許文献3の方法によれば、下方視の状態を眠気の高い状態と誤検出する可能性を低減することで、眠気検出の精度を高めることができる。
また、例えば、特許文献4では、運転者の所持する免許証内の顔写真と運転者を撮影した撮影画像とを比較することで、運転者の眠気度及び脇見度を判定する方法が提案されている。特許文献4の方法によれば、免許証内の顔写真を運転者の覚醒時の正面画像として取り扱って、当該顔写真と撮影画像との特徴量を比較することで、運転者の眠気度及び脇見度を判定することができる。
また、例えば、特許文献5では、運転者の視線の状態に基づいて、当該運転者の集中度を判定する方法が提案されている。具体的には、特許文献5の方法では、運転者の視線を検出し、検出した視線が注視領域に停留する停留時間を測定する。そして、停留時間が閾値を超えた場合に、運転者の集中度が低下したと判定する。特許文献5の方法によれば、視線に関連する少ない画素値の変化により運転者の集中度を判定することができる。そのため、運転者の集中度の判定を少ない計算量で行うことができる。
本件発明者らは、上記のような運転者の状態を監視する従来の方法には、次のような問題点があることを見出した。すなわち、従来の方法では、顔の向き、目の開閉、視線の変化等の運転者の顔に生じる部分的な変化にのみ着目して、運転者の状態を推定している。そのため、例えば、右左折時に周辺を確認するために顔を振る、目視確認のために後ろを振り返る、ミラー、メータ及び車載装置の表示を確認するために視線を変化させる等の運転に必要な動作を脇見行為又は集中度の低下した状態と誤ってしまう可能性がある。また、例えば、前方を注視しながら飲食又は喫煙を行う、前方を注視しながら携帯電話で通話を行う等の運転に集中できていない状態を正常な状態と誤ってしまう可能性がある。このように、従来の方法では、顔に生じる部分的な変化を捉えた情報のみを利用しているため、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を的確に推定することができないという問題点があることを本件発明者らは見出した。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を推定可能にする技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得部と、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する運転者状態推定部と、を備える。
当該構成では、運転者の状態を推定するために、運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器が利用される。そして、この学習器の入力には、運転者の顔の挙動に関する顔挙動情報を含む、運転者を観測することで得られる観測情報の他、車両の運転席に着いた運転者を撮影するように配置された撮影装置から得られる撮影画像が用いられる。そのため、運転者の顔の挙動だけではなく、撮影画像から、運転者の身体の状態を解析することができる。したがって、当該構成によれば、運転者の取り得る多様な状態を反映して、当該運転者の運転に対する集中度を推定することができる。なお、観測情報は、運転者の顔の挙動に関する顔挙動情報の他、運転者から観測可能なあらゆる情報が含まれてもよく、例えば、脳波、心拍数等の生体情報を含んでもよい。
上記一側面に係る運転者監視装置において、前記運転者状態推定部は、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得してもよい。当該構成によれば、運転者の注視の状態及び運転に対する即応性の程度の2種類の観点で、運転者の状態を監視することができる。
上記一側面に係る運転者監視装置において、前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示してよく、前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示してもよい。当該構成によれば、運転者の運転に対する集中度を段階的に表現することができる。
上記一側面に係る運転者監視装置は、前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告部を更に備えてよい。当該構成によれば、運転者の状態を段階的に評価し、その状態に適した警告を実施することができる。
上記一側面に係る運転者監視装置において、前記運転者状態推定部は、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得してもよい。当該構成によれば、運転者の取っている行動状態に基づいて、当該運転者の運転に対する集中度を監視することができる。
上記一側面に係る運転者監視装置において、前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を前記顔挙動情報として取得してもよい。当該構成によれば、運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を利用して、運転者の状態の推定を行うことができる。
上記一側面に係る運転者監視装置は、取得した前記撮影画像の解像度を低下させる解像度変換部を更に備えてよく、前記運転者状態推定部は、解像度を低下させた前記撮影画像を前記学習器に入力してもよい。上記構成では、学習器の入力として、撮影画像の他に、運転者の顔の挙動に関する顔挙動情報を含む観測情報を利用している。そのため、撮影画像からは詳細な情報が得られなくてもよい場合がある。そこで、当該構成では、学習器の入力として、解像度を低下させた撮影画像を利用する。これにより、学習器の演算処理の計算量を低減することができ、運転者の監視にかかるプロセッサの負荷を抑えることができる。なお、解像度を低下させても、当該撮影画像から、運転者の姿勢に関する特徴を抽出することは可能である。そのため、このような解像度を低下させた撮影画像を、上記観測情報と共に利用することで、運転者の多様な状態を反映して、運転者の運転に対する集中度を推定することができる。
上記一側面に係る運転者監視装置において、前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備えてよい。全結合ニューラルネットワークは、1又は複数のニューロン(ノード)をそれぞれ含む複数の層を有し、各層に含まれる1又は複数のニューロンが隣接する層に含まれる全てのニューロンと結合しているニューラルネットワークである。また、畳み込みニューラルネットワークは、1つ以上の畳み込み層と、1つ以上のプーリング層とを備え、畳み込み層とプーリング層とが交互に接続した構造を有するニューラルネットワークである。当該構成に係る学習器は、全結合ニューラルネットワーク及び畳み込みニューラルネットワークの2種類のニューラルネットワークを入力側に備える。これにより、各入力に適した解析を行うことができ、運転者の状態推定の精度を高めることができる。
上記一側面に係る運転者監視装置において、前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備えてもよい。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。そのため、当該構成によれば、観測情報及び撮影画像それぞれに時系列データを利用することで、過去の状態を考慮して、運転者の状態を推定することができる。これにより、運転者の状態推定の精度を高めることができる。
上記一側面に係る運転者監視装置において、前記再帰型ニューラルネットワークは、長期短期記憶(LSTM:Long short-term memory)ブロックを含んでよい。長期短期記憶ブロックは、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである。長期短期記憶ブロックには、忘却ゲートを備え、情報の忘却のタイミングを学習可能に構成されたタイプも存在する。以下、長期短期記憶ブロックを「LSTMブロック」とも記載する。当該構成によれば、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者の状態を推定することができる。これにより、運転者の状態推定の精度を高めることができる。
上記一側面に係る運転者監視装置において、前記運転者状態推定部は、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力してもよい。当該構成によれば、運転者の状態の推定に、影響因子情報を更に利用することにより、運転者の状態推定の精度を高めることができる。なお、影響因子情報には、運転者の集中度に影響を与え得るあらゆる因子の情報が含まれてよく、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報(例えば、レーダの測定結果、車載カメラの撮影画像)、天候を示す天候情報等が含まれてもよい。
また、本発明の一側面に係る運転監視方法は、コンピュータが、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、を実行する。当該構成によれば、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を推定することができる。
上記一側面に係る運転監視方法において、前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得してもよい。当該構成によれば、運転者の注視の状態及び運転に対する即応性の程度の2種類の観点で、運転者の状態を監視することができる。
上記一側面に係る運転監視方法において、前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示してもよく、前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示してもよい。当該構成によれば、運転者の運転に対する集中度を段階的に表現することができる。
上記一側面に係る運転監視方法において、前記コンピュータは、前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告ステップを更に実行してもよい。当該構成によれば、運転者の状態を段階的に評価し、その状態に適した警告を実施することができる。
上記一側面に係る運転監視方法において、前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得してもよい。当該構成によれば、運転者の取っている行動状態に基づいて、当該運転者の運転に対する集中度を監視することができる。
上記一側面に係る運転監視方法において、前記観測情報取得ステップでは、前記コンピュータは、前記画像取得ステップで取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を前記顔挙動情報として取得してもよい。当該構成によれば、運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を利用して、運転者の状態の推定を行うことができる。
上記一側面に係る運転監視方法において、前記コンピュータは、取得した前記撮影画像の解像度を低下させる解像度変換ステップを更に実行してもよく、前記推定ステップでは、前記コンピュータは、解像度を低下させた前記撮影画像を前記学習器に入力してもよい。当該構成によれば、学習器の演算処理の計算量を低減することができ、運転者の監視にかかるプロセッサの負荷を抑えることができる。
上記一側面に係る運転監視方法において、前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備えてもよい。当該構成によれば、各入力に適した解析を行うことができ、運転者の状態推定の精度を高めることができる。
上記一側面に係る運転監視方法において、前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備えてもよい。当該構成によれば、運転者の状態推定の精度を高めることができる。
上記一側面に係る運転監視方法において、前記再帰型ニューラルネットワークは、長期短期記憶ブロックを含んでもよい。当該構成によれば、運転者の状態推定の精度を高めることができる。
上記一側面に係る運転監視方法において、前記推定ステップでは、前記コンピュータは、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力してもよい。当該構成によれば、運転者の状態推定の精度を高めることができる。
また、本発明の一側面に係る学習装置は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得部と、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理部と、を備える。当該構成によれば、上記運転者の運転に対する集中の程度を推定するのに利用する学習済みの学習器を構築することができる。
また、本発明の一側面に係る学習方法は、コンピュータが、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、を実行する。当該構成によれば、上記運転者の運転に対する集中の程度を推定するのに利用する学習済みの学習器を構築することができる。
本発明によれば、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中の程度を推定可能にする技術を提供することができる。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。例えば、以下では、本実施形態として、自動車の自動運転を支援する自動運転支援装置に本発明を適用した例を示す。しかしながら、本発明の適用対象は、自動運転を実施可能な車両に限定されなくてもよく、自動運転を実施しない一般の車両に本発明が適用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る自動運転支援装置1及び学習装置2の適用場面の一例を模式的に例示する。
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る自動運転支援装置1及び学習装置2の適用場面の一例を模式的に例示する。
図1に示されるとおり、本実施形態に係る自動運転支援装置1は、カメラ31を利用して運転者Dを監視しながら、車両の自動運転を支援するコンピュータである。本実施形態に係る自動運転支援装置1は、本発明の「運転者監視装置」に相当する。具体的には、自動運転支援装置1は、車両の運転席に着いた運転者Dを撮影するように配置されたカメラ31から撮影画像を取得する。カメラ31は、本発明の「撮影装置」に相当する。また、自動運転支援装置1は、運転者Dの顔の挙動に関する顔挙動情報を含む運転者の観測情報を取得する。そして、自動運転支援装置1は、運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器(後述するニューラルネットワーク5)に、取得した撮影画像及び観測情報を入力することで、運転者Dの運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する。これにより、自動運転支援装置1は、運転者Dの状態、すなわち、運転者Dの運転に対する集中の程度(以下、「運転集中度」とも記載する)を推定する。
一方、本実施形態に係る学習装置2は、自動運転支援装置1で利用する学習器を構築する、すなわち、撮影画像及び観測情報の入力に応じて、運転者Dの運転に対する集中の程度に関する運転者集中情報を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置2は、上記の撮影画像、観測情報、及び運転集中度情報の組を学習データとして取得する。これらのうち、撮影画像及び観測情報は入力データとして利用され、運転集中度情報は教師データとして利用される。すなわち、学習装置2は、撮影画像及び観測情報を入力すると運転集中度情報に対応する出力値を出力するように学習器(後述するニューラルネットワーク6)を学習させる。これにより、自動運転支援装置1で利用する学習済みの学習器が作成される。自動運転支援装置1は、例えば、ネットワークを介して、学習装置2により作成された学習済みの学習器を取得することができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
以上のとおり、本実施形態では、運転者Dの状態を推定するために、運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器を利用する。そして、この学習器の入力として、運転者の顔の挙動に関する顔挙動情報を含む、運転者を観測することで得られる観測情報の他に、車両の運転席に着いた運転者を撮影するように配置されたカメラ31から得られる撮影画像を用いる。そのため、運転者Dの顔の挙動だけではなく、運転者Dの身体の状態(例えば、身体の向き、姿勢等)を撮影画像から解析することができる。したがって、本実施形態によれば、運転者Dの取り得る多様な状態を反映して、当該運転者Dの運転に対する集中度を推定することができる。
§2 構成例
[ハードウェア構成]
<自動運転支援装置>
次に、図2を用いて、本実施形態に係る自動運転支援装置1のハードウェア構成の一例について説明する。図2は、本実施形態に係る自動運転支援装置1のハードウェア構成の一例を模式的に例示する。
[ハードウェア構成]
<自動運転支援装置>
次に、図2を用いて、本実施形態に係る自動運転支援装置1のハードウェア構成の一例について説明する。図2は、本実施形態に係る自動運転支援装置1のハードウェア構成の一例を模式的に例示する。
図2に示されるとおり、本実施形態に係る自動運転支援装置1は、制御部11、記憶部12、及び外部インタフェース13が電気的に接続されたコンピュータである。なお、図2では、外部インタフェースを「外部I/F」と記載している。
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて各構成要素の制御を行う。記憶部12は、例えば、RAM、ROM等で構成され、プログラム121、学習結果データ122等を記憶する。記憶部12は、「メモリ」に相当する。
プログラム121は、自動運転支援装置1に後述する運転者Dの状態を推定する情報処理(図7)を実行させるためのプログラムである。学習結果データ122は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。
外部インタフェース13は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、外部インタフェース13は、例えば、CAN(Controller Area Network)を介して、ナビゲーション装置30、カメラ31、生体センサ32、及びスピーカ33に接続される。
ナビゲーション装置30は、車両の走行時に経路案内を行うコンピュータである。ナビゲーション装置30には、公知のカーナビゲーション装置が用いられてよい。ナビゲーション装置30は、GPS(Global Positioning System)信号に基づいて自車位置を測定し、地図情報及び周辺の建物等に関する周辺情報を利用して、経路案内を行うように構成される。なお、以下では、GPS信号に基づいて測定される自車位置を示す情報を「GPS情報」と称する。
カメラ31は、車両の運転席に着いた運転者Dを撮影するように配置される。例えば、図1の例では、カメラ31は、運転席の前方上方に配置されている。しかしながら、カメラ31の配置場所は、このような例に限定されなくてもよく、運転席に着いた運転者Dを撮影可能であれば、実施の形態に応じて適宜選択されてよい。なお、カメラ31には、一般のデジタルカメラ、ビデオカメラ等が用いられてよい。
生体センサ32は、運転者Dの生体情報を測定するように構成される。測定対象となる生体情報は、特に限定されなくてもよく、例えば、脳波、心拍数等であってよい。生体センサ32は、測定対象となる生体情報を測定可能であれば特に限定されなくてもよく、例えば、公知の脳波センサ、脈拍センサ等が用いられてよい。生体センサ32は、測定対象となる生体情報に応じた運転者Dの身体部位に装着される。
スピーカ33は、音声を出力するように構成される。スピーカ33は、車両の走行中に運転者Dが当該車両の運転に適した状態ではない場合に、当該車両の運転に適した状態をとるように当該運転者Dに対して警告するのに利用される。詳細は後述する。
なお、外部インタフェース13には、上記以外の外部装置が接続されてよい。例えば、外部インタフェース13には、ネットワークを介してデータ通信を行うための通信モジュールが接続されてもよい。外部インタフェース13に接続する外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
また、図2の例では、自動運転支援装置1は、1つの外部インタフェース13を備えている。しかしながら、外部インタフェース13は、接続する外部装置毎に設けられてもよい。外部インタフェース13の数は、実施の形態に応じて適宜選択可能である。
なお、自動運転支援装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。記憶部12は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、自動運転支援装置1には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータが用いられてもよい。
<学習装置>
次に、図3を用いて、本実施形態に係る学習装置2のハードウェア構成の一例を説明する。図3は、本実施形態に係る学習装置2のハードウェア構成の一例を模式的に例示する。
次に、図3を用いて、本実施形態に係る学習装置2のハードウェア構成の一例を説明する。図3は、本実施形態に係る学習装置2のハードウェア構成の一例を模式的に例示する。
図3に示されるとおり、本実施形態に係る学習装置2は、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、及びドライブ26が電気的に接続されたコンピュータである。なお、図3では、通信インタフェースを「通信I/F」と記載している。
制御部21は、上記制御部11と同様に、ハードウェアプロセッサであるCPU、RAM、ROM等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部22は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部22は、制御部21で実行される学習プログラム221、学習器の学習に利用する学習データ222、学習プログラム221を実行して作成した学習結果データ122等を記憶する。
学習プログラム221は、学習装置2に後述する機械学習の処理(図8)を実行させるためのプログラムである。学習データ222は、運転者の運転集中度を推定する機能を獲得するように学習器の学習を行うためのデータである。詳細は後述する。
通信インタフェース23は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置2は、当該通信インタフェース23を介して、作成した学習データ222を外部の装置に配信してもよい。
入力装置24は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置25は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置24及び出力装置25を介して、学習装置2を操作することができる。
ドライブ26は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体92に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ26の種類は、記憶媒体92の種類に応じて適宜選択されてよい。上記学習プログラム221及び学習データ222は、この記憶媒体92に記憶されていてもよい。
記憶媒体92は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置2は、この記憶媒体92から、上記学習プログラム221及び学習データ222を取得してもよい。
ここで、図3では、記憶媒体92の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体92の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、学習装置2の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部21は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてよい。学習装置2は、複数台の情報処理装置で構成されてもよい。また、学習装置2は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
[機能構成]
<自動運転支援装置>
次に、図4を用いて、本実施形態に係る自動運転支援装置1の機能構成の一例を説明する。図4は、本実施形態に係る自動運転支援装置1の機能構成の一例を模式的に例示する。
<自動運転支援装置>
次に、図4を用いて、本実施形態に係る自動運転支援装置1の機能構成の一例を説明する。図4は、本実施形態に係る自動運転支援装置1の機能構成の一例を模式的に例示する。
自動運転支援装置1の制御部11は、記憶部12に記憶されたプログラム121をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム121をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図4に示されるとおり、本実施形態に係る自動運転支援装置1は、画像取得部111、観測情報取得部112、解像度変換部113、運転状態推定部114、及び警告部115を備えるコンピュータとして機能する。
画像取得部111は、車両の運転席に着いた運転者Dを撮影するように配置されたカメラ31から撮影画像123を取得する。観測情報取得部112は、運転者Dの顔の挙動に関する顔挙動情報1241及び生体センサ32により測定された生体情報1242を含む観測情報124を取得する。本実施形態では、顔挙動情報1241は、撮影画像123を画像解析することで得られる。なお、観測情報124は、このような例に限定されなくてもよく、生体情報1242は、省略されてもよい。この場合、生体センサ32は省略されてもよい。
解像度変換部113は、画像取得部111により取得した撮影画像123の解像度を低下させる。これにより、解像度変換部113は、低解像度撮影画像1231を形成する。
運転状態推定部114は、運転者の運転集中度を推定するための学習を行った学習済みの学習器(ニューラルネットワーク5)に、撮影画像123を低解像度化することで得られた低解像度撮影画像1231及び観測情報124を入力する。これにより、運転状態推定部114は、運転者Dの運転集中度に関する運転集中度情報125を当該学習器から取得する。本実施形態では、運転状態推定部114は、運転集中度情報125として、運転者Dの注視の状態を示す注視状態情報1251、及び運転者Dの運転に対する即応性の程度を示す即応性情報1252を取得する。なお、低解像度化の処理は省略されてもよい。この場合、運転状態推定部114は、撮影画像123を学習器に入力してもよい。
ここで、図5A及び図5Bを用いて、注視状態情報1251及び即応性情報1252を説明する。図5A及び図5Bは、注視状態情報1251及び即応性情報1252の一例を示す。図5Aに示されるとおり、本実施形態に係る注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを2つのレベルで段階的に示す。また、図5Bに示されるとおり、本実施形態に係る即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを2つのレベルで段階的に示す。
運転者Dの行動状態と注視状態及び即応性との関係は適宜設定可能である。例えば、運転者Dが、「前方注視」、「計器確認」及び「ナビゲーション確認」の行動状態にある場合には、当該運転者Dは、運転に必要な注視を行っており、かつ運転に対する即応性が高い状態にあると推定可能である。そこで、本実施形態では、運転者Dが、「前方注視」、「計器確認」及び「ナビゲーション確認」の行動状態にあるのに対応して、注視状態情報1251は、運転者Dが運転に必要な注視を行っていることを示すように設定され、即応性情報1252は、運転者Dが運転に対する即応性の高い状態にあることを示すように設定される。「即応性」とは、運転に対する準備状態の程度を示し、例えば、自動運転装置1に異常等が発生して自動運転を継続できなくなったときに、運転者Dが手動で車両を運転する状態に復帰可能な度合を表すことができる。なお、「前方注視」は、運転者Dが車両の走行方向を注視している状態を指す。「計器確認」は、車両のスピードメータ等の計器を運転者Dが確認している状態を指す。「ナビゲーション確認」は、ナビゲーション装置30の経路案内を運転者Dが確認している状態を指す。
また、例えば、運転者Dが、「喫煙」、「飲食」及び「通話」の行動状態にある場合には、当該運転者Dは、運転に必要な注視は行っているが、運転に対する即応性は低い状態にあると推定可能である。そこで、本実施形態では、運転者Dが、「喫煙」、「飲食」及び「通話」の行動状態にあるのに対応して、注視状態情報1251は、運転者Dが運転に必要な注視を行っていることを示すように設定され、即応性情報1252は、運転者Dが運転に対する即応性の低い状態にあることを示すように設定される。なお、「喫煙」は、運転者Dが喫煙している状態を指す。「飲食」は、運転者Dが飲食物を飲食している状態を指す。「通話」は、運転者Dが携帯電話等の電話機で通話を行っている状態を指す。
また、例えば、運転者Dが、「脇見」、「後方振り返り」及び「眠気」の行動状態にある場合には、当該運転者Dは、運転に必要な注視は行っていないが、運転に対する即応性は比較的に高い状態にあると推定可能である。そこで、本実施形態では、運転者Dが、「脇見」、「後方振り返り」及び「眠気」の行動状態にあることに対応して、注視状態情報1251は、運転者Dが運転に必要な注視を行っていないことを示すように設定され、即応性情報1252が、運転者Dが運転に対する即応性の高い状態にあることを示すように設定される。なお、「脇見」は、運転者Dが前方から視線を外している状態を指す。「後方振り返り」は、運転者Dが後部座席の方に振り返っている状態を指す。「眠気」は、運転者Dが眠気に襲われた状態を指す。
また、例えば、運転者Dが、「居眠り」、「携帯電話操作」及び「パニック」の行動状態にある場合には、当該運転者Dは、運転に必要な注視を行っておらず、運転に対する即応性は低い状態にあると推定可能である。そこで、本実施形態では、運転者Dが、「居眠り」、「携帯電話操作」及び「パニック」の行動状態にあることに対応して、注視状態情報1251は、運転者Dが運転に必要な注視を行っていないことを示すように設定され、即応性情報1252は、運転者Dが運転に対する即応性の低い状態にあることを示すように設定される。なお、「居眠り」は、運転者Dが眠っている状態を指す。「携帯電話操作」は、運転者Dが携帯電話を操作している状態を指す。「パニック」は、運転者Dが体調の急変等によりパニックに陥っている状態を指す。
警告部115は、運転集中度情報125に基づいて、運転者Dが車両の運転に適した状態にあるか否か、換言すると、運転者Dの運転集中度が高い状態にあるか否かを判定する。そして、運転者Dが車両の運転に適した状態にないと判定される場合に、スピーカ33を介して、車両の運転に適した状態をとるように運転者Dに促す警告を行う。
(学習器)
次に、学習器について説明する。図4に示されるとおり、本実施形態に係る自動運転支援装置1は、運転者の運転集中度を推定するための学習を行った学習済みの学習器として、ニューラルネットワーク5を利用する。本実施形態に係るニューラルネットワーク5は、複数種類のニューラルネットワークを組み合わせることで構成されている。
次に、学習器について説明する。図4に示されるとおり、本実施形態に係る自動運転支援装置1は、運転者の運転集中度を推定するための学習を行った学習済みの学習器として、ニューラルネットワーク5を利用する。本実施形態に係るニューラルネットワーク5は、複数種類のニューラルネットワークを組み合わせることで構成されている。
具体的には、ニューラルネットワーク5は、全結合ニューラルネットワーク51、畳み込みニューラルネットワーク52、結合層53、及びLSTMネットワーク54の4つの部分に分かれている。全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52は入力側に並列に配置されており、全結合ニューラルネットワーク51には観測情報124が入力され、畳み込みニューラルネットワーク52には低解像度撮影画像1231が入力される。結合層53は、全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52の出力を結合する。LSTMネットワーク54は、結合層53からの出力を受けて、注視状態情報1251及び即応性情報1252を出力する。
(a)全結合ニューラルネットワーク
全結合ニューラルネットワーク51は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層511、中間層(隠れ層)512、及び出力層513を備えている。ただし、全結合ニューラルネットワーク51の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
全結合ニューラルネットワーク51は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層511、中間層(隠れ層)512、及び出力層513を備えている。ただし、全結合ニューラルネットワーク51の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
各層511〜513は、1又は複数のニューロン(ノード)を備えている。各層511〜513に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。各層511〜513に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク51は構成される。各結合には、重み(結合荷重)が適宜設定されている。
(b)畳み込みニューラルネットワーク
畳み込みニューラルネットワーク52は、畳み込み層521及びプーリング層522を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク52では、複数の畳み込み層521及びプーリング層522が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層522の出力が全結合層523に入力され、全結合層523の出力が出力層524に入力される。
畳み込みニューラルネットワーク52は、畳み込み層521及びプーリング層522を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク52では、複数の畳み込み層521及びプーリング層522が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層522の出力が全結合層523に入力され、全結合層523の出力が出力層524に入力される。
畳み込み層521は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。
プーリング層522は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。
全結合層523は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層523に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。畳み込みニューラルネットワーク52は、2層以上の全結合層523を備えてもよい。また、全結合層423に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。
出力層524は、畳み込みニューラルネットワーク52の最も出力側に配置される層である。出力層524に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク52の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
(c)結合層
結合層53は、全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52とLSTMネットワーク54との間に配置される。結合層53は、全結合ニューラルネットワーク51の出力層513からの出力及び畳み込みニューラルネットワーク52の出力層524からの出力を結合する。結合層53に含まれるニューロンの個数は、全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52の出力の数に応じて適宜設定されてよい。
結合層53は、全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52とLSTMネットワーク54との間に配置される。結合層53は、全結合ニューラルネットワーク51の出力層513からの出力及び畳み込みニューラルネットワーク52の出力層524からの出力を結合する。結合層53に含まれるニューロンの個数は、全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52の出力の数に応じて適宜設定されてよい。
(d)LSTMネットワーク
LSTMネットワーク54は、LSTMブロック542を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。LSTMネットワーク54は、一般的な再起型ニューラルネットワークの中間層をLSTMブロック542に置き換えた構造を有する。
LSTMネットワーク54は、LSTMブロック542を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。LSTMネットワーク54は、一般的な再起型ニューラルネットワークの中間層をLSTMブロック542に置き換えた構造を有する。
本実施形態では、LSTMネットワーク54は、入力側から順に、入力層541、LSTMブロック542、及び出力層543を備えており、順伝播の経路の他、LSTMブロック542から入力層541に戻る経路を有している。入力層541及び出力層543に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。
LSTMブロック542は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである(S.Hochreiter and J.Schmidhuber, "Long short-term memory" Neural Computation, 9(8):1735-1780, November 15, 1997)。また、LSTMブロック542は、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい(Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000)。LSTMネットワーク54の構成は、実施の形態に応じて適宜設定可能である。
(e)小括
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。自動運転支援装置1は、全結合ニューラルネットワーク51に観測情報124を入力し、畳み込みニューラルネットワーク52に低解像度撮影画像1231を入力する。そして、自動運転支援装置1は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、自動運転支援装置1は、注視状態情報1251及び即応性情報1252に対応する出力値をニューラルネットワーク5の出力層543から取得する。
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。自動運転支援装置1は、全結合ニューラルネットワーク51に観測情報124を入力し、畳み込みニューラルネットワーク52に低解像度撮影画像1231を入力する。そして、自動運転支援装置1は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、自動運転支援装置1は、注視状態情報1251及び即応性情報1252に対応する出力値をニューラルネットワーク5の出力層543から取得する。
なお、このようなニューラルネットワーク5の構成(例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数)、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ122に含まれている。自動運転支援装置1は、学習結果データ122を参照して、運転者Dの運転集中度を推定する処理に用いる学習済みニューラルネットワーク5の設定を行う。
<学習装置>
次に、図6を用いて、本実施形態に係る学習装置2の機能構成の一例を説明する。図6は、本実施形態に係る学習装置2の機能構成の一例を模式的に例示する。
次に、図6を用いて、本実施形態に係る学習装置2の機能構成の一例を説明する。図6は、本実施形態に係る学習装置2の機能構成の一例を模式的に例示する。
学習装置2の制御部21は、記憶部22に記憶された学習プログラム221をRAMに展開する。そして、制御部21は、RAMに展開された学習プログラム221をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図6に示されるとおり、本実施形態に係る学習装置2は、学習データ取得部211、及び学習処理部212を備えるコンピュータとして機能する。
学習データ取得部211は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する。撮影画像及び観測情報は入力データとして利用される。また、運転集中度情報は教師データとして利用される。本実施形態では、学習データ取得部211は、低解像度撮影画像223、観測情報224、注視状態情報2251、及び即応性情報2252の組を学習データ222として取得する。低解像度撮影画像223及び観測情報224はそれぞれ、上記低解像度撮影画像1231及び観測情報124に対応する。注視状態情報2251及び即応性情報2252は、上記運転集中度情報125の注視状態情報1251及び即応性情報1252に対応する。学習処理部212は、低解像度撮影画像223及び観測情報224を入力すると注視状態情報2251及び即応性情報2252に対応する出力値を出力するように学習器を学習させる。
図6に示されるとおり、本実施形態において、学習対象となる学習器は、ニューラルネットワーク6である。当該ニューラルネットワーク6は、全結合ニューラルネットワーク61、畳み込みニューラルネットワーク62、結合層63、及びLSTMネットワーク64を備え、上記ニューラルネットワーク5と同様に構成される。全結合ニューラルネットワーク61、畳み込みニューラルネットワーク62、結合層63、及びLSTMネットワーク64はそれぞれ、上記全結合ニューラルネットワーク51、畳み込みニューラルネットワーク52、結合層53、及びLSTMネットワーク54と同様である。学習処理部212は、ニューラルネットワークの学習処理により、全結合ニューラルネットワーク61に観測情報224を入力し、畳み込みニューラルネットワーク62に低解像度撮影画像223を入力すると、注視状態情報2251及び即応性情報2252に対応する出力値をLSTMネットワーク64から出力するニューラルネットワーク6を構築する。そして、学習処理部212は、構築したニューラルネットワーク6の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ122として記憶部22に格納する。
<その他>
自動運転支援装置1及び学習装置2の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置1及び学習装置2の各機能がいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置1及び学習装置2それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
自動運転支援装置1及び学習装置2の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置1及び学習装置2の各機能がいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置1及び学習装置2それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
§3 動作例
[自動運転支援装置]
次に、図7を用いて、自動運転支援装置1の動作例を説明する。図7は、自動運転支援装置1の処理手順の一例を例示するフローチャートである。以下で説明する運転者Dの状態を推定する処理手順は、本発明の「運転者監視方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
[自動運転支援装置]
次に、図7を用いて、自動運転支援装置1の動作例を説明する。図7は、自動運転支援装置1の処理手順の一例を例示するフローチャートである。以下で説明する運転者Dの状態を推定する処理手順は、本発明の「運転者監視方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(起動)
まず、運転者Dは、車両のイグニッション電源をオンにすることで、自動運転支援装置1を起動し、起動した自動運転支援装置1にプログラム121を実行させる。自動運転支援装置1の制御部11は、ナビゲーション装置30から地図情報、周辺情報、及びGPS情報を取得して、取得した地図情報、周辺情報、及びGPS情報に基づいて車両の自動運転を開始する。自動運転の制御方法には、公知の制御方法が利用可能である。そして、車両の自動運転を開始した後、制御部11は、以下の処理手順に従って、運転者Dの状態を監視する。なお、以下のプログラム実行のトリガは、このような車両のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、以下のプログラムの実行は、例えば、手動運転モードと自動運転モードとを備える車両において、自動運転モードに移行したことをトリガとしてよい。なお、自動運転モードへの移行は、運転者の指示により行われてもよい。
まず、運転者Dは、車両のイグニッション電源をオンにすることで、自動運転支援装置1を起動し、起動した自動運転支援装置1にプログラム121を実行させる。自動運転支援装置1の制御部11は、ナビゲーション装置30から地図情報、周辺情報、及びGPS情報を取得して、取得した地図情報、周辺情報、及びGPS情報に基づいて車両の自動運転を開始する。自動運転の制御方法には、公知の制御方法が利用可能である。そして、車両の自動運転を開始した後、制御部11は、以下の処理手順に従って、運転者Dの状態を監視する。なお、以下のプログラム実行のトリガは、このような車両のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、以下のプログラムの実行は、例えば、手動運転モードと自動運転モードとを備える車両において、自動運転モードに移行したことをトリガとしてよい。なお、自動運転モードへの移行は、運転者の指示により行われてもよい。
(ステップS101)
ステップS101では、制御部11は、画像取得部111として機能し、車両の運転席についた運転者Dを撮影するように配置されたカメラ31から撮影画像123を取得する。取得する撮影画像123は、動画像であってもよいし、静止画像であってもよい。撮影画像123を取得すると、制御部11は、次のステップS102に処理を進める。
ステップS101では、制御部11は、画像取得部111として機能し、車両の運転席についた運転者Dを撮影するように配置されたカメラ31から撮影画像123を取得する。取得する撮影画像123は、動画像であってもよいし、静止画像であってもよい。撮影画像123を取得すると、制御部11は、次のステップS102に処理を進める。
(ステップS102)
ステップS102では、制御部11は、観測情報取得部112として機能し、運転者Dの顔に挙動する顔挙動情報1241及び生体情報1242を含む観測情報124を取得する。観測情報124を取得すると、制御部11は、次のステップS103に処理を進める。
ステップS102では、制御部11は、観測情報取得部112として機能し、運転者Dの顔に挙動する顔挙動情報1241及び生体情報1242を含む観測情報124を取得する。観測情報124を取得すると、制御部11は、次のステップS103に処理を進める。
顔挙動情報1241は適宜取得されてよい。例えば、制御部11は、ステップS101で取得した撮影画像123に対して所定の画像解析を行うことで、運転者Dの顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を顔挙動情報1241として取得することができる。
顔挙動情報1241の取得方法の一例として、まず、制御部11は、撮影画像123から運転者Dの顔を検出し、検出した顔の位置を特定する。これにより、制御部11は、顔の検出可否及び位置に関する情報を取得することができる。また、継続的に顔の検出を行うことで、制御部11は、顔の動きに関する情報を取得することができる。次に、制御部11は、検出した顔の画像内において、運転者Dの顔に含まれる各器官(眼、口、鼻、耳等)を検出する。これにより、制御部11は、顔の器官の位置に関する情報を取得することができる。そして、制御部11は、検出した各器官(眼、口、鼻、耳等)の状態を解析することで、顔の向き、視線の方向、及び目の開閉に関する情報を取得することができる。顔の検出、器官の検出、及び器官の状態の解析には、公知の画像解析方法が用いられてよい。
取得される撮影画像123が、動画像又は時系列に並んだ複数の静止画像である場合、制御部11は、これらの画像解析を撮影画像123の各フレームに実行することで、時系列に沿って各種情報を取得することができる。これにより、制御部11は、ヒストグラム又は統計量(平均値、分散値等)で表された各種情報を時系列データで取得することができる。
また、制御部11は、生体センサ32から生体情報(例えば、脳波、心拍数等)1242を取得してもよい。例えば、生体情報1242は、ヒストグラム又は統計量(平均値、分散値等)で表されてよい。顔挙動情報1241と同様に、制御部11は、生体センサ32に継続的にアクセスすることで、生体情報1242を時系列データで取得することができる。
(ステップS103)
ステップS103では、制御部11は、解像度変換部113として機能し、ステップS101で取得した撮影画像123の解像度を低下させる。これにより、制御部11は、低解像度撮影画像1231を形成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部11は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像1231を形成することができる。低解像度撮影画像1231を形成すると、制御部11は、次のステップS104に処理を進める。なお、本ステップS103は省略されてもよい。
ステップS103では、制御部11は、解像度変換部113として機能し、ステップS101で取得した撮影画像123の解像度を低下させる。これにより、制御部11は、低解像度撮影画像1231を形成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部11は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像1231を形成することができる。低解像度撮影画像1231を形成すると、制御部11は、次のステップS104に処理を進める。なお、本ステップS103は省略されてもよい。
(ステップS104及びS105)
ステップS104では、制御部11は、運転状態推定部114として機能し、取得した観測情報124及び低解像度撮影画像1231をニューラルネットワーク5の入力として用いて、当該ニューラルネットワーク5の演算処理を実行する。これにより、ステップS105では、制御部11は、運転集中度情報125の注視状態情報1251及び即応性情報1252それぞれに対応する出力値を当該ニューラルネットワーク5から得る。
ステップS104では、制御部11は、運転状態推定部114として機能し、取得した観測情報124及び低解像度撮影画像1231をニューラルネットワーク5の入力として用いて、当該ニューラルネットワーク5の演算処理を実行する。これにより、ステップS105では、制御部11は、運転集中度情報125の注視状態情報1251及び即応性情報1252それぞれに対応する出力値を当該ニューラルネットワーク5から得る。
具体的には、制御部11は、ステップS102で取得した観測情報124を全結合ニューラルネットワーク51の入力層511に入力し、ステップS103で取得した低解像度撮影画像1231を、畳み込みニューラルネットワーク52の最も入力側に配置された畳み込み層521に入力する。そして、制御部11は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部11は、注視状態情報1251及び即応性情報1252に対応する出力値をLSTMネットワーク54の出力層543から取得する。
(ステップS106及びS107)
ステップS106では、制御部11は、警告部115として機能し、ステップS105で取得した注視状態情報1251及び即応性情報1252に基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定する。運転者Dが車両の運転に適した状態にあると判定した場合には、制御部11は、次のステップS107を省略して、本動作例に係る処理を終了する。一方、運転者Dが車両の運転に適した状態にないと判定した場合には、制御部11は、次のステップS107の処理を実行する。すなわち、制御部11は、スピーカ33を介して、車両の運転に適した状態をとるように運転者Dに促す警告を行い、本動作例に係る処理を終了する。
ステップS106では、制御部11は、警告部115として機能し、ステップS105で取得した注視状態情報1251及び即応性情報1252に基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定する。運転者Dが車両の運転に適した状態にあると判定した場合には、制御部11は、次のステップS107を省略して、本動作例に係る処理を終了する。一方、運転者Dが車両の運転に適した状態にないと判定した場合には、制御部11は、次のステップS107の処理を実行する。すなわち、制御部11は、スピーカ33を介して、車両の運転に適した状態をとるように運転者Dに促す警告を行い、本動作例に係る処理を終了する。
運転者Dが車両の運転に適した状態にないと判定する基準は、実施の形態に応じて適宜設定されてよい。例えば、制御部11は、運転者Dが運転に必要な注視を行っていないと注視状態情報1251が示す、又は運転者Dの運転に対する即応性が低い状態であると即応性情報1252が示す場合に、運転者Dが車両の運転に適した状態にないと判定し、ステップS107による警告を行ってもよい。また、例えば、制御部11は、運転者Dが運転に必要な注視を行っていないと注視状態情報1251が示す、及び運転者Dの運転に対する即応性が低い状態であると即応性情報1252が示す場合に、運転者Dが車両の運転に適した状態にないと判定し、ステップS107による警告を行ってもよい。
更に、本実施形態では、注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを2つのレベルで段階的に示し、即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを2つのレベルで段階的に示す。そのため、制御部11は、注視状態情報1251の示す運転者Dの注視のレベル及び即応性情報1252の示す運転者Dの即応性のレベルに応じて、段階的に警告を行ってもよい。
例えば、運転者Dが運転に必要な注視を行っていないと注視状態情報1251が示す場合に、制御部11は、運転に必要な注視を行うように運転者Dに促す音声を警告としてスピーカ33から出力してもよい。また、運転者Dの運転に対する即応性が低い状態であると即応性情報1252が示す場合に、制御部11は、運転に対する即応性を高めるように運転者Dに促す音声を警告としてスピーカ33から出力してもよい。更に、運転者Dが運転に必要な注視を行っていないと注視状態情報1251が示す、及び運転者Dの運転に対する即応性が低い状態であると即応性情報1252が示す場合に、制御部11は、上記2つのケースよりも強い警告(例えば、音量を上げる、ビープ音を鳴らす、等)を実施してもよい。
以上により、自動運転支援装置1は、車両の自動運転を実施している間に、運転者Dの運転集中度を監視することができる。なお、自動運転支援装置1は、上記ステップS101〜S107の処理を繰り返し実行することで、運転者Dの運転集中度を継続的に監視してもよい。また、自動運転支援装置1は、上記ステップS101〜S107の処理を繰り返し実行する間に、上記ステップS106において、運転者Dが車両の運転に適した状態にないと複数回連続して判定した場合に、自動運転を停止してもよい。この場合、例えば、制御部11は、運転者Dが車両の運転に適した状態にないと複数回連続して判定した後に、地図情報、周辺情報及びGPS情報を参照して、車両を安全に停止可能な場所に停車区間を設定してもよい。そして、制御部11は、車両を停止する旨を運転者Dに伝えるための警告を実施し、設定した停車区間に車両を自動停車させてもよい。これにより、運転者Dの運転集中度が継続的に低い状態にあるときに、車両の走行を停止することができる。
[学習装置]
次に、図8を用いて、学習装置2の動作例を説明する。図8は、学習装置2の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の学習に関する処理手順は、本発明の「学習方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図8を用いて、学習装置2の動作例を説明する。図8は、学習装置2の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の学習に関する処理手順は、本発明の「学習方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS201)
ステップS201では、学習装置2の制御部21は、学習データ取得部211として機能し、低解像度撮影画像223、観測情報224、注視状態情報2251、及び即応性情報2252の組を学習データ222として取得する。
ステップS201では、学習装置2の制御部21は、学習データ取得部211として機能し、低解像度撮影画像223、観測情報224、注視状態情報2251、及び即応性情報2252の組を学習データ222として取得する。
学習データ222は、ニューラルネットワーク6に対して、運転者の運転集中度を推定可能にするための機械学習に利用するデータである。このような学習データ222は、例えば、カメラ31を備える車両を用意し、運転席に着いた運転者を様々な条件で撮影し、得られる撮影画像に撮影条件(注視の状態及び即応性の程度)を紐付けることで作成することができる。このとき、低解像度撮影画像223は、上記ステップS103と同じ処理を当該取得した撮影画像に適用することで得ることができる。また、観測情報224は、上記ステップS102と同じ処理を当該取得した撮影画像に適用することで得ることができる。更に、注視状態情報2251及び即応性情報2252は、撮影画像に表れる運転者の状態の入力を適宜受け付けることで得ることができる。
なお、この学習データ222の作成は、オペレータ等が入力装置24を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ222は、運用されている車両から随時収集されてもよい。また、学習データ222の作成は、学習装置2以外の他の情報処理装置により行われてもよい。学習装置2が学習データ222を作成する場合には、制御部21は、本ステップS201において、学習データ222の作成処理を実行することで、学習データ222を取得することができる。一方、学習装置2以外の他の情報処理装置が学習データ222を作成する場合には、学習装置2は、ネットワーク、記憶媒体92等を介して、他の情報処理装置により作成された学習データ222を取得することができる。更に、本ステップS201で取得する学習データ222の件数は、ニューラルネットワーク6の学習を行うことができるように、実施の形態に応じて適宜決定されてよい。
(ステップS202)
次のステップS202では、制御部21は、学習処理部212として機能して、ステップS201で取得した学習データ222を用いて、低解像度撮影画像223及び観測情報224を入力すると注視状態情報2251及び即応性情報2252に対応する出力値を出力するようにニューラルネットワーク6の機械学習を実施する。
次のステップS202では、制御部21は、学習処理部212として機能して、ステップS201で取得した学習データ222を用いて、低解像度撮影画像223及び観測情報224を入力すると注視状態情報2251及び即応性情報2252に対応する出力値を出力するようにニューラルネットワーク6の機械学習を実施する。
具体的には、まず、制御部21は、学習処理を行う対象となるニューラルネットワーク6を用意する。用意するニューラルネットワーク6の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部21は、再学習を行う対象となる学習結果データ122に基づいて、ニューラルネットワーク6を用意してもよい。
次に、制御部21は、ステップS201で取得した学習データ222に含まれる低解像度撮影画像223及び観測情報224を入力データとして用い、注視状態情報2251及び即応性情報2252を教師データとして用いて、ニューラルネットワーク6の学習処理を行う。このニューラルネットワーク6の学習処理には、確率的勾配降下法等が用いられてよい。
例えば、制御部21は、全結合ニューラルネットワーク61の入力層に観測情報224を入力し、畳み込みニューラルネットワーク62の最も入力側に配置された畳み込み層に低解像度撮影画像223を入力する。そして、制御部21は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部21は、LSTMネットワーク64の出力層から出力値を得る。次に、制御部21は、LSTMネットワーク64の出力層から取得した出力値それぞれと注視状態情報2251及び即応性情報2252にそれぞれ対応する値との誤差を算出する。続いて、制御部21は、通時的誤差逆伝搬(Back propagation through time)法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部21は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。
制御部21は、各件の学習データ222について、ニューラルネットワーク6から出力される出力値それぞれが注視状態情報2251及び即応性情報2252それぞれに対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部21は、低解像度撮影画像223及び観測情報224を入力すると注視状態情報2251及び即応性情報2252に対応する出力値を出力するニューラルネットワーク6を構築することができる。
(ステップS203)
次のステップS203では、制御部21は、学習処理部212として機能して、構築したニューラルネットワーク6の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ122として記憶部22に格納する。これにより、制御部21は、本動作例に係るニューラルネットワーク6の学習処理を終了する。
次のステップS203では、制御部21は、学習処理部212として機能して、構築したニューラルネットワーク6の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ122として記憶部22に格納する。これにより、制御部21は、本動作例に係るニューラルネットワーク6の学習処理を終了する。
なお、制御部21は、上記ステップS203の処理が完了した後に、作成した学習結果データ122を自動運転支援装置1に転送してもよい。また、制御部21は、上記ステップS201〜S203の学習処理を定期的に実行することで、学習結果データ122を定期的に更新してもよい。そして、制御部21は、作成した学習結果データ122を当該学習処理の実行毎に自動運転支援装置1に転送することで、自動運転支援装置1の保持する学習結果データ122を定期的に更新してもよい。また、例えば、制御部21は、作成した学習結果データ122をNAS(Network Attached Storage)等のデータサーバに保管してもよい。この場合、自動運転支援装置1は、このデータサーバから学習結果データ122を取得してもよい。
[作用・効果]
以上のように、本実施形態に係る自動運転支援装置1は、上記ステップS101からステップS103までの処理により、運転者Dの顔挙動情報1241を含む観測情報124と車両の運転席に着いた運転者を撮影するように配置されたカメラ31から得られる撮影画像(低解像度撮影画像1231)とを取得する。そして、自動運転支援装置1は、上記ステップS104及びS105により、取得した観測情報124及び低解像度撮影画像1231を学習済みのニューラルネットワーク(ニューラルネットワーク5)の入力として用いることで、運転者Dの運転集中度を推定する。この学習済みのニューラルネットワークは、上記学習装置2により、低解像度撮影画像223、観測情報224、注視状態情報2251、及び即応性情報2252を含む学習データを用いて作成される。したがって、本実施形態では、運転者の運転集中度を推定する過程に、運転者Dの顔の挙動だけではなく、低解像度撮影画像から判別され得る運転者Dの身体の状態(例えば、身体の向き、姿勢等)を反映することができる。よって、本実施形態によれば、運転者Dの取り得る多様な状態を反映して、当該運転者Dの運転集中度を推定することができる。
以上のように、本実施形態に係る自動運転支援装置1は、上記ステップS101からステップS103までの処理により、運転者Dの顔挙動情報1241を含む観測情報124と車両の運転席に着いた運転者を撮影するように配置されたカメラ31から得られる撮影画像(低解像度撮影画像1231)とを取得する。そして、自動運転支援装置1は、上記ステップS104及びS105により、取得した観測情報124及び低解像度撮影画像1231を学習済みのニューラルネットワーク(ニューラルネットワーク5)の入力として用いることで、運転者Dの運転集中度を推定する。この学習済みのニューラルネットワークは、上記学習装置2により、低解像度撮影画像223、観測情報224、注視状態情報2251、及び即応性情報2252を含む学習データを用いて作成される。したがって、本実施形態では、運転者の運転集中度を推定する過程に、運転者Dの顔の挙動だけではなく、低解像度撮影画像から判別され得る運転者Dの身体の状態(例えば、身体の向き、姿勢等)を反映することができる。よって、本実施形態によれば、運転者Dの取り得る多様な状態を反映して、当該運転者Dの運転集中度を推定することができる。
また、本実施形態では、上記ステップS105において、注視状態情報1251及び即応性情報1252を運転集中度情報として取得する。そのため、本実施形態によれば、運転者Dの注視の状態及び運転に対する即応性の程度の2種類の観点で、当該運転者Dの運転集中度を監視することができる。加えて、本実施形態によれば、上記ステップS107において、この2種類の観点に基づいて、警告を実施することができる。
また、本実施形態では、ニューラルネットワーク(5、6)の入力として、運転者の顔挙動情報を含む観測情報(124、224)を利用している。そのため、ニューラルネットワーク(5、6)に入力するための撮影画像は、運転者の顔の挙動を判別できるほど高解像度のものでなくてもよい。そこで、本実施形態では、ニューラルネットワーク(5、6)の入力として、カメラ31により得られる撮影画像を低解像度化した低解像度撮影画像(1231、223)を用いてもよい。これにより、ニューラルネットワーク(5、6)の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像(1231、223)の解像度は、運転者の顔の挙動は判別できないが、運転者の姿勢に関する特徴を抽出可能な程度であるのが好ましい。
また、本実施形態に係るニューラルネットワーク5は、全結合ニューラルネットワーク51及び畳み込みニューラルネットワーク52を入力側に備えている。そして、上記ステップS104では、全結合ニューラルネットワーク51に観測情報124を入力し、畳み込みニューラルネットワーク52に低解像度撮影画像1231を入力している。これにより、各入力に適した解析を行うことができる。また、本実施形態に係るニューラルネットワーク5は、LSTMネットワーク54を備えている。これにより、観測情報124及び低解像度撮影画像1231に時系列データを利用し、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者Dの運転集中度を推定することができる。したがって、本実施形態によれば、運転者Dの運転集中度の推定精度を高めることができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<4.1>
上記実施形態では、自動運転を実施可能な車両に本発明を適用した例を示した。しかしながら、本発明を適用可能な車両は、このような例に限定されなくてもよく、自動運転を実施しない車両に本発明が適用されてもよい。
上記実施形態では、自動運転を実施可能な車両に本発明を適用した例を示した。しかしながら、本発明を適用可能な車両は、このような例に限定されなくてもよく、自動運転を実施しない車両に本発明が適用されてもよい。
<4.2>
上記実施形態では、注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを2つのレベルで示し、即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを2つのレベルで示す。しかしながら、注視状態情報1251及び即応性情報1252の表現形式は、このような例に限定されなくてもよく、注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを3つ以上のレベルで示してよく、即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを3つ以上のレベルで示してよい。
上記実施形態では、注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを2つのレベルで示し、即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを2つのレベルで示す。しかしながら、注視状態情報1251及び即応性情報1252の表現形式は、このような例に限定されなくてもよく、注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを3つ以上のレベルで示してよく、即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを3つ以上のレベルで示してよい。
図9A及び図9Bは、本変形例に係る注視状態情報及び即応性情報の一例を示す。図9Aに示されるとおり、本変形例に係る注視状態情報は、各行動状態に対する注視の程度を0から1までのスコア値で定めている。例えば、図9Aの例では、「居眠り」及び「パニック」にはスコア値「0」が割り当てられており、「前方注視」にはスコア値「1」が割り当てられており、その他の行動状態には0から1までの間のスコア値が割り当てられている。
同様に、本変形例に係る即応性情報は、各行動状態に対する即応性の程度を0から1までのスコア値で定めている。例えば、図9Bの例では、「居眠り」及び「パニック」にはスコア値「0」が割り当てられており、「前方注視」にはスコア値「1」が割り当てられており、その他の行動状態には0から1までの間のスコア値が割り当てられている。
このように、各行動状態に対して3種類以上のスコア値を割り当てることで、注視状態情報1251は、運転者Dが運転に必要な注視を行っているか否かを3つ以上のレベルで示してよく、即応性情報1252は、運転に対する即応性が高い状態であるか低い状態であるかを3つ以上のレベルで示してよい。
この場合、上記ステップS106では、制御部11は、注視状態情報及び即応性情報のスコア値に基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定してもよい。例えば、制御部11は、注視状態情報のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定してもよい。また、例えば、制御部11は、即応性情報のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定してもよい。また、例えば、制御部11は、注視状態情報のスコア値及び即応性情報のスコア値の合計値が所定の閾値よりも高いか否かに基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定してもよい。このとき、閾値は、適宜設定されてよい。また、制御部11は、スコア値に応じて、警告する内容を変更してもよい。これにより、制御部11は、段階的に警告を行うようにしてもよい。なお、このように注視状態情報及び即応性情報をスコア値で表現する場合、当該スコア値の上限値及び下限値は、実施の形態に応じて適宜設定されてよい。スコア値の上限値は「1」に限られなくてもよく、下限値は「0」に限られなくてもよい。
<4.3>
上記実施形態では、上記ステップS106において、注視状態情報1251及び即応性情報1252を並列に利用して、運転者Dの運転集中度を判定している。しかしながら、運転者Dが車両の運転に適した状態にあるか否かの判定において、注視状態情報1251及び即応性情報1252のいずれか一方を優先してもよい。
上記実施形態では、上記ステップS106において、注視状態情報1251及び即応性情報1252を並列に利用して、運転者Dの運転集中度を判定している。しかしながら、運転者Dが車両の運転に適した状態にあるか否かの判定において、注視状態情報1251及び即応性情報1252のいずれか一方を優先してもよい。
図10及び図11は、上記処理手順の変形例を示す。自動運転支援装置1は、本変形例に係る処理手順を実施することにより、車両の自動運転を制御する際に、運転者Dによる運転に必要な注視を少なくとも確保する。具体的には、自動運転支援装置1は、以下のとおり、車両の自動運転を制御する。
(ステップS301)
ステップS301では、制御部11は、車両の自動運転を開始する。例えば、制御部11は、上記実施形態と同様に、ナビゲーション装置30から地図情報、周辺情報、及びGPS情報を取得して、取得した地図情報、周辺情報、及びGPS情報に基づいて車両の自動運転を実施する。車両の自動運転を開始すると、制御部11は、次のステップS302に処理を進める。
ステップS301では、制御部11は、車両の自動運転を開始する。例えば、制御部11は、上記実施形態と同様に、ナビゲーション装置30から地図情報、周辺情報、及びGPS情報を取得して、取得した地図情報、周辺情報、及びGPS情報に基づいて車両の自動運転を実施する。車両の自動運転を開始すると、制御部11は、次のステップS302に処理を進める。
(ステップS302〜S306)
ステップS302〜S306は、上記ステップS101〜S105と同様である。すなわち、ステップS302〜S306の処理の結果、制御部11は、ニューラルネットワーク5から注視状態情報1251及び即応性情報1252を取得する。注視状態情報1251及び即応性情報1252を取得すると、制御部11は、次のステップS307に処理を進める。
ステップS302〜S306は、上記ステップS101〜S105と同様である。すなわち、ステップS302〜S306の処理の結果、制御部11は、ニューラルネットワーク5から注視状態情報1251及び即応性情報1252を取得する。注視状態情報1251及び即応性情報1252を取得すると、制御部11は、次のステップS307に処理を進める。
(ステップS307)
ステップS307では、制御部11は、ステップS306で取得した即応性情報1252に基づいて、運転者Dの運転に対する即応性が低い状態にあるか否かを判定する。即応性情報1252が、運転者Dは運転に対する即応性の低い状態にあることを示す場合、制御部11は、次のステップS310に処理を進める。他方、即応性情報1252が、運転者Dは運転に対する即応性の高い状態にあることを示す場合、制御部11は、次のステップS308に処理を進める。
ステップS307では、制御部11は、ステップS306で取得した即応性情報1252に基づいて、運転者Dの運転に対する即応性が低い状態にあるか否かを判定する。即応性情報1252が、運転者Dは運転に対する即応性の低い状態にあることを示す場合、制御部11は、次のステップS310に処理を進める。他方、即応性情報1252が、運転者Dは運転に対する即応性の高い状態にあることを示す場合、制御部11は、次のステップS308に処理を進める。
(ステップS308)
ステップS308では、制御部11は、ステップS306で取得した注視状態情報1251に基づいて、運転者Dが運転に必要な注視を行っているか否かを判定する。注視状態情報1251が、運転者Dは運転に必要な注視を行っていないことを示す場合、運転者Dは、運転に対する即応性の高い状態にあるが、運転に必要な注視は行っていない状態にあることになる。この場合、制御部11は、次のステップS309に処理を進める。
ステップS308では、制御部11は、ステップS306で取得した注視状態情報1251に基づいて、運転者Dが運転に必要な注視を行っているか否かを判定する。注視状態情報1251が、運転者Dは運転に必要な注視を行っていないことを示す場合、運転者Dは、運転に対する即応性の高い状態にあるが、運転に必要な注視は行っていない状態にあることになる。この場合、制御部11は、次のステップS309に処理を進める。
他方、注視状態情報1251が、運転者Dは運転に必要な注視を行っていることを示す場合、運転者Dは、運転に対する即応性の高い状態にあり、かつ運転に必要な注視を行っている状態にあることになる。この場合、制御部11は、ステップS302に処理を戻して、車両の自動運転を実施したまま、運転者Dの監視を継続する。
(ステップS309)
ステップS309では、制御部11は、警告部115として機能し、運転に対する即応性の高い状態にあるが、運転に必要な注視は行っていない状態にあると判定された運転者Dに対して、「進行方向を見て下さい」との音声を警告としてスピーカ33から出力する。これにより、制御部11は、運転に必要な注視を行うように運転者Dに促す。当該警告が完了すると、制御部11は、ステップS302に処理を戻す。これにより、制御部11は、車両の自動運転を実施したまま、運転者Dの監視を継続する。
ステップS309では、制御部11は、警告部115として機能し、運転に対する即応性の高い状態にあるが、運転に必要な注視は行っていない状態にあると判定された運転者Dに対して、「進行方向を見て下さい」との音声を警告としてスピーカ33から出力する。これにより、制御部11は、運転に必要な注視を行うように運転者Dに促す。当該警告が完了すると、制御部11は、ステップS302に処理を戻す。これにより、制御部11は、車両の自動運転を実施したまま、運転者Dの監視を継続する。
(ステップS310)
ステップS310では、制御部11は、ステップS306で取得した注視状態情報1251に基づいて、運転者Dが運転に必要な注視を行っているか否かを判定する。注視状態情報1251が、運転者Dは運転に必要な注視を行っていないことを示す場合、運転者Dは、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあることになる。この場合、制御部11は、次のステップS311に処理を進める。
ステップS310では、制御部11は、ステップS306で取得した注視状態情報1251に基づいて、運転者Dが運転に必要な注視を行っているか否かを判定する。注視状態情報1251が、運転者Dは運転に必要な注視を行っていないことを示す場合、運転者Dは、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあることになる。この場合、制御部11は、次のステップS311に処理を進める。
他方、注視状態情報1251が、運転者Dは運転に必要な注視を行っていることを示す場合、運転者Dは、運転に対する即応性の低い状態にあるが、運転に必要な注視は行っている状態にあることになる。この場合、制御部11は、次のステップS313に処理を進める。
(ステップS311及びS312)
ステップS311では、制御部11は、警告部115として機能し、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあると判定された運転者Dに対して、「今すぐ、進行方向を見て下さい」との音声を警告としてスピーカ33から出力する。これにより、制御部11は、少なくとも運転に必要な注視を行うように運転者Dに促す。当該警告を実施した後、制御部11は、ステップS312により、第1時間分だけ待機する。そして、第1時間分の待機が完了した後、制御部11は、次のステップS315に処理を進める。なお、第1時間の具体的な値は、実施の形態に応じて適宜設定されてよい。
ステップS311では、制御部11は、警告部115として機能し、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあると判定された運転者Dに対して、「今すぐ、進行方向を見て下さい」との音声を警告としてスピーカ33から出力する。これにより、制御部11は、少なくとも運転に必要な注視を行うように運転者Dに促す。当該警告を実施した後、制御部11は、ステップS312により、第1時間分だけ待機する。そして、第1時間分の待機が完了した後、制御部11は、次のステップS315に処理を進める。なお、第1時間の具体的な値は、実施の形態に応じて適宜設定されてよい。
(ステップS313及びS314)
ステップS313では、制御部11は、警告部115として機能し、運転に対する即応性の低い状態にあるが、運転に必要な注視は行っている状態にあると判定された運転者Dに対して、「運転可能な態勢に戻って下さい」との音声を警告としてスピーカ33から出力する。これにより、制御部11は、運転に対する即応性の高い状態をとるように運転者Dに促す。当該警告を実施した後、制御部11は、ステップS314により、上記第1時間よりも長い第2時間分だけ待機する。運転者Dが、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあると判定されたことで上記ステップS312を実施する場面とは異なり、本ステップS314を実施する場面では、運転者Dは、運転に必要な注視は行っている状態にあると判定されている。そのため、制御部11は、本ステップS314では、上記ステップS312よりも長い時間待機する。そして、第2時間分の待機が完了した後、制御部11は、次のステップS315に処理を進める。なお、第2時間の具体的な値は、第1時間よりも長ければ、実施の形態に応じて適宜設定されてよい。
ステップS313では、制御部11は、警告部115として機能し、運転に対する即応性の低い状態にあるが、運転に必要な注視は行っている状態にあると判定された運転者Dに対して、「運転可能な態勢に戻って下さい」との音声を警告としてスピーカ33から出力する。これにより、制御部11は、運転に対する即応性の高い状態をとるように運転者Dに促す。当該警告を実施した後、制御部11は、ステップS314により、上記第1時間よりも長い第2時間分だけ待機する。運転者Dが、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあると判定されたことで上記ステップS312を実施する場面とは異なり、本ステップS314を実施する場面では、運転者Dは、運転に必要な注視は行っている状態にあると判定されている。そのため、制御部11は、本ステップS314では、上記ステップS312よりも長い時間待機する。そして、第2時間分の待機が完了した後、制御部11は、次のステップS315に処理を進める。なお、第2時間の具体的な値は、第1時間よりも長ければ、実施の形態に応じて適宜設定されてよい。
(ステップS315〜S319)
ステップS315〜S319は、上記ステップS302〜S306と同様である。すなわち、ステップS315〜S319の処理の結果、制御部11は、ニューラルネットワーク5から注視状態情報1251及び即応性情報1252を取得する。注視状態情報1251及び即応性情報1252を取得すると、制御部11は、次のステップS320に処理を進める。
ステップS315〜S319は、上記ステップS302〜S306と同様である。すなわち、ステップS315〜S319の処理の結果、制御部11は、ニューラルネットワーク5から注視状態情報1251及び即応性情報1252を取得する。注視状態情報1251及び即応性情報1252を取得すると、制御部11は、次のステップS320に処理を進める。
(ステップS320)
ステップS320では、ステップS319で取得した注視状態情報1251に基づいて、運転者Dが運転に必要な注視を行っているか否かを判定する。注視状態情報1251が、運転者Dは運転に必要な注視を行っていないことを示す場合、運転者Dによる運転に必要な注視が確保できなかったことになる。この場合、制御部11は、自動運転の停止に向けて、次のステップS321に処理を進める。
ステップS320では、ステップS319で取得した注視状態情報1251に基づいて、運転者Dが運転に必要な注視を行っているか否かを判定する。注視状態情報1251が、運転者Dは運転に必要な注視を行っていないことを示す場合、運転者Dによる運転に必要な注視が確保できなかったことになる。この場合、制御部11は、自動運転の停止に向けて、次のステップS321に処理を進める。
他方、注視状態情報1251が、運転者Dは運転に必要な注視を行っていることを示す場合、運転者Dによる運転に必要な注視は確保できていることになる。この場合、制御部11は、ステップS302に処理を戻して、車両の自動運転を実施したまま、運転者Dの監視を継続する。
(ステップS321〜S323)
ステップS321では、制御部11は、地図情報、周辺情報及びGPS情報を参照して、車両を安全に停止可能な場所に停車区間を設定する。次のステップS322では、制御部11は、車両を停止する旨を運転者Dに伝えるための警告を実施する。そして、次のステップS323では、制御部11は、設定した停車区間に車両を自動停車させる。これにより、制御部11は、本変形例に係る自動運転の処理手順を終了する。
ステップS321では、制御部11は、地図情報、周辺情報及びGPS情報を参照して、車両を安全に停止可能な場所に停車区間を設定する。次のステップS322では、制御部11は、車両を停止する旨を運転者Dに伝えるための警告を実施する。そして、次のステップS323では、制御部11は、設定した停車区間に車両を自動停車させる。これにより、制御部11は、本変形例に係る自動運転の処理手順を終了する。
以上のように、自動運転支援装置1は、車両の自動運転を制御する際に、運転者Dによる運転に必要な注視を少なくとも確保するようにしてもよい。すなわち、運転者Dが車両の運転に適した状態にあるか否かの判定において(本変形例では、自動運転を継続するか否かの要因として)、即応性情報1252よりも、注視状態情報1251を優先してもよい。これにより、運転者Dの状態を多段階に分けて推定し、これに応じて、自動運転を制御することができる。なお、優先する情報は、注視状態情報1251ではなくて、即応性情報1252であってもよい。
<4.4>
上記実施形態では、自動運転支援装置1は、上記ステップS105において、注視状態情報1251及び即応性情報1252を運転集中度情報125として取得する。しかしながら、運転集中度情報125は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
上記実施形態では、自動運転支援装置1は、上記ステップS105において、注視状態情報1251及び即応性情報1252を運転集中度情報125として取得する。しかしながら、運転集中度情報125は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
例えば、注視状態情報1251及び即応性情報1252のうちいずれか一方は省略されてもよい。この場合、上記ステップS106では、制御部11は、注視状態情報1251又は即応性情報1252に基づいて、運転者Dが車両の運転に適した状態にあるか否かを判定してもよい。
また、例えば、運転集中度情報125は、注視状態情報1251及び即応性情報1252以外の情報を含んでもよい。例えば、運転集中度情報125は、運転者Dが運転席にいるか否かを示す情報、運転者Dの手がハンドルに置かれているか否かを示す情報、運転者Dの足がペダルに置かれているか否かを示す情報等を含んでもよい。
また、例えば、運転集中度情報125は、運転者Dの運転集中度そのものを数値で表してもよい。この場合、上記ステップS106では、制御部11は、運転集中度情報125の示す数値が所定の閾値よりも高いか否かによって、運転者Dが車両の運転に適した状態にあるか否かを判定してもよい。
また、例えば、図12に示されるとおり、上記自動運転支援装置1は、上記ステップS105において、運転者Dの運転集中度にそれぞれ対応して設定された複数の所定の行動状態のうちから運転者Dの取っている行動状態を示す行動状態情報を運転集中度情報125として取得してもよい。
図12は、本変形例に係る自動運転支援装置1Aの機能構成の一例を模式的に例示する。自動運転支援装置1Aは、ニューラルネットワーク5の出力として行動状態情報1253を取得する点を除き、上記自動運転支援装置1と同様に構成される。運転者Dの推定対象となる複数の所定の行動状態は、実施の形態に応じて適宜決定されてよい。例えば、上記実施形態と同様に、「前方注視」、「計器確認」、「ナビゲーション確認」、「喫煙」、「飲食」、「通話」、「脇見」、「後方振り返り」、「眠気」、「居眠り」、「携帯電話操作」及び「パニック」が、推定対象となる複数の所定の行動状態に設定されてよい。これにより、本変形例に係る自動運転支援装置1Aは、上記ステップS101〜S105の処理によって、運転者Dの行動状態を推定することができる。
なお、行動状態情報1253を運転者集中度情報として取得する場合、自動運転支援装置1Aは、行動状態情報1253に基づいて、運転者Dの注視の状態及び運転に対する即応性の程度を特定することで、注視状態情報1251及び即応性情報1252を取得してもよい。運転者Dの注視の状態及び運転に対する即応性の程度の特定には、上記図5A及び図5B又は図9A及び図9Bの基準を利用することができる。すなわち、自動運転支援装置1Aの制御部11は、上記ステップS105において、行動状態情報1253を取得した後、上記図5A及び図5B又は図9A及び図9Bの基準に従って、運転者Dの注視の状態及び運転に対する即応性の程度を特定してもよい。この場合、例えば、行動状態情報1253が「喫煙」を示すときに、制御部11は、運転者が、運転に必要な注視を行っており、かつ運転に対する即応性の低い状態にあると特定することができる。
<4.5>
上記実施形態では、上記ステップS104において、低解像度撮影画像1231をニューラルネットワーク5に入力している。しかしながら、ニューラルネットワーク5に入力する撮影画像は、このような例に限定されなくてもよい。制御部11は、ステップS101で取得した撮影画像123をそのままニューラルネットワーク5に入力してもよい。なお、この場合、上記処理手順において、ステップS103は省略されてよい。また、上記自動運転支援装置1の機能構成において、解像度変換部113は省略されてよい。
上記実施形態では、上記ステップS104において、低解像度撮影画像1231をニューラルネットワーク5に入力している。しかしながら、ニューラルネットワーク5に入力する撮影画像は、このような例に限定されなくてもよい。制御部11は、ステップS101で取得した撮影画像123をそのままニューラルネットワーク5に入力してもよい。なお、この場合、上記処理手順において、ステップS103は省略されてよい。また、上記自動運転支援装置1の機能構成において、解像度変換部113は省略されてよい。
また、上記実施形態では、制御部11は、ステップS102による観測情報124を取得した後、ステップS103による撮影画像123の低解像度化の処理を実行している。しかしながら、ステップS102及びS103の処理順序は、このような例に限定されなくてもよく、ステップS103の処理を実行した後に、制御部11は、ステップS102の処理を実行してもよい。
<4.6>
上記実施形態では、図4及び図6に示されるとおり、運転者Dの運転集中度の推定に利用するニューラルネットワークは、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、結合層、及びLSTMネットワークを備えている。しかしながら、運転者Dの運転集中度の推定に利用するニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、LSTMネットワークは省略されてもよい。
上記実施形態では、図4及び図6に示されるとおり、運転者Dの運転集中度の推定に利用するニューラルネットワークは、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、結合層、及びLSTMネットワークを備えている。しかしながら、運転者Dの運転集中度の推定に利用するニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、LSTMネットワークは省略されてもよい。
<4.7>
上記実施形態では、運転者Dの運転集中度の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、観測情報124及び低解像度撮影画像1231を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により学習を行う学習器等を挙げることができる。
上記実施形態では、運転者Dの運転集中度の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、観測情報124及び低解像度撮影画像1231を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により学習を行う学習器等を挙げることができる。
<4.8>
上記実施形態では、制御部11は、ステップS104において、観測情報124及び低解像度撮影画像1231をニューラルネットワーク5に入力している。しかしながら、ニューラルネットワーク5の入力は、このような例に限定されなくてもよく、観測情報124及び低解像度撮影画像1231以外の情報が、ニューラルネットワーク5に入力されてもよい。
上記実施形態では、制御部11は、ステップS104において、観測情報124及び低解像度撮影画像1231をニューラルネットワーク5に入力している。しかしながら、ニューラルネットワーク5の入力は、このような例に限定されなくてもよく、観測情報124及び低解像度撮影画像1231以外の情報が、ニューラルネットワーク5に入力されてもよい。
図13は、本変形例に係る自動運転支援装置1Bの機能構成の一例を模式的に例示する。自動運転支援装置1Bは、運転者Dの運転に対する集中度に影響を与える因子に関する影響因子情報126をニューラルネットワーク5に更に入力する点を除き、上記自動運転支援装置1と同様に構成される。影響因子情報126は、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報(レーダの測定結果、カメラの撮影画像)、天候を示す天候情報等である。
影響因子情報126が数値データで示される場合、自動運転支援装置1Bの制御部11は、上記ステップS104において、ニューラルネットワーク5の全結合ニューラルネットワーク51に影響因子情報126を入力してもよい。また、影響因子情報126が画像データで示される場合、制御部11は、上記ステップS104において、ニューラルネットワーク5の畳み込みニューラルネットワーク52に影響因子情報126を入力してもよい。
当該変形例では、観測情報124及び低解像度撮影画像1231の他に、影響因子情報126を更に利用することにより、運転者Dの運転集中度に影響を与える因子を上記推定処理に反映することができる。これによって、当該変形例によれば、運転者Dの運転集中度の推定精度を高めることができる。
なお、制御部11は、この影響因子情報126に基づいて、上記ステップS106における判定基準を変更してもよい。例えば、上記変形例<4.2>のとおり、注視状態情報1251及び即応性情報1252がスコア値で示される場合に、制御部11は、影響因子情報126に基づいて、上記ステップS106の判定に利用する閾値を変更してもよい。一例として、制御部11は、速度情報の示す車両の走行速度が大きくなるほど、運転者Dが車両の運転に適した状態にあると判定するための閾値の値を大きくしてもよい。
また、上記実施形態では、観測情報124は、顔挙動情報1241の他に、生体情報1242を含んでいる。しかしながら、観測情報124の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、生体情報1242は省略されてもよい。また、例えば、観測情報124は、生体情報1242以外の情報を含んでいてもよい。
(付記1)
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える運転者監視装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得ステップと、
前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置。
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える運転者監視装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得ステップと、
前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置。
(付記2)
ハードウェアプロセッサにより、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサにより、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、
ハードウェアプロセッサにより、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。
ハードウェアプロセッサにより、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサにより、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、
ハードウェアプロセッサにより、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。
(付記3)
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える学習装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、
を実施するように構成される、
学習装置。
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える学習装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、
を実施するように構成される、
学習装置。
(付記4)
ハードウェアプロセッサにより、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサにより、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、
を備える、
学習方法。
ハードウェアプロセッサにより、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサにより、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、
を備える、
学習方法。
1…自動運転支援装置、
11…制御部、12…記憶部、13…外部インタフェース、
111…画像取得部、112…観測情報取得部、
113…解像度変換部、114…運転状態推定部、
115…警告部、
121…プログラム、122…学習結果データ、
123…撮影画像、1231…低解像度撮影画像、
124…観測情報、1241…顔挙動情報、1242…生体情報、
125…運転集中度情報、
1251…注視状態情報、1252…即応性情報、
2…学習装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…ドライブ、
211…学習データ取得部、212…学習処理部、
221…学習プログラム、222…学習データ、
223…低解像度撮影画像、224…観測情報、
2251…注視状態情報、2252…即応性情報、
30…ナビゲーション装置、31…カメラ、32…生体センサ、
33…スピーカ、
5…ニューラルネットワーク、
51…全結合ニューラルネットワーク、
511…入力層、512…中間層(隠れ層)、513…出力層、
52…畳み込みニューラルネットワーク、
521…畳み込み層、522…プーリング層、
523…全結合層、524…出力層、
53…結合層、
54…LSTMネットワーク(再帰型ニューラルネットワーク)、
541…入力層、542…LSTMブロック、543…出力層、
6…ニューラルネットワーク、
61…全結合ニューラルネットワーク、
62…畳み込みニューラルネットワーク、63…結合層、
64…LSTMネットワーク、
92…記憶媒体
11…制御部、12…記憶部、13…外部インタフェース、
111…画像取得部、112…観測情報取得部、
113…解像度変換部、114…運転状態推定部、
115…警告部、
121…プログラム、122…学習結果データ、
123…撮影画像、1231…低解像度撮影画像、
124…観測情報、1241…顔挙動情報、1242…生体情報、
125…運転集中度情報、
1251…注視状態情報、1252…即応性情報、
2…学習装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…ドライブ、
211…学習データ取得部、212…学習処理部、
221…学習プログラム、222…学習データ、
223…低解像度撮影画像、224…観測情報、
2251…注視状態情報、2252…即応性情報、
30…ナビゲーション装置、31…カメラ、32…生体センサ、
33…スピーカ、
5…ニューラルネットワーク、
51…全結合ニューラルネットワーク、
511…入力層、512…中間層(隠れ層)、513…出力層、
52…畳み込みニューラルネットワーク、
521…畳み込み層、522…プーリング層、
523…全結合層、524…出力層、
53…結合層、
54…LSTMネットワーク(再帰型ニューラルネットワーク)、
541…入力層、542…LSTMブロック、543…出力層、
6…ニューラルネットワーク、
61…全結合ニューラルネットワーク、
62…畳み込みニューラルネットワーク、63…結合層、
64…LSTMネットワーク、
92…記憶媒体
Claims (24)
- 車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、
前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得部と、
前記運転者の運転に対する集中の程度を推定するための機械学習であって、前記撮影画像及び前記観測情報を入力すると、運転に対する集中の程度に関する運転集中度情報に対応する出力値を出力するように機械学習を行った学習済みの学習器に、前記画像取得部及び前記観測情報取得部により取得した前記撮影画像及び前記観測情報を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の運転集中度情報を当該学習器から取得する運転者状態推定部と、
を備える、
運転者監視装置。 - 前記運転者状態推定部は、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得する、
請求項1に記載の運転者監視装置。 - 前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示し、
前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示す、
請求項2に記載の運転者監視装置。 - 前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告部を更に備える、
請求項3に記載の運転者監視装置。 - 前記運転者状態推定部は、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得する、
請求項1から4のいずれか1項に記載の運転者監視装置。 - 前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を前記顔挙動情報として取得する、
請求項1から5のいずれか1項に記載の運転者監視装置。 - 取得した前記撮影画像の解像度を低下させる解像度変換部を更に備え、
前記運転者状態推定部は、解像度を低下させた前記撮影画像を前記学習器に入力する、
請求項1から6のいずれか1項に記載の運転者監視装置。 - 前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備える、
請求項1から7のいずれか1項に記載の運転者監視装置。 - 前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備える、
請求項8に記載の運転者監視装置。 - 前記再帰型ニューラルネットワークは、長期短期記憶ブロックを含む、
請求項9に記載の運転者監視装置。 - 前記運転者状態推定部は、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力する、
請求項1から10のいずれか1項に記載の運転者監視装置。 - コンピュータが、
車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、
前記運転者の運転に対する集中の程度を推定するための機械学習であって、前記撮影画像及び前記観測情報を入力すると、運転に対する集中の程度に関する運転集中度情報に対応する出力値を出力するように機械学習を行った学習済みの学習器に、前記画像取得ステップ及び前記観測情報取得ステップにより取得した前記撮影画像及び前記観測情報を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の運転集中度情報を当該学習器から取得する推定ステップと、
を実行する、
運転者監視方法。 - 前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得する、
請求項12に記載の運転者監視方法。 - 前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示し、
前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示す、
請求項13に記載の運転者監視方法。 - 前記コンピュータは、前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告ステップを更に実行する、
請求項14に記載の運転者監視方法。 - 前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得する、
請求項12から15のいずれか1項に記載の運転者監視方法。 - 前記観測情報取得ステップでは、前記コンピュータは、前記画像取得ステップで取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか1つに関する情報を前記顔挙動情報として取得する、
請求項12から16のいずれか1項に記載の運転者監視方法。 - 前記コンピュータは、取得した前記撮影画像の解像度を低下させる解像度変換ステップを更に実行し、
前記推定ステップでは、前記コンピュータは、解像度を低下させた前記撮影画像を前記学習器に入力する、
請求項12から17のいずれか1項に記載の運転者監視方法。 - 前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備える、
請求項12から18のいずれか1項に記載の運転者監視方法。 - 前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備える、
請求項19に記載の運転者監視方法。 - 前記再帰型ニューラルネットワークは、長期短期記憶ブロックを含む、
請求項20に記載の運転者監視方法。 - 前記推定ステップでは、前記コンピュータは、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力する、
請求項12から21のいずれか1項に記載の運転者監視方法。 - 車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得部と、
前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を機械学習させる学習処理部と、
を備える、
学習装置。 - コンピュータが、
車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を機械学習させる学習処理ステップと、
を実行する、
学習方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049250 | 2017-03-14 | ||
JP2017049250 | 2017-03-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6264492B1 true JP6264492B1 (ja) | 2018-01-24 |
JP2018152034A JP2018152034A (ja) | 2018-09-27 |
Family
ID=61020628
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017120586A Active JP6264492B1 (ja) | 2017-03-14 | 2017-06-20 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
JP2017130208A Active JP6264494B1 (ja) | 2017-03-14 | 2017-07-03 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
JP2017130209A Active JP6264495B1 (ja) | 2017-03-14 | 2017-07-03 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017130208A Active JP6264494B1 (ja) | 2017-03-14 | 2017-07-03 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
JP2017130209A Active JP6264495B1 (ja) | 2017-03-14 | 2017-07-03 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190370580A1 (ja) |
JP (3) | JP6264492B1 (ja) |
CN (1) | CN110268456A (ja) |
DE (1) | DE112017007252T5 (ja) |
WO (3) | WO2018167991A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019151266A1 (ja) * | 2018-02-05 | 2019-08-08 | ソニー株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
WO2019155873A1 (ja) * | 2018-02-06 | 2019-08-15 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
JP2019159941A (ja) * | 2018-03-14 | 2019-09-19 | オムロン株式会社 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
CN110641472A (zh) * | 2018-06-27 | 2020-01-03 | 百度(美国)有限责任公司 | 基于神经网络的用于自主车辆的安全监控系统 |
WO2020090134A1 (ja) * | 2018-10-29 | 2020-05-07 | オムロン株式会社 | 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム |
WO2021100482A1 (ja) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
WO2021100483A1 (ja) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
JP7317277B2 (ja) | 2019-12-31 | 2023-07-31 | 山口 道子 | ピンチを使わない物干し具 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
JP6766791B2 (ja) * | 2017-10-04 | 2020-10-14 | 株式会社デンソー | 状態検出装置、状態検出システム及び状態検出プログラム |
JP7347918B2 (ja) | 2017-11-20 | 2023-09-20 | 日本無線株式会社 | 水位予測方法、水位予測プログラム及び水位予測装置 |
US11130497B2 (en) | 2017-12-18 | 2021-09-28 | Plusai Limited | Method and system for ensemble vehicle control prediction in autonomous driving vehicles |
US20190185012A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for personalized motion planning in autonomous driving vehicles |
US10303045B1 (en) * | 2017-12-20 | 2019-05-28 | Micron Technology, Inc. | Control of display device for autonomous vehicle |
US11017249B2 (en) * | 2018-01-29 | 2021-05-25 | Futurewei Technologies, Inc. | Primary preview region and gaze based driver distraction detection |
TWI666941B (zh) * | 2018-03-27 | 2019-07-21 | 緯創資通股份有限公司 | 多層次狀態偵測系統與方法 |
JP2021128349A (ja) * | 2018-04-26 | 2021-09-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US20190362235A1 (en) * | 2018-05-23 | 2019-11-28 | Xiaofan Xu | Hybrid neural network pruning |
US10684681B2 (en) | 2018-06-11 | 2020-06-16 | Fotonation Limited | Neural network image processing apparatus |
US10940863B2 (en) * | 2018-11-01 | 2021-03-09 | GM Global Technology Operations LLC | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle |
US11200438B2 (en) | 2018-12-07 | 2021-12-14 | Dus Operating Inc. | Sequential training method for heterogeneous convolutional neural network |
JP7135824B2 (ja) * | 2018-12-17 | 2022-09-13 | 日本電信電話株式会社 | 学習装置、推定装置、学習方法、推定方法、及びプログラム |
US11087175B2 (en) * | 2019-01-30 | 2021-08-10 | StradVision, Inc. | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them |
JP7334415B2 (ja) * | 2019-02-01 | 2023-08-29 | オムロン株式会社 | 画像処理装置 |
US11068069B2 (en) * | 2019-02-04 | 2021-07-20 | Dus Operating Inc. | Vehicle control with facial and gesture recognition using a convolutional neural network |
JP7361477B2 (ja) * | 2019-03-08 | 2023-10-16 | 株式会社Subaru | 車両の乗員監視装置、および交通システム |
CN111723596B (zh) * | 2019-03-18 | 2024-03-22 | 北京市商汤科技开发有限公司 | 注视区域检测及神经网络的训练方法、装置和设备 |
US10740634B1 (en) | 2019-05-31 | 2020-08-11 | International Business Machines Corporation | Detection of decline in concentration based on anomaly detection |
JP7136047B2 (ja) * | 2019-08-19 | 2022-09-13 | 株式会社デンソー | 運転制御装置及び車両行動提案装置 |
US10752253B1 (en) * | 2019-08-28 | 2020-08-25 | Ford Global Technologies, Llc | Driver awareness detection system |
CN114423343A (zh) * | 2019-09-19 | 2022-04-29 | 三菱电机株式会社 | 认知功能推测装置、学习装置及认知功能推测方法 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
US20230293115A1 (en) * | 2020-02-28 | 2023-09-21 | Daikin Industries, Ltd. | Efficiency inference apparatus |
US11738763B2 (en) * | 2020-03-18 | 2023-08-29 | Waymo Llc | Fatigue monitoring system for drivers tasked with monitoring a vehicle operating in an autonomous driving mode |
CN111553190A (zh) * | 2020-03-30 | 2020-08-18 | 浙江工业大学 | 一种基于图像的驾驶员注意力检测方法 |
JP7351253B2 (ja) * | 2020-03-31 | 2023-09-27 | いすゞ自動車株式会社 | 許否決定装置 |
US11091166B1 (en) * | 2020-04-21 | 2021-08-17 | Micron Technology, Inc. | Driver screening |
FR3111460B1 (fr) * | 2020-06-16 | 2023-03-31 | Continental Automotive | Procédé de génération d’images d’une caméra intérieure de véhicule |
JP7420000B2 (ja) * | 2020-07-15 | 2024-01-23 | トヨタ紡織株式会社 | 状態判定装置、状態判定システム、および制御方法 |
GB2597092A (en) * | 2020-07-15 | 2022-01-19 | Daimler Ag | A method for determining a state of mind of a passenger, as well as an assistance system |
JP7405030B2 (ja) * | 2020-07-15 | 2023-12-26 | トヨタ紡織株式会社 | 状態判定装置、状態判定システム、および制御方法 |
JP7186749B2 (ja) * | 2020-08-12 | 2022-12-09 | ソフトバンク株式会社 | 管理システム、管理方法、管理装置、プログラム及び通信端末 |
CN112558510B (zh) * | 2020-10-20 | 2022-11-15 | 山东亦贝数据技术有限公司 | 一种智能网联汽车安全预警系统及预警方法 |
US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
WO2022141114A1 (zh) * | 2020-12-29 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 视线估计方法、装置、车辆及计算机可读存储介质 |
DE102021202790A1 (de) | 2021-03-23 | 2022-09-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Insassenzustandsüberwachung in einem Kraftfahrzeug |
JP2022169359A (ja) * | 2021-04-27 | 2022-11-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
WO2022256877A1 (en) * | 2021-06-11 | 2022-12-15 | Sdip Holdings Pty Ltd | Prediction of human subject state via hybrid approach including ai classification and blepharometric analysis, including driver monitoring systems |
WO2023032617A1 (ja) * | 2021-08-30 | 2023-03-09 | パナソニックIpマネジメント株式会社 | 判定システム、判定方法、及び、プログラム |
CN114241458B (zh) * | 2021-12-20 | 2024-06-14 | 东南大学 | 一种基于姿态估计特征融合的驾驶员行为识别方法 |
US11878707B2 (en) * | 2022-03-11 | 2024-01-23 | International Business Machines Corporation | Augmented reality overlay based on self-driving mode |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0468500A (ja) * | 1990-07-09 | 1992-03-04 | Toyota Motor Corp | 車両運転者監視装置 |
US6144755A (en) * | 1996-10-11 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Method and apparatus for determining poses |
JP2008065776A (ja) * | 2006-09-11 | 2008-03-21 | Toyota Motor Corp | 居眠り検知装置、居眠り検知方法 |
JP2008176510A (ja) * | 2007-01-17 | 2008-07-31 | Denso Corp | 運転支援装置 |
JP2010055303A (ja) * | 2008-08-27 | 2010-03-11 | Denso It Laboratory Inc | 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置 |
JP2010257072A (ja) * | 2009-04-22 | 2010-11-11 | Toyota Motor Corp | 意識状態推定装置 |
JP2012084068A (ja) * | 2010-10-14 | 2012-04-26 | Denso Corp | 画像解析装置 |
JP2013228847A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
JP2014002610A (ja) * | 2012-06-19 | 2014-01-09 | Toyota Motor Corp | 運転支援装置 |
JP2014063281A (ja) * | 2012-09-20 | 2014-04-10 | Fujifilm Corp | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
JP2014515847A (ja) * | 2011-03-25 | 2014-07-03 | ティーケー ホールディングス インク. | 運転者覚醒度判定システム及び方法 |
JP2015099406A (ja) * | 2012-03-05 | 2015-05-28 | アイシン精機株式会社 | 運転支援装置 |
US20150294219A1 (en) * | 2014-04-11 | 2015-10-15 | Google Inc. | Parallelizing the training of convolutional neural networks |
JP2017030390A (ja) * | 2015-07-29 | 2017-02-09 | 修一 田山 | 車輌の自動運転システム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3654656B2 (ja) * | 1992-11-18 | 2005-06-02 | 日産自動車株式会社 | 車両の予防安全装置 |
JP2005050284A (ja) * | 2003-07-31 | 2005-02-24 | Toyota Motor Corp | 動き認識装置および動き認識方法 |
JP2005173635A (ja) * | 2003-12-05 | 2005-06-30 | Fujitsu Ten Ltd | 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ |
JP2006123640A (ja) * | 2004-10-27 | 2006-05-18 | Nissan Motor Co Ltd | ドライビングポジション調整装置 |
JP4333797B2 (ja) | 2007-02-06 | 2009-09-16 | 株式会社デンソー | 車両用制御装置 |
JP2009037415A (ja) * | 2007-08-01 | 2009-02-19 | Toyota Motor Corp | ドライバ状態判別装置、および運転支援装置 |
JP5163440B2 (ja) | 2008-11-19 | 2013-03-13 | 株式会社デンソー | 眠気判定装置、プログラム |
JP2010238134A (ja) * | 2009-03-31 | 2010-10-21 | Saxa Inc | 画像処理装置及びプログラム |
JP5493593B2 (ja) | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | 眠気検出装置、眠気検出方法、及びプログラム |
JP5018926B2 (ja) * | 2010-04-19 | 2012-09-05 | 株式会社デンソー | 運転補助装置、及びプログラム |
JP2012038106A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
CN101941425B (zh) * | 2010-09-17 | 2012-08-22 | 上海交通大学 | 对驾驶员疲劳状态的智能识别装置与方法 |
JP2013058060A (ja) * | 2011-09-08 | 2013-03-28 | Dainippon Printing Co Ltd | 人物属性推定装置、人物属性推定方法及びプログラム |
CN102426757A (zh) * | 2011-12-02 | 2012-04-25 | 上海大学 | 基于模式识别的安全驾驶监控系统和方法 |
CN102542257B (zh) * | 2011-12-20 | 2013-09-11 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
CN102622600A (zh) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | 基于面像与眼动分析的高速列车驾驶员警觉度检测方法 |
US9854159B2 (en) * | 2012-07-20 | 2017-12-26 | Pixart Imaging Inc. | Image system with eye protection |
JP6221292B2 (ja) | 2013-03-26 | 2017-11-01 | 富士通株式会社 | 集中度判定プログラム、集中度判定装置、および集中度判定方法 |
JP6150258B2 (ja) * | 2014-01-15 | 2017-06-21 | みこらった株式会社 | 自動運転車 |
GB2525840B (en) * | 2014-02-18 | 2016-09-07 | Jaguar Land Rover Ltd | Autonomous driving system and method for same |
JP2015194798A (ja) * | 2014-03-31 | 2015-11-05 | 日産自動車株式会社 | 運転支援制御装置 |
JP6273994B2 (ja) * | 2014-04-23 | 2018-02-07 | 株式会社デンソー | 車両用報知装置 |
JP6397718B2 (ja) * | 2014-10-14 | 2018-09-26 | 日立オートモティブシステムズ株式会社 | 自動運転システム |
JP6403261B2 (ja) * | 2014-12-03 | 2018-10-10 | タカノ株式会社 | 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム |
EP4035962A3 (en) * | 2014-12-12 | 2022-12-14 | Sony Group Corporation | Automatic driving control device and automatic driving control method |
JP6409699B2 (ja) * | 2015-07-13 | 2018-10-24 | トヨタ自動車株式会社 | 自動運転システム |
CN105139070B (zh) * | 2015-08-27 | 2018-02-02 | 南京信息工程大学 | 基于人工神经网络和证据理论的疲劳驾驶评价方法 |
-
2017
- 2017-05-26 US US16/484,480 patent/US20190370580A1/en not_active Abandoned
- 2017-05-26 DE DE112017007252.2T patent/DE112017007252T5/de not_active Withdrawn
- 2017-05-26 CN CN201780085928.6A patent/CN110268456A/zh active Pending
- 2017-05-26 WO PCT/JP2017/019719 patent/WO2018167991A1/ja active Application Filing
- 2017-06-20 JP JP2017120586A patent/JP6264492B1/ja active Active
- 2017-07-03 JP JP2017130208A patent/JP6264494B1/ja active Active
- 2017-07-03 JP JP2017130209A patent/JP6264495B1/ja active Active
- 2017-10-05 WO PCT/JP2017/036277 patent/WO2018168039A1/ja active Application Filing
- 2017-10-05 WO PCT/JP2017/036278 patent/WO2018168040A1/ja active Application Filing
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0468500A (ja) * | 1990-07-09 | 1992-03-04 | Toyota Motor Corp | 車両運転者監視装置 |
US6144755A (en) * | 1996-10-11 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Method and apparatus for determining poses |
JP2008065776A (ja) * | 2006-09-11 | 2008-03-21 | Toyota Motor Corp | 居眠り検知装置、居眠り検知方法 |
JP2008176510A (ja) * | 2007-01-17 | 2008-07-31 | Denso Corp | 運転支援装置 |
JP2010055303A (ja) * | 2008-08-27 | 2010-03-11 | Denso It Laboratory Inc | 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置 |
JP2010257072A (ja) * | 2009-04-22 | 2010-11-11 | Toyota Motor Corp | 意識状態推定装置 |
JP2012084068A (ja) * | 2010-10-14 | 2012-04-26 | Denso Corp | 画像解析装置 |
JP2014515847A (ja) * | 2011-03-25 | 2014-07-03 | ティーケー ホールディングス インク. | 運転者覚醒度判定システム及び方法 |
JP2015099406A (ja) * | 2012-03-05 | 2015-05-28 | アイシン精機株式会社 | 運転支援装置 |
JP2013228847A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
JP2014002610A (ja) * | 2012-06-19 | 2014-01-09 | Toyota Motor Corp | 運転支援装置 |
JP2014063281A (ja) * | 2012-09-20 | 2014-04-10 | Fujifilm Corp | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
US20150294219A1 (en) * | 2014-04-11 | 2015-10-15 | Google Inc. | Parallelizing the training of convolutional neural networks |
JP2017030390A (ja) * | 2015-07-29 | 2017-02-09 | 修一 田山 | 車輌の自動運転システム |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111656423A (zh) * | 2018-02-05 | 2020-09-11 | 索尼公司 | 信息处理装置、移动装置、方法以及程序 |
KR102669020B1 (ko) * | 2018-02-05 | 2024-05-29 | 소니그룹주식회사 | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 |
JP7324716B2 (ja) | 2018-02-05 | 2023-08-10 | ソニーグループ株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
US11654936B2 (en) | 2018-02-05 | 2023-05-23 | Sony Corporation | Movement device for control of a vehicle based on driver information and environmental information |
WO2019151266A1 (ja) * | 2018-02-05 | 2019-08-08 | ソニー株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
JPWO2019151266A1 (ja) * | 2018-02-05 | 2021-01-28 | ソニー株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
KR20200113202A (ko) * | 2018-02-05 | 2020-10-06 | 소니 주식회사 | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 |
JP7020156B2 (ja) | 2018-02-06 | 2022-02-16 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
WO2019155873A1 (ja) * | 2018-02-06 | 2019-08-15 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
JP2019139277A (ja) * | 2018-02-06 | 2019-08-22 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
WO2019176992A1 (ja) * | 2018-03-14 | 2019-09-19 | オムロン株式会社 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
JP2019159941A (ja) * | 2018-03-14 | 2019-09-19 | オムロン株式会社 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
CN110641472A (zh) * | 2018-06-27 | 2020-01-03 | 百度(美国)有限责任公司 | 基于神经网络的用于自主车辆的安全监控系统 |
CN110641472B (zh) * | 2018-06-27 | 2022-11-04 | 百度(美国)有限责任公司 | 基于神经网络的用于自主车辆的安全监控系统 |
CN112673378A (zh) * | 2018-10-29 | 2021-04-16 | 欧姆龙株式会社 | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 |
JP7014129B2 (ja) | 2018-10-29 | 2022-02-01 | オムロン株式会社 | 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム |
JP2020071550A (ja) * | 2018-10-29 | 2020-05-07 | オムロン株式会社 | 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム |
US11834052B2 (en) | 2018-10-29 | 2023-12-05 | Omron Corporation | Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program |
CN112673378B (zh) * | 2018-10-29 | 2024-01-30 | 欧姆龙株式会社 | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 |
WO2020090134A1 (ja) * | 2018-10-29 | 2020-05-07 | オムロン株式会社 | 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム |
WO2021100483A1 (ja) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
WO2021100482A1 (ja) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
JP7317277B2 (ja) | 2019-12-31 | 2023-07-31 | 山口 道子 | ピンチを使わない物干し具 |
Also Published As
Publication number | Publication date |
---|---|
US20190370580A1 (en) | 2019-12-05 |
JP6264495B1 (ja) | 2018-01-24 |
CN110268456A (zh) | 2019-09-20 |
JP6264494B1 (ja) | 2018-01-24 |
WO2018167991A1 (ja) | 2018-09-20 |
JP2018152034A (ja) | 2018-09-27 |
WO2018168039A1 (ja) | 2018-09-20 |
DE112017007252T5 (de) | 2019-12-19 |
JP2018152037A (ja) | 2018-09-27 |
JP2018152038A (ja) | 2018-09-27 |
WO2018168040A1 (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6264492B1 (ja) | 運転者監視装置、運転者監視方法、学習装置及び学習方法 | |
WO2019155873A1 (ja) | 評価装置、動作制御装置、評価方法、及び評価プログラム | |
JP6245398B2 (ja) | 状態推定装置、状態推定方法、及び状態推定プログラム | |
CN112673378B (zh) | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 | |
US11040712B2 (en) | Information processing apparatus and information processing method | |
EP3588372B1 (en) | Controlling an autonomous vehicle based on passenger behavior | |
CN110291478A (zh) | 驾驶员监视和响应系统 | |
WO2018168038A1 (ja) | 運転者の着座判定装置 | |
US20240096116A1 (en) | Devices and methods for detecting drowsiness of drivers of vehicles | |
WO2019176492A1 (ja) | 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 | |
CN115719486A (zh) | 基于上下文的状态估计 | |
WO2017209225A1 (ja) | 状態推定装置、状態推定方法、及び状態推定プログラム | |
EP4332886A1 (en) | Electronic device, method for controlling electronic device, and program | |
CN115320626B (zh) | 基于人车状态的危险感知能力预测方法、装置及电子设备 | |
US20230036611A1 (en) | Gaze estimation apparatus, gaze estimation method, model generation apparatus, and model generation method | |
CN116434204A (zh) | 一种基于PIPNet网络改进的驾驶员疲劳检测方法、设备及存储介质 | |
CN117242486A (zh) | 电子设备、电子设备的控制方法以及程序 | |
WO2024149603A1 (en) | System and method for estimation of eye gaze direction of a user with or without eyeglasses | |
JP2024514994A (ja) | 画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体 | |
JP2022020742A (ja) | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム | |
JP2022111156A (ja) | 車両制御装置および車両制御方法 | |
CN117022291A (zh) | 用于确定驾驶者执行驾驶任务的本领的驾驶者评估系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6264492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |