WO2018168040A1 - 運転者監視装置、運転者監視方法、学習装置及び学習方法 - Google Patents
運転者監視装置、運転者監視方法、学習装置及び学習方法 Download PDFInfo
- Publication number
- WO2018168040A1 WO2018168040A1 PCT/JP2017/036278 JP2017036278W WO2018168040A1 WO 2018168040 A1 WO2018168040 A1 WO 2018168040A1 JP 2017036278 W JP2017036278 W JP 2017036278W WO 2018168040 A1 WO2018168040 A1 WO 2018168040A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- driver
- arm
- responsiveness
- information
- driving
- Prior art date
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims description 73
- 238000012544 monitoring process Methods 0.000 title claims description 27
- 238000010801 machine learning Methods 0.000 claims abstract description 32
- 230000004043 responsiveness Effects 0.000 claims description 216
- 238000012545 processing Methods 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 33
- 230000006399 behavior Effects 0.000 claims description 32
- 210000000056 organ Anatomy 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 96
- 210000002569 neuron Anatomy 0.000 description 30
- 238000013527 convolutional neural network Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 19
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 13
- 206010041349 Somnolence Diseases 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000035622 drinking Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 208000032140 Sleepiness Diseases 0.000 description 7
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000037321 sleepiness Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000000391 smoking effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Definitions
- the present invention relates to a driver monitoring device, a driver monitoring method, a learning device, and a learning method.
- Patent Document 1 proposes a method of detecting the actual concentration of the driver from eyelid opening / closing, eye movement, or steering angle fluctuation. In this method, it is determined whether the actual concentration level is sufficient with respect to the required concentration level by comparing the detected actual concentration level with the required concentration level calculated from the surrounding environment information of the vehicle. When it is determined that the actual concentration level is insufficient with respect to the requested concentration level, the traveling speed of the automatic driving is decreased. Thereby, according to the method of patent document 1, the safety
- Patent Document 2 proposes a method for determining the drowsiness of a driver based on opening behavior and the state of muscles around the mouth.
- the level of sleepiness generated in the driver is determined according to the number of muscles in a relaxed state. Therefore, according to the method of Patent Document 2, since the level of the driver's sleepiness is determined based on a phenomenon that occurs unconsciously due to sleepiness, the detection accuracy for detecting the occurrence of sleepiness can be improved. .
- Patent Document 3 proposes a method of determining the driver's sleepiness based on whether or not a change in the face orientation angle has occurred after the driver's eyelid movement has occurred. According to the method of Patent Document 3, the accuracy of drowsiness detection can be increased by reducing the possibility of erroneously detecting the state of downward vision as a state of high drowsiness.
- Patent Document 4 proposes a method for determining a driver's sleepiness and a degree of looking aside by comparing a face photo in a driver's license with a photographed image of the driver. ing. According to the method of Patent Document 4, by treating the face photo in the license as a front image when the driver awakens, and comparing the feature amount between the face photo and the photographed image, The degree of looking aside can be determined.
- Patent Document 5 proposes a method of determining the concentration level of the driver based on the driver's line of sight. Specifically, the driver's line of sight is detected, and the stop time during which the detected line of sight stops in the gaze area is measured. Then, when the stop time exceeds the threshold value, it is determined that the driver's concentration is lowered. According to the method of Patent Document 5, the driver's concentration degree can be determined based on a small change in pixel values related to the line of sight. Therefore, the determination of the driver's concentration can be performed with a small amount of calculation.
- Patent Document 6 proposes a method for determining whether or not the driver is operating the mobile terminal based on the driver's handle grip information and line-of-sight direction information. According to the method of Patent Document 6, when it is determined that the driver is operating the mobile terminal during driving of the vehicle, the driver drives the vehicle by limiting the function of the mobile terminal. Safety can be ensured.
- the driver's state whether the driver is in a state suitable for driving at the time of analysis in terms of the driver's concentration, sleepiness, looking aside, or presence / absence of operation of the mobile terminal is determined.
- the driver may take various actions during the automatic driving. In such a vehicle, when switching from automatic driving to manual driving, whether or not the driver is in a ready state for driving operation, in other words, whether or not the driver is able to drive the vehicle manually. It is assumed that it will be important to detect this.
- the state of the arm part such as holding food and drinks in both hands even when the driver is suitable for driving at the time of analysis based on information such as line of sight and when it can be determined by conventional methods
- the driver is not in a state where the driving operation can be performed.
- the present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for obtaining an index relating to whether or not a driver's arm is in a state in which a driving operation can be performed. It is to be.
- the present invention adopts the following configuration in order to solve the above-described problems.
- a driver monitoring device includes an image acquisition unit that acquires a captured image from an imaging device arranged so as to be able to capture an image of a driver's arm seated in a driver's seat of the vehicle, and the driver The degree of responsiveness to driving of the arm of the driver is shown by inputting the captured image into a learned learning machine that has performed machine learning to estimate the degree of responsiveness to driving of the arm of the driver.
- a responsiveness estimating unit that acquires arm responsiveness information from the learning device.
- the responsiveness of the driver's arm to driving is estimated using a learned learning device obtained by machine learning. Specifically, a photographed image is acquired from a photographing device arranged so as to be capable of photographing the arm portion of the driver who has arrived at the driver's seat of the vehicle. Then, by inputting the captured image into a learned learning device that has performed machine learning for estimating the degree of responsiveness of the driver's arm to driving, the responsiveness of the driver's arm to driving can be improved. Arm readiness information indicating the degree is acquired.
- the degree of “immediate responsiveness” indicates the degree of the preparation state for driving, in other words, the degree of whether or not the driver can manually drive the vehicle. More specifically, the degree of “immediate responsiveness” indicates whether or not the driver can immediately cope with manual driving of the vehicle. Therefore, according to the said structure, the parameter
- Machine learning means finding out patterns hidden in data (learning data) by a computer
- learning device is a learning model that can acquire the ability to identify a predetermined pattern by such machine learning. It is constructed by.
- the type of the learning device is not particularly limited as long as it can learn the ability to estimate the responsiveness of the driver's arm to driving based on the captured image.
- a “learned learner” may be referred to as a “discriminator” or “classifier”.
- the imaging device “arranged so that the arm part of the driver who has arrived at the driver's seat of the vehicle can be photographed” means, for example, that the imaging device is arranged so that at least the periphery of the steering wheel is taken from the driver seat. That is, the photographing device is arranged so as to cover a range where at least a part of the driver's arm should be located as a photographing range during operation. For this reason, there is a possibility that the driver's arm part cannot be captured by the photographing device when the driver is turned away from the photographing device. In such a case, the photographed image obtained from the photographing device It is not always necessary to show the driver's arm.
- the driver monitoring device configured to selectively implement an automatic driving mode in which a driving operation is automatically performed and a manual driving mode in which the driving operation is manually performed by the driver.
- the automatic driving mode when the driver's arm responsiveness indicated by the arm responsiveness information satisfies a predetermined condition, the manual driving from the automatic driving mode is performed.
- the vehicle which can switch operation
- the switching instruction unit has a predetermined responsiveness to the driver's hand driving indicated by the arm responsiveness information when the automatic driving mode is performed.
- an instruction to switch from the automatic operation mode to the manual operation mode may be output.
- the vehicle which can switch operation
- the arm responsiveness information may be configured to indicate the degree of responsiveness to the driving of the arm of the driver in three or more levels in a stepwise manner. . According to this configuration, the responsiveness of the driver's arm can be expressed in stages, thereby improving the usability of the driver state estimation result.
- the arm responsiveness information indicates the degree of responsiveness to the driving of the driver's arm according to the attribute of the object held by the driver. You may show it step by step at more than two levels. Responsiveness to driving can vary depending on the type of object the driver holds in his hand. For example, when the driver holds a baby or the like with both hands, it is assumed that the driver's responsiveness to driving is low. On the other hand, when the driver holds an object such as a towel that can be immediately released from the hand, it is assumed that the driver is highly responsive to driving.
- maintains can be reflected appropriately, and the responsiveness with respect to the driving
- the “attribute” is indicated by, for example, the type and size of the object.
- the driver monitoring device urges the driver to increase the responsiveness of the arm according to the level of responsiveness to the driving of the arm of the driver indicated by the arm responsiveness information. You may further provide the warning part which performs a warning in steps. According to the said structure, the quick response of a driver
- the driver monitoring apparatus may further include an observation information acquisition unit that acquires the observation information of the driver, and the quick response estimation unit further inputs the observation information to the learning device. Also good.
- the observation information may include any information that can be observed from the driver.
- the observation information may include face behavior information related to the behavior of the driver's face.
- the observation information may include biological information that can be measured by the driver, such as an electroencephalogram, a heart rate, and a pulse.
- the observation information may include information related to the state or movement of the driver's arm.
- the vehicle includes sensors such as a steering touch sensor, a pedal depression force sensor, and a seat pressure sensor, the observation information may include measurement results obtained from these sensors.
- the photographing device may be arranged so that the driver's face can be further photographed, and the observation information acquisition unit performs predetermined image analysis on the acquired photographed image.
- the observation information including may be acquired.
- the movement of the arm can occur with the movement of the face.
- the observation information acquisition unit may acquire the observation information including the driver's biological information.
- the movement of the arm can occur with some change in biological information. For example, when a predetermined arm movement is performed, a predetermined part of the brain may respond.
- operator's arm part can be improved using biometric information.
- an image acquisition step in which a computer acquires a captured image from an imaging device arranged so as to be able to capture an image of a driver's arm seated in a driver's seat of the vehicle; The degree of responsiveness to driving of the driver's arm by inputting the captured image into a learned learning device that has performed machine learning for estimating the degree of responsiveness of the driver's arm to driving And an estimation step of acquiring arm ready responsiveness information indicating from the learner.
- operator's arm part is in the state which can perform driving operation can be obtained as arm part responsiveness information.
- the computer operates the vehicle to selectively implement an automatic driving mode in which driving operation is automatically performed and a manual driving mode in which driving operation is performed manually by the driver.
- the automatic driving mode is performed, when the driver's arm responsiveness indicated by the arm responsiveness information satisfies a predetermined condition, the automatic driving mode is It may be configured to switch to the manual operation mode.
- the vehicle which can switch operation
- the computer when the computer is in the automatic driving mode, the computer has a predetermined condition that the driver's hand responsiveness indicated by the arm responsiveness information is predetermined. When satisfy
- the vehicle which can switch operation
- a learning device includes a captured image acquired from a photographing device arranged so as to be capable of photographing a driver's arm that has arrived at a driver's seat of the driver, and driving of the driver's arm
- a learning data acquisition unit that acquires a set of arm responsiveness information indicating the degree of responsiveness to learning as learning data, and a learning device that outputs an output value corresponding to the arm responsiveness information when the captured image is input
- a learning processing unit that performs machine learning. According to this configuration, it is possible to construct a learned learner that is used to estimate the degree of responsiveness to the driver's arm driving.
- a learning method in which a computer captures a captured image acquired from a photographing device arranged so as to be capable of photographing a driver's arm seated in a driver's seat of the vehicle, and the driver's arm.
- a step of acquiring as a learning data a set of arm responsiveness information indicating a degree of responsiveness to driving of a part, and a learning device for outputting an output value corresponding to the arm responsiveness information when the photographed image is input Performing machine learning.
- FIG. 1 schematically illustrates an example of a scene to which the present invention is applied.
- FIG. 2 schematically illustrates an example of a hardware configuration of the automatic driving support device according to the embodiment.
- FIG. 3 schematically illustrates an example of a hardware configuration of the learning device according to the embodiment.
- FIG. 4 schematically illustrates an example of the software configuration of the automatic driving support device according to the embodiment.
- FIG. 5 schematically illustrates an example of the arm responsiveness information according to the embodiment.
- FIG. 6 schematically illustrates an example of the software configuration of the learning device according to the embodiment.
- FIG. 7 illustrates an example of a processing procedure of the automatic driving support device according to the embodiment.
- FIG. 8 illustrates an example of a processing procedure of the learning device according to the embodiment.
- FIG. 1 schematically illustrates an example of a scene to which the present invention is applied.
- FIG. 2 schematically illustrates an example of a hardware configuration of the automatic driving support device according to the embodiment.
- FIG. 3 schematically illustrates an example
- FIG. 9 schematically illustrates an example of the arm responsiveness information according to the modification.
- FIG. 10 schematically illustrates an example of the software configuration of the automatic driving support device according to the modification.
- FIG. 11 schematically illustrates an example of the software configuration of the automatic driving support apparatus according to the modification.
- this embodiment will be described with reference to the drawings.
- this embodiment described below is only an illustration of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
- the application target of the present invention may not be limited to a vehicle that can perform automatic driving, and the present invention may be applied to a general vehicle that does not perform automatic driving.
- data appearing in this embodiment is described in a natural language, more specifically, it is specified by a pseudo language, a command, a parameter, a machine language, or the like that can be recognized by a computer.
- FIG. 1 schematically illustrates an example of an application scene of the automatic driving support device 1 and the learning device 2 according to the present embodiment.
- the automatic driving support device 1 is a computer that supports the automatic driving of the vehicle 100 while monitoring the driver D using the camera 31.
- the automatic driving support device 1 according to the present embodiment is an example of the “driver monitoring device” in the present invention.
- the type of vehicle 100 may be appropriately selected according to the embodiment.
- the vehicle 100 is, for example, a passenger car.
- the vehicle 100 according to the present embodiment is configured to be able to perform automatic driving.
- the automatic driving support device 1 acquires a photographed image from a camera 31 that is arranged so as to photograph the arm portion of the driver D who sits in the driver's seat of the vehicle 100.
- the camera 31 is an example of the “photographing apparatus” in the present invention.
- the automatic driving support device 1 sends the acquired captured image to a learned learning device (neural network 5 described later) that has performed machine learning for estimating the degree of responsiveness to driving of the driver's arm.
- the arm responsiveness information indicating the degree of responsiveness to the driving of the arm of the driver D is acquired from the learning device.
- the automatic driving assistance apparatus 1 estimates the state of the driver D, that is, the degree of responsiveness to the driving of the arm portion of the driver D.
- the degree of “immediate responsiveness” indicates the degree of the preparation state for driving, in other words, the degree of whether or not the driver can manually drive the vehicle. More specifically, the degree of “immediate responsiveness” indicates whether or not the driver can immediately cope with manual driving of the vehicle.
- the learning device 2 constructs a learning device used in the automatic driving support device 1, that is, the degree of responsiveness to the driving of the arm portion of the driver D according to the input of the captured image. It is a computer that performs machine learning of a learning device so as to output arm readiness information. Specifically, the learning device 2 acquires the set of the captured image and the arm responsiveness information as learning data. Of these, the captured image is used as input data, and the arm responsiveness information is used as teacher data. That is, the learning device 2 causes the learning device (a neural network 6 described later) to learn so as to output an output value corresponding to the arm responsiveness information when the captured image is input. Thereby, the learned learning device utilized with the automatic driving assistance device 1 can be created.
- the automatic driving support device 1 can acquire a learned learning device created by the learning device 2 via a network.
- the type of network may be appropriately selected from, for example, the Internet, a wireless communication network, a mobile communication network, a telephone network, and a dedicated network.
- the automatic driving operation of the vehicle 100 can be controlled from the viewpoint of whether or not the state of the arm portion of the driver D is in a state where the driving operation can be performed based on the arm responsiveness information.
- the captured image obtained from the camera 31 does not necessarily include the arm portion of the driver D.
- the observation information of the driver D is further used in addition to the captured image that can show the arm of the driver D.
- face behavior information obtained by analyzing a captured image is used as observation information. Therefore, the camera 31 according to the present embodiment is arranged so that the face of the driver D can be further photographed.
- FIG. 2 schematically illustrates an example of a hardware configuration of the automatic driving support device 1 according to the present embodiment.
- the automatic driving support apparatus 1 is a computer in which a control unit 11, a storage unit 12, and an external interface 13 are electrically connected.
- the external interface is described as “external I / F”.
- the control unit 11 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, which are hardware processors, and controls each component according to information processing.
- the control unit 11 is configured by, for example, an ECU (Electronic Control Unit).
- the storage unit 12 includes, for example, a RAM, a ROM, and the like, and stores a program 121, learning result data 122, and the like.
- the storage unit 12 is an example of a “memory”.
- the program 121 is a program including an instruction for causing the automatic driving support apparatus 1 to execute information processing (FIG. 7) for estimating the degree of responsiveness to driving of the arm of the driver D, which will be described later.
- the learning result data 122 is data for setting a learned learner. Details will be described later.
- the external interface 13 is an interface for connecting to an external device, and is appropriately configured according to the external device to be connected.
- the external interface 13 is connected to the navigation apparatus 30, the camera 31, the biosensor 32, and the speaker 33 via CAN (Controller
- CAN Controller
- the navigation device 30 is a computer that provides route guidance when the vehicle 100 is traveling.
- a known car navigation device may be used as the navigation device 30.
- the navigation device 30 is configured to measure the position of the vehicle based on a GPS (Global Positioning System) signal, and to perform route guidance using map information and surrounding information on surrounding buildings and the like.
- GPS information information indicating the vehicle position measured based on the GPS signal.
- the camera 31 is arranged so as to be able to photograph the arm and face of the driver D who has arrived at the driver's seat of the vehicle 100. That is, the camera 31 covers, for example, a range in which at least a part of the arm of the driver D should be located during a driving operation, such as being arranged so that at least the periphery of the steering wheel from the driver's seat is the shooting range.
- the photographing apparatus is arranged.
- the camera 31 is disposed on the front upper side of the driver's seat.
- the arrangement location of the camera 31 is not limited to such an example, and may be appropriately selected according to the embodiment as long as the arm part and the face of the driver D sitting on the driver's seat can be photographed. It's okay.
- the camera 31 may be a general digital camera, a video camera, or the like.
- the biological sensor 32 is configured to measure the biological information of the driver D.
- the biological information to be measured is not particularly limited, and may be, for example, an electroencephalogram, a heart rate, or the like.
- the biological sensor 32 is not particularly limited as long as biological information to be measured can be measured.
- a known brain wave sensor, pulse sensor, or the like may be used.
- the biosensor 32 is attached to the body part of the driver D corresponding to the biometric information to be measured.
- the speaker 33 is configured to output sound.
- the speaker 33 warns the driver D so as to increase the responsiveness of the arm portion when it is estimated that the responsiveness of the arm portion of the driver D is low while the vehicle 100 is traveling. Used. Details will be described later.
- an external device other than the above may be connected to the external interface 13.
- a communication module for performing data communication via a network may be connected to the external interface 13.
- the external device connected to the external interface 13 does not have to be limited to each of the above devices, and may be appropriately selected according to the embodiment.
- the automatic driving support device 1 includes one external interface 13.
- the external interface 13 may be provided for each external device to be connected.
- the number of external interfaces 13 can be selected as appropriate according to the embodiment.
- the control unit 11 may include a plurality of hardware processors.
- the hardware processor may be configured by a microprocessor, an FPGA (field-programmable gate array), or the like.
- the storage unit 12 may be configured by a RAM and a ROM included in the control unit 11.
- the storage unit 12 may be configured by an auxiliary storage device such as a hard disk drive or a solid state drive.
- the automatic driving support device 1 may be a general-purpose computer in addition to an information processing device designed exclusively for the service to be provided.
- FIG. 3 schematically illustrates an example of a hardware configuration of the learning device 2 according to the present embodiment.
- the learning device 2 is a computer in which a control unit 21, a storage unit 22, a communication interface 23, an input device 24, an output device 25, and a drive 26 are electrically connected.
- the communication interface is described as “communication I / F”.
- control unit 21 includes a CPU, RAM, ROM, and the like, which are hardware processors, and is configured to execute various types of information processing based on programs and data.
- the storage unit 22 is configured by, for example, a hard disk drive, a solid state drive, or the like.
- the storage unit 22 stores a learning program 221 executed by the control unit 21, learning data 222 used for machine learning of the learning device, learning result data 122 created by executing the learning program 221, and the like.
- the learning program 221 is a program for causing the learning device 2 to execute a later-described machine learning process (FIG. 8) and generating learning result data 122 as a result of the machine learning.
- the learning data 222 is data for performing machine learning of the learning device so as to acquire the ability to estimate the degree of responsiveness to the driving of the driver's arm. Details will be described later.
- the communication interface 23 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication via a network.
- the learning device 2 may distribute the created learning result data 122 to an external device via the communication interface 23.
- the input device 24 is a device for inputting, for example, a mouse and a keyboard.
- the output device 25 is a device for outputting a display, a speaker, or the like, for example. An operator can operate the learning device 2 via the input device 24 and the output device 25.
- the drive 26 is, for example, a CD drive, a DVD drive, or the like, and is a drive device for reading a program stored in the storage medium 92.
- the type of the drive 26 may be appropriately selected according to the type of the storage medium 92.
- the learning program 221 and the learning data 222 may be stored in the storage medium 92.
- the storage medium 92 stores information such as a program by an electrical, magnetic, optical, mechanical, or chemical action so that information such as a program recorded by a computer or other device or machine can be read. It is a medium to do.
- the learning device 2 may acquire the learning program 221 and the learning data 222 from the storage medium 92.
- a disk type storage medium such as a CD or a DVD is illustrated.
- the type of the storage medium 92 is not limited to the disk type and may be other than the disk type.
- Examples of the storage medium other than the disk type include a semiconductor memory such as a flash memory.
- the control unit 21 may include a plurality of hardware processors.
- the hardware processor may be configured by a microprocessor, an FPGA (field-programmable gate array), or the like.
- the learning device 2 may be composed of a plurality of information processing devices.
- the learning device 2 may be a general-purpose server device, a PC (Personal Computer), or the like, in addition to an information processing device designed exclusively for the service to be provided.
- FIG. 4 schematically illustrates an example of the software configuration of the automatic driving support device 1 according to the present embodiment.
- the control unit 11 of the automatic driving support device 1 expands the program 121 stored in the storage unit 12 in the RAM.
- the control unit 11 interprets and executes the program 121 expanded in the RAM by the CPU and controls each component.
- the automatic driving assistance device 1 includes, as software modules, an image acquisition unit 111, an observation information acquisition unit 112, a resolution conversion unit 113, a quick response estimation unit 114, and a warning unit. 115 and a computer including an operation control unit 116.
- the image acquisition unit 111 acquires the captured image 123 from the camera 31 arranged so as to be able to capture the arm part and face of the driver D who sits in the driver's seat of the vehicle.
- the observation information acquisition unit 112 acquires the observation information 124 including the facial behavior information 1241 related to the behavior of the face of the driver D and the biological information 1242 measured by the biological sensor 32.
- the face behavior information 1241 is obtained by image analysis of the captured image 123.
- the observation information 124 need not be limited to such an example.
- one of the face behavior information 1241 and the biological information 1242 may be omitted.
- the biological sensor 32 may be omitted.
- the resolution conversion unit 113 reduces the resolution of the captured image 123 acquired by the image acquisition unit 111. Thereby, the resolution conversion unit 113 generates a low-resolution captured image 1231.
- the responsiveness estimation unit 114 lowers the resolution of the captured image 123 to a learned learning device (neural network 5) that has performed machine learning to estimate the degree of responsiveness of the driver's arm to driving.
- the low-resolution captured image 1231 and the observation information 124 obtained in the above are input.
- the quick response estimation part 114 acquires the arm quick response information 125 which shows the degree of quick response with respect to the driving
- the resolution reduction process may be omitted.
- the quick response estimation unit 114 may input the captured image 123 to the learning device.
- the arm responsiveness information 125 will be described with reference to FIG.
- FIG. 5 shows an example of the arm responsiveness information 125.
- the arm responsiveness information 125 according to the present embodiment indicates stepwise in two levels whether the driver's arm responsiveness is high or low. .
- the degree of responsiveness of the arm is set according to the behavior state of the driver.
- the correspondence between the driver's behavioral state and the degree of responsiveness can be set as appropriate.
- the arm portion of the driver D is immediately started to drive the vehicle 100. It can be estimated to be in a state. Therefore, in this embodiment, in response to the driver being in the action states of “handle grip”, “instrument operation”, and “navigation operation”, the arm responsiveness information 125 is stored in the arm portion of the driver. It is set to indicate that the responsiveness to driving is high.
- “Handle grip” refers to a state in which the driver is gripping.
- Instrument operation refers to a state in which a driver is operating an instrument such as a speedometer of a vehicle.
- “Navigation operation” refers to a state in which the driver is operating the navigation device.
- the arm of the driver D immediately performs the driving operation of the vehicle 100. Can be estimated to be in a state of not being tackled. Therefore, in the present embodiment, in response to the driver being in the action states of “smoking”, “eating and drinking”, “call”, and “mobile phone operation”, the arm responsiveness information 125 is It is set to indicate that the responsiveness to the driving of the arm is low.
- “smoking” refers to a state where the driver is smoking.
- “Eating and drinking” refers to a state where the driver is eating and drinking food.
- “Call” refers to a state in which the driver is making a call using a telephone such as a mobile phone.
- Mobile phone operation refers to a state in which the driver is operating the mobile phone.
- the degree of “immediate responsiveness” refers to the degree of preparation for driving. For example, when the automatic driving of the vehicle 100 cannot be continued due to an abnormality or the like, the driver D manually drives the vehicle 100. It is possible to represent the degree of return to the state to be performed. Therefore, the arm responsiveness information 125 can be used as an index for determining whether or not the driver's arm is in a state suitable for returning to the driving operation.
- the warning unit 115 determines whether or not the arm of the driver D is in a state suitable for returning to driving of the vehicle 100, in other words, the arm of the driver D. It is determined whether or not the vehicle is highly responsive to driving. When it is determined that the driver D is in a state of low responsiveness to the driving of the arm, the warning unit 115 warns the driver D through the speaker 33 to increase the responsiveness of the arm. I do.
- the driving control unit 116 accesses the driving system and the control system of the vehicle 100 to automatically operate the driving operation regardless of the driver D and the manual driving mode in which the driving operation is manually performed by the driver D. Are controlled to control the operation of the vehicle 100.
- the driving control unit 116 is configured to switch between the automatic driving mode and the manual driving mode in accordance with the arm responsiveness information 125, the setting of the navigation device 30, and the like.
- the driving control unit 116 is in a state where the responsiveness to driving of the arm of the driver D indicated by the arm responsiveness information 125 satisfies a predetermined condition and is high when the automatic driving mode is performed.
- the switching from the automatic operation mode to the manual operation mode is permitted, and the switching instruction is output to the vehicle 100.
- the driving control unit 116 automatically Switching from operation mode to manual operation mode is not permitted.
- the driving control unit 116 controls the operation of the vehicle 100 in a mode other than the manual driving mode, such as continuing the automatic driving mode or stopping the vehicle 100 in a predetermined stop section.
- the operation control unit 116 is configured so that the vehicle 100 can selectively implement the automatic operation mode and the manual operation mode. Further, the “switching instruction unit” of the present invention is realized as one operation of the operation control unit 116.
- the automatic driving support device 1 is a neural network as a learned learner that has performed machine learning for estimating the degree of responsiveness to driving of the driver's arm. 5 is used.
- the neural network 5 according to the present embodiment is configured by combining a plurality of types of neural networks.
- the neural network 5 is divided into four parts: a fully connected neural network 51, a convolutional neural network 52, a connected layer 53, and an LSTM network 54.
- the fully connected neural network 51 and the convolutional neural network 52 are arranged in parallel on the input side.
- Observation information 124 is input to the fully connected neural network 51, and a low-resolution captured image 1231 is input to the convolutional neural network 52.
- the connection layer 53 combines the outputs of the fully connected neural network 51 and the convolutional neural network 52.
- the LSTM network 54 receives the output from the coupling layer 53 and outputs the arm responsiveness information 125.
- the fully connected neural network 51 is a so-called multilayered neural network, and includes an input layer 511, an intermediate layer (hidden layer) 512, and an output layer 513 in order from the input side.
- the number of layers of the fully connected neural network 51 may not be limited to such an example, and may be appropriately selected according to the embodiment.
- Each layer 511 to 513 includes one or a plurality of neurons (nodes).
- the number of neurons included in each of the layers 511 to 513 may be set as appropriate according to the embodiment.
- the all-connected neural network 51 is configured by connecting each neuron included in each layer 511 to 513 to all the neurons included in the adjacent layers.
- a weight (coupling load) is appropriately set for each coupling.
- the convolutional neural network 52 is a forward propagation neural network having a structure in which convolutional layers 521 and pooling layers 522 are alternately connected.
- a plurality of convolutional layers 521 and pooling layers 522 are alternately arranged on the input side. Then, the output of the pooling layer 522 arranged on the most output side is input to the total coupling layer 523, and the output of the total coupling layer 523 is input to the output layer 524.
- the convolution layer 521 is a layer that performs an image convolution operation.
- Image convolution corresponds to processing for calculating the correlation between an image and a predetermined filter. Therefore, by performing image convolution, for example, a shading pattern similar to the shading pattern of the filter can be detected from the input image.
- the pooling layer 522 is a layer that performs a pooling process.
- the pooling process discards a part of the information of the position where the response to the image filter is strong, and realizes the invariance of the response to the minute position change of the feature appearing in the image.
- the total connection layer 523 is a layer in which all neurons between adjacent layers are connected. That is, each neuron included in all connection layers 523 is connected to all neurons included in adjacent layers.
- the total bonding layer 513 may be composed of two or more layers. Further, the number of neurons included in all connection layers 423 may be set as appropriate according to the embodiment.
- the output layer 524 is a layer arranged on the most output side of the convolutional neural network 52.
- the number of neurons included in the output layer 524 may be appropriately set according to the embodiment.
- the configuration of the convolutional neural network 52 is not limited to such an example, and may be appropriately set according to the embodiment.
- connection layer 53 is disposed between the fully connected neural network 51 and the convolutional neural network 52 and the LSTM network 54.
- the connection layer 53 combines the output from the output layer 513 of the fully connected neural network 51 and the output from the output layer 524 of the convolutional neural network 52.
- the output of the coupling layer 53 is input to the LSTM network 54.
- the number of neurons included in the connection layer 53 may be appropriately set according to the number of outputs of the fully connected neural network 51 and the convolutional neural network 52.
- the LSTM network 54 is a recurrent neural network that includes an LSTM block 542.
- a recursive neural network is a neural network having a loop inside, such as a path from an intermediate layer to an input layer.
- the LSTM network 54 has a structure in which an intermediate layer of a general recurrent neural network is replaced with an LSTM block 542.
- the LSTM network 54 includes an input layer 541, an LSTM block 542, and an output layer 543 in order from the input side.
- a path returning from the LSTM block 542 to the input layer 541 is provided. Have.
- the number of neurons included in the input layer 541 and the output layer 543 may be set as appropriate according to the embodiment.
- the LSTM block 542 includes an input gate and an output gate, and is configured to be able to learn information storage and output timing (S. Hochreiter and J.Schmidhuber, "Long short-term memory” Neural Computation, 9). (8): 1735-1780, November 15, 1997).
- the LSTM block 542 may also include a forgetting gate that adjusts the timing of forgetting information (FelixFA. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM” Neural Computation, pages 2451- 2471, “October” 2000).
- the configuration of the LSTM network 54 can be set as appropriate according to the embodiment.
- (E) Summary A threshold is set for each neuron, and basically, the output of each neuron is determined by whether or not the sum of products of each input and each weight exceeds the threshold.
- the automatic driving support device 1 inputs observation information 124 to the fully connected neural network 51 and inputs a low-resolution captured image 1231 to the convolutional neural network 52. And the automatic driving assistance device 1 performs the firing determination of each neuron included in each layer in order from the input side. As a result, the automatic driving assistance device 1 acquires an output value corresponding to the arm responsiveness information 125 from the output layer 543 of the neural network 5.
- the configuration of such a neural network 5 (for example, the number of layers in each network, the number of neurons in each layer, the connection relationship between neurons, the transfer function of each neuron), the weight of the connection between each neuron, Information indicating the threshold is included in the learning result data 122.
- the automatic driving support device 1 refers to the learning result data 122 and sets the learned neural network 5 used for processing for estimating the driving concentration degree of the driver D.
- FIG. 6 schematically illustrates an example of the software configuration of the learning device 2 according to the present embodiment.
- the control unit 21 of the learning device 2 expands the learning program 221 stored in the storage unit 22 in the RAM. Then, the control unit 21 interprets and executes the learning program 221 expanded in the RAM, and controls each component. Accordingly, as illustrated in FIG. 6, the learning device 2 according to the present embodiment is configured as a computer including a learning data acquisition unit 211 and a learning processing unit 212 as software modules.
- the learning data acquisition unit 211 captures a captured image acquired from a photographing device arranged so as to be able to photograph a driver's arm that has arrived at the driver's seat of the vehicle, and the degree of responsiveness to the driving of the driver's arm.
- a set of the arm responsiveness information shown is acquired as learning data.
- observation information including face behavior information indicating the behavior of the driver's face is used as an input to the learning device in addition to the captured image. Therefore, the learning data acquisition unit 211 acquires a set of the low-resolution captured image 223, the observation information 224, and the arm rapid response information 225 as the learning data 222.
- the low-resolution captured image 223 and the observation information 224 correspond to the low-resolution captured image 1231 and the observation information 124, respectively, and are used as input data.
- the arm responsiveness information 225 corresponds to the arm responsiveness information 125 and is used as teacher data (correct answer data).
- the learning processing unit 212 performs machine learning of the learning device so as to output an output value corresponding to the arm responsiveness information 225 when the low-resolution captured image 223 and the observation information 224 are input.
- the learning device to be learned is a neural network 6.
- the neural network 6 includes a fully connected neural network 61, a convolutional neural network 62, a connected layer 63, and an LSTM network 64, and is configured in the same manner as the neural network 5.
- the fully connected neural network 61, the convolutional neural network 62, the connection layer 63, and the LSTM network 64 are the same as the above-described all connection neural network 51, the convolutional neural network 52, the connection layer 53, and the LSTM network 54, respectively.
- the learning processing unit 212 inputs the observation information 224 to the fully connected neural network 61 and inputs the low-resolution captured image 223 to the convolutional neural network 62 by the neural network learning process, and outputs corresponding to the arm responsiveness information 225.
- a neural network 6 that outputs values from the LSTM network 64 is constructed.
- the learning processing unit 212 stores information indicating the configuration of the constructed neural network 6, the weight of the connection between the neurons, and the threshold value of each neuron as the learning result data 122 in the storage unit 22.
- each software module of the automatic driving support device 1 and the learning device 2 is realized by a general-purpose CPU.
- some or all of the above software modules may be implemented by one or more dedicated processors.
- software modules may be omitted, replaced, and added as appropriate according to the embodiment.
- FIG. 7 is a flowchart illustrating an example of a processing procedure of the automatic driving support device 1.
- the processing procedure for estimating the degree of responsiveness to the driving of the arm of the driver D described below is an example of the “driver monitoring method” of the present invention.
- the processing procedure described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
- the driver D turns on the ignition power supply of the vehicle 100 to start the automatic driving support device 1 and causes the started automatic driving support device 1 to execute the program 121.
- the control part 11 of the automatic driving assistance device 1 monitors the state of the driver D according to the following processing procedure.
- the program execution trigger may not be limited to turning on the ignition power source of the vehicle 100 as described above, and may be appropriately selected according to the embodiment.
- the execution of the program may be triggered by an instruction from the driver D via an input device (not shown).
- Step S101 In step S ⁇ b> 101, the control unit 11 operates as the operation control unit 116 and starts automatic operation of the vehicle 100.
- the control unit 11 acquires map information, peripheral information, and GPS information from the navigation device 30, and performs automatic driving of the vehicle 100 based on the acquired map information, peripheral information, and GPS information.
- a control method for automatic operation a known control method can be used.
- the control unit 11 advances the processing to the next step S102.
- Step S102 In step S ⁇ b> 102, the control unit 11 operates as the image acquisition unit 111, and acquires the captured image 123 from the camera 31 that is arranged to capture the arm and face of the driver D on the driver's seat of the vehicle 100.
- the captured image 123 to be acquired may be a moving image or a still image.
- the control unit 11 advances the processing to the next step S103.
- step S103 In step S ⁇ b> 103, the control unit 11 operates as the observation information acquisition unit 112, and acquires observation information 124 including face behavior information 1241 that behaves on the face of the driver D and biological information 1242. When the observation information 124 is acquired, the control unit 11 advances the processing to the next step S104.
- the face behavior information 1241 may be acquired as appropriate.
- the control unit 11 performs predetermined image analysis on the captured image 123 acquired in step S102, thereby detecting whether or not the driver D can detect the face, the position of the face, the direction of the face, the movement of the face, and the line of sight.
- Information regarding at least one of the direction, the position of the facial organ, and the opening and closing of the eyes can be acquired as the face behavior information 1241.
- the control unit 11 detects the face of the driver D from the photographed image 123 and specifies the position of the detected face. Thereby, the control part 11 can acquire the information regarding the detectability and position of a face. Moreover, the control part 11 can acquire the information regarding a motion of a face by detecting a face continuously. Next, the control unit 11 detects each organ (eye, mouth, nose, ear, etc.) included in the face of the driver D in the detected face image. Thereby, the control part 11 can acquire the information regarding the position of the facial organ.
- control part 11 can acquire the information regarding the direction of a face, the direction of eyes
- a known image analysis method such as pattern matching may be used for face detection, organ detection, and organ state analysis.
- the control unit 11 When the acquired captured image 123 is a moving image or a plurality of still images arranged in time series, the control unit 11 performs these image analyzes on each frame of the captured image 123, so that time series Various types of information can be acquired. Thereby, the control part 11 can acquire the various information represented by the histogram or the statistic (an average value, a variance value, etc.) with time series data.
- biological information for example, brain waves, heart rate, etc.
- the biological information 1242 may be represented by, for example, a histogram or a statistic (average value, variance value, etc.). Similar to the face behavior information 1241, the control unit 11 can obtain the biological information 1242 as time-series data by continuously accessing the biological sensor 32.
- Step S104 the control unit 11 operates as the resolution conversion unit 113, and reduces the resolution of the captured image 123 acquired in step S102. Thereby, the control unit 11 generates a low-resolution captured image 1231.
- the processing method for reducing the resolution is not particularly limited, and may be appropriately selected according to the embodiment.
- the control unit 11 can generate the low-resolution captured image 1231 by the nearest neighbor method, the bilinear interpolation method, the bicubic method, or the like.
- the control unit 11 advances the processing to the next step S105. This step S104 may be omitted.
- step S ⁇ b> 105 the control unit 11 operates as the quick response estimation unit 114, and executes arithmetic processing of the neural network 5 using the acquired observation information 124 and the low-resolution captured image 1231 as inputs of the neural network 5. Thereby, in step S ⁇ b> 106, the control unit 11 obtains an output value corresponding to the arm part responsiveness information 125 from the neural network 5.
- control unit 11 inputs the observation information 124 acquired in step S103 to the input layer 511 of the fully connected neural network 51, and the low-resolution captured image 1231 acquired in step S104 is the most of the convolutional neural network 52. It inputs into the convolution layer 521 arrange
- step S107 the control unit 11 determines whether or not the driver D can perform the driving operation of the vehicle 100 based on the arm responsiveness information 125 acquired in step S106. It is determined whether or not the vehicle 100 is in a state suitable for returning to driving. Specifically, the control unit 11 determines whether or not the responsiveness of the driver D to the driving of the arm indicated by the arm responsiveness information 125 satisfies a predetermined condition.
- the predetermined condition may be set as appropriate so that it can be determined whether or not the driver D has high responsiveness to the driving of the arm.
- the arm responsiveness information 125 represents the degree of responsiveness to the driving of the arm of the driver D in two levels. Therefore, when the arm responsiveness information 125 indicates that the responsiveness to the driving of the arm of the driver D is high, the control unit 11 determines that the responsiveness to the driving of the arm of the driver D is a predetermined condition. It is determined that That is, the control unit 11 determines that the driver D is in a state of high responsiveness to the driving of the arm portion and is in a state suitable for the driver D to return to the driving of the vehicle 100.
- the controller 11 determines that the responsiveness to the driving of the arm of the driver D is a predetermined condition. Is determined not to be satisfied. In other words, the control unit 11 determines that the driver D is in a state of low responsiveness to the driving of the arm portion and is not in a state suitable for the driver D to return to the driving of the vehicle 100.
- control unit 11 advances the processing to the next step S109.
- control unit 11 performs the process of the next step S108.
- the control unit 11 asks the driver D through the speaker 33 to take a state suitable for returning to the driving of the vehicle 100, in other words, to improve the responsiveness of the arm unit.
- a warning for prompting is performed, and the processing according to this operation example is terminated.
- the content and method of the warning may be appropriately set according to the embodiment.
- Step S109 the control unit 11 operates as the operation control unit 116, and determines whether to switch the operation of the vehicle 100 from the automatic operation mode to the manual operation mode. If it is determined that switching to the manual operation mode is to be performed, the control unit 11 advances the processing to the next step S110. On the other hand, when it determines with not switching to manual operation mode, the control part 11 abbreviate
- the trigger for switching from the automatic operation mode to the manual operation mode may be set as appropriate according to the embodiment.
- an instruction from the driver D may be used as a trigger.
- the control unit 11 determines to switch to manual driving mode.
- the control unit 11 determines not to perform switching to the manual operation mode.
- the control unit 11 operates as the operation control unit 116, and switches the operation of the vehicle 100 from the automatic operation mode to the manual operation mode.
- the control part 11 starts operation
- the control unit 11 announces to the driver D via the speaker 33 to start a driving operation such as grasping a handle in order to switch the operation of the vehicle 100 to the manual operation mode. You may do.
- the automatic driving support device 1 can monitor the degree of responsiveness to the driving of the arm portion of the driver D while the vehicle 100 is being driven automatically.
- the control unit 11 may continuously monitor the degree of responsiveness to the driving of the arm portion of the driver D by repeatedly executing the above-described series of processing.
- the operation control unit 116 may be operated to stop the automatic operation mode.
- the control part 11 may control the vehicle 100 so that it may stop at a predetermined place.
- the control unit 11 refers to the map information, the peripheral information, and the GPS information after continuously determining that the driver D is not in a state suitable for returning to the driving of the vehicle 100 a plurality of times.
- the stop section may be set at a place where the vehicle 100 can be safely stopped.
- the control part 11 may implement the warning for telling the driver
- FIG. 8 is a flowchart illustrating an example of a processing procedure of the learning device 2.
- the processing procedure related to machine learning of the learning device described below is an example of the “learning method” of the present invention.
- the processing procedure described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
- step S201 In step S ⁇ b> 201, the control unit 21 of the learning device 2 operates as the learning data acquisition unit 211, and acquires a set of the low-resolution captured image 223, the observation information 224, and the arm rapid response information 225 as the learning data 222.
- the learning data 222 is data used for machine learning for enabling the neural network 6 to estimate the degree of responsiveness of the driver's arm to driving.
- Such learning data 222 includes, for example, a vehicle including a camera 31 arranged so as to photograph the arm of the driver who has arrived at the driver's seat, and images the driver who has arrived at the driver's seat under various conditions. Then, it can be created by associating a photographing condition (degree of responsiveness to driving of the arm) with the obtained photographed image.
- the low-resolution captured image 223 can be obtained by applying the same processing as in step S104 to the acquired captured image.
- the face behavior information included in the observation information 224 can be obtained by applying the same processing as in step S103 to the acquired captured image.
- the biological information included in the observation information 224 can be acquired from the biological sensor as in step S103.
- the arm responsiveness information 225 can be obtained by appropriately receiving an input of the degree of responsiveness to the driving of the driver's arm that appears in the captured image.
- the creation of the learning data 222 may be performed manually by an operator or the like using the input device 24, or may be automatically performed by processing of a program.
- the learning data 222 may be collected from the operating vehicle as needed.
- the creation of the learning data 222 may be performed by an information processing device other than the learning device 2.
- the control unit 21 can acquire the learning data 222 by executing the creation processing of the learning data 222 in step S201.
- the learning device 2 uses the learning data 222 created by another information processing device via the network, the storage medium 92, or the like. Can be obtained.
- the number of pieces of learning data 222 acquired in step S201 may be appropriately determined according to the embodiment so that the machine learning of the neural network 6 can be performed.
- Step S202 In the next step S202, when the control unit 21 operates as the learning processing unit 212 and inputs the low-resolution captured image 223 and the observation information 224 using the learning data 222 acquired in step S201, the arm responsiveness information 225 is input. Machine learning of the neural network 6 is performed so as to output an output value corresponding to.
- the control unit 21 prepares the neural network 6 to be subjected to learning processing.
- the configuration of the neural network 6 to be prepared, the initial value of the connection weight between the neurons, and the initial value of the threshold value of each neuron may be given by a template or may be given by an operator input.
- the control part 21 may prepare the neural network 6 based on the learning result data 122 used as the object which performs relearning.
- control unit 21 uses the low-resolution captured image 223 and the observation information 224 included in the learning data 222 acquired in step S201 as input data, and uses the arm rapid response information 225 as teacher data (correct answer data).
- the learning process of the neural network 6 is performed.
- a stochastic gradient descent method or the like may be used.
- control unit 21 inputs the observation information 224 to the input layer of the fully connected neural network 61, and inputs the low-resolution captured image 223 to the convolutional layer arranged on the most input side of the convolutional neural network 62. Then, the control unit 21 performs firing determination of each neuron included in each layer in order from the input side. Thereby, the control unit 21 obtains an output value from the output layer of the LSTM network 64. Next, the control unit 21 calculates an error between the output value acquired from the output layer of the LSTM network 64 and the value corresponding to the arm ready response information 225.
- control unit 21 calculates a connection weight between the neurons and an error of each neuron threshold by using the error of the calculated output value by a back-to-back error propagation (Back propagation through time) method. To do. Then, the control unit 21 updates the values of the connection weights between the neurons and the threshold values of the neurons based on the calculated errors.
- the control unit 21 repeats this series of processing for each case of the learning data 222 until the output value output from the neural network 6 matches the value corresponding to the arm responsiveness information 225. Thereby, the control unit 21 can construct the neural network 6 that outputs an output value corresponding to the arm responsiveness information 225 when the low-resolution captured image 223 and the observation information 224 are input.
- Step S203 In the next step S ⁇ b> 203, the control unit 21 operates as the learning processing unit 212, and information indicating the configuration of the constructed neural network 6, the weight of connection between each neuron, and the threshold value of each neuron is used as the learning result data 122. Store in the storage unit 22. Thereby, the control part 21 complete
- control unit 21 may transfer the created learning result data 122 to the automatic driving support device 1 after the processing of step S203 is completed.
- the control unit 21 may periodically update the learning result data 122 by periodically executing the learning process in steps S201 to S203.
- control part 21 updates the learning result data 122 which the automatic driving assistance device 1 hold
- the control unit 21 may store the created learning result data 122 in a data server such as NAS (Network Attached Storage). In this case, the automatic driving assistance device 1 may acquire the learning result data 122 from this data server.
- NAS Network Attached Storage
- the automatic driving assistance device 1 is obtained from the camera 31 that is arranged so as to be able to photograph the arm portion of the driver D attached to the driver's seat of the vehicle 100 by the processes in steps S102 and S104.
- a captured image (low-resolution captured image 1231) is acquired.
- the automatic driving support device 1 inputs the acquired low-resolution captured image 1231 to the learned neural network (neural network 5) in steps S105 and S106, so that the driver D can quickly respond to the driving of the arm part.
- the learned neural network is created by the learning device 2 using the learning data 222 including the low-resolution captured image 223 and the arm responsiveness information 225.
- the present embodiment it is related to whether or not the arm portion of the driver D is in a state where the driving operation can be performed by using the learned neural network and the captured image that can capture the arm portion of the driver D.
- An index can be obtained as the arm responsiveness information 125.
- the automatic driving operation of the vehicle 100 is controlled from the viewpoint of whether or not the driver D is in a state where the driving operation can be performed based on the arm responsiveness information 125. be able to.
- the automatic driving support device 1 uses the learned information in step S105, including the face behavior information 1241 and the biological information 1242 acquired in step S103, in addition to the captured image, as a learned neural network. Enter further. Accordingly, it is possible to reflect the facial behavior and biological information that can be interlocked with the movement of the arm in the process of estimating the responsiveness to the driving of the arm. Therefore, according to the present embodiment, it is possible to improve the accuracy of estimating the degree of quick response to the driving of the arm portion of the driver D.
- a photographed image of the camera 31 in which the arm part of the driver D is arranged so as to be photographed is used.
- This behavior of the arm portion can appear greatly in the captured image. Therefore, the captured image used for estimating the behavior of the arm portion of the driver D does not have to be so high in resolution that detailed analysis is possible. Therefore, in the present embodiment, as the input of the neural network (5, 6), a low-resolution captured image (1231, 223) obtained by reducing the resolution of the captured image obtained by the camera 31 may be used. . Thereby, the calculation amount of the arithmetic processing of the neural network (5, 6) can be reduced, and the load on the processor can be reduced. Note that the resolution of the low-resolution captured images (1231, 223) may be so low that the behavior of the driver's face cannot be analyzed, and is preferably such that the behavior of the driver's arm can be discriminated.
- the neural network 5 includes a fully connected neural network 51 and a convolutional neural network 52 on the input side. Thereby, analysis suitable for input (low-resolution captured image 1231 and observation information 124) can be performed. Further, the neural network 5 according to this embodiment includes an LSTM network 54 on the output side.
- time-series data for the low-resolution captured image 1231 and the observation information 124 not only the short-term dependency but also the long-term dependency, the quick response to the driving of the arm of the driver D The degree can be estimated. Therefore, according to the present embodiment, it is possible to improve the estimation accuracy of the responsiveness to the driving of the arm portion of the driver D.
- the vehicle 100 is configured to be able to selectively implement the automatic driving mode and the manual driving mode by the automatic driving support device 1 (driving control unit 116).
- the vehicle 100 is responsive to the driving of the arm of the driver D indicated by the arm responsiveness information 125 when the automatic driving mode is being executed in steps S107 and S110 of the automatic driving support device 1.
- the automatic operation mode is switched to the manual operation mode. Accordingly, when the driver D is in a state where the responsiveness to the driving of the arm portion is low, the operation of the vehicle 100 is prevented from being in the manual operation mode, and the traveling safety of the vehicle 100 can be ensured.
- the automatic driving support device 1 includes both the module for monitoring the driver D (image acquisition unit 111 to warning unit 115) and the module for controlling the automatic driving operation of the vehicle 100 (driving control unit 116).
- the hardware configuration of the automatic driving assistance device 1 may not be limited to such an example.
- the module for monitoring the driver D and the module for controlling the automatic driving operation of the vehicle 100 may be provided in separate computers.
- the switching instruction unit that instructs switching from the automatic operation mode to the manual operation mode may be provided in the computer together with the module that monitors the driver D.
- the computer including the switching instruction unit module satisfies the predetermined condition for the responsiveness to the driving of the arm of the driver D indicated by the arm responsiveness information 125
- an instruction to switch from the automatic operation mode to the manual operation mode may be output to the vehicle 100.
- the computer including the module that controls the operation of the automatic operation may control switching from the automatic operation mode to the manual operation mode.
- the automatic driving support device 1 controls the operation of the vehicle 100 so as to selectively execute the automatic driving mode and the manual driving mode in accordance with an instruction from the driver D.
- the trigger for starting the automatic operation mode and the manual operation mode is not limited to such an instruction from the driver D, and may be appropriately set according to the embodiment.
- a sensor may be attached to the steering wheel to detect whether or not the driver is holding the steering wheel.
- the automatic driving assistance device 1 may output the countdown time until the start of switching from the automatic driving mode to the manual driving mode after detecting that the driver has gripped the steering wheel by voice or display. .
- the automatic driving assistance apparatus 1 may switch operation
- the arm responsiveness information 125 indicates whether the responsiveness to the driving of the arm of the driver D is high or low on two levels.
- the expression format of the arm responsiveness information 125 may not be limited to such an example.
- the arm responsiveness information 125 may indicate the degree of responsiveness to the driving of the arm of the driver D in three or more levels in a stepwise manner.
- FIG. 9 shows an example of the arm responsiveness information according to this modification.
- the arm responsiveness information according to the present modification defines the degree of responsiveness to each action state with a score value from 0 to 1.
- a score value “0” is assigned to “mobile phone operation”, “call”, and “food”, and a score value “1” is assigned to “handle grip”.
- a score value (for example, 0.2) between 0 and 1 and greater than 0 is assigned to “smoking”.
- a score value (for example, 0.7) between 1 and 0 is assigned to each of “instrument operation” and “navigation operation”.
- the arm responsiveness information 125 indicates the level of responsiveness to the driving of the arm of the driver D at three or more levels. May also be shown.
- step S ⁇ b> 107 the control unit 11 determines whether or not the driver D is in a state suitable for returning to driving of the vehicle 100 based on the score value of the arm responsiveness information 125. May be. For example, the control unit 11 is in a state suitable for the driver D to return to driving the vehicle 100 based on whether or not the score value of the arm responsiveness information 125 is higher than a predetermined threshold value. It may be determined.
- the threshold is a reference for determining whether or not the driver D is in a state suitable for returning to driving of the vehicle 100, and is an example of the “predetermined condition”. This threshold value may be set as appropriate.
- the upper limit value of the score value may not be limited to “1”, and the lower limit value may not be limited to “0”.
- step S108 the control unit 11 (warning unit 115) increases the responsiveness of the arm in accordance with the level of responsiveness to the driving of the arm of the driver D indicated by the arm responsiveness information 125.
- a warning prompting the driver D may be given step by step.
- the control unit 11 may give a stronger warning (for example, increase the volume, sound a beep, etc.) as the score value indicated by the arm responsiveness information 125 is lower.
- the arm responsiveness information 125 may be configured to indicate responsiveness to hand driving.
- step S107 the control unit 11 may determine whether or not the responsiveness to the driving of the hand of the driver D indicated by the arm responsiveness information 125 satisfies a predetermined condition.
- the control unit 11 performs the automatic driving in step S110.
- the operation of the vehicle 100 may be switched from the mode to the manual operation mode.
- the vehicle 100 performs the automatic driving mode when the responsiveness to the driving of the hand of the driver D indicated by the arm responsiveness information 125 satisfies a predetermined condition.
- the automatic operation mode is configured to switch to the manual operation mode. Thereby, it is possible to appropriately evaluate whether or not the driver D is in a state where the driving operation of the vehicle 100 can be performed.
- the arm responsiveness information 125 may indicate the degree of responsiveness to the driving of the driver's arm in steps of three or more levels according to the attribute of the object held in the hand. Good.
- the arm responsiveness information 125 may be expressed by a score value as in the example of FIG.
- the correspondence between arm responsiveness and object attributes can be set as appropriate according to the embodiment.
- the attribute is indicated by, for example, the type and size of the object. For example, it is assumed that an object that can use the entire hand, such as a mobile phone or a food and drink, greatly hinders the driver's steering operation. Similarly, it is assumed that a relatively large object occupies the entire driver's hand and greatly hinders the driver's steering operation. That is, when these objects are held by hand, it is assumed that the driver's arm (hand) is less responsive to driving. Therefore, for these objects, the score value of the arm ready response information 125 may be set to be low.
- the score value of the arm ready response information 125 may be set to be high.
- the state targeted by the arm rapid response information 125 may include a state in which nothing is held in the hand in addition to a state in which the object is held in the hand. If nothing is held in the hand, it is assumed that the driver is immediately ready to operate the steering wheel. Therefore, for a state where nothing is held in the hand, the score value may be determined so that the degree of quick response is relatively high. Further, it is assumed that the driver is more likely to start the handle operation as the hand is closer to the handle, and the driver is less likely to start the handle operation as the hand is farther from the handle. Therefore, the score value of the arm responsiveness information 125 may be set according to the distance between the hand and the handle.
- the degree of responsiveness indicated by the arm responsiveness information 125 is set corresponding to each action state.
- the degree of responsiveness can vary even within the same behavioral state. For example, in situations where eating and drinking has begun, it is assumed that the responsiveness to arm driving is extremely low, whereas in situations where eating and drinking is about to end, the responsiveness to arm driving is compared. It is assumed that it is getting higher. Therefore, the degree of responsiveness indicated by the arm responsiveness information 125 may be set to be different depending on the situation even in the same action state. Thereby, it is possible to further appropriately evaluate whether or not the driver D is in a state where the driving operation of the vehicle 100 can be performed.
- a score value close to 0 is assigned to a case where eating and drinking has started, and a score value close to 1 is assigned to a case where eating and drinking has almost ended. It may be assigned.
- the vehicle should not be switched from the automatic operation mode to the manual operation mode in the case where eating and drinking is started, and the vehicle is switched from the automatic operation mode to the manual operation mode in cases where eating and drinking is almost completed. Can be controlled.
- the low-resolution captured image 1231 is input to the neural network 5 in step S105.
- the captured image input to the neural network 5 may not be limited to such an example.
- the control unit 11 may input the captured image 123 acquired in step S102 to the neural network 5 as it is. In this case, step S104 may be omitted in the above processing procedure. Further, in the software configuration of the automatic driving assistance device 1, the resolution conversion unit 113 may be omitted.
- control unit 11 acquires the observation information 124 in step S103, and then executes a process for reducing the resolution of the captured image 123 in step S104.
- processing order of steps S103 and S104 may not be limited to such an example, and after executing the process of step S104, the control unit 11 may execute the process of step S103.
- control unit 11 inputs the observation information 124 and the low-resolution captured image 1231 to the neural network 5 in step S105.
- the input of the neural network 5 may not be limited to such an example, and information other than the observation information 124 and the low-resolution captured image 1231 may be input to the neural network 5.
- FIG. 10 schematically illustrates an example of the software configuration of the automatic driving support device 1A according to the present modification.
- the automatic driving support device 1 ⁇ / b> A is configured in the same manner as the automatic driving support device 1 except that the influence factor information 126 relating to factors affecting the driving state of the driver D is further input to the neural network 5.
- the influence factor information 126 is, for example, speed information indicating the traveling speed of the vehicle, peripheral environment information indicating the state of the surrounding environment of the vehicle (radar measurement result, captured image of the camera), weather information indicating the weather, and the like.
- the control unit 11 of the automatic driving assistance device 1A may input the influence factor information 126 to the fully connected neural network 51 of the neural network 5 in step S105.
- the control unit 11 may input the influence factor information 126 to the convolutional neural network 52 of the neural network 5 in step S105.
- the influence factor information 126 can be further used to reflect a factor that affects the driving state of the driver D in the estimation process.
- the control unit 11 may change the determination criterion in step S107 based on the influence factor information 126. For example, as described in the modification ⁇ 4.3>, when the arm responsiveness information 125 is indicated by a score value, the control unit 11 uses the threshold value used for the determination in step S107 based on the influence factor information 126 May be changed. As an example, the control unit 11 increases the value of a threshold (predetermined condition) for determining that the driver D is in a state where the driver can perform the driving operation of the vehicle as the traveling speed of the vehicle indicated by the speed information increases. Also good.
- a threshold predetermined condition
- the automatic driving assistance apparatus 1 is provided with the warning part 115, and implements the warning with respect to the driver
- step S108 may be omitted, and the warning unit 115 may be omitted from the software configuration of the automatic driving support device 1.
- the camera 31 is arranged so as to be able to photograph the arm and face of the driver D, and observation information (124, 224) is input to the neural network (5, 6).
- this observation information (124, 224) may be omitted.
- FIG. 11 schematically illustrates a software configuration of the automatic driving support device 1B according to the present modification.
- the automatic driving support device 1B does not use the observation information 124, and therefore does not include the observation information acquisition unit 112. Further, since the observation information 124 is not input, the neural network 5B does not include the fully connected neural network 51 and the connected layer 53. That is, in the neural network 5B, the output of the convolutional neural network 52 is input to the LSTM network 54.
- the quick response estimation unit 114 inputs the low resolution photographed image 1231 to the convolutional neural network 52, thereby acquiring the arm quick response information 125 from the output layer of the LSTM network 54.
- step S103 can be omitted.
- the observation information 224 can be omitted from the learning data 222 used for machine learning.
- the camera 31 since the face behavior information 1241 is not acquired from the captured image 123, the camera 31 may be arranged at a position where the arm of the driver D on the driver's seat is shown but the face is not shown.
- the observation information 124 includes the face behavior information 1241 and the biological information 1242.
- the configuration of the observation information 124 is not limited to such an example, and may be appropriately selected according to the embodiment. At least one of the face behavior information 1241 and the biological information 1242 may be omitted.
- the observation information 124 may include information other than the face behavior information 1241 and the biological information 1242.
- the observation information 124 may include information related to the state or movement of the driver's arm. For example, when the vehicle includes sensors such as a steering touch sensor, a pedal depression force sensor, and a seat pressure sensor, the observation information may include measurement results obtained from these sensors.
- the neural network used for estimating the responsiveness to the driving of the arm of the driver D includes a fully connected neural network, a convolutional neural network, a connected layer, and an LSTM network.
- the configuration of the neural network need not be limited to such an example, and may be determined as appropriate according to the embodiment.
- the LSTM network may be omitted.
- the fully connected neural network and the connection layer may be omitted.
- a neural network is used as a learning device used for estimating the responsiveness of the driver D to the driving of the arm.
- the type of learning device is not limited to a neural network as long as a captured image can be used as an input, and may be appropriately selected according to the embodiment.
- Examples of usable learning devices include a support vector machine, a self-organizing map, a learning device that performs machine learning by reinforcement learning, and the like.
- the automatic driving support device 1 directly acquires the arm responsiveness information 125 from the neural network 5 as an output from the neural network 5.
- the method of acquiring the arm responsiveness information from the learning device is not limited to such an example.
- the automatic driving assistance device 1 may hold reference information such as a table format in which the output value of the learning device and the degree of responsiveness of the arm are associated with each other in the storage unit 12.
- the control unit 11 obtains an output value from the neural network 5 by performing arithmetic processing of the neural network 5 using the low-resolution captured image 1231 and the observation information 124 as inputs in step S105.
- step S ⁇ b> 106 the control unit 11 refers to the reference information, and acquires arm responsiveness information 125 indicating the degree of responsiveness of the arm corresponding to the output value obtained from the neural network 5.
- the automatic driving assistance device 1 may indirectly acquire the arm responsiveness information 125.
- the reference information may be held for each user.
- the output value output from the neural network 5 may be set so as to correspond to the state of the driver's arm.
- a captured image acquired from a photographing device arranged so as to be capable of photographing the arm portion of the driver who has arrived at the driver's seat of the vehicle by the hardware processor (21), and the degree of responsiveness to the driving of the driver's arm portion A learning data acquisition step of acquiring a set of arm ready information as learning data; A learning processing step of performing machine learning of the learning device so that when the captured image is input by the hardware processor (21), an output value corresponding to the arm responsiveness information is output; Comprising Learning method.
- a learning data acquisition unit 212 ... a learning processing unit, 221 ... Learning program, 222 ... Learning data, 223 ... low resolution photographed image, 224 ... observation information, 225 ... Arm ready information, 30 ... navigation device, 31 ... camera, 32 ... biological sensor, 33 ... Speaker, 5 ... Neural network, 51. Fully connected neural network, 511 ... Input layer, 512 ... Intermediate layer (hidden layer), 513 ... Output layer, 52. Convolutional neural network, 521 ... Convolution layer, 522 ... Pooling layer, 523 ... All coupling layers, 524 ... Output layers, 53 ... tie layer, 54 ... LSTM network (recursive neural network), 541 ... Input layer, 542 ... LSTM block, 543 ... Output layer, 6 ... Neural network, 61. Fully connected neural network, 62 ... Convolutional neural network, 63 ... Connection layer, 64 ... LSTM network, 92 ... Storage medium
Abstract
本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する即応性推定部と、を備える。
Description
本発明は、運転者監視装置、運転者監視方法、学習装置及び学習方法に関する。
近年、運転の安全性を高めるために、居眠り、体調の急変等の運転者の状態を監視する技術の開発が進んでいる。また、自動車の自動運転の実現に向けた動きが加速している。自動運転は、システムにより自動車の走行を制御するものであるが、システムに代わって運転者が運転しなければならない場面もあり得ることから、自動運転中であっても、運転者が運転操作を行える状態にあるか否かを監視する必要性があるとされている。この自動運転中に運転者の状態を監視する必要性があることは、国連欧州経済委員会（ＵＮ－ＥＣＥ）の政府間会合（ＷＰ２９）においても確認されている。この点からも、運転者の状態を監視する技術の開発が進められている。
運転者の状態を推定する技術として、例えば、特許文献１では、まぶたの開閉、視線の動き、又はハンドル角のふらつきから運転者の実集中度を検出する方法が提案されている。この方法では、検出した実集中度と車両の周辺環境情報から算出した要求集中度とを比較することで、要求集中度に対して実集中度が十分であるか否かを判定する。そして、要求集中度に対して実集中度が不十分であると判定した場合には、自動運転の走行速度を低速にする。これにより、特許文献１の方法によれば、クルーズ制御を行っている際の安全性を高めることができる。
また、例えば、特許文献２では、開口行動及び口の周りの筋肉の状態に基づいて、運転者の眠気を判定する方法が提案されている。この方法では、運転者が開口行動を実施していない場合に、弛緩状態である筋肉の数に応じて運転者に生じている眠気のレベルを判定する。したがって、特許文献２の方法によれば、眠気により無意識に生じる現象に基づいて、運転者の眠気のレベルを判定しているため、眠気が生じていることを検出する検出精度を高めることができる。
また、例えば、特許文献３では、運転者のまぶたの動きが生じた後に、顔向き角度の変化が生じたか否かに基づいて、当該運転者の眠気を判定する方法が提案されている。特許文献３の方法によれば、下方視の状態を眠気の高い状態と誤検出する可能性を低減することで、眠気検出の精度を高めることができる。
また、例えば、特許文献４では、運転者の所持する免許証内の顔写真と運転者を撮影した撮影画像とを比較することで、運転者の眠気度及び脇見度を判定する方法が提案されている。特許文献４の方法によれば、免許証内の顔写真を運転者の覚醒時の正面画像として取り扱って、当該顔写真と撮影画像との特徴量を比較することで、運転者の眠気度及び脇見度を判定することができる。
また、例えば、特許文献５では、運転者の視線の状態に基づいて、当該運転者の集中度を判定する方法が提案されている。具体的には、運転者の視線を検出し、検出した視線が注視領域に停留する停留時間を測定する。そして、停留時間が閾値を超えた場合に、運転者の集中度が低下したと判定する。特許文献５の方法によれば、視線に関連する少ない画素値の変化により運転者の集中度を判定することができる。そのため、運転者の集中度の判定を少ない計算量で行うことができる。
また、例えば、特許文献６では、運転者のハンドル把持情報及び視線方向情報に基づいて、運転者が携帯端末を操作しているか否かを判定する方法が提案されている。特許文献６の方法によれば、車両の運転中に運転者が携帯端末を操作していると判定される場合に、当該携帯端末の機能を制限することで、当該運転者が車両を運転する際の安全性を確保することができる。
従来の方法では、運転者の集中度、眠気度、脇見度、又は携帯端末の操作の有無という観点で、解析時点において運転者が運転に適した状態にあるか否かという運転者の状態を推定している。しかしながら、自動運転機能を搭載した車両では、運転者は、自動運転中に様々な行動を取る可能性がある。このような車両では、自動運転から手動運転に切り替える際に、運転者が運転操作を行える準備状態にあるか否か、換言すると、運転者が車両の運転を手動で行える状態にあるか否かを検知することが重要になると想定される。例えば、視線等の情報に基づいて解析時点において運転者が運転に適している状態と従来の方法で判定可能な場合であっても、両手に飲食物を保持している等の腕部の状態によっては、運転者が運転操作を行える状態にないケースがあり得る。従来の方法では、このようなケースにおいて、運転者が運転操作に復帰可能な状態にあるか否かに関する指標を得ることが困難である。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する即応性推定部と、を備える。
当該構成では、機械学習により得られる学習済みの学習器を利用して、運転者の腕部の運転に対する即応性を推定する。具体的には、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する。そして、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に当該撮影画像を入力することで、運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を取得する。
ここで、「即応性」の程度とは、運転に対する準備状態の程度、換言すると、運転者が車両の運転を手動で行える状態にあるか否かの度合いを示す。より詳細には、「即応性」の程度は、運転者が車両の手動運転に直ちに対応可能か否かの度合いを示す。したがって、当該構成によれば、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報として得ることができる。これにより、自動運転モードで車両が走行している際に、運転者の腕部が運転操作に直ちに対応可能かどうかを推定する精度を向上させることができる。
なお、「機械学習」とは、データ（学習データ）に潜むパターンをコンピュータにより見つけ出すことであり、「学習器」は、そのような機械学習により所定のパターンを識別する能力を獲得可能な学習モデルにより構築される。この学習器の種類は、撮影画像に基づいて運転者の腕部の運転に対する即応性の程度を推定する能力を学習可能であれば、特に限定されなくてもよい。「学習済み学習器」は、「識別器」又は「分類器」と称されてもよい。
また、撮影装置が「車両の運転席に着いた運転者の腕部を撮影可能に配置される」とは、例えば、少なくとも運転席からハンドル周辺を撮影範囲とするように配置される等、運転操作時に運転者の腕部の少なくとも一部が位置すべき範囲を撮影範囲としてカバーするように撮影装置が配置されることである。そのため、運転者が、撮影装置に対して背を向けている等の状況では、運転者の腕部を撮影装置により捕捉できない可能性があり、このようなケースでは、撮影装置から得られる撮影画像には必ずしも運転者の腕部が写っている必要はない。
上記一側面に係る運転者監視装置は、自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施可能に構成された前記車両に対して、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する切替指示部を更に備えてもよい。当該構成によれば、運転者の腕部の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。
上記一側面に係る運転者監視装置において、前記切替指示部は、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力してもよい。当該構成によれば、ハンドル操作を行う運転者の手の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。
上記一側面に係る運転者監視装置において、前記腕部即応性情報は、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示すように構成されてもよい。当該構成によれば、運転者の腕部の即応性を段階的に表現することができ、これによって、運転者状態の推定結果の利用性が向上する。
上記一側面に係る運転者監視装置において、前記腕部即応性情報は、前記運転者が手に保持している物体の属性に応じて、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。運転者が手に保持している物体の種類に応じて、運転に対する即応性は相違し得る。例えば、運転者が赤ん坊等を両手で保持している場合には、当該運転者の運転に対する即応性は低い状態にあると想定される。一方、タオル等の直ぐに手から離すことのできる物体を運転者が保持している場合には、当該運転者の運転に対する即応性は高い状態にあると想定される。当該構成によれば、運転者の保持している物体の属性を適切に反映して、運転者の腕部の運転に対する即応性を評価することができる。なお、「属性」は、例えば、物体の種類、大きさ等により示される。
上記一側面に係る運転者監視装置は、前記腕部即応性情報の示す前記運転者の腕部の運転に対する即応性のレベルに応じて、腕部の即応性を高めるように前記運転者に促す警告を段階的に行う警告部を更に備えてもよい。当該構成によれば、運転者の腕部の即応性を段階的に評価し、その状態に適した警告を実施することができる。
上記一側面に係る運転者監視装置は、前記運転者の観測情報を取得する観測情報取得部を更に備えてもよく、前記即応性推定部は、前記観測情報を前記学習器に更に入力してもよい。当該構成によれば、観測情報を更に利用することにより、運転者の腕部の即応性に対する解析精度を高めることができる。なお、観測情報は、運転者から観測可能なあらゆる情報が含まれてもよい。例えば、観測情報には、運転者の顔の挙動に関する顔挙動情報が含まれてもよい。また、例えば、観測情報には、脳波、心拍数、脈拍等の、運転者から測定可能な生体情報が含まれてもよい。また、例えば、観測情報には、運転者の腕部の状態又は動作に関連する情報が含まれてもよい。また、例えば、ステアリングタッチセンサ、ペダルの踏力センサ、座席の圧力センサ等のセンサを車両が備える場合に、観測情報には、これらのセンサから得られる測定結果が含まれてもよい。
上記一側面に係る運転者監視装置において、前記撮影装置は、前記運転者の顔を更に撮影可能に配置されてよく、前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する顔挙動情報を含む前記観測情報を取得してもよい。腕部の動作は、顔の動作を伴って生じ得る。当該構成によれば、顔挙動情報を利用して、運転者の腕部の即応性に対する解析精度を高めることができる。
上記一側面に係る運転者監視装置において、前記観測情報取得部は、前記運転者の生体情報を含む前記観測情報を取得してもよい。腕部の動作は、何らかの生体情報の変化を伴って生じ得る。例えば、所定の腕部の動作を行ったときには、脳の所定の部位が反応を示し得る。当該構成によれば、生体情報を利用して、運転者の腕部の即応性に対する解析精度を高めることができる。
また、本発明の一側面に係る運転監視方法は、コンピュータが、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、を実行する。当該構成によれば、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報として得ることができる。
上記一側面に係る運転監視方法において、前記コンピュータは、自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施するように前記車両の動作を制御し、前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替えるように構成されてもよい。当該構成によれば、運転者の腕部の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。
上記一側面に係る運転監視方法において、前記コンピュータは、前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替えるように構成されてもよい。当該構成によれば、運転者の手の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。
また、本発明の一側面に係る学習装置は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得部と、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理部と、を備える。当該構成によれば、上記運転者の腕部の運転に対する即応性の程度を推定するのに利用する学習済みの学習器を構築することができる。
また、本発明の一側面に係る学習方法は、コンピュータが、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得するステップと、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行うステップと、を実行する。当該構成によれば、上記運転者の腕部の運転に対する即応性の程度を推定するのに利用する学習済みの学習器を構築することができる。
本発明によれば、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供することができる。
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。しかしながら、本発明の適用対象は、自動運転を実施可能な車両に限定されなくてもよく、自動運転を実施しない一般の車両に本発明が適用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る自動運転支援装置１及び学習装置２の適用場面の一例を模式的に例示する。
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る自動運転支援装置１及び学習装置２の適用場面の一例を模式的に例示する。
図１に示されるとおり、本実施形態に係る自動運転支援装置１は、カメラ３１を利用して運転者Ｄを監視しながら、車両１００の自動運転を支援するコンピュータである。本実施形態に係る自動運転支援装置１は、本発明の「運転者監視装置」の一例である。なお、車両１００の種類は、実施の形態に応じて適宜選択されてよい。車両１００は、例えば、乗用車である。本実施形態に係る車両１００は、自動運転を実施可能に構成される。
具体的には、自動運転支援装置１は、車両１００の運転席に着いた運転者Ｄの腕部を撮影可能に配置されたカメラ３１から撮影画像を取得する。カメラ３１は、本発明の「撮影装置」の一例である。そして、自動運転支援装置１は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器（後述するニューラルネットワーク５）に、取得した撮影画像を入力することで、運転者Ｄの腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する。これにより、自動運転支援装置１は、運転者Ｄの状態、すなわち、運転者Ｄの腕部の運転に対する即応性の程度を推定する。なお、「即応性」の程度とは、運転に対する準備状態の程度、換言すると、運転者が車両の運転を手動で行える状態にあるか否かの度合いを示す。より詳細には、「即応性」の程度は、運転者が車両の手動運転に直ちに対応可能か否かの度合いを示す。
一方、本実施形態に係る学習装置２は、自動運転支援装置１で利用する学習器を構築する、すなわち、撮影画像の入力に応じて、運転者Ｄの腕部の運転に対する即応性の程度を示す腕部即応性情報を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記撮影画像及び腕部即応性情報の組を学習データとして取得する。これらのうち、撮影画像は入力データとして利用され、腕部即応性情報は教師データとして利用される。すなわち、学習装置２は、撮影画像を入力すると腕部即応性情報に対応する出力値を出力するように学習器（後述するニューラルネットワーク６）を学習させる。これにより、自動運転支援装置１で利用する学習済みの学習器を作成することができる。自動運転支援装置１は、例えば、ネットワークを介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
以上のとおり、本実施形態によれば、学習済みの学習器を利用することで、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報として得ることができる。そのため、この腕部即応性情報に基づいて、運転者Ｄの腕部の状態が運転操作を行える状態にあるか否かという観点で、例えば、車両１００の自動運転の動作を制御することができる。なお、カメラ３１に対して運転者Ｄが背を向けている等の状況では、当該運転者Ｄの腕部をカメラ３１により捕捉できない可能性がある。そのため、カメラ３１から得られる撮影画像には必ずしも運転者Ｄの腕部が写っている必要はない。
なお、本実施形態では、運転者Ｄの腕部の運転に対する即応性の程度を推測するのに、運転者Ｄの腕部が写り得る撮影画像の他、運転者Ｄの観測情報が更に用いられる。特に、本実施形態では、撮影画像を画像解析することで得られる顔挙動情報が観測情報として利用される。そのため、本実施形態に係るカメラ３１は、運転者Ｄの顔を更に撮影可能に配置される。
§２ 構成例
［ハードウェア構成］
＜自動運転支援装置＞
次に、図２を用いて、本実施形態に係る自動運転支援装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る自動運転支援装置１のハードウェア構成の一例を模式的に例示する。
［ハードウェア構成］
＜自動運転支援装置＞
次に、図２を用いて、本実施形態に係る自動運転支援装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る自動運転支援装置１のハードウェア構成の一例を模式的に例示する。
図２に示されるとおり、本実施形態に係る自動運転支援装置１は、制御部１１、記憶部１２、及び外部インタフェース１３が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。
制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。制御部１１は、例えば、ＥＣＵ（Electronic Control Unit）により構成される。記憶部１２は、例えば、ＲＡＭ、ＲＯＭ等で構成され、プログラム１２１、学習結果データ１２２等を記憶する。記憶部１２は、「メモリ」の一例である。
プログラム１２１は、自動運転支援装置１に後述する運転者Ｄの腕部の運転に対する即応性の程度を推定する情報処理（図７）を実行させるための命令を含むプログラムである。学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。
外部インタフェース１３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、外部インタフェース１３は、例えば、ＣＡＮ（Controller Area Network）を介して、ナビゲーション装置３０、カメラ３１、生体センサ３２、及びスピーカ３３に接続される。
ナビゲーション装置３０は、車両１００の走行時に経路案内を行うコンピュータである。ナビゲーション装置３０には、公知のカーナビゲーション装置が用いられてよい。ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）信号に基づいて自車位置を測定し、地図情報及び周辺の建物等に関する周辺情報を利用して、経路案内を行うように構成される。なお、以下では、ＧＰＳ信号に基づいて測定される自車位置を示す情報を「ＧＰＳ情報」と称する。
カメラ３１は、車両１００の運転席に着いた運転者Ｄの腕部及び顔を撮影可能に配置される。すなわち、カメラ３１は、例えば、少なくとも運転席からハンドル周辺を撮影範囲とするように配置される等、運転操作時に運転者Ｄの腕部の少なくとも一部が位置すべき範囲を撮影範囲としてカバーするように撮影装置が配置される。図１の例では、カメラ３１は、運転席の前方上方に配置されている。しかしながら、カメラ３１の配置場所は、このような例に限定されなくてもよく、運転席に着いた運転者Ｄの腕部及び顔を撮影可能であれば、実施の形態に応じて適宜選択されてよい。なお、カメラ３１には、一般のデジタルカメラ、ビデオカメラ等が用いられてよい。
生体センサ３２は、運転者Ｄの生体情報を測定するように構成される。測定対象となる生体情報は、特に限定されなくてもよく、例えば、脳波、心拍数等であってよい。生体センサ３２は、測定対象となる生体情報を測定可能であれば特に限定されなくてもよく、例えば、公知の脳波センサ、脈拍センサ等が用いられてよい。生体センサ３２は、測定対象となる生体情報に応じた運転者Ｄの身体部位に装着される。
スピーカ３３は、音声を出力するように構成される。スピーカ３３は、車両１００の走行中に運転者Ｄの腕部の運転に対する即応性が低いと推測される場合に、当該腕部の即応性を高めるように運転者Ｄに対して警告するのに利用される。詳細は後述する。
なお、外部インタフェース１３には、上記以外の外部装置が接続されてよい。例えば、外部インタフェース１３には、ネットワークを介してデータ通信を行うための通信モジュールが接続されてもよい。外部インタフェース１３に接続する外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
また、図２の例では、自動運転支援装置１は、１つの外部インタフェース１３を備えている。しかしながら、外部インタフェース１３は、接続する外部装置毎に設けられてもよい。外部インタフェース１３の数は、実施の形態に応じて適宜選択可能である。
なお、自動運転支援装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部１２は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、自動運転支援装置１には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータが用いられてもよい。
＜学習装置＞
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。
図３に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。
制御部２１は、上記制御部１１と同様に、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の機械学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。
学習プログラム２２１は、後述する機械学習の処理（図８）を学習装置２に実行させ、当該機械学習の結果として学習結果データ１２２を生成させるためのプログラムである。学習データ２２２は、運転者の腕部の運転に対する即応性の程度を推定する能力を獲得するように学習器の機械学習を行うためのデータである。詳細は後述する。
通信インタフェース２３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置２は、当該通信インタフェース２３を介して、作成した学習結果データ１２２を外部の装置に配信してもよい。
入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を介して、学習装置２を操作することができる。
ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９２に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ２６の種類は、記憶媒体９２の種類に応じて適宜選択されてよい。上記学習プログラム２２１及び学習データ２２２は、この記憶媒体９２に記憶されていてもよい。
記憶媒体９２は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置２は、この記憶媒体９２から、上記学習プログラム２２１及び学習データ２２２を取得してもよい。
ここで、図３では、記憶媒体９２の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９２の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。学習装置２は、複数台の情報処理装置で構成されてもよい。また、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。
［ソフトウェア構成］
＜自動運転支援装置＞
次に、図４を用いて、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を説明する。図４は、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を模式的に例示する。
＜自動運転支援装置＞
次に、図４を用いて、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を説明する。図４は、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を模式的に例示する。
自動運転支援装置１の制御部１１は、記憶部１２に記憶されたプログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図４に示されるとおり、本実施形態に係る自動運転支援装置１は、ソフトウェアモジュールとして、画像取得部１１１、観測情報取得部１１２、解像度変換部１１３、即応性推定部１１４、警告部１１５、及び運転制御部１１６を備えるコンピュータとして構成される。
画像取得部１１１は、車両の運転席に着いた運転者Ｄの腕部及び顔を撮影可能に配置されたカメラ３１から撮影画像１２３を取得する。観測情報取得部１１２は、運転者Ｄの顔の挙動に関する顔挙動情報１２４１及び生体センサ３２により測定された生体情報１２４２を含む観測情報１２４を取得する。本実施形態では、顔挙動情報１２４１は、撮影画像１２３を画像解析することで得られる。なお、観測情報１２４は、このような例に限定されなくてもよい。例えば、顔挙動情報１２４１及び生体情報１２４２のうちいずれかは省略されてもよい。生体情報１２４２が省略される場合、生体センサ３２は省略されてもよい。
解像度変換部１１３は、画像取得部１１１により取得した撮影画像１２３の解像度を低下させる。これにより、解像度変換部１１３は、低解像度撮影画像１２３１を生成する。
即応性推定部１１４は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器（ニューラルネットワーク５）に、撮影画像１２３を低解像度化することで得られた低解像度撮影画像１２３１及び観測情報１２４を入力する。これにより、即応性推定部１１４は、運転者Ｄの腕部の運転に対する即応性の程度を示す腕部即応性情報１２５を当該学習器から取得する。なお、低解像度化の処理は省略されてもよい。この場合、即応性推定部１１４は、撮影画像１２３を学習器に入力してもよい。
ここで、図５を用いて、腕部即応性情報１２５を説明する。図５は、腕部即応性情報１２５の一例を示す。図５に示されるとおり、本実施形態に係る腕部即応性情報１２５は、運転者の腕部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで段階的に示す。また、本実施形態では、腕部の即応性の程度は、運転者の行動状態に応じて設定される。
運転者の行動状態と即応性の程度との対応関係は適宜設定可能である。例えば、運転者Ｄが、「ハンドル把持」、「計器操作」、及び「ナビゲーション操作」の行動状態にある場合には、当該運転者Ｄの腕部は、車両１００の運転操作に直ちに取り掛かれる状態にあると推定可能である。そこで、本実施形態では、「ハンドル把持」、「計器操作」、及び「ナビゲーション操作」の行動状態に運転者があるのに対応して、腕部即応性情報１２５は、運転者の腕部の運転に対する即応性が高い状態にあることを示すように設定されている。なお、「ハンドル把持」は、運転者が把持している状態を指す。「計器操作」は、車両のスピードメータ等の計器を運転者が操作している状態を指す。「ナビゲーション操作」は、ナビゲーション装置を運転者が操作している状態を指す。
一方、運転者Ｄが、「喫煙」、「飲食」、「通話」、及び「携帯電話操作」の行動状態にある場合には、当該運転者Ｄの腕部は、車両１００の運転操作に直ちには取り掛かれない状態にあると推定可能である。そこで、本実施形態では、「喫煙」、「飲食」、「通話」、及び「携帯電話操作」の行動状態に運転者があるのに対応して、腕部即応性情報１２５は、運転者の腕部の運転に対する即応性が低い状態にあることを示すように設定されている。なお、「喫煙」は、運転者が喫煙している状態を指す。「飲食」は、運転者が飲食物を飲食している状態を指す。「通話」は、運転者が携帯電話等の電話機で通話を行っている状態を指す。「携帯電話操作」は、運転者が携帯電話を操作している状態を指す。
なお、「即応性」の程度とは、運転に対する準備状態の程度を示し、例えば、異常等の発生により車両１００の自動運転を継続できなくなったときに、運転者Ｄが手動で車両１００を運転する状態に復帰可能な度合いを表わすことができる。そのため、腕部即応性情報１２５は、運転者の腕部が運転操作に復帰するのに適した状態であるか否かを判定するための指標として利用することができる。
警告部１１５は、腕部即応性情報１２５に基づいて、運転者Ｄの腕部が車両１００の運転に復帰するのに適した状態であるか否か、換言すると、運転者Ｄの腕部の運転に対する即応性が高い状態にあるか否かを判定する。そして、運転者Ｄの腕部の運転に対する即応性が低い状態にあると判定した場合に、警告部１１５は、スピーカ３３を介して、腕部の即応性を高めるように運転者Ｄに促す警告を行う。
運転制御部１１６は、車両１００の駆動系及び制御系にアクセスすることで、運転者Ｄによらず自動的に運転操作を行う自動運転モードと運転者Ｄの手動により運転操作を行う手動運転モードとを選択的に実施するように車両１００の動作を制御する。本実施形態では、運転制御部１１６は、腕部即応性情報１２５、ナビゲーション装置３０の設定等に応じて、自動運転モードと手動運転モードとを切り替えるように構成される。
その一例として、運転制御部１１６は、自動運転モードが実施されている際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たし、高い状態にあると判定される場合に、自動運転モードから手動運転モードへの切り替えを許可し、当該切り替えの指示を車両１００に対して出力する。一方で、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たさず、低い状態にあると判定される場合には、運転制御部１１６は、自動運転モードから手動運転モードへの切り替えを許可しない。この場合、運転制御部１１６は、自動運転モードを継続する、所定の停車区間に車両１００を停車する、等のように手動運転モード以外のモードで車両１００の動作を制御する。
すなわち、本実施形態では、この運転制御部１１６により、車両１００は、自動運転モードと手動運転モードとを選択的に実施可能に構成される。また、本発明の「切替指示部」は、運転制御部１１６の一動作として実現される。
（学習器）
次に、学習器について説明する。図４に示されるとおり、本実施形態に係る自動運転支援装置１は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク５を利用する。本実施形態に係るニューラルネットワーク５は、複数種類のニューラルネットワークを組み合わせることで構成されている。
次に、学習器について説明する。図４に示されるとおり、本実施形態に係る自動運転支援装置１は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク５を利用する。本実施形態に係るニューラルネットワーク５は、複数種類のニューラルネットワークを組み合わせることで構成されている。
具体的には、ニューラルネットワーク５は、全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４の４つの部分に分かれている。全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２は入力側に並列に配置されており、全結合ニューラルネットワーク５１には観測情報１２４が入力され、畳み込みニューラルネットワーク５２には低解像度撮影画像１２３１が入力される。結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力を結合する。ＬＳＴＭネットワーク５４は、結合層５３からの出力を受けて、腕部即応性情報１２５を出力する。
（ａ）全結合ニューラルネットワーク
全結合ニューラルネットワーク５１は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５１１、中間層（隠れ層）５１２、及び出力層５１３を備えている。ただし、全結合ニューラルネットワーク５１の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
全結合ニューラルネットワーク５１は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５１１、中間層（隠れ層）５１２、及び出力層５１３を備えている。ただし、全結合ニューラルネットワーク５１の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
各層５１１～５１３は、１又は複数のニューロン（ノード）を備えている。各層５１１～５１３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。各層５１１～５１３に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク５１は構成される。各結合には、重み（結合荷重）が適宜設定されている。
（ｂ）畳み込みニューラルネットワーク
畳み込みニューラルネットワーク５２は、畳み込み層５２１及びプーリング層５２２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク５２では、複数の畳み込み層５２１及びプーリング層５２２が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５２２の出力が全結合層５２３に入力され、全結合層５２３の出力が出力層５２４に入力される。
畳み込みニューラルネットワーク５２は、畳み込み層５２１及びプーリング層５２２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク５２では、複数の畳み込み層５２１及びプーリング層５２２が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５２２の出力が全結合層５２３に入力され、全結合層５２３の出力が出力層５２４に入力される。
畳み込み層５２１は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。
プーリング層５２２は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。
全結合層５２３は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層５２３に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層５１３は、２層以上で構成されてもよい。また、全結合層４２３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。
出力層５２４は、畳み込みニューラルネットワーク５２の最も出力側に配置される層である。出力層５２４に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク５２の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
（ｃ）結合層
結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２とＬＳＴＭネットワーク５４との間に配置される。結合層５３は、全結合ニューラルネットワーク５１の出力層５１３からの出力及び畳み込みニューラルネットワーク５２の出力層５２４からの出力を結合する。結合層５３の出力は、ＬＳＴＭネットワーク５４に入力される。結合層５３に含まれるニューロンの個数は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力の数に応じて適宜設定されてよい。
結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２とＬＳＴＭネットワーク５４との間に配置される。結合層５３は、全結合ニューラルネットワーク５１の出力層５１３からの出力及び畳み込みニューラルネットワーク５２の出力層５２４からの出力を結合する。結合層５３の出力は、ＬＳＴＭネットワーク５４に入力される。結合層５３に含まれるニューロンの個数は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力の数に応じて適宜設定されてよい。
（ｄ）ＬＳＴＭネットワーク
ＬＳＴＭネットワーク５４は、ＬＳＴＭブロック５４２を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク５４は、一般的な再起型ニューラルネットワークの中間層をＬＳＴＭブロック５４２に置き換えた構造を有する。
ＬＳＴＭネットワーク５４は、ＬＳＴＭブロック５４２を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク５４は、一般的な再起型ニューラルネットワークの中間層をＬＳＴＭブロック５４２に置き換えた構造を有する。
本実施形態では、ＬＳＴＭネットワーク５４は、入力側から順に、入力層５４１、ＬＳＴＭブロック５４２、及び出力層５４３を備えており、順伝播の経路の他、ＬＳＴＭブロック５４２から入力層５４１に戻る経路を有している。入力層５４１及び出力層５４３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。
ＬＳＴＭブロック５４２は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである（S.Hochreiter and J.Schmidhuber, "Long short-term memory" Neural Computation, 9(8):1735-1780, November 15, 1997）。また、ＬＳＴＭブロック５４２は、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい（Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000）。ＬＳＴＭネットワーク５４の構成は、実施の形態に応じて適宜設定可能である。
（ｅ）小括
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。自動運転支援装置１は、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力する。そして、自動運転支援装置１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、自動運転支援装置１は、腕部即応性情報１２５に対応する出力値をニューラルネットワーク５の出力層５４３から取得する。
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。自動運転支援装置１は、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力する。そして、自動運転支援装置１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、自動運転支援装置１は、腕部即応性情報１２５に対応する出力値をニューラルネットワーク５の出力層５４３から取得する。
なお、このようなニューラルネットワーク５の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。自動運転支援装置１は、学習結果データ１２２を参照して、運転者Ｄの運転集中度を推定する処理に用いる学習済みニューラルネットワーク５の設定を行う。
＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２のソフトウェア構成の一例を説明する。図６は、本実施形態に係る学習装置２のソフトウェア構成の一例を模式的に例示する。
次に、図６を用いて、本実施形態に係る学習装置２のソフトウェア構成の一例を説明する。図６は、本実施形態に係る学習装置２のソフトウェア構成の一例を模式的に例示する。
学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、ソフトウェアモジュールとして、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして構成される。
学習データ取得部２１１は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する。上記のとおり、本実施形態では、撮影画像の他に、運転者の顔の挙動を示す顔挙動情報を含む観測情報が学習器の入力として利用される。そのため、学習データ取得部２１１は、低解像度撮影画像２２３、観測情報２２４、及び腕部即応性情報２２５の組を学習データ２２２として取得する。低解像度撮影画像２２３及び観測情報２２４はそれぞれ、上記低解像度撮影画像１２３１及び観測情報１２４に対応し、入力データとして利用される。腕部即応性情報２２５は、上記腕部即応性情報１２５に対応し、教師データ（正解データ）として利用される。学習処理部２１２は、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するように学習器の機械学習を行う。
図６に示されるとおり、本実施形態において、学習対象となる学習器は、ニューラルネットワーク６である。当該ニューラルネットワーク６は、全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４を備え、上記ニューラルネットワーク５と同様に構成される。全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４はそれぞれ、上記全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４と同様である。
学習処理部２１２は、ニューラルネットワークの学習処理により、全結合ニューラルネットワーク６１に観測情報２２４を入力し、畳み込みニューラルネットワーク６２に低解像度撮影画像２２３を入力すると、腕部即応性情報２２５に対応する出力値をＬＳＴＭネットワーク６４から出力するニューラルネットワーク６を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。
＜その他＞
自動運転支援装置１及び学習装置２の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置１及び学習装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置１及び学習装置２それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
自動運転支援装置１及び学習装置２の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置１及び学習装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置１及び学習装置２それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
§３ 動作例
［自動運転支援装置］
次に、図７を用いて、自動運転支援装置１の動作例を説明する。図７は、自動運転支援装置１の処理手順の一例を例示するフローチャートである。以下で説明する運転者Ｄの腕部の運転に対する即応性の程度を推定する処理手順は、本発明の「運転者監視方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
［自動運転支援装置］
次に、図７を用いて、自動運転支援装置１の動作例を説明する。図７は、自動運転支援装置１の処理手順の一例を例示するフローチャートである。以下で説明する運転者Ｄの腕部の運転に対する即応性の程度を推定する処理手順は、本発明の「運転者監視方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
（起動）
まず、運転者Ｄは、車両１００のイグニッション電源をオンにすることで、自動運転支援装置１を起動し、起動した自動運転支援装置１にプログラム１２１を実行させる。これにより、自動運転支援装置１の制御部１１は、以下の処理手順に従って、運転者Ｄの状態を監視する。なお、プログラム実行のトリガは、このような車両１００のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、プログラムの実行は、入力装置（不図示）を介した運転者Ｄの指示をトリガとして開始されてよい。
まず、運転者Ｄは、車両１００のイグニッション電源をオンにすることで、自動運転支援装置１を起動し、起動した自動運転支援装置１にプログラム１２１を実行させる。これにより、自動運転支援装置１の制御部１１は、以下の処理手順に従って、運転者Ｄの状態を監視する。なお、プログラム実行のトリガは、このような車両１００のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、プログラムの実行は、入力装置（不図示）を介した運転者Ｄの指示をトリガとして開始されてよい。
（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、運転制御部１１６として動作し、車両１００の自動運転を開始する。例えば、制御部１１は、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両１００の自動運転を実施する。自動運転の制御方法には、公知の制御方法が利用可能である。車両１００の自動運転モードを開始すると、制御部１１は、次のステップＳ１０２に処理を進める。
ステップＳ１０１では、制御部１１は、運転制御部１１６として動作し、車両１００の自動運転を開始する。例えば、制御部１１は、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両１００の自動運転を実施する。自動運転の制御方法には、公知の制御方法が利用可能である。車両１００の自動運転モードを開始すると、制御部１１は、次のステップＳ１０２に処理を進める。
（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、画像取得部１１１として動作し、車両１００の運転席についた運転者Ｄの腕部及び顔を撮影するように配置されたカメラ３１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。撮影画像１２３を取得すると、制御部１１は、次のステップＳ１０３に処理を進める。
ステップＳ１０２では、制御部１１は、画像取得部１１１として動作し、車両１００の運転席についた運転者Ｄの腕部及び顔を撮影するように配置されたカメラ３１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。撮影画像１２３を取得すると、制御部１１は、次のステップＳ１０３に処理を進める。
（ステップＳ１０３）
ステップＳ１０３では、制御部１１は、観測情報取得部１１２として動作し、運転者Ｄの顔に挙動する顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を取得する。観測情報１２４を取得すると、制御部１１は、次のステップＳ１０４に処理を進める。
ステップＳ１０３では、制御部１１は、観測情報取得部１１２として動作し、運転者Ｄの顔に挙動する顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を取得する。観測情報１２４を取得すると、制御部１１は、次のステップＳ１０４に処理を進める。
顔挙動情報１２４１は適宜取得されてよい。例えば、制御部１１は、ステップＳ１０２で取得した撮影画像１２３に対して所定の画像解析を行うことで、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を顔挙動情報１２４１として取得することができる。
顔挙動情報１２４１の取得方法の一例として、まず、制御部１１は、撮影画像１２３から運転者Ｄの顔を検出し、検出した顔の位置を特定する。これにより、制御部１１は、顔の検出可否及び位置に関する情報を取得することができる。また、継続的に顔の検出を行うことで、制御部１１は、顔の動きに関する情報を取得することができる。次に、制御部１１は、検出した顔の画像内において、運転者Ｄの顔に含まれる各器官（眼、口、鼻、耳等）を検出する。これにより、制御部１１は、顔の器官の位置に関する情報を取得することができる。そして、制御部１１は、検出した各器官（眼、口、鼻、耳等）の状態を解析することで、顔の向き、視線の方向、及び目の開閉に関する情報を取得することができる。顔の検出、器官の検出、及び器官の状態の解析には、パターンマッチング等の公知の画像解析方法が用いられてよい。
なお、取得される撮影画像１２３が、動画像又は時系列に並んだ複数の静止画像である場合、制御部１１は、これらの画像解析を撮影画像１２３の各フレームに実行することで、時系列に沿って各種情報を取得することができる。これにより、制御部１１は、ヒストグラム又は統計量（平均値、分散値等）で表された各種情報を時系列データで取得することができる。
また、生体情報（例えば、脳波、心拍数等）１２４２は、生体センサ３２から取得可能である。生体情報１２４２は、例えば、ヒストグラム又は統計量（平均値、分散値等）で表されてよい。顔挙動情報１２４１と同様に、制御部１１は、生体センサ３２に継続的にアクセスすることで、生体情報１２４２を時系列データで取得することができる。
（ステップＳ１０４）
ステップＳ１０４では、制御部１１は、解像度変換部１１３として動作し、ステップＳ１０２で取得した撮影画像１２３の解像度を低下させる。これにより、制御部１１は、低解像度撮影画像１２３１を生成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を生成することができる。低解像度撮影画像１２３１を生成すると、制御部１１は、次のステップＳ１０５に処理を進める。なお、本ステップＳ１０４は省略されてもよい。
ステップＳ１０４では、制御部１１は、解像度変換部１１３として動作し、ステップＳ１０２で取得した撮影画像１２３の解像度を低下させる。これにより、制御部１１は、低解像度撮影画像１２３１を生成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を生成することができる。低解像度撮影画像１２３１を生成すると、制御部１１は、次のステップＳ１０５に処理を進める。なお、本ステップＳ１０４は省略されてもよい。
（ステップＳ１０５及びＳ１０６）
ステップＳ１０５では、制御部１１は、即応性推定部１１４として動作し、取得した観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５の入力として用いて、当該ニューラルネットワーク５の演算処理を実行する。これにより、ステップＳ１０６では、制御部１１は、腕部即応性情報１２５に対応する出力値を当該ニューラルネットワーク５から得る。
ステップＳ１０５では、制御部１１は、即応性推定部１１４として動作し、取得した観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５の入力として用いて、当該ニューラルネットワーク５の演算処理を実行する。これにより、ステップＳ１０６では、制御部１１は、腕部即応性情報１２５に対応する出力値を当該ニューラルネットワーク５から得る。
具体的には、制御部１１は、ステップＳ１０３で取得した観測情報１２４を全結合ニューラルネットワーク５１の入力層５１１に入力し、ステップＳ１０４で取得した低解像度撮影画像１２３１を、畳み込みニューラルネットワーク５２の最も入力側に配置された畳み込み層５２１に入力する。そして、制御部１１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、腕部即応性情報１２５に対応する出力値をＬＳＴＭネットワーク５４の出力層５４３から取得する。
（ステップＳ１０７及びＳ１０８）
ステップＳ１０７では、制御部１１は、ステップＳ１０６で取得した腕部即応性情報１２５に基づいて、運転者Ｄが車両１００の運転操作を行える状態にあるか否か、本ケースでは、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定する。具体的には、制御部１１は、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たすか否かを判定する。
ステップＳ１０７では、制御部１１は、ステップＳ１０６で取得した腕部即応性情報１２５に基づいて、運転者Ｄが車両１００の運転操作を行える状態にあるか否か、本ケースでは、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定する。具体的には、制御部１１は、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たすか否かを判定する。
所定の条件は、運転者Ｄの腕部の運転に対する即応性が高いか否かを判定可能に適宜設定されてよい。本実施形態では、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を２つのレベルで表す。そのため、運転者Ｄの腕部の運転に対する即応性が高い状態であると腕部即応性情報１２５が示す場合に、制御部１１は、運転者Ｄの腕部の運転に対する即応性が所定の条件を満たすと判定する。すなわち、制御部１１は、運転者Ｄの腕部の運転に対する即応性が高い状態にあり、運転者Ｄが車両１００の運転に復帰するのに適した状態にあると判定する。一方、運転者Ｄの腕部の運転に対する即応性が低い状態であると腕部即応性情報１２５が示す場合に、制御部１１は、運転者Ｄの腕部の運転に対する即応性が所定の条件を満たさないと判定する。すなわち、制御部１１は、運転者Ｄの腕部の運転に対する即応性が低い状態にあり、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと判定する。
運転者Ｄが車両１００の運転に復帰するのに適した状態にあると判定した場合には、制御部１１は、次のステップＳ１０９に処理を進める。一方、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと判定した場合には、制御部１１は、次のステップＳ１０８の処理を実行する。
次のステップＳ１０８では、制御部１１は、スピーカ３３を介して、車両１００の運転に復帰するのに適した状態をとるように、換言すると、腕部の即応性を高めるように運転者Ｄに促す警告を行い、本動作例に係る処理を終了する。警告の内容及び方法は、実施の形態に応じて適宜設定されてよい。
（ステップＳ１０９及びＳ１１０）
ステップＳ１０９では、制御部１１は、運転制御部１１６として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替えるか否かを判定する。手動運転モードへの切り替えを実施すると判定した場合、制御部１１は、次のステップＳ１１０に処理を進める。一方、手動運転モードへの切り替えを実施しないと判定した場合には、制御部１１は、次のステップＳ１１０を省略して、本動作例に係る処理を終了する。
ステップＳ１０９では、制御部１１は、運転制御部１１６として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替えるか否かを判定する。手動運転モードへの切り替えを実施すると判定した場合、制御部１１は、次のステップＳ１１０に処理を進める。一方、手動運転モードへの切り替えを実施しないと判定した場合には、制御部１１は、次のステップＳ１１０を省略して、本動作例に係る処理を終了する。
自動運転モードから手動運転モードに切り替えるトリガは、実施の形態に応じて適宜設定されてよい。例えば、運転者Ｄからの指示をトリガとしてもよい。この場合、運転者Ｄにより手動運転への切替の指示がなされたことに応じて、制御部１１は、手動運転モードへの切り替えを実施すると判定する。一方、そのような手動運転への切替の指示がなかった場合には、制御部１１は、手動運転モードへの切り替えを実施しないと判定する。
次のステップＳ１１０では、制御部１１は、運転制御部１１６として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替える。これにより、制御部１１は、車両１００において手動運転モードの動作を開始し、本動作例に係る処理を終了する。なお、この手動運転モードの開始に際して、制御部１１は、スピーカ３３を介して、車両１００の動作を手動運転モードに切り替えるため、ハンドルを握る等の運転操作を開始するように運転者Ｄにアナウンスをしてもよい。
以上により、自動運転支援装置１は、車両１００の自動運転を実施している間に、運転者Ｄの腕部の運転に対する即応性の程度を監視することができる。なお、制御部１１は、上記一連の処理を繰り返し実行することで、運転者Ｄの腕部の運転に対する即応性の程度を継続的に監視してもよい。また、制御部１１は、上記一連の処理を繰り返し実行する間に、上記ステップＳ１０７において、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと複数回連続して判定した場合に、運転制御部１１６として動作し、自動運転モードを停止してもよい。そして、制御部１１は、所定の場所に停車するように車両１００を制御してもよい。この場合、例えば、制御部１１は、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと複数回連続して判定した後に、地図情報、周辺情報及びＧＰＳ情報を参照して、車両１００を安全に停止可能な場所に停車区間を設定してもよい。そして、制御部１１は、車両１００を停止する旨を運転者Ｄに伝えるための警告を実施し、設定した停車区間に車両１００を自動停車させてもよい。これにより、運転者Ｄの腕部の運転に対する即応性が継続的に低い状態にあるときに、車両１００の走行を停止させることで、即応性の低い状態の運転者Ｄが突発的に手動で車両１００の運転操作を行わなければならない事態が発生するのを抑制することができる。
［学習装置］
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の機械学習に関する処理手順は、本発明の「学習方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の機械学習に関する処理手順は、本発明の「学習方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
（ステップＳ２０１）
ステップＳ２０１では、学習装置２の制御部２１は、学習データ取得部２１１として動作し、低解像度撮影画像２２３、観測情報２２４、及び腕部即応性情報２２５の組を学習データ２２２として取得する。
ステップＳ２０１では、学習装置２の制御部２１は、学習データ取得部２１１として動作し、低解像度撮影画像２２３、観測情報２２４、及び腕部即応性情報２２５の組を学習データ２２２として取得する。
学習データ２２２は、ニューラルネットワーク６に対して、運転者の腕部の運転に対する即応性の程度を推定可能にするための機械学習に利用するデータである。このような学習データ２２２は、例えば、運転席に着いた運転者の腕部を撮影するように配置されたカメラ３１を備える車両を用意し、運転席に着いた運転者を様々な条件で撮影し、得られる撮影画像に撮影条件（腕部の運転に対する即応性の程度）を紐付けることで作成することができる。このとき、低解像度撮影画像２２３は、上記ステップＳ１０４と同じ処理を当該取得した撮影画像に適用することで得ることができる。観測情報２２４に含まれる顔挙動情報は、上記ステップＳ１０３と同じ処理を当該取得した撮影画像に適用することで得ることができる。観測情報２２４に含まれる生体情報は、上記ステップＳ１０３と同様に生体センサから取得することができる。更に、腕部即応性情報２２５は、撮影画像に表れる運転者の腕部の運転に対する即応性の程度の入力を適宜受け付けることで得ることができる。
この学習データ２２２の作成は、オペレータ等が入力装置２４を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ２２２は、運用されている車両から随時収集されてもよい。また、学習データ２２２の作成は、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合には、制御部２１は、本ステップＳ２０１において、学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置２は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。なお、本ステップＳ２０１で取得する学習データ２２２の件数は、ニューラルネットワーク６の機械学習を行うことができるように、実施の形態に応じて適宜決定されてよい。
（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として動作して、ステップＳ２０１で取得した学習データ２２２を用いて、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するようにニューラルネットワーク６の機械学習を実施する。
次のステップＳ２０２では、制御部２１は、学習処理部２１２として動作して、ステップＳ２０１で取得した学習データ２２２を用いて、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するようにニューラルネットワーク６の機械学習を実施する。
具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク６を用意する。用意するニューラルネットワーク６の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク６を用意してもよい。
次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる低解像度撮影画像２２３及び観測情報２２４を入力データとして用い、腕部即応性情報２２５を教師データ（正解データ）として用いて、ニューラルネットワーク６の学習処理を行う。このニューラルネットワーク６の学習処理には、確率的勾配降下法等が用いられてよい。
例えば、制御部２１は、全結合ニューラルネットワーク６１の入力層に観測情報２２４を入力し、畳み込みニューラルネットワーク６２の最も入力側に配置された畳み込み層に低解像度撮影画像２２３を入力する。そして、制御部２１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ＬＳＴＭネットワーク６４の出力層から出力値を得る。次に、制御部２１は、ＬＳＴＭネットワーク６４の出力層から取得した出力値と腕部即応性情報２２５に対応する値との誤差を算出する。続いて、制御部２１は、通時的誤差逆伝搬（Back propagation through time）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。
制御部２１は、各件の学習データ２２２について、ニューラルネットワーク６から出力される出力値が腕部即応性情報２２５に対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部２１は、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するニューラルネットワーク６を構築することができる。
（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として動作して、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク６の学習処理を終了する。
次のステップＳ２０３では、制御部２１は、学習処理部２１２として動作して、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク６の学習処理を終了する。
なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を自動運転支援装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１～Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に自動運転支援装置１に転送することで、自動運転支援装置１の保持する学習結果データ１２２を定期的に更新してもよい。また、例えば、制御部２１は、作成した学習結果データ１２２をＮＡＳ（Network Attached Storage）等のデータサーバに保管してもよい。この場合、自動運転支援装置１は、このデータサーバから学習結果データ１２２を取得してもよい。
［作用・効果］
以上のように、本実施形態に係る自動運転支援装置１は、上記ステップＳ１０２及びＳ１０４の処理により、車両１００の運転席についた運転者Ｄの腕部を撮影可能に配置されたカメラ３１から得られる撮影画像（低解像度撮影画像１２３１）を取得する。そして、自動運転支援装置１は、上記ステップＳ１０５及びＳ１０６により、取得した低解像度撮影画像１２３１を学習済みのニューラルネットワーク（ニューラルネットワーク５）に入力することで、運転者Ｄの腕部の運転に対する即応性の程度を推定する。この学習済みのニューラルネットワークは、上記学習装置２により、低解像度撮影画像２２３及び腕部即応性情報２２５を含む学習データ２２２を用いて作成される。
以上のように、本実施形態に係る自動運転支援装置１は、上記ステップＳ１０２及びＳ１０４の処理により、車両１００の運転席についた運転者Ｄの腕部を撮影可能に配置されたカメラ３１から得られる撮影画像（低解像度撮影画像１２３１）を取得する。そして、自動運転支援装置１は、上記ステップＳ１０５及びＳ１０６により、取得した低解像度撮影画像１２３１を学習済みのニューラルネットワーク（ニューラルネットワーク５）に入力することで、運転者Ｄの腕部の運転に対する即応性の程度を推定する。この学習済みのニューラルネットワークは、上記学習装置２により、低解像度撮影画像２２３及び腕部即応性情報２２５を含む学習データ２２２を用いて作成される。
したがって、本実施形態によれば、学習済みのニューラルネットワークと運転者Ｄの腕部が写り得る撮影画像とを用いることで、運転者Ｄの腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報１２５として得ることができる。これにより、自動運転モードで車両１００が走行している際に、運転者Ｄの腕部が運転操作に直ちに対応可能かどうかを推定する精度を向上させることができる。加えて上記ステップＳ１０７及びＳ１１０のように、この腕部即応性情報１２５に基づいて、運転者Ｄが運転操作を行える状態にあるか否かという観点で、車両１００の自動運転の動作を制御することができる。
また、本実施形態では、自動運転支援装置１は、上記ステップＳ１０５において、撮影画像の他に、ステップＳ１０３で取得した顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を学習済みのニューラルネットワークに更に入力する。これにより、腕部の運転に対する即応性を推定する処理に、腕部の動きと連動し得る顔の挙動及び生体情報を反映させることができる。したがって、本実施形態によれば、運転者Ｄの腕部の運転に対する即応性の程度を推定する精度を高めることができる。
また、本実施形態では、運転者Ｄの腕部の挙動を推定するために、当該運転者Ｄの腕部を撮影可能に配置したカメラ３１の撮影画像を用いている。この腕部の挙動は、撮影画像内で大きく表れ得る。そのため、運転者Ｄの腕部の挙動を推定するのに利用する撮影画像は、詳細な解析が可能なほど高解像度ではなくてもよい。そこで、本実施形態では、ニューラルネットワーク（５、６）の入力として、カメラ３１により得られる撮影画像を低解像度化した低解像度撮影画像（１２３１、２２３）を用いてもよいように構成されている。これにより、ニューラルネットワーク（５、６）の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像（１２３１、２２３）の解像度は、運転者の顔の挙動を解析できない程度に低くてもよく、運転者の腕部の挙動が判別可能な程度であるのが好ましい。
また、本実施形態に係るニューラルネットワーク５は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２を入力側に備えている。これにより、入力（低解像度撮影画像１２３１及び観測情報１２４）に適した解析を行うことができる。また、本実施形態に係るニューラルネットワーク５は、ＬＳＴＭネットワーク５４を出力側に備えている。低解像度撮影画像１２３１及び観測情報１２４に時系列データを利用することで、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者Ｄの腕部の運転に対する即応性の程度を推定することができる。したがって、本実施形態によれば、運転者Ｄの腕部の運転に対する即応性の推定精度を高めることができる。
また、本実施形態では、車両１００は、自動運転支援装置１（運転制御部１１６）により、自動運転モードと手動運転モードとを選択的に実施可能に構成されている。加えて、車両１００は、自動運転支援装置１の上記ステップＳ１０７及びＳ１１０により、自動運転モードを実施している際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替えるように構成される。これにより、運転者Ｄの腕部の運転に対する即応性が低い状態にある場合に、車両１００の動作が手動運転モードにならないようにし、当該車両１００の走行の安全性を確保することができる。
§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
＜４．１＞
上記実施形態では、自動運転支援装置１は、運転者Ｄを監視するモジュール（画像取得部１１１～警告部１１５）及び車両１００の自動運転の動作を制御するモジュール（運転制御部１１６）の両方を備えている。しかしながら、自動運転支援装置１のハードウェア構成は、このような例に限られなくてもよい。例えば、運転者Ｄを監視するモジュール及び車両１００の自動運転の動作を制御するモジュールはそれぞれ別々のコンピュータに備えられてもよい。この場合、自動運転モードから手動運転モードへの切り替えを指示する切替指示部は、運転者Ｄを監視するモジュールと共にコンピュータに備えられてもよい。すなわち、切替指示部のモジュールを備えるコンピュータは、自動運転モードが実施されている際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替える指示を車両１００に対して出力してもよい。これに応じて、自動運転の動作を制御するモジュールを備えるコンピュータは、自動運転モードから手動運転モードへの切り替えの制御を行ってもよい。
上記実施形態では、自動運転支援装置１は、運転者Ｄを監視するモジュール（画像取得部１１１～警告部１１５）及び車両１００の自動運転の動作を制御するモジュール（運転制御部１１６）の両方を備えている。しかしながら、自動運転支援装置１のハードウェア構成は、このような例に限られなくてもよい。例えば、運転者Ｄを監視するモジュール及び車両１００の自動運転の動作を制御するモジュールはそれぞれ別々のコンピュータに備えられてもよい。この場合、自動運転モードから手動運転モードへの切り替えを指示する切替指示部は、運転者Ｄを監視するモジュールと共にコンピュータに備えられてもよい。すなわち、切替指示部のモジュールを備えるコンピュータは、自動運転モードが実施されている際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替える指示を車両１００に対して出力してもよい。これに応じて、自動運転の動作を制御するモジュールを備えるコンピュータは、自動運転モードから手動運転モードへの切り替えの制御を行ってもよい。
＜４．２＞
上記実施形態では、自動運転支援装置１は、運転者Ｄの指示に応じて、自動運転モードと手動運転モードとを選択的に実施するように車両１００の動作を制御している。しかしながら、自動運転モード及び手動運転モードを開始するトリガは、このような運転者Ｄの指示に限られなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、ハンドルにセンサが取り付けられ、運転者がハンドルを握っているか否かを検知してもよい。この場合、自動運転支援装置１は、運転者がハンドルを握ったことを検知した後に、自動運転モードから手動運転モードへの切り替えを開始するまでのカウントダウン時間を音声又は表示により出力してもよい。そして、自動運転支援装置１は、カウントアップした時点で、車両１００の動作を自動運転モードから手動運転モードに切り替えてもよい。
上記実施形態では、自動運転支援装置１は、運転者Ｄの指示に応じて、自動運転モードと手動運転モードとを選択的に実施するように車両１００の動作を制御している。しかしながら、自動運転モード及び手動運転モードを開始するトリガは、このような運転者Ｄの指示に限られなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、ハンドルにセンサが取り付けられ、運転者がハンドルを握っているか否かを検知してもよい。この場合、自動運転支援装置１は、運転者がハンドルを握ったことを検知した後に、自動運転モードから手動運転モードへの切り替えを開始するまでのカウントダウン時間を音声又は表示により出力してもよい。そして、自動運転支援装置１は、カウントアップした時点で、車両１００の動作を自動運転モードから手動運転モードに切り替えてもよい。
＜４．３＞
上記実施形態では、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで示している。しかしながら、腕部即応性情報１２５の表現形式は、このような例に限定されなくてもよい。腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。
上記実施形態では、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで示している。しかしながら、腕部即応性情報１２５の表現形式は、このような例に限定されなくてもよい。腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。
図９は、本変形例に係る腕部即応性情報の一例を示す。図９に示すとおり、本変形例に係る腕部即応性情報は、各行動状態に対する即応性の程度を０から１までのスコア値で定めている。例えば、図９の例では、「携帯電話操作」、「通話」、及び「飲食」にはそれぞれスコア値「０」が割り当てられており、「ハンドル把持」にはスコア値「１」が割り当てられている。また、「喫煙」には、０と１との間であって、０よりのスコア値（例えば、０．２）が割り当てられている。更に、「計器操作」及び「ナビゲーション操作」にはそれぞれ、０と１との間であって、１よりのスコア値（例えば、０．７）が割り当てられている。このように、各行動状態に対して３種類以上のスコア値を割り当てることで、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。
この場合、上記ステップＳ１０７では、制御部１１は、腕部即応性情報１２５のスコア値に基づいて、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定してもよい。例えば、制御部１１は、腕部即応性情報１２５のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定してもよい。閾値は、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定するための基準であり、上記「所定の条件」の一例である。この閾値は、適宜設定されてよい。なお、スコア値の上限値は「１」に限られなくてもよく、下限値は「０」に限られなくてもよい。
また、上記ステップＳ１０８では、制御部１１（警告部１１５）は、腕部即応性情報１２５の示す運転者Ｄの腕部の運転に対する即応性のレベルに応じて、腕部の即応性を高めるように運転者Ｄに促す警告を段階的に行ってもよい。例えば、制御部１１は、腕部即応性情報１２５の示すスコア値が低いほど強い警告（例えば、音量を上げる、ビープ音を鳴らす、等）してもよい。
また、上記腕部即応性情報１２５では、腕部内の部位の考慮がなされていない。しかしながら、車両のハンドル操作は手で行われる。そのため、腕部のうち手が、車両の運転操作に重要な部位であると想定される。そこで、腕部即応性情報１２５は、手の運転に対する即応性を示すように構成されてよい。
この場合、上記ステップＳ１０７では、制御部１１は、腕部即応性情報１２５により示される運転者Ｄの手の運転に対する即応性が所定の条件を満たすか否かを判定してもよい。そして、ステップＳ１０７において、腕部即応性情報１２５により示される運転者Ｄの手の運転に対する即応性が所定の条件を満たすと判定される場合に、制御部１１は、上記ステップＳ１１０により、自動運転モードから手動運転モードに車両１００の動作を切り替えてもよい。
このように制御することで、車両１００は、自動運転モードを実施している際に、腕部即応性情報１２５により示される運転者Ｄの手の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替えるように構成される。これによって、運転者Ｄが車両１００の運転操作を行える状態にあるか否かを適切に評価することができる。
また、上記図９の例では、「ハンドル把持」と「飲食」等とで異なるスコア値が割り当てられている。このように、腕部即応性情報１２５は、手に保持している物体の属性に応じて、運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。この場合、腕部即応性情報１２５は、上記図９の例と同様に、スコア値により表現されてよい。
腕部の即応性と物体の属性との対応関係は、実施の形態に応じて適宜設定可能である。属性は、例えば、物体の種類、大きさ等により示される。例えば、携帯電話、飲食物等の手全体を使用し得る物体は、運転者のハンドル操作を大きく阻害すると想定される。同様に、比較的に大きめの物体は、運転者の手全体を占領し、当該運転者のハンドル操作を大きく阻害すると想定される。すなわち、これらの物体を手で保持している場合、運転者の腕部（手）の運転に対する即応性は低い状態にあると想定される。そのため、これらの物体については、腕部即応性情報１２５のスコア値が低くなるように設定されてよい。
一方、ハンカチ等の手全体を使用し難い物体は、運転者のハンドル操作を大きくは阻害しないと想定される。同様に、比較的に小さな物体は、運転者の手全体を占領せず、当該運転者のハンドル操作を大きくは阻害しないと想定される。すなわち、これらの物体を手で保持している場合、運転者の腕部（手）の運転に対する即応性は高い状態にあるとしてもよいと想定される。そのため、これらの物体については、腕部即応性情報１２５のスコア値が高くなるように設定されてよい。
なお、腕部即応性情報１２５の対象とする状態には、手に物体を保持している状態の他、手に何も保持していない状態が含まれてもよい。手に何も保持していない場合には、運転者は、ハンドル操作に直ちに取り掛かれると想定される。そのため、手に何も保持していない状態については、即応性の程度が比較的に高くなるようにスコア値が定められてもよい。また、運転者は、ハンドルに手が近いほどハンドル操作に取り掛かりやすく、ハンドルから手が遠いほどハンドル操作に取り掛かりにくいと想定される。そのため、手とハンドルとの距離に応じて、腕部即応性情報１２５のスコア値が設定されてもよい。
また、上記実施形態及び図９の例では、腕部即応性情報１２５の示す即応性の程度は、各行動状態に対応して設定されている。しかしながら、同一の行動状態の中でも、即応性の程度は変化し得る。例えば、飲食をし始めた状況では、腕部の運転に対する即応性は極めて低い状態にあると想定されるのに対して、飲食を終了しかけている状況では、腕部の運転に対する即応性は比較的に高くなってきていると想定される。そこで、腕部即応性情報１２５の示す即応性の程度は、同一の行動状態であっても、その状況に応じて異なるように設定されてもよい。これにより、運転者Ｄが車両１００の運転操作を行える状態にあるか否かを更に適切に評価することができる。また、同一の行動状態であっても、その状況に応じて、自動運転モードから手動運転モードに切り替えないようにしたり、切り替えられるようにしたりすることができる。例えば、上記の点を考慮して、「飲食」状態について、飲食をし始めたケースに対しては０に近いスコア値を割り当て、飲食がほぼ終了したケースに対しては１に近いスコア値を割り当ててもよい。この場合、飲食をし始めたケースでは、自動運転モードから手動運転モードへの切り替えが起きないようにし、飲食がほぼ終了したケースでは、自動運転モードから手動運転モードへの切り替えが起きるように車両の制御を行うことができる。
＜４．４＞
上記実施形態では、上記ステップＳ１０５において、低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５に入力する撮影画像は、このような例に限定されなくてもよい。制御部１１は、ステップＳ１０２で取得した撮影画像１２３をそのままニューラルネットワーク５に入力してもよい。この場合、上記処理手順において、ステップＳ１０４は省略されてよい。また、上記自動運転支援装置１のソフトウェア構成において、解像度変換部１１３は省略されてよい。
上記実施形態では、上記ステップＳ１０５において、低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５に入力する撮影画像は、このような例に限定されなくてもよい。制御部１１は、ステップＳ１０２で取得した撮影画像１２３をそのままニューラルネットワーク５に入力してもよい。この場合、上記処理手順において、ステップＳ１０４は省略されてよい。また、上記自動運転支援装置１のソフトウェア構成において、解像度変換部１１３は省略されてよい。
また、上記実施形態では、制御部１１は、ステップＳ１０３により観測情報１２４を取得した後、ステップＳ１０４による撮影画像１２３の低解像度化の処理を実行している。しかしながら、ステップＳ１０３及びＳ１０４の処理順序は、このような例に限定されなくてもよく、ステップＳ１０４の処理を実行した後に、制御部１１は、ステップＳ１０３の処理を実行してもよい。
＜４．５＞
上記実施形態では、制御部１１は、ステップＳ１０５において、観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５の入力は、このような例に限定されなくてもよく、観測情報１２４及び低解像度撮影画像１２３１以外の情報が、ニューラルネットワーク５に入力されてもよい。
上記実施形態では、制御部１１は、ステップＳ１０５において、観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５の入力は、このような例に限定されなくてもよく、観測情報１２４及び低解像度撮影画像１２３１以外の情報が、ニューラルネットワーク５に入力されてもよい。
図１０は、本変形例に係る自動運転支援装置１Ａのソフトウェア構成の一例を模式的に例示する。自動運転支援装置１Ａは、運転者Ｄの運転状態に影響を与える因子に関する影響因子情報１２６をニューラルネットワーク５に更に入力する点を除き、上記自動運転支援装置１と同様に構成される。影響因子情報１２６は、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報（レーダの測定結果、カメラの撮影画像）、天候を示す天候情報等である。
影響因子情報１２６が数値データで与えられる場合、自動運転支援装置１Ａの制御部１１は、上記ステップＳ１０５において、ニューラルネットワーク５の全結合ニューラルネットワーク５１に影響因子情報１２６を入力してもよい。また、影響因子情報１２６が画像データで与えられる場合、制御部１１は、上記ステップＳ１０５において、ニューラルネットワーク５の畳み込みニューラルネットワーク５２に影響因子情報１２６を入力してもよい。
当該変形例では、観測情報１２４及び低解像度撮影画像１２３１の他に、影響因子情報１２６を更に利用することにより、運転者Ｄの運転状態に影響を与える因子を上記推定処理に反映することができる。これによって、当該変形例によれば、運転者Ｄの腕部の運転に対する即応性の推定精度を高めることができる。
なお、制御部１１は、この影響因子情報１２６に基づいて、上記ステップＳ１０７における判定基準を変更してもよい。例えば、上記変形例＜４．３＞のとおり、腕部即応性情報１２５がスコア値で示される場合に、制御部１１は、影響因子情報１２６に基づいて、上記ステップＳ１０７の判定に利用する閾値を変更してもよい。一例として、制御部１１は、速度情報の示す車両の走行速度が大きくなるほど、運転者Ｄが車両の運転操作を行える状態にあると判定するための閾値（所定の条件）の値を大きくしてもよい。
＜４．６＞
上記実施形態では、自動運転支援装置１は、警告部１１５を備え、ステップＳ１０８において運転者Ｄに対する警告を実施する。しかしながら、警告を実施しない場合には、ステップＳ１０８は省略されてよく、自動運転支援装置１のソフトウェア構成から警告部１１５が省略されてもよい。
上記実施形態では、自動運転支援装置１は、警告部１１５を備え、ステップＳ１０８において運転者Ｄに対する警告を実施する。しかしながら、警告を実施しない場合には、ステップＳ１０８は省略されてよく、自動運転支援装置１のソフトウェア構成から警告部１１５が省略されてもよい。
＜４．７＞
上記実施形態では、カメラ３１は、運転者Ｄの腕部及び顔を撮影可能に配置され、ニューラルネットワーク（５、６）には、観測情報（１２４、２２４）が入力される。しかしながら、この観測情報（１２４、２２４）は省略されてもよい。
上記実施形態では、カメラ３１は、運転者Ｄの腕部及び顔を撮影可能に配置され、ニューラルネットワーク（５、６）には、観測情報（１２４、２２４）が入力される。しかしながら、この観測情報（１２４、２２４）は省略されてもよい。
図１１は、本変形例に係る自動運転支援装置１Ｂのソフトウェア構成を模式的に例示する。自動運転支援装置１Ｂは、観測情報１２４を利用しないため、観測情報取得部１１２を備えていない。また、観測情報１２４が入力されないため、ニューラルネットワーク５Ｂは、全結合ニューラルネットワーク５１及び結合層５３を備えていない。すなわち、ニューラルネットワーク５Ｂでは、畳み込みニューラルネットワーク５２の出力がＬＳＴＭネットワーク５４に入力される。即応性推定部１１４は、低解像度撮影画像１２３１を畳み込みニューラルネットワーク５２に入力することで、ＬＳＴＭネットワーク５４の出力層から腕部即応性情報１２５を取得する。
これらの点を除き、自動運転支援装置１Ｂは、上記実施形態に係る自動運転支援装置１と同様に構成される。本変形例では、上記ステップＳ１０３を省略することができる。また、機械学習に利用される学習データ２２２において、観測情報２２４を省略することができる。なお、本変形例では、撮影画像１２３から顔挙動情報１２４１を取得しないため、カメラ３１は、運転席についた運転者Ｄの腕部は写るが、顔は写らない位置に配置されてもよい。
また、上記実施形態では、観測情報１２４は、顔挙動情報１２４１及び生体情報１２４２を含んでいる。しかしながら、観測情報１２４の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。顔挙動情報１２４１及び生体情報１２４２の少なくとも一方は省略されてもよい。また、観測情報１２４は、顔挙動情報１２４１及び生体情報１２４２以外の情報を含んでもよい。例えば、観測情報１２４には、運転者の腕部の状態又は動作に関連する情報が含まれてもよい。また、例えば、ステアリングタッチセンサ、ペダルの踏力センサ、座席の圧力センサ等のセンサを車両が備える場合に、観測情報には、これらのセンサから得られる測定結果が含まれてもよい。
＜４．８＞
上記実施形態では、図４及び図６に示されるとおり、運転者Ｄの腕部の運転に対する即応性の推定に利用するニューラルネットワークは、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、結合層及びＬＳＴＭネットワークを備えている。しかしながら、当該ニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ＬＳＴＭネットワークは省略されてもよい。また、観測情報１２４の入力を省略する場合には、上記のとおり、全結合ニューラルネットワーク及び結合層が省略されてもよい。
上記実施形態では、図４及び図６に示されるとおり、運転者Ｄの腕部の運転に対する即応性の推定に利用するニューラルネットワークは、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、結合層及びＬＳＴＭネットワークを備えている。しかしながら、当該ニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ＬＳＴＭネットワークは省略されてもよい。また、観測情報１２４の入力を省略する場合には、上記のとおり、全結合ニューラルネットワーク及び結合層が省略されてもよい。
＜４．９＞
上記実施形態では、運転者Ｄの腕部の運転に対する即応性の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、撮影画像を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により機械学習を行う学習器等を挙げることができる。
上記実施形態では、運転者Ｄの腕部の運転に対する即応性の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、撮影画像を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により機械学習を行う学習器等を挙げることができる。
＜４．１０＞
上記実施形態では、自動運転支援装置１は、ニューラルネットワーク５からの出力として、当該ニューラルネットワーク５から腕部即応性情報１２５を直接的に取得している。しかしながら、腕部即応性情報を学習器から取得する方法は、このような例に限定されなくてもよい。例えば、自動運転支援装置１は、学習器の出力値と腕部の即応性の程度とを対応付けたテーブル形式等の参照情報を記憶部１２に保持していてもよい。この場合、制御部１１は、上記ステップＳ１０５において、低解像度撮影画像１２３１及び観測情報１２４を入力として用いて、ニューラルネットワーク５の演算処理を行うことで、当該ニューラルネットワーク５から出力値を得る。そして、上記ステップＳ１０６において、制御部１１は、参照情報を参照することで、ニューラルネットワーク５から得た出力値に対応する腕部の即応性の程度を示す腕部即応性情報１２５を取得する。このように、自動運転支援装置１は、腕部即応性情報１２５を間接的に取得してもよい。なお、この場合、参照情報は、ユーザ毎に保持されてもよい。また、ニューラルネットワーク５から出力される出力値は、運転者の腕部の状態に対応するように設定されてもよい。
上記実施形態では、自動運転支援装置１は、ニューラルネットワーク５からの出力として、当該ニューラルネットワーク５から腕部即応性情報１２５を直接的に取得している。しかしながら、腕部即応性情報を学習器から取得する方法は、このような例に限定されなくてもよい。例えば、自動運転支援装置１は、学習器の出力値と腕部の即応性の程度とを対応付けたテーブル形式等の参照情報を記憶部１２に保持していてもよい。この場合、制御部１１は、上記ステップＳ１０５において、低解像度撮影画像１２３１及び観測情報１２４を入力として用いて、ニューラルネットワーク５の演算処理を行うことで、当該ニューラルネットワーク５から出力値を得る。そして、上記ステップＳ１０６において、制御部１１は、参照情報を参照することで、ニューラルネットワーク５から得た出力値に対応する腕部の即応性の程度を示す腕部即応性情報１２５を取得する。このように、自動運転支援装置１は、腕部即応性情報１２５を間接的に取得してもよい。なお、この場合、参照情報は、ユーザ毎に保持されてもよい。また、ニューラルネットワーク５から出力される出力値は、運転者の腕部の状態に対応するように設定されてもよい。
（付記１）
ハードウェアプロセッサ（１１）と、
前記ハードウェアプロセッサ（１１）で実行するプログラム（１２１）を保持するメモリ（１２）と、
を備える運転者監視装置（１、１Ａ、１Ｂ）であって、
前記ハードウェアプロセッサ（１１）は、前記プログラム（１２１）を実行することにより、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置（１、１Ａ、１Ｂ）。
ハードウェアプロセッサ（１１）と、
前記ハードウェアプロセッサ（１１）で実行するプログラム（１２１）を保持するメモリ（１２）と、
を備える運転者監視装置（１、１Ａ、１Ｂ）であって、
前記ハードウェアプロセッサ（１１）は、前記プログラム（１２１）を実行することにより、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置（１、１Ａ、１Ｂ）。
（付記２）
ハードウェアプロセッサ（１１）により、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサ（１１）により、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。
ハードウェアプロセッサ（１１）により、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサ（１１）により、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。
（付記３）
ハードウェアプロセッサ（２１）と、
前記ハードウェアプロセッサ（２１）で実行するプログラム（２２１）を保持するメモリ（２２）と、
を備える学習装置（２）であって、
前記ハードウェアプロセッサ（２１）は、前記プログラム（２２１）を実行することにより、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を実施するように構成される、
学習装置（２）。
ハードウェアプロセッサ（２１）と、
前記ハードウェアプロセッサ（２１）で実行するプログラム（２２１）を保持するメモリ（２２）と、
を備える学習装置（２）であって、
前記ハードウェアプロセッサ（２１）は、前記プログラム（２２１）を実行することにより、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を実施するように構成される、
学習装置（２）。
（付記４）
ハードウェアプロセッサ（２１）により、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサ（２１）により、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を備える、
学習方法。
ハードウェアプロセッサ（２１）により、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサ（２１）により、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を備える、
学習方法。
１…自動運転支援装置（運転者監視装置）、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１１１…画像取得部、１１２…観測情報取得部、
１１３…解像度変換部、１１４…即応性推定部、
１１５…警告部、
１２１…プログラム、１２２…学習結果データ、
１２３…撮影画像、１２３１…低解像度撮影画像、
１２４…観測情報、１２４１…顔挙動情報、１２４２…生体情報、
１２５…腕部即応性情報、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…低解像度撮影画像、２２４…観測情報、
２２５…腕部即応性情報、
３０…ナビゲーション装置、３１…カメラ、３２…生体センサ、
３３…スピーカ、
５…ニューラルネットワーク、
５１…全結合ニューラルネットワーク、
５１１…入力層、５１２…中間層（隠れ層）、５１３…出力層、
５２…畳み込みニューラルネットワーク、
５２１…畳み込み層、５２２…プーリング層、
５２３…全結合層、５２４…出力層、
５３…結合層、
５４…ＬＳＴＭネットワーク（再帰型ニューラルネットワーク）、
５４１…入力層、５４２…ＬＳＴＭブロック、５４３…出力層、
６…ニューラルネットワーク、
６１…全結合ニューラルネットワーク、
６２…畳み込みニューラルネットワーク、６３…結合層、
６４…ＬＳＴＭネットワーク、
９２…記憶媒体
１１…制御部、１２…記憶部、１３…外部インタフェース、
１１１…画像取得部、１１２…観測情報取得部、
１１３…解像度変換部、１１４…即応性推定部、
１１５…警告部、
１２１…プログラム、１２２…学習結果データ、
１２３…撮影画像、１２３１…低解像度撮影画像、
１２４…観測情報、１２４１…顔挙動情報、１２４２…生体情報、
１２５…腕部即応性情報、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…低解像度撮影画像、２２４…観測情報、
２２５…腕部即応性情報、
３０…ナビゲーション装置、３１…カメラ、３２…生体センサ、
３３…スピーカ、
５…ニューラルネットワーク、
５１…全結合ニューラルネットワーク、
５１１…入力層、５１２…中間層（隠れ層）、５１３…出力層、
５２…畳み込みニューラルネットワーク、
５２１…畳み込み層、５２２…プーリング層、
５２３…全結合層、５２４…出力層、
５３…結合層、
５４…ＬＳＴＭネットワーク（再帰型ニューラルネットワーク）、
５４１…入力層、５４２…ＬＳＴＭブロック、５４３…出力層、
６…ニューラルネットワーク、
６１…全結合ニューラルネットワーク、
６２…畳み込みニューラルネットワーク、６３…結合層、
６４…ＬＳＴＭネットワーク、
９２…記憶媒体
Claims (14)
- 車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、
前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する即応性推定部と、
を備える、
運転者監視装置。 - 自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施可能に構成された前記車両に対して、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する切替指示部を更に備える、
請求項１に記載の運転者監視装置。 - 前記切替指示部は、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する、
請求項２に記載の運転者監視装置。 - 前記腕部即応性情報は、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
請求項１から３のいずれか１項に記載の運転者監視装置。 - 前記腕部即応性情報は、前記運転者が手に保持している物体の属性に応じて、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
請求項４に記載の運転者監視装置。 - 前記腕部即応性情報の示す前記運転者の腕部の運転に対する即応性のレベルに応じて、腕部の即応性を高めるように前記運転者に促す警告を段階的に行う警告部を更に備える、
請求項４又は５に記載の運転者監視装置。 - 前記運転者の観測情報を取得する観測情報取得部を更に備え、
前記即応性推定部は、前記観測情報を前記学習器に更に入力する、
請求項１から６のいずれか１項に記載の運転者監視装置。 - 前記撮影装置は、前記運転者の顔を更に撮影可能に配置され、
前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する顔挙動情報を含む前記観測情報を取得する、
請求項７に記載の運転者監視装置。 - 前記観測情報取得部は、前記運転者の生体情報を含む前記観測情報を取得する、
請求項７又は８に記載の運転者監視装置。 - コンピュータが、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を実行する、
運転者監視方法。 - 前記コンピュータは、
自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施するように前記車両の動作を制御し、
前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える、
請求項１０に記載の運転者監視方法。 - 前記コンピュータは、前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える、
請求項１１に記載の運転者監視方法。 - 車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得部と、
前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理部と、
を備える、
学習装置。 - コンピュータが、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得するステップと、
前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行うステップと、
を実行する、
学習方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-049250 | 2017-03-14 | ||
| JP2017049250 | 2017-03-14 | ||
| JP2017-130209 | 2017-07-03 | ||
| JP2017130209A JP6264495B1 (ja) | 2017-03-14 | 2017-07-03 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018168040A1 true WO2018168040A1 (ja) | 2018-09-20 |
Family
ID=61020628
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/019719 WO2018167991A1 (ja) | 2017-03-14 | 2017-05-26 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
| PCT/JP2017/036277 WO2018168039A1 (ja) | 2017-03-14 | 2017-10-05 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
| PCT/JP2017/036278 WO2018168040A1 (ja) | 2017-03-14 | 2017-10-05 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/019719 WO2018167991A1 (ja) | 2017-03-14 | 2017-05-26 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
| PCT/JP2017/036277 WO2018168039A1 (ja) | 2017-03-14 | 2017-10-05 | 運転者監視装置、運転者監視方法、学習装置及び学習方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20190370580A1 (ja) |
| JP (3) | JP6264492B1 (ja) |
| CN (1) | CN110268456A (ja) |
| DE (1) | DE112017007252T5 (ja) |
| WO (3) | WO2018167991A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020123334A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョン | 自律走行モードとマニュアル走行モードとの間の走行モードを変更するために自律走行の安全を確認するためのｒｎｎの学習方法及び学習装置、そしてテスト方法及びテスト装置 |
| EP3876191A4 (en) * | 2018-10-29 | 2022-03-02 | OMRON Corporation | ESTIMATION GENERATION DEVICE, MONITORING DEVICE, ESTIMATION FUNCTION GENERATION METHOD, ESTIMATION FUNCTION GENERATION PROGRAM |
| WO2023032617A1 (ja) * | 2021-08-30 | 2023-03-09 | パナソニックＩｐマネジメント株式会社 | 判定システム、判定方法、及び、プログラム |
| US11654936B2 (en) | 2018-02-05 | 2023-05-23 | Sony Corporation | Movement device for control of a vehicle based on driver information and environmental information |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| JP6766791B2 (ja) * | 2017-10-04 | 2020-10-14 | 株式会社デンソー | 状態検出装置、状態検出システム及び状態検出プログラム |
| JP7347918B2 (ja) | 2017-11-20 | 2023-09-20 | 日本無線株式会社 | 水位予測方法、水位予測プログラム及び水位予測装置 |
| US20190185012A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for personalized motion planning in autonomous driving vehicles |
| US11130497B2 (en) | 2017-12-18 | 2021-09-28 | Plusai Limited | Method and system for ensemble vehicle control prediction in autonomous driving vehicles |
| US10303045B1 (en) * | 2017-12-20 | 2019-05-28 | Micron Technology, Inc. | Control of display device for autonomous vehicle |
| US11017249B2 (en) | 2018-01-29 | 2021-05-25 | Futurewei Technologies, Inc. | Primary preview region and gaze based driver distraction detection |
| JP7020156B2 (ja) * | 2018-02-06 | 2022-02-16 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
| JP6935774B2 (ja) * | 2018-03-14 | 2021-09-15 | オムロン株式会社 | 推定システム、学習装置、学習方法、推定装置及び推定方法 |
| TWI666941B (zh) * | 2018-03-27 | 2019-07-21 | 緯創資通股份有限公司 | 多層次狀態偵測系統與方法 |
| JP2021128349A (ja) * | 2018-04-26 | 2021-09-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
| US20190362235A1 (en) | 2018-05-23 | 2019-11-28 | Xiaofan Xu | Hybrid neural network pruning |
| US10684681B2 (en) * | 2018-06-11 | 2020-06-16 | Fotonation Limited | Neural network image processing apparatus |
| US10457294B1 (en) * | 2018-06-27 | 2019-10-29 | Baidu Usa Llc | Neural network based safety monitoring system for autonomous vehicles |
| US10940863B2 (en) * | 2018-11-01 | 2021-03-09 | GM Global Technology Operations LLC | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle |
| US11200438B2 (en) | 2018-12-07 | 2021-12-14 | Dus Operating Inc. | Sequential training method for heterogeneous convolutional neural network |
| JP7135824B2 (ja) * | 2018-12-17 | 2022-09-13 | 日本電信電話株式会社 | 学習装置、推定装置、学習方法、推定方法、及びプログラム |
| JP7334415B2 (ja) * | 2019-02-01 | 2023-08-29 | オムロン株式会社 | 画像処理装置 |
| US11068069B2 (en) * | 2019-02-04 | 2021-07-20 | Dus Operating Inc. | Vehicle control with facial and gesture recognition using a convolutional neural network |
| JP7361477B2 (ja) * | 2019-03-08 | 2023-10-16 | 株式会社Subaru | 車両の乗員監視装置、および交通システム |
| CN111723596B (zh) * | 2019-03-18 | 2024-03-22 | 北京市商汤科技开发有限公司 | 注视区域检测及神经网络的训练方法、装置和设备 |
| US10740634B1 (en) | 2019-05-31 | 2020-08-11 | International Business Machines Corporation | Detection of decline in concentration based on anomaly detection |
| JP7136047B2 (ja) * | 2019-08-19 | 2022-09-13 | 株式会社デンソー | 運転制御装置及び車両行動提案装置 |
| US10752253B1 (en) * | 2019-08-28 | 2020-08-25 | Ford Global Technologies, Llc | Driver awareness detection system |
| DE112019007558T5 (de) * | 2019-09-19 | 2022-05-19 | Mitsubishi Electric Corporation | Kognitiv-Funktion-Abschätzungsvorrichtung, Lernvorrichtung und Verfahren zur Schätzung der kognitiven Funktion |
| JP7434829B2 (ja) | 2019-11-21 | 2024-02-21 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
| JP2021082154A (ja) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
| JP7317277B2 (ja) | 2019-12-31 | 2023-07-31 | 山口 道子 | ピンチを使わない物干し具 |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| EP4113483A4 (en) * | 2020-02-28 | 2024-03-13 | Daikin Ind Ltd | EFFICIENCY ESTIMATION DEVICE |
| US11738763B2 (en) * | 2020-03-18 | 2023-08-29 | Waymo Llc | Fatigue monitoring system for drivers tasked with monitoring a vehicle operating in an autonomous driving mode |
| CN111553190A (zh) * | 2020-03-30 | 2020-08-18 | 浙江工业大学 | 一种基于图像的驾驶员注意力检测方法 |
| JP7351253B2 (ja) * | 2020-03-31 | 2023-09-27 | いすゞ自動車株式会社 | 許否決定装置 |
| US11091166B1 (en) * | 2020-04-21 | 2021-08-17 | Micron Technology, Inc. | Driver screening |
| GB2597092A (en) * | 2020-07-15 | 2022-01-19 | Daimler Ag | A method for determining a state of mind of a passenger, as well as an assistance system |
| JP7420000B2 (ja) | 2020-07-15 | 2024-01-23 | トヨタ紡織株式会社 | 状態判定装置、状態判定システム、および制御方法 |
| JP7405030B2 (ja) | 2020-07-15 | 2023-12-26 | トヨタ紡織株式会社 | 状態判定装置、状態判定システム、および制御方法 |
| JP7186749B2 (ja) * | 2020-08-12 | 2022-12-09 | ソフトバンク株式会社 | 管理システム、管理方法、管理装置、プログラム及び通信端末 |
| CN112558510B (zh) * | 2020-10-20 | 2022-11-15 | 山东亦贝数据技术有限公司 | 一种智能网联汽车安全预警系统及预警方法 |
| US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
| WO2022141114A1 (zh) * | 2020-12-29 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 视线估计方法、装置、车辆及计算机可读存储介质 |
| DE102021202790A1 (de) | 2021-03-23 | 2022-09-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Insassenzustandsüberwachung in einem Kraftfahrzeug |
| JP2022169359A (ja) * | 2021-04-27 | 2022-11-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
| US20240153285A1 (en) * | 2021-06-11 | 2024-05-09 | Sdip Holdings Pty Ltd | Prediction of human subject state via hybrid approach including ai classification and blepharometric analysis, including driver monitoring systems |
| US11878707B2 (en) * | 2022-03-11 | 2024-01-23 | International Business Machines Corporation | Augmented reality overlay based on self-driving mode |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011227663A (ja) * | 2010-04-19 | 2011-11-10 | Denso Corp | 運転補助装置、及びプログラム |
| JP2013058060A (ja) * | 2011-09-08 | 2013-03-28 | Dainippon Printing Co Ltd | 人物属性推定装置、人物属性推定方法及びプログラム |
| JP2013228847A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
| JP2016109495A (ja) * | 2014-12-03 | 2016-06-20 | タカノ株式会社 | 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム |
| JP2017030390A (ja) * | 2015-07-29 | 2017-02-09 | 修一 田山 | 車輌の自動運転システム |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2546415B2 (ja) * | 1990-07-09 | 1996-10-23 | トヨタ自動車株式会社 | 車両運転者監視装置 |
| JP3654656B2 (ja) * | 1992-11-18 | 2005-06-02 | 日産自動車株式会社 | 車両の予防安全装置 |
| US6144755A (en) * | 1996-10-11 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Method and apparatus for determining poses |
| JP2005050284A (ja) * | 2003-07-31 | 2005-02-24 | Toyota Motor Corp | 動き認識装置および動き認識方法 |
| JP2005173635A (ja) * | 2003-12-05 | 2005-06-30 | Fujitsu Ten Ltd | 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ |
| JP2006123640A (ja) * | 2004-10-27 | 2006-05-18 | Nissan Motor Co Ltd | ドライビングポジション調整装置 |
| JP4677963B2 (ja) * | 2006-09-11 | 2011-04-27 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
| JP2008176510A (ja) * | 2007-01-17 | 2008-07-31 | Denso Corp | 運転支援装置 |
| JP4333797B2 (ja) | 2007-02-06 | 2009-09-16 | 株式会社デンソー | 車両用制御装置 |
| JP2009037415A (ja) * | 2007-08-01 | 2009-02-19 | Toyota Motor Corp | ドライバ状態判別装置、および運転支援装置 |
| JP5224280B2 (ja) * | 2008-08-27 | 2013-07-03 | 株式会社デンソーアイティーラボラトリ | 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置 |
| JP5163440B2 (ja) | 2008-11-19 | 2013-03-13 | 株式会社デンソー | 眠気判定装置、プログラム |
| JP2010238134A (ja) * | 2009-03-31 | 2010-10-21 | Saxa Inc | 画像処理装置及びプログラム |
| JP2010257072A (ja) * | 2009-04-22 | 2010-11-11 | Toyota Motor Corp | 意識状態推定装置 |
| JP5493593B2 (ja) | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | 眠気検出装置、眠気検出方法、及びプログラム |
| JP2012038106A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
| CN101941425B (zh) * | 2010-09-17 | 2012-08-22 | 上海交通大学 | 对驾驶员疲劳状态的智能识别装置与方法 |
| JP2012084068A (ja) | 2010-10-14 | 2012-04-26 | Denso Corp | 画像解析装置 |
| WO2012135018A2 (en) * | 2011-03-25 | 2012-10-04 | Tk Holdings Inc. | System and method for determining driver alertness |
| CN102426757A (zh) * | 2011-12-02 | 2012-04-25 | 上海大学 | 基于模式识别的安全驾驶监控系统和方法 |
| CN102542257B (zh) * | 2011-12-20 | 2013-09-11 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
| CN102622600A (zh) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | 基于面像与眼动分析的高速列车驾驶员警觉度检测方法 |
| JP2015099406A (ja) * | 2012-03-05 | 2015-05-28 | アイシン精機株式会社 | 運転支援装置 |
| JP5807620B2 (ja) * | 2012-06-19 | 2015-11-10 | トヨタ自動車株式会社 | 運転支援装置 |
| US9854159B2 (en) * | 2012-07-20 | 2017-12-26 | Pixart Imaging Inc. | Image system with eye protection |
| JP5789578B2 (ja) * | 2012-09-20 | 2015-10-07 | 富士フイルム株式会社 | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
| JP6221292B2 (ja) | 2013-03-26 | 2017-11-01 | 富士通株式会社 | 集中度判定プログラム、集中度判定装置、および集中度判定方法 |
| JP6150258B2 (ja) * | 2014-01-15 | 2017-06-21 | みこらった株式会社 | 自動運転車 |
| GB2525840B (en) * | 2014-02-18 | 2016-09-07 | Jaguar Land Rover Ltd | Autonomous driving system and method for same |
| JP2015194798A (ja) * | 2014-03-31 | 2015-11-05 | 日産自動車株式会社 | 運転支援制御装置 |
| US10540587B2 (en) * | 2014-04-11 | 2020-01-21 | Google Llc | Parallelizing the training of convolutional neural networks |
| JP6273994B2 (ja) * | 2014-04-23 | 2018-02-07 | 株式会社デンソー | 車両用報知装置 |
| JP6397718B2 (ja) * | 2014-10-14 | 2018-09-26 | 日立オートモティブシステムズ株式会社 | 自動運転システム |
| CN111016927B (zh) * | 2014-12-12 | 2023-08-29 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
| JP6409699B2 (ja) * | 2015-07-13 | 2018-10-24 | トヨタ自動車株式会社 | 自動運転システム |
| CN105139070B (zh) * | 2015-08-27 | 2018-02-02 | 南京信息工程大学 | 基于人工神经网络和证据理论的疲劳驾驶评价方法 |
-
2017
- 2017-05-26 DE DE112017007252.2T patent/DE112017007252T5/de not_active Withdrawn
- 2017-05-26 US US16/484,480 patent/US20190370580A1/en not_active Abandoned
- 2017-05-26 WO PCT/JP2017/019719 patent/WO2018167991A1/ja active Application Filing
- 2017-05-26 CN CN201780085928.6A patent/CN110268456A/zh active Pending
- 2017-06-20 JP JP2017120586A patent/JP6264492B1/ja active Active
- 2017-07-03 JP JP2017130208A patent/JP6264494B1/ja active Active
- 2017-07-03 JP JP2017130209A patent/JP6264495B1/ja active Active
- 2017-10-05 WO PCT/JP2017/036277 patent/WO2018168039A1/ja active Application Filing
- 2017-10-05 WO PCT/JP2017/036278 patent/WO2018168040A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011227663A (ja) * | 2010-04-19 | 2011-11-10 | Denso Corp | 運転補助装置、及びプログラム |
| JP2013058060A (ja) * | 2011-09-08 | 2013-03-28 | Dainippon Printing Co Ltd | 人物属性推定装置、人物属性推定方法及びプログラム |
| JP2013228847A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
| JP2016109495A (ja) * | 2014-12-03 | 2016-06-20 | タカノ株式会社 | 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム |
| JP2017030390A (ja) * | 2015-07-29 | 2017-02-09 | 修一 田山 | 車輌の自動運転システム |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11654936B2 (en) | 2018-02-05 | 2023-05-23 | Sony Corporation | Movement device for control of a vehicle based on driver information and environmental information |
| EP3876191A4 (en) * | 2018-10-29 | 2022-03-02 | OMRON Corporation | ESTIMATION GENERATION DEVICE, MONITORING DEVICE, ESTIMATION FUNCTION GENERATION METHOD, ESTIMATION FUNCTION GENERATION PROGRAM |
| US11834052B2 (en) | 2018-10-29 | 2023-12-05 | Omron Corporation | Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program |
| JP2020123334A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョン | 自律走行モードとマニュアル走行モードとの間の走行モードを変更するために自律走行の安全を確認するためのｒｎｎの学習方法及び学習装置、そしてテスト方法及びテスト装置 |
| WO2023032617A1 (ja) * | 2021-08-30 | 2023-03-09 | パナソニックＩｐマネジメント株式会社 | 判定システム、判定方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018152038A (ja) | 2018-09-27 |
| WO2018168039A1 (ja) | 2018-09-20 |
| JP6264495B1 (ja) | 2018-01-24 |
| JP2018152037A (ja) | 2018-09-27 |
| CN110268456A (zh) | 2019-09-20 |
| JP6264494B1 (ja) | 2018-01-24 |
| JP2018152034A (ja) | 2018-09-27 |
| DE112017007252T5 (de) | 2019-12-19 |
| JP6264492B1 (ja) | 2018-01-24 |
| WO2018167991A1 (ja) | 2018-09-20 |
| US20190370580A1 (en) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6264495B1 (ja) | 運転者監視装置、運転者監視方法、学習装置及び学習方法 | |
| WO2019155873A1 (ja) | 評価装置、動作制御装置、評価方法、及び評価プログラム | |
| JP6577642B2 (ja) | 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム | |
| JP6815486B2 (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
| CN112673378B (zh) | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 | |
| WO2019161766A1 (en) | Method for distress and road rage detection | |
| JP6761598B2 (ja) | 感情推定システム、感情推定モデル生成システム | |
| WO2019149061A1 (en) | Gesture-and gaze-based visual data acquisition system | |
| WO2017215297A1 (zh) | 云端互动系统及其多感知型智能机器人和感知互动方法 | |
| EP3588372B1 (en) | Controlling an autonomous vehicle based on passenger behavior | |
| CN110291478A (zh) | 驾驶员监视和响应系统 | |
| US20230038039A1 (en) | In-vehicle user positioning method, in-vehicle interaction method, vehicle-mounted apparatus, and vehicle | |
| WO2019136449A2 (en) | Error correction in convolutional neural networks | |
| JP5187517B2 (ja) | 情報提供装置、情報提供方法およびプログラム | |
| JP7003400B2 (ja) | 対話制御システム | |
| US10816800B2 (en) | Electronic device and method of controlling the same | |
| US11964671B2 (en) | System and method for improving interaction of a plurality of autonomous vehicles with a driving environment including said vehicles | |
| WO2018168038A1 (ja) | 運転者の着座判定装置 | |
| JP2016115120A (ja) | 開閉眼判定装置および開閉眼判定方法 | |
| KR102499379B1 (ko) | 전자 장치 및 이의 피드백 정보 획득 방법 | |
| WO2019102525A1 (ja) | 異常検知装置及び異常検知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17900431 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17900431 Country of ref document: EP Kind code of ref document: A1 |