WO2022172724A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022172724A1
WO2022172724A1 PCT/JP2022/002127 JP2022002127W WO2022172724A1 WO 2022172724 A1 WO2022172724 A1 WO 2022172724A1 JP 2022002127 W JP2022002127 W JP 2022002127W WO 2022172724 A1 WO2022172724 A1 WO 2022172724A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
unit
vehicle
eyeball
information processing
Prior art date
Application number
PCT/JP2022/002127
Other languages
English (en)
French (fr)
Inventor
英史 大場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2022581291A priority Critical patent/JPWO2022172724A1/ja
Priority to DE112022001065.7T priority patent/DE112022001065T5/de
Priority to CN202280008325.7A priority patent/CN116685516A/zh
Priority to US18/260,191 priority patent/US20240051585A1/en
Publication of WO2022172724A1 publication Critical patent/WO2022172724A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing program.
  • the above system determines the driver's response level for returning to manual driving mode, and switches to manual driving. should be executed only if it is determined that the return of is possible. Therefore, for example, in the above system, the driver's arousal level is detected by analyzing the eyeball behavior, which is considered to reflect the results of activities such as recognition of the human brain, and the manual driving mode is selected. It is conceivable to use means for determining the recovery support level as one of the means for determining the recovery support level.
  • EVS event vision sensor
  • the present disclosure proposes an information processing device, an information processing method, and an information processing program capable of accurately observing eyeball behavior while suppressing an increase in the amount of data.
  • an event vision sensor that captures an image of the inside of a moving body and a sensor control unit that controls the event vision sensor
  • the event vision sensor is a pixel array having a plurality of pixels arranged in a matrix.
  • an event detection unit that detects that a luminance change amount due to incident light in each pixel exceeds a predetermined threshold value, and the sensor control unit controls the event vision sensor to detect the event in the driver's seat of the moving body.
  • An information processing device is provided that changes the value of the predetermined threshold value when capturing the eyeball behavior of a driver sitting in a car.
  • an information processing method executed by an information processing device including an event vision sensor that captures an image of the interior of a mobile body and a sensor control unit that controls the event vision sensor, the event vision
  • the sensor has a pixel array section having a plurality of pixels arranged in a matrix, and an event detection section for detecting that a luminance change amount due to incident light exceeds a predetermined threshold in each pixel, and the event
  • An information processing method is provided, including changing the value of the predetermined threshold when a vision sensor captures the eyeball behavior of a driver sitting in the driver's seat of the mobile object.
  • an information processing program that causes a computer to execute a control function of an event vision sensor that captures an image of the interior of a moving body, wherein the event vision sensor has a plurality of pixels arranged in a matrix. a pixel array unit; and an event detection unit that detects when the amount of luminance change due to incident light exceeds a predetermined threshold in each of the pixels.
  • An information processing program is provided that executes a function of changing the value of the predetermined threshold value when capturing the eyeball behavior of a driver sitting in a car.
  • FIG. 4 is a flowchart for explaining an example of running according to an embodiment of the present disclosure; It is an explanatory view for explaining an example of transition of an automatic driving level concerning an embodiment of this indication.
  • 4 is a flowchart illustrating an example of monitoring operation according to an embodiment of the present disclosure
  • 1 is an explanatory diagram for describing an example of a detailed configuration of a vehicle control system 100 according to an embodiment of the present disclosure
  • FIG. 4A and 4B are diagrams showing examples of installation positions of imaging devices included in the sensor unit 113.
  • FIG. 3 is an explanatory diagram for explaining examples of various sensors included in the sensor unit 113;
  • FIG. 4 is an explanatory diagram for explaining an example of a unit that executes determination of a driver's alertness level, according to an embodiment of the present disclosure
  • FIG. 4 is an explanatory diagram for explaining details of an operation example of an eyeball behavior analysis unit 300 according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing an example configuration of an EVS 400 used in an embodiment of the present disclosure
  • FIG. 11 is a block diagram showing an example of a configuration of a pixel 502 located in a pixel array section 500 in the EVS 400 shown in FIG. 10
  • FIG. FIG. 2 is an explanatory diagram (Part 1) for explaining installation positions of imaging devices 700 and 702 according to an embodiment of the present disclosure
  • FIG. 2 is an explanatory diagram (part 2) for explaining installation positions of the imaging devices 700 and 702 according to the embodiment of the present disclosure
  • FIG. 3 is an explanatory diagram (part 3) for explaining the imaging devices 700 and 702 and installation positions according to the embodiment of the present disclosure
  • FIG. 4 is an explanatory diagram for explaining an example of a unit that observes eyeball behavior of a driver, according to an embodiment of the present disclosure
  • 1 is a flowchart (Part 1) illustrating an example of an information processing method according to an embodiment of the present disclosure
  • 2 is a flowchart (part 2) illustrating an example of an information processing method according to an embodiment of the present disclosure
  • FIG. 7 is an explanatory diagram for explaining an example of observation data observed by an imaging device 702;
  • FIG. 3 is an explanatory diagram for explaining a partial configuration of the vehicle control system 100 for executing the process of determining the awakening level of the driver;
  • FIG. 10 is an explanatory diagram for explaining an example of the trajectory of a driver's eyeball behavior when a visual task of viewing information is presented;
  • FIG. 10 is a flowchart (part 1) of an information processing method of a driver's awakening level determination process;
  • FIG. 2 is a flowchart (part 2) of an information processing method for driver's awakening level determination processing;
  • 2 is a hardware configuration diagram showing an example of a computer 1000 that implements at least part of the functions of an automatic driving control unit 112.
  • the embodiment of the present disclosure a case where it is applied to automatic driving of a car will be described as an example, but the embodiment of the present disclosure is not limited to being applied to a car, an automobile, an electric vehicle, It can be applied to moving bodies such as hybrid electric vehicles, motorcycles, personal mobility, airplanes, ships, construction machinery, and agricultural machinery (tractors). Furthermore, in the embodiment of the present disclosure, the steering mode of the moving body can be switched between an automatic driving mode and an automatic driving mode in which one or more driving tasks are automatically performed. . Moreover, the present invention may be widely applied not only to mobile bodies but also to automatic control devices in which a monitoring operator needs to intervene as appropriate.
  • FIG. 1 is an explanatory diagram for explaining an example of automatic driving levels.
  • FIG. 1 shows automated driving levels defined by the SAE (Society of Automotive Engineers).
  • SAE Society of Automotive Engineers
  • the automatic driving levels defined by the SAE are basically referred to.
  • the issues and validity of the widespread adoption of automated driving technology have not been thoroughly examined. There are some parts that are not necessarily explained according to the definition of SAE.
  • vehicle driving is not roughly divided into manual driving and automatic driving as described above, but is classified step by step according to the contents of tasks automatically performed by the system side. be done.
  • the automatic driving level is classified into five levels, for example, from level 0 to level 4. stages).
  • automated driving level 0 is manual driving (direct driving steering by the driver) without driving assistance by the vehicle control system, in which the driver performs all driving tasks and safely drives (e.g., avoids danger). It also performs monitoring related to
  • automatic driving level 1 is manual driving (direct driving steering) in which driving assistance by the vehicle control system (automatic braking, ACC (Adaptive Cruise Control), LKAS (Lane Keeping Assistant System), etc.) can be executed, The driver performs all but assisted single function driving tasks and also performs safe driving supervision.
  • vehicle control system automated braking, ACC (Adaptive Cruise Control), LKAS (Lane Keeping Assistant System), etc.
  • automated driving level 2 is also called “partial driving automation", and under certain conditions, the vehicle control system executes subtasks of the driving task related to vehicle control in both the longitudinal direction and the lateral direction of the vehicle.
  • the vehicle control system controls both steering operation and acceleration/deceleration in cooperation (for example, cooperation between ACC and LKAS).
  • the subject of driving task execution is basically the driver, and the subject of monitoring related to safe driving is also the driver.
  • automated driving level 3 is also called “conditional automated driving", and the vehicle control system performs all driving tasks within a limited area with conditions that can be handled by the functions installed in the vehicle. can be executed.
  • the subject of driving task execution is the vehicle control system
  • the subject of monitoring related to safe driving is also basically the vehicle control system.
  • the vehicle control system is not required to deal with all situations.
  • the user (driver) is expected to respond appropriately to requests for intervention by the vehicle control system during preliminary response. It is required to deal with system failures called Silent Failures.
  • automated driving level 4 is also called “advanced driving automation", and the vehicle control system performs all driving tasks within a limited area.
  • the subject of driving tasks is the vehicle control system
  • the subject of monitoring related to safe driving is also the vehicle control system.
  • the driver can perform driving operations (manual driving) in response to requests from the vehicle control system side due to system failure etc. No response is expected. Therefore, at Autonomous Driving Level 4, the driver will be able to perform secondary tasks as described above, and depending on the situation, for example, take a temporary nap in a section where conditions are met. It is possible.
  • the vehicle will run in an automated driving mode in which the vehicle control system performs all driving tasks.
  • the situation changes dynamically depending on the actual road infrastructure maintenance status, etc., there are cases where it becomes clear during the travel route that there are sections where automatic driving level 4 cannot be applied to part of the travel route.
  • it is required to set and transition to automatic driving level 2 or lower, which is permitted depending on the conditions.
  • the driver is required to proactively execute the driving task.
  • the situation changes moment by moment during the itinerary as described above. A transition to 2 or less can occur. Therefore, the driver is required to transition from the secondary task to a ready state in which it is possible to return to manual driving at an appropriate advance notice timing after being notified of the transition of the automatic driving level.
  • FIG. 2 is a flowchart for explaining an example of running according to the embodiment of the present disclosure.
  • the vehicle control system executes steps from step S11 to step S18, for example. Details of each of these steps are described below.
  • the vehicle control system executes driver authentication (step S11).
  • the driver authentication is carried out by property authentication such as driver's license, vehicle key (including portable wireless device), knowledge authentication such as password or personal identification number, or biometric authentication such as face, fingerprint, iris of eyes, voiceprint, etc. be able to.
  • the driver authentication may be performed using all of property authentication, knowledge authentication, and biometrics authentication, or two of them in combination.
  • driver authentication is performed before starting driving, so that even when a plurality of drivers drive the same vehicle, eyeball behavior of each driver, etc., can be detected. It is possible to obtain information unique to each driver, such as the history of each driver, in association with each driver.
  • the driver or the like operates, for example, the input unit 101 (see FIG. 3), which will be described later, to set the destination (step S12).
  • the vehicle control system can set the destination in advance based on the destination information and calendar information manually input to a smartphone or the like (assuming communication with the vehicle control system is possible) before boarding the vehicle. good.
  • the vehicle control system acquires schedule information, etc. stored in advance on a smartphone, etc. or a cloud server, etc. (assuming that communication with the vehicle control system is possible) via a concierge service.
  • the destination may be preset in advance.
  • the vehicle control system performs pre-planning settings such as travel routes based on the set destination. Furthermore, the vehicle control system acquires local dynamic map (LDM) information, etc., which is constantly updated high-density driving map information of the road on which the vehicle travels, such as information on the road environment of the set driving route, Update. At this time, the vehicle control system repeats acquisition of the LDM, etc., corresponding to the section to be traveled from now on, for each fixed section along the travel in the itinerary. In addition, the vehicle control system appropriately updates and resets the automatic driving level appropriate for each section on the travel route based on the latest acquired LDM information and the like.
  • LDM local dynamic map
  • the vehicle control system will start displaying the travel section on the travel route. Then, the vehicle control system starts running according to the set automatic driving level (step S13). Note that when the vehicle starts running, the display of the running section is updated based on the position information of the vehicle (own vehicle) and the acquired LDM update information.
  • driving includes automatic safety measures when the driver cannot return from automatic driving to manual driving, and more specifically, for example, vehicle control Stops due to MRM etc. determined by the system are also included.
  • the vehicle control system appropriately executes monitoring (observation) of the driver's condition (step S14).
  • monitoring is performed, for example, to obtain training data for determining the driver's recovery readiness level.
  • the monitoring switches the driving mode according to the automatic driving level set for each section on the travel route, including a request to return to manual driving from an unexpected automatic driving that occurred after the start of the itinerary. It is necessary to check the driver's condition in advance, which is necessary for this, whether the return notification was given at the appropriate timing, and whether the driver responded to the notification or warning and responded appropriately to the return action, depending on the changes in the driving environment over time. is executed in the following circumstances.
  • step S15 when the vehicle reaches a switching point from the automatic driving mode to the manual driving mode based on the automatic driving level set for each section on the driving route, the vehicle control system can switch the driving mode. It is determined whether or not it is possible (step S15). When the vehicle control system determines that the driving mode can be switched (step S15: Yes), the process proceeds to step S16, and when it determines that the driving mode cannot be switched (step S15: No). ), for example, the process proceeds to step S18.
  • step S16 the vehicle control system switches the driving mode (step S16). Further, the vehicle control system determines whether or not the vehicle (own vehicle) has arrived at the destination (step S17). If the vehicle has arrived at the destination (step S17: Yes), the vehicle control system ends the process, and if the vehicle has not arrived at the destination (step S17: No), the process proceeds to step S13. Return to processing. Thereafter, the vehicle control system appropriately repeats the processes from step S13 to step S17 until the vehicle arrives at the destination. Moreover, when the driving mode cannot be switched from automatic driving to manual driving, the vehicle control system may execute an emergency stop by MRM or the like (step S18).
  • step S13 is omitted because it includes a series of coping processes that are automatically performed when the driver is unable to return.
  • the allowable automated driving level can change from moment to moment depending on vehicle performance, road conditions, weather, and the like.
  • the allowable Operational Design Domain may change depending on the deterioration of the detection performance due to temporary contamination of equipment mounted on the vehicle or contamination of sensors. Therefore, the permitted autonomous driving level may also change while driving from the starting point to the destination.
  • a takeover section may also be set for the corresponding response. Therefore, in the embodiment of the present disclosure, ODD is set and updated based on various information that changes from moment to moment.
  • ODD operation design domain
  • the content of the secondary tasks allowed for the driver will also change.
  • the range of the contents of the driver's behavior that violates the traffic rules also changes. For example, in the case of automatic driving level 4, even if secondary tasks such as reading are permitted, when the transition is made to automatic driving level 2, secondary tasks such as reading become violations.
  • automatic driving there are also sudden transitions between automatic driving levels, so depending on the situation, the driver is required to be in a state of preparation that can immediately return to manual driving from the secondary task. Become.
  • FIG. 3 is an explanatory diagram for explaining an example of automatic driving level transitions according to the embodiment of the present disclosure.
  • the switching from the automatic driving mode (the lower range in FIG. 3) to the manual driving mode (the upper range in FIG. 3) is, for example, automatic driving level 3 and automatic It is assumed to be executed when transitioning from the section of driving level 4 to the sections of automatic driving levels 0, 1 and 2.
  • the driver may be immersed in secondary tasks such as sleeping (nap), watching television or video, or playing games.
  • the driver may be just letting go of the steering wheel and may be gazing at the front or surroundings of the vehicle, reading a book, or falling asleep, as in manual driving. may be doing
  • the driver's arousal level differs depending on the difference in these secondary tasks.
  • the driver's level of consciousness and decision-making will be lowered, that is, the level of arousal will be lowered.
  • the driver cannot perform normal manual driving. Therefore, if the driver switches to the manual driving mode in that state, in the worst case, an accident may occur. Therefore, even if the driver's arousal level is lowered, it is necessary to return to a high arousal state (internal arousal return state) that allows the vehicle to be driven with normal consciousness immediately before switching to the manual driving mode. ) is required.
  • a high arousal state internal arousal return state
  • such switching of the driving mode is performed when the driver is at a level corresponding to returning to the manual driving mode, that is, when the driver is at a level corresponding to returning to the manual driving mode. It is assumed that this can be executed only when an active response indicating that the internal arousal state of the body has returned) can be observed (shown in the center of FIG. 3).
  • the system is switched to an emergency evacuation mode such as MRM (Minimal Risk Maneuver).
  • MRM Minimum Risk Maneuver
  • the transition from automated driving level 4 to automated driving level 3 does not involve switching the driving mode, so the observation itself of the active response indicating the return to internal awakening as described above is performed. do not have.
  • the present embodiment is not limited to the example shown in FIG. you can go It should be noted that safety is a prerequisite for steering handover, since the presence of an active response does not necessarily mean that the driver is in a state of being aware of all relevant situations. It can also be said.
  • the driver should be legally obliged to return to manual driving. Even so, the driver is not necessarily in a state where he can appropriately respond to a return request RTI (Request to Intervene) as automated driving level 3 from the vehicle control system. More specifically, in response to the return request RTI as automatic driving level 3, the driver is in a state where the arousal state in the brain is restored and the body is free from numbness etc. and returns to a physical state where manual driving is possible. Not always possible.
  • RTI Request to Intervene
  • a prophylactic dummy wake-up request RTI may be performed from time to time and an active response indicative of the driver's internal alertness wake-up may be observed.
  • each arrow indicating the transition of the automatic driving level illustrated in FIG. It is not recommended as it will cause misunderstanding of the state of the vehicle control system by That is, in the vehicle control system according to the embodiment of the present disclosure, once the automatic driving level transitions such as automatically switching from the automatic driving mode to the manual driving mode in which the driver intervenes, the driver actively It is desirable that the system is designed so that it will not automatically return to the automatic operation mode again without a specific instruction. Giving directionality (irreversibility) to the switching of driving modes in this way means that the design prevents the driver from switching to the automatic driving mode without a clear intention.
  • the automatic driving mode cannot be activated only when the driver has a clear intention, for example, when the driver is not in the automatic driving mode, the automatic driving mode It is possible to prevent an act such as easily starting a secondary task by mistakenly thinking that it is.
  • FIG. 4 is a flow chart illustrating an example of monitoring operation according to an embodiment of the present disclosure.
  • the vehicle control system executes steps S21 to S27 when switching from the automatic operation mode to the manual operation mode, for example. Become. Details of each of these steps are described below.
  • the driver since the driver is driving in automated driving mode, it is assumed that the driver is completely out of the steering wheel.
  • the driver may be performing secondary tasks such as taking a nap, watching videos, playing immersive games, or working with visual tools such as tablets, smartphones, and the like.
  • work using visual tools such as tablets and smartphones may be performed, for example, with the driver's seat shifted or in a seat other than the driver's seat.
  • the vehicle control system appropriately intermittently performs passive monitoring and/or active monitoring of the driver (step S21).
  • active monitoring and passive monitoring are described.
  • active monitoring means that the vehicle control system inputs active information to the driver, and the It is an observation method to see the conscious response of
  • active information input to the driver can include visual, auditory, tactile, olfactory, and (gustatory) information.
  • Such active information induces the driver's perception and cognitive behavior, and if the information affects the risk, the driver will execute (response) judgment and action according to the risk.
  • active monitoring for example, steering control with a small amount of steering that does not affect the safe driving of the vehicle as pseudo-active information in order for the vehicle control system to prompt the driver's feedback.
  • the act of returning the steering wheel to an appropriate amount is expected as a conscious response (if normally awake). Specifically, since the driver perceives and recognizes the unnecessary steering amount, makes a decision to return to the unnecessary steering amount, and takes action, the action corresponding to the above response ( The act of returning the steering to an appropriate amount of steering) is brought out. Therefore, by observing the response, it becomes possible to determine the state of perception, cognition, judgment, and behavior in the brain of the driver. While driving in manual driving mode, the driver constantly performs a series of actions such as perception, recognition, judgment, and action regarding the road environment, etc. in order to carry out steering. The conscious response of the driver can be observed without actively inputting information to the driver (that is, it can be said that there is a response of steering).
  • the frequency of active information input is preferably set to an appropriate frequency to avoid "habituation" as described above.
  • Passive monitoring of the driver's condition includes various observation methods, for example, observation of the driver's biological information. More specifically, for example, in passive monitoring, if the driver is seated in the driver's seat and is in a position that allows driving, PERCLOS (percentage of eye opening) related indices, head posture behavior, eyeball behavior (saccade (rapidity) eye movements), fixation, microsaccades, etc.), blinks, facial expressions, facial orientation, etc., are expected to be evaluated in detail.
  • PERCLOS percentage of eye opening
  • heart rate, pulse rate, blood flow, respiration, brain waves, perspiration state, heart rate and depth of drowsiness estimated from respiration are observed using wearable devices. Extended observation is possible. Furthermore, in the passive monitoring, the driver's sitting in the driver's seat, leaving the seat, movement, destination, posture, etc. may be observed. Furthermore, the steering amount associated with the driver's careful driving state (the state in which the driver is performing manual driving while maintaining proper attention to driving) may be directly observed.
  • the information observed by passive monitoring is used to estimate the time required for the driver to return to manual driving when the driving control system issues a driving mode switching notification or warning while driving in automatic driving mode. can be used to In addition, the information observed by passive monitoring can be used to determine whether or not to switch to emergency evacuation mode when the driver cannot expect to return to manual driving within a predetermined time. .
  • the vehicle control system notifies the driver of a return request RTI to manual driving (step S22).
  • the driver is notified of the return request RTI to manual driving by dynamic haptics such as vibration or visually or audibly.
  • the driver returns to the driver's seat if he is in a normal wakefulness state, and returns to a high wakefulness state in which he can drive the vehicle with normal consciousness.
  • the return request RTI may be performed a plurality of times in stages. In this case, different means may be used in each stage. .
  • the vehicle control system monitors the driver's seated state, seated posture, etc. (step S23).
  • the vehicle control system centrally performs active monitoring for properly seated drivers (step S24). For example, as active monitoring, in order to encourage the driver to return to a highly alert state in which he/she can drive the vehicle with normal consciousness, warnings are issued to the driver, and the vehicle is simulated. Active information input such as inputting pseudo-noise steering to manual steering control can be mentioned.
  • the vehicle control system intensively monitors eyeball behavior such as the driver's face and saccades (eyeball behavior centralized monitoring) (step S25).
  • eyeball behavior there is a part of behavior that appears as a biological reflex that responds to event changes as an adaptive response to loops that do not include thinking elements. Behaviors such as gradual convergence and its return high-speed divergence movement that occur when the vehicle is approaching the background in advance, and smooth pursuit eye movement that counteracts the rotation of one's own body and head and follows an object in the target direction. can be mentioned.
  • the eye movement also includes the feature tracking behavior to grasp the features of the visual object and advance the understanding, instead of the reflexive response. In other words, since many phenomena that appear to reflect neurotransmission and processing in the brain are also seen in eye movement, the result of activities such as cognition of the fixation target referred to in the brain's memory is reflected. it is conceivable that.
  • the driver by utilizing the fact that cognitive function activity in the brain is reflected in eye movement, it is possible to estimate the arousal level of the driver with high accuracy based on the analysis of eye movement. That is, by performing eye movement observation, when switching from the automatic driving mode to the manual driving mode (more specifically, just before that), the driver returns to a high arousal level that allows the vehicle to be driven with normal consciousness. It is possible to indirectly observe whether or not (recovery support level). In particular, when the driver returns to steering after a period of time has elapsed after leaving the steering task, the driver does not have sufficient memory of the surroundings and vehicle conditions necessary for returning to manual driving. I don't think so.
  • the driver visually confirms the situation in front of the road, or visually confirms the factors of the return-to-manual-operation request RTI from the vehicle control system. In such a case, we will try to quickly proceed with the act of grasping the information that we may have grasped. Such an act of grasping information is reflected in the driver's eyeball behavior.
  • the eye movement shows a unique behavior for each person and for each state of the person, so it is possible to accurately determine the arousal level of the driver by analyzing the eye movement.
  • it is required to always grasp and learn the eyeball behavior peculiar to each driver, and to determine the driver's arousal level based on such learning.
  • the confirmation should be based on the memory of the driver based on their past risk experiences. is also greatly affected, so it changes depending on various factors such as road conditions and driving speed during driving. Therefore, the eyeball behavior not only exhibits behaviors peculiar to each person, but also changes under the influence of memories based on the driver's various experiences.
  • learning obtained by intermittently learning recovery ability determination of each driver in an active observation interval This makes it possible to make a more suitable determination for each driver.
  • the vehicle control system determines the driver's recovery response level by determining the driver's arousal level based on the monitoring in step S25 described above (step S26). Then, the vehicle control system determines whether the driver is at a return reaction level at which it is possible to return to manual driving. Since the vehicle control system according to the present embodiment observes the driver's return process in stages and observes the response of the driver at each stage during the process, composite determination is possible. Then, when the vehicle control system determines that it is possible to return to manual driving with a predetermined degree of certainty based on the ability of the driver to return to internal arousal and confirm the ability of manual driving behavior, the vehicle control system switches from the automatic driving mode to the manual driving mode. Execute (step S27). Recognizing the characteristics of the observed changes over time of various eyeball behaviors of the driver, the final handover is performed with such characteristics, and the characteristics are labeled according to the handover quality regarding the success or failure of each handover attached. Details of this will be described later.
  • steps in FIG. 4 do not necessarily have to be processed in the described order, the order may be changed as appropriate, and some steps may be processed in parallel.
  • active monitoring in step S24 and intensive eyeball behavior monitoring in step S25 may be performed in parallel, or the order shown in FIG. 4 may be switched.
  • FIG. 5 is an explanatory diagram for explaining an example of the detailed configuration of the vehicle control system 100 according to this embodiment.
  • the own vehicle or the own vehicle when distinguishing the vehicle provided with the vehicle control system 100 from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, It mainly has a body system control unit 109 , a body system 110 , a storage unit 111 , an automatic driving control unit 112 and a sensor unit 113 .
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121, interconnected.
  • the communication network 121 is, for example, a CAN (Controller Area Network), a LIN (Local Interconnect Network), a LAN (Local Area Network), or an in-vehicle communication network, bus, etc. conforming to any standard such as FlexRay (registered trademark). Become. Each unit of vehicle control system 100 may be directly connected without communication network 121 .
  • the input unit 101 is composed of a device used by passengers such as the driver to input various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, buttons, microphones, switches, and levers, and operation devices that can be input by methods other than manual operation such as voice and gestures.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100 .
  • the input unit 101 can generate an input signal based on data, instructions, etc. input by the passenger, and supply the input signal to each function unit of the vehicle control system 100 .
  • the data acquisition unit 102 can acquire data used for processing of the vehicle control system 100 from the sensor unit 113 having various sensors and the like, and supply the data to each functional unit of the vehicle control system 100 .
  • the sensor unit 113 has various sensors for detecting the situation of the vehicle (own vehicle). Specifically, for example, the sensor unit 113 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine speed, a motor It has a sensor or the like for detecting the number of revolutions or the rotational speed of the wheels.
  • IMU inertial measurement unit
  • the sensor unit 113 may have various sensors for detecting information on the outside of the vehicle (own vehicle).
  • the sensor unit 113 may have an imaging device such as a ToF (Time of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the sensor unit 113 may include an environment sensor for detecting weather or the like, an ambient information detection sensor for detecting objects around the vehicle, and the like. Examples of such environmental sensors include raindrop sensors, fog sensors, sunshine sensors, and snow sensors. Examples of the ambient information detection sensor include ultrasonic sensors, radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), and sonar.
  • the sensor unit 113 may have various sensors for detecting the current position of the vehicle (own vehicle). Specifically, for example, the sensor unit 113 may have a GNSS receiver or the like that receives GNSS signals from GNSS (Global Navigation Satellite System) satellites. In addition, based on location information by SLAM (Simultaneous Localization and Mapping) that can perform self-location estimation and environment map creation at the same time, location information detected by LiDAR (Light Detection and Ranging), millimeter wave radar, etc. The current position detected by the sensor unit 113 may be complemented by correcting the reference point using the SLAM (Simultaneous Localization and Mapping) that can perform self-location estimation and environment map creation at the same time, location information detected by LiDAR (Light Detection and Ranging), millimeter wave radar, etc.
  • the current position detected by the sensor unit 113 may be complemented by correcting the reference point using the
  • the sensor unit 113 may have various sensors for detecting information inside the vehicle.
  • the sensor unit 113 includes an imaging device (ToF camera, stereo camera, monocular camera, infrared camera, etc.) that captures an image of the driver, a biological information sensor that detects the biological information of the driver, and can have a microphone or the like that collects the sound of
  • a biological information sensor is provided, for example, on a seat surface of a seat or a steering wheel, and can detect biological information of a passenger sitting on a seat or a driver holding a steering wheel.
  • driver's biological information examples include heart rate, pulse rate, blood flow, respiration, electroencephalogram, skin temperature, skin resistance, sweating state, head posture behavior, eyeball behavior (gazing, blinking, saccade, microsaccade , fixation, drift, gaze, iris pupillary reaction, etc.).
  • These biological information include electric potential between predetermined positions on the body surface of a driver, contact-type observable signals such as the blood flow system using infrared light, non-contact-type microwaves, millimeter waves, FM ( Detection of eyeball behavior using non-contact observable signals using frequency modulation waves, imaging equipment (monitoring unit) using infrared wavelengths, and steering and pedal steering to check steering responsiveness It is possible to detect it by using the overload torque measurement information of the equipment, etc. singly or in combination.
  • contact-type observable signals such as the blood flow system using infrared light, non-contact-type microwaves, millimeter waves, FM ( Detection of eyeball behavior using non-contact observable signals using frequency modulation waves, imaging equipment (monitoring unit) using infrared wavelengths, and steering and pedal steering to check steering responsiveness It is possible to detect it by using the overload torque measurement information of the equipment, etc. singly or in combination.
  • the communication unit 103 communicates with the in-vehicle device 104 as well as various devices outside the vehicle, a server, a base station, and the like, and transmits data supplied from each functional unit of the vehicle control system 100, and transmits received data to the vehicle. It can be supplied to each functional unit of the control system 100 .
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support multiple types of communication protocols.
  • the communication unit 103 can perform wireless communication with the in-vehicle device 104 using a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless Universal Serial Bus), or the like. Also, for example, the communication unit 103 can connect to USB, HDMI (High-Definition Multimedia Interface) (registered trademark), or MHL (Mobile High-Definition Link) via a connection terminal (and cable if necessary) not shown. ) or the like, it is possible to perform wired communication with the in-vehicle device 104 .
  • USB High-Definition Multimedia Interface
  • MHL Mobile High-Definition Link
  • the communication unit 103 communicates with a device (such as an application server or control server) existing on an external network (such as the Internet, a cloud network, or an operator-specific network) via a base station or an access point. can communicate.
  • a device such as an application server or control server
  • an external network such as the Internet, a cloud network, or an operator-specific network
  • the communication unit 103 uses P2P (Peer To Peer) technology to connect terminals (for example, pedestrian or store terminals, terminals carried by regulators, or MTC (Machine Type Communication (terminal) can be performed.
  • the communication unit 103 performs vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) communication such as V2X communication may be performed.
  • the communication unit 103 has a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and transmits information such as the current position, congestion, traffic restrictions, required time, etc. may be obtained.
  • a beacon receiving unit receives radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and transmits information such as the current position, congestion, traffic restrictions, required time, etc. may be obtained.
  • pairing is performed with the preceding vehicle that is traveling in a section that can be the leading vehicle, and the information obtained from the data acquisition unit mounted in the preceding vehicle is acquired as pre-travel information, and the data acquisition unit of the own vehicle is used.
  • Complementary use may be performed to complement the data acquired in 102, and it can be a means to ensure the safety of the following platoon, especially in platooning with the leading vehicle.
  • the in-vehicle device 104 can include, for example, a mobile device or wearable device possessed by the passenger, an information device carried into or attached to the vehicle, and a navigation device that searches for a route to an arbitrary destination. Considering that the passenger is not necessarily fixed in a fixed seat position due to the spread of automatic driving, the in-vehicle device 104 can be extended to a video player, a game device, and other devices that can be attached and detached from the vehicle installation. can.
  • the output control unit 105 can control the output of various information to the passengers of the own vehicle or to the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (e.g., image data) and auditory information (e.g., audio data) and supplies it to the output unit 106 so that the output unit Controls the output of visual and auditory information from 106 .
  • the output control unit 105 combines image data captured by different imaging devices of the sensor unit 113 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output section 106 .
  • the output control unit 105 generates audio data including a warning sound or a warning message against danger such as collision, contact, and entry into a dangerous area, and outputs an output signal including the generated audio data to the output unit 106. supply.
  • the output unit 106 can have a device capable of outputting visual information or auditory information to passengers in the vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device of the output unit 106 can display visual information within the driver's field of view, such as a head-up display, a transmissive display, or a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be a display device.
  • the output unit 106 provides olfactory stimulation (provides a predetermined odor), Various devices that provide tactile stimulation (such as providing cold air, vibrating, and electrical stimulation) can be included. Furthermore, the output unit 106 may include a device or the like that provides a sensory discomfort stimulus, such as forcing the driver to take a posture that causes discomfort by moving the backrest of the driver's seat.
  • HMI Human Machine Interface
  • the driving system control unit 107 can control the driving system 108 by generating various control signals and supplying them to the driving system 108 . Further, the driving system control unit 107 may supply control signals to each functional unit other than the driving system 108 as necessary to notify the control status of the driving system 108 or the like.
  • the driveline system 108 can have various devices related to the driveline of the own vehicle.
  • the driving system 108 includes a driving force generator for generating driving force such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, a steering mechanism for adjusting the steering angle, It has a braking device that generates braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 can control the body system 110 by generating various control signals and supplying them to the body system 110 .
  • the body system control unit 109 may supply a control signal to each function unit other than the body system 110 as necessary to notify the control status of the body system 110 or the like.
  • the body-system system 110 can have various body-system devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (e.g., head lamps, back lamps, brake lamps, winkers, fog lamps, etc.). etc.
  • the storage unit 111 includes, for example, ROM (Read Only Memory), RAM (Random Access Memory), HDD (Hard Disc Drive) and other magnetic storage devices, semiconductor storage devices, optical storage devices, magneto-optical storage devices, and the like. be able to. Further, the storage unit 111 can store various programs, data, and the like used by each functional unit of the vehicle control system 100 . For example, the storage unit 111 stores map data such as a three-dimensional high-precision map such as a dynamic map, a global map covering a wide area with lower accuracy than the high-precision map, and a local map including information about the surroundings of the vehicle. to store map data such as a three-dimensional high-precision map such as a dynamic map, a global map covering a wide area with lower accuracy than the high-precision map, and a local map including information about the surroundings of the vehicle. to store map data such as a three-dimensional high-precision map such as a dynamic map, a global map covering a wide area with lower accuracy than the high
  • the automatic driving control unit 112 can perform control related to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 performs collision avoidance or shock mitigation of the own vehicle, follow-up driving based on the inter-vehicle distance, vehicle speed maintenance driving, collision warning of the own vehicle, or lane deviation warning of the own vehicle. Coordinated control is performed for the purpose of realizing ADAS (Advanced Driver Assistance System) functions. Further, for example, the automatic driving control unit 112 can perform cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver. Specifically, the automatic driving control unit 112 has a detection unit 131 , a self-position estimation unit 132 , a situation analysis unit 133 , a planning unit 134 and an operation control unit 135 .
  • ADAS Advanced Driver Assistance System
  • the detection unit 131 can detect various types of information necessary for controlling automatic operation.
  • the detection unit 131 has an outside information detection unit 141 , an inside information detection unit 142 , and a vehicle state detection unit 143 .
  • the vehicle exterior information detection unit 141 can perform processing for detecting information outside the own vehicle based on data or signals from each unit of the vehicle control system 100 .
  • the vehicle exterior information detection unit 141 performs detection processing, recognition processing, and tracking processing of objects around the own vehicle, and detection processing of the distance to the object.
  • Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the vehicle exterior information detection unit 141 performs processing for detecting the environment around the own vehicle.
  • the ambient environment to be detected includes, for example, weather, temperature, humidity, brightness, and road conditions.
  • the vehicle exterior information detection unit 141 sends data indicating the result of detection processing to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control. It is supplied to the emergency avoidance unit 171 of the unit 135 and the like.
  • the information acquired by the information detection unit 141 outside the vehicle is mainly provided by the infrastructure if the driving section is a section in which the LDM constantly updated as a section in which automatic driving is possible is provided by the infrastructure.
  • the above information can be received in advance from a vehicle or a group of vehicles traveling in the section in advance, prior to entering the section.
  • the vehicle exterior information detection unit 141 may receive the road environment information via the leading vehicle that has previously entered the corresponding section.
  • a section can be driven automatically is determined by the presence or absence of advance information provided by the infrastructure corresponding to the section.
  • the outside information detection unit 141 is shown and described on the premise that it is mounted on the own vehicle and receives information directly from the infrastructure, but it is not limited to this. .
  • the vehicle-exterior information detection unit 141 receives and uses information that the vehicle in front has perceived as "information", thereby further increasing the predictability of dangers that may occur while driving in this embodiment. be able to.
  • the in-vehicle information detection unit 142 can detect information in the vehicle based on data or signals from each functional unit of the vehicle control system 100 .
  • the in-vehicle information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, and in-vehicle environment detection processing.
  • the state of the driver to be detected includes, for example, physical condition, wakefulness, concentration, fatigue, line of sight direction, degree of influence of alcohol, drugs, etc., detailed eyeball behavior, and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, and odor.
  • the in-vehicle information detection unit 142 supplies data indicating the result of detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like. It should be noted that, for example, after the driver is notified of the request RTI to return to manual driving, it is estimated or found that the driver will not be able to achieve manual driving within a predetermined time limit, and deceleration control is performed to allow time. If it is determined that the return to manual operation will not be in time, the in-vehicle information detection unit 142 instructs the emergency avoidance unit 171 and the like to decelerate the vehicle for evacuation and start the evacuation/stop procedure. good too.
  • the above-described in-vehicle information detection unit 142 has two main roles, the first role is passive monitoring of the driver's condition during driving, and the second role is to assist in manual driving. This is active monitoring that detects and determines whether or not the driver is at a return reaction level at which manual driving is possible after the return request RTI is notified, based on the driver's conscious response.
  • the vehicle state detection unit 143 can detect the state of the vehicle (own vehicle) based on data or signals from each unit of the vehicle control system 100 .
  • the state of the own vehicle to be detected includes, for example, speed, acceleration, steering angle, self-diagnostic status and contents such as presence or absence of abnormality, driving operation state, power seat position and tilt, door lock state, and , the status of other in-vehicle equipment, etc.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the state of the vehicle (self-vehicle) to be recognized includes, for example, the position, attitude, movement (eg, speed, acceleration, moving direction, etc.) of the vehicle (self-vehicle), and the motion of the vehicle (self-vehicle).
  • the amount of cargo that determines the characteristics, the movement of the center of gravity of the car body due to cargo loading, the tire pressure, the braking distance movement due to the wear condition of the brake brake pad, the maximum allowable deceleration braking to prevent cargo movement caused by cargo braking, and the liquid cargo. Examples include the centrifugal relaxation limit speed when traveling on a curve.
  • the control of the vehicle will not be required due to the conditions peculiar to the vehicle, the conditions peculiar to the loaded cargo, etc., as well as the coefficient of friction of the road surface, the curve and the slope of the road.
  • the recovery start timing to be used will be different. Therefore, in the present embodiment, it is required that these various conditions are collected and learned, and the learning result is always reflected in the estimation of the optimum timing for performing control.
  • the conditions that determine these actual vehicle controls differ depending on the type of cargo loaded on the vehicle, so the effects of actual accidents, etc., will vary depending on the type of cargo loaded on the vehicle. It is desirable to operate with bias, and it is not necessary to limit the use of the results obtained from uniform learning as they are.
  • the self-position estimation unit 132 estimates the position of the vehicle (self-vehicle) based on data or signals from each functional unit of the vehicle control system 100 such as the vehicle exterior information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. and estimation processing of posture and the like can be performed. In addition, the self-position estimation unit 132 can generate a local map (hereinafter referred to as self-position estimation map) used for self-position estimation, if necessary.
  • self-position estimation map a local map
  • the map for self-position estimation is, for example, a highly accurate map using techniques such as SLAM.
  • the self-position estimation unit 132 supplies data indicating the result of estimation processing to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133.
  • FIG. Also, the self-position estimation unit 132 can store the map for self-position estimation in the storage unit 111 .
  • the situation analysis unit 133 can analyze the situation of the vehicle (own vehicle) and its surroundings.
  • the situation analysis section 133 has a map analysis section 151 , a traffic rule recognition section 152 , a situation recognition section 153 and a situation prediction section 154 .
  • the map analysis unit 151 analyzes various data stored in the storage unit 111 while using data or signals from each functional unit of the vehicle control system 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary. It is possible to perform map analysis processing and build a map that includes information necessary for autonomous driving processing.
  • the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, etc. supply to
  • the traffic rule recognition unit 152 recognizes the surroundings of the vehicle (own vehicle) based on data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, and the map analysis unit 151. Recognition processing of traffic rules can be performed. By this recognition processing, for example, the positions and conditions of signals around the vehicle (self-vehicle), details of traffic regulations around the self-vehicle, lanes in which the vehicle can travel, etc. are recognized. The traffic rule recognition unit 152 supplies data indicating the result of recognition processing to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 receives data or Based on the signal, a process of recognizing the situation regarding the vehicle (own vehicle) can be performed. For example, the situation recognition unit 153 performs recognition processing of the situation of the vehicle (own vehicle), the surrounding situation of the vehicle (own vehicle), the situation of the driver of the vehicle (own vehicle), and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used for recognizing the situation around the vehicle (self-vehicle) as necessary.
  • the situation recognition map can be, for example, an occupancy grid map.
  • the situation recognition section 153 supplies data indicating the result of recognition processing (including a situation recognition map, if necessary) to the self-position estimation section 132, the situation prediction section 154, and the like.
  • the situation recognition unit 153 causes the storage unit 111 to store the map for situation recognition.
  • the situation prediction section 154 performs prediction processing of the situation regarding the vehicle (own vehicle) based on data or signals from each section of the vehicle control system 100 such as the map analysis section 151, the traffic rule recognition section 152, and the situation recognition section 153. be able to.
  • the situation prediction unit 154 performs prediction processing of the situation of the vehicle (own vehicle), the surrounding situation of the vehicle (own vehicle), the situation of the driver, and the like.
  • the situation of the vehicle (own vehicle) to be predicted includes, for example, the behavior of the vehicle (own vehicle), the occurrence of an abnormality, and the travelable distance.
  • the circumstances around the vehicle (own vehicle) to be predicted include, for example, the behavior of moving objects around the vehicle (own vehicle), changes in signal conditions, and environmental changes such as weather.
  • the driver's situation to be predicted includes, for example, the behavior and physical condition of the driver. Then, the situation prediction unit 154 sends the data indicating the result of the prediction process to the route planning unit 161 and the action planning unit 162 of the planning unit 134 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, as well as to the operation plan. It is supplied to the unit 163 and the like.
  • the route planning unit 161 can plan a route to the destination based on data or signals from each functional unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the designated destination based on the global map. Also, the route planning unit 161 sets the automatic driving level for each section on the travel route based on the LDM or the like. Further, for example, the route planning unit 161 may appropriately change the route based on conditions such as traffic jams, accidents, traffic restrictions, construction work, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 plans the route planned by the route planning unit 161 within the planned time based on data or signals from each functional unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. It is possible to plan the behavior of the vehicle (own vehicle) for safe driving. For example, the action planning unit 162 plans starting, stopping, direction of travel (eg, forward, backward, left turn, right turn, direction change, etc.), driving lane, driving speed, overtaking, and the like. The action planning unit 162 supplies data indicating the planned actions of the vehicle (own vehicle) to the action planning unit 163 and the like.
  • the open plane space where the vehicle can physically travel Vacant land, etc.
  • entry-avoidable dangerous spaces cliffs, pedestrian-crowded places such as station exits
  • etc. may be managed as supplementary information, and reflected in control as evacuation spaces during control in an emergency.
  • the action planning unit 163 determines the vehicle (own vehicle) can be planned. For example, the motion planning unit 163 plans acceleration, deceleration, travel trajectory, and the like. In addition, the operation planning unit 163 can set the operation mode and plan the timing of executing switching. The motion planning unit 163 supplies data indicating the planned motion of the vehicle (own vehicle) to the acceleration/deceleration control unit 172 and the direction control unit 173 of the motion control unit 135 and the like.
  • the operation control unit 135 can control the operation of the vehicle (own vehicle).
  • the motion control unit 135 has an emergency avoidance unit 171 , an acceleration/deceleration control unit 172 and a direction control unit 173 .
  • the emergency situation avoidance unit 171 Based on the detection results of the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, and the vehicle state detection unit 143, the emergency situation avoidance unit 171 detects collision, contact, entry into a dangerous zone, driver abnormality, vehicle It is possible to perform processing for detecting an emergency such as an abnormality.
  • the emergency avoidance unit 171 supplies data indicating the planned operation of the vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration/deceleration control unit 172 can perform acceleration/deceleration control for realizing the operation of the vehicle (own vehicle) planned by the operation planning unit 163 or the emergency avoidance unit 171 .
  • the acceleration/deceleration control unit 172 calculates a control target value of a driving force generating device or a braking device for realizing planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107 .
  • an emergency there are mainly two cases in which an emergency can occur.
  • One is that an unexpected accident or an accident-inducing factor occurs for a sudden reason during automatic driving on a road that was originally considered safe by LDM, etc. obtained from infrastructure on the driving route in automatic driving mode, and driving This is a case in which the emergency return of the hand is not in time.
  • Another is a case where it becomes difficult for some reason to switch from the automatic operation mode to the manual operation mode.
  • the direction control unit 173 can perform direction control for realizing the operation of the vehicle (own vehicle) planned by the operation planning unit 163 or the emergency avoidance unit 171 .
  • the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling trajectory or sharp turn planned by the operation planning unit 163 or the emergency avoidance unit 171, and controls indicating the calculated control target value.
  • a command is supplied to the driving system control unit 107 .
  • FIG. 6 is a diagram showing an example of the installation positions of the imaging devices of the sensor unit 113.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 shown in FIG. 6 to which the imaging devices can be applied are, for example, the front nose, side mirrors, rear bumper, back door, and upper part of the windshield in the vehicle 7900. provided in at least one position of
  • An imaging unit 7910 installed on the front nose and an imaging unit 7918 installed on the upper part of the windshield in the vehicle interior mainly acquire images in front of the vehicle 7900 .
  • Imaging units 7912 and 7914 installed in the side mirrors mainly acquire side images of the vehicle 7900 .
  • An imaging unit 7916 installed on a rear bumper or a back door mainly acquires an image behind the vehicle 7900 .
  • An imaging unit 7918 installed above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like. Further, in the future, in automatic driving, when the vehicle turns right or left, the use may be expanded to include pedestrians crossing the road on which the vehicle turns left or right in a wide range, and even the range of objects approaching the crossing.
  • FIG. 6 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d The imaging range of an imaging unit 7916 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • a bird's-eye view image of the vehicle 7900 viewed from above an all-surrounding stereoscopic display image surrounding the vehicle periphery with a curved plane, and the like. is obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and above the windshield in the vehicle interior of the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the exterior information detectors 7920, 7926, and 7930 provided above the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be LiDAR devices, for example.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like. These detection results may be applied to improve the three-dimensional object display of the bird's-eye view display and all-surrounding three-dimensional display.
  • FIG. 7 is an explanatory diagram for explaining examples of various sensors included in the sensor unit 113 according to this embodiment.
  • FIG. 7 is a diagram showing examples of various sensors included in the sensor unit 113 for obtaining information about the driver in the vehicle.
  • the sensor unit 113 is a detector for detecting the position and posture of the driver, which includes, for example, a ToF camera, a stereo camera, a seat strain gauge, and the like. - It has an attitude detection unit 200 .
  • the sensor unit 113 also has a face recognition unit 202, a face tracking unit 204, and an eyeball tracking unit (monitoring unit) 206 as detectors for obtaining biological information of the driver. Details of various sensors included in the sensor unit 113 according to the present embodiment will be sequentially described below.
  • the face recognition unit 202, the face tracking unit 204, and the eyeball tracking unit (monitoring unit) 206 can be composed of various sensors such as imaging devices, for example.
  • the face recognition unit 202 recognizes and detects the face of the driver or the like from the captured image, and outputs the detected information to the face tracking unit 204 .
  • a face tracking unit 204 detects movements of the driver's face and head based on the information detected by the face recognition unit 202 .
  • the eyeball tracking unit 206 detects the eyeball behavior of the driver. Details of the eyeball tracking unit 206 according to the embodiment of the present disclosure will be described later.
  • the sensor unit 113 may have a biological information detection unit 208 as another detector for obtaining biological information of the driver. Further, the sensor unit 113 may have an authentication unit 210 that authenticates the driver.
  • the authentication method of the authentication unit 210 is not particularly limited, and may be biometric authentication using face, fingerprint, iris of eyes, voiceprint, etc., in addition to knowledge authentication using a password or personal identification number. In the above description, main sensors included in the sensor unit 113 have been described, but the sensor unit 113 may include various other sensors.
  • FIG. 8 is an explanatory diagram for explaining an example of a unit that executes determination of a driver's arousal level according to the present embodiment.
  • the unit that executes determination of the arousal level of the driver includes part of the vehicle interior information detection unit 142 of the detection unit 131 shown in FIG. including. More specifically, FIG. A data base (DB) 310 is shown, which work together to determine the level of arousal of the driver.
  • DB data base
  • the eyeball behavior analysis unit 300 acquires the driver's eyeball behavior detected by the eyeball tracking unit 206 of the sensor unit 113 via the data acquisition unit 102 and analyzes the acquired eyeball behavior. For example, the eyeball behavior analysis unit 300 detects and analyzes eyeball behaviors such as saccades (eyeball rotation), fixation, and microsaccades (eyeball minute rotations) of the driver's eyes. Eyeball behavior information analyzed by the eyeball behavior analysis unit 300 is output to an eyeball behavior learning device 302 and a determination unit 320, which will be described later.
  • the eyeball behavior analysis unit 300 can dynamically switch the analysis mode according to the driving mode or the like.
  • the eyeball behavior analysis unit 300 can switch between at least two analysis modes (first analysis mode, second analysis mode).
  • first analysis mode such as 250 fps or more in one analysis mode (first analysis mode)
  • second analysis mode performs analysis in the other analysis mode (second analysis mode).
  • analysis mode analysis can be performed at a low frame rate (second frame rate) such as 60 fps.
  • the eyeball behavior analysis unit 300 determines the period of the preparation mode for switching (the period of the preparation mode for operation mode change). , intensively samples and analyzes eye movement at a high frame rate (first analysis mode). In this eye behavior analysis, the eye behavior analysis unit 300 observes (sampling) and analyzes the driver's microsaccades and involuntary eye movements. Then, the determination unit 320, which will be described later, determines the driver's arousal level (recovery response level) based on the analysis result.
  • the time length of the eye movement analysis period in the period of the preparation mode described above is set before the vehicle reaches the switching point of the driving mode according to the automatic driving level set on the route based on the LDM etc. It is preferable to determine the level (that is, the driver's response level for returning to manual driving) so as to ensure sufficient time for determining with high accuracy. Therefore, in the present embodiment, the starting point (monitoring point) of the eye movement analysis period during the preparation mode is the schedule (journey), LDM, road conditions, driving speed, vehicle type (trailer, general passenger car), driving It will be determined based on the seated state of the hand (state information obtained by steady cycle monitoring), etc., that is, the time length of the relevant period will change dynamically.
  • the eyeball behavior analysis unit 300 samples and analyzes the eyeball behavior at a low frame rate (second analysis mode). This eye movement analysis is performed as passive monitoring described above, for example, PERCLOS, saccades, fixation, etc. are also observed and analyzed, and performed to determine the drowsiness and fatigue of the driver.
  • the analysis frequency may be dynamically switched according to the automatic driving level (automatic driving level 3, automatic driving level 4). Level 3 may be executed more frequently than Autonomous Driving Level 4. As explained earlier, in automatic driving level 3, in order to ensure safe driving, it is expected that the driver will always be in a state of readiness to be able to immediately return to manual driving. . Therefore, in the automatic driving level 3, eye behavior analysis is performed frequently in order to detect drowsiness and fatigue and determine whether the driver can immediately return to manual driving. preferable.
  • the eye behavior analysis unit 300 may, for example, perform eye movement during the preparation mode period described above in order to acquire teacher data for the eye behavior learner 302 to learn later.
  • Eyeball behavior analysis may be performed at a high frame rate or a low frame rate in a period having a short time length compared to the time length of the behavior analysis period.
  • the eye behavior analysis unit 300 performs eye behavior analysis (first analysis mode) at a high frame rate when a decrease in the driver's arousal level is detected by passive monitoring in the automatic driving mode. may be executed.
  • the analysis result in this case becomes teacher data (teacher data labeled as eyeball behavior when the arousal level is lowered) for learning by the eyeball behavior learner 302, which will be described later.
  • the eye behavior analysis unit 300 analyzes the eye behavior at a low frame rate when the driving mode is the manual driving mode (second analysis mode).
  • This eye movement analysis is performed as passive monitoring described above, for example, PERCLOS, saccades, fixation, etc. are also observed and analyzed, and performed to determine the drowsiness and fatigue of the driver.
  • the eye behavior analysis unit 300 performs eye behavior analysis, which will be described later, in a situation where it is recognized that the driver is normally driving manually based on the driving behavior of the driver.
  • teacher data for learning by the learner 302 teacher data labeled as eyeball behavior when the arousal level is normal
  • an eyeball behavior analysis may be performed.
  • the eye movement analysis unit 300 In order to acquire the teacher data, the eye movement analysis unit 300, for example, in a period having a short time length compared to the time length of the eye movement analysis period in the preparation mode period, a high frame rate or a low frame rate Perform eye movement analysis at the rate. Further, even in the manual driving mode, the eye behavior analysis unit 300 performs eye behavior analysis at a high frame rate (first analysis mode) may be executed. The analysis result in this case also becomes teacher data (teacher data labeled as eyeball behavior when the arousal level is lowered) for learning by the eyeball behavior learner 302 described later.
  • teacher data teacher data labeled as eyeball behavior when the arousal level is lowered
  • the eyeball behavior analysis unit 300 does not always perform eyeball behavior analysis at a high frame rate. Inducing drive loads can be reduced. Furthermore, in the present embodiment, the eye behavior analysis unit 300 executes eye behavior analysis at a high event detection rate when necessary, so that the driver's arousal level (recovery response level) can be accurately determined. can. Continuous high-speed driving of the imaging unit at unnecessary timing is not only wasteful, but the heat generated by the imaging device and signal transmission is a factor in noise, and the sensitivity of the imaging performance decreases at the timing when the necessary high-speed imaging observation is required. There are detrimental effects.
  • the eye behavior learner 302 learns, as teacher data, the analysis results of the driver's eye behavior labeled with each arousal level acquired in the past, and generates a database 310 for determination by the determination unit 320 described later. and output to the storage unit 111 (see FIG. 5).
  • the eye behavior learner 302 can be a supervised learner such as a support vector regression or deep neural network.
  • the analysis result (eye behavior) and the labeled arousal level (normal or decreased) are input to the eye behavior learner 302 as an input signal and a teacher signal, respectively. 302 performs machine learning on the relationship between these input information according to predetermined rules.
  • the eye behavior learner 302 receives the above-described pairs of input signals and teacher signals, and performs machine learning on these inputs to determine the relationship between the analysis result (eye behavior) and the arousal level.
  • a database (DB) 310 that stores the relationship information shown is generated.
  • the generated DB 310 is not limited to being stored in the storage unit 111, and may be stored in a cloud server (not shown) in association with identification information for identifying the driver. good.
  • the stored DB 310 can be used even in different vehicles when the driver changes to a commercial vehicle or uses a shared car or a rental car. Furthermore, it is preferable that the information in the DB 310 is always updated regardless of where it is stored.
  • the evaluation criterion may be further normalized according to the vehicle.
  • the learning and generation of the database (DB) is explained by choosing between two options, whether the arousal level is normal or low, but it is further subdivided and classified into the recovery quality, and other driver state transitions are explained. Learning may be performed in association with information to improve the accuracy of predicting the quality of observable information acquired by observation means other than eyeball behavior and the awakening and recovery quality of the driver.
  • the determination unit 320 determines the driver's arousal level (recovery reaction level) based on the eye behavior analysis result analyzed by the eye behavior analysis unit 300 . For example, if it is confirmed that the driver is performing eye saccades, fixation, microsaccades, or other eye movements for problem solving, the determination unit 320 determines that the driver's arousal level is can be determined to be high. On the other hand, if these eyeball behaviors are not observed or if they are few, the determination unit 320 can determine that the driver's arousal level is low.
  • eyeball behavior shows different behavior when a person is in a normal arousal state and when a person is in a state of reduced consciousness and arousal. Furthermore, each person exhibits characteristic behavior. Therefore, in the present embodiment, the determination unit 320 performs determination by referring to the database (DB) 310 generated by the eyeball behavior learning device 302 in association with each driver. More specifically, in the present embodiment, the determination unit 320 stores the analysis result of the eyeball behavior of the driver during the preparation mode period in a database ( DB) 310 to determine the arousal level (recovery response level). Therefore, in the present embodiment, determination is made by referring to the eyeball behavior specific to each driver obtained based on learning, so that the accuracy of the determination can be improved. In addition, the difference in the characteristics of each person may be due to the visual characteristics of each person, or because visual confirmation works based on the visual memory of past risk factors, the manifestation of such differences is infinitely different.
  • the determination unit 320 can output determination results to the situation prediction unit 154 (see FIG. 5) and the planning unit (moving body operation control unit) 134 (see FIG. 5).
  • the planning unit 134 may plan to switch the operation mode based on the determination result of the determining unit 320 .
  • FIG. 9 is an explanatory diagram for explaining details of an operation example of the eyeball behavior analysis unit 300 according to the embodiment of the present disclosure.
  • the left end is the starting point (departure point), and the right end is the destination point (destination). do.
  • passive monitoring is performed intermittently at a predetermined frequency regardless of the operating mode.
  • passive monitoring includes eye behavior analysis at a low frame rate, and the eye behavior analysis includes, for example, PERCLOS evaluation by observing the entire eye, saccades as detailed eye behavior, fixation, etc. are also observed. , is analyzed and performed to determine driver drowsiness and fatigue.
  • eyeballs Behavioral analysis eg, microsaccades
  • the eyeball behavior analysis unit 300 executes eyeball behavior analysis at a high frame rate, for example.
  • passive monitoring detects a decrease in the driver's arousal level in the driving section in the manual driving mode of automatic driving level 2 shown on the left side of FIG.
  • passive monitoring may be performed more frequently, and eye movement analysis (for example, microsaccade) may be performed at a higher frame rate.
  • the analysis result of the eyeball behavior in this case becomes teacher data (teacher data labeled as eyeball behavior when the arousal level is lowered) for the eyeball behavior learner 302 to learn.
  • a warning or notification may be issued to the driver upon detection of a decrease in the arousal level of the driver. Active monitoring can be performed by the driver consciously responding to warnings and notifications.
  • the notification is performed by the vehicle control system 100 executing steering control with an unnecessary steering amount as active information, in which case the driver may adjust the steering to an appropriate steering amount.
  • the act of returning to is a conscious response.
  • active monitoring is not limited to being executed when the driver's arousal level is lowered, as indicated by the dashed line in FIG. good.
  • the driver is constantly making road environment perception judgment altitudes for manual driving. Not required.
  • eye movement analysis may be performed periodically.
  • the driver may leave the driver's seat in the driving section in Autonomous Driving mode of Autonomous Driving Level 4. During this period, it is difficult to perform regular eye movement analysis (difficult observation period). Therefore, passive monitoring may be performed more frequently during this period.
  • the eye movement analysis is performed intensively at a high frame rate. Furthermore, the time length of the eye movement analysis period determines the driver's arousal level with high accuracy before the vehicle reaches the driving mode switching point according to the automatic driving level set on the route based on LDM etc. It is preferably determined in such a way that there is sufficient time to do so. Therefore, in the present embodiment, the starting point (monitoring point) of the eye movement analysis period is the schedule (journey), LDM, road conditions, driving speed, vehicle type (trailer, general passenger car), driver's seating state (status information), etc., that is, the time length of the period changes dynamically.
  • eyeball behavior analysis is not always performed at a high frame rate, loads such as imaging processing and analysis processing can be reduced. Furthermore, in the present embodiment, eye movement analysis is performed at a high frame rate when necessary, so the driver's arousal level (recovery reaction level) can be determined with high accuracy.
  • various observations of the driver are continuously performed, trends are learned, and the recovery reaction level such as the arousal level is determined after considering the changes in the trends from time to time.
  • the experience and history of the driver affect the driver's perception, cognition, judgment, behavior, and the like.
  • the observed eyeball behavior changes greatly depending on how the driver perceives the necessity of returning (switching) from automatic driving to manual driving.
  • the search for visually available information increases; You can move from search to action without searching for information. Therefore, when information is lacking, the driver directs his/her gaze to the target and searches for the missing information through recognition of individual visual information. A fixation, etc. will be repeated.
  • the driver when the driver makes a risk judgment when returning from automatic driving to manual driving, the driver visually searches for information that remains in memory, has a high risk, and is insufficient for making a judgment. do. For example, if the driver has been watching videos or operating a mobile device without looking ahead for a while, first check the front of the vehicle to grasp the situation, and check the lanes and obstacles that affect the direction of travel of the vehicle. , Keep an eye on the movements of the parallel runner and the oncoming vehicle, perform procedures such as developing a fixation to understand the situation, and confirming the message information of the return request RTI (notification). In addition, for example, in urban areas where pedestrians are partly on the road and school zones where kindergarten children jump out are mixed, line of sight to check whether people are entering the road from the road periphery behavior dominates.
  • the system by which humans temporarily store and process information while performing cognitive tasks is called working memory.
  • Information necessary for human action judgment is accumulated and processed in the human working memory, but it is believed that there is a limit to the capacity and period of accumulation that can be accumulated. Specifically, the information stored in the working memory decays over time. For example, less important information is less important, so the working memory behaves like a dynamic cache memory.
  • the need for users to constantly check the surrounding environment information necessary for safe manual driving will gradually decrease as the area of operational design that can be used expands. As a result, the number of times the vehicle needs to check the front of the vehicle while driving is reduced or even eliminated.
  • the preliminary visual information of the traveling road required for judgment decreases.
  • the reason why drivers regularly drive in front of the road during manual driving is that there is a weighted stimulus of risk importance that can be a risk factor. will be refrained from.
  • the work that deviates from the driving and steering work increases, and the memory of the fading working memory lacks risk factors, as a result, the need to observe changes in the situation on a regular basis diminishes. Observation of behavior that In the present embodiment, considering the characteristics of the human working memory that information with low risk importance fades as stored information over time, the driver is instructed to perform appropriate manual driving at an appropriate timing. Information is provided and notified, and the driver's condition or response is observed.
  • visual information acquisition also includes the act of acquiring information for providing feedback on behavior control.
  • the information necessary for action determination can be obtained by using a human-machine interface such as the means disclosed in Patent Document 5 filed by the present applicant.
  • the driving route is divided into various sections (manual operation section, driver intervention required section, etc.), and the driving route is displayed to the driver with different colors and different widths for each section.
  • the driver constantly updates and provides the approach information along the route along the vehicle's itinerary.
  • the driver can perceive the approaching as an imminent risk because it is visually captured in the working memory of thinking as a risk.
  • providing visual approach information containing semantic information serves as a stimulus for confirming the situation before taking over given to the working memory.
  • the manner in which this update information is provided also affects the driver's visual behavior.
  • information provided to the driver may be factored in as an influencing factor to evaluate the observed behavior.
  • the driver will recognize the importance of the need to return from automatic driving to manual driving, accompanied by a sense of time approach.
  • visual information necessary for return is accumulated in the working memory of the driver.
  • the act of acquiring the missing information before moving to the action will be executed. .
  • the presentation information of the human-machine interface effectively planted (memorized) the prediction information required for driving in the working memory of the driver, and the driver felt the necessity of reconfirmation on the way. It is possible to keep the driver's unconsciousness shallow by appropriately providing the information that causes the driver to lose consciousness. As a result, the driver's judgment is hastened, leading to a reduction in the driver's recovery delay time (manual driving recovery possible time) disclosed in Patent Document 3 above.
  • the main focus is mainly on the analysis of eyeball behavior, but if the driver's arousal state is insufficient, the feedback of the acquired information may be performed incompletely as described above. , Various behaviors other than eyeball behavior appear, and in some cases, it may lead to excessive steering of the driver. Therefore, drivers who use the automatic driving function while regularly checking the forecast information that predicts the situation such as the point where automatic driving is switched to manual driving, and those who neglect such regular confirmation at all Drivers who are on the road will have different eyeball behaviors with respect to the return request RTI (notification). Furthermore, if the driver does not have enough time to return to manual driving and the situation is incomplete for manual driving, and the driver shifts to steering behavior, feedback on steering behavior will be incomplete. Overshooting steering with an inappropriate amount of steering, such as excessive steering wheel operation, may also occur.
  • the vehicle control system 100 is configured to Approach information presented along with it, additional information added to the presented risk information, notifications to the driver, actual return actions and eyeball behaviors induced by these, steering stability etc. It is built as a system that influences each other and determines the driver's return behavior. Note that the explanation of the observation learning of the learning is mainly based on the observation learning of the eyeball behavior. The state estimation may be extended to use other than the eyeball behavior.
  • the vehicle control system 100 it is required to grasp the state of the driver's brain activity in order to determine the recovery response level. For example, if the driver temporarily takes a nap before returning to manual driving, and his consciousness is completely separated from the steering, the memory necessary for grasping the situation (necessary for steering judgment) in the brain will be lost. The activity of referring and judging will decrease. In order to ascertain whether the state of activity for grasping the situation in the driver's brain, whose consciousness has once moved away from steering, has returned to the level of consciousness during steering, it is necessary to directly observe the activity in the brain.
  • fMRI Magnetic Resonance Imaging
  • EEG Electroencephalogram
  • the activity to make a judgment can be visually recognized and memorized. Therefore, by observing the driver's eyeball behavior (saccades, microsaccades, etc.), it is possible to estimate a part of the driver's activity.
  • the central visual field used to see details is narrow, so when information such as peripheral vision and sound is obtained, humans turn the central visual field in the corresponding direction. becomes.
  • the inertia of the head and eyeballs is smaller than when the entire body is moved, so the time required for the head and eyeballs to change direction is short. Therefore, the eye movement can be a high speed movement. Therefore, accurate observation of high-speed eye movement is effective for accurately estimating brain activity. For example, in analyzing the behavior of the saccade of the eyeball, it is necessary to observe changes in the line of sight due to high-speed rotation of the eyeball. Coordinate detection is required.
  • the present inventor uses an event vision sensor (EVS) to determine the driver's return reaction level (awakening level) by analyzing the eyeball behavior. I came up with the idea of observing
  • EVS event vision sensor
  • the EVS is an image sensor that sensitively detects changes in brightness. It has a wider dynamic range than general RGB sensors and IR sensors due to the logarithmic conversion characteristics of photoelectric conversion. Therefore, it is possible to easily obtain edge information (edge information, which is a changing point of the brightness boundary of the subject in a wide range from dark to bright, which is difficult for frame accumulation type RGB sensors and IR sensors).
  • edge information which is a changing point of the brightness boundary of the subject in a wide range from dark to bright, which is difficult for frame accumulation type RGB sensors and IR sensors.
  • the EVS has no concept of frame rate, and can output corresponding address information at a high data rate according to frequent changes in brightness.
  • the EVS sparsely outputs the time stamp information and pixel information (coordinate information) when the brightness change exceeds the threshold. The amount is smaller than that of RGB sensors and IR sensors, and the burden of data transmission and arithmetic processing can be lightened.
  • FIG. 10 is a block diagram showing an example configuration of the EVS 400 used in the embodiment of the present disclosure
  • FIG. 11 shows an example configuration of the pixels 502 located in the pixel array section 500 in the EVS 400 shown in FIG. It is a block diagram.
  • the EVS 400 has a pixel array section 500 configured by arranging a plurality of pixels 502 (see FIG. 11) in a matrix.
  • Each pixel 502 can generate a voltage corresponding to a photocurrent generated by photoelectric conversion as a pixel signal.
  • each pixel 502 can detect the presence or absence of an event by comparing a change in photocurrent corresponding to a change in luminance of incident light with a predetermined threshold. In other words, pixel 502 can detect an event based on a luminance change exceeding a predetermined threshold.
  • the EVS 2400 has a drive circuit 411, an arbiter section (arbitration section) 413, a column processing section 414, and a signal processing section 412 as peripheral circuit sections of the pixel array section 500.
  • each pixel 502 When detecting an event, each pixel 502 can output to the arbiter unit 413 a request to output event data representing the occurrence of the event. Then, each pixel 502 outputs the event data to the driving circuit 411 and the signal processing unit 412 when receiving a response indicating permission to output the event data from the arbiter unit 413 . Also, the pixel 502 that has detected the event outputs a pixel signal generated by photoelectric conversion to the column processing unit 414 .
  • the driving circuit 411 can drive each pixel 502 of the pixel array section 500 .
  • the drive circuit 411 detects an event, drives the pixel 502 that outputs the event data, and outputs the pixel signal of the corresponding pixel 502 to the column processing unit 414 .
  • the arbiter unit 413 arbitrates requests requesting the output of event data supplied from each pixel 502, responds based on the arbitration result (permission/non-permission of event data output), and resets event detection. A reset signal can be sent to the pixel 502 to do so.
  • the column processing unit 414 can perform processing for converting analog pixel signals output from the pixels 502 of the corresponding column into digital signals for each column of the pixel array unit 500 .
  • the column processing unit 414 can also perform CDS (Correlated Double Sampling) processing on digitized pixel signals.
  • the signal processing unit 412 performs predetermined signal processing on the digitized pixel signals supplied from the column processing unit 414 and the event data output from the pixel array unit 500, and converts the signal-processed event data ( time stamp information, etc.) and pixel signals can be output.
  • a change in the photocurrent generated by the pixel 502 can be regarded as a change in the amount of light (luminance change) incident on the pixel 502 . Therefore, an event can also be said to be a luminance change of pixel 502 exceeding a predetermined threshold. Furthermore, the event data representing the occurrence of an event can include at least positional information such as coordinates representing the position of the pixel 502 where the light intensity change as the event has occurred.
  • each pixel 502 has a light receiving section 504 , a pixel signal generation section 506 and a detection section (event detection section) 508 .
  • the light receiving unit 504 can photoelectrically convert incident light to generate a photocurrent. Then, the light receiving unit 504 can supply a voltage signal corresponding to the photocurrent to either the pixel signal generating unit 506 or the detecting unit 508 under the control of the driving circuit 411 .
  • the pixel signal generation unit 506 can generate the signal supplied from the light receiving unit 504 as a pixel signal. Then, the pixel signal generation unit 506 can supply the generated analog pixel signals to the column processing unit 414 via vertical signal lines VSL (not shown) corresponding to columns of the pixel array unit 500 .
  • the detection unit 508 detects whether an event has occurred based on whether the amount of change in photocurrent from the light receiving unit 504 (that is, the amount of change in luminance due to incident light on the pixel 502) exceeds a predetermined threshold. can be done.
  • the events can include, for example, an ON event indicating that the amount of change in photocurrent has exceeded the upper threshold, and an OFF event indicating that the amount of change has fallen below the lower threshold. Note that the detection unit 508 may detect only on-events.
  • the detection unit 508 can output to the arbiter unit 413 a request to output event data representing the occurrence of the event. Then, when receiving a response to the request from the arbiter unit 413 , the detection unit 508 can output event data to the drive circuit 411 and the signal processing unit 412 .
  • the detection of the pupils of the eyes of the parts of the driver's face is particularly specialized, and when used in the behavior analysis of that area, the area to which the arbiter unit 413 reads and allocates is defined as an ROI (Region of Interest).
  • ROI Region of Interest
  • a limited ROI reading function may be provided.
  • the target area is a quasi-circular ellipse, it is possible to further define the target area of the search arbiter by the center point and the radius, and save the read data.
  • EVS 400 detects an event based on a change in luminance exceeding a predetermined threshold, as described above. Therefore, for example, when the threshold value is decreased, the EVS 400 detects even a small change in luminance as an event, so that many detected events occur and the data amount of the detected events increases. As a result, the amount of data exceeds the transmission band of the interface, and a problem may arise in that the data cannot be transmitted to other functional blocks or the like.
  • the events detected by the EVS 400 become sparse with respect to the rotation of the eyeball, and the point consists of a coordinate group that moves over time based on the movement of the pupil boundary line.
  • a problem may occur in that the movement point of the cloud cannot be observed with high accuracy.
  • the inventor of the present invention has created the embodiment of the present disclosure in view of such circumstances.
  • the observation of the eye behavior is optimized by adjusting a threshold that can define the frequency of event detection of the EVS 400. be able to.
  • the lighting devices that illuminate the driver may be dynamically adjusted accordingly.
  • the illumination device can be adjusted arbitrarily by the shutter of the light source device, etc. Therefore, optimization adjustment is possible. There is a merit of high flexibility such as being able to perform
  • the event detection of the EVS 400 is performed at the timing when the eyeball behavior needs to be observed. Adjust the threshold of By doing so, saccade behavior and microsaccade behavior can be captured efficiently and accurately while suppressing an increase in the amount of data and reducing the load on arithmetic processing and transmission.
  • a filter that selectively transmits narrow-band wavelength light is used at the timing when the eyeball behavior needs to be observed. is used to illuminate the driver's face with light of the narrow band wavelength.
  • FIGS. 12 to 12 to 14 are explanatory diagrams for explaining the installation positions of the imaging devices 700 and 702 according to this embodiment.
  • the imaging device 700 is an imaging device that mainly observes the position of the driver 900 inside the vehicle 600, and also observes the face and sitting posture of the driver 900 sitting in the driver's seat 602 (see FIG. 13). is.
  • the imaging device 700 can be an RGB camera (visible light camera) or a ToF camera.
  • the imaging device 700 may be the EVS 400 .
  • the imaging device 700 is preferably provided on the upper front side of the driver's seat 602 inside the vehicle 600 .
  • the imaging device 702 is an imaging device that captures an image of the inside of the vehicle 600. More specifically, the EVS 400 that mainly observes eyeball behavior (eyeball saccade, fixation, microsaccade, etc.) of the driver 900. It is an imaging device consisting of. Note that in this embodiment, the imaging device 702 may observe not only the behavior of the eyeballs, but also the condition of the face of the driver 900 and various conditions inside the vehicle 600 . In addition, as shown in FIG. 12, the imaging device 702 is preferably provided in the vehicle 600 near the front lower side of the driver's seat 602 and below the steering wheel.
  • the imaging device 700 is provided above and in front of the driver's seat 602 in the vehicle 600, and is mainly seated on the driver's seat 602. It has a wide angle of view so that the figure of the driver 900 can be captured.
  • the imaging device 702 is provided so as to face the face of the driver 900 so that it can mainly capture the face of the driver 900 seated in the driver's seat 602 . More specifically, as shown in FIG. 13, the image pickup device 702 is arranged in a line-of-sight direction 902 ( preferably below the horizontal far-infinity line of sight. Furthermore, the imaging device 702 can observe the pupils of the driver 900 from the front, so that the angle ⁇ between the line segment connecting the eyeballs of the driver 900 and the imaging device 702 and the line of sight direction 902 is It is preferable that the angle is set to be 10 degrees or more and less than 30 degrees.
  • the camera arrangement can be arranged without obstructing the driver's 900 direct field of vision using a half mirror, a wavelength selection mirror, etc., and the angle ⁇ formed by the optical axis of the imaging device is 10 degrees. It doesn't have to be more.
  • the imaging device 702 preferably has an angle of view that can capture at least the face of the driver 900 seated in the driver's seat 602 when viewed from above the vehicle 600 .
  • FIG. 15 is an explanatory diagram for explaining an example of a unit that observes the eyeball behavior of the driver 900 according to this embodiment.
  • the unit that observes the eyeball behavior of the driver 900 includes a part of the in-vehicle information detection unit 142 shown in FIG. and an illumination unit 710 that illuminates at least the face.
  • observation of the eyeball behavior of the driver 900 according to the present embodiment is performed.
  • Each functional block shown in FIG. 15 will be sequentially described below.
  • the imaging device 702 is an imaging device that observes the eyeball behavior of the driver 900 as described above, and is composed of the EVS 400 .
  • the imaging device 702 is controlled by the sensor control unit 330 to be described later, and outputs observed data to the eyeball behavior analysis unit 300 .
  • Illumination unit 710 is provided in vehicle 600 and can irradiate the face of driver 900 with light of a predetermined wavelength (for example, near-infrared light) when capturing eyeball behavior of driver 900 .
  • the illuminating unit 710 mainly disposes a filter that transmits light with a wavelength of 940 nm or more and 960 nm or less in the imaging device lens, so that the light of the narrow band wavelength is emitted to the driver at the timing when the eyeball behavior needs to be observed.
  • the face of 900 By illuminating the face of 900, the influence of external light can be suppressed.
  • near-infrared light with little external light (sunlight) noise can make the boundary shade between the iris and the pupil of the eye remarkable.
  • Eyeball behavior (saccade behavior) can be selectively, efficiently and accurately observed.
  • the lighting unit 710 may adjust the intensity of the light to be emitted, the irradiation time, the irradiation interval, etc., by the lighting control unit 332, which will be described later, so that the behavior of the driver's 900 eyeballs can be more easily captured.
  • a wavelength sensitivity other than the above settings may be used in accordance with the type of light source used and the wavelength sensitivity distribution of the light receiving section of the imaging device.
  • the imaging device 702 when used as an imaging device that only observes eyeball behavior, the above filter may be applied to the imaging device 702 . By doing so, the imaging device 702 can capture only the reflection of near-infrared light with little noise of external light.
  • the sensor control section 330 is provided inside the vehicle interior information detection section 142 and controls the imaging device 702 . Specifically, the sensor control unit 330 changes the threshold that can define the event detection frequency of the imaging device 702 that is the EVS 400 when capturing the eyeball behavior of the driver 900 . By doing so, the imaging device 702 can observe eyeball behaviors such as saccades, microsaccades and drifts, blink detection, changes in facial expressions, etc., while suppressing an increase in the amount of data. Event detection can be performed at the optimum frequency to accurately capture changes.
  • the imaging device 702 has a function of capturing not only the eyeball behavior of the driver 900 but also the position and posture of the driver 900, by temporarily optimizing the threshold for observing the eyeball behavior, It becomes possible to observe the eyeball behavior with high accuracy.
  • the sensor control unit 330 sets, for example, a region in the pixel array unit 500 of the imaging device 702 that captures the face or eyeballs of the driver 900 as an ROI (Region of Interest), and The threshold for the pixel 502 may be changed so that only the data for that pixel 502 is output. Further, the sensor control section 330 may analyze the observed data by the eyeball behavior analysis section 300 and may change the threshold by receiving the analysis result as feedback.
  • ROI Region of Interest
  • Illumination control unit 332 is provided in vehicle interior information detection unit 142 and controls illumination unit 710 . Specifically, the lighting control unit 332 controls the intensity of the light from the lighting unit 710, the irradiation time, or the irradiation interval when capturing the eyeball behavior of the driver 900. FIG. By doing so, it becomes easier for the imaging device 702 to capture the eyeball behavior of the driver 900 . Furthermore, the illumination control unit 332 analyzes the observed data by the eyeball behavior analysis unit 300, and receives the analysis results as feedback to control the intensity of the light from the illumination unit 710, the irradiation time, or the irradiation interval. good too.
  • the eyeball behavior analysis unit 300 analyzes data observed by the imaging device 702 . Specifically, the eyeball behavior analysis unit 300 distinguishes the type of eyeball behavior (saccade, microsaccade, etc.) based on the shape of the point distribution consisting of the position coordinate points of the pixels 502 of the imaging device 702 that detected the event. can do. More specifically, the eyeball behavior analysis unit 300 analyzes that a microsaccade has occurred when the appearance of a point distribution having a crescent shape is detected. Furthermore, in the present embodiment, the analysis result of the eye behavior analysis unit 300 is used for determination by the determination unit 320 (determination of the driver's return response level), and based on the determination result of the determination unit 320, the driving mode will be switched.
  • the determination unit 320 determination of the driver's return response level
  • FIG. 16 and 17 are flowcharts for explaining an example of the information processing method according to this embodiment
  • FIG. 18 is an explanatory diagram for explaining an example of observation data observed by the imaging device 702.
  • the information processing method according to this embodiment can include steps from step S31 to step S44. Details of each of these steps according to the present embodiment will be described below.
  • the vehicle control system 100 evaluates the transition of the driver 900 from leaving the seat to returning to the driving posture in the driver's seat 602 (step S31).
  • the vehicle control system 100 determines whether the driver 900 is seated on the driver's seat 602 and returned to the driving posture (step S32). If the driver 900 is seated on the driver's seat 602 and has returned to the driving posture (step S32: Yes), the process proceeds to step S33, and the driver 900 is not seated on the driver's seat 602 or has returned to the driving posture. If not (step S32: No), the process returns to step S31.
  • the position and posture of the driver 900 may be specified by detecting the face of the driver 900 from observation data observed by the imaging devices 700 and 702 described above.
  • the vehicle control system 100 confirms the driving posture of the driver 900 and identifies the positions of the driver's 900 face and eye regions (step S33).
  • the positions of the face and eyeballs of the driver 900 are specified. good too.
  • the vehicle control system 100 sets a region within the pixel array section 500 that captures the face or eyeballs of the imaging device 702 as an ROI (Region of Interest) according to the position of the face or eyeballs of the driver 900 (step S34). .
  • ROI Region of Interest
  • the vehicle control system 100 sets a region within the pixel array section 500 that captures the face or eyeballs of the imaging device 702 as an ROI (Region of Interest) according to the position of the face or eyeballs of the driver 900 (step S34). .
  • ROI Region of Interest
  • the imaging device 702 has a function of capturing not only the eyeball behavior of the driver 900 but also the position and posture of the driver 900, by temporarily optimizing the threshold for observing the eyeball behavior, It becomes possible to observe the eyeball behavior with high accuracy.
  • the vehicle control system 100 adjusts a threshold (event detection threshold) that can define the event detection frequency of the imaging device 702 (step S35). At this time, only the threshold value of the pixel 502 corresponding to the ROI set in step S34 described above may be adjusted.
  • the threshold may be set to a predetermined numerical value according to the eyeball behavior (saccade, microsaccade) to be observed. attribute information (iris color, age, gender, etc.).
  • the threshold value may be set according to the time of driving, the weather, and the influence of outside light expected from the surrounding conditions of the road (topography, tunnel, etc.) during driving. Furthermore, in the present embodiment, it may be set based on the tendency of the observation data of the eyeball behavior of the driver 900 that is machine-learned in each driving.
  • the imaging device 702 detects, as an event, the change in luminance caused by this movement.
  • the imaging device 702 which is the EVS 400, is set to a threshold value suitable for observing microsaccades, so that the microsaccades can be captured with high accuracy from the event point distribution (point cloud). can.
  • microsaccades are caused by the movement of the skeletal muscles that pull the eyeball around the eyeball: the superior/inferior rectus muscle, the lateral/medial rectus muscle, and the superior/inferior oblique muscle.
  • lateral movement of the pupil is mainly caused by the superior/inferior rectus muscles and the lateral/medial rectus muscles. What is important here is to capture microsaccades, which are exploratory movements, as a revival of thinking activities necessary for brain activity based on visual information.
  • the vehicle control system 100 adjusts the irradiation unit (light source) (step S36).
  • the vehicle control system 100 adjusts the intensity of the light from the lighting unit 710, the irradiation time, or the irradiation interval. In this embodiment, by doing so, it becomes easier for the imaging device 702 to capture the eyeball behavior of the driver 900 .
  • the vehicle control system 100 determines whether or not event data distributed in a crescent shape is detected as eyeball behavior from the observed data (step S37). For example, as a microsaccade, when the eyeball rotates at high speed as shown in FIG. A set of period points is detected as a crescent-shaped distribution. As the eyeball rotates, the area with the largest amount of crossing movement on the imaging plane is the thick central part of the crescent moon. The sum of the events that have occurred appears as such a crescent-shaped area. For microsaccades, individual rotations are primarily random wiggles within the fixation. If event data distributed in a crescent shape is detected (step S37: Yes), the process proceeds to step S38.
  • step S37 If event data distributed in a crescent shape is not detected (step S37: No), steps S35 and S36 are performed. back to The reason why the set of points generated by the movement of the eyeball is distributed as a crescent is that the pupil boundary is swept as the image plane moves for a certain period of time, and the generated event points are collected as a result of the work. .
  • the set of points generated by the movement of the eyeball is distributed as a crescent is that the pupil boundary is swept as the image plane moves for a certain period of time, and the generated event points are collected as a result of the work.
  • it When graphically illustrated with a finer time resolution, it becomes a circular arc with a line width distribution, but is expressed as a crescent moon in order to explain the principle constituting the present embodiment in an easy-to-understand manner.
  • the actual pupil color, shape, and sharpness of the boundaries vary from person to person, and also vary depending on lighting conditions, usable light source wavelengths, hand path widths of narrow-band filters, and other factors.
  • the time-series set of detected point clouds may not be a crescent moon with a clear contour. Described herein as detecting a crescent distribution including detection events occurring in ocular microbehavior when those distinct regions are not relevant. That is, in the present embodiment, the shape of the detected event data distribution may be, for example, a crescent shape, or may be another shape, and is not particularly limited.
  • FIG. 18 schematically shows a crescent-shaped dark-light (left) point cloud and a crescent-shaped light-dark (right) point cloud, which are generated by microsaccades. Then, while the driver 900 repeatedly refers to and understands the memory, by performing fixation with random eye movement by microsaccades, the imaging device 702 captures a crescent-shaped point cloud and In the vicinity, the boundary line of the pupil is observed. In other words, in the case of microsaccades, a point cloud with a shape different from that of a wide point cloud with, for example, the width of the pupil, caused by a large saccade movement between normal fixations is observed. By observing the crescent-shaped point cloud, it is possible to observe the expression of thinking activity in the brain.
  • saccades and microsaccades can be distinguished by the shape of the observed point clide.
  • a saccade which is a movement of the direction of fixation performed on an object at a significantly different position, is observed as a thick belt-shaped point cloud in a certain direction along the movement of the saccade.
  • the microsaccade during fixation in detailed information search is observed as a crescent-shaped point cloud that fluctuates rapidly around the fixation direction. Therefore, saccades and microsaccades can be distinguished by the shape of the observed point clide.
  • step S37 when event data distributed in a crescent shape is not detected (step S37: No), event detection by the imaging device 702 is performed based on the analysis result of observation data by the imaging device 702. , the intensity of light from the illumination unit 710, the irradiation time, the irradiation interval, or the like may be adjusted again.
  • the event determination threshold and the illumination light source are adjusted so that events occur with a frequency that can be grasped as a crescent distribution due to the movement of the pupil boundary accompanying the pupil rotation caused by the microsaccade.
  • the imaging device 702 of the vehicle control system 100 outputs a coordinate point group (point cloud) of luminance change pixels (step S38).
  • the vehicle control system 100 performs detailed analysis of the point group that constitutes the eyeball behavior based on the point clide output in step S38 (step S39).
  • the vehicle control system 100 performs a detailed evaluation of eyeball behaviors, ie, eyeball behaviors such as saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation) (step S40).
  • eyeball behaviors ie, eyeball behaviors such as saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation)
  • eyeball behaviors such as saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation)
  • saccade Since it directly analyzes the limited data itself that is actually output, it is an estimation (analytic evaluation) of brain activity, so it is a normal series of multiple-frame images that searches the entire image to detect the pupil. It does not perform high-load arithmetic processing such as processing analysis.
  • the difference between saccade and microsaccade is that the former saccade starts from the starting point of the saccade and continuously extends as a belt-shaped point cloud over the target direction.
  • the vehicle control system 100 converts the eyeball behavior of the driver 900 into a saccade (eyeball rotation), a fixation (fixation), and a microsaccade (eyeball minute rotation) that occurs during the fixation for visual confirmation. If it corresponds, it is determined whether or not it is an eyeball behavior (step S41). If the eye movement for visual confirmation is detected (step S41: Yes), the process proceeds to step S43, and if the eye movement for visual confirmation is not detected (step S41: No), the process proceeds to step S42. .
  • the vehicle control system 100 reaches the upper limit of the time budget (allowable limit time at which there is a risk of exceeding the takeover limit point while maintaining automatic driving when MRM is not activated) that is allowed for the awakening return determination in the predetermined determination process. It is determined whether or not it has reached (step S42). If the upper limit of retry allowance is reached (step S42: Yes), the process proceeds to step S44, and if not (step S42: No), the process returns to step S38. Then, the vehicle control system 100 determines whether or not the driver 900 has an arousal level at which manual driving can be resumed, and records observation data as the cognitive response of the driver 900 (step S43). Further, the vehicle control system 100 determines that it cannot be confirmed within the remaining time budget that the driver 900 has an arousal level that allows manual operation to be resumed, and the vehicle 600 moves to a manual operation section such as an emergency stop. (step S44).
  • the upper limit of the time budget allowable limit time at which there is a risk of exceeding
  • Step S43 is processed by a flow having substeps shown in FIG.
  • Step S43 may include steps S51 through S55. Details of each of these substeps are described below.
  • the vehicle control system 100 determines whether or not the driver 900 has an arousal level at which manual driving can be resumed (step S51). If the determination has been performed (step S51: Yes), the process proceeds to step S52, and if the determination has not been performed (step S51: No), the above-described step S43 is performed, and the process returns to step S51. .
  • the vehicle control system 100 determines whether or not it has been determined that the driver 900 has an arousal level at which manual driving can be resumed (step S52). If it is determined that the driver 900 has an arousal level that allows manual operation to be resumed (step S52: Yes), the process proceeds to step S53, where the driver 900 has an arousal level that allows manual operation to be resumed. If it is determined that there is no (step S52: No), the process proceeds to step S54.
  • the vehicle control system 100 switches from the automatic driving mode to the manual driving mode (more specifically, it starts preparatory processing for switching) (step S53).
  • the vehicle control system 100 determines whether or not the predetermined upper limit of the number of retries for determination processing has been reached (step S54). If the upper limit of the number of retries has been reached (step S54: Yes), the process proceeds to step S55, and if not (step S54: No), the process returns to step S51. In addition, the number of retries must not exceed the handover standby allowable limit point.
  • the vehicle control system 100 determines that the arousal level evaluation has failed, that is, it cannot be confirmed that the driver 900 has the arousal level that allows the driver to return to manual driving, and ends the process. In this case, returning to manual operation is not permitted, and the vehicle performs processing such as an emergency stop to avoid entering the manual operation section (step S55).
  • the basis of this setting is a measure to prevent the return from awakening in a situation where the return to wakefulness is ambiguous. None disables the override function. If it is not possible to confirm an early return, the purpose of setting a limit point where it can be handled and then invalidating it is the basic purpose. A hasty return will prevent an induced accident.
  • FIG. 19 is an explanatory diagram for explaining a partial configuration of the vehicle control system 100 for executing the process of determining the awakening level of the driver 900.
  • FIG. 19 shows the face tracking unit 204 and the eyeball behavior analysis unit 300 described above, the display information DB (Data Base) 800 stored in the storage unit 111, and the display information provided in the output control unit 105.
  • a generator 802 and a display 804 are shown.
  • a face tracking unit (Driver Facial Tracker) 204 detects movement information of the face and head of the driver 900 and outputs it to the display information generating unit 802 .
  • the display information generation unit 802 generates tasks to be displayed on the display unit 804 after confirming that the driver 900 is seated in the driver's seat 602 . Specifically, for example, a task is generated to answer the number of small animal silhouettes among the plurality of displayed silhouettes.
  • the display information DB 800 stores data that can be used to generate various assignments. A specific example of the problem will be described later. Although presenting tasks to the driver is not necessarily an essential step in normal use, some drivers neglect to check the surroundings even though they are awake. Since some users aimlessly start handover without visually confirming the surrounding situation, by encouraging the driver to artificially grasp the situation again, micro soccer will appear for the visual confirmation target required at that time. It is an effective task generation for estimating activity in the brain through the detection of de. In other words, this is an embodiment in which the task is performed artificially when the line-of-sight checking operation for checking the surroundings of the vehicle, which should be performed naturally, cannot be expected.
  • the driver 900 moves his or her line of sight to the task in order to obtain the answer to the task.
  • the display unit 804 displays a visual task that requires judgment such as answering the number of silhouettes of small animals among a plurality of silhouettes.
  • the driver 900 performs an eye movement to supplement necessary information in order to obtain an answer to this task. For example, eyeball actions such as eyeball saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation) are performed.
  • the eye behavior analysis unit 300 recognizes the task generated by the display information generation unit 802 and then analyzes the eye behavior of the driver 900 observing the task displayed on the display unit 804 .
  • the display unit 804 faces the face of the driver 900 and is positioned below the line of sight when the driver 900 sees an object located at infinity ahead. is preferred.
  • This eyeball behavior shows different behavior when a person is in a normal arousal state and when a person is in a state of reduced consciousness and arousal.
  • a person performs a large eyeball rotation called a saccade, directs the eyeball (more precisely, the central visual field) to a predetermined visual point, In the vicinity of it, fixation (fixation) and eyeball movement accompanied by microsaccades, which are minute eyeball rotation movements in local regions, are performed.
  • FIG. 20 is an explanatory diagram for explaining an example of the trajectory of the eyeball behavior of the driver 900 when the visual task of viewing information is presented.
  • FIG. 20(a) shows a task, specifically, the task of counting the number of silhouettes of small animals among a plurality of silhouettes.
  • the order of gaze differs depending on the viewer. Some subjects look at the question text "Q” first, while others look at the answer "Ans” and look at the question text "Q” and look at the entire drawing of the array. There are various things such as looking at it quickly and then looking at the problem. However, what is important in brain activity evaluation is that the driver 900, who is the subject of the evaluation, is unable to execute the search and fixation required to confirm the acquisition of information necessary for the answer at that moment. It is to evaluate whether the behavior to move is expressed.
  • FIGS. 20(b) and (c) The observation data shown in FIGS. 20(b) and (c) will be described as an example.
  • (b) shows eyeball behavior when coping with a task in a state of high arousal.
  • (c) shows an example of the trajectory of the eyeball behavior when the visual task coping ability is reduced.
  • visual information search including eyeball saccades shows a remarkable tendency of so-called eye swimming. is. This is influenced by individual tendencies, such as behavioral traits such as strabismus and effectiveness, and changes in visual acuity due to the physical condition of the day. It is better to make a judgment by considering the characteristics of each individual after specifying the
  • the system presents the driver 900 with symbols that require some mental judgment, for example, and observes eye movements.
  • the driver 900 preferentially executes the thinking activity in the brain to deal with the task, and other secondary actions are performed. It is inferred that they are not immersed in the task.
  • the system may detect that the line of sight of the driver 900 has turned to the presentation information, and may perform processing for determining completion of recognition upon further visual recognition of the detection.
  • the driver is manually driving, there is an obligation to monitor the surroundings when driving. Although it is not always required to generate the target visual information in the display information generation unit 802, by including means for displaying, even on a monotonous road that does not attract the driver's attention, the driver's attention can be displayed more flexibly. It is possible to grasp the state.
  • the learning data is generated, for example, by a learning device (not shown) included in the vehicle control system 100 or an external server.
  • the learning device acquires the eye behavior information analyzed by the eye behavior analysis unit 300, acquires the awakening level information of the driver 900 determined by the determination unit 320 based on the eye behavior information, and further 900 driving/steering information is also acquired. Then, based on the acquired information, the learning device learns the correct correspondence relationship between the eyeball behavior of the driver 900 and the arousal level of the driver 900 at the time of the eyeball behavior, and stores it in the storage unit as learning data. do.
  • the learning device performs context-adaptive determination by performing interlocking learning with input influence factors such as the correlation with the biosignals of the driver 900 from other biosensors (not shown) and usage hours during the day. may be performed to improve the accuracy of determination.
  • the determination unit 320 acquires the eye behavior information analyzed by the eye behavior analysis unit 300, and uses the eye behavior information and the learning data generated by the learning device to perform more accurate wakefulness determination.
  • the correspondence data between general eyeball behavior and arousal level is used to calculate the arousal level without using the learning data. It is good also as composition which judges.
  • the eyeball behavior analysis unit 300 performs eyeball saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation), which are eyeball behaviors for problem solving by the driver 900.
  • Acquire eyeball behavior such as The learning device repeatedly acquires the behavioral characteristics corresponding to the degree of alertness of the driver 900, performs cumulative learning, and builds a dictionary for judging the degree of alertness from the eyeball behavior. This dictionary is used to estimate the arousal state of the user at the time of observation from newly observed eyeball behavior characteristics.
  • 21 and 22 are flowcharts of the information processing method of the driver's 900 awakening level determination process. Hereinafter, processing of each step shown in FIG. 21 will be described in order.
  • step S61 the movement of the face of the driver 900 by the face tracking unit (Driver Facial Tracker) 204 is acquired. Based on the obtained facial movement of the driver 900, it is determined whether the driver 900 is seated in the driver's seat 602 or has returned to the driving posture (step S61). If the driver 900 is seated on the driver's seat 602 and has returned to the driving posture (step S61: Yes), the process proceeds to step S62, where the driver 900 is not seated on the driver's seat 602 or is in the driving posture. (step S61: No), the process returns to step S61.
  • step S62 It is determined whether eye movement analysis processing can be executed for the driver 900 (step S62). For example, if the driver 900 is not at the position where the display unit 804 is located, even if the task is displayed on the display unit 804, the task cannot be seen. If the eyeball behavior analysis process is executable (step S62: Yes), the process proceeds to step S63, and if the eyeball behavior analysis process is not executable (step S62: No), the process returns to step S62.
  • step S63 The display information to be displayed to the driver 900, that is, the task is generated (step S63).
  • step S63 the display information generated in step S63, that is, the assignment is displayed on the display unit 804 (step S64).
  • step S65 the eyeball behavior of driver 900 guided by the task displayed in step S64 is analyzed (step S65).
  • step S66 wakefulness determination processing is executed (step S66).
  • step S64 described above when the task generated by the display information generating unit 802 is displayed on the display unit 804, the driver 900 moves his or her line of sight to the task in order to obtain the answer to the task.
  • the driver 900 develops an eyeball behavior for supplementing necessary information. For example, eyeball actions such as eyeball saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation) are performed.
  • the eyeball behavior analysis unit 300 analyzes these eyeball behaviors of the driver 900 .
  • the eye behavior information analyzed by the eye behavior analysis unit 300 is output to the determination unit 320 .
  • the determination unit 320 determines the wakefulness of the driver 900 based on the eye behavior information analyzed by the eye behavior analysis unit 300 .
  • Determination unit 320 determines that driver 900 is highly alert. On the other hand, when these eyeball behaviors are not observed, or when there are few of them, the determination unit 320 determines that the driver's 900 level of alertness is low.
  • step S65 the details of the processing of step S65 described above will be described.
  • the eyeball behavior analysis unit 300 acquires observation data of the eyeball behavior of the driver 900 after the task is displayed (step S71). For example, the eye movement analysis unit 300 acquires acceleration data of eye movement of the driver 900 detected by the eye tracking unit (Driver Eye Tracker) 206 .
  • the eye tracking unit Driver Eye Tracker
  • the eye behavior analysis unit 300 acquires eye behavior information such as eye saccades (eye rotation), fixation, and microsaccades (micro eye rotation) from the observation data acquired in step S71. (Step S72).
  • eye behavior information such as eye saccades (eye rotation), fixation, and microsaccades (micro eye rotation) from the observation data acquired in step S71.
  • the driver 900 performs an eye movement to acquire information necessary for solving the task. For example, eyeball actions such as eyeball saccade (eyeball rotation), fixation, and microsaccade (eyeball minute rotation) are performed.
  • the eyeball behavior analysis unit 300 extracts the eyeball behavior information of the driver 900 from the observation data.
  • the eyeball behavior analysis unit 300 determines whether or not sufficient observation data has been acquired for determination of arousal (step S73). Specifically, the eye behavior analysis unit 300 extracts eye behavior information such as eye saccades (eye rotation), fixation, and micro saccades (micro eye rotation) extracted from the observation data of the driver 900. is sufficient data to determine whether or not the data corresponds to the problem solving process. And when it determines with it being enough (step S73: Yes), it progresses to step S74, and when it determines with it not being enough (step S73: No), it returns to step S72.
  • eye behavior information such as eye saccades (eye rotation), fixation, and micro saccades (micro eye rotation) extracted from the observation data of the driver 900. is sufficient data to determine whether or not the data corresponds to the problem solving process. And when it determines with it being enough (step S73: Yes), it progresses to step S74, and when it determines with it not being enough (step S73: No), it returns to step S72.
  • the determination unit 320 determines the arousal level of the driver 900 based on the analysis result of the observation data of the driver's eyeball behavior after the task presentation (step S74). Specifically, the determination unit 320 determines whether the driver 900 executes an eyeball behavior such as an eyeball saccade (eyeball rotation), a fixation, or a microsaccade (eyeball minute rotation) in order to solve the problem. Analyze whether or not there is. Then, the determining unit 320 determines that the eyeball behavior of the driver 900 corresponds to a saccade (eyeball rotation), a fixation, or a microsaccade (eyeball minute rotation) for problem solving. If so, it is determined that the awakening level of the driver 900 is high.
  • an eyeball behavior such as an eyeball saccade (eyeball rotation), a fixation, or a microsaccade (eyeball minute rotation) in order to solve the problem. Analyze whether or not there is. Then, the determining unit 320 determines that the eye
  • the information processing method described above presents a visual task to the driver 900 before returning to manual driving, and analyzes the eyeball behavior of the driver 900 that occurs when the task is resolved.
  • the eyeball behavior of the driver 900 is to induce a specific eyeball behavior such as a saccade (eyeball rotation) for problem solving, a fixation, or a microsaccade (eyeball minute rotation).
  • a specific eyeball behavior such as a saccade (eyeball rotation) for problem solving, a fixation, or a microsaccade (eyeball minute rotation).
  • the state of the driver 900 is in a state of internal arousal in the brain sufficient to start manual driving recovery. Specifically, from the analysis of these eyeball behaviors, when it is determined that the driver 900 has fully recovered from wakefulness, it is determined that the driver 900 has a high level of wakefulness that allows manual operation. Allow to start driving. On the other hand, if it is determined that these eyeball behaviors have not sufficiently occurred, it is determined that the driver 900 does not have a high level of arousal that enables manual operation, and the start of manual operation is not permitted. In this case, emergency evacuation processing such as stopping before entering the manual operation section is performed.
  • the process from confirming the visual information for the actual task to finding the solution of the task is based on the driver's 900 state at that time, the state of repeated implementation of the same task, the behavioral characteristics of checking the question after looking at the answer options, the degree of fatigue, and the corresponding time. It may differ greatly due to the influence of various factors such as eyesight, visual fatigue, external light interference, and mental well-being. Therefore, in order to make a judgment with high accuracy, it is necessary to generate a driver generated by learning processing such as recovery quality (normal recovery, delayed recovery, recovery abandonment, system emergency response) at the time of handover execution that occurs each time from long-term repeated use It is preferable to use 900-specific return predictive dictionary data. Furthermore, as described repeatedly, it is desirable to use return prediction dictionary data specific to the driver 900 to perform normal return prediction based on the eyeball behavior characteristic analysis results. These processes make it possible to start safe manual operation.
  • the data used for determining whether the driver 900 is ready to start safe manual driving and the data input to the learning device are It is preferable to include vehicle, road environment information, status obtained from driver's biosignals, and history information.
  • the driver 900 determines whether or not the driver 900 has an arousal level that allows the driver to return to manual driving based on the eyeball behavior of the driver 900 of the mobile device capable of switching between automatic driving and manual driving. described as applicable in some cases.
  • the analysis of the eyeball behavior is to analyze the brain activity of the subject using observation data that can be observed from the outside, other than determining the state of the driver 900 at the time of handover from automatic driving to manual driving can also be used in various ways.
  • the eyeball behavior analysis method described above observes the results of correlation with stored information for tasks, and can be used in a variety of ways by observing and judging reactions to presented tasks.
  • the process of obtaining the answer will reflect the subject's state and psychology. Therefore, it is also possible to apply this method to the authenticity determination of respondents when presenting a reporting task such as a drinking report or overwork report, for example.
  • the above-described task presentation need not be limited to the operation of the vehicle 600.
  • various events and occupations such as aircraft operation, train operation, crane operation, air traffic controller, remote automated driving controller, etc.
  • extension to authenticity evaluation by psychological analysis at the time of self-reporting Also available.
  • the superior temporal sulcus of the temporal lobe activates when the subject selects the visual information needed to solve a task
  • the interparietal sulcus activates when he/she turns his attention
  • the frontal eye field activates when he/she moves the eye. It is known.
  • the hippocampus inside the temporal lobe works to recall what is remembered.
  • the eyeball behavior analysis processing described above can also be used as verification and monitoring processing of the mental health of a subject such as the driver 900 . Specifically, for example, by using it for grasping the condition and managing the health of the driver 900 of a commercial vehicle such as a bus or a taxi, safe operation can be made possible.
  • the eyeball behavior of the driver 900 using the EVS 400 when observing the eyeball behavior of the driver 900 using the EVS 400, by adjusting the threshold that can define the frequency of event detection of the EVS 400, the eyeball Behavioral observations can be optimized. Also, in embodiments of the present disclosure, lighting devices that illuminate the driver 900 may be adjusted. By doing so, according to the embodiment of the present disclosure, observation of eyeball behavior such as saccade, microsaccade and drift, detection of blinks, changes in facial expression, etc. can be performed while suppressing an increase in the amount of data. Event detection can be performed at the optimum frequency in order to accurately capture changes that are the object of observation.
  • the event detection of the EVS 400 is performed at the timing when the eyeball behavior needs to be observed. Adjust the threshold of By doing so, saccade behavior and microsaccade behavior can be captured efficiently and accurately while suppressing an increase in the amount of data and reducing the load on arithmetic processing and transmission.
  • a filter that selectively transmits narrow-band wavelength light is used at the timing when the eyeball behavior needs to be observed. is used to illuminate the driver's 900 face with light of the narrow band wavelength. By doing so, the boundary shading formed by the iris and the pupil of the eyeball can be made remarkable, so that the saccade behavior can be selectively, efficiently and accurately observed.
  • an automobile was described as an example, but the present embodiment is not limited to being applied to automobiles, automobiles, electric vehicles, hybrid electric vehicles, motorcycles, and personal mobility. , airplanes, ships, construction machines, agricultural machines (tractors) and the like.
  • the eye movement is not the conscious behavior of the subject, but the reflexive action to the visual information and the intentional correction of the reflexive action, a delay behavior appears in the behavior until the correction.
  • the embodiments of the present disclosure can also be applied to remote steering operations of various mobile objects and the like.
  • FIG. 23 is a hardware configuration diagram showing an example of a computer 1000 that implements at least part of the functions of the automatic driving control unit 112.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from an input/output device 1650 such as a keyboard, mouse, and microphone via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 executes the program stored in the RAM 1200 to control the sensor control unit 330 and lighting. It realizes the function of the control unit 332 .
  • the HDD 1400 also stores an information processing program and the like according to the present disclosure.
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the sensor control unit 330 and the lighting control unit 332 according to the present embodiment are composed of a plurality of devices on the premise of connection to a network (or communication between devices), such as cloud computing. may be applied to the system. That is, the information processing apparatus according to the present embodiment described above can be realized as an information processing system according to the present embodiment by, for example, a plurality of apparatuses.
  • An example of the hardware configuration of at least part of the automatic driving control unit 112 has been described above.
  • Each component described above may be configured using general-purpose members, or may be configured by hardware specialized for the function of each component. Such a configuration can be changed as appropriate according to the technical level of implementation.
  • the above-described embodiments of the present disclosure include, for example, an information processing method executed by an information processing apparatus or an information processing system as described above, a program for operating the information processing apparatus, and a program in which the program is recorded. may include non-transitory tangible media that have been processed. Also, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the information processing method according to the embodiment of the present disclosure described above does not necessarily have to be processed in the described order.
  • each step may be processed in an appropriately changed order.
  • each step may be partially processed in parallel or individually instead of being processed in chronological order.
  • the processing of each step does not necessarily have to be processed in accordance with the described method, and may be processed by another method by another functional unit, for example.
  • the details are described based on the automatic driving level defined by SAE, but the concept of classifying the use of automatic driving by the automatic driving level is the design viewpoint of the vehicle 600 It is a classification classified by
  • the user when viewed from the user's point of view, the user always correctly understands and understands the permitted autonomous driving level in the operation design area where operation at each level is permitted according to the available autonomous driving level.
  • it cannot be said that it is necessarily easy for the driver 900 to drive in accordance with the automatic driving level of the vehicle 600 .
  • the situation that the vehicle system can handle changes dynamically over time due to various external and internal factors, and in situations where the level of automated driving during driving cannot be determined uniquely based only on physical road sections.
  • the driver 900 is required to subordinately respond to the level that the vehicle control system 100 is allowed to follow depending on the road conditions.
  • looking at the relationship between the driver 900 and the vehicle control system 100 from an ergonomic point of view in order to achieve the purpose of using the vehicle 600, which is movement, and to obtain secondary benefits during that time, Behavioral decisions are made by looking at the balance between the burden of driving and the various risks that accompany it.
  • the burden refers to the task of steering the vehicle 600 for movement and the constant risk incurred in doing so.
  • the advantage of automatic driving when viewed from the driver's 900 point of view is to be freed from the restraint of driving and to make it possible to use that time meaningfully without being involved in driving and using it without being dependent on driving.
  • it can be said that it is necessary to convert the concept that supports automated driving control to the concept of Human Centered Design, which reverses the relationship of the conventional concept of Machine Centered Design.
  • the driver 900 can use it as a "operation design area" for designing the vehicle 600. From an ergonomic point of view, it can be said that the use of autonomous driving that permits various actual autonomous driving functions depending on the arousal and physical readiness that can be handled according to the level of autonomous driving is desirable from an ergonomic perspective.
  • the driver 900 learns behavior so that he/she can make appropriate preparations for return according to the upper limit of the autonomous driving steering environment allowed on each road. Furthermore, for the driver 900 who has progressed in such behavioral learning, withdrawal from higher automatic driving level 4 or the like, that is, withdrawal from driving and steering work by advanced automatic driving driving that can obtain the benefit of performing NDRA etc. allow. On the other hand, the driver 900 cannot be observed to indicate an expected appropriate return, or the driver 900 returns based on the observed state of the driver 900 by referring to the driver's 900 past return response history and learning data.
  • the automatic operation control is a mode of use of the vehicle 600 that is easy for people to use. That is, by changing the control concept of the automatic driving system of the vehicle 600 from the so-called machine centered design to the human centered design, it becomes possible to provide a user-friendly mode of use through automatic driving control.
  • the adaptive control using the driver's 900 state observation means has been described based on the former Machine Centered Design. However, even if it is replaced with the Human Centered Design, the driver's 900 state observation means of the driver 900 is similarly caused to switch from automatic driving to manual driving (taking over).
  • Adaptive control can be implemented using
  • an event vision sensor that captures an image of the inside of a moving object; a sensor control unit that controls the event vision sensor; with The event vision sensor, a pixel array section having a plurality of pixels arranged in a matrix; an event detection unit that detects that a luminance change amount due to incident light exceeds a predetermined threshold in each pixel; has The sensor control unit changes the value of the predetermined threshold value when the event vision sensor captures the eyeball behavior of a driver sitting in the driver's seat of the mobile body.
  • Information processing equipment (2) The information processing apparatus according to (1), wherein the eyeball behavior includes at least one of eyeball saccade, fixation, and microsaccade.
  • the information processing apparatus includes a filter that transmits light with a wavelength of 940 nm or more and 960 nm or less.
  • the irradiation unit includes a filter that transmits light with a wavelength of 940 nm or more and 960 nm or less.
  • the information processing apparatus according to (9) or (10) above, further comprising an irradiation control unit that controls intensity, irradiation time, or irradiation interval of light from the irradiation unit.
  • the irradiation control unit performs control based on an analysis result of the eyeball behavior analysis unit.
  • (13) further comprising a display information generation unit that generates a task and displays it on the display unit; The eye behavior analysis unit analyzes the eye behavior of the driver observing the task displayed on the display unit.
  • the information processing apparatus according to any one of (5) to (12) above.
  • (14) The information according to (13) above, wherein the display faces the driver's face and is positioned below a line-of-sight direction when the driver sees an object positioned at infinity ahead. processing equipment.
  • the event vision sensor faces the driver's face and is positioned downward with respect to the line-of-sight direction, A line segment connecting the eyeball of the driver and the event vision sensor forms an angle of 10 degrees or more and less than 30 degrees with the line of sight direction.
  • the information processing device according to (14) above.
  • (16) The information processing device according to (15) above, wherein the event vision sensor has an angle of view capable of capturing at least the driver's face.
  • an event vision sensor that captures an image of the inside of a moving object; a sensor control unit that controls the event vision sensor;
  • An information processing method executed by an information processing device comprising The event vision sensor, a pixel array section having a plurality of pixels arranged in a matrix; an event detection unit that detects that a luminance change amount due to incident light exceeds a predetermined threshold in each pixel; has changing the value of the predetermined threshold value when capturing the eye movement of a driver sitting in the driver's seat of the moving object by the event vision sensor;
  • Information processing methods including: (20) An information processing program that causes a computer to execute a control function of an event vision sensor that captures an image of the inside of a mobile object, The event vision sensor, a pixel array section having a plurality of pixels arranged in a matrix; an event detection unit that detects that a luminance change amount due to incident light exceeds a predetermined threshold in each pixel; has causing the computer to execute a function of changing the value of the predetermined threshold value
  • vehicle control system 101 input unit 102 data acquisition unit 103 communication unit 104 in-vehicle equipment 105 output control unit 106 output unit 107 drive system control unit 108 drive system system 109 body system control unit 110 body system system 111 storage unit 112 automatic operation control unit 113 sensor unit 121 communication network 131, 508 detection unit 132 self-position estimation unit 133 situation analysis unit 134 planning unit 135 operation control unit 141 vehicle exterior information detection unit 142 vehicle interior information detection unit 143 vehicle state detection unit 151 map analysis unit 152 traffic rule recognition Section 153 Situation Recognition Section 154 Situation Prediction Section 161 Route Planning Section 162 Action Planning Section 163 Motion Planning Section 171 Emergency Avoidance Section 172 Acceleration/Deceleration Control Section 173 Direction Control Section 200 Position/Posture Detection Section 202 Face Recognition Section 204 Face Tracking Section 206 Eye tracking unit 208 Biometric information detection unit 210 Authentication unit 300 Eye behavior analysis unit 302 Eye behavior learning device 310 DB 320 determination unit 330 sensor control unit 332 illumination control unit 400 EVS 411 drive

Abstract

移動体の内部を撮像するイベントビジョンセンサ（４００）と、前記イベントビジョンセンサを制御するセンサ制御部（３３０）とを備え、前記イベントビジョンセンサは、マトリクス状に配列する複数の画素を有する画素アレイ部（５００）と、前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部（５０８）とを有し、前記センサ制御部は、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、情報処理装置を提供する。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　昨今、車両制御システム（情報処理システム）が車両を制御する自動運転技術の開発が盛んに行われている。そして、自動運転技術が普及した場合であっても、実際の道路インフラの整備状況等により、上記システムが自立的に自動運転制御を行うことが可能な道路区間である自動運転可能区間と、自動運転が許容されない道路区間である手動運転区間とが混在する状況が生じることが予想される。すなわち、完全に自立して上記システムによって連続的に自動運転走行を行う状況ばかりではなく、上述のような自動運転モードから、運転手によって操舵を行う手動運転モードに切り替えなくてはならない状況が生じ得る。
　そして、このような自動運転モードから手動運転モードへの切り替えの際には、事故等の誘発を避けるべく、上記システム側で運転手の手動運転モードへの復帰対応レベルを判定し、手動運転への復帰が可能であると判定された場合にのみ、実行されることが望ましい。そこで、例えば、上記システムにおいては、人間の脳の認知等の活動結果が反映されていると考えられている眼球挙動を解析することにより、運転手の覚醒レベルを検出し、手動運転モードへの復帰対応レベルを判定するといった手段を、復帰対応レベルの判定手段の１つとして用いることが考えられる。
国際公開第２０１７／１９５４０５号
　ところで、マイクロサッカードやトレモアといった眼球挙動は高速運動であることから、このような眼球挙動を高精度で観測することが難しい。そこで、フレームレートという概念がないＥｖｅｎｔ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ（ＥＶＳ）を用いて、眼球挙動を観測することが考えられる。しかしながら、単にＥＶＳを眼球挙動の観測に適用しただけでは、データ量の増加を避けることが難しく、さらには、眼球挙動を精度よく観測することに限界があった。
　そこで、本開示では、データ量の増加を抑えつつ、眼球挙動を精度よく観測することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　本開示によれば、移動体の内部を撮像するイベントビジョンセンサと、前記イベントビジョンセンサを制御するセンサ制御部とを備え、前記イベントビジョンセンサは、マトリクス状に配列する複数の画素を有する画素アレイ部と、前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部とを有し、前記センサ制御部は、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、情報処理装置が提供される。
　また、本開示によれば、移動体の内部を撮像するイベントビジョンセンサと、前記イベントビジョンセンサを制御するセンサ制御部とを備える情報処理装置で実行される情報処理方法であって、前記イベントビジョンセンサは、マトリクス状に配列する複数の画素を有する画素アレイ部と、前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部とを有し、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、ことを含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータに、移動体の内部を撮像するイベントビジョンセンサの制御機能を実行させる情報処理プログラムであって、前記イベントビジョンセンサは、マトリクス状に配列する複数の画素を有する画素アレイ部と、前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部とを有し、前記コンピュータに、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する機能を実行させる、情報処理プログラムが提供される。
自動運転レベルの例を説明するための説明図である。 本開示の実施形態に係る走行の一例を説明するためのフローチャートである。 本開示の実施形態に係る自動運転レベルの遷移の一例を説明するための説明図である。 本開示の実施形態に係るモニタリング動作の一例を説明するフローチャートである。 本開示の実施形態に係る車両制御システム１００の詳細構成の一例について説明するための説明図である。 センサ部１１３が有する撮像装置の設置位置の例を示す図である。 センサ部１１３に含まれる各種センサの例を説明するための説明図である。 本開示の実施形態に係る、運転手の覚醒レベルの判定を実行するユニットの例を説明するための説明図である。 本開示の実施形態に係る眼球挙動解析部３００の動作例の詳細を説明するための説明図である。 本開示の実施形態で使用されるＥＶＳ４００の構成の一例を示すブロック図である。 図１０に示すＥＶＳ４００における画素アレイ部５００に位置する画素５０２の構成の一例を示すブロック図である。 本開示の実施形態に係る撮像装置７００、７０２の設置位置を説明するための説明図（その１）である。 本開示の実施形態に係る撮像装置７００、７０２の設置位置を説明するための説明図（その２）である。 本開示の実施形態に係る撮像装置７００、７０２と設置位置を説明するための説明図（その３）である。 本開示の実施形態に係る、運転手の眼球挙動の観測を実行するユニットの例を説明するための説明図である。 本開示の実施形態に係る情報処理方法の一例を説明するフローチャート（その１）である。 本開示の実施形態に係る情報処理方法の一例を説明するフローチャート（その２）である。 撮像装置７０２により観測される観測データの一例を説明するための説明図である。 運転手の覚醒度の判定処理を実行するための、車両制御システム１００の一部構成を説明するための説明図である。 情報を見る視覚課題を提示した際の運転手の眼球挙動の軌跡の一例を説明するための説明図である。 運転手の覚醒度判定処理の情報処理方法のフローチャート（その１）である。 運転手の覚醒度判定処理の情報処理方法のフローチャート（その２）である。 自動運転制御部１１２の少なくとも一部の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。
　以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、本開示の実施形態においては、自動車の自動運転に適用した場合を例に説明するが、本開示の実施形態は自動車に適用されることに限定されるものではなく、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体に適用することができる。さらに、本開示の実施形態においては、上記移動体は、その操舵モードが、自動運転モードと、１つ以上の運転タスクを自動で実行する自動運転モードとの間で切り替え可能であるものとする。また、移動体に限らず監視操作員が適宜介在する必要がある自動制御装置に広く応用してもよい。
　なお、説明は以下の順序で行うものとする。
　　１．　自動運転レベルの例について
　　２．　走行の例について
　　３．　自動運転レベルの遷移の例について
　　４．　モニタリングの例について
　　５．　車両制御システムの詳細構成
　　６．　センサ部１１３の概略構成
　　７．　運転手の覚醒レベルの判定を実行するユニットの概略構成
　　８．　眼球挙動解析部３００の動作例について
　　９．　本開示の実施形態を創作するに至る背景
　　　　　９．１　ＥＶＳの使用
　　　　　９．２　ＥＶＳについて
　　　　　９．３　本開示の実施形態を創作するに至る背景
　　１０．　実施形態
　　　　　１０．１　設置位置について
　　　　　１０．２　ユニットの構成
　　　　　１０．３　情報処理方法
　　　　　１０．４　実施例
　　１１．　まとめ
　　１２．　ハードウェア構成
　　１３．　補足
　＜＜１．　自動運転レベルの例について＞＞
　まずは、本開示の実施形態の詳細を説明する前に、自動運転技術の自動運転レベルについて、図１を参照して説明する。図１は、自動運転レベルの例を説明するための説明図である。図１においては、ＳＡＥ（Ｓｏｃｉｅｔｙ　ｏｆ　Ａｕｔｏｍｏｔｉｖｅ　Ｅｎｇｉｎｅｅｒｓ）により定義された自動運転レベルを示している。なお、以下の説明においては、上記ＳＡＥで定義された自動運転レベルを基本的に参照して説明する。ただし、図１に示される自動運転レベルの検討においては、自動運転技術が広く普及した場合の課題や妥当性が検討し尽くされていないことから、以下の説明においては、これら課題等を踏まえ、必ずしもＳＡＥの定義通りの解釈で説明していない個所も存在する。
　本明細書においては、車両走行においては、先に説明したような、手動運転と自動運転との２つに大別されるものではなく、システム側が自動で行うタスクの内容によって、段階的に分類される。例えば、図１に示すように、自動運転レベルは、例えばレベル０からレベル４までの５段階に分類されるものとする（なお、無人での自動運転可能なレベルまで含めた場合には、６段階となる）。まずは、自動運転レベル０は、車両制御システムによる運転支援のない手動運転（運転手の直接運転操舵）であって、運転手が、全ての運転タスクを実行し、安全運転（例えば、危険を回避する行動）に係る監視も実行する。
　次に、自動運転レベル１は、車両制御システムによる運転支援（自動ブレーキ、ＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）、ＬＫＡＳ（Ｌａｎｅ　Ｋｅｅｐｉｎｇ　Ａｓｓｉｓｔａｎｔ　Ｓｙｓｔｅｍ）等）が実行され得る手動運転（直接運転操舵）であって、運転手が、補助された単一機能以外の全ての運転タスクを実行し、安全運転に係る監視も実行する。
　次に、自動運転レベル２は、「部分運転自動化」とも称され、特定の条件下で、車両制御システムが車両の前後方向及び左右方向の両方の車両制御に係る運転タスクのサブタスクを実行する。例えば、当該自動運転レベル２においては、車両制御システムが、ステアリング操作と加減速との両方を連携しながら制御する（例えば、ＡＣＣとＬＫＡＳとの連携）。ただし、当該自動運転レベル２においても、運転タスクの実行主体は基本的には運転手であり、安全運転に係る監視の主体も運転手となる。
　また、自動運転レベル３は、「条件付自動運転」とも称され、車両制御システムが当該車両に搭載された機能で対処が可能とされる条件が整った限られた領域内で全ての運転タスクを実行することができる。当該自動運転レベル３においては、運転タスクの実行主体は車両制御システムであり、安全運転に係る監視の主体も基本的には車両制御システムである。ただし、当該レベルでは、車両制御システムに対して、全ての状況下での対処が求められるのではない。車両制御システムの介入要求等に対して、予備対応時の利用者（運転手）は、適切に応答することが期待され、また、場合によっては、車両制御システムが自律的に発見できないいわゆるサイレントフェイリャー（Ｓｉｌｅｎｔ　Ｆａｉｌｕｒｅ）と呼ばれるシステム故障の対応を行うことが求められる。
　ところで、ＳＡＥで定義された自動運転レベル３においては、運転手が実際にどのような２次タスク（ここで「２次タスク」とは、走行中に運転手が行う、運転に関する動作以外の動作）を実行することが可能かについては明確に定義されていない。詳細には、運転手は、自動運転レベル３での走行中に、操舵以外の作業や行動、例えば、携帯端末の操作、電話会議、ビデオ鑑賞、読書、ゲーム、思考、他の搭乗者との会話等の２次タスクを行うことができると考えられる。一方、ＳＡＥの自動運転レベル３の定義の範囲においては、システム障害や走行環境の悪化等に起因する車両制御システム側からの要求等に応じて、運転手が運転操作を行う等の対応を適切に行うことが期待されている。従って、当該自動運転レベル３においては、安全走行を確保するために、上述のような２次タスクを実行している状況であっても、運転手は、すぐに手動運転に復帰可能であるような準備状態を常時維持していることが期待されることとなる。
　さらに、自動運転レベル４は、「高度運転自動化」とも称され、車両制御システムが限られた領域内で全ての運転タスクを実行する。当該自動運転レベル４においては、運転タスクの実行主体は車両制御システムであり、安全運転に係る監視の主体も車両制御システムとなる。ただし、当該自動運転レベル４においては、上述の自動運転レベル３とは異なり、システム障害等に起因する車両制御システム側からの要求等に応じて運転手が運転操作（手動運転）を行う等の対応を行うことは期待されていない。従って、当該自動運転レベル４においては、運転手は、上述のような２次タスクを行うことが可能となり、状況次第では、例えば、条件が整っている区間ででは一時的な仮眠をとることも可能である。
　以上のように、自動運転レベル０から自動運転レベル２においては、運転手が全てあるいは一部の運転タスクを主体的に実行する手動運転モードで走行することとなる。従って、これら３つの自動運転レベルにおいては、運転手が、走行時の注意低下や前方注意を損なうような、手動運転及びそれに関係する動作以外の行為である２次タスクに従事することは、許容されない。
　一方、自動運転レベル３においては、車両制御システムが全ての運転タスクを主体的に実行する自動運転モードで走行することとなる。ただし、先に説明したように、自動運転レベル３では、運転手が運転操作を行う状況が生じ得る。従って、自動運転レベル３においては、運転手に対して２次タスクを許容した場合には、運転手に対しては、２次タスクから手動運転に復帰できるような準備状態にあることが求められる。
　さらに、自動運転レベル４での車両走行が許容される状況が整っているとされる場合には、車両制御システムが全ての運転タスクを実行する自動運転モードで走行することとなる。しかしながら、実際の道路インフラにおける整備状況等により動的に状況が変化することから、走行ルートの一部に自動運転レベル４を適用することができない区間が走行旅程途中で判明する場合がある。そのような場合、該当する区間に接近進入をする前に、例えば、条件次第で認められる自動運転レベル２以下に、設定、遷移することが求められる。そして、このように自動運転レベル２以下に設定された区間では、運転手に対して、主体的に運転タスクを実行することが求められることとなる。すなわち、自動運転レベル４であっても、上述したように旅程途中で状況が刻々と変化することから、事前に自動運転レベル４として計画された旅程途中であっても、実際には自動運転レベル２以下への遷移が発生し得ることとなる。従って、運転手に対しては、自動運転レベルの遷移が通知された以降に、適切な事前予告タイミングで２次タスクから手動運転に復帰できる準備状態に移行することが求められる。
　＜＜２．　走行の例について＞＞
　次に、上述した自動運転レベルを踏まえて、図２を参照して、本開示の実施形態に係る走行の例について説明する。図２は、本開示の実施形態に係る走行の一例を説明するためのフローチャートである。図２に示すように、本開示の実施形態に係る走行においては、車両制御システムは、例えば、ステップＳ１１からステップＳ１８までのステップを実行することとなる。以下に、これら各ステップの詳細について説明する。
　まず、車両制御システムは、運転手認証を実行する（ステップＳ１１）。当該運転手認証は、運転免許証、車両キー（携帯無線機を含む）等による所有物認証、パスワードや暗証番号等による知識認証、あるいは顔、指紋、瞳の虹彩、声紋等による生体認証により行うことができる。さらに、本実施形態においては、上記運転手認証は、所有物認証と知識認証と生体認証との全て、もしくは、これらのうちに２つが併用されて行われてもよい。本実施形態においては、走行を開始する前に、このような運転手認証が実行されることにより、複数の運転手が同一の車両を運転する場合であっても、各運転手の眼球挙動等の履歴といった各運転手固有の情報を各運転手に紐づけて取得することが可能となる。なお、本実施形態においては、車両に複数の搭乗者（乗員）が搭乗し、複数の搭乗者が運転手となり得る場合には、全ての運転手に関して認証を行うことが好ましい。
　次に、運転手等により例えば後述する入力部１０１（図３　参照）が操作されることにより、目的地が設定される（ステップＳ１２）。なお、ここでは、車両に乗車して目的地の設定を行う例を説明したが、本開示の実施形態においてはこれに限定されるものではない。例えば、車両制御システムは、車両に乗車する前にスマートフォン等（車両制御システムと通信可能であるものとする）に手入力された目的地情報やカレンダ情報に基づき、目的地を事前設定してもよい。もしくは、当該車両制御システムは、事前にスマートフォン等やクラウドサーバ等（車両制御システムと通信可能であるものとする）に格納されたスケジュール情報等を、コンセルジュサービスを介して取得することにより、自動的に目的地を事前設定してもよい。
　そして、車両制御システムは、設定された目的地に基づき、走行ルート等のプリプラニング設定を行う。さらに、車両制御システムは、設定した走行ルートの道路環境の情報等、すなわち車両が走行する道路の走行地図情報が高密度に常時更新されたものであるローカルダイナミックマップ（ＬＤＭ）情報等を取得、更新する。この際、車両制御システムは、旅程中の走行に沿って、一定の区間毎に、これから走行することとなる区間に対応するＬＤＭ等の取得を、繰り返すこととなる。加えて、車両制御システムは、取得した最新のＬＤＭ情報等に基づき、走行ルート上の各区間に適切な自動運転レベルを適宜更新し、再設定する。従って、自動運転レベル４として区間進入を開始したとしても、時々刻々更新された情報から、旅程開始時には判明していなかった新たな手動運転への引継点が検出された場合には、運転手に対して、引継ぎを求める通知の認識や変化箇所に応じた引継対応が求められることとなる。
　次に、車両制御システムは、走行ルート上の走行区間表示を開始する。そして、車両制御システムは、設定した自動運転レベルに従って、走行を開始する（ステップＳ１３）。なお、走行が開始されると、車両（自車）の位置情報と取得したＬＤＭ更新情報に基づいて、走行区間の表示が更新されていくこととなる。なお、本明細書においては、「走行」には、自動運転から手動運転へと運転手が復帰できなかった際に、自動で行う安全対処も含まれ、より具体的には、例えば、車両制御システムが判断したＭＲＭ等に伴う停車も含まれる。
　次に、車両制御システムは、運転手の状態のモニタリング（観測）を適宜実行する（ステップＳ１４）。本開示の実施形態においては、当該モニタリングは、例えば、運転手の復帰対応レベルを判定するための教師データを取得するために実行される。また、本実施形態においては、当該モニタリングは、旅程開始後に発生した想定外の自動運転からの手動運転へ復帰要請を含め、走行ルート上の各区間に設定された自動運転レベルに従って運転モードを切り替えるために必要な事前の運転手の状態確認や、復帰通知のタイミングが適切に行われ、運転手がそれら通知や警報に適切に復帰行動を行ったか等、走行環境の継時変化によって確認が必要な状況で、実行される。
　次に、車両が、走行ルート上の各区間に設定された自動運転レベルに基づく自動運転モードから手動運転モードへの切り替え地点に到達した場合には、車両制御システムは、運転モードを切り替えることができるかどうかの判定を行う（ステップＳ１５）。そして、車両制御システムは、運転モードを切り替えることができると判定した場合（ステップＳ１５：Ｙｅｓ）には、ステップＳ１６の処理へ進み、運転モードを切り替えることができないと判定した場合（ステップＳ１５：Ｎｏ）には、例えば、ステップＳ１８の処理へ進む。
　次に、車両制御システムは、運転モードを切り替える（ステップＳ１６）。さらに、車両制御システムは、車両（自車）が目的地に到着したかどうかの判定を行う（ステップＳ１７）。車両制御システムは、車両が目的地に到着した場合（ステップＳ１７：Ｙｅｓ）には、処理を終了し、自車が目的地に到着していない場合（ステップＳ１７：Ｎｏ）には、ステップＳ１３の処理へ戻る。以降、車両制御システムは、車両が目的地に到着するまで、ステップＳ１３からステップＳ１７までの処理を適宜繰り返すこととなる。また、運転モードを、自動運転から手動運転で切り替えることができない場合には、車両制御システムは、ＭＲＭ等による緊急停車を実行してもよい（ステップＳ１８）。
　なお、図２のフローチャートは、概略説明のための図であり、引継に伴う際の詳細な手順や引継になった際の状態確認、自動制御での対処処理や判定の詳細手順についての説明や詳細ステップの記載は割愛し、単純なモデルとしてフローを示している。つまり、ステップＳ１３での処理では、運転手が、復帰ができなかった場合に自動で行う一連の対処処理を包含しているとして、その説明の記載を割愛している。
　なお、本開示の実施形態においては、同じ道路区間であっても、車両の性能や、道路の状況や、天候等に応じて、許容される自動運転レベルは時々刻々と変化し得る。また、同一車両でも自車両に搭載した機器の一次的な汚れやセンサの汚れ等により、検出性能が低下した場合に応じ、許容されるＯｐｅｒａｔｉｏｎａｌ　Ｄｅｓｉｇｎ　Ｄｏｍａｉｎ（ＯＤＤ）も変化することがある。従って、出発地から目的地まで走行する間に、許容される自動運転レベルも変化することがある。さらに、自動運転から手動運転への切り替え対応が求められるような自動運転レベルの遷移の場合、当該対応のための引継ぎ区間も設定される場合がある。従って、本開示の実施形態においては、刻々と変化する様々な情報に基づき、ＯＤＤが設定、更新されることとなる。なお、本明細書では、インフラや走行環境等に応じて許容される自動運転レベル毎の実際の利用範囲を「運行設計領域」（ＯＤＤ）と呼ぶ。
　さらに、走行する車両に対して設定されたＯＤＤが変化した場合、運転手に許容される２次タスクの内容も変化することとなる。言い換えると、ＯＤＤに応じて、許容されない２次タスクの内容が変化することから、運転手の交通規則違反とされる行動の内容の範囲も変化することとなる。例えば、自動運転レベル４の場合に、読書等の２次タスクを行うことが許容されても、自動運転レベル２に遷移した場合には、読書等の２次タスクは、違反行為となる。加えて、自動運転においては、急な自動運転レベルの遷移も存在することから、運転手は、状況によっては、２次タスクからすぐに手動運転に復帰できる準備状態にあることが求められることとなる。
　＜＜３．　自動運転レベルの遷移の例について＞＞
　次に、図３を参照して、さらに詳細に、本開示の実施形態に係る自動運転レベルの遷移の例について説明する。図３は、本開示の実施形態に係る自動運転レベルの遷移の一例を説明するための説明図である。
　図３に示すように、自動運転モード（図３中の下側の範囲）から手動運転モード（図３中の上側の領域）への切り替えは、例えば、走行ルート上の自動運転レベル３及び自動運転レベル４の区間から、自動運転レベル０、１及び自動運転レベル２の区間へと遷移する際に実行されると想定される。
　ところで、自動運転モードで走行している間、運転手が手動運転に復帰できる準備状態を意識して維持することは難しい。例えば、自動運転モードで走行している間、運転手は、睡眠（仮眠）や、テレビやビデオの視聴、あるいはゲーム等の２次タスクに没頭することが考えられる。また、例えば、運転手は、ハンドルから手を放しているのみで、手動運転時と同様、自動車の前方や周囲を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。そして、これらの２次タスクの違いにより、運転手の覚醒レベル（意識レベル）は異なるものとなる。
　さらに、自動運転モードで走行している間において睡眠に陥ると、運転手の意識レベルや判断レベルが低下した状態、すなわち覚醒レベルが低下した状態になる。そして、覚醒レベルが低下した状態では、運転手は正常な手動運転を行うことができないことから、その状態で手動運転モードに切り替えた場合、最悪の場合、事故を起こす可能性がある。そこで、運転手は、覚醒レベルが低下した状態であっても、手動運転モードへの切り替える直前には、正常な意識下で車両を運転できる高い覚醒状態に復帰していること（内部覚醒復帰状態）が求められることとなる。すなわち、安全走行を確保するためには、自動運転モードから手動運転モードへの切り替えは、運転手の内部覚醒状態が復帰した状態にあることが観測できた場合にのみ実行することが求められることとなる。
　そこで、本開示の実施形態においては、このような運転モードの切り替えは、事故等の誘発を避けるべく、運転手が手動運転モードへの復帰対応レベルにあること、すなわち、内部覚醒復帰（運転手の内部覚醒状態が復帰した状態）を示すアクティブな応答を観測できた場合（図３中の中央に示す）にのみ、実行することができるものとする。また、本実施形態においては、図３に示すように、内部覚醒復帰を示すアクティブな応答を観測できない場合には、ＭＲＭ（Ｍｉｎｉｍａｌ　Ｒｉｓｋ　Ｍａｎｅｕｖｅｒ）等の緊急退避モードへ切り替えることとなる。なお、緊急退避モードにおいては、減速、停止、道路、路側帯又は退避スペースへの駐車等の処理を行う。また、図３においては、自動運転レベル４から自動運転レベル３への遷移については、運転モードの切り替えが伴わないことから、上述したような内部覚醒復帰を示すアクティブな応答の観測自体を行っていない。しかしながら、本実施形態においては、図３に示すような例に限定されるものではなく、自動運転レベル４から自動運転レベル３への遷移においても、上述のような観測や観測結果に基づく遷移を行ってもよい。なお、アクティブな応答があるからと言っても、運転手は関連する全ての状況を把握している状態になっているとは限らないことから、安全は、操舵の引継ぎが行う上で必要条件ともいえる。
　詳細には、自動運転レベル４から自動運転レベル３への遷移を行う際に内部覚醒復帰を示すアクティブな応答が観測されない場合、運転手が法制度により手動運転への復帰義務を負うべきものだとしても、運転手が、車両制御システムからの自動運転レベル３としての復帰要請ＲＴＩ（Ｒｅｑｕｅｓｔ　ｔｏ　Ｉｎｔｅｒｖｅｎｅ）に対して適切に対応できる状態とは限らない。より具体的には、自動運転レベル３としての復帰要請ＲＴＩに対して、運転手が、脳内覚醒状態が復帰した状態にあり、且つ、身体にしびれ等がない手動運転可能な身体状態に復帰できるとは限らない。このような場合に自動運転レベル４から自動運転レベル３への遷移を行うと、車両制御システムにおいて事前に想定された設計思想を超えた状況に及ぶ恐れがあり、事故等が誘発する可能性がある。そこで、本開示の実施形態においては、上述のような可能性を減らすために、車両制御システム側が運転手に対して復帰要請ＲＴＩを発する必要がない段階であっても、運転手の復帰対応レベル（例えば、覚醒レベル）を確認するために、予防的なダミーの復帰要請ＲＴＩを適宜行い、運転手の内部覚醒復帰を示すアクティブな応答を観測してもよい。
　なお、図３で図示した自動運転レベルの遷移を示す各矢印は、自動で切り替えを行うことが許容された遷移の方向を示すものであり、さらに、各矢印の逆方向の遷移は、運転手による車両制御システムの状態に対する誤認を招くものであるとして、推奨されるものではない。すなわち、本開示の実施形態に係る車両制御システムにおいては、自動運転モードから自動で、運転手が介在する手動運転モードへ切り替わるような自動運転レベルの遷移がひとたび行われた場合、運転手の積極的な指示がないまま再び自動運転モードへ自動的に戻ることがないように設計されていることが望ましい。このように、運転モードの切り替えに方向性（不可逆性）を持たせることは、運転手の明確な意図がないまま自動運転モードとすることを防ぐ設計となっていることを意味する。従って、当該車両制御システムによれば、運転手が明確な意図を持っている場合にのみ自動運転モードが有効化できないことから、例えば、運転手が、自動運転モードではないときに、自動運転モードであると勘違いして安易に２次タスクを始める等の行為を防止することができる。
　以上のように、本開示の実施形態においては、安全走行を確保するために、自動運転モードから手動運転モードへの切り替えは、運転手が内部復帰状態であることが観測できた場合にのみ実行する。
　＜＜４．　モニタリングの例について＞＞
　そこで、図４を参照して、自動運転モードから手動運転モードへの切り替えの際のモニタリング（観測）の例について説明する。図４は、本開示の実施形態に係るモニタリング動作の一例を説明するフローチャートである。図４に示すように、本開示の実施形態においては、車両制御システムは、例えば、自動運転モードから手動運転モードへの切り替えの際には、ステップＳ２１からステップＳ２７までのステップを実行することとなる。以下に、これら各ステップの詳細について説明する。
　まず、運転手は、自動運転モードでの走行中であるため、運転操舵から完全離脱の状態にあるものとする。さらに、運転手は、例えば、仮眠、あるいはビデオ鑑賞、没頭してゲームする、タブレット、スマートフォン等の視覚ツールを用いた作業等の２次タスクを実行しているものとする。ただし、タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも想定されるものとする。
　まず、車両制御システムは、運転手に対してパッシブモニタリング、及び／又は、アクティブモニタリングを適宜間欠的に実行する（ステップＳ２１）。ここで、アクティブモニタリング及びパッシブモニタリングについて説明する。
　まずは、アクティブモニタリングとは、運転手の主に知能的な知覚・認知・判断・行動の能力判定を行うため、車両制御システムが、能動的情報を運転手に対して入力し、それに対する運転手の意識的な応答を見る観測方法である。例えば、運転手に対して入力する能動的情報としては、視覚、聴覚、触覚、臭覚、（味覚）情報を挙げることができる。これらの能動的情報は、運転手の知覚と認知行動とを誘発し、リスクに影響する情報であればそのリスクに応じて運転手が判断・行動を実行（応答）することとなることから、このような運転手の応答を観測することにより、運転手の脳内の知覚・認知・判断・行動状態を判定することが可能となる。具体的には、アクティブモニタリングにおいては、例えば、車両制御システムが運転手のフィードバックを促すために疑似的に能動的情報として車両の安全走行に影響を及ぼさない程度の僅かな操舵量でのステアリング制御を実行した場合、運転手がステアリングを適切な操舵量に戻す行為が（正常に覚醒していれば）意識的な応答として期待される。詳細には、運転手は、不必要な操舵量を知覚、認知し、不必要な操舵量に対して戻す判断、行動を起こすという一連の動作を行っているため、上記応答に対応する行為（ステアリングを適切な操舵量に戻す行為）が引き出されることとなる。従って、上記応答を観測することにより、運転手の脳内の知覚・認知・判断・行動状態を判定する可能となる。なお、手動運転モードでの走行中は、運転手は、操舵の実行のために、道路環境等に対する知覚・認知・判断・行動の一連の動作を常時行っているため、車両制御システム側が直接的に運転手に対して能動的情報の入力を行わなくとも、運転手の意識的な応答を観測することができる（すなわち、運転操舵という応答があるといえる）。さらに、上述のような能動的情報入力を繰り返し行った場合、これらの情報は、運転手の脳内で知能的にフィルタリングされ、不要なものとして扱われるようになるため（すなわち「慣れ」）、本開示の実施形態においては、能動的情報入力の頻度は、上述のような「慣れ」を避けるべく、適切な頻度に設定されることが好ましい。
　次に、パッシブモニタリングとは、直接的な能動的情報入力に対する運転手の意識的な応答を観測（アクティブモニタリング）できない場合等に実行される。運転手の状態のパッシブモニタリングには多様な観測手法があり、例えば、運転手の生体情報の観測を挙げることができる。より具体的には、例えば、パッシブモニタリングにおいては、運転席に着座し、且つ、運転可能な姿勢であれば、ＰＥＲＣＬＯＳ（開眼割合）関連指標、頭部姿勢挙動、眼球挙動（サッカード（急速性眼球運動）、固視、マイクロサッカード等）、瞬き、顔の表情、顔の向き等の詳細観測評価を行うことが期待される。さらに、着座以外の姿勢においては、ウェアブルデバイス等を用いることにより、心拍数、脈拍数、血流、呼吸、脳波、発汗状態、心拍数及び呼吸から推定される眠気の深さ等を観測する拡張観測が可能である。さらに、パッシブモニタリングにおいては、運転手の運転席への着座や離席、移動、移動先、姿勢等を観測してもよい。さらに、運転手の注意運転状態（運転に対して適切な注意を維持しながら手動運転を行っている状態）と関連する操舵量を直接的に観測してもよい。また、パッシブモニタリングで観測された情報は、自動運転モード走行中に、運転制御システム側が、運転モードの切り替え通知や警報等を出した場合、運転手が手動運転に復帰する際に要する時間を推定するために使用することができる。さらに、パッシブモニタリングで観測された情報は、所定の時間内で運転手が手動運転に復帰することが望めない場合に緊急退避モードへの切り替えの有無を判定するために使用したりすることができる。
　次に、図４に戻り説明を続ける。車両制御システムは、運転手に対して手動運転への復帰要請ＲＴＩを通知する（ステップＳ２２）。この際、例えば、運転手に対して、振動等の動的なハプティックスや視覚的あるいは聴覚的に手動運転への復帰要請ＲＴＩが通知される。そして、このような復帰要請ＲＴＩの通知に応じて、運転手は、正常な覚醒状態であれば運転席に戻り、正常な意識下で車両を運転できる高い覚醒状態に復帰することとなる。なお、復帰要請ＲＴＩは、段階的に複数回行われてもよく、この場合、各段階で異なる手段で行われてもよく、例えば運転手の状態等に応じて動的に変化させてもよい。
　次に、車両制御システムは、運転手の着席状態や、着席の姿勢等をモニタリングする（ステップＳ２３）。さらに、車両制御システムは、適切に着席した運転手に対してアクティブモニタリングを集中的に実行する（ステップＳ２４）。例えば、アクティブモニタリングとしては、運転手に対して、正常な意識下で車両を運転できる高い覚醒状態に復帰することを促すために、運転手に対して警告等を行ったり、疑似的に車両の手動操舵制御に疑似ノイズ操舵を入力したりするような、能動的な情報入力を行うことが挙げられる。
　次に、車両制御システムは、運転手の顔やサッカード等の眼球挙動を集中的にモニタリング（眼球挙動集中モニタリング）する（ステップＳ２５）。
　ここで、眼球挙動のモニタリングについて説明する。運転手の状態の情報は様々な手段で観測することが可能であるが、運転手の脳内の認知・判断行動を直接的に観測することは難しい。例えば、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ　Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）や脳波計（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ:ＥＥＧ）等を使用する場合には、被観測者（運転手）を拘束することが求められることから、本開示の実施形態においては、運転手の状態を観測する手段としては好適なものではない。そこで、本実施形態においては、様々な生体情報観測手段の１つとして、運転手の眼球挙動を観測する手段を用いる。眼球挙動観測は、例えば、運転手が運転席に着座していれば、運転手を特別に拘束することなく実行することが可能である。すなわち、眼球挙動観測は、非侵襲、且つ、非装着型の観測手段であるといえる。
　また、眼球挙動には、事象変化に対する応答が、思考的な要素を含まないループに対し適応応答として現れる、生体反射的に現れる挙動が一部あり、視覚相対移動物を追いかけるスムースパーシュート（滑動性追跡眼球運動）や車両の進行先進の背景接近で起こる緩やかの輻輳とその復帰高速開散運動、自身の身体・頭部の回転を打ち消し対象方角のものを追う滑動性追跡眼球運動等の挙動を挙げることができる。さらに、眼球挙動には、反射的な応答ではなく、視覚対象の特徴を捉えて理解を進めるために特徴追跡する挙動も含まれる。つまり、眼球挙動には、脳内の神経伝達と処理とを反映して現れる多くの現象も同時に見られることから、脳の記憶に参照した固視対象の認知等の活動結果が反映されていると考えられる。従って、眼球挙動に脳内の認知機能活動が反映されることを利用することにより、眼球挙動の解析に基づき、運転手の覚醒レベルを高精度で推測することが可能となる。すなわち、眼球挙動観測を実行することにより、自動運転モードから手動運転モードへの切り替えの際（詳細には、その直前）に、運転手が正常な意識下で車両を運転できる高い覚醒レベルに復帰しているかどうか（復帰対応レベル）を間接的に観測することができる。特に、運転手は、一旦運転操舵作業から離れて時間が経過してから運転操舵に復帰をする場合には、手動運転への復帰のために必要な周囲や車両状態の記憶を十分に持ち合わせていないと考えらえる。そこで、運転手は、例えば、道路前方の状況を目視確認したり、車両制御システムからの手動運転への復帰要請ＲＴＩの要因を目視確認したりと、運転手が継続的な手動運転を行っていた場合には把握しているだろう情報を把握するための行為を早急に進めようとすることとなる。そして、このような情報把握行為は、運転手の眼球挙動に反映されることとなる。
　さらに、先に説明したように、眼球挙動は、人物ごとに、さらにその人物の状態ごとに、特有の挙動を示すことから、眼球挙動を解析することにより運転手の覚醒レベルを精度よく判定しようとする場合には、個々の運転手特有の眼球挙動を、常に把握、学習し、このような学習に基づいて、運転手の覚醒レベルを判定することが求められる。さらに、手動運転への復帰の際に、運転手が、何を重点的に確認するか、どのような優先順位に従って確認を行うかについては、当該運転手の過去のリスク体験等に基づく記憶にも大きく影響されることから、走行中の道路状況や走行速度等の多様な要因により変化する。従って、眼球挙動は、人物ごとに特有の挙動を示すだけでなく、運転手の様々な体験に基づく記憶から影響を受けて、変化することとなる。本実施形態においては、複数の運転手に対して一律の判定を用いて覚醒度判定を行うのではなく、各運転手の復帰能力判定を、能動的観測区間に間欠学習して得られた学習に基づいて行うこと好ましく、このようにすることで、運転手ごとにより好適に判定を行うことを可能にする。
　そして、車両制御システムは、上述のステップＳ２５でのモニタリングに基づき、運転手の覚醒レベルを判定することにより、運転手の復帰対応レベルを判定する（ステップＳ２６）。そして、車両制御システムは、運転手が手動運転への復帰対応が可能な復帰反応レベルにあるかを判定する。本実施形態に係る車両制御システムは、運転手の復帰過程を段階的に観測し、その途中の各段階の運転手の応答を観測しているため、複合的な判定が可能である。そして、車両制御システムは、運転手の内部覚醒復帰、手動運転行動の能力確認に基づき、所定の確度をもって手動運転への復帰が可能と判定した場合、自動運転モードから手動運転モードへの切り替えを実行する（ステップＳ２７）。運転手の各種の眼球挙動の観測される経時変化の特徴を認識し、このような特徴を伴いながら最終的な引継ぎが行われ、且つ、その引継ぎごとの成否についての引継ぎ品質により上記特徴はラベル付けされる。この詳細については後述する。
　なお、図４の各ステップは、必ずしも記載された順序に沿って処理されなくてもよく、適宜順序が変更されて処理されてもよく、一部並列的に処理されてもよい。例えば、ステップＳ２４のアクティブモニタリングと、ステップＳ２５の眼球挙動集中モニタリングは、並列的に実施されてもよく、もしくは、図４に示す順序を入れ替えて処理してもよい。
　＜＜５．　車両制御システムの詳細構成＞＞
　次に、図５を参照して、本開示の実施形態に係る車両制御システム１００の詳細構成について説明する。図５は、本実施形態に係る車両制御システム１００の詳細構成の一例について説明するための説明図である。なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　図５に示すように、車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、自動運転制御部１１２、及びセンサ部１１３を主に有する。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続されてもよい。
　なお、以下の説明においては、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　以下に、本実施形態に係る車両制御システム１００に含まれる各機能部の詳細について順次説明する。
　入力部１０１は、運転手等の搭乗者が各種のデータや指示等の入力の際に用いるデバイスから構成される。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を有する。また、例えば、入力部１０１は、赤外線、もしくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。そして、入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各機能部に当該入力信号を供給することができる。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを各種のセンサ等を有するセンサ部１１３から取得し、車両制御システム１００の各機能部に供給することができる。
　例えば、センサ部１１３は、車両（自車）の状況等を検出するための各種のセンサを有する。具体的には、例えば、センサ部１１３は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を有する。
　また、例えば、センサ部１１３は、車両（自車）の外部の情報を検出するための各種のセンサを有していてもよい。具体的には、例えば、センサ部１１３は、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を有していてもよい。また、例えば、センサ部１１３は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサ等を有していてもよい。当該環境センサとしては、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等を挙げることができる。また、当該周囲情報検出センサとしては、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等を挙げることができる。
　さらに、例えば、センサ部１１３は、車両（自車）の現在位置を検出するための各種のセンサを有していてもよい。具体的には、例えば、センサ部１１３は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を有していてもよい。さらに、自己位置推定と環境地図作成を同時に行うことができるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）による位置情報や、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）やミリ波レーダ等からの情報により検出された位置情報に基づいて基準点の補正を行うことで、センサ部１１３で検出された現在位置を補完してもよい。
　また、例えば、センサ部１１３は、車内の情報を検出するための各種のセンサを有していてもよい。具体的には、例えば、センサ部１１３は、運転手を撮像する撮像装置（ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等）、運転手の生体情報を検出する生体情報センサ、及び、車室内の音声を集音するマイクロフォン等を有することができる。生体情報センサは、例えば、座席の座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転手の生体情報を検出することができる。運転手の生体情報の例としては、心拍数、脈拍数、血流、呼吸、脳波、皮膚温度、皮膚抵抗、発汗状態、頭部姿勢挙動、眼球挙動（注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応等）等を挙げることができる。これらの生体情報は、運転手等の体表の所定位置間での電位、赤外光を用いた血流系などの接触型の可観測信号、非接触型のマイクロ波やミリ波、ＦＭ(Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎ)波を用いた非接触型可観測信号、赤外線波長を利用した撮像装置（監視部）による眼球の撮像画像を用いた眼球挙動の検出、さらには、操舵応答性をみるステアリングやペダル操舵機器の過負荷トルク測定情報等を単独又は複合的に用いて検出することが可能である。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各機能部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各機能部に供給したりすることができる。なお、本開示の実施形態においては、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等により、車内機器１０４と無線通信を行うことができる。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇh-ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行うことができる。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行うことができる。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、取締官の携帯する端末又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行うことができる。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行ってもよい。また、例えば、通信部１０３は、ビーコン受信部を有し、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得してもよい。なお、通信部１０３を通して先導車両となり得る区間走行中の前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２で取得したデータを補完するような補完利用を行ってもよく、特に先導車による隊列走行等で後続隊列のより安全性を確保する手段となり得る。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器もしくはウェアラブル機器、自車に搬入されもしくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含むことができる。なお、自動運転の普及で必ずしも搭乗者は着座固定位置に固定されないことを考慮すれば、車内機器１０４は、ビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張することができる。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御することができる。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、センサ部１１３の有する異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。なお、これらの俯瞰画像又はパノラマ画像等を生成した場合、許容する利用形態で、複眼による合成処理前の画像を記録保存することで、より緻密な事象の再現が可能となる。また、この合成処理前の画像の記録保存は、その可否情報の保存や、伝送負荷に依存することとなる。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を有することができる。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を有する。出力部１０６が有する表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転手の視野内に視覚情報を表示する装置であってもよい。なお、出力部１０６は、睡眠等により運転手の運転操舵作業からのより深い離脱が発生した場合に運転手の覚醒を促すために、運転手に対して臭覚刺激（所定の匂いを与える）、触覚刺激（冷風を与える、振動を与える、電気的刺激を与える等）を与える各種装置を含むことができる。さらに、出力部１０６は、運転席の背もたれが移動して、運転手に不快感を与える姿勢に強制する等の体感的不快刺激を与える装置等を含んでもよい。
　そして、近年の生活習慣でとりわけ重要な情報出力手段の例としては、運転手自身が車両に持ち込む携帯電話、スマートフォン、タブレット機器がある。このような機器は、運転手が利用するアプリケーションによって提供される走行に関連した一連の情報を、運転手が車載機器に視線移動をしなくても確認することができるＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）として利用することができる。従って、本実施形態においては、これら機器の出入力機能も車両搭載機器と同等に見なし扱うことができる。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行うことができる。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各機能部に制御信号を供給し、駆動系システム１０８の制御状況の通知等を行ってもよい。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を有することができる。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を有する。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行うことができる。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各機能部に制御信号を供給し、ボディ系システム１１０の制御状況の通知等を行ってもよい。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を有することができる。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を有する。
　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を有することができる。また、記憶部１１１は、車両制御システム１００の各機能部が用いる各種プログラムやデータ等を格納することができる。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを格納する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行うことができる。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転手の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。詳細には、自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を有する。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行うことができる。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を有する。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行うことができる。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
　また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状況等が含まれる。例えば、車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　なお、車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたＬＤＭがインフラより供給された区間であれば、主にインフラによる情報供給によって受信することができる。もしくは、上記情報は、該当区間を先行走行する車両や車両群から、当該区間侵入に先立ち事前に受信することができる。また、本実施形態においては、インフラにより常時最新のＬＤＭの更新が行われていない場合等、とりわけ、隊列走行等において安全な区間侵入を実行するために該当区間直前での道路情報を得る目的で、車外情報検出部１４１は、先に該当区間に侵入した先導車両を介して道路環境情報を受信してもよい。自動運転が可能である区間であるかは、多くの場合、該当区間に対応する、インフラより提供される事前情報の有無により決定される。インフラにより提供されるルート上の自動運転走行可否情報を構成する、常に更新され得る新鮮なＬＤＭは、いわゆる「情報」ではあるが、あたかも「見えない軌道」を提供しているように振る舞う。なお、本明細書では、便宜上、車外情報検出部１４１は、自車両に搭載され、インフラから直接的に情報を受信する前提で図示、説明をしているが、これに限定されるものではない。例えば、車外情報検出部１４１は、前走車が「情報」としてとらえた情報を受信、利用することで、本実施形態においては、走行時に生じる可能性のある危険等の事前予測性をさらに高めることができる。
　車内情報検出部１４２は、車両制御システム１００の各機能部からのデータ又は信号に基づいて、車内の情報の検出処理を行うことができる。例えば、車内情報検出部１４２は、運転手の認証処理及び認識処理、運転手の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転手の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、アルコールや医薬物等の影響度、眼球詳細挙動等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。なお、例えば、運転手へ手動運転への復帰要請ＲＴＩが通知された後に運転手が所定の期限時間内に手動運転が達成できないことが推測または判明し、減速制御を行って時間猶予を行っても手動運転への復帰が間に合わないと判定された場合は、車内情報検出部１４２は、緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始してもよい。
　さらに、先に説明したように、運転手は運転操舵作業から完全に離脱した利用も想定されることから、運転手は一時的な居眠りや他の作業（２次タスク）に取り掛かる可能性があるため、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるか把握することが求められる。従って、上述した車内情報検出部１４２には主に大きな２つの役割があり、１つ目の役割は運転中の運転手の状態のパッシブモニタリングであり、２つ目の役割は、手動運転への復帰要請ＲＴＩが通知された以降に、運転手が、手動運転が可能な復帰反応レベルにあるかどうかを運転手の意識的な応答により検出、判定するアクティブモニタリングである。
　また、車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両（自車）の状態の検出処理を行うことができる。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無などの自己診断のステータス及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　なお、認識対象となる車両（自車）の状態には、例えば、車両（自車）の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、車両（自車）の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度等を挙げることができる。なお、本実施形態においては、車両特有な条件や、積載貨物特有条件等と、加えて、路面の摩擦係数や道路カーブや勾配等により、全く同じ道路環境であっても、車両の制御に求められる復帰開始タイミングは異なることとなる。そのため、本実施形態においては、これら多様な条件の収集を行い学習し、学習結果を、制御を行う最適タイミングの推定に常に反映させることが求められる。これら実際の車両制御を決める条件は、実際に事故に繋がった場合の影響等も車両が積載する運搬物の種類により異なることから、利用者による安全を見越し、制御に対して安全係数として所望のバイアスを履かせて運用する事が望ましく、一律に学習より得られた結果をそのまま利用することに限る必要はない。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、車両（自車）の位置及び姿勢等の推定処理を行うことができる。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成することができる。
　自己位置推定用マップは、例えば、ＳＬＡＭ等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に格納させることもできる。
　状況分析部１３３は、車両（自車）及び周囲の状況の分析処理を行うことができる。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を有する。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各機能部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築することができる。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両（自車）の周囲の交通ルールの認識処理を行うことができる。この認識処理により、例えば、車両（自車）の周囲の信号の位置及び状況、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、車両（自車）に関する状況の認識処理を行うことができる。例えば、状況認識部１５３は、車両（自車）の状況、車両（自車）の周囲の状況、及び、車両（自車）の運転手の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両（自車）の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）であることができる。また、状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に格納させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両（自車）に関する状況の予測処理を行うことができる。例えば、状況予測部１５４は、車両（自車）の状況、車両（自車）の周囲の状況、及び、運転手の状況等の予測処理を行う。なお、予測対象となる車両（自車）の状況には、例えば、車両（自車）の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両（自車）の周囲の状況には、例えば、車両（自車）の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転手の状況には、例えば、運転手の挙動及び体調等が含まれる。そして、状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、目的地までのルートを計画することができる。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、ルート計画部１６１は、ＬＤＭ等に基づいて、走行ルート上の各区間に自動運転レベルを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転手の体調等に基づいて、適宜ルートを変更してもよい。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両（自車）の行動を計画することができる。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両（自車）の行動を示すデータを動作計画部１６３等に供給する。なお、貰い事故の回避を目的として、平常時制御のために必要な道路の走行空間情報と並行して、事故の重度化を回避する目的で、車両が物理的に走行可能な開放平面空間（空き地等）、進入回避危険空間（崖、駅出口等歩行者密集箇所）等の情報を更に補足として管理し、緊急時の制御の際の退避空間として制御に反映をしてもよい。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両（自車）の動作を計画することができる。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。また、動作計画部１６３は、運転モードの設定や、切り替えを実行するタイミング等の計画を行うことができる。動作計画部１６３は、計画した車両（自車）の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、車両（自車）の動作の制御を行うことができる。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を有する。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転手の異常、車両の異常等の緊急事態の検出処理を行うことができる。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両の動作を計画する。緊急事態回避部１７１は、計画した車両の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両（自車）の動作を実現するための加減速制御を行うことができる。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、例えば、緊急事態が発生し得るケースは主に２つ存在する。１つは、自動運転モードでの走行ルートで本来ならインフラより取得したＬＤＭ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故や事故誘発要因が発生し、運転手の緊急復帰が間に合わないケースである。もう１つは、自動運転モードから手動運転モードに切り替えることが何かの要因で困難となるケースである。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両（自車）の動作を実現するための方向制御を行うことができる。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　さらに、図６を用いて、センサ部１１３が有する撮像装置の設置位置の例を説明する。図６は、センサ部１１３が有する撮像装置の設置位置の例を示す図である。図６に示す、それぞれ撮像装置を適用可能な撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
　フロントノーズに設置される撮像部７９１０及び車室内のフロントガラスの上部に設置される撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに設置される撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに設置される撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に設置される撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
　なお、図６には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬｉＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
　＜＜６．　センサ部１１３の概略構成＞＞
　次に、図７を参照して、上述したセンサ部１１３に含まれる車内の運転手の情報を得るための各種センサの例を説明する。図７は、本実施形態に係るセンサ部１１３に含まれる各種センサの例を説明するための説明図である。図７は、センサ部１１３に含まれる車内の運転手の情報を得るための各種センサの例を示す図である。図７に示すように、センサ部１１３は、運転手の位置、姿勢を検出するための検出器として、例えば、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ　Ｓｔｒａｉｎ　Ｇａｕｇｅ）等からなる、位置・姿勢検出部２００を有する。また、センサ部１１３は、運転手の生体情報を得るための検出器として、顔認識部２０２、顔追跡部２０４、及び眼球追跡部（監視部）２０６を有する。以下に、本実施形態に係るセンサ部１１３に含まれる各種センサの詳細について順次説明する。
　顔認識部２０２、顔追跡部２０４、及び眼球追跡部（監視部）２０６は、例えば、撮像装置等の様々なセンサから構成することができる。顔認識部２０２は、例えば撮像画像から運転手等の顔を認識、検出し、検出した情報を顔追跡部２０４へ出力する。顔追跡部２０４は、顔認識部２０２で検出された情報に基づき、運転手の顔や頭部の動きを検出する。さらに、眼球追跡部２０６は、運転手の眼球挙動を検出する。なお、本開示の実施形態に係る眼球追跡部２０６の詳細については、後述する。
　さらに、センサ部１１３は、運転手の生体情報を得るための他の検出器として、生体情報検出部２０８を有していてもよい。また、センサ部１１３は、運転手の認証を行う認証部２１０を有していてもよい。なお、認証部２１０の認証方式としては、パスワードや暗証番号等による知識認証のほかに、顔、指紋、瞳の虹彩、声紋等による生体認証であってもよく、特に限定されるものではない。上述の説明においては、センサ部１１３に含まれる主なセンサについて説明したが、当該センサ部１１３はそれ以外の各種センサを含んでもよい。
　＜＜７．　運転手の覚醒レベルの判定を実行するユニットの概略構成＞＞
　次に、図８を参照して、本開示の実施形態に係る、運転手の覚醒レベル（復帰反応レベル）の判定を実行するユニットの構成例について説明する。図８は、本実施形態に係る、運転手の覚醒レベルの判定を実行するユニットの例を説明するための説明図である。詳細には、運転手の覚醒レベルの判定を実行するユニットは、図５に示す検出部１３１の車内情報検出部１４２の一部と、状況分析部１３３の状況認識部１５３と、記憶部１１１とを含む。より具体的には、図８には、車内情報検出部１４２に含まれる眼球挙動解析部３００及び眼球挙動学習器３０２と、状況認識部１５３に含まれる判定部３２０と、記憶部１１１に格納されたデータベース（ＤＢ）３１０とが示され、これらが協働することにより、運転手の覚醒レベルの判定を実行する。以下に、図８に示される各機能ブロックについて順次説明する。
　（眼球挙動解析部３００）
　眼球挙動解析部３００は、センサ部１１３の眼球追跡部２０６の検出した運転手の眼球挙動を、データ取得部１０２を介して取得し、解析を行う。例えば、眼球挙動解析部３００は、運転手の眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を検出、解析する。眼球挙動解析部３００の解析した眼球挙動情報は、後述する眼球挙動学習器３０２や判定部３２０に出力される。
　さらに、本実施形態においては、眼球挙動解析部３００は、運転モード等に応じて解析モードを動的に切り替えることができる。例えば、眼球挙動解析部３００は、少なくとも２つの解析モード（第１の解析モード、第２の解析モード）の間で切り替わることができる。詳細には、眼球挙動解析部３００は、一方の解析モード（第１の解析モード）では、例えば２５０ｆｐｓ以上といった高いフレームレート（第１のフレームレート）で解析を行い、他方の解析モード（第２の解析モード）では、例えば６０ｆｐｓといった低いフレームレート（第２のフレームレート）で解析することができる。
　より具体的には、眼球挙動解析部３００は、運転モードが自動運転モードから手動運転モードへと切り替わる事象が生じた場合、その切り替えのための準備モードの期間（運転モード変更準備モードの期間）においては、集中的に高いフレームレートで眼球挙動をサンプリング、解析する（第１の解析モード）。この眼球挙動解析においては、眼球挙動解析部３００は、運転手のマイクロサッカードや固視微動の観測（サンプリング）、解析を実行する。そして、後述する判定部３２０は、当該解析結果に基づき、運転手の覚醒レベル（復帰反応レベル）を判定することとなる。さらに、上述の準備モードの期間の眼球挙動解析の期間の時間長は、ＬＤＭ等に基づくルート上に設定された自動運転レベルによる運転モードの切り替え地点に車両が到達する前に、運転手の覚醒レベル（すなわち、運転手の手動運転への復帰対応レベル）を高精度で判定するために十分な時間が確保されるように決定されることが好ましい。従って、本実施形態においては、準備モードの期間の眼球挙動解析の期間の開始点（モニタリングポイント）は、スケジュール（旅程）、ＬＤＭ、道路状態、走行速度、車両種別（トレーラ、一般乗用車）、運転手の着席状態（定常周期モニタリングで取得の状態情報）等に基づき決定されることとなり、すなわち当該期間の時間長は、動的に変化することとなる。
　また、眼球挙動解析部３００は、運転モードが自動運転モードである場合には、低いフレームレートで眼球挙動をサンプリング、解析する（第２の解析モード）。この眼球挙動解析は、上述したパッシブモニタリングとして実行され、例えば、ＰＥＲＣＬＯＳ、サッカード、固視等も観測、解析し、運転手の眠気や疲労度を判定するために実行される。また、眼球挙動解析部３００は、自動運転モードである場合には、自動運転レベル（自動運転レベル３、自動運転レベル４）に応じて解析頻度を動的に切り替えてもよく、例えば、自動運転レベル３においては、自動運転レベル４と比べて高い頻度で実行してもよい。これは、先に説明したように、自動運転レベル３においては、安全走行を確保するために、運転手は、すぐに手動運転に復帰可能であるような準備状態に常時あることが期待される。従って、当該自動運転レベル３においては、眠気や疲労度を検出し、運転手がすぐに手動運転に復帰可能であるかどうかを判定するために、高い頻度で眼球挙動解析が実行されることが好ましい。
　ただし、上述の説明においては、自動運転レベル３や自動運転レベル４等のように具体的な自動運転レベルを区別して記載しているが、これは便宜上のものであり、実際の運用では必ずしも明確に自動運転レベルを区別して制御することに限定されるものではない。すなわち、刻々と変化する状況に応じて自動運転レベル及び運転モードは変化することから、眼球挙動解析部３００等の運転手状態を観測する各機器の観測は、運転手が手動運転への復帰に必要な知覚・認知・判断・行動能力をもっているかを判定するために、状況に応じた観測を適宜行うこととなる。
　さらに、眼球挙動解析部３００は、自動運転モードである場合であっても、後述する眼球挙動学習器３０２が学習するための教師データを取得するために、例えば、上述した準備モードの期間の眼球挙動解析の期間の時間長に比べて短い時間長を持つ期間において、高いフレームレート又は低いフレームレートでの眼球挙動解析を実行してもよい。例えば、眼球挙動解析部３００は、自動運転モードである場合にパッシブモニタリングにより運転手の覚醒レベルの低下が検出された場合には、高いフレームレートでの眼球挙動解析（第１の解析モード）を実行してもよい。この場合の解析結果は、後述する眼球挙動学習器３０２が学習するための教師データ（覚醒レベル低下時の眼球挙動としてラベル付けされた教師データ）となる。
　一方、眼球挙動解析部３００は、眼球挙動解析部３００は、運転モードが手動運転モードである場合には、低いフレームレートで眼球挙動を解析する（第２の解析モード）。この眼球挙動解析は、上述したパッシブモニタリングとして実行され、例えば、ＰＥＲＣＬＯＳ、サッカード、固視等も観測、解析し、運転手の眠気や疲労度を判定するために実行される。そして、眼球挙動解析部３００は、手動運転モードである場合であっても、運転手の運転動作に基づいて運転手が正常時手動運転していると認められている状況において、後述する眼球挙動学習器３０２が学習するための教師データ（覚醒レベル正常時の眼球挙動としてラベル付けされた教師データ）を取得するために、眼球挙動解析を実行してもよい。上記教師データを取得するために、眼球挙動解析部３００は、例えば、上述した準備モードの期間の眼球挙動解析の期間の時間長に比べて短い時間長を持つ期間において、高いフレームレート又は低いフレームレートでの眼球挙動解析を実行する。また、眼球挙動解析部３００は、手動運転モードである場合であっても、パッシブモニタリングにより運転手の覚醒レベルの低下が検出された場合には、高いフレームレートでの眼球挙動解析（第１の解析モード）を実行してもよい。この場合の解析結果も、後述する眼球挙動学習器３０２が学習するための教師データ（覚醒レベル低下時の眼球挙動としてラベル付けされた教師データ）となる。
　すなわち、本実施形態においては、眼球挙動解析部３００は、常時、高いフレームレートでの眼球挙動解析を実行しないことから、撮像処理や解析処理等回路動作に伴う温度上昇、強いては発熱によるノイズを招くような駆動負荷を減らすことができる。さらに、本実施形態においては、眼球挙動解析部３００は、必要時には、高いイベントの検出レートでの眼球挙動解析を実行することから、運転手の覚醒レベル（復帰反応レベル）を精度よく判定することできる。不必要なタイミングで撮像部の連続高速駆動は無駄となるのみならず、撮像素子や信号伝送の発熱はノイズの要因であり、本来必要な高速撮像観測が必要なタイミングで撮像性能の感度低下をもたらす弊害がある。
　（眼球挙動学習器３０２）
　眼球挙動学習器３０２は、過去に取得された、各覚醒レベルにラベル付けされた運転手の眼球挙動の解析結果を教師データとして学習し、後述する判定部３２０による判定のためのデータベース３１０を生成し、記憶部１１１（図５　参照）に出力する。本実施形態においては、例えば、眼球挙動学習器３０２は、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器であることができる。この場合、解析結果（眼球挙動）とそれにラベル付された覚醒レベル（正常時、又は、低下時）とが、それぞれ入力信号及び教師信号として眼球挙動学習器３０２に入力され、当該眼球挙動学習器３０２は、所定の規則に従ってこれら入力情報の間の関係について機械学習を行う。そして、当該眼球挙動学習器３０２は、上述した複数の入力信号及び教師信号の対が入力され、これら入力に対して機械学習を行うことにより、解析結果（眼球挙動）と覚醒レベルとの関係を示す関係情報を格納したデータベース（ＤＢ）３１０を生成する。なお、生成したＤＢ３１０は、上記記憶部１１１に格納されることに限定されるものではなく、運転手を識別するための識別情報に紐づけてクラウド上のサーバ（図示省略）に格納してもよい。格納されたＤＢ３１０は、運転手が利用営業車の乗り換えやシェアカーやレンタカー等を使用する際に異なる車両でも利用することができる。さらに、ＤＢ３１０内の情報は、いずれの場所に格納されていても、常に更新されていることが好ましい。なお、車両の種別により運動特性等により求められる復帰要件が異なる場合は、車両に応じた評価判定基準の正規化をさらに行ってもよい。なお、データベース（ＤＢ）の学習・生成は、上記説明では覚醒レベルが正常か低下の二者択一で説明をしているが、より細分化し復帰品質に区分けして更に他の運転者状態推移情報と紐付けて学習を行い、眼球挙動以外の観測手段により取得された可観測情報と運転者の覚醒、復帰品質予測の精度向上を図ってもよい。
　（判定部３２０）
　判定部３２０は、眼球挙動解析部３００の解析した眼球挙動の解析結果に基づいて、運転手の覚醒レベル（復帰反応レベル）を判定する。例えば、運転手が、課題解決のための眼球のサッカード、固視やマイクロサッカード等の眼球挙動を実行していることが確認された場合は、判定部３２０は、運転手の覚醒レベルは高いと判定することができる。一方、これらの眼球挙動が観測されなかった場合、または少ない場合は、判定部３２０は運転手の覚醒レベルが低いと判定することはできる。
　詳細には、眼球挙動は、人が正常な覚醒状態にある場合と、意識・覚醒低下状態にある場合とでは、異なる振る舞いを示す。さらに、人によってもそれぞれ特徴的なふるまいを示す。そこで、本実施形態においては、判定部３２０は、眼球挙動学習器３０２が個々の運転手に紐づけて生成したデータベース（ＤＢ）３１０を参照して判定を行う。より具体的には、本実施形態においては、判定部３２０は、準備モードの期間における運転手の眼球挙動の解析結果を、過去に取得された当該運転手の眼球挙動の解析結果に基づくデータベース（ＤＢ）３１０と比較することにより、覚醒レベル（復帰対応レベル）を判定する。従って、本実施形態においては、学習に基づき得られた個々の運転手に特有の眼球挙動を参照して判定することから、当該判定の精度を向上させることができる。なお、人ごとの特徴の違いは、それぞれの視覚特性による要因もあれば、過去のリスク要因の視覚記憶で目視確認が働くためにその発現等は、千差万別である。
　さらに、判定部３２０は、判定結果を状況予測部１５４（図５　参照）や計画部（移動体運転制御部）１３４（図５　参照）に出力することができる。例えば、計画部１３４は、判定部３２０による判定結果に基づいて、運転モードを切り替える計画を行ってもよい。
　＜＜８．　眼球挙動解析部３００の動作例について＞＞
　次に、図９を参照して、本開示の実施形態に係る眼球挙動解析部３００の動作例の詳細についてさらに説明する。図９は、本開示の実施形態に係る眼球挙動解析部３００の動作例の詳細を説明するための説明図である。なお、図９においては、左端が出発地点（出発地）であるものとし、右端は目的地点（目的地）であるものとし、以下においては、出発地点から目的地点に向かって説明を行うものとする。
　まずは、本実施形態においては、図９に示すように、運転モードに関係なく、所定の頻度で間欠的にパッシブモニタリングが実行される。例えば、パッシブモニタリングには、低いフレームレートでの眼の挙動解析が含まれ、当該眼球挙動解析は、例えば、眼全体の観測によるＰＥＲＣＬＯＳ評価や細部の眼球挙動としてのサッカード、固視等も観測、解析し、運転手の眠気や疲労度を判定するために実行される。
　また、本実施形態においては、図９の左側に示される自動運転レベル０、１の手動運転モードでの走行区間では、上述のパッシブモニタリングだけでなく、運転手の運転動作に基づいて運転手が正常時手動運転していると認められている状況において、眼球挙動学習器３０２が学習するための教師データ（覚醒レベル正常時の眼球挙動としてラベル付けされた教師データ）を取得するために、眼球挙動解析（例えば、マイクロサッカード）を実行してもよい。上記教師データを取得するために、眼球挙動解析部３００は、例えば、高いフレームレートでの眼球挙動解析を実行する。
　さらに、例えば、図９の左側に示される自動運転レベル２の手動運転モードでの定常及び渋滞等での走行区間では、パッシブモニタリングにより運転手の覚醒レベルの低下が検出されたものとする。この場合、より頻度を高めてパッシブモニタを行い、さらに高いフレームレートでの眼球挙動解析（例えば、マイクロサッカード）を実行してもよい。この場合の眼球挙動の解析結果は、眼球挙動学習器３０２が学習するための教師データ（覚醒レベル低下時の眼球挙動としてラベル付けされた教師データ）となる。さらには、運転手の覚醒レベルの低下の検出に伴い、アクティブモニタリングとして、運転手に対して警告や通知を行ってもよい。運転手が、警告や通知に対して意識的に応答することにより、アクティブモニタリングを実行することできる。例えば、通知は、先に説明したように、車両制御システム１００が能動的情報として不必要な操舵量でのステアリング制御を実行することにより行われ、この場合、運転手がステアリングを適切な操舵量に戻す行為が意識的な応答となる。さらに、アクティブモニタリングは、図９中の破線で示されるように、運転手の覚醒レベルが低下した際に実行されることに限定されるものではなく、所定の頻度で定期的に行われてもよい。しかしながら、手動運転モードにおいては、運転手は、手動運転のために常時道路環境認知判断高度を行っているため、上述したようなアクティブモニタリングの実行は、運転手の覚醒レベルが低下した状況以外では必須ではない。
　また、手動運転モードの区間では、定期的に眼球挙動解析を実行してもよい。
　そして、自動運転レベル４の自動運転モードでの走行区間では、運転手は運転席を離席している可能性がある。当該期間は、定期的な眼球挙動解析を実行することが難しい（難観測期間）。そこで、当該期間においては、より頻度を高めてパッシブモニタリングを行ってもよい。
　次に、運転モードが自動運転モードから手動運転モードへと切り替わるための準備モードの区間においては、集中的に高いフレームレートでの眼球挙動解析を実行する。さらに、当該眼球挙動解析の期間の時間長は、ＬＤＭ等に基づくルート上に設定された自動運転レベルによる運転モードの切り替え地点に車両が到達する前に、運転手の覚醒レベルを高精度で判定するために十分な時間が確保されるように、決定されることが好ましい。従って、本実施形態においては、当該眼球挙動解析の期間の開始点（モニタリングポイント）は、スケジュール（旅程）、ＬＤＭ、道路状態、走行速度、車両種別（トレーラ、一般乗用車）、運転手の着席状態（状態情報）等に基づき決定されることとなり、すなわち当該期間の時間長は、動的に変化することとなる。この際、運転手の覚醒レベルの低下が検出された場合には、運転手に対して、通知、警告、ＭＲＭ警告、ノイズ注入（クイズ形式での出題）等の順で、運転手の内部覚醒を呼び戻す動作を行うと同時に、運転手の意識的な応答を検出するアクティブモニタを集中的に実行する。
　すなわち、本実施形態においては、常時、高いフレームレートでの眼球挙動解析を実行しないことから、撮像処理や解析処理等の負荷を減らすことができる。さらに、本実施形態においては、必要時には、高いフレームレートでの眼球挙動解析を実行することから、運転手の覚醒レベル（復帰反応レベル）を精度よく判定することできる。
　本実施形態においては、運転手に対する各種の観測を継続的に行い、その傾向を学習して、その時々の傾向の変化を考慮したうえで、覚醒レベル等の復帰反応レベルを判定する。これは、同一の運転手であっても、当該運転手のこれまでの経験と履歴とが運転手の知覚・認知・判断・行動等に影響を及ぼすためである。詳細には、例えば、運転手の自動運転から手動運転への復帰（切り替え）の必要性の感じ方に応じて、観測される眼球挙動が大きく変わる。例えば、直感的な行動でリスクを低減するために求められる情報が乏しい場合には、視覚的に取得し得る情報に対する探索が増え、判断に必要な情報な十分に整っていれば、それほど多くの情報探索を行わずに、探索から行動に移すことができる。従って、情報が不足している場合は、運転手は、視線を対象に向けて個々の視覚情報の認知を経て不足する情報を探索するサッカード、マイクロサッカード、ドリフト、トレモア等で特徴付けられる固視等の繰り返しを行うこととなる。
　特に、運転手は、自動運転から手動運転へ復帰行動を行う際のリスク判断を行う段階で、記憶に残存する、リスクの高く、且つ、判断するためには不足している情報を視覚的探索する。例えば、前方を暫く見ないままビデオ鑑賞や携帯端末等の操作をしていた運転手であれば、状況把握のための車両前方確認をまず行い、車両の進行方向に影響のある車線、障害物、並走者や対向車の動きに目を向け、状況を理解するための固視の発現、復帰要請ＲＴＩ（通知）のメッセージ情報確認などの手順を行う。また、例えば、歩行者が一部道路にはみ出してきたり、園児が飛び出てくるようなスクールゾーン等が混在したりする市街地では、道路周辺部からの道路への人の進入の有無を確認する視線挙動が支配的になる。
　ヒトが認知的課題の遂行中に情報を一時的に蓄積し処理するためのシステムは、ワーキングメモリ（作業記憶）と呼ばれる。そして、ヒトの行動判断に必要な情報は、ヒトのワーキングメモリで蓄積、処理されることとなるが、その蓄積できる容量や蓄積できる期間には制約があると考えられている。詳細には、当該ワーキングメモリに蓄積された情報は時間の経過とともに減衰し、例えば、重要度が低い情報から記憶が薄れることから、ワーキングメモリは、ダイナミックキャッシュメモリのように動作することとなる。自動運転の普及や性能の向上で利用可能な運行設計領域の拡大に伴い、利用者は安全な手動運転に必要な周辺環境情報の常時確認は次第にその必要が減ると考えられる。それに伴い、走行をする場合に必要な前方確認の回数が減ったりさらには行なわれなくなったりする。そして、次第に運転操舵作業から乖離作業が増えると、判断に要する進行道路の事前視覚情報が少なくなる。そもそも、道路前方を手動運転時の運転手が定常的に行っているのは、リスク要因となりえるリスク重要度の重み刺激があるからであり、事前目視探索を怠らずに継続的実行し、脇見を控えることとなる。しかしながら、運転操舵作業から乖離作業が増えると、薄れゆくワーキングメモリの記憶にリスク要素が乏しいと、結果として定期的な状況変化を観測する必要性も薄れることから、視線を向けて状況を再確認する挙動の観測も少なくなる。本実施形態においては、このような時間とともにリスク重要度の低い情報から記憶情報として薄れていくヒトのワーキングメモリの特性を考慮して、運転手に対して、適切なタイミングで、適切な手動運転のための情報の提供及び通知を行い、運転手の状態又は応答の観測等を行うこととなる。
　また、自動運転から手動運転への復帰（切り替え）の復帰要請ＲＴＩ（通知）を受けて、運転手が実際の手動運転を正常に開始できるようになるためには、行動判断に必要な情報を取得するための期間が求められる。また、視覚的な情報取得は、最新の情報を取得する行為である視覚確認以外にも、行動制御に対するフィードバックを行うための情報を取得する行為も含まれる。なお、本実施形態においては、行動判断に必要な情報は、例えば本出願人が出願している上記特許文献５で開示された手段等のヒューマンマシンインタフェースを利用することができる。上記特許文献５では、例えば、走行ルート上を各種の区間（手動運転区間、運転者介在必要区間等）に区分し、区画ごとに異なる色彩、異なる幅で、運転手に向けて走行ルートを表示することが開示されている。また、接近情報の表示時間軸を工夫する事で、運転手は時間経過（＝自車の走行）に伴い、いつ頃に各対処が必要な区間に接近するか視覚的に知ることができる。つまり、上記特許文献５の様に車両の旅程に沿った走行に伴う進路中の接近情報を運転手が定常的に更新提供することで、差し迫る引継ぎ接近情報は、時間が経過して引継ぎポイントに近づくことが視覚的にリスクとして思考のワーキングメモリに取り込まれることから、運転手は差し迫るリスクとして捉えることができる。このように、意味情報を含む視覚的な接近情報を提供することは、このワーキングメモリに与えられる引継ぎ前の状況を確認させるための刺激となる。そして、この更新情報の与え方も運転手の視覚挙動に影響する。そのため、本実施形態においては、眼球挙動解析とその観測評価値から運転手の状態推定する際には、運転手に提供する情報を影響因子として織り込み、観測挙動を評価してもよい。上記ヒューマンマシンインタフェースにより時々刻々と情報を更新呈示することにより、運転手は、自動運転から手動運転への復帰の必要性の重要度を、時間的接近感覚も伴って認識することとなることから、運転手のワーキングメモリに復帰に必要な視覚的な情報が蓄積されることとなる。そして、運転手の復帰のための行動判断においては、これら呈示された情報と運転手のリスク感覚による緊急性とに基づき、行動へ移行する前の不足情報を取得する行為を実行することとなる。そのため、上記ヒューマンマシンインタフェースの呈示情報によって、走行するにあたり求められる予測情報を運転手のワーキングメモリに効果的に植え付け（記憶させ）、さらに、途中途中での再確認の必要性を運転手に感じさせる情報が適宜提供されることで、運転手の意識離脱を浅く留めることが可能となる。その結果、運転手の判断が早まることとなり、上記特許文献３で開示された、運転手の復帰遅延時間（手動運転復帰可能時間）の低減につながることとなる。
　本開示においては、主に眼球挙動の解析に主眼をおいているが、運転手の覚醒状態が不十分な場合、先に説明した、取得情報のフィードバックが不完全に行われることもあることから、眼球挙動以外でも様々な挙動等が現れ、場合によっては運転手の過剰な操舵に繋がることもある。従って、自動運転から手動運転への切り替えを行う地点等の状況を予測した予測情報を定期的に確認しながら自動運機能を利用している運転手と、このような定期的な確認を全く怠っている運転手では、復帰要請ＲＴＩ（通知）に対する眼球挙動が異なってくる。さらに、運転手が手動運転に復帰するための時間が不足して、手動運転のための状況把握が不完全なまま、運転手が操舵行動に移行した場合、操舵行動でのフィードバックが不完全になりがちであり、過剰なハンドル操作など、操舵量が不適切なオーバシュートな操舵が現れることもある。
　そこで、眼球挙動の解析による運転手の復帰反応レベル（覚醒レベル）と復帰遅延時間との推定を適切に機能させるため、本開示の実施形態に係る車両制御システム１００は、運転者への進行に伴って呈示される接近情報、呈示するリスク情報に付加された付加情報や、運転手への通知やこれらによって誘導される実際の復帰行動及び眼球挙動、その結果である操舵安定性等が相互に影響しあい、運転手の復帰行動を決定づけるシステムとして構築される。なお、学習の観測学習の説明については、主に眼球挙動を主に観測学習として説明しているが、センサ部１１３で取得される各種観測情報も学習の対象とすることで、運転手の覚醒状態の推定を眼球挙動以外に拡張利用をしてもよい。
　＜＜９．　本開示の実施形態を創作するに至る背景＞＞
　＜９．１　ＥＶＳの使用＞
　さらに、本開示の実施形態の詳細を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
　上記車両制御システム１００においては、先に説明したように、復帰反応レベルを判定するために、運転手の脳内活動の状態を把握することが求められる。例えば、運転手が、手動運転に復帰する前に、一時的に仮眠をとり、意識が運転操舵からいったん完全に遠のいた場合、脳内の（操舵判断に必要な）状況把握に必要な記憶を参照し、判断する活動が低下することとなる。一旦、意識が運転操舵から遠のいた運転手の脳内における状況把握のための活動状態が、運転操舵中の意識レベルにまでに復帰したかを把握するためには、脳内の活動を直接観測ができることが望ましい。しかしながら、実際の運転手の脳内状態を観測するには、ｆｕｎｃｔｉｏｎａｌ　Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ（ｆＭＲＩ）装置やＥｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ（ＥＥＧ）装置等の大掛かりな装置が必要であり、これら装置で観測をしたからと言って必ずしも正確な脳内の思考内容が読み取れる訳でもなく、更には上述の車両制御システム１００に搭載することは現実的ではない。
　一方で、詳細に脳内活動を把握することができないものの、運転手の脳内の（操舵判断に必要な）状況把握に必要な記憶を参照し、判断する活動は、視覚により認知し、記憶を参照する行為として発現することから、運転手の眼球挙動（サッカード、マイクロサッカード等）を観測することで活動の一翼を推定することができる。また、ヒトの目の構造においては、詳細に視認するために使用される中心視野は狭く、従って、周辺視野や音等の情報を得た場合、ヒトは該当する方角に中心視野を振り向けることとなる。そして、人体構造においては、体全体を動かした場合に比べ、頭部や眼球は慣性が小さいことから、頭部や眼球が方向を変えるために要する時間は短い。従って、眼球挙動は、高速な動きとなり得る。そのため、脳内活動を精度よく推定するには、高速な眼球挙動を精度よく観測することが有効である。例えば、眼球のサッカードの挙動解析においては、眼球の高速回転による視線変化を観測する必要があり、このような高速回転を捉えるには、眼球の虹彩や白目の境界を動的に高分解能で座標検出することが求められる。
　しかしながら、眼球挙動は高速な動きであることから、通常のＲＧＢカメラ（可視光カメラ）や赤外カメラ、更には可視と赤外共用のＲＧＢＩＲカメラ（以降、特段それぞれを区別の必要がなければ一律にＲＧＢカメラと記す）ではデータの読み出しや伝送の限界から定常的に利用できるフレームレートには制限があり、またフレームレートを一時的に無理に上げてもその高い動作周波数が仇となり撮像素子の温度上昇を招き、結果として温度上昇により撮像素子のノイズが増加して、観測をしようとする高速の眼球挙動をノイズなく詳細に捉えることが難しくなる。
　そこで、本発明者は、上述の車両制御システム１００において、眼球挙動の解析による運転手の復帰反応レベル（覚醒レベル）判定を行うにあたり、運転手の眼球挙動を、Ｅｖｅｎｔ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ（ＥＶＳ）を用いて観測することを着想した。
　ＥＶＳは、輝度変化を敏感に検出するイメージセンサである。一般的なＲＧＢセンサやＩＲセンサよりも光電変換の対数変換特性によりダイナミックレンジが広い。そのため、フレーム蓄積型のＲＧＢセンサやＩＲセンサでは苦手とする暗時から明るい範囲の広域で被写体の輝度境界の変化点となるエッジ情報）を容易に得ることができる。また、ＥＶＳは、フレームレートという概念がなく、頻繁な輝度変化があれば、それに応じて高いデータレートで該当アドレス情報を出力することができる。さらに、ＥＶＳは、輝度変化が閾値を超えて発生した際にそのタイムスタンプ情報と画素情報（座標情報）とをスパースに出力する、すなわち、全画素情報を一定フレームごとに出力はしないため、データ量は、ＲＧＢセンサやＩＲセンサよりも少なくなり、データ送信や演算処理の負担を軽くすることができる。
　＜９．２　ＥＶＳについて＞
　そこで、図１０及び図１１を参照して、Ｅｖｅｎｔ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ（ＥＶＳ）４００について説明する。図１０は、本開示の実施形態で使用されるＥＶＳ４００の構成の一例を示すブロック図であり、図１１は、図１０に示すＥＶＳ４００における画素アレイ部５００に位置する画素５０２の構成の一例を示すブロック図である。
　図１０に示すように、ＥＶＳ４００は、複数の画素５０２（図１１　参照）がマトリクス状に配列されることによる構成される画素アレイ部５００を有する。各画素５０２は、光電変換によって生成された光電流に応じた電圧を画素信号として生成することができる。また、各画素５０２は、入射光の輝度の変化に対応する光電流の変化を所定の閾値と比較することにより、イベントの有無を検出することができる。言い換えると、画素５０２は、輝度変化が所定の閾値を超えたことに基づき、イベントを検出することができる。
　さらに、図１０に示すように、ＥＶＳ２４００は、画素アレイ部５００の周辺回路部として、駆動回路４１１、アービタ部（調停部）４１３、カラム処理部４１４、及び、信号処理部４１２を有する。
　各画素５０２は、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部４１３に出力することができる。そして、各画素５０２は、イベントデータの出力の許可を表す応答をアービタ部４１３から受け取った場合、駆動回路４１１及び信号処理部４１２に対してイベントデータを出力する。また、イベントを検出した画素５０２は、光電変換によって生成される画素信号をカラム処理部４１４に対して出力する。
　駆動回路４１１は、画素アレイ部５００の各画素５０２を駆動することができる。例えば、駆動回路４１１は、イベントを検出し、イベントデータを出力した画素５０２を駆動し、該当する画素５０２の画素信号を、カラム処理部４１４へ出力させる。
　アービタ部４１３は、各画素５０２のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素５０２に送信することができる。
　カラム処理部４１４では、画素アレイ部５００の列ごとに、該当する列の画素５０２から出力されるアナログの画素信号をデジタル信号に変換する処理が行うことができる。カラム処理部４１４は、デジタル化した画素信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理を行うこともできる。
　信号処理部４１２は、カラム処理部４１４から供給されるデジタル化された画素信号や、画素アレイ部５００から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ（タイムスタンプ情報等）及び画素信号を出力することができる。
　画素５０２で生成される光電流の変化は、画素５０２に入射する光の光量変化（輝度変化）と捉えることができる。従って、イベントは、所定の閾値を超える画素５０２の輝度変化）であるとも言うことができる。さらに、イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素５０２の位置を表す座標等の位置情報を含むことができる。
　さらに、図１１を参照して、画素５０２について説明する。複数の画素５０２がマトリックス状に配列することにより構成される画素アレイ部５００において、各画素５０２は、受光部５０４、画素信号生成部５０６、及び、検出部（イベント検出部）５０８を有する。
　詳細には、受光部５０４は、入射光を光電変換して光電流を生成することができる。そして、受光部５０４は、駆動回路４１１の制御に従って、画素信号生成部５０６及び検出部５０８のいずれかに、光電流に応じた電圧の信号を供給することができる。
　画素信号生成部５０６は、受光部５０４から供給された信号を、画素信号として生成することができる。そして、画素信号生成部５０６は、生成したアナログの画素信号を、画素アレイ部５００の列に対応する垂直信号線ＶＳＬ（図示省略）を介してカラム処理部４１４に供給することができる。
　検出部５０８は、受光部５０４からの光電流の変化量（すなわち、画素５０２への入射光による輝度変化量）が所定の閾値を超えたか否かに基づき、イベントの発生の有無を検出することができる。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントを含むことができる。なお、検出部５０８は、オンイベントのみを検出するようにしてもよい。
　検出部５０８は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部４１３に出力することができる。そして、検出部５０８は、リクエストに対する応答をアービタ部４１３から受け取った場合、駆動回路４１１及び信号処理部４１２に対してイベントデータを出力することができる。なお、本実施形態では特に運転手の顔のパーツの特に眼の瞳孔検出に特化し、その領域の挙動解析で用いる場合、アービタ部４１３が読み出し割り当てを行う領域をＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ））として限定するＲＯＩ読み出し機能を備えてもよい。特に瞳孔輪郭検出の場合は、対象領域が準円形領域の楕円となるために、探索アービタの対象領域を中心点と半径で定義するなど更に行い、読み出しデータを控えることも可能である。
　＜９．３　本開示の実施形態を創作するに至る背景＞
　しかしながら、本発明者は、独自に車両制御システム１００について検討を進める中、ＥＶＳ４００を用いて運転手の眼球挙動等の観測データを取得しようとする場合に、以下のような課題が生じ得ることを認識した。ＥＶＳ４００は、先に説明したように、輝度変化が所定の閾値を超えたことに基づきイベントを検出する。従って、例えば上記閾値を小さくした場合には、ＥＶＳ４００は、小さな輝度変化であってもイベントとして検出することから、検出されるイベントが多発し、検出されたイベントのデータ量が増加する。その結果、データ量がインタフェースの伝送帯域を超え、他の機能ブロック等に当該データを送信できないといった問題が生じ得る。このような場合、ＥＶＳ４００で検出された全てのデータが送信できていないこととなるため、結果的に、本来検出したい所望のイベントを検出できないといったこととなる。一方、例えば上記閾値を大きくすると、ＥＶＳ４００が所望のイベントを検出できないといった問題が生じ得る。
　より具体的には、サッカード挙動で眼球回転が発生すると、瞳孔境界線の移動で輝度変化が生じ、当該輝度変化が上記閾値を超えると、ＥＶＳ４００によってイベントとして検出され、当該輝度変化があった画素５０２の座標情報が出力される。このような場合、閾値を小さくした場合には、検出されるイベントが多発し、検出されたイベントのデータ量がインタフェースの伝送帯域を超え、送信できないといった問題が生じ得る。加えて、データ量に応じて処理量が増加することから、処理の動作温度の上昇といった問題も生じ得る。一方、閾値を大きくして、検出するイベントが少なくなると、ＥＶＳ４００により検出されたイベントが、眼球の回転に対してまばらになり、瞳孔境界線の移動に基づき時間経過とともに移動する座標群からなるポイントクラウドの移動重点を、精度よく観測することができないという問題が生じ得る。
　さらに、ＥＶＳ４００により、運転手の眼球挙動だけでなく、顔の向きや表情等を捉えようとする場合には、これらに必要な検出特性が大きく異なることから、ＥＶＳ４００において、眼球挙動の観測と他の観測とを両立させることが難しかった。
　そこで、本発明者は、このような状況を鑑みて、本開示の実施形態を創作するに至った。本開示の実施形態においては、ＥＶＳ４００を用いて運転手の眼球挙動を観測する際には、ＥＶＳ４００のイベント検出の頻度を定義しえる閾値を調整することにより、上記眼球挙動の観測を最適化することができる。また、本開示の実施形態においては、運転手を照明する照明装置を合わせて動的に調整してもよい。このようにすることにより、本開示の実施形態によれば、サッカード、マイクロサッカードやドリフト等の眼球挙動、瞬きの検出、顔の表情変化等の観測を、データ量の増加を抑えつつ、観測目的とする変化を精度よく捉えるために最適な頻度でイベント検出を行うことができる。また、イベント検出をする際の閾値の調整が、回路の設計上離散設定となるのに対して、照明装置では、は光源装置のシャッタ等で任意に調整が可能であることから、最適化調整を行えるなど柔軟性高いメリットがある。
　詳細には、本開示の実施形態においては、ＥＶＳ４００を用いて、眼球のサッカード挙動やマイクロサッカード挙動等の観測を行う際には、眼球挙動の観測が必要なタイミングで、ＥＶＳ４００のイベント検出の閾値を調整する。このようにすることで、データ量の増加を抑え、演算処理や伝送への負荷を軽減しつつ、サッカード挙動やマイクロサッカード挙動を効率的に精度よく捉えることができる。
　また、本開示の実施形態においては、ＥＶＳ４００を用いて眼球のサッカード挙動の観測を行う際には、眼球挙動の観測が必要なタイミングで、狭帯域波長の光を選択的に透過するフィルタを用いて当該狭帯域波長の光を運転手の顔面に照明する。このようにすることで、眼球の虹彩と瞳孔とがなす境界濃淡を顕著にすることができることから、サッカードやマイクロサッカードといった眼の高速挙動を選択的に、且つ、効率的に精度よく観測することができる。
　以下に、本発明者が創作した本開示の実施形態の詳細について順次説明する。
　＜＜１０．　実施形態＞＞
　＜１０．１　設置位置について＞
　まずは、本開示の実施形態におけるＥＶＳ４００の設置位置の例について、図１２から図１２から図１４を参照して説明する。図１２から図１４は、本実施形態に係る撮像装置７００、７０２の設置位置を説明するための説明図である。
　まずは、撮像装置７００は、主に、車両６００内の運転手９００の位置を観測したり、運転席６０２（図１３　参照）に着座する運転手９００の顔面や着座姿勢を観測したりする撮像装置である。例えば、撮像装置７００は、ＲＧＢカメラ（可視光カメラ）であったり、ＴｏＦカメラであったりすることができる。また、撮像装置７００は、ＥＶＳ４００であってもよい。また、撮像装置７００は、図１２に示すように、車両６００内の運転席６０２の前方上側に設けられることが好ましい。
　また、撮像装置７０２は、車両６００内部を撮像する撮像装置であって、詳細には、主に運転手９００の眼球挙動（眼球のサッカード、固視及びマイクロサッカード等）を観測する、ＥＶＳ４００からなる撮像装置である。なお、本実施形態においては、撮像装置７０２は、眼球挙動を観測するだけなく、運転手９００の顔面の状態等を観測してもよく、車両６００内部の様々な状態を観測してもよい。また、撮像装置７０２は、図１２に示すように、車両６００内の、運転席６０２の前方下側のハンドルの下付近に設けられることが好ましい。
　より具体的には、図１３に示すように、運転手９００を横から見た場合、撮像装置７００は、車両６００内の運転席６０２の前方上側に設けられ、主に運転席６０２に着座する運転手９００の姿を捉えることができるように、広い画角を有する。
　撮像装置７０２は、主に運転席６０２に着座する運転手９００の顔面を捉えることができるように、運転手９００の顔面と対向するように設けられる。詳細には、図１３に示すように、撮像装置７０２は、運転手９００の視界を妨げることがないように、当該運転手９００が前方の無限遠に位置する物体を見る際の視線方向９０２（水平遠方無限遠視線）に対して下方に位置することが好ましい。さらには、撮像装置７０２は、運転手９００の瞳孔を正面で観測することができるように、運転手９００の眼球と撮像装置７０２とを結ぶ線分と当該視線方向９０２とがなす角度θが、１０度以上、３０度未満になるように、設けられることが好ましい。なお、ハーフミラーや波長選択ミラー等を用いて運転手９００の前方直接視界を妨害することなく配置カメラ配置が可能であれがその限りではなく、撮像装置の光軸のなす角度θが、１０度以上である必要はない。
　また、図１４に示すように、撮像装置７０２は、車両６００の上側から見た場合、運転席６０２に着座する運転手９００の顔面を少なくとも捉えることができるような画角を有することが好ましい。
　＜１０．２　ユニットの構成例＞
　次に、図１５を参照して、本開示の実施形態に係る、運転手９００の眼球挙動の観測を実行するユニットの構成例について説明する。図１５は、本実施形態に係る、運転手９００の眼球挙動の観測を実行するユニットの例を説明するための説明図である。
　詳細には、運転手９００の眼球挙動の観測を実行するユニットは、図５に示す車内情報検出部１４２の一部と、センサ部１１３に含まれるＥＶＳ４００からなる撮像装置７０２と、運転手９００の顔面を少なくとも照らす照明部７１０とを主に含む。これらが協働することにより、本実施形態に係る、運転手９００の眼球挙動の観測が実行される。以下に、図１５に示される各機能ブロックについて順次説明する。
　（撮像装置７０２）
　撮像装置７０２は、先に説明したように、運転手９００の眼球挙動を観測する撮像装置であって、ＥＶＳ４００からなる。そして、撮像装置７０２は、後述するセンサ制御部３３０によって制御され、観測したデータを眼球挙動解析部３００へ出力する。
　（照明部７１０）
　照明部７１０は、車両６００内に設けられ、運転手９００の眼球挙動を捉える際に、運転手９００の顔面に所定の波長の光（例えば、近赤外光）を照射することができる。例えば、照明部７１０は、主に９４０ｎｍ以上９６０ｎｍ以下の波長の光を透過するフィルタを撮像装置レンズに配置することにより、眼球挙動の観測が必要なタイミングで、該当狭帯域波長の光を運転手９００の顔面に照明することで外光による影響をおさえるができる。本実施形態においては、外光（太陽光）のノイズが少ない近赤外光により、眼球の虹彩と瞳孔とがなす境界濃淡を顕著にすることができることから、撮像装置７０２により、運転手９００の眼球挙動（サッカード挙動）を選択的に、且つ、効率的に精度よく観測することができる。さらに、照明部７１０は、後述する照明制御部３３２により、運転手９００の眼球挙動をより捉えやすくするために、照射する光の強度や、照射時間、照射間隔等が調整されてもよい。なお、利用する光源の種類、撮像装置の受光部の波長感度分布に合わせ、上記設定以外の波長感度を利用してもよい。
　なお、撮像装置７０２が眼球挙動の観測のみを行う撮像装置として用いる際には、上記フィルタを撮像装置７０２に適用してもよい。このようにすることで、撮像装置７０２は、外光のノイズが少ない近赤外光の反射のみを捉えることができる。
　（センサ制御部３３０）
　センサ制御部３３０は、車内情報検出部１４２内に設けられ、撮像装置７０２を制御する。詳細には、センサ制御部３３０は、運転手９００の眼球挙動を捉える際、ＥＶＳ４００からなる撮像装置７０２のイベント検出の頻度を定義しえる閾値を変更する。このようにすることで、撮像装置７０２は、サッカード、マイクロサッカードやドリフト等の眼球挙動、瞬きの検出、顔の表情変化等の観測を、データ量の増加を抑えつつ、観測目的とする変化を精度よく捉えるために最適な頻度でイベント検出を行うことができる。さらに、撮像装置７０２が、運転手９００の眼球挙動だけでなく、運転手９００の位置や姿勢も捉える機能を担っている場合には、一時的に閾値を眼球挙動の観測に最適することにより、眼球挙動を精度よく観測することが可能となる。
　より具体的には、センサ制御部３３０は、例えば、撮像装置７０２の画素アレイ部５００内の、運転手９００の顔面又は眼球を捉える領域をＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）として設定し、当該領域内の画素５０２のデータだけを出力するように、当該画素５０２の閾値を変更してもよい。さらに、センサ制御部３３０は、観測したデータを眼球挙動解析部３００によって解析し、解析結果をフィードバックされることにより、閾値を変更してもよい。
　（照明制御部３３２）
　照明制御部３３２は、車内情報検出部１４２内に設けられ、照明部７１０を制御する。詳細には、照明制御部３３２は、運転手９００の眼球挙動を捉える際、照明部７１０からの光の強度、照射時間、又は、照射間隔を制御する。このようにすることで、撮像装置７０２は、運転手９００の眼球挙動をより捉えやすくなる。さらに、照明制御部３３２は、観測したデータを眼球挙動解析部３００によって解析し、解析結果をフィードバックされることにより、照明部７１０からの光の強度、照射時間、又は、照射間隔を制御してもよい。
　（眼球挙動解析部３００）
　眼球挙動解析部３００は、撮像装置７０２で観測されたデータを解析する。詳細には、眼球挙動解析部３００は、イベントを検出した撮像装置７０２の画素５０２の位置座標点からなるポイント分布の形状に基づいて、眼球挙動の種別（サッカード、マイクロサッカード等）を区別することができる。さらに具体的には、眼球挙動解析部３００は、三日月形状を持つポイント分布の発現を検出した場合、マイクロサッカードが発現したと解析する。さらに、本実施形態においては、眼球挙動解析部３００の解析結果は、判定部３２０での判定（運転手の復帰対応レベルの判定）に用いられ、判定部３２０の判定結果に基づいて、運転モードを切り替えたりすることとなる。
　＜１０．３　情報処理方法＞
　次に、図１６から図１８を参照して、本開示の実施形態に係る情報処理方法について説明する。図１６及び図１７は、本実施形態に係る情報処理方法の一例を説明するフローチャートであり、図１８は、撮像装置７０２により観測される観測データの一例を説明するための説明図である。
　まずは、図１６に示すように、本実施形態に係る情報処理方法は、ステップＳ３１からステップＳ４４までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
　まずは、車両制御システム１００は、運転手９００の、離席から運転席６０２での運転姿勢への復帰移行を評価する（ステップＳ３１）。次に、車両制御システム１００は、運転手９００が、運転席６０２への着座、及び、運転姿勢へ復帰したかを判定する（ステップＳ３２）。運転手９００が、運転席６０２への着座、及び、運転姿勢へ復帰した場合（ステップＳ３２：Ｙｅｓ）には、ステップＳ３３へ進み、運転席６０２への着座していない、又は、運転姿勢へ復帰していない場合（ステップＳ３２：Ｎｏ）には、ステップＳ３１へ戻る。なお、運転手９００が運転席６０２に着座していても、運転姿勢ではない場合とは、居眠り（居眠りによる首の不安定なゆれ等で検出）、わき見、運転席６０２に前方以外の方向を向いて不適切に着座する等の場合が考えられる。本実施形態においては、例えば、上述した撮像装置７００、７０２によって観測された観測データから、運転手９００の顔面等を検出することにより、運転手９００の位置や姿勢を特定してもよい。
　車両制御システム１００は、運転手９００の運転姿勢を確認し、運転手９００の顔面、眼の領域の位置を特定する（ステップＳ３３）。本実施形態においては、例えば、上述した撮像装置７００、７０２によって観測された観測データから、運転手９００の顔面、眼球等を検出することにより、運転手９００の顔面や眼球の位置を特定してもよい。
　車両制御システム１００は、運転手９００の顔面又は眼球の位置に応じて、撮像装置７０２の、顔面又は眼球を捉える画素アレイ部５００内の領域をＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）として設定する（ステップＳ３４）。本実施形態においては、このようにすることで、設定されたＲＯＩに対応する画素５０２で検出されたイベントに関するデータのみを出力するようにすればよいことから、出力するデータ量の増加を抑えることができる。さらに、撮像装置７０２が、運転手９００の眼球挙動だけでなく、運転手９００の位置や姿勢も捉える機能を担っている場合には、一時的に閾値を眼球挙動の観測に最適することにより、眼球挙動を精度よく観測することが可能となる。
　車両制御システム１００は、撮像装置７０２のイベント検出の頻度を定義しえる閾値（イベント検出閾値）を調整する（ステップＳ３５）。この際、先に説明したステップＳ３４で設定されたＲＯＩに対応する画素５０２の閾値のみを調整するようにしてもよい。本実施形態においては、閾値は、観測したい目的とする眼球挙動（サッカード、マイクロサッカード）に応じて、あらかじめ決められた数値に設定されてもよく、さらには、予め登録された運転手９００の属性情報（虹彩の色、年齢、性別等）に応じて設定されてもよい。また、本実施形態においては、閾値は、運転時の時間、天候や走行中の道路周囲の状態（地形、トンネル等）によって予想される外光の影響に応じて、設定されてもよい。さらに、本実施形態においては、毎回の運転において機械学習された運転手９００の眼球挙動の観測データの傾向に基づいて、設定されてもよい。
　この後、例えば、運転手９００の眼球でマイクロサッカードが発現した場合には、瞳孔の境界が動き、この動きにより変化する輝度変化を、撮像装置７０２はイベントとして検出する。この際、ＲＧＢカメラでは、瞳孔の境界や虹彩模様等には個人差が存在することもあり、にじみやボケ等が生じ、マイクロサッカードを顕著にとらえることが難しい。しかしながら、本実施形態においては、ＥＶＳ４００である撮像装置７０２において、マイクロサッカードの観測に好適な閾値に設定されることにより、イベントのポイント分布（ポイントクラウド）によりマイクロサッカードを精度よく捉えることができる。
　また、マイクロサッカードは、眼球が、眼窩のくぼみの中で、上・下直筋、外・内直筋、上・下斜筋という眼球の周りで眼球を引っ張る骨格筋が動くことで引き起こされ、特に、瞳孔の左右の移動は、上・下直筋、外・内直筋によって主に引き起こされる。ここで重要なのは、視覚情報に基づく脳の活動に必要な思考活動の復活としての、探索の動きであるマイクロサッカードを捉えることであり、直接脳からの指令を上記骨格筋が受け、骨格筋により引き起こされる眼球のわずかな小刻みな動きを捉えることである。本実施形態においては、このようなマイクロサッカードを捉えることにより、直接的に思考のコンテンツとしての内容を読み解くことができないものの、無関心時の目的が定まらない目の動きとは明らかに差異ある眼球挙動を観測することにより、脳内の思考活動を捉えることができる。
　次に、車両制御システム１００は、照射部（光源）を調整する（ステップＳ３６）。本実施形態においては、例えば、車両制御システム１００は、照明部７１０からの光の強度、照射時間、又は、照射間隔を調整する。本実施形態においては、このようにすることで、撮像装置７０２は、運転手９００の眼球挙動をより捉えやすくなる。
　次に、車両制御システム１００は、眼球挙動として、観測データから、三日月形分布するイベントデータが検出されたかどうかを判定する（ステップＳ３７）。例えば、マイクロサッカードとしては、図１８に示すような眼球が高速回転移動する際に撮像面を横切る瞳孔輪郭境界の移動で起きる輝度変化をイベントしてポイントデータが散発的に発生し、一定の期間ポイントの集合として三日月形の形状の分布として検出される。眼球の回転に伴い撮像面で最も横切る移動量が多い箇所が三日月の太い中央部となり、瞳孔の境界は回転での境界移動が乏しいことから接線ではほぼイベントが発生しないため、一定に時間間隔で発生したイベントの総和はこのような三日月分布の領域として現れる。マイクロサッカードの場合、個々の回転は主に固視内でのランダムな小刻みの移動となる。この三日月形分布するイベントデータが検出された場合（ステップＳ３７：Ｙｅｓ）には、ステップＳ３８へ進み、三日月形分布するイベントデータが検出されない場合（ステップＳ３７：Ｎｏ）には、ステップＳ３５及びステップＳ３６へ戻る。眼球の移動で発生するポイントの集合体が三日月状態として分布となるのは、一定期間瞳孔境界が像面移動して掃引され、発生イベントポイントを作業でかき集めた集合としての結果であるためである。より細かな時間分解能で図式化した場合は、線幅分布のある円弧となるが、本実施形態を構成する原理を分かりやすく説明するため、三日月として表現する。実際の瞳孔の色や形状、境界の輪郭明瞭差などは人による個人差もあれば、照明条件、利用可能な光源波長、利用狭帯域フィルタのハンドパス幅など様々に条件で変わるため、照明や検出の条件次第では検出されるポイントクラウドの時系列集合は明瞭な輪郭のある三日月にならないこともある。本明細書ではそれら明瞭領域が該当ではない場合の眼球微細挙動で発生した検出事象含め三日月分布の検出として記載する。すなわち、本実施形態においては、検出されるイベントデータの分布の形状は、例えば三日月状であってもよく、他の形状であってもよく、特に限定されるものではない。
　詳細には、例えば、人は、単純に理解できない対象を見た場合、自身の記憶を参照しつつ、対象を視覚的にとらえ、さらに、対象と詳細パーツと上記記憶とを照合して、最終的に対象のコンテンツ理解を完結させる。このような状況においては、多くの場合、人は、詳細を捉えるため、眼球で固視をすることとなるが、この固視には、眼球のランダムな回転による小刻みな動き（マイクロサッカード）が現れる。その結果、このマイクロサッカードにおいては、眼球の回転方位に瞳孔の境界が動くことで、撮像装置７０２で捉えられる輝度変化の経時変化として、例えば図１８に示すような、回転方位を横切る三日月状の分布が現れる。図１８は、マイクロサッカードによって発現する、三日月状の暗明（左側）のポイントクラウドと三日月状の明暗（右側）のポイントクラウドを模式的に示している。そして、運転手９００が記憶の参照と理解とを繰り返す中で、マイクロサッカードによりランダムな眼球挙動を持つ固視を行うことで、撮像装置７０２は、三日月状のポイントクラウドと、三日月の境界線上近傍で瞳孔の境界線が暴れている状態とを観測することとなる。つまり、マイクロサッカードの場合、通常の固視間の大きなサッカード移動によって生じる、例えば、瞳孔程度の幅を持つ広いポイントクラウドの形状とは異なる形状のポイントクラウドが観測されることとなることから、三日月状のポイントクラウドの観測することにより、脳内の思考活動の発現が観測できることとなる。
　すなわち、本実施形態においては、ＥＶＳ４００を撮像装置７０２として用いることにより、サッカードとマイクロサッカードとを、観測されるポイントクライドの形状による区別することができる。詳細には、大きく異なる位置にある対象に対して行う固視の向きの移動であるサッカードは、サッカードの移動に沿った一定方方位の太い帯状のポイントクラウドとして観測される。一方、情報詳細探索の固視の際のマイクロサッカードは、固視方位を中心に目まぐるしくふらつく三日月状のポイントクラウドとして観測される。従って、サッカードとマイクロサッカードとを、観測されるポイントクライドの形状によって区別することができる。
　さらに、本実施形態においては、三日月形分布するイベントデータが検出されない場合（ステップＳ３７：Ｎｏ）におけるステップＳ３５及びステップＳ３６では、撮像装置７０２による観測データの解析結果に基づき、撮像装置７０２のイベント検出のための閾値や、照明部７１０からの光の強度、照射時間、又は、照射間隔等を再度調整してもよい。このステップＳ３５とステップＳ３６では、マイクロサッカードで発生する瞳孔回転に伴い瞳孔境界の移動でイベントの発生が三日月分布として掌握できる頻度で発生するイベント判定閾値の調整と照明光源の調整とを行う。
　車両制御システム１００の撮像装置７０２は、輝度変化画素の座標点群（ポイントクラウド）を出力する（ステップＳ３８）。次に、車両制御システム１００は、上記ステップＳ３８で出力されたポイントクライドに基づいて、眼球挙動を構成する点群の詳細解析を行う（ステップＳ３９）。そして、車両制御システム１００は、眼球挙動、すなわちサッカード（眼球回転）、固視、マイクロサッカード（眼球微小回転）等の眼球挙動を詳細評価する（ステップＳ４０）。当該ステップでは、固視の方位推定のための解析、評価ではなく、マイクロサッカードによる、固視をしている間のランダムな小刻みの揺れの発現の有無に基づく三日月状のイベントポイントクラウドとして選択的に出力される限られたデータ自体を直接解析するので、脳内活動の推定（解析評価）であることから、瞳孔を検出するため全体の画像を探索して行う通常の複数フレーム画像の連続処理解析といった高い負荷の演算処理を行うことはない。サッカードとマイクロサッカードでは、前者のサッカード始点からターゲット方角にまたがる帯状のポイントクラウドとして連続して伸びる違いがある。
　車両制御システム１００は、運転手９００の眼球挙動が、視覚確認のための、サッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やその固視の間で発現するマイクロサッカード（眼球微小回転）に相当すると眼球挙動であるがどうかを判定する（ステップＳ４１）。視覚確認のための眼球挙動が検出された場合（ステップＳ４１：Ｙｅｓ）には、ステップＳ４３へ進み、視覚確認のための眼球挙動が検出されない場合（ステップＳ４１：Ｎｏ）には、ステップＳ４２へ進む。
　車両制御システム１００は、予め規定された判定処理の覚醒復帰判定に許容される時間バジェット（ＭＲＭを発動しない場合に自動運転のまま引継ぎ限界地点を超えてしまうリスクがある許容限界時間）の上限に達しているか否かを判定する（ステップＳ４２）。リトライ許容の上限に達している場合（ステップＳ４２：Ｙｅｓ）には、ステップＳ４４へ進み、達していない場合（ステップＳ４２：Ｎｏ）には、ステップＳ３８へ戻る。そして、車両制御システム１００は、運転手９００が手動運転復帰可能な覚醒度を有しているかの判定を実行し、運転手９００の認知応答として観測データを記録する（ステップＳ４３）。さらに、車両制御システム１００は、運転手９００が手動運転復帰可能な覚醒度を有していることが残存時間バジェット以内に確認ができないと判定して、車両６００は緊急停止等、手動運転区間への侵入を回避する処理を行う（ステップＳ４４）。
　また、上述のステップＳ４３は、図１７に示されるサブステップを有するフローで処理される。ステップＳ４３は、ステップＳ５１からステップＳ５５までのステップを含むことができる。以下に、これら各サブステップの詳細について説明する。
　車両制御システム１００は、運転手９００が手動運転復帰可能な覚醒度を有しているかの判定を実行したか否かを判定する（ステップＳ５１）。判定が実行されていた場合（ステップＳ５１：Ｙｅｓ）には、ステップＳ５２へ進み、判定が実行されていなかった場合（ステップＳ５１：Ｎｏ）には、上述したステップＳ４３を実行し、ステップＳ５１へ戻る。
　車両制御システム１００は、運転手９００が手動運転復帰可能な覚醒度を有していると判定されたか否かを判定する（ステップＳ５２）。運転手９００が手動運転復帰可能な覚醒度を有していると判定された場合（ステップＳ５２：Ｙｅｓ）には、ステップＳ５３へ進み、運転手９００が手動運転復帰可能な覚醒度を有していないと判定された場合（ステップＳ５２：Ｎｏ）には、ステップＳ５４へ進む。
　車両制御システム１００は、自動運転モードから手動運転モードに切り替えを行う（詳細には、切替のための準備段階の処理を開始する）（ステップＳ５３）。
　車両制御システム１００は、予め規定された判定処理のリトライ回数の上限に達しているか否かを判定する（ステップＳ５４）。リトライ回数の上限に達している場合（ステップＳ５４：Ｙｅｓ）には、ステップＳ５５へ進み、達していない場合（ステップＳ５４：Ｎｏ）には、ステップＳ５１へ戻る。なお、リトライ回数は、引継ぎ待機許容限界地点を超えてはならない。
　車両制御システム１００は、覚醒度評価を不合格、すなわち運転手９００が手動運転復帰可能な覚醒度を有していることが確認できないと判定して処理を終了する。この場合、手動運転への復帰は許容されず、自動車は緊急停止等、手動運転区間への侵入を回避する処理を行う（ステップＳ５５）。なお、本設定の基本は、覚醒復帰があいまいな状況での復帰を予防する処置であり、運転手による緊急時の異常事態の対処として車両の制御システムに装備する運転手による自動運転システムの制御オーバライド機能を無効化するものはない。早期復帰確認が取れない場合に、対処可能限界点を設定して以降の無効化を基本とする目的は、運転手による遅れた対処の常態化で無理な復帰を試みる予防機能として働き、遅れて慌てた復帰で誘発事故等を予防する事になる。
　＜１０．４　実施例＞
　さらに、運転手９００の覚醒度の判定処理を実行する具体例について説明する。例えば、以下に説明するような課題を運転手９００に提示することにおり、実行される。
　まずは、図１９を参照して、運転手９００の覚醒度の判定処理を実行するための具体的な構成について説明する。図１９は、運転手９００の覚醒度の判定処理を実行するための、車両制御システム１００の一部構成を説明するための説明図である。詳細には、図１９には、上述した顔追跡部２０４及び眼球挙動解析部３００と、記憶部１１１に格納された表示情報ＤＢ（Ｄａｔａ　Ｂａｓｅ）８００と、出力制御部１０５に設けられた表示情報生成部８０２と、表示部８０４とが示されている。
　顔追跡部（Ｄｒｉｖｅｒ　Ｆａｃｉａｌ　Ｔｒａｃｋｅｒ）２０４は、運転手９００の顔や頭部の動き情報を検出し、表示情報生成部８０２へ出力する。
　表示情報生成部８０２は、運転手９００が運転席６０２に着座していることを確認した上で、表示部８０４に表示する課題を生成する。具体的には、例えば、表示された複数のシルエットのうち小動物のシルエットの数を答えよという課題等を生成する。表示情報ＤＢ８００には、様々な課題を生成するために利用可能なデータが格納されている。なお、具体的な課題の例については、後述する。運転手に対する課題提示は通常の利用では必ずしも必須工程ではないものの、運転手によっては覚醒しているものの周囲状況の確認を怠り乏しい目視確認のまま自動運転から手動運転引継ぎに際して望ましいとされる十分は周辺状況の目視確認を行わずに漫然と引継ぎを開始しようとする利用者もいるため、改めて人工的な状況把握を運転手に促すことで、その際に求められる目視確認ターゲットに対し発現するマイクロサッカードの検出を介して脳内の活動推定に有効な課題生成である。つまり、本来自然と行われるべき車両周囲確認の視線確認動作が期待できない場合の人工的に生成課題をこなすことで、代用した実施例である。
　表示情報生成部８０２が生成した課題が表示部８０４に表示されると、運転手９００は課題の回答を取得するため課題に視線を移動させる。例えば、前述したように、複数のシルエットのうち小動物のシルエットの数を答えよといった判断を要する視覚的課題が表示部８０４に表示される。運転手９００は、この課題の回答を取得するため、必要とする情報を補足するための眼球挙動を行う。例えば、眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。眼球挙動解析部３００は、表示情報生成部８０２が生成した課題を認識した上で、表示部８０４に表示された上記課題を観察する運転手９００の眼球挙動を解析する。なお、本実施形態においては、表示部８０４は、運転手９００の顔面と対向し、且つ、運転手９００が前方の無限遠に位置する物体を見る際の視線方向に対して下方に位置することが好ましい。
　眼球の詳細挙動解析は、生体反射的に現れる挙動が一部あるものの、その挙動には脳内の神経伝達と処理を反映して現れる多くの現象も同時に見られるため、脳の認知等の活動結果が反映され、表に見える形になる。眼球挙動に脳内の活動が反映されることを利用して、運転者の覚醒レベルを高精度で推測することが可能となる。
　人が行動に必要な状況判断を行う場合に取得する外界情報は、視覚的情報から得られるものが多い。人が視覚的情報を知覚し、認識し、行動に移す際に、人は情報に視線を向けて、その情報と自身の記憶（記録知識）との比較参照を行う。視線の先の情報を理解するまでの間、人は、その情報が見える部分やその近傍に視線を向け、この固視の間に生じるマイクロサッカード、トレモア、ドリフトと言った視覚情報認知に必要となる特定の眼球挙動を無意識の内に発現する事が知られている。
　この眼球挙動は、人が正常な覚醒状態にある場合と、意識・覚醒低下状態にある場合とでは、異なる振る舞いを示す。具体的には、ある情報（課題）を目視して内容を理解しようとする場合、人は大きなサッカードと呼ばれる眼球回転を行い、所定の目視箇所に眼球（正確には中心視野）を振り向け、その近傍で固視（Ｆｉｘａｔｉｏｎ（フィクセーション））と、局所領域の微小な眼球回転動作であるマイクロサッカードを伴う眼球挙動を行う。
　以上説明をしたように、人が意識をして視覚情報から必要な情報を取得し、必要な判断を行う際に、情報を得るために特徴的な眼球挙動が発現する。他方で、意識低下したりしてこの視覚的情報探索が不十分であると、情報を確定取得する固視に必要な眼球挙動に乱れが生じる。ここで、図２０を参照して、情報を見る視覚課題を提示した際の運転手９００の眼球挙動の軌跡の一例を説明する。図２０は、情報を見る視覚課題を提示した際の運転手９００の眼球挙動の軌跡の一例を説明するための説明図である。
　まず、図２０（ａ）は、課題を示しており、詳細には、複数のシルエットのうち小動物のシルエットの数を数えよという課題である。
　ところで、視線の順番は見る人により異なる。課題である問題文面「Ｑ」に視線を最初に向ける被験者もいれば答え「Ａｎｓ」を見て問題文面「Ｑ」を見て配列の図面全体を見る被験者者もいれば、答えのシルエット情報をさっと見てから課題を見るなど様々である。しかしながら、脳内の活動評価において、重要となるのは、その評価時々で被験者である運転手９００がその瞬間の回答に必要となる情報取得確認を行うために必要な探索・固視を実行に移す挙動を発現しているかを評価することである。
　図２０（ｂ）と（ｃ）に示す観測データを例に説明する。（ｂ）は覚醒度の高い状態で課題に対処して際の眼球挙動を示す。他方で、視覚課題対処能力が低下した状態を眼球挙動の軌跡例を（ｃ）に示している。（ｃ）では眼は明けているものの、課題対処に不十分は状況であり、そのため眼球挙動は眼球のサッカードを含む視覚情報探索がいわゆる目の泳いだ傾向が顕著に表れている一つの例である。これは挙動特性の斜視や効き目の影響、その日の体調にともなう視力変化など、個人に属した傾向に影響されるため、覚醒判定には個人の特性を加味した状態判別を行うのが望ましく、個人を特定した上で各個人の特性を加味して判定を行うのがよい。
　例えば、自動運転中に、運転手９００の意識保持が継続しているか否かを確認するためには、定期的なモニタリングを行うことが必要である。運転手９００を過度に煩わせることなくモニタリングを実施するため、システムは、例えば何らかの思考的判断を要するシンボルを運転手９００に提示し、眼球挙動を観測する。この観測結果として運転手９００が視線による思考的確認動作が行えていることが観測された場合、運転手９００は脳内の思考活動を課題対処のために優先して実行し、その他の２次タスクに没頭したままではないことが推察される。また、システムが運転手９００の視線が提示情報に振り向けられたことを検出し、検出したことをさらに目視認知したことを受けて認知完了と判断する処理を行ってもよい。運転手が手動運転をするのであれば、本来的には運転をするにあたり周囲監視義務が発生しているので、実際の引継ぎ操舵をまっとうにこなす前に監視義務を開始する事が求められるので、表示情報生成部８０２で必ず対象の視覚情報を生成する事が求められるわけではないものの、表示を行う手段も含めることで、運転手の注意を惹く事がない単調道路でもより柔軟に運転手の状態把握が可能となる。
　なお、この眼球挙動に基づく覚醒度判定処理には、運転手９００固有の学習データを利用することが好ましい。学習データは、例えば、車両制御システム１００が有する学習器（図示省略）、あるいは、外部サーバにおいて生成される。例えば、当該学習器は、眼球挙動解析部３００の解析した眼球挙動情報を取得し、その眼球挙動情報に基づいて判定部３２０が判定した運転手９００の覚醒度情報を取得し、さらに、運転手９００の運転操舵情報も取得する。そして、学習器は、これら取得した情報に基づいて、運転手９００の眼球挙動と、その眼球挙動時の運転手９００の覚醒度レベルの正しい対応関係を学習して、学習データとして記憶部に格納する。また、学習器には、他の生体センサ（図示省略）による運転手９００の生体信号との相関や、日中の利用時間帯などの入力影響因子と連動学習することで、状況適用型判定を行い、判定の高精度化を図ってもよい。
　また、判定部３２０は、眼球挙動解析部３００の解析した眼球挙動情報を取得し、眼球挙動情報と上記学習器が生成した学習データとを利用して、より精度の高い覚醒度判定を実行してもよい。なお、本実施形態においては、学習データが存在しない、または少ない場合は、学習データを用いることなく、一般的な眼球挙動と覚醒度との対応データ（人の平均的データ）を用いて覚醒度判定を行う構成としてもよい。
　なお、眼球挙動解析部３００は、前述したように、運転手９００による課題解決のための眼球挙動である眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）、マイクロサッカード（眼球微小回転）等の眼球挙動を取得する。上記学習器は、運転手９００の覚醒度に応じた挙動特性を繰り返し取得し、累計的な学習を実行して眼球挙動から覚醒度判定を行うための辞書を構築する。この辞書は、新たに観測される眼球挙動特性から観測時のユーザの覚醒状態を推定するために用いられる。
　次に、図２１及び図２２を参照して、運転手９００の覚醒度判定処理の情報処理方法について説明する。図２１及び図２２は、運転手９００の覚醒度判定処理の情報処理方法のフローチャートである。以下、図２１に示す各ステップの処理について、順次、説明する。
　まずは、顔追跡部（Ｄｒｉｖｅｒ　Ｆａｃｉａｌ　Ｔｒａｃｋｅｒ）２０４による運転手９００の顔の動きを取得する。取得した運転手９００の顔の動きに基づいて、運転手９００が運転席６０２に着座しているか、運転姿勢に復帰しているか否かの判定を行う（ステップＳ６１）。運転手９００が運転席６０２に着座し、運転姿勢に復帰している場合（ステップＳ６１：Ｙｅｓ）には、ステップＳ６２へ進み、運転手９００が運転席６０２に着座していない、又は、運転姿勢に復帰していない場合（ステップＳ６１：Ｎｏ）には、ステップＳ６１へ戻る。
　運転手９００に対して、眼球挙動解析処理が実行可能であるか否かを判定する（ステップＳ６２）。例えば、運転手９００が表示部８０４のある位置にいない場合は、課題を表示部８０４に表示しても課題を見ることができない。眼球挙動解析処理が実行可能である場合（ステップＳ６２：Ｙｅｓ）には、ステップＳ６３へ進み、眼球挙動解析処理が実行可能でない場合（ステップＳ６２：Ｎｏ）には、ステップＳ６２へ戻る。
　運転手９００に表示する表示情報、すなわち課題を生成する（ステップＳ６３）。次に、ステップＳ６３において生成された表示情報、すなわち課題を表示部８０４に表示する（ステップＳ６４）。そして、ステップＳ６４において表示された課題によって誘導された運転手９００の眼球挙動を解析する（ステップＳ６５）。次に、ステップＳ６５における眼球挙動解析に基づいて、覚醒度判定処理を実行する（ステップＳ６６)。
　上述したステップＳ６４においては、表示情報生成部８０２が生成した課題が表示部８０４に表示されると、運転手９００は課題の回答を取得するため課題に視線を移動させる。運転手９００は、この課題の回答を取得するため、必要とする情報を補足するための眼球挙動が発現する。例えば、眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。眼球挙動解析部３００は、これら運転手９００の眼球挙動を解析する。さらに、眼球挙動解析部３００の解析した眼球挙動情報は、判定部３２０に出力される。判定部３２０は、眼球挙動解析部３００の解析した眼球挙動情報に基づいて、運転手９００の覚醒度を判定する。運転手９００が、課題解決のために眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行していることが確認された場合は、判定部３２０は、運転手９００の覚醒度が高いと判定する。一方、これらの眼球挙動が観測されなかった場合、または少ない場合は、判定部３２０は運転手９００の覚醒度が低いと判定する。
　次に、図２２を参照して、上述のステップＳ６５の処理の詳細を説明する。
　まずは、眼球挙動解析部３００は、課題表示後の運転手９００の眼球挙動の観測データを取得する（ステップＳ７１）。例えば、眼球挙動解析部３００は、眼球追跡部（Ｄｒｉｖｅｒ　Ｅｙｅ　Ｔｒａｃｋｅｒ）２０６の検出した運転手９００の眼球の動きの加速データを取得する。
　次に、眼球挙動解析部３００は、ステップＳ７１で取得した観測データから、眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報を取得する（ステップＳ７２）。前述したように、課題が表示部８０４に表示されると、運転手９００は課題の解決に必要となる情報を取得するための眼球挙動を行う。例えば、眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を行う。眼球挙動解析部３００は、これら運転手９００の眼球挙動情報を観測データから抽出する。
　次に、眼球挙動解析部３００は、覚醒度判定に十分な観測データが取得できたか否かを判定する（ステップＳ７３）。具体的には、眼球挙動解析部３００は、運転手９００の観測データから抽出される眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動情報が課題解決処理に対応したデータであるか否かを判定するに十分なデータであるか否かを判定する。そして、十分であると判定した場合（ステップＳ７３：Ｙｅｓ）には、ステップＳ７４へ進み、十分でないと判定した場合（ステップＳ７３：Ｎｏ）には、ステップＳ７２へ戻る。
　判定部３２０は、課題提示後の運転者の眼球挙動の観測データの解析結果に基づいて、運転手９００の覚醒度を判定する（ステップＳ７４）。詳細には、判定部３２０は、運転手９００が、課題解決のために眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を実行しているか否かを解析する。そして、判定部３２０は、運転手９００の眼球挙動が、課題解決のためのサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）に相当すると眼球挙動であると判断した場合は、運転手９００の覚醒度が高いと判定する。一方、これらの眼球挙動が観測されなかった場合、または少ない場合は、運転手９００の覚醒度が低いと判定する。なお、本実施例では、判定決壊を０か１の判定で行う例を記載しているが、実際の運用で１００％の確実な覚醒判定と０％の不確定判定に判別は困難であり、一定の確度を示すパラメータと合わせ覚醒と判別出力を行い、引き継ぎ手順の妥当性に応じて機能を段階的な引き継ぎをしてもよい。
　このように、上述した情報処理方法は、手動運転の復帰前に、運転手９００に視覚的課題を提示し、この課題の解決に際して発現する運転手９００の眼球挙動を解析する。上記情報処理方法においては、運転手９００の眼球挙動として、課題解決のためのサッカード（眼球回転）や、固視や、マイクロサッカード（眼球微小回転）等の特有の眼球挙動を誘発することが期待される、一様でない課題を生成して提示する。そして、運転手９００が上記課題を対応する際に、実際に発現する眼球挙動を観測し、観測された眼球挙動を解析して、その運転手９００の学習辞書特性に基づき観測時の運転手９００の内部覚醒レベルの推定を行う。さらに、推定結果に基づき、運転手９００の状態が、手動運転復帰の開始に値する十分な脳内の内部覚醒状態にあるか否かを判定する。詳細には、これらの眼球挙動の解析から、運転手９００が十分、覚醒復帰に至っていると判定した場合は、運転手９００が手動運転可能な高い覚醒度を有していると判定し、手動運転の開始を許容する。一方、これらの眼球挙動が十分、発生していないと判定した場合は、運転手９００が手動運転可能な高い覚醒度を有していないと判定し、手動運転の開始を許容しない。この場合は、手動運転区間への侵入前に停止する等の緊急退避処理を行う。
　実際の課題に対する視覚情報確認から課題の解に至る過程は、運転手９００のその時々の状態、同一課題の繰り返し実施状況、回答選択肢を見てから設問を確認する行動特性、疲労度、該当時の視力や視力疲労度、外光妨害、心のまよい等、様々な要因の影響を受け、大きく異なる場合がある。従って、高い精度で判定を行うためには、長期の繰り返し利用から都度発生する引き継ぎ実行時の復帰品質（正常復帰、遅延復帰、復帰断念、システム緊急事対処）等の学習処理により生成した運転手９００固有の復帰予測辞書データを用いることが好ましい。さらに、繰り返し述べるが、運転手９００固有の復帰予測辞書データを利用して眼球の挙動特性解析結果に基づいて正常な復帰予測を実行することが望ましい。これらの処理により、安全な手動運転を開始させることが可能となる。
　これまで眼球挙動の解析についてのみ説明したが、運転手９００が安全な手動運転を開始できる状態であるか否かの判定処理に使用されるデータや、上記学習器へ入力されるデータは、自車両、道路環境情報、運転者生体信号から得られる状態、履歴情報を含めることが好ましい。
　なお、本実施形態は、自動運転と手動運転の切り替えが可能な移動装置の運転手９００の眼球挙動に基づいて、運転手９００が手動運転に復帰可能な覚醒度を有するか否かを判定する場合に適用するものとして説明した。しかしながら、眼球挙動の解析は、被験者の脳内活動を外的観測可能な観測データにより解析することであることから、自動運転から手動運転の引き継ぎの際の運転手９００の状態を判定する以外にも様々な利用が可能である。さらに、上述した眼球挙動解析手法は、課題に対する記憶情報との相関結果を観測するものであり、提示課題に対する反応を観測して判定することで、多様な利用が可能である。被験者に提示した課題と、被験者の記憶との照合が必要となる課題であれば、その回答を得る過程は被験者の状態や心理を反映したものとなる。従って、例えば飲酒申告や過労労務申告などの申告課題の提示に際して回答者の真偽判定などに応用も可能である。
　さらに上述した課題提示は、車両６００の運行に限定する必要はない。例えば、航空機の運行、電車の運行、クレーン操作、航空管制官、遠隔自動運転管制官等、多種多様な事象や職業、さらには、その他、自己申告時の心理解析による真偽評価等への拡張利用も可能である。なお、被験者が何らかの課題を解決するために必要とする視覚情報を選ぶ時は側頭葉の上側頭溝が、注意を向ける時は頭頂間溝が、眼を動かすときは前頭眼野が活動することが知られている。また、記憶しているものを思い出したりするには、側頭葉の内側にある海馬が働く。また、自立神経失調など、いわゆる交感神経と副交感神経の相互バランスの変調による刺激反射の抑制が発生している場合には、眼球挙動が変化することも知られている。従って、上述の眼球挙動解析処理は、運転手９００等の被験者のメンタルヘルスの検証やモニタリング処理としても利用可能である。具体的には、例えば、バス、タクシー等の商用車両の運転手９００の状態把握や健康管理に利用することで、安全な運行を可能とすることができる。
　＜＜１１．　まとめ＞＞
　以上のように、本開示の実施形態によれば、ＥＶＳ４００を用いて運転手９００の眼球挙動を観測する際には、ＥＶＳ４００のイベント検出の頻度を定義しえる閾値を調整することにより、上記眼球挙動の観測を最適化することができる。また、本開示の実施形態においては、運転手９００を照明する照明装置を調整してもよい。このようにすることにより、本開示の実施形態によれば、サッカード、マイクロサッカードやドリフト等の眼球挙動、瞬きの検出、顔の表情変化等の観測を、データ量の増加を抑えつつ、観測目的とする変化を精度よく捉えるために最適な頻度でイベント検出を行うことができる。
　詳細には、本開示の実施形態においては、ＥＶＳ４００を用いて、眼球のサッカード挙動やマイクロサッカード挙動等の観測を行う際には、眼球挙動の観測が必要なタイミングで、ＥＶＳ４００のイベント検出の閾値を調整する。このようにすることで、データ量の増加を抑え、演算処理や伝送への負荷を軽減しつつ、サッカード挙動やマイクロサッカード挙動を効率的に精度よく捉えることができる。また、本開示の実施形態においては、ＥＶＳ４００を用いて眼球のサッカード挙動の観測を行う際には、眼球挙動の観測が必要なタイミングで、狭帯域波長の光を選択的に透過するフィルタを用いて当該狭帯域波長の光を運転手９００の顔面に照明する。このようにすることで、眼球の虹彩と瞳孔とがなす境界濃淡を顕著にすることができることから、サッカード挙動を選択的に、且つ、効率的に精度よく観測することができる。
　なお、本開示の実施形態においては、自動車を例に説明したが、本実施形態は自動車に適用されることに限定されるものではなく、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体に適用することができる。また、眼球挙動が被験者の意識的な挙動ではなく、視覚情報に対する反射的動作とその反射的動作を意志的に補正するために、挙動には補正までの遅延挙動が発現する。さらに、本開示の実施形態は、様々な移動体等の遠隔操舵オペレーションにも適用することができる。
　＜＜１２．　ハードウェア構成＞＞
　上述してきた各実施形態に係る自動運転制御部１１２の全体又は一部は、例えば図２３に示すような構成のコンピュータ１０００によって実現される。図２３は、自動運転制御部１１２の少なくとも一部の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス、マイクロフォン（マイク）等の入出力デバイス１６５０からデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係る自動運転制御部１１２の少なくとも一部として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００に格納されたプログラムを実行することにより、センサ制御部３３０や照明制御部３３２の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　また、本実施形態に係るセンサ制御部３３０や照明制御部３３２等は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理システムとして実現することも可能である。以上、自動運転制御部１１２の少なくとも一部のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
　＜＜１３．　補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。
　また、本開示の実施形態を説明するにあたり、ＳＡＥで定義された自動運転レベルを元に詳細を記載しているが、この自動運転の利用を自動運転レベルで区分する概念は車両６００の設計視点で区分した分類である。他方で、利用者視点で見た場合には利用可能な自動運転レベルに応じ、各レベルでの運行が許容される運行設計領域を利用者がその許容された自動運転レベルを常に正しく理解し把握した上で、車両６００の自動運転レベルに合わせて運転手９００が運転をすることは必ずしも容易であるとは言えない。すなわち、機械の機能・指示に従い車両６００を利用するＭａｃｈｉｎｅ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎと言ってもよい。つまり、車両システムが対応可能な状況が多様な外部要因、内部要因によってダイナミックに時間とともに刻々と変動し、物理的に道路区間等のみから一意的に走行時の自動運転レベルは決まらない状況においては、車両制御システム１００がその都度進む道路状況が許容するレベルに、運転手９００が従属的に対応することが求められるといえる。他方で、人間工学的視点から運転手９００と車両制御システム１００との関わりを見ると、利用者は移動という車両６００利用の目的達成と、その間に得られる副次的なメリットを得るために、運転という負担やそれに伴う各種リスクとの釣り合いを見て行動判断を行っている。ここで負担とは、移動の為の車両６００操舵作業やその際に被る一定のリスクのことをいう。本来、運転手９００の視点で見た場合の自動運転のメリットは、運転という束縛から解放されその時間を有意義な運転に関わらない時間利用、運転に従属的でない利用を可能にすることである。そのようなメリットを享受するためには、自動運転制御を支える思想を、従来からのＭａｃｈｉｎｅ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎという思想の関係性を逆転したＨｕｍａｎ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎという思想に転換する必要があるともいえる。そして、そのような思想の視点に基づき車両６００の車両制御システム１００と利用者である運転手９００との関係を見直すと、運転手９００の、車両６００の設計として「運行設計領域」として利用可能な自動運転レベルに応じて対応可能な覚醒や身体的準備状況に応じて、実際の各種自動運転機能を許容するような自動運転の利用が、人間工学的に見た望ましい利用形態と言える。
　ヒトは、選び得るベネフィットとそれに伴う損失やリスクとのバランスを取りながら自身の行動選択を行い、さらにその行動を学習する。Ｈｕｍａｎ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎに基づく制御を導入し、運転手９００は、自身の各道路で許容される上限の自動運転操舵環境に応じて適切な復帰準備が出来るよう行動学習を行う。さらに、このような行動学習が進んだ運転手９００に対して、自動運転レベル４等のより高い離脱、つまり、ＮＤＲＡ等を行うベネフィットを得られる高度な自動運転走行による運転操舵作業からの離脱を許容する。一方で、運転手９００の期待される適切な復帰を示す状態が観測できない、または、該当運転手９００の過去の復帰対応履歴や学習データを参照して、運転手９００の観測状態に基づいて復帰品質が劣る場合には、「設計運行領域」内であっても運転操舵作業から離脱が可能な自動運転レベル４等の利用を禁止したり、自動運転レベル３の利用を短時間に限定したりして、自動運転の利用の大きく制限をしてもよい。
　つまり、車両６００に搭載したセンシング機器や判定処理の性能基準から「運行設計領域」として決めた自動運転レベルを許容するのではなく、ヒトの対応能力を元に自動運転の利用を許可するような自動運転制御が、人に易しい車両６００の利用形態ということとなる。すなわち、車両６００の自動運転システムの制御思想を、いわゆるＭａｃｈｉｎｅ　Ｃｅｎｔｅｒｅｄ　ＤｅｓｉｇｎからＨｕｍａｎ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎに転換することにより、自動運転制御によって人に易しい利用形態を提供することが可能となる。そして、本開示の説明においては、運転手９００の状態観測手段を用いた適用型制御を、前者のＭａｃｈｉｎｅ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎに基づいて説明をした。しかしながら、Ｈｕｍａｎ　Ｃｅｎｔｅｒｅｄ　Ｄｅｓｉｇｎに置き替えた場合であっても、同様に、運転手９００の自動運転から手動運転への切り替え行為（引継ぎ行為）が発生することから、上述した運転手９００の状態観測手段を用いた適用型制御を実施することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。また、イベントビジョンセンサの単機能センサを基本として実施形態の説明を説明したが、イベント検出と同時に濃淡画像を取り込む通常の可視光ＲＧＢや赤外ＩＲタイプの機能を兼ね備えたハイブリッド型のセンサで機能実現をしてもよく、本実施形態の有効性はイベントビジョンセンサ専用のセンサに限定されない。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　移動体の内部を撮像するイベントビジョンセンサと、
　前記イベントビジョンセンサを制御するセンサ制御部と、
　を備え、
　前記イベントビジョンセンサは、
　マトリクス状に配列する複数の画素を有する画素アレイ部と、
　前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部と、
　を有し、
　前記センサ制御部は、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、
　情報処理装置。
（２）
　前記眼球挙動には、眼球のサッカード、固視及びマイクロサッカードのうちの少なくとも１つが含まれる、上記（１）に記載の情報処理装置。
（３）
　前記センサ制御部は、前記画素アレイ部内の位置に応じて、前記各画素に対応する前記所定の閾値を変更する、上記（１）又は（２）に記載の情報処理装置。
（４）
　前記センサ制御部は、前記運転手の顔面又は眼球の位置に応じて、前記画素アレイ部内に所定の領域を設定し、前記所定の領域内の前記各画素に対応する前記所定の閾値を変更する、上記（３）に記載の情報処理装置。
（５）
　前記イベントビジョンセンサで観測したデータを解析する眼球挙動解析部をさらに備える、上記（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記眼球挙動解析部は、前記イベントビジョンセンサで観測されたポイント分布の形状に基づいて、前記眼球挙動の種別を区別する、上記（５）に記載の情報処理装置。
（７）
　前記眼球挙動解析部は、三日月形状を持つ前記ポイント分布の発現を検出した場合、マイクロサッカードが発現したと解析する、上記（６）に記載の情報処理装置。
（８）
　前記センサ制御部は、前記眼球挙動解析部の解析結果に基づいて、前記所定の閾値を変更する、上記（５）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記イベントビジョンセンサにより前記運転手の眼球挙動を捉える際に、前記運転手の顔面に所定の波長の光を照射する照射部をさらに備える、
　上記（５）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記照射部は、９４０ｎｍ以上９６０ｎｍ以下の波長の光を透過するフィルタを有する、上記（９）に記載の情報処理装置。
（１１）
　前記照射部からの光の強度、照射時間、又は、照射間隔を制御する照射制御部をさらに備える、上記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記照射制御部は、前記眼球挙動解析部の解析結果に基づいて制御を行う、上記（１１）に記載の情報処理装置。
（１３）
　課題を生成して表示部に表示する表示情報生成部をさらに備え、
　前記眼球挙動解析部は、前記表示部に表示された前記課題を観察する前記運転手の前記眼球挙動を解析する、
　上記（５）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
　前記表示部は、前記運転手の顔面と対向し、且つ、前記運転手が前方の無限遠に位置する物体を見る際の視線方向に対して下方に位置する、上記（１３）に記載の情報処理装置。
（１５）
　前記イベントビジョンセンサは、前記運転手の顔面と対向し、且つ、前記視線方向に対して下方に位置し、
　前記運転手の眼球と前記イベントビジョンセンサとを結ぶ線分と、前記視線方向とがなす角度は、１０度以上３０度未満である、
　上記（１４）に記載の情報処理装置。
（１６）
　前記イベントビジョンセンサは、前記運転手の顔面を少なくとも捉えることができる画角を有する、上記（１５）に記載の情報処理装置。
（１７）
　前記眼球挙動の解析結果に基づいて、前記運転手の手動運転への復帰対応レベルを判定する判定部をさらに備える、上記（５）～（１６）のいずれか１つに記載の情報処理装置。
（１８）
　前記復帰対応レベルの判定結果に基づいて、前記移動体の運転モードを切り替える移動体運転制御部をさらに備える、上記（１７）に記載の情報処理装置。
（１９）
　移動体の内部を撮像するイベントビジョンセンサと、
　前記イベントビジョンセンサを制御するセンサ制御部と、
　を備える情報処理装置で実行される情報処理方法であって、
　前記イベントビジョンセンサは、
　マトリクス状に配列する複数の画素を有する画素アレイ部と、
　前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部と、
　を有し、
　前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、
　ことを含む、情報処理方法。
（２０）
　コンピュータに、移動体の内部を撮像するイベントビジョンセンサの制御機能を実行させる情報処理プログラムであって、
　前記イベントビジョンセンサは、
　マトリクス状に配列する複数の画素を有する画素アレイ部と、
　前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部と、
　を有し、
　前記コンピュータに、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する機能を実行させる、
　情報処理プログラム。
　　１００　　車両制御システム
　　１０１　　入力部
　　１０２　　データ取得部
　　１０３　　通信部
　　１０４　　車内機器
　　１０５　　出力制御部
　　１０６　　出力部
　　１０７　　駆動系制御部
　　１０８　　駆動系システム
　　１０９　　ボディ系制御部
　　１１０　　ボディ系システム
　　１１１　　記憶部
　　１１２　　自動運転制御部
　　１１３　　センサ部
　　１２１　　通信ネットワーク
　　１３１、５０８　　検出部
　　１３２　　自己位置推定部
　　１３３　　状況分析部
　　１３４　　計画部
　　１３５　　動作制御部
　　１４１　　車外情報検出部
　　１４２　　車内情報検出部
　　１４３　　車両状態検出部
　　１５１　　マップ解析部
　　１５２　　交通ルール認識部
　　１５３　　状況認識部
　　１５４　　状況予測部
　　１６１　　ルート計画部
　　１６２　　行動計画部
　　１６３　　動作計画部
　　１７１　　緊急事態回避部
　　１７２　　加減速制御部
　　１７３　　方向制御部
　　２００　　位置・姿勢検出部
　　２０２　　顔認識部
　　２０４　　顔追跡部
　　２０６　　眼球追跡部
　　２０８　　生体情報検出部
　　２１０　　認証部
　　３００　　眼球挙動解析部
　　３０２　　眼球挙動学習器
　　３１０　　ＤＢ
　　３２０　　判定部
　　３３０　　センサ制御部
　　３３２　　照明制御部
　　４００　　ＥＶＳ
　　４１１　　駆動回路
　　４１２　　信号処理部
　　４１３　　アービタ部
　　４１４　　カラム処理部
　　５００　　画素アレイ部
　　５０２　　画素
　　５０４　　受光部
　　５０６　　画素信号生成部
　　６００　　車両
　　６０２　　運転席
　　７００、７０２　　撮像装置
　　７１０　　照明部
　　８００　　表示情報ＤＢ
　　８０２　　表示情報生成部
　　８０４　　表示部
　　９００　　運転手
　　９０２　　視線方向

Claims (20)

  1. 　移動体の内部を撮像するイベントビジョンセンサと、
    　前記イベントビジョンセンサを制御するセンサ制御部と、
    　を備え、
    　前記イベントビジョンセンサは、
    　マトリクス状に配列する複数の画素を有する画素アレイ部と、
    　前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部と、
    　を有し、
    　前記センサ制御部は、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、
    　情報処理装置。
  2. 　前記眼球挙動には、眼球のサッカード、固視及びマイクロサッカードのうちの少なくとも１つが含まれる、請求項１に記載の情報処理装置。
  3. 　前記センサ制御部は、前記画素アレイ部内の位置に応じて、前記各画素に対応する前記所定の閾値を変更する、請求項１に記載の情報処理装置。
  4. 　前記センサ制御部は、前記運転手の顔面又は眼球の位置に応じて、前記画素アレイ部内に所定の領域を設定し、前記所定の領域内の前記各画素に対応する前記所定の閾値を変更する、請求項３に記載の情報処理装置。
  5. 　前記イベントビジョンセンサで観測したデータを解析する眼球挙動解析部をさらに備える、請求項１に記載の情報処理装置。
  6. 　前記眼球挙動解析部は、前記イベントビジョンセンサで観測されたポイント分布の形状に基づいて、前記眼球挙動の種別を区別する、請求項５に記載の情報処理装置。
  7. 　前記眼球挙動解析部は、三日月形状を持つ前記ポイント分布の発現を検出した場合、マイクロサッカードが発現したと解析する、請求項６に記載の情報処理装置。
  8. 　前記センサ制御部は、前記眼球挙動解析部の解析結果に基づいて、前記所定の閾値を変更する、請求項５に記載の情報処理装置。
  9. 　前記イベントビジョンセンサにより前記運転手の眼球挙動を捉える際に、前記運転手の顔面に所定の波長の光を照射する照射部をさらに備える、
    　請求項５に記載の情報処理装置。
  10. 　前記照射部は、９４０ｎｍ以上９６０ｎｍ以下の波長の光を透過するフィルタを有する、請求項９に記載の情報処理装置。
  11. 　前記照射部からの光の強度、照射時間、又は、照射間隔を制御する照射制御部をさらに備える、請求項９に記載の情報処理装置。
  12. 　前記照射制御部は、前記眼球挙動解析部の解析結果に基づいて制御を行う、請求項１１に記載の情報処理装置。
  13. 　課題を生成して表示部に表示する表示情報生成部をさらに備え、
    　前記眼球挙動解析部は、前記表示部に表示された前記課題を観察する前記運転手の前記眼球挙動を解析する、
    　請求項５に記載の情報処理装置。
  14. 　前記表示部は、前記運転手の顔面と対向し、且つ、前記運転手が前方の無限遠に位置する物体を見る際の視線方向に対して下方に位置する、請求項１３に記載の情報処理装置。
  15. 　前記イベントビジョンセンサは、前記運転手の顔面と対向し、且つ、前記視線方向に対して下方に位置し、
    　前記運転手の眼球と前記イベントビジョンセンサとを結ぶ線分と、前記視線方向とがなす角度は、１０度以上３０度未満である、
    　請求項１４に記載の情報処理装置。
  16. 　前記イベントビジョンセンサは、前記運転手の顔面を少なくとも捉えることができる画角を有する、請求項１５に記載の情報処理装置。
  17. 　前記眼球挙動の解析結果に基づいて、前記運転手の手動運転への復帰対応レベルを判定する判定部をさらに備える、請求項５に記載の情報処理装置。
  18. 　前記復帰対応レベルの判定結果に基づいて、前記移動体の運転モードを切り替える移動体運転制御部をさらに備える、請求項１７に記載の情報処理装置。
  19. 　移動体の内部を撮像するイベントビジョンセンサと、
    　前記イベントビジョンセンサを制御するセンサ制御部と、
    　を備える情報処理装置で実行される情報処理方法であって、
    　前記イベントビジョンセンサは、
    　マトリクス状に配列する複数の画素を有する画素アレイ部と、
    　前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部と、
    　を有し、
    　前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する、
    　ことを含む、情報処理方法。
  20. 　コンピュータに、移動体の内部を撮像するイベントビジョンセンサの制御機能を実行させる情報処理プログラムであって、
    　前記イベントビジョンセンサは、
    　マトリクス状に配列する複数の画素を有する画素アレイ部と、
    　前記各画素において、入射光による輝度変化量が所定の閾値を超えたことを検出するイベント検出部と、
    　を有し、
    　前記コンピュータに、前記イベントビジョンセンサにより前記移動体の運転席に着座する運転手の眼球挙動を捉える際に、前記所定の閾値の値を変更する機能を実行させる、
    　情報処理プログラム。
PCT/JP2022/002127 2021-02-12 2022-01-21 情報処理装置、情報処理方法及び情報処理プログラム WO2022172724A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022581291A JPWO2022172724A1 (ja) 2021-02-12 2022-01-21
DE112022001065.7T DE112022001065T5 (de) 2021-02-12 2022-01-21 Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
CN202280008325.7A CN116685516A (zh) 2021-02-12 2022-01-21 信息处理装置、信息处理方法和信息处理程序
US18/260,191 US20240051585A1 (en) 2021-02-12 2022-01-21 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021020377 2021-02-12
JP2021-020377 2021-02-12

Publications (1)

Publication Number Publication Date
WO2022172724A1 true WO2022172724A1 (ja) 2022-08-18

Family

ID=82838756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002127 WO2022172724A1 (ja) 2021-02-12 2022-01-21 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (5)

Country Link
US (1) US20240051585A1 (ja)
JP (1) JPWO2022172724A1 (ja)
CN (1) CN116685516A (ja)
DE (1) DE112022001065T5 (ja)
WO (1) WO2022172724A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019103744A (ja) * 2017-12-14 2019-06-27 オムロン株式会社 瞳孔検出装置および検出システム
JP2020536309A (ja) * 2017-09-28 2020-12-10 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． イベントカメラデータを使用するアイトラッキングの方法及び装置
US20210035298A1 (en) * 2019-07-30 2021-02-04 Apple Inc. Utilization of luminance changes to determine user characteristics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020536309A (ja) * 2017-09-28 2020-12-10 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． イベントカメラデータを使用するアイトラッキングの方法及び装置
JP2019103744A (ja) * 2017-12-14 2019-06-27 オムロン株式会社 瞳孔検出装置および検出システム
US20210035298A1 (en) * 2019-07-30 2021-02-04 Apple Inc. Utilization of luminance changes to determine user characteristics

Also Published As

Publication number Publication date
US20240051585A1 (en) 2024-02-15
DE112022001065T5 (de) 2023-12-28
CN116685516A (zh) 2023-09-01
JPWO2022172724A1 (ja) 2022-08-18

Similar Documents

Publication Publication Date Title
JP7204739B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7299840B2 (ja) 情報処理装置および情報処理方法
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JPWO2020100539A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7357006B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2021049219A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP2021128349A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2022172724A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752555

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280008325.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022581291

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18260191

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112022001065

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22752555

Country of ref document: EP

Kind code of ref document: A1