WO2018168051A1 - 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム - Google Patents

集中度判定装置、集中度判定方法及び集中度判定のためのプログラム Download PDF

Info

Publication number
WO2018168051A1
WO2018168051A1 PCT/JP2017/038574 JP2017038574W WO2018168051A1 WO 2018168051 A1 WO2018168051 A1 WO 2018168051A1 JP 2017038574 W JP2017038574 W JP 2017038574W WO 2018168051 A1 WO2018168051 A1 WO 2018168051A1
Authority
WO
WIPO (PCT)
Prior art keywords
concentration
driving
driver
degree
index
Prior art date
Application number
PCT/JP2017/038574
Other languages
English (en)
French (fr)
Inventor
相澤 知禎
智浩 籔内
円香 渡部
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to DE112017007258.1T priority Critical patent/DE112017007258T5/de
Priority to CN201780055597.1A priority patent/CN109689462A/zh
Priority to US16/333,248 priority patent/US20190248374A1/en
Publication of WO2018168051A1 publication Critical patent/WO2018168051A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Definitions

  • the present invention relates to, for example, a concentration level determination device that determines the concentration level of a vehicle driver, a concentration level determination method, and a program for determining the concentration level.
  • the driver is required to drive safely, but the driving concentration required by the driver varies depending on the situation where the driver is placed. Driving safety can be maintained if the vehicle constantly monitors the driving concentration for various indicators and issues a warning when the driving concentration does not meet the standard. However, depending on the situation where the driver is placed, the vehicle frequently issues a warning. In this case, the driver's driving comfort is impaired.
  • a concentration level determination device which can take into account both driving safety and driving comfort. It is something to be offered.
  • a first aspect of the present invention is a monitoring data acquisition unit that acquires monitoring data from a sensor that monitors a driver of a vehicle, and when the driving mode of the vehicle is an automatic driving mode.
  • the first driving concentration level of the driver is estimated from the monitoring data based on one or more indexes constituting the first index group, and when the driving mode is the manual driving mode,
  • a reference comparison unit that compares the second driving concentration level with a reference, and an instruction that instructs the driver to perform support when the first driving concentration level or the second driving concentration level does not satisfy the reference level Signal to output signal
  • a concentration determination apparatus and a power unit that acquires monitoring data from a sensor that monitors a driver of a vehicle, and when the driving mode of the vehicle is an automatic driving mode.
  • the first driving concentration level of the driver is estimated from the monitoring data based
  • the second index group includes a larger number of indices than the number of indices constituting the first index group. It is what I did.
  • the second indicator group is included in all the indicators constituting the first indicator group and the first indicator group. It is made up of one or more indicators that are not.
  • the second indicator group is configured by one or more indicators that are all different from the indicators constituting the first indicator group. It is a thing.
  • the second indicator group includes at least one indicator among indicators constituting the first indicator group, and the first indicator group. And at least one index not included in the index group.
  • the second indicator group is not included in the first indicator group, and the degree of recognition of the driver with respect to the target is used as an indicator. It is what was included.
  • a state detection unit that detects the degree of recognition using the monitoring data and the position information of the target is provided.
  • a monitoring data acquisition process for acquiring monitoring data from a sensor for monitoring a driver of the vehicle, and a first indicator from the monitoring data when the driving mode of the vehicle is an automatic driving mode.
  • the monitoring data is different from the first index group.
  • a ninth aspect of the present invention is a program for determining a degree of concentration that causes a computer to function the processing of each unit provided in the concentration degree determining apparatus according to any one of the first to seventh aspects.
  • the concentration degree determination device selectively uses the first index group and the second index group according to whether the driver is in the automatic operation mode or the manual operation mode. It is determined whether or not the state is suitable for driving. Therefore, the concentration degree determination apparatus can ask the driver for the driving concentration degree corresponding to the driving mode.
  • operator can maintain the state which concentrated on driving
  • the concentration determination device can be operated manually depending on the state of the driver even if the state of the driver is the same in the case of the manual operation mode and the case of the automatic operation mode.
  • An instruction signal is output in the operation mode, but no instruction signal is output in the automatic operation mode. Therefore, the concentration determination apparatus can reduce the output of an excessive instruction signal particularly in the automatic operation mode. Accordingly, the driver does not receive an excessive warning particularly in the case of the automatic operation mode, so that the driver can keep a comfortable state of driving regardless of the operation mode. Accordingly, driving comfort is maintained regardless of the driver's situation.
  • the concentration determination device can take into account both driving safety and driving comfort.
  • the concentration degree determination device can estimate the operation concentration degree for more indexes in the manual operation mode than in the automatic operation mode.
  • the concentration determination device can monitor whether or not the driver is in a state suitable for driving more strictly in the manual driving mode than in the automatic driving mode. As a result, the driver can maintain a more concentrated state of driving in the manual operation mode than in the automatic operation mode. Further, since the driver is less likely to receive a warning in the automatic operation mode than in the manual operation mode, the driver can keep a comfortable state of driving regardless of the operation mode.
  • the concentration degree determination device can estimate the driving concentration degree for more indexes in the manual operation mode than in the automatic operation mode.
  • the concentration determination device can monitor whether or not the driver is in a state suitable for driving more strictly in the manual driving mode than in the automatic driving mode. As a result, the driver can safely and comfortably maintain a state that is appropriately concentrated on driving regardless of the driving mode.
  • the concentration level determination apparatus can reduce the number of indexes that require the driving concentration level to be estimated as compared with the case where the first index group is not a subset of the second index group. Therefore, the processing load on the concentration determination device is reduced.
  • the concentration determination device appropriately monitors whether or not the driver is in a state suitable for driving, using an index group configured with preferable indexes for each driving mode. Can do. As a result, the driver can safely and comfortably maintain a state that is appropriately concentrated on driving regardless of the driving mode.
  • the concentration degree determination device appropriately monitors whether or not the driver is in a state suitable for driving, using an index group composed of preferable indexes for each driving mode. Can do. Thus, the driver can safely and comfortably maintain a state concentrated on driving regardless of the driving mode. Furthermore, the concentration degree determination apparatus can reduce the processing load by sharing a part of the indexes included in each of the first index group and the second index group.
  • the concentration determination device in the case of the manual driving mode, is in a state in which the driver is suitable for driving with respect to the target recognition degree, which is an index having a large influence on driving safety. Whether or not can be monitored. As a result, the driver can keep a concentrated state of driving in the manual driving mode. Further, the degree of object recognition is lower in the automatic driving mode than in the manual driving mode, but the concentration degree determination device does not consider the degree of object recognition in the automatic driving mode. As a result, the driver is less likely to receive an excessive warning in the automatic driving mode, so that the driver can keep a comfortable state of driving.
  • the concentration determination device can appropriately detect the state of the driver using the degree of object recognition as an index by using at least the monitoring data and the position information of the object.
  • the concentration determination method can obtain the same effects as those of the first aspect described above. That is, the concentration degree determination method can take into account both driving safety and driving comfort.
  • the program for determining the degree of concentration can obtain the same effects as those of the first aspect described above. That is, the program for determining the degree of concentration can take into account both driving safety and driving comfort.
  • FIG. 1 is a diagram illustrating an overall configuration of a vehicle including a concentration degree determination device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the concentration degree determination apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of the state detection unit according to an embodiment of the present invention.
  • FIG. 4 is a flowchart showing a procedure of concentration level determination by the concentration level determination apparatus shown in FIG.
  • FIG. 1 is a diagram showing an overall configuration of a vehicle 1 including a concentration degree determination device 2 according to an embodiment of the present invention.
  • the concentration determination device 2 is mounted on a vehicle 1 such as a passenger car.
  • the configuration of the concentration determination device 2 will be described later.
  • the vehicle 1 may be, for example, any one of an automobile, a bus, a truck, a train, and the like, or a vehicle on which a driver (hereinafter also referred to as a driver) other than these rides.
  • the vehicle 1 includes, as basic equipment, a power unit 3 including a power source and a transmission, a steering device 4 equipped with a steering wheel 5, and further includes a manual operation mode and an automatic operation mode as operation modes. .
  • An engine and / or a motor is used as the power source.
  • the manual driving mode is a mode in which the vehicle 1 is driven mainly by a driver's manual driving operation, for example.
  • the manual driving mode for example, an operation mode for driving the vehicle 1 based only on the driving operation of the driver and an operation for performing driving operation support control for supporting the driving operation of the driver while mainly driving the driving operation of the driver. Mode is included.
  • the driving operation support control assists the steering torque so that the driver's steering becomes an appropriate steering amount based on the curvature of the curve when the vehicle 1 is traveling on the curve, for example.
  • the driving operation support control includes control for assisting a driver's accelerator operation (for example, operation of an accelerator pedal) or brake operation (for example, operation of a brake pedal), manual steering (manual operation of steering), and manual speed adjustment (speed). Adjustment manual operation) is also included.
  • a driver's accelerator operation for example, operation of an accelerator pedal
  • brake operation for example, operation of a brake pedal
  • manual steering manual operation of steering
  • speed manual speed adjustment
  • Adjustment manual operation is also included.
  • manual steering the vehicle 1 is steered mainly by the driver's operation of the steering wheel 5.
  • the speed of the vehicle 1 is adjusted mainly by the driver's accelerator operation or brake operation.
  • the driving operation support control does not include control for forcibly intervening in the driving operation of the driver to automatically drive the vehicle 1. That is, in the manual driving mode, the driving operation of the driver is reflected in the driving of the vehicle 1 within a preset allowable range, but the driving of the vehicle 1 is compulsory under certain conditions (for example, lane departure of the vehicle 1). Interventive control is not included.
  • the automatic operation mode is a mode for realizing an operation state in which the vehicle 1 is automatically driven along the road on which the vehicle 1 is traveling, for example.
  • the automatic driving mode includes, for example, a driving state in which the vehicle 1 is automatically driven toward a preset destination without driving by the driver.
  • the automatic driving mode it is not always necessary to automatically control all of the vehicle 1, and the driving state in which the driving operation of the driver is reflected in the traveling of the vehicle 1 within a preset allowable range is also included in the automatic driving mode. That is, the automatic driving mode includes control for forcibly intervening in the traveling of the vehicle 1 under certain conditions, while reflecting the driving operation of the driver in the traveling of the vehicle 1 within a preset allowable range.
  • the vehicle 1 further includes an outside camera 6, a steering sensor 7, an accelerator pedal sensor 8, a brake pedal sensor 9, a GPS receiver 10, a gyro sensor 11, a vehicle speed sensor 12, a navigation device 13, an automatic An operation control device 14, a driver camera 15, and an audio output device 16 are provided.
  • the outside camera 6 is installed at an arbitrary position of the vehicle 1 so that the outside of the vehicle 1 can be photographed. Although one vehicle exterior camera 6 is shown in FIG. 1, the vehicle 1 may include a plurality of vehicle exterior cameras that capture different directions.
  • the outside camera 6 continuously captures the driving environment in the vicinity of the vehicle 1.
  • the vehicle exterior camera 6 is activated in response to the start of operation of the vehicle 1 and continuously captures the outside of the vehicle 1.
  • the vehicle exterior camera 6 outputs the captured image (hereinafter also referred to as vehicle exterior image data) to the concentration degree determination device 2 and the automatic driving control device 14.
  • the steering sensor 7 detects a steering angle.
  • the steering sensor 7 outputs the detection result to the automatic driving control device 14.
  • the accelerator pedal sensor 8 detects an operation amount of the accelerator pedal.
  • the accelerator pedal sensor 8 outputs the detection result to the automatic operation control device 14.
  • the brake pedal sensor 9 detects the operation amount of the brake pedal.
  • the brake pedal sensor 9 outputs the detection result to the automatic operation control device 14.
  • the GPS receiver 10 receives current position information of the vehicle 1.
  • the GPS receiver 10 outputs the current position information to the concentration determination device 2, the navigation device 13, and the automatic operation control device 14.
  • the gyro sensor 11 detects the behavior of the vehicle 1.
  • the gyro sensor 11 outputs the detection result to the automatic operation control device 14.
  • the vehicle speed sensor 12 detects the speed of the vehicle 1.
  • the vehicle speed sensor 12 outputs the detection result to the automatic driving control device 14.
  • the navigation device 13 is an example of a video display device that includes a display 131 that displays video.
  • the navigation device 13 stores map information.
  • the navigation device 13 extracts route information from the current position to the destination by using information on the destination input by the driver or the like, map information, and current position information from the GPS receiver 10.
  • the navigation device 13 displays route information on the display 131.
  • the navigation device 13 can also display information other than route information on the display 131.
  • the navigation device 13 outputs the route information to the concentration degree determination device 2 and the automatic driving control device 14.
  • the route information described above may include not only information on the route from the current position to the destination, but also information on the road environment from the current position to the destination. Some examples of information about the road environment will be described.
  • the information on the road environment may include information on the type of road that passes from the current position to the destination.
  • the types of roads are classified into, for example, roads in which human traffic is restricted or roads in which human traffic is not restricted.
  • the road where the passage of people is restricted is, for example, an expressway.
  • the highway can also be called a motorway.
  • the road where the passage of people is not restricted is, for example, a general road.
  • the information on the road environment may include information on the speed limit of the road that passes from the current position to the destination.
  • the information regarding the road environment may include position information of an installation on the road passing from the current position to the destination.
  • the installed object is, for example, a sign, but may be an object installed on the road.
  • the information regarding the road environment may include position information of a building near the road passing from the current position to the destination. Note that the route information may include information other than the above example as information on the road environment.
  • the configuration of the automatic operation control device 14 will be described.
  • the automatic operation control device 14 automatically controls traveling of the vehicle 1 when the operation mode is the automatic operation mode.
  • the automatic driving control device 14 includes an outside image data from the outside camera 6, a detection result from the steering sensor 7, a detection result from the accelerator pedal sensor 8, a detection result from the brake pedal sensor 9, and a GPS receiver 10. Current position information, a detection result from the gyro sensor 11, a detection result from the vehicle speed sensor 12, and route information from the navigation device 13 are acquired.
  • the automatic driving control device 14 automatically controls the travel of the vehicle 1 based on these information and traffic information acquired by road-to-vehicle communication.
  • Automatic control includes, for example, automatic steering (automatic steering operation) and automatic speed adjustment (automatic driving of speed).
  • Automatic steering is an operating state in which the steering device 4 is automatically controlled.
  • Automatic steering includes LKAS (Lane Keeping Assist System).
  • the LKAS automatically controls the steering device 4 so that the vehicle 1 does not deviate from the traveling lane even when the driver does not perform the steering operation.
  • the steering operation of the driver may be reflected in the steering of the vehicle 1 within a range (allowable range) in which the vehicle 1 does not deviate from the travel lane even during execution of LKAS.
  • automatic steering is not limited to LKAS.
  • Automatic speed adjustment is an operating state in which the speed of the vehicle 1 is automatically controlled.
  • Automatic speed adjustment includes ACC (Adaptive Cruise Control). For example, when there is no preceding vehicle ahead of the vehicle 1, ACC performs constant speed control that causes the vehicle 1 to travel at a constant speed at a preset speed, and when the preceding vehicle exists ahead of the vehicle 1. Is a follow-up control that adjusts the vehicle speed of the vehicle 1 in accordance with the inter-vehicle distance from the preceding vehicle.
  • the automatic operation control device 14 decelerates the vehicle 1 according to the driver's brake operation (for example, operation of the brake pedal) even when ACC is being executed.
  • the automatic driving control device 14 can operate the driver's accelerator operation (for example, accelerator) up to a preset maximum permissible speed (for example, the maximum speed legally determined on the traveling road) even when ACC is being executed.
  • the vehicle 1 can be accelerated according to the pedal operation.
  • the automatic speed adjustment is not limited to ACC but also includes CC (Cruise Control).
  • the configuration of the driver camera 15 will be described.
  • the driver camera 15 is installed, for example, at a position that is in front of the driver as on a dashboard.
  • the driver camera 15 is an example of a sensor that monitors a driver.
  • the driver camera 15 is activated in response to the start of driving of the vehicle 1 and continuously captures a predetermined range including the driver's face.
  • the driver camera 15 outputs the captured image (hereinafter referred to as driver image data) to the concentration degree determination device 2.
  • Driver image data is an example of monitoring data used to detect the state of the driver.
  • the driver's condition is, for example, driver's forward gaze, drowsiness, looking aside, putting on and taking off clothes, telephone operation, leaning on the window / armrest, driving disturbance by passengers and pets, onset of illness, backward facing, kneeling, eating and drinking , Smoking, dizziness, abnormal behavior, car navigation / audio operation, attachment / detachment of glasses / sunglasses, photography, and a degree of object recognition.
  • the degree of object recognition is an index of how much the driver has recognized the object (for example, visually), and is the degree to which the driver is conscious by confirming the object (for example, visually).
  • the state of the driver may include an index other than the index exemplified here.
  • the audio output device 16 includes a speaker 161.
  • the audio output device 16 outputs various information as audio.
  • the concentration level determination device 2 estimates the driver's concentration level based on the above-described driver state, and determines whether or not the driver is in a state suitable for driving the vehicle 1.
  • the driving concentration degree is a degree suitable for the driver to drive the vehicle 1. As the driving concentration increases, the driver becomes more suitable for driving the vehicle 1. Conversely, as the degree of driving concentration decreases, the driver becomes more unsuitable for driving the vehicle 1.
  • FIG. 2 is a block diagram illustrating a configuration of the concentration determination device 2 as an example.
  • the concentration degree determination device 2 includes an input / output interface unit 21, a storage unit 22, and a control unit 23.
  • the input / output interface unit 21 connects the outside camera 6, the GPS receiver 10, the navigation device 13, the automatic driving control device 14, the driver camera 15, and the audio output device 16 to the control unit 23.
  • the configuration of the storage unit 22 will be described.
  • the storage unit 22 is a non-volatile memory that can be written and read at any time, such as a solid state drive (SSD) and a hard disk drive (HDD).
  • the storage unit 22 includes a driver image data storage unit 221, a vehicle exterior image data storage unit 222, and a concentration level table storage unit 223.
  • the driver image data storage unit 221 stores driver image data that the control unit 23 acquires from the driver camera 15.
  • the vehicle exterior image data storage unit 222 stores vehicle exterior image data that the control unit 23 acquires from the vehicle exterior camera 6.
  • the concentration level table storage unit 223 stores a concentration level table used by the control unit 23 to estimate the driving concentration level.
  • the concentration degree table associates the state of the driver with a plurality of levels corresponding to the degree of driving concentration for each index.
  • the plurality of levels are divided into, for example, three levels of level 1, level 2, and level 3, but the present invention is not limited to this.
  • the driving concentration is set to be lower as the level number is larger, but the present invention is not limited to this. It may be set such that the driving concentration increases as the level number increases.
  • Level 1 is associated with, for example, the state of a driver who is looking at a direction tilted at an angle in the range of 0 degrees or more and less than the first angle with respect to the traveling direction of the vehicle 1. That is, Level 1 is a state in which the driver is not looking aside and driving concentration is high.
  • Level 2 is associated with, for example, the state of the driver who is looking at a direction tilted at an angle in the range of the first angle and less than the second angle with respect to the traveling direction of the vehicle 1.
  • Level 2 is a state in which the driver is looking aside and has a lower driving concentration than Level 1.
  • Level 3 is associated with, for example, the state of the driver who is looking at a direction inclined at an angle equal to or greater than the second angle with respect to the traveling direction of the vehicle 1. That is, Level 3 is a state in which the driver is looking aside and the driving concentration is lower than Level 2.
  • the information managed in the concentration level table has been described by taking a side look as an example, but the same applies to other indexes.
  • the configuration of the control unit 23 will be described.
  • the control unit 23 includes a processor 231 and a memory 232.
  • the processor 231 is, for example, a CPU (Central Processing Unit) that constitutes a computer.
  • the configuration of each unit included in the processor 231 will be described later.
  • the memory 232 includes a program that causes the processor 231 to perform processing of each unit included in the processor 231.
  • the program can also be referred to as an instruction for operating the processor 231.
  • the program is stored in the storage unit 22 and is read from the storage unit 22 to the memory 232.
  • the program in the memory 232 is read by the processor 231.
  • One embodiment may be realized by a program.
  • the processor 231 includes a monitoring data acquisition unit 2311, a vehicle exterior image data acquisition unit 2312, a route information acquisition unit 2313, a current position information acquisition unit 2314, a state detection unit 2315, a concentration degree estimation unit 2316, and a reference comparison unit. 2317 and a signal output unit 2318. Each unit may be distributed among one or more processors.
  • the monitoring data acquisition unit 2311 acquires driver image data from the driver camera 15 via the input / output interface unit 21.
  • the monitoring data acquisition unit 2311 stores the driver image data in the driver image data storage unit 221.
  • the vehicle exterior image data acquisition unit 2312 acquires vehicle exterior image data from the vehicle exterior camera 6 via the input / output interface unit 21.
  • the vehicle exterior image data acquisition unit 2312 stores the vehicle exterior image data in the vehicle exterior image data storage unit 222.
  • the route information acquisition unit 2313 acquires route information from the navigation device 13 via the input / output interface unit 21.
  • the route information acquisition unit 2313 outputs the route information to the state detection unit 2315.
  • the current position information acquisition unit 2314 acquires current position information from the GPS receiver 10 via the input / output interface unit 21.
  • the current position information acquisition unit 2314 outputs the current position information to the state detection unit 2315.
  • the state detection unit 2315 detects the state of the driver from the driver image data stored in the driver image data storage unit 221. In addition to the driver image data, the state detection unit 2315 detects, for example, the above-described object recognition degree as the driver's state using at least one of image data outside the vehicle, route information, and current position information. Also good. An example of detection of the driver's state by the state detection unit 2315 will be described later. Note that the state detection unit 2315 may acquire the driver image data from the monitoring data acquisition unit 2311 without using the driver image data storage unit 221. In this case, the storage unit 22 may not include the driver image data storage unit 221. The state detection unit 2315 outputs the driver's state to the concentration degree estimation unit 2316.
  • the concentration degree estimation unit 2316 estimates the driver's driving concentration degree based on the driver's state detected by the state detection unit 2315. Note that since the driver's state is detected from the driver image data as described above, the concentration degree estimation unit 2316 can estimate the driver's driving concentration degree from the driver image data.
  • the concentration level estimation unit 2316 determines the driver's driving concentration level (hereinafter referred to as the first driving mode) based on one or more indexes constituting the first index group from the monitoring data. (Also called concentration).
  • concentration degree estimation unit 2316 may estimate, for example, a first driving concentration degree corresponding to each of one or more indicators constituting the first indicator group.
  • the concentration degree estimation unit 2316 may estimate a single first driving concentration degree based on, for example, one or more indicators constituting the first indicator group. In the latter case, the concentration degree estimation unit 2316 may estimate a single first driving concentration degree by appropriately setting a weight for each indicator constituting the first indicator group. The weight set for each index constituting the first index group may be arbitrarily changeable.
  • the concentration degree estimation unit 2316 determines the driver's driving concentration degree (based on one or more indicators constituting a second indicator group different from the first indicator group from the monitoring data). Hereinafter, it is also referred to as a second driving concentration degree).
  • the concentration degree estimation unit 2316 may estimate the second driving concentration degree corresponding to each of one or more indices constituting the second index group, for example.
  • the concentration degree estimation unit 2316 may estimate a single second driving concentration degree based on, for example, one or more indicators constituting the second indicator group. In the latter case, the concentration level estimation unit 2316 may estimate a single second driving concentration level by appropriately setting a weight for each index constituting the second index group.
  • the weight set for each index constituting the second index group may be arbitrarily changeable. Configuration examples of the first index group and the second index group will be described later.
  • the concentration degree estimation unit 2316 can estimate the driving concentration degree by a numerical value such as a ratio.
  • the numerical value estimated by the concentration degree estimation unit 2316 may increase as the driving concentration degree increases, or may decrease as the driving concentration degree increases.
  • the concentration degree estimation unit 2316 refers to the concentration degree table stored in the concentration degree table storage unit 223 and estimates the level of driving concentration corresponding to the driver's state from a plurality of levels. be able to. Note that when the concentration level estimation unit 2316 estimates the driving concentration level numerically, the storage unit 22 may not include the concentration level table storage unit 223.
  • the estimation of the driving concentration by the concentration estimating unit 2316 may be performed using an AI (Artificial Intelligence) function such as machine learning or deep learning.
  • AI Artificial Intelligence
  • the concentration degree estimation unit 2316 can estimate the state of the driver with high accuracy by using the past estimation result for estimation of the current driving concentration degree, for example.
  • the reference comparison unit 2317 compares the driving concentration level estimated by the concentration level estimation unit 2316 with the reference.
  • the concentration degree estimation unit 2316 estimates the driving concentration degree for each of the plurality of indices
  • the reference comparison unit 2317 compares the driving concentration degree for each of the plurality of indices with the reference.
  • the concentration level estimation unit 2316 estimates a single driving concentration level based on a plurality of indices
  • the reference comparison unit 2317 compares the single driving concentration level with a reference.
  • the reference comparison unit 2317 compares, for example, the driving concentration degree estimated by the concentration degree estimation unit 2316 with a reference value or reference level serving as a reference.
  • the reference comparison unit 2317 determines that the driving concentration degree satisfies the reference.
  • the reference comparison unit 2317 outputs the comparison result to the signal output unit 2318. Note that the reference may be arbitrarily changed.
  • the comparison between the driving concentration degree estimated by the numerical value by the reference comparison unit 2317 and the reference will be described.
  • the reference value is a numerical value A. If the numerical value estimated by the concentration degree estimation unit 2316 is smaller than the numerical value A, which is the reference value, the reference comparison unit 2317 determines that the driving concentration degree estimated by the concentration degree estimation unit 2316 is lower than the reference value.
  • the reference comparison unit 2317 determines that the driving concentration degree estimated by the concentration degree estimation unit 2316 is lower than the reference value.
  • the reference level is level B extracted from a plurality of levels.
  • the reference comparing unit 2317 indicates that the driving concentration degree estimated by the concentration degree estimating unit 2316 is the reference level. Judged to be lower than the level.
  • the concentration level table associates the state of the driver with the three levels of Level 1, Level 2, and Level 3 for each index.
  • the reference level is level 1.
  • the reference comparison unit 2317 determines that level 2 or level 3 estimated by the concentration degree estimation unit 2316 is lower than level 1, which is the reference level.
  • the reference comparison unit 2317 determines that the level 1 estimated by the concentration degree estimation unit 2316 is not lower than the level 1 that is the reference level.
  • the signal output unit 2318 outputs a signal to each unit via the input / output interface unit 21.
  • Examples of some signals output from the signal output unit 2318 will be described.
  • the signal output unit 2318 determines, based on the comparison result from the reference comparison unit 2317, whether or not to output an instruction signal instructing execution of assistance to the driver to the assistance providing device.
  • the signal output unit 2318 outputs an instruction signal when the driving concentration level estimated by the concentration level estimation unit 2316 does not satisfy the standard.
  • the support providing device executes predetermined support for the driver.
  • the support providing device is, for example, the navigation device 13 or the audio output device 16.
  • the navigation device 13 displays a warning for giving attention to the driver on the display 131 as an image or a video based on the instruction signal.
  • the voice output device 16 outputs a warning for giving a warning to the driver from the speaker 161 based on the instruction signal.
  • the warning is not limited to a specific output mode as long as it is a content that warns the driver that the degree of driving concentration is low or that it is necessary to concentrate on driving.
  • the driver recognizes from the warning that the driver is not in a state suitable for driving the vehicle 1 and can concentrate on driving the vehicle 1 again.
  • the signal output unit 2318 may output the instruction signal to a support providing device other than the navigation device 13 and the voice output device 16.
  • the signal output unit 2318 may output an instruction signal to a support providing device that gives an external stimulus such as vibration to the driver.
  • the support for the driver may be any output content that acts on the driver based on the driving concentration level, and includes various types of support for improving the driving concentration level in addition to warnings, alerts, and information provision.
  • the signal output unit 2318 can output an instruction signal when one or more of the driving concentration degrees estimated from the plurality of indices do not satisfy the standard.
  • the signal output unit 2318 may output an instruction signal when a predetermined number or more of driving concentration levels estimated from a plurality of indices do not satisfy the standard.
  • the signal output unit 2318 can output an instruction signal when a single degree of driving concentration estimated based on a plurality of indices does not satisfy the standard.
  • the signal output unit 2318 may output a switching signal for switching the operation mode to the automatic operation control device 14.
  • FIG. 3 is a block diagram illustrating a configuration of the state detection unit 2315.
  • the state detection unit 2315 includes a local state detection unit 23151, a global state detection unit 23152, and a driver state detection unit 23153.
  • the local state detection unit 23151 detects the state of at least one of the organs included in the driver's face in the driver image data.
  • the organs included in the face are, for example, the eyes, mouth, nose and ears, but other organs may be used.
  • the local state detection unit 23151 detects an eye state
  • the local state detection unit 23151 detects, for example, a driver's eye open / closed degree, a line-of-sight direction, a face direction, and the like.
  • Local state detection unit 23151 outputs a detection result (hereinafter also referred to as local information) to driver state detection unit 23153.
  • the global state detection unit 23152 detects at least one of the global states of the driver in the driver image data.
  • the global state is, for example, the movement and posture of the driver, but may be other than these.
  • the global state detection unit 23152 outputs a detection result (hereinafter also referred to as global information) to the driver state detection unit 23153.
  • the driver state detection unit 23153 detects the above-described driver state using the local information from the local state detection unit 23151 and the global information from the global state detection unit 23152.
  • the state detection unit 2315 can detect various driver states by combining local information and global information, for example.
  • the state detection unit 2315 can detect the degree of object recognition using the monitoring data and the position information of the object.
  • the state detection unit 2315 can detect the degree of object recognition by the driver's vision using the image data outside the vehicle in addition to the driver image data as follows.
  • the state detection unit 2315 extracts a target for detecting the degree of object recognition from the image data outside the vehicle.
  • the target is, for example, an installation such as a sign or a building, but is not particularly limited as long as the driver may confirm (for example, visually) and be aware of it.
  • the state detection unit 2315 detects the driver's line of sight and face orientation from the driver image data captured at substantially the same timing as when the image data outside the vehicle from which the target was extracted was captured.
  • the driver's line of sight and face orientation are detected by the local state detection unit 23151 as described above.
  • the state detection unit 2315 detects the degree of object recognition using at least one of the driver's line of sight and face orientation and the position information of the object. It can be said that the degree of object recognition increases as the driver's line of sight and face direction face the object.
  • the state detection unit 2315 describes several examples for detecting the level of object recognition.
  • the state detection unit 2315 has a high degree of object recognition on condition that at least one of the driver's line of sight and face orientation is in a state that matches the position of the object for a predetermined time. It may be detected.
  • the state detection unit 2315 detects that the degree of target recognition is low. May be.
  • the state detection unit 2315 may detect the degree of object recognition in accordance with the length of time that the driver stays in a state where at least one of the driver's line of sight and face orientation matches the target position.
  • the state detection unit 2315 may estimate the degree of object recognition based on the presence or absence of a specific driving operation or a driver's action that is assumed to result from the driver's recognition of the object. For example, when the driver recognizes that a pedestrian is present near the pedestrian crossing in front of the vehicle 1, it is assumed that the driver performs a deceleration operation. Therefore, when the concentration determination device 2 detects that a pedestrian is present near the pedestrian crossing in front of the vehicle 1, the state detection unit 2315 detects the driver's deceleration operation, and the degree of object recognition is You may detect that it is high.
  • the state detection unit 2315 detects the driver's deceleration operation even after a predetermined time has elapsed. If not, it may be detected that the degree of object recognition is low. For example, depending on the length of time from when the concentration determination device 2 detects a target pedestrian until the driver's deceleration operation is detected, the state detection unit 2315 may detect the target recognition degree. Good.
  • the state detection unit 2315 can detect the degree of object recognition using route information and current position information in addition to driver image data as follows.
  • the state detection unit 2315 refers to the route information and the current position information and extracts a target located in the vicinity of the vehicle 1.
  • the target is, for example, an installation such as a sign or a building, but is not particularly limited as long as the driver may confirm (for example, visually) and recognize it.
  • the state detection unit 2315 detects the driver's line of sight and the direction of the face from the driver image data captured at substantially the same timing as when the vehicle 1 passes through the vicinity of the target.
  • the state detection unit 2315 detects the degree of object recognition using at least one of the driver's line of sight and face orientation and the position information of the object.
  • the state detection unit 2315 may obtain the target position and the timing at which the vehicle 1 passes near the target through road-to-vehicle communication. In this case, the state detection unit 2315 detects the driver's line of sight and face direction from the driver image data captured at substantially the same timing as the vehicle 1 passes through the vicinity of the target. The state detection unit 2315 detects the degree of object recognition using at least one of the driver's line of sight and face orientation and the position information of the object.
  • the state detection unit 2315 may use an image or video displayed on the display 131 of the navigation device 13 as a target. In this case, the state detection unit 2315 detects the driver's line of sight and face direction from the driver image data captured at substantially the same timing as when the image or video is displayed on the display 131. The state detection unit 2315 detects the degree of object recognition using at least one of the driver's line of sight and face orientation and the position information of the object.
  • the state detection unit 2315 can appropriately detect the driver's state using the degree of object recognition as an index.
  • the state detection unit 2315 may use an object located in the vicinity of the front, rear, left, or right of the vehicle 1.
  • the state detection unit 2315 preferably uses an object located near the left side or the right side rather than the front side of the vehicle 1. If the object is located on the front side of the vehicle 1, the driver's line of sight and face do not move much. On the other hand, if the object is located near the left side or right side of the vehicle 1, the driver's line of sight and face move to the left or right side. Therefore, the state detection unit 2315 can appropriately detect the target recognition degree.
  • the first index group may include a first type of index that preferably estimates the driving concentration level in the automatic driving mode in order to consider both driving safety and driving comfort.
  • the second index group may include a second type of index that preferably estimates the driving concentration level in the manual driving mode in order to consider both driving safety and driving comfort.
  • the index X1 relates to the state of the driver who is required to be monitored in the automatic operation mode but is not required to be monitored in the manual operation mode.
  • the index X1 has a high possibility of affecting the safety of driving in the automatic driving mode depending on the degree. Therefore, the index X1 is an example of the first type of index.
  • the index X1 is, for example, a posture incapable of driving such as sitting sideways, crossing legs, lying down with a seat down, and reading.
  • the index X2 relates to the state of the driver who is not required to be monitored in the automatic operation mode but is required to be monitored in the manual operation mode.
  • the index X2 is likely to affect the safety of driving in the manual driving mode depending on the degree. Therefore, the index X2 is an example of the second type of index.
  • the index X2 is, for example, a side look straight ahead, a degree of object recognition, and a car navigation / audio operation.
  • the index X3 relates to the state of the driver that is required to be monitored in both the automatic operation mode and the manual operation mode.
  • the index X3 has a high possibility of affecting driving safety in either the automatic driving mode or the manual driving mode depending on the degree. Therefore, the index X3 is both an example of the first type of index and an example of the second type of index.
  • the index X3 is, for example, drowsiness, looking aside at an intersection, and the onset of a disease.
  • the first index group can be said to be an index group that is preferable or suitable for estimating the driving concentration in the automatic driving mode.
  • the concentration level determination device 2 can estimate the driving concentration level corresponding to the first type of index in the automatic driving mode by using the first index group.
  • the concentration degree determination device 2 can ask the driver for a driving concentration degree suitable for the automatic driving mode.
  • the second index group can be said to be an index group that is preferable or suitable for estimating the driving concentration degree in the manual operation mode.
  • the concentration level determination device 2 can estimate the driving concentration level corresponding to the second type of index in the manual operation mode by using the second index group.
  • the concentration degree determination device 2 can ask the driver for an operation concentration degree suitable for the manual operation mode.
  • the second indicator group may include a driver's recognition degree (target recognition degree) with respect to the target, which is not included in the first indicator group, as an indicator.
  • the target recognition degree is an example of the index X2.
  • the driver has a high possibility of confirming a sign or the like in the manual operation mode.
  • the driver may not confirm the sign or the like in the automatic driving mode.
  • the concentration level determination device 2 has a high possibility of issuing an unnecessary warning.
  • the driver can immediately enter a state where manual driving can be performed when an unexpected situation occurs. Therefore, even if the first index group does not include the target recognition degree as an index, driving safety is maintained.
  • the concentration degree determination device 2 monitors whether or not the driver is in a state suitable for driving with respect to the degree of object recognition that is an index having a large influence on driving safety. can do. As a result, the driver can keep a concentrated state of driving in the manual driving mode. Furthermore, the degree of object recognition may be lower in the case of the automatic driving mode than in the case of the manual driving mode. However, the concentration degree determination device 2 does not consider the object recognition degree in the case of the automatic driving mode. Absent. As a result, the driver is less likely to receive an excessive warning in the automatic driving mode, so that the driver can keep a comfortable state of driving.
  • the second index group may include a third type of index related to the state of the driver that is less necessary to be monitored in either the automatic driving mode or the manual driving mode.
  • the third type of index is, for example, a lookout while the vehicle is stopped due to traffic jams.
  • the vehicle 1 may stop due to occurrence of a traffic jam. While the vehicle 1 is stopped, the driver may overlook the surrounding situation regardless of the driving mode. For this reason, the side look while the vehicle is stopped due to a traffic jam is a driver's condition that is less necessary to estimate the driving concentration level regardless of the driving mode in terms of driving safety.
  • the operation mode is the automatic operation mode
  • the vehicle 1 can automatically and smoothly start following the start of traveling of other vehicles in front of the vehicle 1.
  • the driving mode is the manual driving mode
  • the vehicle 1 remains stopped unless the driver notices the start of traveling of another vehicle in front of the vehicle 1.
  • the second index group includes the first index It can be said that it is a stricter indicator group for estimating the driving concentration than the group.
  • the concentration determination device 2 can monitor whether or not the driver is in a state suitable for driving more strictly in the manual driving mode than in the automatic driving mode. As a result, the driver can maintain a more concentrated state of driving in the manual operation mode than in the automatic operation mode. Furthermore, the driver can drive the vehicle 1 smoothly not only when the driving mode is the automatic driving mode but also when the driving mode is the manual driving mode.
  • the second indicator group may be configured with a larger number of indicators than the number of indicators constituting the first indicator group.
  • index group is not limited.
  • the concentration degree determination device 2 can estimate the driving concentration degree for more indexes in the manual operation mode than in the automatic operation mode.
  • the concentration determination device 2 can monitor whether or not the driver is in a state suitable for driving more strictly in the manual driving mode than in the automatic driving mode. As a result, the driver can maintain a more concentrated state of driving in the manual operation mode than in the automatic operation mode. Further, since the driver is less likely to receive a warning in the automatic operation mode than in the manual operation mode, the driver can keep a comfortable state of driving regardless of the operation mode.
  • the second index group may be configured by all the indices constituting the first index group and one or more indices that are not included in the first index group. That is, the first index group can be said to be a subset of the second index group.
  • index group is not limited.
  • the concentration degree determination device 2 can estimate the driving concentration degree for more indexes in the manual operation mode than in the automatic operation mode.
  • the concentration determination device 2 can monitor whether or not the driver is in a state suitable for driving more strictly in the manual driving mode than in the automatic driving mode. As a result, the driver can safely and comfortably maintain a state that is appropriately concentrated on driving regardless of the driving mode.
  • the concentration level determination apparatus 2 can reduce the number of indexes that need to estimate the driving concentration level compared to the case where the first index group is not a subset of the second index group. Therefore, the processing load of the concentration degree determination device 2 is reduced.
  • the second indicator group may be composed of one or more indicators that are all different from the indicators constituting the first indicator group.
  • the first index group may be composed of one or more indices X1
  • the second index group may be composed of one or more indices X2.
  • index group is not limited.
  • the concentration degree determination device 2 can appropriately monitor whether or not the driver is in a state suitable for driving by using an index group configured with preferable indexes for each driving mode. As a result, the driver can safely and comfortably maintain a state that is appropriately concentrated on driving regardless of the driving mode.
  • the second index group is composed of at least one index among the indices constituting the first index group and at least one index not included in the first index group. May be.
  • the first index group may be composed of one or more indices X1 and one or more indices X3, and the second index group may be composed of one or more indices X2 and one or more indices X3.
  • index group is not limited.
  • the concentration degree determination device 2 can appropriately monitor whether or not the driver is in a state suitable for driving by using an index group configured with preferable indexes for each driving mode.
  • the driver can safely and comfortably maintain a state concentrated on driving regardless of the driving mode.
  • the concentration degree determination apparatus 2 can reduce the processing load by sharing a part of the indexes included in each of the first index group and the second index group.
  • the first index group and the second index group are not limited to the above-described several configuration examples. Therefore, for example, the contents of the indexes constituting the first index group and the second index group are not limited. For example, the number of indices constituting each of the first index group and the second index group is not limited. For example, the number of indices overlapping in the first index group and the second index group is not limited.
  • FIG. 4 is a flowchart showing a procedure as an example of concentration level determination by the concentration level determination device 2.
  • the monitoring data acquisition unit 2311 acquires monitoring data from a sensor that monitors the driver of the vehicle 1 (step S101). In step S ⁇ b> 101, the monitoring data acquisition unit 2311 acquires driver image data from the driver camera 15 via, for example, the input / output interface unit 21. Note that the interval at which the monitoring data acquisition unit 2311 acquires the monitoring data may be the same as or shorter than the interval at which the state detection unit 2315 detects the driver's state.
  • the state detection unit 2315 detects the driver's state from the monitoring data (step S102).
  • the state detection unit 2315 detects the state of the driver from the driver image data, for example.
  • the state detection unit 2315 can detect the state of the driver at a predetermined interval, for example.
  • the state detection unit 2315 may detect the state of the driver at the same interval in the automatic operation mode and the manual operation mode, or may detect the state of the driver at different intervals.
  • the state detection unit 2315 may detect the state of the driver at an arbitrary timing.
  • the concentration degree estimation unit 2316 determines whether or not the operation mode of the vehicle 1 is the automatic operation mode (step S103).
  • the concentration degree estimation unit 2316 selects the first indicator group as an indicator group used for estimating the driving concentration degree (step S104).
  • the concentration level estimation unit 2316 estimates the first driving concentration level of the driver based on one or more indexes constituting the first index group from the monitoring data (step S105). That is, in step S105, when the driving mode of the vehicle 1 is the automatic driving mode, the concentration degree estimation unit 2316 determines the driver's first based on one or more indexes constituting the first index group from the monitoring data. Estimate driving concentration.
  • the reference comparison unit 2317 compares the first driving concentration degree with the reference (step S106).
  • the processing of the concentration degree determination device 2 may transition from step S106 to step S101.
  • the signal output unit 2318 outputs an instruction signal instructing the driver to perform support (step S107).
  • the concentration degree estimation unit 2316 selects the second indicator group as an indicator group used for estimating the driving concentration degree (step S108).
  • the case where the operation mode is not the automatic operation mode corresponds to the case where the operation mode is the manual operation mode.
  • the concentration level estimation unit 2316 estimates the second driving concentration level of the driver based on one or more indexes constituting the second index group from the monitoring data (step S105). That is, in step S105, when the operation mode of the vehicle 1 is the manual operation mode, the concentration degree estimation unit 2316 uses the driver's second index based on one or more indexes constituting the second index group from the monitoring data. Estimate driving concentration.
  • the reference comparison unit 2317 compares the second driving concentration degree with the reference (step S106).
  • the processing of the concentration degree determination device 2 may transition from step S106 to step S101.
  • the signal output unit 2318 outputs an instruction signal instructing execution of assistance to the driver (Step S107).
  • the concentration determination device 2 selectively uses the first index group and the second index group depending on whether the automatic operation mode or the manual operation mode. Thus, it is determined whether or not the driver is in a state suitable for driving. Therefore, the concentration determination apparatus 2 can ask the driver for the driving concentration according to the driving mode. Thereby, the driver
  • the concentration determination device 2 gives an instruction in the case of the manual operation mode depending on the state of the driver even if the driver is in the same state in the manual operation mode and the automatic operation mode. A signal is output, but an instruction signal is not output in the automatic operation mode. Therefore, the concentration degree determination device 2 can reduce the output of an excessive instruction signal particularly in the automatic operation mode. Accordingly, the driver does not receive an excessive warning particularly in the case of the automatic operation mode, so that the driver can keep a comfortable state of driving regardless of the operation mode. Accordingly, driving comfort is maintained regardless of the driver's situation.
  • the concentration determination device 2 can take into account both driving safety and driving comfort.
  • the concentration determination device 2 detects the driver's state using the driver image data captured by the driver camera 15 as monitoring data, and estimates the driving concentration.
  • the monitoring data is not limited to the driver image data.
  • the monitoring data may be, for example, biological data obtained by a biological sensor that monitors the driver of the vehicle 1.
  • the biological sensor is, for example, a pulse wave sensor or a heart rate sensor.
  • the biological sensor is not limited to these as long as it can monitor the driver.
  • the biological sensor may be a contact sensor or a non-contact sensor.
  • the concentration degree determination device 2 can detect the state of the driver from the biological data.
  • the state of the driver detected from the biological data is an index such as a pulse wave or a heartbeat.
  • the monitoring data may be, for example, data obtained by a sensor that measures the strength of the driver's steering wheel 5 installed on the steering wheel 5.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine the component covering different embodiment suitably.
  • the above-described embodiment may be realized by a storage medium such as a ROM (Read Only Memory) that stores a program that causes the processor 231 to perform processing of each unit included in the processor 231.
  • a storage medium such as a ROM (Read Only Memory) that stores a program that causes the processor 231 to perform processing of each unit included in the processor 231.
  • (Appendix 1) Obtain monitoring data from sensors that monitor the driver of the vehicle, When the driving mode of the vehicle is an automatic driving mode, a first driving concentration degree of the driver is estimated from the monitoring data based on one or more indexes constituting a first index group, and the driving mode is When in the manual driving mode, the second driving concentration degree of the driver is estimated from the monitoring data based on one or more indicators constituting a second indicator group different from the first indicator group, Comparing the first driving concentration or the second driving concentration with a reference; A processor configured to output an instruction signal instructing execution of assistance to the driver when the first driving concentration or the second driving concentration does not satisfy the reference; A memory for storing instructions for operating the processor; A concentration determination device comprising: (Appendix 2) A monitoring data acquisition process for acquiring monitoring data from a sensor for monitoring a driver of the vehicle using at least one processor; When the driving mode of the vehicle is an automatic driving mode using the at least one processor
  • Concentration determination method comprising:

Abstract

運転の安全性と及び運転の快適性の双方に配慮するようにする。 集中度判定装置は、車両の運転者を監視するセンサから監視データを取得する監視データ取得部と、前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定する集中度推定部と、前記第1の運転集中度または前記第2の運転集中度を基準と比較する基準比較部と、前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力する信号出力部とを備える。

Description

集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
 この発明は、例えば、車両の運転者の集中度を判定する集中度判定装置、集中度判定方法及び集中度判定のためのプログラムに関する。
 近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。
 運転者による手動運転の可否を判断する技術の開発も進められている(特開平10-309960号公報参照)。
 運転者には運転の安全性が求められているが、運転者に求められる運転集中度は、運転者の置かれている状況に応じて異なる。車両が常に様々な指標について運転集中度を監視し、運転集中度が基準を満たさない時に警告を発するようにしていれば、運転の安全性は保たれる。しかしながら、運転者の置かれている状況によっては、車両は頻繁に警報を発することになる。この場合、運転者の運転の快適性は損なわれる。
 この発明は、上記事情に着目してなされたもので、運転の安全性及び運転の快適性の双方に配慮することができる集中度判定装置、集中度判定方法及び集中度判定のためのプログラムを提供しようとするものである。
 上記課題を解決するために、この発明の第1の態様は、車両の運転者を監視するセンサから監視データを取得する監視データ取得部と、前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定する集中度推定部と、前記第1の運転集中度または前記第2の運転集中度を基準と比較する基準比較部と、前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力する信号出力部とを備える集中度判定装置である。
 この発明の第2の態様は、第1の態様の集中度判定装置において、前記第2の指標群は、前記第1の指標群を構成する指標の数よりも多い数の指標で構成されるようにしたものである。
 この発明の第3の態様は、第2の態様の集中度判定装置において、前記第2の指標群は、前記第1の指標群を構成する全ての指標と、前記第1の指標群に含まれていない1以上の指標とで構成されるようにしたものである。
 この発明の第4の態様は、第1の態様の集中度判定装置において、前記第2の指標群は、前記第1の指標群を構成する指標と全て異なる1以上の指標で構成されるようにしたものである。
 この発明の第5の態様は、第1の態様の集中度判定装置において、前記第2の指標群は、前記第1の指標群を構成する指標のうちの少なくとも1つの指標と、前記第1の指標群に含まれていない少なくとも1つの指標とで構成されるようにしたものである。
 この発明の第6の態様は、第1の態様の集中度判定装置において、前記第2の指標群は、前記第1の指標群に含まれない、対象に対する前記運転者の認知度合を指標として含むようにしたものである。
 この発明の第7の態様は、第6の態様の集中度判定装置において、前記監視データと前記対象の位置情報とを用いて、前記認知度合を検出する状態検出部を備えるものである。
 この発明の第8の態様は、車両の運転者を監視するセンサから監視データを取得する監視データ取得過程と、前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定する集中度推定過程と、前記第1の運転集中度または前記第2の運転集中度を基準と比較する基準比較過程と、前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力する信号出力過程とを備える集中度判定方法である。
 この発明の第9の態様は、第1の態様から第7の態様の何れかの態様の集中度判定装置が備える各部の処理をコンピュータに機能させる集中度判定のためのプログラムである。
 この発明の第1の態様によれば、集中度判定装置は、自動運転モードか手動運転モードかに応じて、第1の指標群と第2の指標群を選択的に使用して運転者が運転に適した状態か否かを判定している。そのため、集中度判定装置は、運転モードに応じた運転集中度を運転者へ求めることができる。これにより、運転者は、運転モードに応じて適切に運転に集中した状態を保つことができる。運転者は、例えば、手動運転モードであれば運転により集中した状態を保ち、自動運転モードであれば手動で運転はしないが不測の事態に備えた状態を保つことができる。したがって、運転の安全性は、運転者の置かれている状況によらずに保たれる。
 さらに、第1の態様によれば、集中度判定装置は、手動運転モードの場合と自動運転モードの場合とで運転者の状態が同じ状態であったとしても、運転者の状態によっては、手動運転モードの場合には指示信号を出力するが、自動運転モードの場合には指示信号を出力しない。そのため、集中度判定装置は、特に自動運転モードの場合における過剰な指示信号の出力を減らすことができる。これにより、運転者は、特に自動運転モードの場合において過剰な警告を受けることがなくなるので、運転モードによらず、運転に集中した状態を快適に保つことができる。したがって、運転の快適性は、運転者の置かれている状況によらずに保たれる。
 すなわち、第1の態様によれば、集中度判定装置は、運転の安全性及び運転の快適性の双方に配慮することができる。
 この発明の第2の態様によれば、集中度判定装置は、手動運転モードの場合には自動運転モードの場合よりも多くの指標について運転集中度を推定することができる。集中度判定装置は、手動運転モードの場合には自動運転モードの場合よりも厳しく運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、手動運転モードの場合には自動運転モードの場合よりも運転に集中した状態を保つことができる。さらに、運転者は、自動運転モードの場合には手動運転モードの場合よりも警告を受けにくくなるので、運転モードによらず、運転に集中した状態を快適に保つことができる。
 この発明の第3の態様によれば、集中度判定装置は、手動運転モードの場合には自動運転モードの場合よりも多くの指標について運転集中度を推定することができる。集中度判定装置は、手動運転モードの場合には自動運転モードの場合よりも厳しく運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、運転モードによらずに、適切に運転に集中した状態を安全かつ快適に保つことができる。さらに、集中度判定装置は、第1の指標群が第2の指標群の部分集合でない場合よりも運転集中度を推定する必要のある指標の数を減らすことができる。よって、集中度判定装置の処理負荷は軽減される。
 この発明の第4の態様によれば、集中度判定装置は、運転モード毎に好ましい指標で構成された指標群を用いて、運転者が運転に適した状態か否かを適切に監視することができる。これにより、運転者は、運転モードによらずに、適切に運転に集中した状態を安全かつ快適に保つことができる。
 この発明の第5の態様によれば、集中度判定装置は、運転モード毎に好ましい指標で構成された指標群を用いて、運転者が運転に適した状態か否かを適切に監視することができる。これにより、運転者は、運転モードによらずに、運転に集中した状態を安全かつ快適に保つことができる。さらに、集中度判定装置は、第1の指標群及び第2の指標群それぞれに含まれる指標の一部を共通化することで、処理負荷を軽減することができる。
 この発明の第6の態様によれば、集中度判定装置は、手動運転モードの場合には、運転の安全性への影響が大きい指標である対象認知度合について運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、手動運転モードの場合には、運転に集中した状態を保つことができる。さらに、対象認知度合は自動運転モードの場合には手動運転モードの場合よりも低下するが、集中度判定装置は、自動運転モードの場合には対象認知度合を考慮することはない。これにより、運転者は、自動運転モードの場合には、過剰な警告を受けにくくなるので、運転に集中した状態を快適に保つことができる。
 この発明の第7の態様によれば、集中度判定装置は、少なくとも監視データ及び対象の位置情報を用いることで、対象認知度合を指標とした運転者の状態を適切に検出することができる。
 この発明の第8の態様によれば、集中度判定方法は、上述の第1の態様と同様の効果を得ることができる。すなわち、集中度判定方法は、運転の安全性及び運転の快適性の双方に配慮することができる。
 この発明の第9の態様によれば、集中度判定のためのプログラムは、上述の第1の態様と同様の効果を得ることができる。すなわち、集中度判定のためのプログラムは、運転の安全性及び運転の快適性の双方に配慮することができる。
図1は、本発明の一実施形態に係る集中度判定装置を備える車両の全体構成を示す図である。 図2は、本発明の一実施形態に係る集中度判定装置の構成を示すブロック図である。 図3は、本発明の一実施形態に係る状態検出部の構成を示すブロック図である。 図4は、図2に示す集中度判定装置による集中度判定の手順を示すフローチャートである。
 以下、図面を参照してこの発明に係る実施形態について説明する。 
 [一実施形態] 
 (構成) 
 図1は、この発明の一実施形態に係る集中度判定装置2を備えた車両1の全体構成を示す図である。集中度判定装置2は、乗用車等の車両1に搭載される。集中度判定装置2の構成については後述する。車両1は、例えば、自動車、バス、トラック及び電車等のうちの何れかであっても、これら以外の運転者(以下、ドライバとも称する)が乗る乗り物であってもよい。
 車両1は、基本設備として、動力源及び変速装置を含むパワーユニット3と、ステアリングホイール5が装備された操舵装置4とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。
 手動運転モードは、例えば、運転者の手動による運転操作を主体として車両1を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両1を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。
 運転操作支援制御は、例えば、車両1のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作(例えばアクセルペダルの操作)またはブレーキ操作(例えばブレーキペダルの操作)を支援する制御と、手動操舵(操舵の手動運転)及び手動速度調整(速度調整の手動運転)も含まれる。手動操舵は、運転者のステアリングホイール5の操作を主体として車両1の操舵を行う。手動速度調整は、運転者のアクセル操作またはブレーキ操作を主体として車両1の速度調整を行う。
 なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両1を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両1の走行に反映させるが、一定条件(例えば車両1の車線逸脱等)の下で車両1の走行に強制的に介入する制御は含まれない。
 一方、自動運転モードは、例えば、車両1の走行する道路に沿って自動で車両1を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両1を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両1の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両1の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両1の走行に反映させるが、一定条件の下で車両1の走行に強制的に介入する制御が含まれる。
 車両1は、さらに、車外カメラ6と、ステアリングセンサ7と、アクセルペダルセンサ8と、ブレーキペダルセンサ9と、GPS受信機10と、ジャイロセンサ11と、車速センサ12と、ナビゲーション装置13と、自動運転制御装置14と、ドライバカメラ15と、音声出力装置16とを備える。
 車外カメラ6は、車両1の外部を撮影することができるように、車両1の任意の位置に設置されている。なお、図1には1つの車外カメラ6を示しているが、車両1は、異なる方向を撮影する複数の車外カメラを備えていてもよい。車外カメラ6は、車両1の近傍の走行環境を連続的に撮影する。車外カメラ6は、車両1の運転開始に応答して起動し、車両1の外部を連続的に撮影する。車外カメラ6は、撮影した画像(以下、車外画像データとも称する)を集中度判定装置2及び自動運転制御装置14へ出力する。
 ステアリングセンサ7は、操舵角を検出する。ステアリングセンサ7は、検出結果を自動運転制御装置14へ出力する。 
 アクセルペダルセンサ8は、アクセルペダルの操作量を検出する。アクセルペダルセンサ8は、検出結果を自動運転制御装置14へ出力する。 
 ブレーキペダルセンサ9は、ブレーキペダルの操作量を検出する。ブレーキペダルセンサ9は、検出結果を自動運転制御装置14へ出力する。 
 GPS受信機10は、車両1の現在位置情報を受信する。GPS受信機10は、現在位置情報を集中度判定装置2、ナビゲーション装置13及び自動運転制御装置14へ出力する。 
 ジャイロセンサ11は、車両1の挙動を検出する。ジャイロセンサ11は、検出結果を自動運転制御装置14へ出力する。 
 車速センサ12は、車両1の速度を検出する。車速センサ12は、検出結果を自動運転制御装置14へ出力する。
 ナビゲーション装置13は、映像を表示するディスプレイ131を備える映像表示装置の一例である。ナビゲーション装置13は、地図情報を記憶している。ナビゲーション装置13は、運転者等によって入力される目的地に関する情報と、地図情報と、GPS受信機10からの現在位置情報とを用いて、現在位置から目的地までの経路情報を抽出する。ナビゲーション装置13は、経路情報をディスプレイ131に表示する。ナビゲーション装置13は、経路情報以外の情報をディスプレイ131に表示することもできる。 
 ナビゲーション装置13は、経路情報を集中度判定装置2及び自動運転制御装置14へ出力する。
 上述の経路情報は、現在位置から目的地までの道順の情報だけでなく、現在位置から目的地までの道路環境に関する情報を含んでいてもよい。 
 道路環境に関する情報のいくつかの例について説明する。 
 道路環境に関する情報は、現在位置から目的地までに通過する道路の種別の情報を含んでいてもよい。道路の種別は、例えば、人の通行が制限されている道路または人の通行が制限されていない道路などに分けられる。人の通行が制限されている道路は、例えば、高速道路である。高速道路は、自動車専用道路ということもできる。人の通行が制限されていない道路は、例えば、一般道路である。
 道路環境に関する情報は、現在位置から目的地までに通過する道路の制限速度の情報を含んでいてもよい。 
 道路環境に関する情報は、現在位置から目的地までに通過する道路上の設置物の位置情報を含んでいてもよい。設置物は、例えば、標識であるが、これ以外に道路に設置されている物であってもよい。 
 道路環境に関する情報は、現在位置から目的地までに通過する道路近傍の建造物の位置情報を含んでいてもよい。 
 なお、経路情報は、道路環境に関する情報として、上述の例以外の情報を含んでいてもよい。
 自動運転制御装置14の構成について説明する。 
 自動運転制御装置14は、運転モードが自動運転モードである場合に車両1の走行を自動制御する。 
 自動運転制御装置14は、車外カメラ6からの車外画像データと、ステアリングセンサ7からの検出結果と、アクセルペダルセンサ8からの検出結果と、ブレーキペダルセンサ9からの検出結果と、GPS受信機10からの現在位置情報と、ジャイロセンサ11からの検出結果と、車速センサ12からの検出結果と、ナビゲーション装置13からの経路情報とを取得する。自動運転制御装置14は、例えば、これらの情報と、路車間通信により取得される交通情報とを基にして、車両1の走行を自動制御する。
 自動制御には、例えば、自動操舵(操舵の自動運転)と自動速度調整(速度の自動運転)がある。自動操舵は、操舵装置4を自動で制御する運転状態である。自動操舵にはLKAS(Lane Keeping Assist System)が含まれる。LKASは、例えば、運転者がステアリング操作をしない場合であっても、車両1が走行車線から逸脱しないように自動で操舵装置4を制御する。なお、LKASの実行中であっても、車両1が走行車線を逸脱しない範囲(許容範囲)において運転者のステアリング操作を車両1の操舵に反映してもよい。なお、自動操舵はLKASに限らない。
 自動速度調整は、車両1の速度を自動で制御する運転状態である。自動速度調整にはACC(Adaptive Cruise Control)が含まれる。ACCとは、例えば、車両1の前方に先行車が存在しない場合は予め設定された設定速度で車両1を定速走行させる定速制御を行い、車両1の前方に先行車が存在する場合には先行車との車間距離に応じて車両1の車速を調整する追従制御を行うものである。自動運転制御装置14は、ACCを実行中であっても、運転者のブレーキ操作(例えばブレーキペダルの操作)に応じて車両1を減速させる。また自動運転制御装置14は、ACCを実行中であっても、予め設定された最大許容速度(例えば走行中の道路において法的に定められた最高速度)まで、運転者のアクセル操作(例えばアクセルペダルの操作)に応じて車両1を加速させることもできる。なお、自動速度調整は、ACCに限らず、CC(Cruise Control:定速制御)等も含まれる。
 ドライバカメラ15の構成について説明する。 
 ドライバカメラ15は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。ドライバカメラ15は、運転者を監視するセンサの一例である。ドライバカメラ15は、車両1の運転開始に応答して起動し、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ15は、撮影した画像(以下、運転者画像データという)を集中度判定装置2へ出力する。運転者画像データは、運転者の状態を検出するために用いられる監視データの一例である。運転者の状態は、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影及び対象認知度合などの指標のうちの少なくとも何れか1つの指標を含む。対象認知度合は、運転者が対象を(例えば視覚的に)どの程度認知したかの指標であり、運転者が対象を(例えば目視で)確認して意識している度合である。運転者の状態は、ここに例示する指標以外の指標を含んでいてもよい。
 音声出力装置16は、スピーカ161を備える。音声出力装置16は、種々の情報を音声で出力する。
 上述の集中度判定装置2の構成について説明する。 
 集中度判定装置2は、上述の運転者の状態に基づいて運転者の運転集中度を推定し、運転者が車両1の運転に適した状態か否かを判定する。運転集中度は、運転者が車両1の運転に適した度合いである。運転集中度が高くなるにつれ、運転者は、より車両1の運転に適した状態になる。逆に、運転集中度が低くなるにつれ、運転者は、より車両1の運転に適さない状態になる。
 図2は、一例となる集中度判定装置2の構成を示すブロック図である。 
 集中度判定装置2は、入出力インタフェースユニット21と、記憶ユニット22と、制御ユニット23とを備える。
 入出力インタフェースユニット21は、車外カメラ6、GPS受信機10、ナビゲーション装置13、自動運転制御装置14、ドライバカメラ15及び音声出力装置16それぞれを、制御ユニット23と接続する。
 記憶ユニット22の構成について説明する。 
 記憶ユニット22は、例えば、SSD(Solid State Drive)やHDD(Hard Disk Drive)等の随時書き込み及び読み出しが可能な不揮発性メモリである。記憶ユニット22は、運転者画像データ記憶部221と、車外画像データ記憶部222と、集中度テーブル記憶部223とを備える。
 運転者画像データ記憶部221は、制御ユニット23がドライバカメラ15から取得する運転者画像データを記憶する。 
 車外画像データ記憶部222は、制御ユニット23が車外カメラ6から取得する車外画像データを記憶する。
 集中度テーブル記憶部223は、制御ユニット23が運転集中度を推定するために用いる集中度テーブルを記憶する。集中度テーブルは、各指標について、運転者の状態を、運転集中度に応じた複数のレベルに分けて対応付けている。複数のレベルは、例えば、レベル1、レベル2及びレベル3の3段階に分けられているが、これに限られるものではない。ここでは、レベルの番号が大きくなるにつれ、運転集中度が低くなるように設定されている例について説明するが、これに限られない。レベルの番号が大きくなるにつれ、運転集中度が高くなるように設定されていてもよい。
 集中度テーブルに管理されている情報について、脇見を例にして説明する。 
 集中度テーブルは、指標となる脇見について、以下のように、運転者の状態をレベル1、レベル2及びレベル3それぞれと対応付けている。レベル1は、例えば、車両1の進行方向に対して0度以上第1の角度未満の範囲内の角度で傾く方向を見ている運転者の状態と対応付けられている。つまり、レベル1は、運転者が脇見をしておらず、運転集中度が高い状態である。レベル2は、例えば、車両1の進行方向に対して第1の角度以上第2の角度未満の範囲内の角度で傾く方向を見ている運転者の状態と対応付けられている。つまり、レベル2は、運転者が少し脇見をしており、レベル1よりも運転集中度が低い状態である。レベル3は、例えば、車両1の進行方向に対して第2の角度以上の角度で傾く方向を見ている運転者の状態と対応付けられている。つまり、レベル3は、運転者が脇見をしており、レベル2よりも運転集中度が低い状態である。ここでは、脇見を例にして集中度テーブルに管理されている情報について説明したが、他の指標についても同様である。
 制御ユニット23の構成について説明する。 
 制御ユニット23は、プロセッサ231と、メモリ232とを備える。 
 プロセッサ231は、例えば、コンピュータを構成するCPU(Central Processing Unit)である。プロセッサ231が備える各部の構成については後述する。なお、図2には1つのプロセッサ231を示しているが、制御ユニット23は、1以上のプロセッサを備えていてもよい。 
 メモリ232は、プロセッサ231が備える各部の処理をプロセッサ231に機能させるプログラムを備える。プログラムは、プロセッサ231を動作させる命令ということもできる。プログラムは、記憶ユニット22に記憶されており、記憶ユニット22からメモリ232に読み出される。メモリ232のプログラムは、プロセッサ231によって読み出される。一実施形態は、プログラムによって実現されてもよい。
 プロセッサ231が備える各部の構成について説明する。 
 プロセッサ231は、監視データ取得部2311と、車外画像データ取得部2312と、経路情報取得部2313と、現在位置情報取得部2314と、状態検出部2315と、集中度推定部2316と、基準比較部2317と、信号出力部2318とを備える。なお、各部は、1以上のプロセッサに分散されていてもよい。
 監視データ取得部2311は、入出力インタフェースユニット21を介して、ドライバカメラ15から運転者画像データを取得する。監視データ取得部2311は、運転者画像データを運転者画像データ記憶部221に記憶させる。
 車外画像データ取得部2312は、入出力インタフェースユニット21を介して、車外カメラ6から車外画像データを取得する。車外画像データ取得部2312は、車外画像データを車外画像データ記憶部222に記憶させる。
 経路情報取得部2313は、入出力インタフェースユニット21を介して、ナビゲーション装置13から経路情報を取得する。経路情報取得部2313は、経路情報を状態検出部2315へ出力する。 
 現在位置情報取得部2314は、入出力インタフェースユニット21を介して、GPS受信機10から現在位置情報を取得する。現在位置情報取得部2314は、現在位置情報を状態検出部2315へ出力する。
 状態検出部2315は、運転者画像データ記憶部221に記憶されている運転者画像データから運転者の状態を検出する。状態検出部2315は、運転者画像データの他に、例えば、車外画像データ、経路情報及び現在位置情報の少なくとも何れか1つを用いて、運転者の状態として上述の対象認知度合を検出してもよい。状態検出部2315による運転者の状態の検出例については後述する。なお、状態検出部2315は、運転者画像データ記憶部221を介することなく、監視データ取得部2311から運転者画像データを取得してもよい。この場合、記憶ユニット22は、運転者画像データ記憶部221を備えていなくてもよい。 
 状態検出部2315は、運転者の状態を集中度推定部2316へ出力する。
 集中度推定部2316は、状態検出部2315で検出された運転者の状態に基づいて運転者の運転集中度を推定する。なお、運転者の状態は上述のように運転者画像データから検出されるので、集中度推定部2316は、運転者画像データから運転者の運転集中度を推定するということもできる。 
 車両の運転モードが自動運転モードである場合、集中度推定部2316は、監視データから第1の指標群を構成する1以上の指標に基づいて運転者の運転集中度(以下、第1の運転集中度とも称する)を推定する。集中度推定部2316は、例えば、第1の指標群を構成する1以上の指標のそれぞれに対応する第1の運転集中度を推定してもよい。集中度推定部2316は、例えば、第1の指標群を構成する1以上の指標に基づいて単一の第1の運転集中度を推定してもよい。後者の場合、集中度推定部2316は、第1の指標群を構成する各指標に適宜重みを設定することで、単一の第1の運転集中度を推定してもよい。第1の指標群を構成する各指標に設定される重みは、任意に変更可能であってもよい。
 運転モードが手動運転モードである場合、集中度推定部2316は、監視データから第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて運転者の運転集中度(以下、第2の運転集中度とも称する)を推定する。集中度推定部2316は、例えば、第2の指標群を構成する1以上の指標のそれぞれに対応する第2の運転集中度を推定してもよい。集中度推定部2316は、例えば、第2の指標群を構成する1以上の指標に基づいて単一の第2の運転集中度を推定してもよい。後者の場合、集中度推定部2316は、第2の指標群を構成する各指標に適宜重みを設定することで、単一の第2の運転集中度を推定してもよい。第2の指標群を構成する各指標に設定される重みは、任意に変更可能であってもよい。 
 第1の指標群及び第2の指標群の構成例については後述する。
 一例では、集中度推定部2316は、運転集中度を割合などの数値で推定することができる。集中度推定部2316によって推定される数値は、運転集中度が高くなるにつれ大きくなってもよいし、運転集中度が高くなるにつれ小さくなってもよい。
 別の例では、集中度推定部2316は、集中度テーブル記憶部223に記憶されている集中度テーブルを参照して、複数のレベルから運転者の状態に相当する運転集中度のレベルを推定することができる。なお、集中度推定部2316が運転集中度を数値で推定する場合、記憶ユニット22は、集中度テーブル記憶部223を備えていなくてもよい。
 集中度推定部2316による運転集中度の推定は、機械学習やディープラーニング等のAI(Artificial Intelligence:人工知能)機能を用いて行われてもよい。この場合、集中度推定部2316は、例えば、過去の推定結果を現在の運転集中度の推定に活用することで、高精度に運転者の状態を推定することができる。
 基準比較部2317は、集中度推定部2316で推定された運転集中度と基準とを比較する。集中度推定部2316が複数の指標それぞれについての運転集中度を推定する場合、基準比較部2317は、複数の指標それぞれについての運転集中度を基準と比較する。集中度推定部2316が複数の指標に基づいて単一の運転集中度を推定する場合、基準比較部2317は、単一の運転集中度を基準と比較する。基準比較部2317は、例えば、集中度推定部2316で推定された運転集中度と、基準となる基準値または基準レベルとを比較する。運転集中度が基準値または基準レベル以上であれば、基準比較部2317は、運転集中度が基準を満たすと判断する。基準比較部2317は、比較結果を信号出力部2318へ出力する。なお、基準は、任意に変更可能であってもよい。
 一例として、基準比較部2317による数値で推定された運転集中度と基準との比較について説明する。 
 はじめに、集中度推定部2316によって推定される数値が、運転集中度が高くなるにつれ大きくなる場合について説明する。基準値は数値Aとする。集中度推定部2316によって推定される数値が基準値である数値Aよりも小さければ、基準比較部2317は、集中度推定部2316によって推定される運転集中度が基準値よりも低いと判断する。
 次に、集中度推定部2316によって推定される数値が、運転集中度が高くなるにつれ小さくなる場合について説明する。集中度推定部2316によって推定される数値が基準値である数値Aよりも大きければ、基準比較部2317は、集中度推定部2316によって推定される運転集中度が基準値よりも低いと判断する。
 別の例として、基準比較部2317によるレベルで推定した運転集中度と基準レベルとの比較について説明する。 
 基準レベルは複数のレベルのうちから抽出されるレベルBとする。集中度推定部2316によって推定されるレベルに基準レベルであるレベルBよりも低い運転集中度が割り当てられている場合、基準比較部2317は、集中度推定部2316によって推定される運転集中度が基準レベルよりも低いと判断する。
 ここでは、上述のように集中度テーブルが、各指標について、運転者の状態を、レベル1、レベル2及びレベル3の3段階に分けて対応付けている例について具体的に説明する。例えば、基準レベルをレベル1とする。基準比較部2317は、集中度推定部2316によって推定されるレベル2またはレベル3が基準レベルであるレベル1よりも低いと判断する。他方、基準比較部2317は、集中度推定部2316によって推定されるレベル1が基準レベルであるレベル1よりも低くないと判断する。
 信号出力部2318は、入出力インタフェースユニット21を介して、各部へ信号を出力する。以下では、信号出力部2318が出力するいくつかの信号の例について説明する。
 信号出力部2318は、基準比較部2317からの比較結果に基づいて、運転者に対する支援の実行を指示する指示信号を支援提供装置へ出力するか否かを判断する。信号出力部2318は、集中度推定部2316で推定された運転集中度が基準を満たさない場合、指示信号を出力する。支援提供装置は、信号出力部2318から指示信号を受信すると、運転者に対して所定の支援を実行する。支援提供装置は、例えば、ナビゲーション装置13または音声出力装置16である。
 ナビゲーション装置13は、指示信号に基づいて、運転者へ注意を与える警告を画像または映像でディスプレイ131に表示する。音声出力装置16は、指示信号に基づいて、運転者へ注意を与える警告を音声でスピーカ161から出力する。警告は、例えば、運転集中度が低いこと、または、運転に集中する必要があることなどを運転者へ注意する内容であればよく、特定の出力態様に限定されるものではない。運転者は、警告により、運転者自身が車両1の運転に適した状態ではないことを認識し、車両1の運転に集中し直すことができる。なお、信号出力部2318は、指示信号をナビゲーション装置13及び音声出力装置16以外の支援提供装置へ出力してもよい。信号出力部2318は、例えば、運転者に振動などの外部刺激を与える支援提供装置へ指示信号を出力してもよい。運転者に対する支援とは、運転集中度に基づいて運転者に作用する出力内容であればよく、警告や注意喚起、情報提供の他、運転集中度の改善を促す種々の支援も含まれる。
 信号出力部2318は、複数の指標から推定された複数の運転集中度のうちの1以上の運転集中度が基準を満たさない場合に指示信号を出力することができる。信号出力部2318は、複数の指標から推定された複数の運転集中度のうちの所定数以上の運転集中度が基準を満たさない場合に指示信号を出力するようにしてもよい。信号出力部2318は、複数の指標に基づいて推定された単一の運転集中度が基準を満たさない場合に指示信号を出力することができる。
 信号出力部2318は、運転モードを切替えるための切替信号を自動運転制御装置14へ出力してもよい。
 次に、状態検出部2315による運転者画像データを用いた運転者の状態の検出例について説明する。なお、運転者の状態の検出手法は、ここで説明する例に限られるものではない。 
 図3は、状態検出部2315の構成を示すブロック図である。状態検出部2315は、一例として、局所状態検出部23151と、大局状態検出部23152と、運転者状態検出部23153とを備える。
 局所状態検出部23151は、運転者画像データ中の運転者の顔に含まれる器官のうちの少なくとも1つの状態を検出する。顔に含まれる器官は、例えば、眼、口、鼻及び耳であるが、これら以外であってもよい。局所状態検出部23151が眼の状態の検出する場合、局所状態検出部23151は、例えば、運転者の眼の開閉度、視線の方向及び顔の向きなどを検出する。局所状態検出部23151は、検出結果(以下、局所的な情報とも称する)を運転者状態検出部23153へ出力する。
 大局状態検出部23152は、運転者画像データ中の運転者の大局的な状態うちの少なくとも1つの状態を検出する。大局的な状態は、例えば、運転者の動作及び姿勢などであるが、これら以外であってもよい。大局状態検出部23152は、検出結果(以下、大局的な情報とも称する)を運転者状態検出部23153へ出力する。
 運転者状態検出部23153は、局所状態検出部23151からの局所的な情報及び大局状態検出部23152からの大局的な情報を用いて、上述の運転者の状態を検出する。
 このように、状態検出部2315は、例えば、局所的な情報及び大局的な情報を組み合わせることで、様々な運転者の状態を検出することができる。
 次に、状態検出部2315による対象認知度合のいくつかの検出例について説明する。状態検出部2315は、監視データと対象の位置情報とを用いて、対象認知度合を検出することができる。
 一例として、状態検出部2315は、運転者画像データの他に車外画像データを用いて、以下のように運転者の視覚による対象認知度合を検出することができる。状態検出部2315は、対象認知度合を検出するための対象を車外画像データから抽出する。対象は、例えば、標識などの設置物及び建造物などであるが、運転者が(例えば目視で)確認して意識する可能性のあるものであれば特に限定されない。状態検出部2315は、対象を抽出した車外画像データの撮影されたタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。運転者の視線及び顔の向きは、上述のように、局所状態検出部23151で検出される。状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、対象認知度合を検出する。運転者の視線及び顔の向きが対象に向くにつれ、対象認知度合は高くなるといえる。
 状態検出部2315は、対象認知度合の高低を検出するためのいくつかの実施例を説明する。 
 一実施例では、状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方が対象の位置と一致した状態で所定時間滞留していたことを条件に、対象認知度合が高いと検出してもよい。他方、運転者の視線及び顔の向きの少なくとも何れか一方が対象の位置を向いたが対象を認知することなく通り過ぎたような場合には、状態検出部2315は、対象認知度合が低いと検出してもよい。状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方が対象の位置と一致した状態で滞留する時間の長さに応じて、対象認知度合を検出してもよい。
 別の実施例では、状態検出部2315は、運転者が対象を認知した結果生じると想定される特定の運転操作や運転者の動作の有無に基づき、対象認知度合を推定してもよい。例えば、運転者は、車両1の前方の横断歩道付近に歩行者が存在していることを認知すると、減速操作をすると想定される。そのため、集中度判定装置2が車両1の前方の横断歩道付近に歩行者が存在していることを検出した場合に、状態検出部2315は、運転者の減速操作を検出すると、対象認知度合が高いと検出してもよい。他方、集中度判定装置2が車両1の前方の横断歩道付近に歩行者が存在していることを検出した場合に、状態検出部2315は、所定時間経過しても運転者の減速操作を検出することができなければ、対象認知度合が低いと検出してもよい。例えば、集中度判定装置2が対象となる歩行者を検出した後から運転者の減速操作を検出するまでの時間の長さに応じて、状態検出部2315は、対象認知度合を検出してもよい。
 別の例として、状態検出部2315は、運転者画像データの他に経路情報及び現在位置情報を用いて、以下のように、対象認知度合の検出をすることができる。 
 状態検出部2315は、経路情報及び現在位置情報を参照して、車両1の近傍に位置する対象を抽出する。対象は、上述のように、例えば、標識などの設置物及び建造物などであるが、運転者が(例えば目視で)確認して意識する可能性のあるものであれば特に限定されない。状態検出部2315は、車両1が対象の近傍を通過するタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、対象認知度合を検出する。
 別の例として、状態検出部2315は、対象の位置及び車両1が対象の近傍を通過するタイミングを路車間通信で得るようにしてもよい。この場合、状態検出部2315は、車両1が対象の近傍を通過するタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、対象認知度合を検出する。
 別の例として、状態検出部2315は、ナビゲーション装置13のディスプレイ131に表示される画像または映像を対象として用いてもよい。この場合、状態検出部2315は、画像または映像がディスプレイ131に表示されるタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。状態検出部2315は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、対象認知度合を検出する。
 上述のように状態検出部2315が少なくとも監視データ及び対象の位置情報を用いることで、状態検出部2315は、対象認知度合を指標とした運転者の状態を適切に検出することができる。 
 なお、状態検出部2315は、車両1の前後左右の何れの近傍に位置している対象を用いてもよい。状態検出部2315は、車両1の前側よりも、左側または右側の近傍に位置している対象を用いた方が好ましい。対象が車両1の前側に位置していれば、運転者の視線及び顔はそれほど動かない。これに対して、対象が車両1の左側または右側の近傍に位置していれば、運転者の視線及び顔は、左側または右側へ動く。そのため、状態検出部2315は、対象認知度合を適切に検出することができる。
 上述の第1の指標群及び第2の指標群のいくつかの構成例について説明する。 
 はじめに、第1の指標群及び第2の指標群それぞれに含まれる指標の種別について説明する。 
 一例として、第1の指標群は、運転の安全性及び運転の快適性の双方に配慮するために自動運転モードにおいて運転集中度を推定することが好ましい第1の種別の指標を含んでいてもよい。第2の指標群は、運転の安全性及び運転の快適性の双方に配慮するために手動運転モードにおいて運転集中度を推定することが好ましい第2の種別の指標を含んでいてもよい。
 ここで、第1の種別の指標及び第2の種別の指標の例について説明する。
 指標X1は、自動運転モードにおいては監視が要求されるが、手動運転モードにおいては監視が要求されない運転者の状態に関するものであるとする。指標X1は、その度合いによっては自動運転モードでの運転の安全性に影響する可能性が高い。そのため、指標X1は、第1の種別の指標の例である。指標X1は、例えば、横を向いて座っている、脚を組んでいる、座席を倒して寝転んでいるといった運転不可能な姿勢、及び、読書などである。
 指標X2は、自動運転モードにおいては監視が要求されないが、手動運転モードにおいては監視が要求される運転者の状態に関するものであるとする。指標X2は、その度合いによっては手動運転モードでの運転の安全性に影響する可能性が高い。そのため、指標X2は、第2の種別の指標の例である。指標X2は、例えば、直進中の脇見、対象認知度合、及び、カーナビゲーション・オーディオ操作などである。
 指標X3は、自動運転モード及び手動運転モードの何れにおいても監視が要求される運転者の状態に関するものであるとする。指標X3は、その度合いによっては自動運転モード及び手動運転モードの何れでも運転の安全性に影響する可能性が高い。そのため、指標X3は、第1の種別の指標の例でもあり、第2の種別の指標の例でもある。指標X3は、例えば、眠気、交差点における脇見及び病気の発症などである。
 第1の指標群が少なくとも1つの第1の種別の指標を含んでいれば、第1の指標群は、自動運転モードにおいて運転集中度の推定に好ましいまたは適している指標群といえる。集中度判定装置2は、第1の指標群を用いることで、自動運転モードの場合に第1の種別の指標に対応する運転集中度を推定することができる。集中度判定装置2は、自動運転モードに適した運転集中度を運転者へ求めることができる。
 他方、第2の指標群が少なくとも1つの第2の種別の指標を含んでいれば、第2の指標群は、手動運転モードにおいて運転集中度の推定に好ましいまたは適している指標群といえる。集中度判定装置2は、第2の指標群を用いることで、手動運転モードの場合に第2の種別の指標に対応する運転集中度を推定することができる。集中度判定装置2は、手動運転モードに適した運転集中度を運転者へ求めることができる。
 例えば、第2の指標群は、第1の指標群に含まれない、対象に対する運転者の認知度合(対象認知度合)を指標として含んでいてもよい。対象認知度合は、指標X2の例である。運転者は、手動運転モードの場合には標識等を確認する可能性が高い。他方、運転者は、自動運転モードの場合には標識等を確認しない可能性がある。第1の指標群が対象認知度合を指標として含んでいると仮定した場合、集中度判定装置2は、不必要に警告を出す可能性が高い。なお、運転者は、自動運転モードの場合に対象認知度合が劣っていたとしても、不測の事態が生じた際にはすぐに手動運転をできる態勢に入ることができる。そのため、第1の指標群が対象認知度合を指標として含んでいなくても、運転の安全性は保たれる。
 この例によれば、集中度判定装置2は、手動運転モードの場合には、運転の安全性への影響が大きい指標である対象認知度合について運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、手動運転モードの場合には、運転に集中した状態を保つことができる。さらに、対象認知度合は自動運転モードの場合には手動運転モードの場合よりも低下する可能性があるが、集中度判定装置2は、自動運転モードの場合には対象認知度合を考慮することはない。これにより、運転者は、自動運転モードの場合には、過剰な警告を受けにくくなるので、運転に集中した状態を快適に保つことができる。
 別の例として、第2の指標群は、自動運転モード及び手動運転モードの何れにおいても監視する必要性の低い運転者の状態に関する第3の種別の指標を含んでいてもよい。第3の種別の指標は、その度合いによらず自動運転モード及び手動運転モードの何れでも運転の安全性に影響しない可能性が高い。第3の種別の指標は、例えば、渋滞による停車中の脇見などである。例えば、車両1は、渋滞の発生により停止することがある。運転者は、車両1の停車中に、運転モードによらず、周囲の状況を見渡すことがある。そのため、渋滞による停車中の脇見は、運転の安全性の点では、運転モードによらず運転集中度を推定する必要性の低い運転者の状態である。しかしながら、渋滞の発生時には、運転者は、車両1の前方の他の車両がいつ進むのかを予測することはできない。運転モードが自動運転モードである場合、車両1は、車両1の前方の他の車両の走行開始に追従して自動でスムーズに走行を開始することができる。他方、運転モードが手動運転モードである場合、運転者が車両1の前方の他の車両の走行開始に気づかなければ、車両1は停止したままである。
 第1の指標群が第3の種別の指標を含んでおらず、第2の指標群が少なくとも1つの第3の種別の指標を含んでいれば、第2の指標群は、第1の指標群よりも運転集中度の推定に関して厳しい指標群といえる。集中度判定装置2は、手動運転モードの場合には自動運転モードの場合よりも厳しく運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、手動運転モードの場合には自動運転モードの場合よりも運転に集中した状態を保つことができる。さらに、運転者は、運転モードが自動運転モードの場合だけでなく手動運転モードの場合にも、スムーズに車両1を運転することができる。
 次に、第1の指標群及び第2の指標群それぞれを構成する指標の数について説明する。
 一例として、第2の指標群は、第1の指標群を構成する指標の数よりも多い数の指標で構成されていてもよい。なお、第1の指標群及び第2の指標群それぞれを構成する指標の内容は限定されるものではない。
 この例によれば、集中度判定装置2は、手動運転モードの場合には自動運転モードの場合よりも多くの指標について運転集中度を推定することができる。集中度判定装置2は、手動運転モードの場合には自動運転モードの場合よりも厳しく運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、手動運転モードの場合には自動運転モードの場合よりも運転に集中した状態を保つことができる。さらに、運転者は、自動運転モードの場合には手動運転モードの場合よりも警告を受けにくくなるので、運転モードによらず、運転に集中した状態を快適に保つことができる。
 次に、第1の指標群及び第2の指標群で重複する指標の数について説明する。 
 一例として、第2の指標群は、第1の指標群を構成する全ての指標と、第1の指標群に含まれていない1以上の指標とで構成されていてもよい。つまり、第1の指標群は第2の指標群の部分集合といえる。なお、第1の指標群及び第2の指標群それぞれを構成する指標の内容は限定されるものではない。
 この例によれば、集中度判定装置2は、手動運転モードの場合には自動運転モードの場合よりも多くの指標について運転集中度を推定することができる。集中度判定装置2は、手動運転モードの場合には自動運転モードの場合よりも厳しく運転者が運転に適した状態か否かを監視することができる。これにより、運転者は、運転モードによらずに、適切に運転に集中した状態を安全かつ快適に保つことができる。さらに、集中度判定装置2は、第1の指標群が第2の指標群の部分集合でない場合よりも運転集中度を推定する必要のある指標の数を減らすことができる。よって、集中度判定装置2の処理負荷は軽減される。
 別の例として、第2の指標群は、第1の指標群を構成する指標と全て異なる1以上の指標で構成されていてもよい。例えば、第1の指標群は1以上の指標X1で構成され、第2の指標群は1以上の指標X2で構成されていてもよい。なお、第1の指標群及び第2の指標群それぞれを構成する指標の内容は限定されるものではない。
 この例によれば、集中度判定装置2は、運転モード毎に好ましい指標で構成された指標群を用いて、運転者が運転に適した状態か否かを適切に監視することができる。これにより、運転者は、運転モードによらずに、適切に運転に集中した状態を安全かつ快適に保つことができる。
 さらに別の例として、第2の指標群は、第1の指標群を構成する指標のうちの少なくとも1つの指標と、第1の指標群に含まれていない少なくとも1つの指標とで構成されていてもよい。例えば、第1の指標群は1以上の指標X1及び1以上の指標X3で構成され、第2の指標群は1以上の指標X2及び1以上の指標X3で構成されていてもよい。なお、第1の指標群及び第2の指標群それぞれを構成する指標の内容は限定されるものではない。
 この例によれば、集中度判定装置2は、運転モード毎に好ましい指標で構成された指標群を用いて、運転者が運転に適した状態か否かを適切に監視することができる。これにより、運転者は、運転モードによらずに、運転に集中した状態を安全かつ快適に保つことができる。さらに、集中度判定装置2は、第1の指標群及び第2の指標群それぞれに含まれる指標の一部を共通化することで、処理負荷を軽減することができる。
 なお、第1の指標群及び第2の指標群は、上述のいくつかの構成例に限定されるものではない。そのため、例えば、第1の指標群及び第2の指標群それぞれ構成する指標の内容は限定されるものではない。例えば、第1の指標群及び第2の指標群をそれぞれ構成する指標の数も限定されるものではない。例えば、第1の指標群及び第2の指標群で重複する指標の数も限定されるものではない。
 (動作) 
 次に、以上のように構成されている集中度判定装置2の動作を説明する。図4は、集中度判定装置2による集中度判定の一例となる手順を示すフローチャートである。
 監視データ取得部2311は、車両1の運転者を監視するセンサから監視データを取得する(ステップS101)。ステップS101では、監視データ取得部2311は、例えば、入出力インタフェースユニット21を介して、ドライバカメラ15から運転者画像データを取得する。なお、監視データ取得部2311が監視データを取得する間隔は、状態検出部2315が運転者の状態を検出する間隔と同じであっても、これより短くてもよい。
 次に、状態検出部2315は、監視データから運転者の状態を検出する(ステップS102)。ステップS102では、状態検出部2315は、例えば、運転者画像データから運転者の状態を検出する。状態検出部2315は、例えば、予め定められた一定間隔で運転者の状態を検出することができる。状態検出部2315は、自動運転モードと手動運転モードとで同じ間隔で運転者の状態を検出しても、異なる間隔で運転者の状態を検出してもよい。状態検出部2315は、任意のタイミングで運転者の状態を検出してもよい。
 次に、集中度推定部2316は、車両1の運転モードが自動運転モードか否かを判断する(ステップS103)。車両1の運転モードが自動運転モードである場合(ステップS103、Yes)、集中度推定部2316は、運転集中度を推定するために用いる指標群として第1の指標群を選択する(ステップS104)。集中度推定部2316は、監視データから第1の指標群を構成する1以上の指標に基づいて運転者の第1の運転集中度を推定する(ステップS105)。つまり、ステップS105では、車両1の運転モードが自動運転モードである場合、集中度推定部2316は、監視データから第1の指標群を構成する1以上の指標に基づいて運転者の第1の運転集中度を推定する。
 次に、基準比較部2317は、第1の運転集中度を基準と比較する(ステップS106)。第1の運転集中度が基準を満たす場合(ステップS106、Yes)、集中度判定装置2の処理は、ステップS106からステップS101へ遷移してもよい。第1の運転集中度が基準を満たさない場合(ステップS106、No)、信号出力部2318は、運転者に対する支援の実行を指示する指示信号を出力する(ステップS107)。
 車両1の運転モードが自動運転モードでない場合(ステップS103、No)、集中度推定部2316は、運転集中度を推定するために用いる指標群として第2の指標群を選択する(ステップS108)。ここで、運転モードが自動運転モードでない場合は、運転モードが手動運転モードである場合に相当する。次に、集中度推定部2316は、監視データから第2の指標群を構成する1以上の指標に基づいて運転者の第2の運転集中度を推定する(ステップS105)。つまり、ステップS105では、車両1の運転モードが手動運転モードである場合、集中度推定部2316は、監視データから第2の指標群を構成する1以上の指標に基づいて運転者の第2の運転集中度を推定する。
 次に、基準比較部2317は、第2の運転集中度を基準と比較する(ステップS106)。第2の運転集中度が基準を満たす場合(ステップS106、Yes)、集中度判定装置2の処理は、ステップS106からステップS101へ遷移してもよい。第2の運転集中度が基準を満たさない場合(ステップS106、No)、信号出力部2318は、運転者に対する支援の実行を指示する指示信号を出力する(ステップS107)。
 (効果)
 以上詳述したようにこの発明の一実施形態では、集中度判定装置2は、自動運転モードか手動運転モードかに応じて、第1の指標群と第2の指標群を選択的に使用して運転者が運転に適した状態か否かを判定している。そのため、集中度判定装置2は、運転モードに応じた運転集中度を運転者へ求めることができる。これにより、運転者は、運転モードに応じて適切に運転に集中した状態を保つことができる。運転者は、例えば、手動運転モードであれば運転により集中した状態を保ち、自動運転モードであれば手動で運転はしないが不測の事態に備えた状態を保つことができる。したがって、運転の安全性は、運転者の置かれている状況によらずに保たれる。
 さらに、集中度判定装置2は、手動運転モードの場合と自動運転モードの場合とで運転者の状態が同じ状態であったとしても、運転者の状態によっては、手動運転モードの場合には指示信号を出力するが、自動運転モードの場合には指示信号を出力しない。そのため、集中度判定装置2は、特に自動運転モードの場合における過剰な指示信号の出力を減らすことができる。これにより、運転者は、特に自動運転モードの場合において過剰な警告を受けることがなくなるので、運転モードによらず、運転に集中した状態を快適に保つことができる。したがって、運転の快適性は、運転者の置かれている状況によらずに保たれる。
 このように、一実施形態によれば、集中度判定装置2は、運転の安全性及び運転の快適性の双方に配慮することができる。
 [他の実施形態] 
 前記一実施形態では、集中度判定装置2は、ドライバカメラ15が撮影した運転者画像データを監視データとして用いて運転者の状態を検出し、運転集中度を推定している。しかしながら、監視データは、運転者画像データに限られない。監視データは、例えば、車両1の運転者を監視する生体センサで得られる生体データであってもよい。生体センサは、例えば、脈波センサまたは心拍センサである。生体センサは、運転者を監視することができればよく、これらに限られるものではない。なお、生体センサは、接触式センサであっても非接触式センサであってもよい。集中度判定装置2は、生体データから運転者の状態を検出することができる。生体データから検出される運転者の状態は、例えば、脈波または心拍などの指標である。 
 さらに、監視データは、例えば、ステアリングホイール5に設置されている運転者のステアリングホイール5を握る強度を測るセンサで得られるデータであってもよい。
 要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
 また、上記実施形態は、プロセッサ231が備える各部の処理をプロセッサ231に機能させるプログラムを記憶するROM(Read Only Memory)等の記憶媒体によって実現されてもよい。
 上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。 
 (付記1)
 車両の運転者を監視するセンサから監視データを取得し、
 前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定し、
 前記第1の運転集中度または前記第2の運転集中度を基準と比較し、
 前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力するように構成されているプロセッサと、
 前記プロセッサを動作させる命令を記憶するメモリと、
 を備える集中度判定装置。
(付記2)
 少なくとも1つのプロセッサを用いて、車両の運転者を監視するセンサから監視データを取得する監視データ取得過程と、
 前記少なくとも1つのプロセッサを用いて、前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定する集中度推定過程と、
 前記少なくとも1つのプロセッサを用いて、前記第1の運転集中度または前記第2の運転集中度を基準と比較する基準比較過程と、
 前記少なくとも1つのプロセッサを用いて、前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力する信号出力過程と、
 を備える集中度判定方法。

Claims (9)

  1.  車両の運転者を監視するセンサから監視データを取得する監視データ取得部と、
     前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定する集中度推定部と、
     前記第1の運転集中度または前記第2の運転集中度を基準と比較する基準比較部と、
     前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力する信号出力部と、
     を備える集中度判定装置。
  2.  前記第2の指標群は、前記第1の指標群を構成する指標の数よりも多い数の指標で構成される、請求項1に記載の集中度判定装置。
  3.  前記第2の指標群は、前記第1の指標群を構成する全ての指標と、前記第1の指標群に含まれていない1以上の指標とで構成される、請求項2に記載の集中度判定装置。
  4.  前記第2の指標群は、前記第1の指標群を構成する指標と全て異なる1以上の指標で構成される、請求項1に記載の集中度判定装置。
  5.  前記第2の指標群は、前記第1の指標群を構成する指標のうちの少なくとも1つの指標と、前記第1の指標群に含まれていない少なくとも1つの指標とで構成される、請求項1に記載の集中度判定装置。
  6.  前記第2の指標群は、前記第1の指標群に含まれない、対象に対する前記運転者の認知度合を指標として含む、請求項1に記載の集中度判定装置。
  7.  前記監視データと前記対象の位置情報とを用いて、前記認知度合を検出する状態検出部を備える請求項6に記載の集中度判定装置。
  8.  車両の運転者を監視するセンサから監視データを取得する監視データ取得過程と、
     前記車両の運転モードが自動運転モードである場合、前記監視データから第1の指標群を構成する1以上の指標に基づいて前記運転者の第1の運転集中度を推定し、前記運転モードが手動運転モードである場合、前記監視データから前記第1の指標群とは異なる第2の指標群を構成する1以上の指標に基づいて前記運転者の第2の運転集中度を推定する集中度推定過程と、
     前記第1の運転集中度または前記第2の運転集中度を基準と比較する基準比較過程と、
     前記第1の運転集中度または前記第2の運転集中度が前記基準を満たさない場合、前記運転者に対する支援の実行を指示する指示信号を出力する信号出力過程と、
     を備える集中度判定方法。
  9.  請求項1から7の何れか1項に記載の集中度判定装置が備える各部の処理をコンピュータに機能させる集中度判定のためのプログラム。
PCT/JP2017/038574 2017-03-14 2017-10-25 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム WO2018168051A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112017007258.1T DE112017007258T5 (de) 2017-03-14 2017-10-25 Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
CN201780055597.1A CN109689462A (zh) 2017-03-14 2017-10-25 集中度判定装置、集中度判定方法及用于集中度判定的程序
US16/333,248 US20190248374A1 (en) 2017-03-14 2017-10-25 Concentration degree determination device, concentration degree determination method, and program for determining concentration degree

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017048174A JP2018149941A (ja) 2017-03-14 2017-03-14 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP2017-048174 2017-03-14

Publications (1)

Publication Number Publication Date
WO2018168051A1 true WO2018168051A1 (ja) 2018-09-20

Family

ID=63522897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038574 WO2018168051A1 (ja) 2017-03-14 2017-10-25 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム

Country Status (5)

Country Link
US (1) US20190248374A1 (ja)
JP (1) JP2018149941A (ja)
CN (1) CN109689462A (ja)
DE (1) DE112017007258T5 (ja)
WO (1) WO2018168051A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112693477A (zh) * 2020-10-09 2021-04-23 深圳技术大学 一种基于视觉力觉味觉融合的车辆自主驾驶系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915101B2 (en) * 2018-02-02 2021-02-09 Uatc, Llc Context-dependent alertness monitor in an autonomous vehicle
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
CN110287906A (zh) * 2019-06-26 2019-09-27 四川长虹电器股份有限公司 基于图像视频检测人“玩手机”的方法及系统
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US11590972B2 (en) * 2020-06-25 2023-02-28 GM Global Technology Operations LLC Vehicle launch from standstill under adaptive cruise conrol
JP2022088959A (ja) * 2020-12-03 2022-06-15 京セラ株式会社 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005525142A (ja) * 2001-12-12 2005-08-25 ドイッチェ テレコム アーゲー 移動物体の運転者の居眠り状態を識別する方法と装置
JP2006142934A (ja) * 2004-11-18 2006-06-08 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2010039919A (ja) * 2008-08-07 2010-02-18 Toyota Motor Corp 注意喚起装置
JP2011183050A (ja) * 2010-03-10 2011-09-22 Toyota Motor Corp 運転者診断装置
WO2015145606A1 (ja) * 2014-03-26 2015-10-01 日産自動車株式会社 情報呈示装置及び情報呈示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243398A (ja) * 1993-02-15 1994-09-02 Mitsubishi Electric Corp 車両予防安全装置
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
JP6565859B2 (ja) * 2016-10-14 2019-08-28 トヨタ自動車株式会社 車両制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005525142A (ja) * 2001-12-12 2005-08-25 ドイッチェ テレコム アーゲー 移動物体の運転者の居眠り状態を識別する方法と装置
JP2006142934A (ja) * 2004-11-18 2006-06-08 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2010039919A (ja) * 2008-08-07 2010-02-18 Toyota Motor Corp 注意喚起装置
JP2011183050A (ja) * 2010-03-10 2011-09-22 Toyota Motor Corp 運転者診断装置
WO2015145606A1 (ja) * 2014-03-26 2015-10-01 日産自動車株式会社 情報呈示装置及び情報呈示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112693477A (zh) * 2020-10-09 2021-04-23 深圳技术大学 一种基于视觉力觉味觉融合的车辆自主驾驶系统

Also Published As

Publication number Publication date
DE112017007258T5 (de) 2019-11-28
JP2018149941A (ja) 2018-09-27
CN109689462A (zh) 2019-04-26
US20190248374A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
WO2018168051A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
US9908410B2 (en) Method and device for warning the driver of a motor vehicle in the event of lack of attention
CN110192084B (zh) 自动驾驶辅助装置、方法及程序
WO2018168121A1 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
US20190210586A1 (en) Drive mode switch controller, method, and program
JP2017185946A (ja) 車両の自動運転システム
US20190241197A1 (en) Drive mode switch controller, system, and method
WO2018168049A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2018168019A1 (ja) 運転切り替え判定装置、運転切り替え判定方法及び運転切り替え判定のためのプログラム
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
JP6627810B2 (ja) 運転モード切替制御装置、方法およびプログラム
WO2018168099A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
US20190147264A1 (en) Concentration determination apparatus, concentration determination method, and program for concentration determination
WO2018168050A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2018168046A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2018168048A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP7424327B2 (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
WO2018168047A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2018163536A1 (ja) 運転者身体コンディション回復支援装置、方法およびプログラム
WO2023058494A1 (ja) 車両用制御装置及び車両用制御方法
JP2024026746A (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
JP2023055197A (ja) 車両用制御装置及び車両用制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901220

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17901220

Country of ref document: EP

Kind code of ref document: A1