WO2018168098A1 - 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム - Google Patents

運転者監視装置、運転者監視方法及び運転者監視のためのプログラム Download PDF

Info

Publication number
WO2018168098A1
WO2018168098A1 PCT/JP2017/042562 JP2017042562W WO2018168098A1 WO 2018168098 A1 WO2018168098 A1 WO 2018168098A1 JP 2017042562 W JP2017042562 W JP 2017042562W WO 2018168098 A1 WO2018168098 A1 WO 2018168098A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
request signal
unit
target
Prior art date
Application number
PCT/JP2017/042562
Other languages
English (en)
French (fr)
Inventor
智浩 籔内
相澤　知禎
円香 渡部
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2018168098A1 publication Critical patent/WO2018168098A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • B60K28/14—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to accident or emergency, e.g. deceleration, tilt of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to, for example, a driver monitoring device that monitors a driver of a vehicle, a driver monitoring method, and a program for driver monitoring.
  • the driving mode of the vehicle is the automatic driving mode
  • the driver is required to maintain concentration on driving. Even if the driver does not perform the driving operation, the driver needs to watch the road environment in which the vehicle travels, such as in front of the vehicle. Therefore, there is a demand for a technology that maintains or promotes recognition of the road environment in which the vehicle travels with respect to the driver.
  • the present invention has been made paying attention to the above circumstances, and a driver monitoring device, a driver monitoring method, and a driver monitoring device capable of maintaining or promoting recognition of a road environment in which a vehicle travels for a driver in an automatic driving mode. It is intended to provide a program for driver monitoring.
  • a first aspect of the present invention is an operation mode determination unit that determines whether or not the operation mode of the vehicle is an automatic operation mode, and the operation mode is the automatic operation mode.
  • a target detection unit for detecting a target existing within a predetermined range of the vehicle from a road environment where the vehicle travels, and a request signal for generating a request signal for requesting the driver to output a question regarding the target It is a driver
  • the degree of recognition for detecting the degree of recognition of the driver by the driver based on whether the driver answers the question.
  • a detection unit is provided.
  • the request signal requests the driver to visually recognize the object before outputting the question. Is.
  • an instruction signal output unit that outputs an instruction signal instructing provision of assistance to the driver when the degree of recognition does not satisfy a standard.
  • a speed control signal for stopping the vehicle or reducing the speed of the vehicle is output.
  • a speed control signal output unit is provided.
  • the target detection unit detects a road sign, a road marking, or an electric display panel as the target. It is a thing.
  • an operation mode determination process for determining whether or not a vehicle operation mode is an automatic operation mode, and a road environment in which the vehicle travels when the operation mode is the automatic operation mode.
  • An object detection process for detecting an object existing within a predetermined range of the vehicle, a request signal generation process for generating a request signal for requesting a driver to output a question about the object, and the request signal
  • a driver monitoring method comprising a request signal output process for outputting.
  • 8th aspect of this invention is the program for driver
  • the driver monitoring device can request the output of a question regarding the object detected from the road environment in which the vehicle travels. Thereby, the driver
  • the driver monitoring device can maintain or promote recognition of the road environment in which the vehicle travels for the driver in the automatic driving mode.
  • the driver monitoring device can appropriately detect the degree of recognition of the driver with respect to the road environment by referring to the answer having the intention of the driver.
  • the driver monitoring device can prompt the driver to visually recognize the object before outputting the question.
  • the driver can increase the awareness of paying attention to the road environment in which the vehicle is traveling.
  • the driver monitoring device can recover the driver's concentration by providing assistance to the driver. The driver can recognize that the driver is not in a state suitable for driving the vehicle in the automatic driving mode. Therefore, the driver can pay attention again to the road environment in which the vehicle travels, and can increase the degree of concentration.
  • the driver monitoring device can control the vehicle safely even when the driver cannot pay attention to the road environment.
  • the driver monitoring device can use a road sign, a road sign, or an electric display board that is preferably visually recognized by the driver.
  • the driver can pay attention to an object that is preferably visually recognized in the automatic driving mode.
  • the driver monitoring method can obtain the same effects as those of the first aspect described above. That is, the driver monitoring method can maintain or promote recognition of the road environment in which the vehicle travels for the driver in the automatic driving mode.
  • the driver monitoring program can obtain the same effects as those of the first aspect described above. That is, the driver monitoring program can maintain or promote recognition of the road environment in which the vehicle travels for the driver in the automatic driving mode.
  • FIG. 1 is a diagram illustrating an overall configuration of a vehicle including a driver monitoring apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the driver monitoring apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing a procedure for driver monitoring by the driver monitoring apparatus shown in FIG.
  • FIG. 1 is a diagram showing an overall configuration of a vehicle 1 including a driver monitoring device 2 according to the first embodiment of the present invention.
  • the driver monitoring device 2 is mounted on a vehicle 1 such as a passenger car.
  • the configuration of the driver monitoring device 2 will be described later.
  • the vehicle 1 may be, for example, any one of an automobile, a bus, a truck, a train, and the like, or a vehicle on which a driver (hereinafter also referred to as a driver) other than these rides.
  • the vehicle 1 includes, as basic equipment, a power unit 3 including a power source and a transmission, a steering device 4 equipped with a steering wheel 5, and further includes a manual operation mode and an automatic operation mode as operation modes. .
  • An engine and / or a motor is used as the power source.
  • the manual driving mode is a mode in which the vehicle 1 is driven mainly by a driver's manual driving operation, for example.
  • the manual driving mode for example, an operation mode for driving the vehicle 1 based only on the driving operation of the driver and an operation for performing driving operation support control for supporting the driving operation of the driver while mainly driving the driving operation of the driver. Mode is included.
  • the driving operation support control assists the steering torque so that the driver's steering becomes an appropriate steering amount based on the curvature of the curve when the vehicle 1 is traveling on the curve, for example.
  • the driving operation support control includes control for assisting a driver's accelerator operation (for example, operation of an accelerator pedal) or brake operation (for example, operation of a brake pedal), manual steering (manual operation of steering), and manual speed adjustment (speed). Adjustment manual operation) is also included.
  • a driver's accelerator operation for example, operation of an accelerator pedal
  • brake operation for example, operation of a brake pedal
  • manual steering manual operation of steering
  • speed manual speed adjustment
  • Adjustment manual operation is also included.
  • manual steering the vehicle 1 is steered mainly by the driver's operation of the steering wheel 5.
  • the speed of the vehicle 1 is adjusted mainly by the driver's accelerator operation or brake operation.
  • the driving operation support control does not include control for forcibly intervening in the driving operation of the driver to automatically drive the vehicle 1. That is, in the manual driving mode, the driving operation of the driver is reflected in the driving of the vehicle 1 within a preset allowable range, but the driving of the vehicle 1 is compulsory under certain conditions (for example, lane departure of the vehicle 1). Interventive control is not included.
  • the automatic operation mode is a mode for realizing an operation state in which the vehicle 1 is automatically driven along the road on which the vehicle 1 is traveling, for example.
  • the automatic driving mode includes, for example, a driving state in which the vehicle 1 is automatically driven toward a preset destination without driving by the driver.
  • the automatic driving mode it is not always necessary to automatically control all of the vehicle 1, and the driving state in which the driving operation of the driver is reflected in the traveling of the vehicle 1 within a preset allowable range is also included in the automatic driving mode. That is, the automatic driving mode includes control for forcibly intervening in the traveling of the vehicle 1 under certain conditions, while reflecting the driving operation of the driver in the traveling of the vehicle 1 within a preset allowable range.
  • the vehicle 1 further includes an outside camera 6, a steering sensor 7, an accelerator pedal sensor 8, a brake pedal sensor 9, a GPS receiver 10, a gyro sensor 11, a vehicle speed sensor 12, a navigation device 13, an automatic A driving control device 14, a driver camera 15, an audio output device 16, and a road-vehicle communication device 17 are provided.
  • the outside camera 6 is installed at an arbitrary position of the vehicle 1 so that the outside of the vehicle 1 can be photographed.
  • the vehicle 1 may include a plurality of vehicle exterior cameras that capture different directions.
  • the outside camera 6 continuously captures the road environment in front of the vehicle 1 and in the vicinity of the vehicle 1.
  • the vehicle exterior camera 6 is activated in response to the start of operation of the vehicle 1 and continuously captures the outside of the vehicle 1.
  • the outside camera 6 is an example of a sensor that monitors the outside of the vehicle 1.
  • the vehicle exterior camera 6 outputs the captured image (hereinafter also referred to as vehicle exterior image data) to the driver monitoring device 2 and the automatic operation control device 14.
  • the steering sensor 7 detects a steering angle.
  • the steering sensor 7 outputs the detection result to the automatic driving control device 14.
  • the accelerator pedal sensor 8 detects an operation amount of the accelerator pedal.
  • the accelerator pedal sensor 8 outputs the detection result to the automatic operation control device 14.
  • the brake pedal sensor 9 detects the operation amount of the brake pedal.
  • the brake pedal sensor 9 outputs the detection result to the automatic operation control device 14.
  • the GPS receiver 10 receives current position information of the vehicle 1.
  • the GPS receiver 10 outputs current position information to the navigation device 13 and the automatic driving control device 14.
  • the gyro sensor 11 detects the behavior of the vehicle 1.
  • the gyro sensor 11 outputs the detection result to the automatic operation control device 14.
  • the vehicle speed sensor 12 detects the speed of the vehicle 1.
  • the vehicle speed sensor 12 outputs the detection result to the automatic driving control device 14.
  • the navigation device 13 is an example of a video display device that includes a display 131 and an input unit 132.
  • the display 131 displays an image.
  • the input unit 132 receives input from a driver or the like.
  • the input unit 132 may be a touch panel or a push button.
  • the navigation device 13 stores map information.
  • the navigation device 13 uses the information about the destination input by the driver or the like at the input unit 132, the map information, and the current position information from the GPS receiver 10 to obtain route information from the current position to the destination. Extract.
  • the navigation device 13 displays route information on the display 131.
  • the navigation device 13 can also display information other than route information on the display 131.
  • the navigation device 13 outputs route information to the automatic driving control device 14.
  • the route information described above may include not only information on the route from the current position to the destination, but also information on the road environment from the current position to the destination.
  • the information on the road environment may include information on the speed limit of the road that passes from the current position to the destination.
  • the information on the road environment may include information on installations on the road passing from the current position to the destination.
  • the installation object is, for example, a road sign or an electric light display board, but may be one installed on the road in addition to these.
  • the information of the installed object may include, for example, position information of the installed object and content information of the installed object.
  • the content information of the installation object is, for example, information such as letters, numbers, symbols, and figures drawn on the installation object. Note that the route information may include information other than the above example as information on the road environment.
  • the configuration of the automatic operation control device 14 will be described.
  • the automatic operation control device 14 automatically controls traveling of the vehicle 1 when the operation mode is the automatic operation mode.
  • the automatic driving control device 14 includes an outside image data from the outside camera 6, a detection result from the steering sensor 7, a detection result from the accelerator pedal sensor 8, a detection result from the brake pedal sensor 9, and a GPS receiver 10. Current position information, a detection result from the gyro sensor 11, a detection result from the vehicle speed sensor 12, and route information from the navigation device 13 are acquired.
  • the automatic driving control device 14 automatically controls the traveling of the vehicle 1 based on these information and traffic information acquired by the road-to-vehicle communication device 17 described later.
  • Automatic control includes, for example, automatic steering (automatic steering operation) and automatic speed adjustment (automatic driving of speed).
  • Automatic steering is an operating state in which the steering device 4 is automatically controlled.
  • Automatic steering includes LKAS (Lane Keeping Assist System).
  • the LKAS automatically controls the steering device 4 so that the vehicle 1 does not deviate from the traveling lane even when the driver does not perform the steering operation.
  • the steering operation of the driver may be reflected in the steering of the vehicle 1 within a range (allowable range) in which the vehicle 1 does not deviate from the travel lane even during execution of LKAS.
  • automatic steering is not limited to LKAS.
  • Automatic speed adjustment is an operating state in which the speed of the vehicle 1 is automatically controlled.
  • Automatic speed adjustment includes ACC (Adaptive Cruise Control). For example, when there is no preceding vehicle ahead of the vehicle 1, ACC performs constant speed control that causes the vehicle 1 to travel at a constant speed at a preset speed, and when the preceding vehicle exists ahead of the vehicle 1. Is a follow-up control that adjusts the vehicle speed of the vehicle 1 in accordance with the inter-vehicle distance from the preceding vehicle.
  • the automatic operation control device 14 decelerates the vehicle 1 according to the driver's brake operation (for example, operation of the brake pedal) even when ACC is being executed.
  • the automatic driving control device 14 can operate the driver's accelerator operation (for example, accelerator) up to a preset maximum permissible speed (for example, the maximum speed legally determined on the traveling road) even when ACC is being executed.
  • the vehicle 1 can be accelerated according to the pedal operation.
  • the automatic speed adjustment is not limited to ACC but also includes CC (Cruise Control).
  • the configuration of the driver camera 15 will be described.
  • the driver camera 15 is installed, for example, at a position that is in front of the driver as on a dashboard.
  • the driver camera 15 is an example of a sensor that monitors a driver.
  • the driver camera 15 is activated in response to the start of driving of the vehicle 1 and continuously captures a predetermined range including the driver's face.
  • the driver camera 15 outputs the captured image (hereinafter referred to as driver image data) to the driver monitoring device 2.
  • the audio output device 16 includes a speaker 161.
  • the audio output device 16 outputs various information as audio.
  • the road-to-vehicle communication device 17 is installed on the road and communicates with a roadside device located in the vicinity of the vehicle 1 by radio.
  • the road-vehicle communication device 17 transmits, for example, information related to the vehicle 1 to the roadside machine through road-vehicle communication.
  • the information regarding the vehicle 1 is, for example, position information and speed information, but is not limited thereto.
  • the road-to-vehicle communication device 17 receives various information exemplified below from the roadside machine through road-to-vehicle communication.
  • the road-to-vehicle communication device 17 may receive, for example, information about another vehicle that is close to the vehicle 1 from the roadside machine.
  • the information regarding another vehicle is, for example, position information and speed information, but is not limited thereto.
  • the road-to-vehicle communication device 17 may receive traffic information from a roadside machine, for example.
  • the traffic information includes various kinds of information useful for traveling of the vehicle 1.
  • the traffic information may include, for example, lane regulation information and closed information.
  • the traffic information may include information on an installation located in the vicinity of the roadside machine.
  • the road-vehicle communication device 17 may receive information other than the information described above from the roadside device.
  • the road-to-vehicle communication device 17 outputs information obtained by road-to-vehicle communication as described above to the automatic driving control device 14.
  • the driver monitoring device 2 monitors the degree of recognition of the driver with respect to the road environment.
  • the degree of recognition of the road environment is an indicator of whether the driver has recognized an object that is a part of the road environment.
  • the driver monitoring device 2 may detect the state of the driver from the driver image data and estimate the driver's concentration of driving based on the state of the driver.
  • the state of the driver is not particularly limited, but includes, for example, at least one of the indicators such as the driver's drowsiness and looking aside.
  • the driving concentration degree is a degree suitable for the driver to drive the vehicle 1.
  • the driver monitoring device 2 can determine whether the driver is in a state suitable for driving the vehicle 1 based on the driving concentration degree.
  • FIG. 2 is a block diagram illustrating a configuration of the driver monitoring apparatus 2 as an example.
  • the driver monitoring device 2 includes an input / output interface unit 21, a storage unit 22, and a control unit 23.
  • the input / output interface unit 21 connects, for example, the outside camera 6, the navigation device 13, the automatic operation control device 14, and the audio output device 16 to the control unit 23.
  • the configuration of the storage unit 22 will be described.
  • the storage unit 22 is a non-volatile memory that can be written and read at any time, such as a solid state drive (SSD) and a hard disk drive (HDD).
  • the storage unit 22 includes an outside image data storage unit 221.
  • the vehicle outside image data storage unit 221 stores vehicle outside image data that the control unit 23 acquires from the vehicle outside camera 6.
  • the configuration of the control unit 23 will be described.
  • the control unit 23 includes a processor 231 and a memory 232.
  • the processor 231 is, for example, a CPU (Central Processing Unit) that constitutes a computer.
  • the configuration of each unit included in the processor 231 will be described later.
  • the memory 232 is a volatile memory such as a RAM (Random-Access Memory).
  • the memory 232 includes a program that causes the processor 231 to function as each unit included in the processor 231.
  • the program can also be referred to as an instruction for operating the processor 231.
  • the program is stored in the storage unit 22 and is read from the storage unit 22 to the memory 232.
  • the program in the memory 232 is read by the processor 231.
  • the first embodiment may be realized by a program.
  • the processor 231 includes a driving mode determination unit 2311, a vehicle exterior image data acquisition unit 2312, a target detection unit 2313, a request signal generation unit 2314, a signal output unit 2315, a response signal acquisition unit 2316, and a recognition level detection unit 2317. With. Each unit may be distributed among one or more processors.
  • the driving mode determination unit 2311 determines whether or not the driving mode of the vehicle 1 is an automatic driving mode.
  • the operation mode determination unit 2311 may determine whether or not the operation mode is an automatic operation mode, for example, as follows.
  • the driver monitoring device 2 receives information regarding the operation mode from the automatic operation control device 14 via the input / output interface unit 21 when the operation mode is switched.
  • the operation mode determination unit 2311 determines whether the operation mode is the automatic operation mode based on information from the automatic operation control device 14.
  • the operation mode determination unit 2311 outputs information indicating that the operation mode is the automatic operation mode to the target detection unit 2313.
  • the vehicle image data acquisition unit 2312 acquires vehicle image data from the vehicle camera 6 via the input / output interface unit 21.
  • the vehicle exterior image data acquisition unit 2312 stores the vehicle exterior image data in the vehicle exterior image data storage unit 221.
  • the target detection unit 2313 detects a target (hereinafter also referred to as a visual target) existing within a predetermined range of the vehicle 1 from the road environment in which the vehicle 1 travels.
  • the predetermined range is set to a range visible to the driver, and the target detection unit 2313 detects a target as an object visible to the driver.
  • the target detection unit 2313 detects a visual target located within a predetermined distance in front of the vehicle 1.
  • the visual recognition target is preferably viewed by the driver in the road environment in which the vehicle 1 travels from the viewpoint of safety.
  • the visual recognition target is, for example, the above-described installation object, but may be an object other than this, such as a pedestrian.
  • the target detection unit 2313 may detect the visual recognition target as follows.
  • the object detection unit 2313 recognizes that the operation mode is the automatic operation mode based on the information from the operation mode determination unit 2311.
  • the target detection unit 2313 acquires the outside image data from the outside image data storage unit 221.
  • the target detection unit 2313 detects the visual recognition target from the image data outside the vehicle.
  • the object detection unit 2313 may detect the visual recognition object from the image data outside the vehicle, for example, as follows.
  • the target detection unit 2313 compares a list of visual targets registered in advance with image data outside the vehicle.
  • the list of visual recognition targets may be stored in the storage unit 22.
  • the target detection unit 2313 detects one or more visual targets included in the visual target list from the image data outside the vehicle.
  • the target detection unit 2313 detects the contents of the visual recognition target.
  • the visual recognition target is an installation or road marking
  • the visual recognition content is information such as characters, numbers, symbols, and figures displayed on the installation or road marking, for example.
  • the target detection unit 2313 may detect the content of the visual target with reference to the above-described list of visual targets, for example.
  • the target detection unit 2313 may detect the content of the visual target by image processing, for example.
  • the target detection unit 2313 outputs information indicating that the visual target has been detected and information on the content of the visual target to the request signal generation unit 2314 and the recognition degree detection unit 2317.
  • the request signal generation unit 2314 generates a request signal for requesting the driver to output a question regarding the visual recognition target.
  • the request signal generation unit 2314 generates a request signal based on information from the target detection unit 2313. For example, the request signal generation unit 2314 generates a request signal for asking the driver about the contents of the visual recognition target.
  • the request signal requests processing from the question output device.
  • the question output device When receiving the request signal, the question output device outputs a question to the driver by at least one of display and sound based on the request signal.
  • the question output device is, for example, the navigation device 13 or the voice output device 16, but is not limited thereto.
  • Request signal generation unit 2314 outputs the request signal to request signal output unit 23151.
  • the signal output unit 2315 outputs various signals via the input / output interface unit 21.
  • the signal output unit 2315 includes a request signal output unit 23151, an instruction signal output unit 23152, and a speed control signal output unit 23153.
  • the request signal output unit 23151 outputs a request signal.
  • the request signal output unit 23151 outputs a request signal to at least one of the navigation device 13 and the audio output device 16 via the input / output interface unit 21.
  • the timing at which the request signal output unit 23151 outputs the request signal may be before the vehicle 1 passes through the position of the visual recognition target or after it passes through the position of the visual recognition target.
  • the navigation device 13 displays a question regarding the visual target for the driver on the display 131 as an image or video.
  • the audio output device 16 outputs a question regarding the visual target for the driver from the speaker 161 by voice. For example, if the visual recognition target is a road sign or road marking of a speed limit, the question may relate to the speed limit. For example, if the visual recognition target is an electric display board, the question may relate to the contents of the electric display board.
  • the navigation device 13 receives the driver's answer to the question at the input unit 132 as an answer input unit.
  • the instruction signal output unit 23152 outputs an instruction signal instructing provision of assistance to the driver when the degree of recognition of the road environment by the driver does not satisfy the standard. Whether or not the degree of recognition of the road environment satisfies the standard is determined by the recognition degree detection unit 2317 as will be described later.
  • the instruction signal output unit 23152 outputs, for example, an instruction signal to the support providing apparatus.
  • the assistance providing apparatus performs assistance for the driver.
  • the support providing device is, for example, the navigation device 13 or the audio output device 16.
  • the instruction signal output unit 23152 outputs an instruction signal to at least one of the navigation device 13 and the audio output device 16 via the input / output interface unit 21. Based on the instruction signal, the navigation device 13 displays a warning on the display 131 as an image or video that gives a warning to the driver.
  • the voice output device 16 outputs a warning for giving a warning to the driver from the speaker 161 based on the instruction signal.
  • the warning may be, for example, content that prompts the driver to recognize the road environment, and is not limited to a specific output mode. The driver can recognize from the warning that the driver is not in a state suitable for driving the vehicle 1 in the automatic driving mode. Therefore, the driver can pay attention to the road environment in which the vehicle 1 travels, and can increase the degree of concentration.
  • the instruction signal output unit 23152 may output the instruction signal to a support providing device other than the navigation device 13 and the voice output device 16.
  • the instruction signal output unit 23152 may output an instruction signal to a support providing apparatus that gives an external stimulus such as vibration to the driver.
  • the support for the driver may be any output content that acts on the driver based on the degree of recognition of the road environment. In addition to warnings, alerts, information provision, various support for improving the cognitive state of the road environment Is also included.
  • the speed control signal output unit 23153 outputs a speed control signal for stopping the vehicle 1 or reducing the speed of the vehicle 1 when the degree of recognition of the road environment by the driver does not satisfy the standard.
  • the speed control signal output unit 23153 outputs a speed control signal to the automatic operation control device 14 via the input / output interface unit 21.
  • the automatic operation control device 14 stops the vehicle 1 or reduces the speed of the vehicle 1 based on the speed control signal. Thereby, even if the driver cannot pay attention to the road environment, the driver monitoring device 2 can control the vehicle 1 safely.
  • the response signal acquisition unit 2316 acquires, from the navigation device 13, a response signal including information on the answer input by the driver through the input unit 132 via the input / output interface unit 21.
  • the response signal acquisition unit 2316 outputs the response signal to the recognition level detection unit 2317.
  • the input unit 132 is an example of an answer input unit that receives an input of a driver's answer to a question.
  • the answer input unit may be equipped with a voice recognition device. In that case, the response signal acquisition unit 2316 may acquire a response signal including information on the speech-recognized answer from the answer input unit.
  • the recognition level detection unit 2317 detects the degree of recognition of the road environment based on whether the driver answers the question.
  • the degree-of-recognition detection unit 2317 may detect the degree of recognition of the road environment as follows, for example.
  • the degree-of-recognition detection unit 2317 compares the answer included in the response signal with the content of the visual target detected by the target detection unit 2313, and determines whether the answer is correct.
  • the degree-of-recognition detection unit 2317 calculates the correct answer rate based on the correctness / incorrectness of the answer to each of one or more questions.
  • the degree-of-recognition detection unit 2317 compares the correct answer rate with a reference.
  • the standard is for determining whether or not the driver is aware of the road environment in the automatic driving mode.
  • the reference may be arbitrarily changed.
  • the recognition level detection unit 2317 determines that the degree of recognition of the road environment satisfies the standard.
  • the degree-of-recognition detection unit 2317 determines that the driver's recognition of the road environment is appropriate.
  • the recognition level detection unit 2317 determines that the degree of recognition of the road environment does not satisfy the standard.
  • the degree-of-recognition detection unit 2317 determines that the driver's recognition of the road environment is not appropriate.
  • the recognition degree detection unit 2317 generates at least one of an instruction signal and a speed control signal.
  • the degree-of-recognition detection unit 2317 outputs an instruction signal to the instruction signal output unit 23152.
  • the degree-of-recognition detection unit 2317 outputs a speed control signal to the speed control signal output unit 23153.
  • the recognition level detection unit 2317 may omit the process of determining whether the answer is correct in the following cases, for example.
  • the request signal generation unit 2314 generates a request signal including information on the target content, and the request signal output unit 23151 outputs this request signal.
  • the navigation device 13 compares the answer input by the driver with the input unit 132 with the information on the content of the target included in the request signal, and determines whether the answer is correct or incorrect.
  • the navigation device 13 outputs a response signal including correct / incorrect information of the answer.
  • the degree-of-recognition detection unit 2317 detects the degree of recognition of the road environment based on the correctness / incorrectness information of the answer included in the response signal.
  • FIG. 3 is a flowchart showing a procedure as an example of driver monitoring by the driver monitoring device 2.
  • the operation mode determination unit 2311 determines whether or not the operation mode of the vehicle 1 is an automatic operation mode (step S101).
  • the interval at which the operation mode determination unit 2311 determines the operation mode in step S101 may be an arbitrary interval.
  • the operation mode determination unit 2311 continues monitoring until the operation mode becomes the automatic operation mode.
  • the target detection unit 2313 detects a visual target existing within a predetermined range of the vehicle 1 from the road environment in which the vehicle 1 travels (step S102). In step S102, the target detection unit 2313 detects a visual recognition target from, for example, image data outside the vehicle.
  • the request signal generation unit 2314 generates a request signal for requesting the driver to output a question regarding the visual recognition target (step S103).
  • the request signal output unit 23151 outputs a request signal (step S104).
  • the degree-of-recognition detection unit 2317 detects the degree of recognition of the road environment based on the correctness of the driver's answer to the question (step S105).
  • the recognition level detection unit 2317 compares the degree of recognition with respect to the road environment with a standard. (Step S106). In step S106, the degree-of-recognition detection unit 2317 compares the correct answer rate based on the driver's answer with a reference, for example.
  • step S107 When the degree of recognition with respect to the road environment does not satisfy the standard (No at Step S106), the instruction signal output unit 23152 outputs an instruction signal (Step S107).
  • step S106, Yes the processing of the driver monitoring device 2 may transition from step S106 to step S101.
  • the target detection unit 2313 may detect a road sign, a road sign, or an electric display board as a visual recognition target.
  • the driver monitoring apparatus 2 can use a road sign, a road sign, or an electric display board that is preferably visually recognized by the driver as a visual recognition target. Accordingly, the driver can pay attention to a visual recognition object that is preferably visually recognized in the automatic operation mode.
  • the object detection unit 2313 may use traffic information acquired from the road-vehicle communication device 17 instead of the outside-vehicle image data.
  • the target detection unit 2313 may detect the visual recognition target using traffic information as follows.
  • the object detection unit 2313 acquires traffic information including information on an installation located near the roadside machine from the roadside machine located near the vehicle 1.
  • the object detection unit 2313 detects an installation object to be visually recognized.
  • the target detection unit 2313 refers to the information of the installation object, and acquires the content of the installation object detected as the visual recognition target.
  • the target detection unit 2313 may use route information acquired from the navigation device 13 in place of the image data outside the vehicle.
  • the target detection unit 2313 may detect the visual recognition target using the route information as follows.
  • the target detection unit 2313 compares the information on the installation included in the route information with the current position information acquired from the GPS receiver 10, and extracts information on the installation near the current position of the vehicle 1.
  • the target detection unit 2313 detects an installation located near the current position of the vehicle 1 as a visual recognition target.
  • the target detection unit 2313 refers to the information of the installation object, and acquires the content of the installation object detected as the visual recognition target.
  • the request signal generation unit 2314 may generate a request signal including a request to output a choice of an answer to the question in addition to a request to output a question regarding the visual recognition target.
  • the navigation device 13 displays the answer options together with the question regarding the visual target on the display 131 as an image or video.
  • the audio output device 16 outputs answer options together with the question regarding the visual target from the speaker 161.
  • the navigation device 13 accepts selection of any option by the driver as an answer to the question at the input unit 132.
  • the driver monitoring device 2 can reduce the burden of answers by the driver. Thereby, the driver can answer the question more easily.
  • the request signal generator 2314 may periodically generate a request signal at a predetermined time interval or a predetermined travel distance interval.
  • the request signal output unit 23151 can periodically output the request signal at a predetermined time interval or a predetermined travel distance interval.
  • the request signal generation unit 2314 may generate a request signal with a specific event as a trigger, such as when the target detection unit 2313 detects a predetermined type of road sign.
  • step S104 the request signal output unit 23151 receives the request signal at a point where a change in the road environment is relatively large and the load on the driver's recognition increases, such as when the vehicle 1 is driving near an intersection or turning right or left. May not be generated. That is, the driver monitoring device 2 does not request an output of a question at such a point. Thereby, the load of the answer by the driver is reduced.
  • the request signal output unit 23151 may output a request signal before the vehicle 1 passes through the position to be visually recognized.
  • the driver monitoring device 2 can determine or estimate whether the vehicle 1 is before or after the vehicle 1 passes the position of the visual recognition target as follows.
  • the driver monitoring device 2 monitors whether or not a visual recognition target can be detected for each of a plurality of continuous image data outside the vehicle.
  • the driver monitoring device 2 can determine or estimate that the vehicle 1 is before passing the position of the visual recognition target.
  • the driver monitoring device 2 may determine or estimate that the vehicle 1 has passed the visual recognition position. it can.
  • the driver monitoring device 2 determines or estimates whether the vehicle 1 is before or after passing through the vicinity of the roadside device according to information that the vehicle 1 has passed through the vicinity of the roadside device from the roadside device.
  • the driver monitoring device 2 determines or estimates whether the vehicle 1 passes before or after the vehicle 1 passes through the position of the visual target near the roadside device, depending on whether the vehicle 1 passes before or after the roadside device. Can do.
  • the driver monitoring device 2 detects a visual recognition object using route information acquired from the navigation device 13 will be described.
  • the driver monitoring device 2 compares the position of the visual target detected from the route information with the current position of the vehicle 1.
  • the driver monitoring device 2 can determine or estimate whether the vehicle 1 is before or after the vehicle 1 passes through the position of the visual target, depending on the relationship between the position of the visual target and the current position of the vehicle 1.
  • the navigation device 13 displays a question regarding the visual recognition target for the driver on the display 131 with an image or a video.
  • the voice output device 16 outputs a question regarding the visual recognition target to the driver from the speaker 161 by voice.
  • the driver can confirm the visual recognition target after recognizing the question. As a result, the driver can pay attention to the road environment in which the vehicle 1 travels. Further, the driver can appropriately answer the question, so that an unnecessary warning is not received.
  • the request signal output unit 23151 may output the request signal after passing through the position of the visual recognition target.
  • the driver monitoring device 2 can determine or estimate whether the vehicle 1 is before or after passing the position of the visual recognition target.
  • the navigation device 13 displays a question regarding the visual recognition target for the driver on the display 131 with an image or a video.
  • the voice output device 16 outputs a question regarding the visual recognition target to the driver from the speaker 161 by voice. According to this example, since the driver cannot grasp when the question is made, the driver always pays attention to the road environment in which the vehicle 1 travels.
  • the driver monitoring device 2 may output a speed control signal from the speed control signal output unit 23153 instead of outputting the instruction signal from the instruction signal output unit 23152.
  • the driver monitoring device 2 may output an instruction signal from the instruction signal output unit 23152 and may output a speed control signal from the speed control signal output unit 23153. That is, when the degree of recognition with respect to the road environment does not satisfy the standard, the speed control signal output unit 23153 outputs a speed control signal.
  • driver monitoring device 2 may omit the processes in steps S105 to S107. That is, the driver monitoring device 2 may omit the process of answering the question.
  • the driver monitoring device 2 when the driving mode is the automatic driving mode, the driver monitoring device 2 outputs a question regarding the visual target detected from the road environment in which the vehicle 1 travels. Can be requested. Thereby, the driver
  • the driver monitoring device 2 can maintain or promote recognition of the road environment in which the vehicle 1 travels with respect to the driver in the automatic driving mode.
  • the driver monitoring device 2 can ask the driver about the visual recognition target. Thereby, the driver strengthens the consciousness of inputting an answer to the question. For this reason, the driver is more conscious of paying attention to the road environment in which the vehicle 1 travels.
  • the driver monitoring device 2 can appropriately detect the degree of recognition of the driver with respect to the road environment by referring to the answer having the intention of the driver.
  • the request signal generated by the request signal generator 2314 is different from that of the first embodiment.
  • the request signal generated by the request signal generation unit 2314 requests that the question regarding the visual target be output to the driver, and before the question is output, It also includes requesting the driver to view the vehicle.
  • Request signal generation unit 2314 outputs the request signal to request signal output unit 23151.
  • the request signal output unit 23151 outputs a request signal to at least one of the navigation device 13 and the audio output device 16 via the input / output interface unit 21.
  • the timing at which the request signal output unit 23151 outputs the request signal is before the vehicle 1 passes through the position to be viewed.
  • the navigation device 13 displays an image or video that prompts the driver to visually recognize the visual target on the display 131 before the vehicle 1 passes through the position of the visual target based on the request signal.
  • the timing at which the navigation device 13 displays the question on the display 131 based on the request signal may be before the vehicle 1 passes through the position to be visually recognized, as described in the first embodiment. It may be after the vehicle 1 passes the position of the visual recognition target.
  • the audio output device 16 outputs a sound that prompts the driver to visually recognize the visual target from the speaker 161 before the vehicle 1 passes the position of the visual target.
  • the timing at which the voice output device 16 outputs a question from the speaker 161 based on the request signal may be before the vehicle 1 passes through the position of the visual target, or the vehicle 1 passes through the position of the visual target. It may be later.
  • the driver monitoring device 2 can request that the driver be prompted to visually recognize the visual target before outputting the question.
  • the driver can reinforce awareness of paying attention to the road environment in which the vehicle 1 travels.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine the component covering different embodiment suitably.
  • the above embodiment may be realized by a storage medium such as a ROM (Read Only Memory) that stores a program that causes the processor 231 to function as each unit included in the processor 231.
  • a storage medium such as a ROM (Read Only Memory) that stores a program that causes the processor 231 to function as each unit included in the processor 231.
  • (Appendix 1) Determine whether the driving mode of the vehicle is the automatic driving mode, When the driving mode is the automatic driving mode, an object existing within a predetermined range of the vehicle from a road environment where the vehicle travels is detected, Generating a request signal requesting the driver to output a question regarding the subject;
  • a processor configured to output the request signal;
  • a memory for storing instructions for operating the processor;
  • a driver monitoring device comprising: (Appendix 2) An operation mode determination process for determining whether or not the vehicle operation mode is an automatic operation mode using at least one processor; Using the at least one processor, when the driving mode is the automatic driving mode, an object detection process for detecting an object existing within a predetermined range of the vehicle from a road environment in which the vehicle travels; Using the at least one processor to generate a request signal for requesting the driver to output a question about the subject; A request signal output process for outputting the request signal using the at least one processor;

Abstract

自動運転モードにおいて運転者に対して車両が走行する道路環境の認知を維持又は促進することができる。　運転者監視装置は、車両の運転モードが自動運転モードであるか否かを判断する運転モード判断部と、前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出する対象検出部と、前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成する要求信号生成部と、前記要求信号を出力する要求信号出力部とを備える。

Description

運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
　この発明は、例えば、車両の運転者を監視する運転者監視装置、運転者監視方法及び運転者監視のためのプログラムに関する。
　近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。　
　車両における安全確認すべき位置に指標を提示する技術の開発も進められている（特開２０１５－１８４９７５号公報参照）。
　車両の運転モードが自動運転モードであっても、運転者には運転に対する集中力を保持していることが求められている。運転者は、運転操作をしないとしても、車両の前方など、車両が走行する道路環境を注視する必要がある。そのため、運転者に対して車両が走行する道路環境の認知を維持又は促進する技術が望まれている。
　この発明は、上記事情に着目してなされたもので、自動運転モードにおいて運転者に対して車両が走行する道路環境の認知を維持又は促進することができる運転者監視装置、運転者監視方法及び運転者監視のためのプログラムを提供しようとするものである。
　上記課題を解決するために、この発明の第１の態様は、車両の運転モードが自動運転モードであるか否かを判断する運転モード判断部と、前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出する対象検出部と、前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成する要求信号生成部と、前記要求信号を出力する要求信号出力部とを備える運転者監視装置である。
　この発明の第２の態様は、第１の態様の運転者監視装置において、前記質問に対する前記運転者の回答の正誤に基づいて、前記運転者の前記道路環境に対する認知の度合いを検出する認知度検出部を備えるようにしたものである。
　この発明の第３の態様は、第１の態様の運転者監視装置において、前記要求信号が、前記質問を出力する前に、前記対象の視認を前記運転者に促すことを要求するようにしたものである。
　この発明の第４の態様は、第２の態様の運転者監視装置において、前記認知の度合いが基準を満たさない場合、前記運転者に対する支援の提供を指示する指示信号を出力する指示信号出力部を備えるようにしたものである。
　この発明の第５の態様は、第２の態様の運転者監視装置において、前記認知の度合いが基準を満たさない場合、前記車両を停止または前記車両の速度を低下させるための速度制御信号を出力する速度制御信号出力部を備えるようにしたものである。
　この発明の第６の態様は、第１の態様から第５の態様の何れかの運転者監視装置において、前記対象検出部が道路標識、道路標示または電光表示板を前記対象として検出するようにしたものである。
　この発明の第７の態様は、車両の運転モードが自動運転モードであるか否かを判断する運転モード判断過程と、前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出する対象検出過程と、前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成する要求信号生成過程と、前記要求信号を出力する要求信号出力過程とを備える運転者監視方法である。
　この発明の第８の態様は、第１の態様から第６の態様の何れかの態様の運転者監視装置が備える各部としてコンピュータを機能させる運転者監視のためのプログラムである。
　この発明の第１の態様によれば、運転者監視装置は、運転モードが自動運転モードである場合、車両が走行する道路環境から検出された対象に関する質問の出力を要求することができる。これにより、運転者は、対象に関する質問を認識することができる。運転モードが自動運転モードであっても、運転者は、車両の前方など、車両が走行する道路環境に注意を払い、安全に車両を運転することができる状態を維持することができる。
　すなわち、第１の態様によれば、運転者監視装置は、自動運転モードにおいて運転者に対して車両が走行する道路環境の認知を維持又は促進することができる。
　この発明の第２の態様によれば、運転者監視装置は、運転者の意図を持った回答を参照することで、運転者の道路環境に対する認知の度合いを適切に検出することができる。
　この発明の第３の態様によれば、運転者監視装置は、質問を出力する前に、対象の視認を運転者に促すことができる。これにより、運転者は、車両が走行する道路環境に注意を払う意識を強めることができる。　
　この発明の第４の態様によれば、運転者監視装置は、運転者に対する支援を提供することで、運転者の集中度の回復を図ることができる。運転者は、運転者自身が自動運転モードにおける車両の運転に適した状態ではないことを認識することができる。そのため、運転者は、車両が走行する道路環境に注意を払い直し、集中度を高めることができる。
　この発明の第５の態様によれば、運転者が道路環境に注意を払うことができない状態であっても、運転者監視装置は、車両を安全に制御することができる。
　この発明の第６の態様によれば、運転者監視装置は、運転者によって視認されることが好ましい道路標識、道路標示または電光表示板を対象として用いることができる。これにより、運転者は、自動運転モードにおいて視認することが好ましい対象に注意を払うことができる。
　この発明の第７の態様によれば、運転者監視方法は、上述の第１の態様と同様の効果を得ることができる。すなわち、運転者監視方法は、自動運転モードにおいて運転者に対して車両が走行する道路環境の認知を維持又は促進することができる。
　この発明の第８の態様によれば、運転者監視のためのプログラムは、上述の第１の態様と同様の効果を得ることができる。すなわち、運転者監視のためのプログラムは、自動運転モードにおいて運転者に対して車両が走行する道路環境の認知を維持又は促進することができる。
図１は、本発明の第１の実施形態に係る運転者監視装置を備える車両の全体構成を示す図である。 図２は、本発明の第１の実施形態に係る運転者監視装置の構成を示すブロック図である。 図３は、図２に示す運転者監視装置による運転者監視の手順を示すフローチャートである。
　以下、図面を参照してこの発明に係るいくつかの実施形態について説明する。　
　［第１の実施形態］　
　（構成）　
　図１は、この発明の第１の実施形態に係る運転者監視装置２を備えた車両１の全体構成を示す図である。運転者監視装置２は、乗用車等の車両１に搭載される。運転者監視装置２の構成については後述する。車両１は、例えば、自動車、バス、トラック及び電車等のうちの何れかであっても、これら以外の運転者（以下、ドライバとも称する）が乗る乗り物であってもよい。
　車両１は、基本設備として、動力源及び変速装置を含むパワーユニット３と、ステアリングホイール５が装備された操舵装置４とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。
　手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両１を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。
　運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）及び手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール５の操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作またはブレーキ操作を主体として車両１の速度調整を行う。
　なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両１を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両１の走行に反映させるが、一定条件（例えば車両１の車線逸脱等）の下で車両１の走行に強制的に介入する制御は含まれない。
　一方、自動運転モードは、例えば、車両１の走行する道路に沿って自動で車両１を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両１を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両１の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両１の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両１の走行に反映させるが、一定条件の下で車両１の走行に強制的に介入する制御が含まれる。
　車両１は、さらに、車外カメラ６と、ステアリングセンサ７と、アクセルペダルセンサ８と、ブレーキペダルセンサ９と、ＧＰＳ受信機１０と、ジャイロセンサ１１と、車速センサ１２と、ナビゲーション装置１３と、自動運転制御装置１４と、ドライバカメラ１５と、音声出力装置１６と、路車間通信装置１７とを備える。
　車外カメラ６は、車両１の外部を撮影することができるように、車両１の任意の位置に設置されている。なお、図１には１つの車外カメラ６を示しているが、車両１は、異なる方向を撮影する複数の車外カメラを備えていてもよい。車外カメラ６は、車両１の前方かつ車両１の近傍の道路環境を連続的に撮影する。車外カメラ６は、車両１の運転開始に応答して起動し、車両１の外部を連続的に撮影する。車外カメラ６は、車両１の外部を監視するセンサの一例である。車外カメラ６は、撮影した画像（以下、車外画像データとも称する）を運転者監視装置２及び自動運転制御装置１４へ出力する。
　ステアリングセンサ７は、操舵角を検出する。ステアリングセンサ７は、検出結果を自動運転制御装置１４へ出力する。　
　アクセルペダルセンサ８は、アクセルペダルの操作量を検出する。アクセルペダルセンサ８は、検出結果を自動運転制御装置１４へ出力する。　
　ブレーキペダルセンサ９は、ブレーキペダルの操作量を検出する。ブレーキペダルセンサ９は、検出結果を自動運転制御装置１４へ出力する。　
　ＧＰＳ受信機１０は、車両１の現在位置情報を受信する。ＧＰＳ受信機１０は、現在位置情報を、ナビゲーション装置１３及び自動運転制御装置１４へ出力する。　
　ジャイロセンサ１１は、車両１の挙動を検出する。ジャイロセンサ１１は、検出結果を自動運転制御装置１４へ出力する。　
　車速センサ１２は、車両１の速度を検出する。車速センサ１２は、検出結果を自動運転制御装置１４へ出力する。
　ナビゲーション装置１３は、ディスプレイ１３１と、入力部１３２とを備える映像表示装置の一例である。　
　ディスプレイ１３１は、映像を表示する。　
　入力部１３２は、運転者等による入力を受け付ける。入力部１３２は、タッチパネルであっても、押下式のボタンであってもよい。
　ナビゲーション装置１３は、地図情報を記憶している。ナビゲーション装置１３は、運転者等によって入力部１３２で入力される目的地に関する情報と、地図情報と、ＧＰＳ受信機１０からの現在位置情報とを用いて、現在位置から目的地までの経路情報を抽出する。ナビゲーション装置１３は、経路情報をディスプレイ１３１に表示する。ナビゲーション装置１３は、経路情報以外の情報をディスプレイ１３１に表示することもできる。　
　ナビゲーション装置１３は、経路情報を自動運転制御装置１４へ出力する。
　上述の経路情報は、現在位置から目的地までの道順の情報だけでなく、現在位置から目的地までの道路環境に関する情報を含んでいてもよい。　
　道路環境に関する情報は、現在位置から目的地までに通過する道路の制限速度の情報を含んでいてもよい。　
　道路環境に関する情報は、現在位置から目的地までに通過する道路上の設置物の情報を含んでいてもよい。設置物は、例えば、道路標識及び電光表示板などであるが、これら以外に道路に設置されているものであってもよい。設置物の情報は、例えば、設置物の位置情報及び設置物の内容情報を含んでいてもよい。設置物の内容情報は、例えば、設置物に描かれている文字、数字、記号及び図形などの情報である。　
　なお、経路情報は、道路環境に関する情報として、上述の例以外の情報を含んでいてもよい。
　自動運転制御装置１４の構成について説明する。　
　自動運転制御装置１４は、運転モードが自動運転モードである場合に車両１の走行を自動制御する。　
　自動運転制御装置１４は、車外カメラ６からの車外画像データと、ステアリングセンサ７からの検出結果と、アクセルペダルセンサ８からの検出結果と、ブレーキペダルセンサ９からの検出結果と、ＧＰＳ受信機１０からの現在位置情報と、ジャイロセンサ１１からの検出結果と、車速センサ１２からの検出結果と、ナビゲーション装置１３からの経路情報とを取得する。自動運転制御装置１４は、例えば、これらの情報と、後述する路車間通信装置１７により取得される交通情報とを基にして、車両１の走行を自動制御する。
　自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置４を自動で制御する運転状態である。自動操舵にはＬＫＡＳ（Lane Keeping Assist System）が含まれる。ＬＫＡＳは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置４を制御する。なお、ＬＫＡＳの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両１の操舵に反映してもよい。なお、自動操舵はＬＫＡＳに限らない。
　自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置１４は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置１４は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両１を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。
　ドライバカメラ１５の構成について説明する。　
　ドライバカメラ１５は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。ドライバカメラ１５は、運転者を監視するセンサの一例である。ドライバカメラ１５は、車両１の運転開始に応答して起動し、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ１５は、撮影した画像（以下、運転者画像データという）を運転者監視装置２へ出力する。
　音声出力装置１６は、スピーカ１６１を備える。音声出力装置１６は、種々の情報を音声で出力する。
　路車間通信装置１７は、道路に設置され、車両１の近傍に位置する路側機と無線で通信する。路車間通信装置１７は、路車間通信により、例えば、車両１に関する情報を路側機へ送信する。車両１に関する情報は、例えば、位置情報及び速度情報などであるが、これらに限定されるものではない。他方、路車間通信装置１７は、路車間通信により、以下で例示する種々の情報を路側機から受信する。路車間通信装置１７は、例えば、車両１に近接している別の車両に関する情報を路側機から受信してもよい。別の車両に関する情報は、例えば、位置情報及び速度情報などであるが、これらに限定されるものではない。路車間通信装置１７は、例えば、交通情報を路側機から受信してもよい。交通情報は、車両１の走行に有益な種々の情報を含んでいる。交通情報は、例えば、車線規制の情報及び通行止めの情報を含んでいてもよい。交通情報は、路側機の近傍に位置する設置物の情報を含んでいてもよい。路車間通信装置１７は、上述の情報以外の情報を路側機から受信してもよい。　
　路車間通信装置１７は、上述のように路車間通信で得られる情報を、自動運転制御装置１４へ出力する。
　上述の運転者監視装置２の構成について説明する。　
　運転者監視装置２は、運転者の道路環境に対する認知の度合いを監視する。道路環境に対する認知の度合いは、具体的には、運転者が道路環境の一部である対象を認知したかの指標である。　
　なお、運転者監視装置２は、運転者画像データから運転者の状態を検出し、運転者の状態に基づいて運転者の運転集中度を推定してもよい。運転者の状態は、特に限定されないが、例えば、運転者の眠気及び脇見などの指標のうちの少なくとも何れか１つの指標を含む。運転集中度は、運転者が車両１の運転に適した度合いである。運転者監視装置２は、運転集中度に基づいて、運転者が車両１の運転に適した状態か否かを判定することができる。
　図２は、一例となる運転者監視装置２の構成を示すブロック図である。　
　運転者監視装置２は、入出力インタフェースユニット２１と、記憶ユニット２２と、制御ユニット２３とを備える。
　入出力インタフェースユニット２１は、例えば、車外カメラ６、ナビゲーション装置１３、自動運転制御装置１４及び音声出力装置１６それぞれを、制御ユニット２３と接続する。
　記憶ユニット２２の構成について説明する。　
　記憶ユニット２２は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込み及び読み出しが可能な不揮発性メモリである。記憶ユニット２２は、車外画像データ記憶部２２１を備える。　
　車外画像データ記憶部２２１は、制御ユニット２３が車外カメラ６から取得する車外画像データを記憶する。
　制御ユニット２３の構成について説明する。　
　制御ユニット２３は、プロセッサ２３１と、メモリ２３２とを備える。　
　プロセッサ２３１は、例えば、コンピュータを構成するＣＰＵ（Central Processing Unit）である。プロセッサ２３１が備える各部の構成については後述する。なお、図２には１つのプロセッサ２３１を示しているが、制御ユニット２３は、１以上のプロセッサを備えていてもよい。　
　メモリ２３２は、例えば、ＲＡＭ（Random-Access Memory）等の揮発性メモリである。メモリ２３２は、プロセッサ２３１が備える各部としてプロセッサ２３１を機能させるプログラムを備える。プログラムは、プロセッサ２３１を動作させる命令ということもできる。プログラムは、記憶ユニット２２に記憶されており、記憶ユニット２２からメモリ２３２に読み出される。メモリ２３２のプログラムは、プロセッサ２３１によって読み出される。第１の実施形態は、プログラムによって実現されてもよい。
　プロセッサ２３１が備える各部の構成について説明する。　
　プロセッサ２３１は、運転モード判断部２３１１と、車外画像データ取得部２３１２と、対象検出部２３１３と、要求信号生成部２３１４と、信号出力部２３１５と、応答信号取得部２３１６と、認知度検出部２３１７とを備える。なお、各部は、１以上のプロセッサに分散されていてもよい。
　運転モード判断部２３１１は、車両１の運転モードが自動運転モードであるか否かを判断する。運転モード判断部２３１１は、例えば、以下のように、運転モードが自動運転モードであるか否かを判断してもよい。運転者監視装置２は、運転モードが切り替わる際に、入出力インタフェースユニット２１を介して、自動運転制御装置１４から運転モードに関する情報を受信する。運転モード判断部２３１１は、自動運転制御装置１４からの情報に基づいて、運転モードが自動運転モードか否かを判断する。　
　運転モード判断部２３１１は、運転モードが自動運転モードである旨の情報を対象検出部２３１３へ出力する。
　車外画像データ取得部２３１２は、入出力インタフェースユニット２１を介して、車外カメラ６から車外画像データを取得する。車外画像データ取得部２３１２は、車外画像データを車外画像データ記憶部２２１に記憶させる。
　対象検出部２３１３は、運転モードが自動運転モードである場合、車両１が走行する道路環境から、車両１の所定範囲以内に存在する対象（以下、視認対象とも称する）を検出する。所定範囲は運転者が視認可能な範囲に設定され、対象検出部２３１３は運転者が視認可能な物体としての対象を検出する。対象検出部２３１３は、例えば、車両１の前方の所定距離以内に位置する視認対象を検出する。視認対象は、運転モードが自動運転モードであっても、安全性の観点から、車両１が走行する道路環境において運転者が視認することが好ましいものである。視認対象は、例えば、上述の設置物であるが、歩行者等、これ以外の物体であってもよい。対象検出部２３１３は、例えば、以下のように、視認対象を検出してもよい。対象検出部２３１３は、運転モード判断部２３１１からの情報に基づいて、運転モードが自動運転モードであることを認識する。対象検出部２３１３は、車外画像データ記憶部２２１から車外画像データを取得する。対象検出部２３１３は、車外画像データから視認対象を検出する。
　対象検出部２３１３は、例えば、以下のように、車外画像データから視認対象を検出してもよい。対象検出部２３１３は、予め登録された視認対象のリストと車外画像データとを比較する。視認対象のリストは、記憶ユニット２２に記憶されていてもよい。対象検出部２３１３は、車外画像データから、視認対象のリストに含まれる１以上の視認対象を検出する。
　さらに、対象検出部２３１３は、視認対象の内容を検出する。視認対象が設置物または道路標示であれば、視認内容は、例えば、設置物または道路標示に表示されている文字、数字、記号及び図形などの情報である。道路標識または道路標示のように表示内容が変わらない場合には、対象検出部２３１３は、例えば、上述の視認対象のリストを参照して、視認対象の内容を検出してもよい。電光表示板のように表示内容が変わる場合には、対象検出部２３１３は、例えば、画像処理により視認対象の内容を検出してもよい。
　対象検出部２３１３は、視認対象を検出した旨の情報及び視認対象の内容の情報を、要求信号生成部２３１４及び認知度検出部２３１７へ出力する。
　要求信号生成部２３１４は、視認対象に関する質問を運転者に対して出力することを要求する要求信号を生成する。要求信号生成部２３１４は、対象検出部２３１３からの情報に基づいて、要求信号を生成する。要求信号生成部２３１４は、例えば、視認対象の内容を運転者に質問する要求信号を生成する。要求信号は、質問出力装置へ処理を要求する。質問出力装置は、要求信号を受信すると、要求信号に基づいて、表示及び音声の少なくともいずれか一方により運転者に質問を出力する。質問出力装置は、例えば、ナビゲーション装置１３又は音声出力装置１６であるが、これらに限定はされない。
　要求信号生成部２３１４は、要求信号を要求信号出力部２３１５１へ出力する。
　信号出力部２３１５は、入出力インタフェースユニット２１を介して、種々の信号を出力する。　
　信号出力部２３１５は、要求信号出力部２３１５１と、指示信号出力部２３１５２と、速度制御信号出力部２３１５３とを備える。
　要求信号出力部２３１５１は、要求信号を出力する。要求信号出力部２３１５１は、入出力インタフェースユニット２１を介して、ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか一方へ要求信号を出力する。要求信号出力部２３１５１が要求信号を出力するタイミングは、車両１が視認対象の位置を通過する前であっても、視認対象の位置を通過した後であってもよい。ナビゲーション装置１３は、要求信号に基づいて、運転者に対する視認対象に関する質問を画像又は映像でディスプレイ１３１に表示する。音声出力装置１６は、要求信号に基づいて、運転者に対する視認対象に関する質問を音声でスピーカ１６１から出力する。例えば、視認対象が制限速度の道路標識または道路標示であれば、質問は、制限速度に関するものであってもよい。例えば、視認対象が電光表示板であれば、質問は、電光表示板の内容に関するものであってもよい。ナビゲーション装置１３は、質問に対する運転者の回答を回答入力部としての入力部１３２で受け付ける。
　指示信号出力部２３１５２は、運転者による道路環境に対する認知の度合いが基準を満たさない場合、運転者に対する支援の提供を指示する指示信号を出力する。道路環境に対する認知の度合いが基準を満たすか否かは、後述するように、認知度検出部２３１７によって判断される。指示信号出力部２３１５２は、例えば、指示信号を支援提供装置へ出力する。支援提供装置は、指示信号出力部２３１５２から指示信号を受信すると、運転者に対して支援を実行する。支援提供装置は、例えば、ナビゲーション装置１３又は音声出力装置１６である。
　指示信号出力部２３１５２は、入出力インタフェースユニット２１を介して、ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか一方へ指示信号を出力する。ナビゲーション装置１３は、指示信号に基づいて、運転者へ注意を与える警告を画像または映像でディスプレイ１３１に表示する。音声出力装置１６は、指示信号に基づいて、運転者へ注意を与える警告を音声でスピーカ１６１から出力する。警告は、例えば、道路環境の認知を運転者へ促す内容であればよく、特定の出力態様に限定されるものではない。運転者は、警告により、運転者自身が自動運転モードにおける車両１の運転に適した状態ではないことを認識することができる。そのため、運転者は、車両１が走行する道路環境に注意を払い直し、集中度を高めることができる。なお、指示信号出力部２３１５２は、指示信号をナビゲーション装置１３及び音声出力装置１６以外の支援提供装置へ出力してもよい。指示信号出力部２３１５２は、例えば、運転者に振動などの外部刺激を与える支援提供装置へ指示信号を出力してもよい。運転者に対する支援とは、道路環境に対する認知の度合いに基づいて運転者に作用する出力内容であればよく、警告や注意喚起、情報提供の他、道路環境に対する認知状態の改善を促す種々の支援も含まれる。
　速度制御信号出力部２３１５３は、運転者による道路環境に対する認知の度合いが基準を満たさない場合、車両１を停止または車両１の速度を低下させるための速度制御信号を出力する。速度制御信号出力部２３１５３は、入出力インタフェースユニット２１を介して、自動運転制御装置１４へ速度制御信号を出力する。自動運転制御装置１４は、速度制御信号に基づいて、車両１を停止、または、車両１の速度を低下させる。これにより、運転者が道路環境に注意を払うことができない状態であっても、運転者監視装置２は、車両１を安全に制御することができる。
　応答信号取得部２３１６は、入出力インタフェースユニット２１を介して、運転者が入力部１３２で入力した回答の情報を含む応答信号をナビゲーション装置１３から取得する。応答信号取得部２３１６は、応答信号を認知度検出部２３１７へ出力する。　
　入力部１３２は、質問に対する運転者の回答の入力を受け付ける回答入力部の一例である。回答入力部は、音声認識装置を搭載していてもよい。その場合、応答信号取得部２３１６は、音声認識された回答の情報を含む応答信号を回答入力部から取得してもよい。
　認知度検出部２３１７は、質問に対する運転者の回答の正誤に基づいて、道路環境に対する認知の度合いを検出する。認知度検出部２３１７は、例えば、以下のように、道路環境に対する認知の度合いを検出してもよい。認知度検出部２３１７は、応答信号に含まれる回答と、対象検出部２３１３で検出される視認対象の内容とを比較し、回答の正誤を判断する。認知度検出部２３１７は、１以上の質問それぞれに対する回答の正誤に基づいて、正答率を算出する。認知度検出部２３１７は、正答率と、基準とを比較する。基準は、自動運転モードにおける運転者の道路環境に対する認知の適否を判断するためのものである。基準は、任意に変更可能であってもよい。正答率が基準以上である場合、認知度検出部２３１７は、道路環境に対する認知の度合いが基準を満たすと判断する。認知度検出部２３１７は、運転者の道路環境に対する認知が適切であると判断する。
　他方、正答率が基準よりも低い場合、認知度検出部２３１７は、道路環境に対する認知の度合いが基準を満たさないと判断する。認知度検出部２３１７は、運転者の道路環境に対する認知が適切ではないと判断する。この場合、認知度検出部２３１７は、指示信号及び速度制御信号の少なくとも何れか一方を生成する。認知度検出部２３１７は、指示信号を指示信号出力部２３１５２へ出力する。認知度検出部２３１７は、速度制御信号を速度制御信号出力部２３１５３へ出力する。
　なお、認知度検出部２３１７は、例えば、以下のような場合には、回答の正誤を判断する処理を省略してもよい。要求信号生成部２３１４は、対象の内容の情報を含む要求信号を生成し、要求信号出力部２３１５１は、この要求信号を出力する。ナビゲーション装置１３は、運転者が入力部１３２で入力した回答と要求信号に含まれている対象の内容の情報とを比較し、回答の正誤を判断する。ナビゲーション装置１３は、回答の正誤の情報を含む応答信号を出力する。認知度検出部２３１７は、応答信号に含まれている回答の正誤の情報に基づいて、道路環境に対する認知の度合いを検出する。
　（動作）　
　次に、以上のように構成されている運転者監視装置２の動作を説明する。図３は、運転者監視装置２による運転者監視の一例となる手順を示すフローチャートである。
　運転モード判断部２３１１は、車両１の運転モードが自動運転モードであるか否かを判断する（ステップＳ１０１）。ステップＳ１０１において運転モード判断部２３１１が運転モードを判断する間隔は、任意の間隔でよい。運転モードが自動運転モードでない場合（ステップＳ１０１、Ｎｏ）、運転モード判断部２３１１は、運転モードが自動運転モードになるまで監視を継続する。
　運転モードが自動運転モードである場合（ステップＳ１０１、Ｙｅｓ）、対象検出部２３１３は、車両１が走行する道路環境から車両１の所定範囲以内に存在する視認対象を検出する（ステップＳ１０２）。ステップＳ１０２では、対象検出部２３１３は、例えば、車外画像データから視認対象を検出する。
　要求信号生成部２３１４は、視認対象に関する質問を運転者に対して出力することを要求する要求信号を生成する（ステップＳ１０３）。　
　要求信号出力部２３１５１は、要求信号を出力する（ステップＳ１０４）。　
　認知度検出部２３１７は、質問に対する運転者の回答の正誤に基づいて、道路環境に対する認知の度合いを検出する（ステップＳ１０５）。
　認知度検出部２３１７は、道路環境に対する認知の度合いと基準とを比較する。（ステップＳ１０６）。ステップＳ１０６では、認知度検出部２３１７は、例えば、運転者の回答に基づく正答率と基準とを比較する。
　道路環境に対する認知の度合いが基準を満たさない場合（ステップＳ１０６、Ｎｏ）、指示信号出力部２３１５２は、指示信号を出力する（ステップＳ１０７）。道路環境に対する認知の度合いが基準を満たす場合（ステップＳ１０６、Ｙｅｓ）、運転者監視装置２の処理は、ステップＳ１０６からステップＳ１０１へ遷移してもよい。
　なお、ステップＳ１０２において、対象検出部２３１３は、道路標識、道路標示または電光表示板を視認対象として検出するようにしてもよい。この例によれば、運転者監視装置２は、運転者によって視認されることが好ましい道路標識、道路標示または電光表示板を視認対象として用いることができる。これにより、運転者は、自動運転モードにおいて視認することが好ましい視認対象に注意を払うことができる。
　なお、ステップＳ１０２において、対象検出部２３１３は、車外画像データに代えて、路車間通信装置１７から取得される交通情報を用いてもよい。対象検出部２３１３は、例えば、以下のように、交通情報を用いて視認対象を検出してもよい。対象検出部２３１３は、車両１の近傍に位置する路側機から、この路側機の近傍に位置する設置物の情報を含む交通情報を取得する。対象検出部２３１３は、視認対象となる設置物を検出する。対象検出部２３１３は、設置物の情報を参照して、視認対象として検出された設置物の内容を取得する。
　なお、ステップＳ１０２において、対象検出部２３１３は、車外画像データに代えて、ナビゲーション装置１３から取得される経路情報を用いてもよい。対象検出部２３１３は、例えば、以下のように、経路情報を用いて視認対象を検出してもよい。対象検出部２３１３は、経路情報に含まれる設置物の情報とＧＰＳ受信機１０から取得される現在位置情報とを比較し、車両１の現在位置の近傍の設置物の情報を抽出する。対象検出部２３１３は、車両１の現在位置の近傍に位置する設置物を視認対象として検出する。対象検出部２３１３は、設置物の情報を参照して、視認対象として検出された設置物の内容を取得する。
　なお、ステップＳ１０３において、要求信号生成部２３１４は、視認対象に関する質問を出力することの要求に加えて、質問に対する回答の選択肢を出力することの要求を含む要求信号を生成してもよい。ナビゲーション装置１３は、要求信号に基づいて、視認対象に関する質問と共に回答の選択肢を画像又は映像でディスプレイ１３１に表示する。同様に、音声出力装置１６は、要求信号に基づいて、視認対象に関する質問と共に回答の選択肢を音声でスピーカ１６１から出力する。ナビゲーション装置１３は、質問に対する回答として、運転者による何れかの選択肢の選択を入力部１３２で受け付ける。このように、運転者監視装置２は、運転者による回答の負担の軽減を図ることができる。これにより、運転者は、より簡易に質問に対して回答することができる。
　なお、ステップＳ１０３において、要求信号生成部２３１４は、所定時間間隔または所定走行距離間隔で定期的に要求信号を生成するようにしてもよい。この場合、ステップＳ１０４において、要求信号出力部２３１５１は、所定時間間隔または所定走行距離間隔で定期的に要求信号を出力することができる。
　なお、ステップＳ１０３において、要求信号生成部２３１４は、対象検出部２３１３が所定の種類の道路標識を検出したとき等、特定のイベントをトリガ―として要求信号を生成するようにしてもよい。
　なお、ステップＳ１０４において、車両１による交差点付近の走行中または右左折中等、道路環境の変化が比較的大きく、運転者の認知に対する負荷が増加する地点においては、要求信号出力部２３１５１は、要求信号を生成しなくてもよい。つまり、運転者監視装置２は、このような地点においては質問の出力を要求しない。これにより、運転者による回答の負荷は、軽減される。
　なお、ステップＳ１０４において、要求信号出力部２３１５１は、車両１が視認対象の位置を通過する前に要求信号を出力してもよい。運転者監視装置２は、例えば、以下のように、車両１が視認対象の位置を通過する前か後かを判断または推定することができる。
　はじめに、運転者監視装置２が車外画像データを用いて視認対象を検出する場合について説明する。運転者監視装置２は、連続的な複数の車外画像データそれぞれについて、視認対象を検出できるか否かを監視する。運転者監視装置２が視認対象を検出することができる場合、運転者監視装置２は、車両１が視認対象の位置を通過する前であると判断または推定することができる。他方、運転者監視装置２が視認対象の検出状態から不検出状態への遷移を検出した場合、運転者監視装置２は、車両１が視認位置を通過した後であると判断または推定することができる。
　次に、運転者監視装置２が路車間通信装置１７から取得される交通情報を用いて視認対象を検出する場合について説明する。運転者監視装置２は、路側機から、この路側機の近傍を車両１が通過したことの情報に応じて、車両１が路側機の近傍を通過する前か後かを判断または推定する。運転者監視装置２は、車両１が路側機の近傍を通過する前か後かに応じて、路側機の近傍の視認対象の位置を車両１が通過する前か後かを判断または推定することができる。
　次に、運転者監視装置２がナビゲーション装置１３から取得される経路情報を用いて視認対象を検出する場合について説明する。運転者監視装置２は、経路情報から検出される視認対象の位置と車両１の現在位置とを比較する。運転者監視装置２は、視認対象の位置と車両１の現在位置との関係に応じて、車両１が視認対象の位置を通過する前か後かを判断または推定することができる。
　この例では、車両１が視認対象の位置を通過する前に、ナビゲーション装置１３は、運転者に対する視認対象に関する質問を画像または映像でディスプレイ１３１に表示する。同様に、車両１が視認対象の位置を通過する前に、音声出力装置１６は、運転者に対する視認対象に関する質問を音声でスピーカ１６１から出力する。この例によれば、運転者は、質問を認識した上で、視認対象を確認することができる。これにより、運転者は、車両１が走行する道路環境に注意を払うことができる。さらに、運転者は、適切に質問に対して回答することができるので、不必要な警告を受けることがなくなる。
　なお、ステップＳ１０４において、要求信号出力部２３１５１は、視認対象の位置を通過した後に要求信号を出力してもよい。運転者監視装置２は、上述のように、車両１が視認対象の位置を通過する前か後かを判断または推定することができる。この場合、車両１が視認対象の位置を通過した後に、ナビゲーション装置１３は、運転者に対する視認対象に関する質問を画像または映像でディスプレイ１３１に表示する。同様に、車両１が視認対象の位置を通過した後に、音声出力装置１６は、運転者に対する視認対象に関する質問を音声でスピーカ１６１から出力する。この例によれば、運転者は、質問がいつ出されるのかを把握できないため、常に車両１が走行する道路環境に注意を払うようになる。
　なお、ステップＳ１０７において、運転者監視装置２は、指示信号出力部２３１５２から指示信号を出力することに代えて、速度制御信号出力部２３１５３から速度制御信号を出力するようにしてもよい。運転者監視装置２は、指示信号出力部２３１５２から指示信号を出力すると共に、速度制御信号出力部２３１５３から速度制御信号を出力するようにしてもよい。つまり、道路環境に対する認知の度合いが基準を満たさない場合、速度制御信号出力部２３１５３は、速度制御信号を出力する。
　なお、運転者監視装置２は、ステップＳ１０５～ステップＳ１０７の処理を省略してもよい。つまり、運転者監視装置２は、質問に対する回答の処理を省略してもよい。
　（効果）
　以上詳述したようにこの発明の第１の実施形態では、運転者監視装置２は、運転モードが自動運転モードである場合、車両１が走行する道路環境から検出された視認対象に関する質問の出力を要求することができる。これにより、運転者は、視認対象に関する質問を認識することができる。運転モードが自動運転モードであっても、運転者は、車両１の前方など、車両１が走行する道路環境に注意を払い、安全に車両１を運転することができる状態を維持することができる。
　よって、第１の実施形態によれば、運転者監視装置２は、自動運転モードにおいて運転者に対して車両１が走行する道路環境の認知を維持または促進することができる。
　さらに、運転者監視装置２は、視認対象に関して運転者に質問することができる。これにより、運転者は、質問に対して回答を入力する意識を強める。そのため、運転者は、車両１が走行する道路環境に注意を払う意識を強める。
　さらに、運転者監視装置２は、運転者の意図を持った回答を参照することで、運転者の道路環境に対する認知の度合いを適切に検出することができる。
　［第２の実施形態］　
　第２の実施形態では、要求信号生成部２３１４で生成される要求信号が第１の実施形態とは異なる。第２の実施形態では、要求信号生成部２３１４が生成する要求信号は、視認対象に関する質問を運転者に対して出力することを要求することに加えて、質問を出力する前に、視認対象の視認を運転者に促すことを要求することも含む。
　要求信号生成部２３１４は、要求信号を要求信号出力部２３１５１へ出力する。　
　要求信号出力部２３１５１は、入出力インタフェースユニット２１を介して、ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか一方へ要求信号を出力する。要求信号出力部２３１５１が要求信号を出力するタイミングは、車両１が視認対象の位置を通過する前である。
　ナビゲーション装置１３は、要求信号に基づいて、車両１が視認対象の位置を通過する前に、視認対象の視認を運転者に促す画像または映像をディスプレイ１３１に表示する。なお、ナビゲーション装置１３が要求信号に基づいて質問をディスプレイ１３１に表示するタイミングは、第１の実施形態で説明したように、車両１が視認対象の位置を通過する前であってもいいし、車両１が視認対象の位置を通過した後であってもよい。同様に、音声出力装置１６は、要求信号に基づいて、車両１が視認対象の位置を通過する前に、視認対象の視認を運転者に促す音声をスピーカ１６１から出力する。なお、音声出力装置１６が要求信号に基づいて質問をスピーカ１６１から出力するタイミングは、車両１が視認対象の位置を通過する前であってもいいし、車両１が視認対象の位置を通過した後であってもよい。
　第２の実施形態によれば、運転者監視装置２は、質問を出力する前に、視認対象の視認を運転者に促すことを要求することができる。これにより、運転者は、車両１が走行する道路環境に注意を払う意識を強めることができる。
　［他の実施形態］　
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
　また、上記実施形態は、プロセッサ２３１が備える各部としてプロセッサ２３１を機能させるプログラムを記憶するＲＯＭ（Read Only Memory）等の記憶媒体によって実現されてもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。　
　（付記１）
　車両の運転モードが自動運転モードであるか否かを判断し、
　前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出し、
　前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成し、
　前記要求信号を出力するように構成されているプロセッサと、
　前記プロセッサを動作させる命令を記憶するメモリと、
　を備える運転者監視装置。
（付記２）
　少なくとも１つのプロセッサを用いて、車両の運転モードが自動運転モードであるか否かを判断する運転モード判断過程と、
　前記少なくとも１つのプロセッサを用いて、前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出する対象検出過程と、
　前記少なくとも１つのプロセッサを用いて、前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成する要求信号生成過程と、
　前記少なくとも１つのプロセッサを用いて、前記要求信号を出力する要求信号出力過程と、
　を備える運転者監視方法。

Claims (8)

  1. 　車両の運転モードが自動運転モードであるか否かを判断する運転モード判断部と、
    　前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出する対象検出部と、
    　前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成する要求信号生成部と、
    　前記要求信号を出力する要求信号出力部と、
    　を備える運転者監視装置。
  2. 　前記質問に対する前記運転者の回答の正誤に基づいて、前記運転者の前記道路環境に対する認知の度合いを検出する認知度検出部を備える、請求項１に記載の運転者監視装置。
  3. 　前記要求信号は、前記質問を出力する前に、前記対象の視認を前記運転者に促すことを要求する、請求項１に記載の運転者監視装置。
  4. 　前記認知の度合いが基準を満たさない場合、前記運転者に対する支援の提供を指示する指示信号を出力する指示信号出力部と、
    　を備える、請求項２に記載の運転者監視装置。
  5. 　前記認知の度合いが基準を満たさない場合、前記車両を停止または前記車両の速度を低下させるための速度制御信号を出力する速度制御信号出力部を備える、請求項２に記載の運転者監視装置。
  6. 　前記対象検出部は、道路標識、道路標示または電光表示板を前記対象として検出する、請求項１から５の何れか１項に記載の運転者監視装置。
  7. 　車両の運転モードが自動運転モードであるか否かを判断する運転モード判断過程と、
    　前記運転モードが前記自動運転モードである場合、前記車両が走行する道路環境から前記車両の所定範囲以内に存在する対象を検出する対象検出過程と、
    　前記対象に関する質問を運転者に対して出力することを要求する要求信号を生成する要求信号生成過程と、
    　前記要求信号を出力する要求信号出力過程と、
    　を備える運転者監視方法。
  8. 　請求項１から６の何れか１項に記載の運転者監視装置が備える各部としてコンピュータを機能させる運転者監視のためのプログラム。
PCT/JP2017/042562 2017-03-14 2017-11-28 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム WO2018168098A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-048162 2017-03-14
JP2017048162A JP6465131B2 (ja) 2017-03-14 2017-03-14 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム

Publications (1)

Publication Number Publication Date
WO2018168098A1 true WO2018168098A1 (ja) 2018-09-20

Family

ID=63521923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042562 WO2018168098A1 (ja) 2017-03-14 2017-11-28 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム

Country Status (2)

Country Link
JP (1) JP6465131B2 (ja)
WO (1) WO2018168098A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879320A (zh) * 2020-07-01 2022-01-04 丰田自动车株式会社 驾驶员监视系统以及驾驶员监视方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020079755A1 (ja) * 2018-10-16 2021-02-15 三菱電機株式会社 情報提供装置及び情報提供方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185200A (ja) * 1997-12-22 1999-07-09 Mitsubishi Motors Corp 自動走行制御可能な車両におけるドライバの意識レベル判定方法
JP2008040974A (ja) * 2006-08-09 2008-02-21 Denso Corp 運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185200A (ja) * 1997-12-22 1999-07-09 Mitsubishi Motors Corp 自動走行制御可能な車両におけるドライバの意識レベル判定方法
JP2008040974A (ja) * 2006-08-09 2008-02-21 Denso Corp 運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879320A (zh) * 2020-07-01 2022-01-04 丰田自动车株式会社 驾驶员监视系统以及驾驶员监视方法
CN113879320B (zh) * 2020-07-01 2024-04-09 丰田自动车株式会社 驾驶员监视系统以及驾驶员监视方法

Also Published As

Publication number Publication date
JP6465131B2 (ja) 2019-02-06
JP2018151904A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
CN109791054B (zh) 信息输出控制装置及信息输出控制方法
JP5282816B2 (ja) 運転支援システム
JP4702106B2 (ja) 死角支援情報報知装置及びプログラム
EP2848488B2 (en) Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
JP5888407B2 (ja) 運転支援装置
JP6690581B2 (ja) 運転モード切替制御装置、方法およびプログラム
JP2006275690A (ja) 運転支援装置
JP6383566B2 (ja) 疲労度推定装置
EP4257444A2 (en) Driving assistance method and driving assistance device
JP2018181269A (ja) 提示制御装置、自動運転制御装置、提示制御方法及び自動運転制御方法
JP6520974B2 (ja) 運転切り替え判定装置、及び運転切り替え判定のためのプログラム
CN110582436B (zh) 转向辅助系统和方法
JP2019079363A (ja) 車両制御装置
JP2007122472A (ja) 運転支援システムおよびプログラム
JP2011221757A (ja) 運転支援装置
WO2018168098A1 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
WO2018168020A1 (ja) 故障判定装置、方法およびプログラム
EP4095822A1 (en) Automated traffic violation warning and prevention system for vehicles
JP6631564B2 (ja) 自動運転車両監視装置、方法およびプログラム
JP2018149874A (ja) 表示装置および表示方法
JP6951315B2 (ja) 車両制御装置
US20200302792A1 (en) Driving assistance device and driving assistance program product
JP2013068115A (ja) 車両用情報処理装置及び車両用情報処理方法
WO2023090166A1 (ja) 車両用制御装置及び車両用制御方法
JP4662007B2 (ja) 障害物情報呈示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901282

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17901282

Country of ref document: EP

Kind code of ref document: A1