WO2021220845A1 - 車両用記録装置、情報記録方法 - Google Patents

車両用記録装置、情報記録方法 Download PDF

Info

Publication number
WO2021220845A1
WO2021220845A1 PCT/JP2021/015694 JP2021015694W WO2021220845A1 WO 2021220845 A1 WO2021220845 A1 WO 2021220845A1 JP 2021015694 W JP2021015694 W JP 2021015694W WO 2021220845 A1 WO2021220845 A1 WO 2021220845A1
Authority
WO
WIPO (PCT)
Prior art keywords
recording
vehicle
data
mode
unit
Prior art date
Application number
PCT/JP2021/015694
Other languages
English (en)
French (fr)
Inventor
憲明 市田
貴弘 小川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2021220845A1 publication Critical patent/WO2021220845A1/ja
Priority to US18/049,447 priority Critical patent/US20230063930A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00

Definitions

  • the present disclosure relates to a vehicle recording device and an information recording method for recording data indicating at least one of the conditions inside and outside the vehicle when the vehicle is running.
  • Patent Document 1 discloses a configuration in which video data of a front camera, vehicle interior audio data, and driving mode information are stored in association with each other as a constantly recording type drive recorder.
  • the operation mode information in Patent Document 1 indicates whether it is automatic operation or manual operation.
  • Vehicles equipped with an automatic driving function are required to be configured so that the cause of the accident during automatic driving and whether the accident responsibility lies with the system or the driver can be objectively analyzed later. ing. Therefore, there is a need to record sensor / ECU data that was not included in the recording target in the prior art. Further, it is expected that a vehicle equipped with an automatic driving function will be equipped with even more sensors / ECUs. In other words, it is necessary to record more data than ever before. If the conventional technology is used as it is to meet such demand, the amount of data to be stored becomes enormous.
  • the present disclosure has been made based on this circumstance, and the purpose of the present disclosure is a vehicle recording device capable of improving the analystability of the cause of an accident while suppressing the amount of data stored, and information recording. To provide a method.
  • the vehicle recording device for achieving the purpose is a vehicle recording device that is used in a vehicle equipped with an automatic driving function and records the operating state of the automatic driving processing unit, which is a computer that provides the automatic driving function.
  • An information acquisition unit that acquires a plurality of types of information that can be recorded from sensors mounted on the vehicle, an operation mode acquisition unit that acquires a signal indicating an operation mode corresponding to the operating state of the automatic operation processing unit, and an operation mode acquisition unit.
  • the plurality of types of information that can be recorded include the occupant status data indicating the status of the driver's seat occupant, and the recording target setting unit stores the occupant status data according to the operation mode. Switch whether or not to set as a recording target.
  • whether or not to record data (for example, a face image) indicating the state of the driver's seat occupant is changed according to the operation mode.
  • the state of the driver's seat occupant is not always recorded.
  • the state of the driver's seat occupant is recorded, so that the state of the driver's seat occupant at the time of an accident can be specified.
  • post-hoc analysis of the cause of the accident and the responsibility can be improved. That is, according to the above configuration, it is possible to improve the analyzability of the cause of the accident while suppressing the amount of data stored.
  • the information recording method for achieving the above object is an information recording method executed by a processor for recording the operating state of the automatic driving processing unit, which is a computer that provides the automatic driving function, and is used in the vehicle.
  • the plurality of types of information that can be targeted include occupant status data indicating the status of the driver's seat occupant, and whether or not the recording target setting step sets the occupant status data as the recording target according to the operation mode. Is configured to switch between.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an automatic driving system 1 to which the vehicle recording device of the present disclosure is applied.
  • the automatic driving system 1 includes a peripheral monitoring sensor 11, an occupant state sensor 12, a vehicle state sensor 13, a locator 14, an HMI system 15, a V2X in-vehicle device 16, a body ECU 17, an automatic driving ECU 20, and an operation record.
  • the unit 30 is provided.
  • the ECU in the member name is an abbreviation for Electronic Control Unit, and means an electronic control device.
  • HMI is an abbreviation for Human Machine Interface.
  • V2X is an abbreviation for Vehicle to X (Everything) and refers to communication technology that connects various things to a car. When simply described as a system, it shall refer to the automatic driving system 1.
  • the various devices or sensors constituting the automatic driving system 1 are connected as nodes to a communication network (hereinafter, LAN: Local Area Network) 99 constructed in the vehicle. These nodes connected to LAN99 can communicate with each other. It should be noted that the specific devices may be configured to be able to communicate directly with each other without going through the LAN 99.
  • the automatic operation ECU 20 and the operation recording unit 30 may be directly electrically connected by a dedicated line.
  • the LAN 99 is configured as a bus type, but the LAN 99 is not limited to this.
  • the network topology may be a mesh type, a star type, a ring type, or the like. The network shape can be changed as appropriate.
  • CAN Controller Area Network
  • Ethernet Ethernet
  • FlexRay registered trademark
  • each direction of front / rear, left / right, and up / down is defined with reference to the own vehicle.
  • the front-rear direction corresponds to the longitudinal direction of the own vehicle.
  • the left-right direction corresponds to the width direction of the own vehicle.
  • the vertical direction corresponds to the vehicle height direction. From another point of view, the vertical direction is defined along the vertical direction of the horizontal plane that defines the front-back direction and the left-right direction.
  • the peripheral monitoring sensor 11 is a device that collects information about the external environment around the own vehicle.
  • a camera for example, a camera, a millimeter wave radar, a LiDAR (Light Detection and Ranging / Laser Imaging Detection and Ranging), a sonar, or the like can be adopted.
  • the millimeter-wave radar transmits millimeter-waves or quasi-millimeter waves in a predetermined direction, and analyzes the received data of the reflected waves that are reflected by the object and returned to the object of the own vehicle. It is a device that detects the relative position and relative speed of.
  • the millimeter-wave radar generates, for example, data indicating the reception intensity and the relative velocity for each detection direction and distance or data indicating the relative position and reception intensity of the detected object as the detection result.
  • LiDAR is a device that generates three-dimensional point cloud data indicating the positions of reflection points in each detection direction by irradiating with laser light.
  • the automatic driving system 1 surrounds the front camera 11a, the rear camera 11b, the right side camera 11c, the left side camera 11d, the front radar 11e, the right rear radar 11f, and the left rear radar 11g. It is provided as a monitoring sensor 11.
  • the front camera 11a, the rear camera 11b, the right side camera 11c, and the left side camera 11d can also be referred to as peripheral surveillance cameras.
  • the front camera 11a is a camera that captures the front of the vehicle at a predetermined angle of view.
  • the front camera 11a is arranged, for example, at the upper end of the windshield on the vehicle interior side, the front grill, or the like.
  • the front camera 11a is configured to take a relatively wide-angle and short-distance image, in addition to a camera arranged at the upper end of the windshield on the vehicle interior side so as to be able to take a relatively distant image. It may be equipped with a camera for peripheral monitoring.
  • the rear camera 11b is a camera that captures an image of the rear of the vehicle at a predetermined angle of view.
  • the rear camera 11b is arranged at a predetermined position on the back surface of the body, for example, near the rear license plate or the rear window.
  • the “near” of a certain member refers to a range within, for example, 30 cm from the member.
  • the vicinity of the license plate means a range within 30 cm from the license plate.
  • the right side camera 11c and the left side camera 11d are cameras that image the side of the vehicle at a predetermined angle of view, and are arranged at predetermined positions on the left and right sides of the side mirror or the body (for example, near the base of the A pillar). There is.
  • the front radar 11e is a millimeter-wave radar whose detection range is a predetermined range in front of the vehicle by transmitting an exploration wave toward the front of the vehicle, and is installed on, for example, a front grill or a front bumper.
  • the right rear radar 11f is a millimeter wave radar whose detection range is a predetermined range on the right rear of the vehicle by transmitting an exploration wave toward the right rear of the vehicle, and is installed at, for example, the right corner of the rear bumper. ..
  • the left rear radar 11g is a millimeter wave radar whose detection range is a predetermined range on the left rear of the vehicle by transmitting an exploration wave toward the left rear of the vehicle, and is installed at, for example, the left corner of the rear bumper. ..
  • the various peripheral monitoring sensors 11 described above detect, for example, a predetermined detection target and specify the relative position of the detected object with respect to the own vehicle. Then, the detection result data indicating the position and type of the detected object is sequentially provided to the automatic operation ECU 20 and the operation recording unit 30 (hereinafter, the automatic operation ECU 20 and the like).
  • the object to be detected here is, for example, a pedestrian, an animal other than a human being, another vehicle, a structure installed along a road, or the like.
  • Other vehicles include bicycles, motorized bicycles, and motorcycles. Structures installed along the road include, for example, guardrails, curbs, trees, utility poles, road signs, traffic lights, and the like.
  • road markings such as traveling lane markings and falling objects on the road are also registered as detection targets of the peripheral surveillance camera.
  • the peripheral monitoring sensor 11 also provides observation data used for object recognition, such as image data, to the automatic driving ECU 20 and the like via LAN99.
  • the front camera 11a outputs image data as observation data obtained by photographing the front of the vehicle and an analysis result of the image data.
  • the millimeter-wave radar observation data refers to data indicating the reception intensity and relative velocity for each detection direction and distance, or data indicating the relative position and reception intensity of the detected object.
  • the observation data of an ultrasonic sensor refers to the distance measurement result.
  • the LiDAR observation data is three-dimensional point cloud data. The observed data corresponds to the raw data observed by the sensor or the data before the recognition process is executed.
  • the object recognition process based on the observation data may be executed by an ECU outside the sensor, such as the automatic operation ECU 20.
  • the camera or millimeter-wave radar as the peripheral monitoring sensor 11 may provide observation data such as image data and ranging data to the automatic operation ECU 20 as detection result data.
  • the various peripheral monitoring sensors 11 output an error signal to the LAN 99 when an internal failure or the like occurs.
  • the front camera 11a outputs an error signal when it detects an abnormality in the image sensor or the processing circuit.
  • the occupant status sensor 12 is a sensor that sequentially detects index information indicating the status of the driver's seat occupant.
  • index information indicating the state of the driver's seat occupant a face image of the driver's seat occupant, an image of the upper body, a distribution of pressure acting on the seating surface of the driver's seat, a gripping state of the steering wheel, and the like can be adopted.
  • biological information such as heart rate, respiration interval, and brain wave can also be adopted as index information indicating the state of the driver's seat occupant.
  • the automatic driving system 1 includes a driver status monitor (hereinafter, DSM: Driver Status Monitor) 12a, a seat sensor 12b, and a handle sensor 12c as the occupant status sensor 12, as shown in FIG.
  • the automatic driving system 1 does not have to include all of these sensors.
  • a sensor other than these may be provided as the occupant state sensor 12.
  • a wristwatch-type wearable device that measures body temperature and pulse may be provided as the occupant state sensor 12.
  • the DSM12a sequentially detects the state of the driver's seat occupant based on the facial image of the driver's seat occupant. Specifically, the DSM12a photographs the driver's seat occupant's face using a near-infrared camera, and performs image recognition processing on the captured image to determine the driver's seat occupant's face orientation and line-of-sight direction. The degree of eyelid opening is detected sequentially.
  • the DSM12a is mounted on the upper surface of the steering column cover and the instrument panel so that the face of the occupant sitting in the driver's seat can be photographed, for example, with the near-infrared camera facing the headrest of the driver's seat. It is located on the top surface, rearview mirror, etc.
  • the image captured by the near-infrared camera is image-analyzed by a control unit (not shown).
  • the control unit of the DSM12a estimates the degree of arousal of the driver's seat occupant by comprehensively considering the direction of the face, the direction of the line of sight, the degree of opening of the eyelids, the frequency and interval of blinking, and the like.
  • the DSM12a sequentially outputs information indicating the direction of the driver's seat occupant's face, the direction of the line of sight, the degree of eyelid opening, the degree of arousal, etc. identified from the captured image to the LAN 99 as occupant state data.
  • the DSM 12a provides the face image data of the driver's seat occupant to the automatic driving ECU 20 and the like.
  • the face image data of the driver's seat occupant is a material for judging the degree of arousal of the driver's seat occupant and corresponds to the observation data of the near infrared camera constituting the DSM12a.
  • the automatic operation ECU 20 may have a function of analyzing an image captured by a near-infrared camera.
  • the DSM12a may be configured to output an image captured by the near-infrared camera.
  • the image data may be output in the form of a video signal.
  • the seat sensor 12b sequentially detects the state of the driver's seat occupant based on the distribution of pressure acting on the backrest and seating surface of the driver's seat.
  • the output signal of the seat sensor 12b can be used as a material for estimating whether or not the driver's seat occupant is seated in a driving posture.
  • the seat sensor 12b is embedded inside the surface of the backrest portion and the seating portion of the driver's seat.
  • the steering wheel sensor 12c is provided on the steering wheel and detects the pressure at which the driver grips the steering wheel.
  • the steering wheel sensor 12c may be a capacitance type sensor that detects that the occupant is holding the steering wheel based on the change in capacitance.
  • the handle sensor 12c may be one that detects the torque acting on the handle (for example, a torsion bar).
  • the torque applied to the steering wheel indicates that the user is gripping the steering wheel.
  • the output signal of the steering wheel sensor 12c can be used as a signal indicating whether or not the driver holds the steering wheel with both hands.
  • the detection results of the seat sensor 12b and the steering wheel sensor 12c are provided to the automatic driving ECU 20 or the like via, for example, LAN99.
  • the vehicle state sensor 13 is a sensor that detects the amount of state related to the running control of the own vehicle.
  • the vehicle state sensor 13 includes a brake sensor, an accelerator sensor, a shift position sensor, a steering angle sensor, a vehicle speed sensor, a steering angle sensor, an acceleration sensor, and the like.
  • the brake sensor is a sensor that detects the position of the brake pedal, in other words, the amount of depression of the brake pedal by the driver's seat occupant (hereinafter referred to as the amount of depression of the brake).
  • the accelerator sensor is a sensor that detects the position of the accelerator pedal, in other words, the amount of depression of the accelerator pedal by the driver's seat occupant (hereinafter referred to as the amount of depression of the accelerator).
  • the shift position sensor is a sensor that detects the position of the shift lever.
  • the steering angle sensor is a sensor that detects the rotation angle of the steering wheel (so-called steering angle).
  • the brake sensor, accelerator sensor, shift position sensor, and steering angle sensor correspond to sensors that detect a physical state quantity indicating the content of a driving operation by a driver's seat occupant.
  • the vehicle speed sensor is a sensor that detects the traveling speed of the own vehicle.
  • the steering angle sensor is a sensor that detects the angle of the tire with respect to the vehicle front-rear direction or the axle (so-called steering angle).
  • the acceleration sensor is a sensor that detects the acceleration in the front-rear direction and the acceleration in the lateral direction acting on the own vehicle.
  • the vehicle speed sensor, steering angle sensor, and acceleration sensor correspond to sensors that detect a physical state quantity indicating the behavior of the vehicle that occurs as a result of the driving operation of the driver's seat occupant or the control by the automatic driving ECU 20.
  • Each sensor outputs data indicating the current value (that is, detection result) of the physical state quantity to be detected to LAN99.
  • the output data of each sensor is acquired by the automatic operation ECU 20 or the like via LAN99.
  • the type of sensor used by the automatic driving system 1 as the vehicle state sensor 13 may be appropriately designed, and it is not necessary to include all the above-mentioned sensors. Further, the automatic driving system 1 may include sensors other than those described above, such as a yaw rate sensor, a directional sensor, and an engine rotation speed sensor, as the vehicle state sensor 13.
  • the yaw rate sensor is a sensor that detects the rotational angular velocity (that is, yaw rate) around the vertical axis of the own vehicle.
  • the azimuth sensor is a sensor that detects the azimuth angle that the own vehicle is facing.
  • the engine rotation speed sensor is a sensor that detects the rotation speed of the engine.
  • the locator 14 is a device that generates highly accurate position information and the like of the own vehicle by compound positioning that combines a plurality of information. As shown in FIG. 4, for example, the locator 14 is realized by using the GNSS receiver 141, the inertia sensor 142, the high-precision map database 143 (hereinafter, the database is referred to as DB), and the position calculation unit 144.
  • the GNSS receiver 141 sequentially (for example, every 100 milliseconds) detects the current position of the GNSS receiver 141 by receiving a navigation signal transmitted from a positioning satellite constituting a GNSS (Global Navigation Satellite System). It is a device.
  • GNSS Global Navigation Satellite System
  • the inertial sensor 142 is, for example, a 3-axis gyro sensor and a 3-axis acceleration sensor.
  • the high-precision map DB 143 is a non-volatile memory that stores high-precision map data.
  • the high-precision map data here corresponds to map data showing the road structure, the position coordinates of the features arranged along the road, and the like with the accuracy that can be used for automatic driving.
  • the high-precision map data includes, for example, three-dimensional shape data of roads, lane data, feature data, and the like.
  • the three-dimensional shape data of the above roads includes node data relating to points (hereinafter, nodes) where a plurality of roads intersect, merge, and branch, and link data relating to roads connecting the points (hereinafter, links).
  • the link data also includes data indicating the road type, such as whether it is a motorway or a general road.
  • the motorway here refers to a road on which pedestrians and bicycles are prohibited from entering, such as a toll road such as an expressway.
  • the road type may include attribute information indicating whether or not the road is permitted to drive autonomously.
  • the lane data indicates the number of lanes, the laying position coordinates of lane marking lines (so-called lane markers), the traveling direction for each lane, and branching / merging points at the lane level.
  • the lane marker includes a paint formed in a broken line or a continuous line using a yellow or white paint, as well as a road stud and the like.
  • the feature data includes the position and type information of the road surface display such as a stop line, and the position, shape, and type information of the landmark. Landmarks include three-dimensional structures installed along the road, such as traffic signs, traffic lights, poles, and commercial signs.
  • the position calculation unit 144 sequentially positions the position of its own vehicle by combining the positioning result of the GNSS receiver 141 and the measurement result of the inertial sensor 142.
  • the positioned vehicle position is output to LAN99 and used by the automatic driving ECU 20 or the like.
  • the locator 14 reads out the map data in a predetermined range determined based on the current position from the high-precision map DB 143 and provides the map data to the automatic operation ECU 20 or the like via the LAN 99.
  • the map data may be acquired from an external server or the like via the V2X on-board unit 16. Further, the locator 14 (mainly the position calculation unit 144) may be configured so that the localization process can be performed.
  • the localization process collates the coordinates of the landmark identified based on the image captured by the peripheral surveillance camera such as the front camera 11a with the coordinates of the landmark registered in the high-precision map data. Refers to the process of specifying the detailed position of. Some or all the functions included in the locator 14 may be inherent in the automatic operation ECU 20.
  • the HMI system 15 is a system that provides an input interface function that accepts user operations and an output interface function that presents information to the user. As shown in FIG. 5, the HMI system 15 includes an HCU (HMI Control Unit) 151, an input device 152, and a display 153.
  • HCU HMI Control Unit
  • the HCU 151 is configured to integrally control the acquisition of operation information input by the user via the input device 152 and the presentation of information to the user using the display 153.
  • Information presentation to the user may be realized by using a speaker, a vibrator, a lighting device (for example, LED), or the like.
  • the HCU 151 is realized by using, for example, a processor such as a CPU or GPU, a RAM, a flash memory, or the like. Details of the HCU 151 will be described after the description of the input device 152 and the display 153.
  • the input device 152 is a device for receiving a user's instruction operation for various electronic devices (hereinafter, in-vehicle devices) mounted on the own vehicle such as a navigation device.
  • the in-vehicle device here also includes an automatic driving ECU 20 and an operation recording unit 30.
  • the HMI system 15 includes a mechanical switch (that is, a steering switch) provided on a steering wheel or the like as an input device 152.
  • the HMI system 15 includes an input device 152 that functions as an operation mode switch.
  • the operation mode switch is a switch for operating and stopping the automatic operation function. Such an operation mode switch corresponds to a switch for the driver's seat occupant to switch the operation mode.
  • the input device 152 may be a touch panel laminated on the surface of the display 153, or may be a voice input device realized by using various voice recognition techniques. It may also be a haptic device located on the center console.
  • the vehicle control system 100 may include the above-mentioned plurality of types of devices as the input device 152.
  • the display 153 is a device that displays an image input from the HCU 151.
  • the display 153 is a display (so-called center display) provided at the uppermost portion of the instrument panel in the vehicle width direction central portion (hereinafter, the central region).
  • the display 153 is capable of full-color display, and can be realized by using a liquid crystal display, an OLED (Organic Light Emitting Diode) display, a plasma display, or the like.
  • the HMI system 15 may include, as the display 153, a head-up display that projects a virtual image on a part of the windshield in front of the driver's seat. Further, the display 153 may be a display (so-called meter display) arranged in an area located in front of the driver's seat on the instrument panel.
  • the HCU 151 displays an image showing the operating state of the automatic driving function (hereinafter, the operation mode notification image 80) on the display 153 based on the information provided by the automatic driving ECU 20.
  • the operation mode notification image 80 may include a mode icon image 81, a road surface recognition state image 82, and a moving object recognition state image 83, for example.
  • the mode icon image 81 is an image that clearly indicates the operation mode.
  • the road surface recognition state image 82 is an image showing the recognition state of the lane marking line or the road edge in the automatic driving ECU 20.
  • the moving body recognition state image 83 is an image showing the recognition state of another moving body in the automatic driving ECU 20.
  • the scheduled action notification image 84 is an image showing the next scheduled action of the automatic driving ECU 20.
  • the HCU 151 may express whether or not the lane marking line or the road edge can be recognized, for example, by changing the display mode (for example, color) of the line image constituting the road surface recognition state image 82. The same applies to the moving object recognition state image 83. Further, when the HCU 151 transfers the authority of the driving operation from the automatic driving system 1 to the driver's seat occupant (so-called takeover request), the HCU 151 performs the driving operation to the driver's seat occupant in a predetermined notification mode using images, lights, and sounds. Request to take over.
  • the HCU 151 provides a screenshot of the display screen of the display 153 based on the request from the operation recording unit 30. Further, the HCU 151 sequentially provides the operation recording unit 30 with data indicating the notification status to the occupants regarding the operation mode.
  • the elements constituting the notification state to the occupant regarding the operation mode include the content (for example, image ID) displayed on the display 153 as an image indicating the operation mode, the data ID and volume of the message or warning sound output from the speaker. Etc. can be included.
  • the V2X on-board unit 16 is a device for the own vehicle to carry out wireless communication with another device.
  • the "V” of V2X refers to a vehicle as its own vehicle, and the "X” can refer to various existences other than its own vehicle, such as pedestrians, other vehicles, road equipment, networks, and servers.
  • the V2X on-board unit 16 includes a wide area communication unit and a narrow area communication unit as communication modules.
  • the wide area communication unit is a communication module for carrying out wireless communication conforming to a predetermined wide area wireless communication standard.
  • various standards such as LTE (Long Term Evolution), 4G, and 5G can be adopted.
  • the wide area communication unit In addition to communication via a wireless base station, the wide area communication unit carries out wireless communication directly with other devices (in other words, without going through a base station) by a method compliant with the wide area wireless communication standard. It may be configured to be possible. That is, the wide area communication unit may be configured to carry out cellular V2X.
  • the own vehicle becomes a connected car that can be connected to the Internet by mounting the V2X on-board unit 16.
  • the locator 14 can download the latest map data from a predetermined server in cooperation with the V2X on-board unit 16 and update the map data stored in the high-precision map DB 143.
  • the narrow-area communication unit included in the V2X on-board unit 16 is based on a communication standard (hereinafter, narrow-range communication standard) in which the communication distance is limited to several tens of meters to several hundreds of meters. It is a communication module for directly performing wireless communication with a roadside unit. Other moving objects are not limited to vehicles, but may include pedestrians, bicycles, and the like.
  • narrow range communication standard any one such as the WAVE (Wireless Access in Vehicle Environment) standard disclosed in IEEE1609 and the DSRC (Dedicated Short Range Communications) standard can be adopted.
  • the body ECU 17 is an ECU that integrally controls body-based in-vehicle devices mounted on the vehicle.
  • Body-based in-vehicle devices include lighting devices such as headlights and direction indicators, side mirror motors that change the angle of side mirrors, window motors that open and close windows, door lock motors, wiper blade motors, and the like.
  • the body ECU 17 controls the lighting state of the headlights based on, for example, the operation of the light switch by the driver's seat occupant, the detection value of the illuminance sensor, or the instruction from the automatic driving ECU 20.
  • the body ECU 17 outputs various signals indicating the operating state of the lighting equipment such as the headlight and the direction indicator, the operating state of the wiper, the opening / closing of the door, and the locked state to the LAN 99.
  • a driving mode notification light that is a lighting device that notifies the outside of a pedestrian or the like of the driving mode (for example, autonomous driving)
  • the driving mode notification light is also a body-based in-vehicle device. Can be included in.
  • the automatic driving ECU 20 executes a part or all of the driving operation on behalf of the driver's seat occupant by controlling the traveling actuators (hereinafter, the traveling actuator 18) based on the detection result of the peripheral monitoring sensor 11 and the like. It is an ECU to do.
  • the automatic driving ECU 20 corresponds to an automatic driving device that provides an automatic driving function.
  • the traveling actuator 18 includes, for example, a braking device (so-called brake actuator), an electronic throttle, a steering actuator, and the like.
  • the traveling actuator 18 is a hardware element related to at least one of acceleration, deceleration, and steering of the vehicle.
  • the concept of automatic driving here is not limited to the mode in which all the operations related to the running of the vehicle are automatically executed, and the mode in which a part of the driving operation is automatically performed can also be included. That is, the control from the automatic driving level 1 to the level 2 specified by the American Society of Automotive Engineers of Japan (SAE International) can also be included.
  • the automated driving level can be called the automated level.
  • the automatic driving level 1 refers to a level at which the system supports any one of steering operation and acceleration / deceleration operation
  • automatic driving level 2 means that the system supports a plurality of steering operation and acceleration / deceleration operation. Refers to the level to be done.
  • the system executes all driving operations within the operational design domain (ODD) that defines the conditions under which automatic driving can be executed (that is, the conditions for permitting automatic driving), while in an emergency, the system dispatches the system.
  • ODD operational design domain
  • Level 4 refers to the level at which the system performs all driving operations within the ODD.
  • Level 5 refers to the level at which the system performs all driving operations in any location. Level 3 or higher corresponds to an autonomous driving level in which all controls related to vehicle driving are automatically executed.
  • the automatic operation ECU 20 is configured to be able to execute up to the automatic operation level 5, and is configured to be able to switch the operation mode corresponding to each automation level.
  • the level 3 mode refers to an operation mode in which the own vehicle is autonomously driven at the automatic driving level 3.
  • the level 3 to 5 mode is also referred to as an autonomous driving mode
  • the level 1 to 2 mode is referred to as a driving support mode.
  • the level 0 to 2 mode corresponds to a occupant involvement mode in which at least a part of the driving operation is left to the driver's seat occupant.
  • the operation mode of the automatic operation ECU 20 corresponds to the operation mode from the viewpoint of the occupants.
  • Switching of operation mode is automatically executed due to system limit, exit of ODD, etc. in addition to user operation.
  • the autonomous driving ECU 20 steers, accelerates, and decelerates (in other words, braking) the vehicle so that the vehicle travels along the road to the destination set by the driver's seat occupant or the operator. ) Etc. are automatically implemented.
  • the automatic operation ECU 20 is mainly composed of a computer including a processing unit 21, a RAM 22, a storage 23, a communication interface 24, a bus connecting these, and the like.
  • the processing unit 21 is hardware for arithmetic processing combined with the RAM 22.
  • the processing unit 21 is configured to include at least one arithmetic core such as a CPU (Central Processing Unit).
  • the processing unit 21 executes various processes for realizing the functions of each functional unit, which will be described later, by accessing the RAM 22.
  • the storage 23 is configured to include a non-volatile storage medium such as a flash memory.
  • the storage 23 stores a program executed by the processing unit 21 (hereinafter, an automatic operation program). Executing the automatic operation program by the processing unit 21 corresponds to executing the method corresponding to the automatic operation program.
  • the communication interface 24 is a circuit for communicating with another device via LAN 99.
  • the communication interface 24 may be realized by using an analog circuit element, an IC, or the like. The details of the automatic operation ECU
  • the operation recording unit 30 is a device that records data indicating at least one of the conditions inside the vehicle and the conditions outside the vehicle interior when the vehicle is running.
  • the state inside the vehicle when the vehicle is running can include the operating state of the automatic driving ECU 20 and the state of the driver's seat occupant.
  • the data indicating the operating state of the automatic driving ECU 20 includes the recognition result of the surrounding environment in the automatic driving ECU 20 and the calculation result such as the traveling plan and the target control amount of each traveling actuator.
  • the data to be recorded is acquired from ECUs and sensors mounted on the vehicle, such as the automatic driving ECU 20 and the peripheral monitoring sensor 11, via LAN99 and the like.
  • the operation recording unit 30 is also mainly composed of a computer including a processing unit 31, a RAM 32, a storage 33, a communication interface 34, a bus connecting these, and the like.
  • the processing unit 31 is hardware for arithmetic processing combined with the RAM 32.
  • the processing unit 31 is configured to include at least one processor such as a CPU.
  • the processing unit 31 executes various processes for realizing the functions of each functional unit, which will be described later, by accessing the RAM 32.
  • the storage 33 has a configuration including a non-volatile storage medium such as a flash memory.
  • the storage 33 stores a program executed by the processing unit 31 (hereinafter, an operation status recording program).
  • Executing the operation status recording program by the processing unit 31 corresponds to executing a method (corresponding to the information recording method) corresponding to the operation status recording program.
  • the communication interface 34 is a circuit for connecting to the LAN 99 and communicating with another device via the LAN 99.
  • the communication interface 34 is realized by using an analog circuit element, an IC, or the like. Details of the operation recording unit 30 will be described later.
  • the automatic operation ECU 20 provides functions corresponding to various functional blocks shown in FIG. 7 by executing an automatic operation program stored in the storage 23. That is, the automatic driving ECU 20 has the surrounding environment recognition unit F1, the occupant state recognition unit F2, the own vehicle state acquisition unit F3, the operation content acquisition unit F4, the mode control unit F5, the action planning unit F6, and the control execution unit F7 as functional blocks. It includes an abnormality detection unit F8 and an operating state output unit F9.
  • the surrounding environment recognition unit F1 recognizes the surrounding environment, which is the surrounding environment of the own vehicle, based on the detection result of the peripheral monitoring sensor 11.
  • the surrounding environment here includes not only static environmental factors such as the current position, driving lane, road type, speed limit, and relative position of features, but also the position, moving speed, weather, and brightness of other moving objects. , Dynamic environmental factors such as temperature are also included.
  • Other moving bodies include automobiles as other vehicles, pedestrians, bicycles, and the like.
  • the surrounding environment recognition unit F1 acquires the latest vehicle position and traveling direction, and high-precision map data of the peripheral range of the vehicle A from the locator 14. In addition, the surrounding environment recognition unit F1 acquires detection results from each of the plurality of peripheral monitoring sensors 11 and complementarily combines (that is, fuses) them to determine the position and type of objects existing around the vehicle. recognize. That is, the environment recognition result of the automatic driving ECU 20 also includes the recognition result of an object existing in the vicinity of the own vehicle. Objects to be recognized include features and moving objects. The object recognition result can include the position, type, moving speed, and the like of the detected object. The position and speed may be a relative position and a relative speed with respect to the own vehicle, and may be an absolute position and an absolute speed with respect to the ground.
  • the surrounding environment recognition unit F1 evaluates the possibility of collision with an object existing around the own vehicle. Collision residual time (so-called TTC: Time-To-Collision), collision margin (MTC: Margin-To-Collision), inter-vehicle time (THW: Time-Head Way), etc. are used as indicators of collision possibility. It can be adopted.
  • TTC Time-To-Collision
  • MTC Mobilityin-To-Collision
  • TCW Time-Head Way
  • the concept of TTC also includes one that utilizes the acceleration or jerk of at least one of the own vehicle and the other vehicle.
  • the surrounding environment recognition unit F1 recognizes the position and type of road markings and signs around the own vehicle and the lighting state of the traffic light based on the detection result of the peripheral monitoring sensor 11 and the high-precision map data.
  • the surrounding environment recognition unit F1 uses at least one of the detection result of the peripheral monitoring sensor 11 and the high-precision map data to provide boundary information regarding the boundary of the lane, which is the left and right sections of the lane in which the own vehicle is currently traveling. Identify the relative position and shape of the line or road edge.
  • the data acquired by the peripheral environment recognition unit F1 from each peripheral monitoring sensor 11 may be observation data such as image data instead of the analysis result. In that case, the surrounding environment recognition unit F1 may specify the surrounding environment including the positions and shapes of the left and right lane markings or road edges based on the observation data of various peripheral monitoring sensors 11.
  • the surrounding environment recognition unit F1 identifies the surrounding environment by using other vehicle information received by the V2X on-board unit 16 from other vehicles, traffic information received from the roadside unit in road-to-vehicle communication, weather information received from the server, and the like. You may.
  • the occupant state recognition unit F2 determines the state of the occupant in the driver's seat based on the information provided by the occupant state sensor 12. For example, the occupant state recognition unit F2 determines the degree of arousal of the driver's occupant based on the data provided by the DSM12a. The degree of arousal may be evaluated on a two-point scale as to whether or not it is in a wakefulness state, or may be evaluated by dividing it into three or more stages. Further, the occupant state recognition unit F2 determines whether or not the driver's seat occupant is in the forward gaze state looking ahead of the vehicle based on the data provided by the DSM12a.
  • the occupant state recognition unit F2 determines that the vehicle is in the forward gaze state when the eyelid opening is equal to or greater than a predetermined threshold value and the line-of-sight direction of the driver's seat occupant is directed to the front of the vehicle. do.
  • the forward gaze state is also referred to as eyes on
  • the non-forward gaze state is also referred to as eyes off.
  • the degree of arousal and eyes on / off may be determined by combining the sensing information of a plurality of types of sensors such as the DSM 12a and the seat sensor 12b.
  • the occupant state recognition unit F2 determines whether or not the driver's seat occupant is in the steering wheel gripping state based on the output signal of the steering wheel sensor 12c. For example, when the handle sensor 12c detects a change in pressure or capacitance equal to or higher than a predetermined threshold value, it is determined that the handle is in the gripping state.
  • the handle gripping state is also referred to as hands on, and the non-handle gripping state is also referred to as hands off.
  • the occupant state recognition unit F2 may be configured to determine whether or not the vehicle is in the deadman state based on at least the output signals of the DSM 12a and the seat sensor 12b.
  • the deadman state refers to a state in which it is difficult to return to a state in which normal operation is possible due to a sudden change in physical condition such as a stroke.
  • the posture and pulse of the driver's seat occupant, the presence or absence of the opening of the pupil, the behavior of the vehicle, and the like can be adopted.
  • the own vehicle state acquisition unit F3 recognizes the state of the own vehicle based on the output data of the vehicle state sensor 13 and the body ECU 17.
  • the state of the own vehicle includes vehicle speed, acceleration, yaw rate, shift position, engine rotation speed, steering angle, and the like.
  • the own vehicle state acquisition unit F3 acquires the operating state of the body-based in-vehicle device based on the output signal of the body ECU 17. For example, the own vehicle state acquisition unit F3 acquires data indicating the operating state of the direction indicator, the lighting state of the headlamp, the operating state of the wiper, and the like by communicating with the body ECU 17.
  • the operation content acquisition unit F4 operates the driver's seat occupant on these operation members based on the output signals (in other words, the operation signals) from the pedals, levers, switches, and input devices 152 provided in the vehicle. Detects the presence / absence / operation amount. For example, the operation content acquisition unit F4 acquires the operation content of the occupant with respect to the automatic operation switch, the amount of brake depression, and the like.
  • the mode control unit F5 switches the operation mode based on at least one of the surrounding environment, the occupant state, the own vehicle state, and the user operation. For example, the mode control unit F5 switches the operation mode based on the user operation. For example, when the mode control unit F5 is operating in a mode of level 2 or lower and receives a user operation to shift to the level 3 mode via the input device 152, the mode control unit F5 is in a peripheral environment capable of executing the automatic operation level 3. On condition that there is, it shifts to the level 3 mode. The same applies to the transition from the level 2 or lower mode to the level 4 mode. Whether or not the surrounding environment is capable of executing the automatic operation levels 3 to 4 may be determined based on the recognition result of the surrounding environment recognition unit F1.
  • the mode control unit F5 when the recognition result of the surrounding environment satisfies the ODD specified for the own vehicle, it can be determined that the surrounding environment is capable of executing the automatic driving levels 3 to 4. Further, when the mode control unit F5 receives a user operation for shifting to the level 5 mode via the input device 152, for example, in a situation where the mode control unit F5 is operating in a mode of level 2 or lower, the mode control unit F5 changes the operation mode to the level 5 mode. Switch.
  • the mode shifts to the level 2 mode with the authority transfer process in between.
  • the case where the autonomous driving mode cannot be maintained is a case where the ODD is not satisfied due to a sensor failure, a dynamic environmental factor, or the like, or a case where the road section designed as the ODD is withdrawn.
  • the authority transfer process is a process for transferring the driving authority from the system to the driver's seat occupant, and is executed mainly under the plan of the action planning unit F6 in cooperation with the automatic driving ECU 20 and the HMI system 15.
  • Authority transfer mode The transfer is completed when the driver's seat occupant is requested to take over the driving operation for a predetermined period and the occupant performs a predetermined operation such as holding the steering wheel during the process.
  • the state in which the authority transfer process is being executed is referred to as a transfer mode.
  • the transfer mode can also include an operation mode in the process of transferring driving authority from the driver's seat occupant to the system.
  • the mode control unit F5 sets the automatic operation level to 5 ⁇ 4 ⁇ 3 ⁇ 2 ⁇ 1 ⁇ 0 due to a decrease in the number of peripheral monitoring sensors 11 operating normally and deterioration of the environment. It may be gradually lowered in the order of. For example, when the recognizable distance of the front camera 11a due to fog or rain becomes a predetermined value or less, the mode control unit F5 may switch the operation mode from the level 4 mode to the level 3 mode.
  • Deterioration of the environment refers to, for example, an increase in rainfall, backlight, and the like. The concept of rainfall also includes the amount of snowfall.
  • the automatic driving ECU 20 performs an MRM (Minimum Risk Maneuver) process for safely stopping the vehicle when the driver's seat occupant is in a deadman state during the autonomous driving mode or when the driver's seat occupant does not respond to the authority transfer process.
  • the content of the MRM process can be, for example, a process of autonomously driving the vehicle to a safe place and parking the vehicle while issuing an alarm to the surroundings. Safe places include road shoulders with a width greater than or equal to a predetermined value, and places designated as emergency evacuation areas.
  • the content of the MRM may be such that the vehicle stops in the traveling lane with a gentle deceleration.
  • the deceleration at that time it is preferable to adopt a value of 4 [m / s ⁇ 2] or less, such as 2 [m / s ⁇ 2] or 3 [m / s ⁇ 2].
  • a deceleration exceeding 4 [m / s ⁇ 2] can be adopted.
  • the deceleration at the time of MRM may be dynamically determined and sequentially updated in consideration of the traveling speed at the start of MRM and the inter-vehicle distance to the following vehicle within a range that can be stopped within, for example, 10 seconds.
  • the mode control unit F5 detects, for example, an override by the driver's seat occupant based on the acquisition information of the operation content acquisition unit F4, the mode control unit F5 shifts to any operation mode of levels 0 to 2 based on the user setting. And migrate.
  • the mode control unit F5 outputs status information indicating the operation mode of the automatic operation ECU 20 to the communication network.
  • the status information corresponds to data indicating whether the driving mode of the own vehicle is the autonomous driving mode or the manual driving mode according to another viewpoint.
  • the action planning unit F6 creates a driving plan (in other words, an action plan) of the own vehicle based on the surrounding environment recognized by the surrounding environment recognition unit F1.
  • the driving plan includes a long-term plan and a short-term plan.
  • Long-term planning involves selecting routes to destinations on a road-by-road or lane-by-lane basis.
  • the short-term plan includes the content of the action to be taken within a predetermined time (for example, 10 seconds) from the present time based on the long-term plan, and the specific control target value (for example, the target vehicle speed) for realizing the planned action. , Target acceleration, target steering amount, etc.).
  • the short-term plan includes the selection of the next action to be taken at the present time (hereinafter referred to as the planned action).
  • Options for planned actions include maintaining vehicle speed, accelerating, decelerating, stopping, starting, driving on a straight road, turning a curve, changing lanes, going straight at an intersection, turning left, and turning right.
  • a scheduled action a compound action consisting of a combination of a plurality of actions such as overtaking and parking may be set.
  • the action planning unit F6 calculates a control target value corresponding to an operation item (for example, speed adjustment) to be supported by the system.
  • the action planning unit F6 is provided with ACC (Adaptive Cruise Control) function, LTC (Lane Trace Control) function, AEB (Automatic Emergency Braking) function, etc. as element functions (applications) for providing the automatic driving function.
  • the ACC function is a function of driving the own vehicle at a constant speed at a target vehicle speed or following the own vehicle while maintaining the distance between the vehicle and the preceding vehicle.
  • the LTC function is a function of driving the own vehicle in the own vehicle traveling lane along the own vehicle traveling lane, and generates a planned traveling line along the own vehicle traveling lane.
  • the AEB function (so-called collision damage mitigation brake) automatically applies braking when a collision with an object existing in front of the vehicle is foreseen.
  • the control execution unit F7 determines a specific control amount of the various travel actuators 18 based on the travel plan formulated by the action planning unit F6. Then, a control signal corresponding to the control amount is output to each traveling actuator 18.
  • the control execution unit F7 also controls turning on / off of the direction indicator, headlights, hazard lamps, etc. according to the travel plan and the external environment. Further, when the traveling mode of the own vehicle is a level 2 or lower operation mode, the control execution unit F7 integrally operates the traveling actuator 18 based on the operation information corresponding to the driving operation to be performed by the driver's seat occupant. And control the behavior of the own vehicle.
  • the abnormality detection unit F8 has a configuration for detecting an abnormality having a configuration necessary for automatic operation, such as a peripheral monitoring sensor 11, a locator 14, and an operation recording unit 30.
  • the abnormality detection unit F8 detects an abnormality in the front camera 11a based on the input of an error signal from the front camera 11a. Further, the abnormality detection unit F8 diagnoses the operating state of the operation recording unit 30 by communicating with the operation recording unit 30.
  • a method for detecting an abnormality various methods such as a watchdog timer method and a homework answering method can be used. In the watchdog timer method, when the watchdog timer provided in the monitored device expires without being cleared by the watchdog pulse input from the monitored device, the monitored device is operating normally. It is a method to judge that there is no.
  • the automatic operation ECU 20 specifically, the abnormality detection unit F8 corresponds to the monitoring side device
  • the operation recording unit 30 corresponds to the monitored side device.
  • the monitoring side device sends a predetermined monitoring signal to the monitored side device, and the monitoring side device depends on whether or not the answer returned from the monitored side device is correct. Is a method of determining whether or not is operating normally.
  • the monitored device generates a response signal corresponding to the monitoring signal input from the monitoring device and returns it to the monitoring device.
  • the monitored device is monitored when the content of the response signal received from the monitored device is different from the data corresponding to the transmitted monitoring signal, or when the response signal is not returned within a predetermined time limit. It is determined that the side device is operating abnormally.
  • the operation recording unit 30 may be reset.
  • the operation mode may be lowered to level 2 or less (that is, the operation support mode). According to the configuration that limits the operation mode to level 2 or lower based on the fact that the operation recording unit 30 is not operating normally, it is possible to reduce the risk of performing autonomous driving in a situation where various data may not be recorded. ..
  • the abnormality detection unit F8 may be configured to detect an internal abnormality of the automatic operation ECU 20.
  • the automatic operation ECU 20 includes a plurality of processing units 21, the plurality of processing units 21 may be configured to diagnose each other's operating conditions by performing bidirectional communication.
  • the operation state output unit F9 records the recognition result of the surrounding environment by the surrounding environment recognition unit F1, the recognition result of the driver's seat occupant by the occupant state recognition unit F2, the action plan data, the control data of the traveling actuator 18, and the like. Output sequentially to 30.
  • the action plan data includes the action content to be executed next, which is selected by the action planning unit F6, and control target values such as a target vehicle speed, a target acceleration, and a target running position.
  • the control data of the traveling actuator 18 represents the content of the control signal output to each traveling actuator 18.
  • the control data indicates, for example, the output voltage / current value to the various traveling actuators 18 corresponding to the control amount of the various traveling actuators 18.
  • the operation recording unit 30 provides a function corresponding to various functional blocks shown in FIG. 8 by executing a program stored in the storage 33. That is, the operation recording unit 30 includes an information acquisition unit G1, a recording target setting unit G2, a recording processing unit G3, and an abnormality detection unit G4 as functional blocks.
  • the information acquisition unit G1 includes a mode acquisition unit G11. Further, the operation recording unit 30 includes a recording target setting storage unit Md and a data storage unit Mm.
  • the recording target setting storage unit Md is a storage medium that stores data indicating a recording target for each operation mode (hereinafter, recording target setting data D1).
  • the data storage unit Mm is a data storage destination by the recording processing unit G3.
  • the recording target setting storage unit Md and the data storage unit Mm are each realized by using a part of the storage area included in the storage 33.
  • the recording target setting storage unit Md and the data storage unit Mm may be realized by using physically independent storage media. Further, a part or all of the data storage unit Mm may be provided outside the vehicle such as a server.
  • the data storage unit Mm includes an overwriteable area M1 and an overwrite prohibition area M2.
  • the overwriteable area M1 is an area in which the stored data can be overwritten with another data, in other words, the stored data can be deleted.
  • the overwrite prohibition area M2 is an area in which overwriting of the saved data is infeasible / prohibited.
  • the overwriteable area M1 and the overwrite prohibited area M2 may be logically partitioned by using a partition technique, or may be physically independent.
  • the overwrite prohibition area M2 may be realized by using a non-rewritable storage medium, or may be configured to prohibit data deletion by software.
  • the overwrite prohibition area M2 is a storage area set so that automatic data overwriting cannot be executed by software.
  • the overwrite-protected area M2 is not an essential element. In the data storage unit Mm, the overwriteable area M1 and the overwrite prohibited area M2 do not need to be clearly separated. The overwriteable area M1 and the overwrite prohibited area M2 may be separated by the concept of a folder. The overwrite prohibition area M2 may be configured so that the stored data can be deleted by an operation by a user or a specialized contractor, or by an instruction signal from a predetermined server.
  • each of the overwriteable area M1 and the overwrite prohibited area M2 has a capacity capable of recording a data set recorded by, for example, an event recording process described later for 2500 times.
  • the overwrite prohibition area M2 has a capacity capable of recording 2500 sets of the video signal for 35 seconds of the front camera 11a.
  • the recordable number of times may be 2000 or more. According to the capacity, it is possible to store data for about 6 months.
  • the information acquisition unit G1 sequentially acquires a plurality of types of information that can be recorded from various in-vehicle devices such as the automatic driving ECU 20 and the peripheral monitoring sensor 11, and adds information (so-called time stamp) indicating the acquired time. , Provided to the recording processing unit G3.
  • the occupant status data includes items such as whether or not the driver's occupant is awake, eyes on / off, hands on / off, and captured image data of the driver's face.
  • the occupant state data can include the pressure distribution detected by the seat sensor 12b, the output value of the handle sensor 12c (for example, the handle torque), and the like.
  • the mode notification status refers to the notification status to the occupants regarding the operating status of the automatic driving ECU 20. For example, it refers to the display content as the operation mode notification image 80.
  • the information acquisition unit G1 acquires a screenshot of the display 153 displaying the operation mode notification image 80 as the mode notification state by the HMI system 15.
  • the output signal from the automatic operation ECU 20 to the HMI system 15 and the output signal from the HCU 151 to various notification devices may be included in the mode notification state.
  • the driving location includes items such as position coordinates and road type.
  • the operating state of the automatic driving ECU 20 includes, for example, recognition result information of other vehicles and lane markings by the surrounding environment recognition unit F1, planned action information by the action planning unit F6, and control values determined by the control execution unit F7. Items such as are included.
  • the mode acquisition unit G11 acquires the operation mode information from the automatic operation ECU 20 and provides it to the recording target setting unit G2.
  • the acquisition interval of various data such as the operation mode by the information acquisition unit G1, the awake state, the eyes on / off, the hands on / off, the operation content, the body signal, the mode notification state, the running location, and the operating state of the automatic driving ECU 20 is 100, for example. It can be in milliseconds.
  • the specific value of the data acquisition interval can be changed as appropriate.
  • the data acquisition interval by the information acquisition unit G1 corresponds to the data storage interval by the recording processing unit G3, which will be described later.
  • the data acquisition interval may be dynamically changed depending on the situation.
  • the image data captured by the peripheral surveillance camera or DSM12a may be acquired as a continuous video signal.
  • the vehicle status may be included as a major classification of information that can be recorded.
  • the vehicle state includes items such as vehicle speed, acceleration, yaw rate, shift position, engine rotation speed, steering angle, and operating state of body-based in-vehicle equipment. This information can be acquired from the vehicle state sensor 13 and the body ECU 17.
  • the recording target setting unit G2 sets the information items to be recorded according to the current operation mode of the automatic operation ECU 20.
  • the recording target for each operation mode is changed in the manner shown in FIG. Specifically, in the level 0 to 2 mode, the operation mode, the time, the operation content of the driver's seat occupant, and the HMI notification state are set as recording targets.
  • recognition results such as driving mode, time, occupant awakening level, eyes on / off, hands on / off, face image, occupant operation details, HMI notification status, running position coordinates, road type, white line, etc.
  • the actuator control value is set as the recording target.
  • level 3 mode the driving mode, time, occupant awakening state, face image, body signal, mode notification state, running position coordinates, road type, front camera image, recognition result such as white line, scheduled action, and actuator control value are displayed.
  • level 4 mode driving mode, time, body signal, mode notification state, running position coordinates, road type, observation data of a plurality of peripheral monitoring sensors 11 including the front camera 11a, recognition results such as white lines, scheduled actions, and actuators.
  • control value as the recording target.
  • level 5 mode the operation mode, time, body signal, mode notification state, running position coordinates, observation data of a plurality of peripheral monitoring sensors 11 including the front camera 11a, recognition results such as white lines, scheduled actions, and actuator control values are displayed.
  • recognition results such as white lines, scheduled actions, and actuator control values are displayed.
  • the recording processing unit G3 has a configuration in which data of items set as recording targets by the recording target setting unit G2 is stored in the data storage unit Mm.
  • the recording processing unit G3 is configured to operate in two methods, a continuous recording method and an event recording method. That is, the recording processing unit G3 sequentially stores the recording target data acquired by the information acquisition unit G1 in the overwriteable area M1 as a constant recording method. The sequentially acquired data is, for example, saved in chronological order so that the latest data comes first. When the capacity of the overwriteable area is full, the recording processing unit G3 can delete old data and save new data.
  • the recording processing unit G3 executes event recording processing when a predetermined recording event occurs.
  • the event recording process is a process of saving the data to be recorded within a predetermined time before and after the event occurrence in the data storage unit Mm in an overwrite-prohibited format.
  • the recording processing unit G3 saves the recording target data within a predetermined time before and after the event occurrence time in the overwrite prohibition area M2 as the event recording processing.
  • the data recording destination associated with the occurrence of the recording event does not necessarily have to be the overwrite prohibition area M2. It may be the overwriteable area M1.
  • the data storage format associated with the occurrence of the recording event may also be a format that allows overwriting with new data.
  • the recording event for example, when the automatic operation level is lowered due to user operation, system limit, or exit of ODD, when AEB is activated, or when MRM is started, etc. can be adopted.
  • the case of lowering the automatic driving level includes a case of shifting from an autonomous driving mode such as a level 3 mode to a occupant involvement mode such as a level 2 mode.
  • the collision sensor detects an impact of a predetermined threshold value or more
  • the output value of the acceleration sensor exceeds the predetermined threshold value
  • the output value of the yaw rate sensor exceeds the predetermined threshold value.
  • the recording event may include the start of execution of an application such as ACC or LTC.
  • switching of the operation mode may be included in the recording event.
  • the recording event it may be adopted that the TTC or MTC calculated by the automatic operation ECU 20 is equal to or less than a predetermined recording threshold value.
  • the recording threshold is preferably set to a value indicating, for example, a state in which there is a high possibility of collision.
  • the recording threshold value for TTC can be 1.4 seconds to 1.6 seconds.
  • the recording threshold value for TTC can be 1.4 seconds to 1.6 seconds.
  • the recording threshold value for MTC can be a value of 1.0 or less (for example, 0.8 seconds).
  • the recording target period is, for example, the period from before the pre-time T ⁇ at the time of event occurrence to the elapse of the post-time T ⁇ .
  • the pre-time T ⁇ is set to, for example, 30 seconds
  • the post-time T ⁇ is set to 5 seconds. According to such a configuration, data for 35 seconds before and after the event occurrence can be stored.
  • the advance time T ⁇ may be, of course, 15 seconds, 30 seconds, 45 seconds, 60 seconds, or the like.
  • the post-time T ⁇ can also be set to 3 seconds, 10 seconds, or 15. The longer the pre-time T ⁇ and the post-time T ⁇ , the better the analyzability of the cause of the event such as an accident can be expected, but the risk of insufficient storage capacity increases.
  • the pre-time T ⁇ and the post-time T ⁇ are shortened, the possibility of insufficient storage capacity can be reduced, but the information necessary for investigating the cause of an accident or the like may be lacking.
  • the above-mentioned settings of 30 seconds before the event and 5 seconds after the event it can be expected that it is possible to sufficiently secure the analyzability of the cause of the event while reducing the shortage of the storage capacity.
  • the observation data of the peripheral monitoring sensor 11 for 35 seconds before and after is saved in a mode in which overwriting is prohibited, so that it is based on an objective fact. It is possible to analyze the cause of the accident.
  • various data stored in the overwriteable area M1 may be copied to the overwrite prohibited area M2.
  • the data after the event occurs may be additionally saved in the overwrite-protected area M2 in sequence.
  • the data stored in the data storage unit Mm may be encrypted and stored so that the contents cannot be referred to unless a predetermined software used by a data analyst is used.
  • the length of the recording target period may be changed according to the type and characteristics of the recording event.
  • the recording target period at the time of AEB operation may be set longer than the recording target period at the start of ACC in order to reliably grasp the history of the accident.
  • the recording target period for the start of ACC may be such that the period before and after the transition is surely included, for example, the pre-time time is 5 seconds and the post-time time is 3 seconds.
  • the recording target period at the time of transition from the level 5 mode to the level 4 mode may be set shorter than the recording target period at the time of transition from the level 3 mode to the level 2 mode.
  • the system is completed in the system (in other words, the occupant is not involved), so even if the setting is relatively short, no problem occurs.
  • the recording target period at the time of transition from the level 3 mode to the level 2 mode to be relatively long, the circumstances before and after the transfer of authority can be surely grasped.
  • the length of the recording target period may be configured so that a plurality of patterns are prepared and the length is selected according to the seriousness of the recording event and the degree of involvement of the occupants. It is preferable to set the recording target period longer as the degree of seriousness and the degree of involvement of the occupants are higher.
  • Recorded events with a high degree of severity include, for example, collision occurrence, AEB operation, and MRM execution.
  • a recording event with a high degree of occupant involvement is, for example, a transition from a level 3 mode to a level 2 mode. Not only in the level 3 mode, but also in the transition from the autonomous driving mode to the occupant involvement mode by overriding the occupant, the degree of occupant involvement is relatively high.
  • the sudden transition from level 3 mode to occupant involvement mode due to system limitations is relatively more serious than the transition from level 3 mode to occupant involvement mode, which was planned and foretold to the occupants. Is expensive.
  • the length of the recording period for each event can be set in consideration of the degree of seriousness and the degree of occupant involvement as described above. According to the configuration in which the recording target period is changed according to the characteristics of the event in this way, it is possible to store as much data as necessary for post hoc analysis. For example, the recording target period of an event with a relatively low degree of seriousness or occupant involvement can be set short, and the risk of storing unnecessary data can be reduced.
  • the recording processing unit G3 is configured to operate in two methods, a continuous recording method and an event recording method, but the present invention is not limited to this.
  • the recording processing unit G3 may be configured to execute data recording only when a predetermined recording event occurs. According to the configuration in which only the event recording process is executed, for example, the amount of data stored per month can be suppressed as compared with the configuration in which the constant recording method is adopted. Further, the recording processing unit G3 may be configured to operate only in the constant recording method.
  • the abnormality detection unit G4 has a configuration for determining whether or not the operation recording unit 30 itself and the automatic operation ECU 20 are operating normally.
  • a method for detecting an abnormality the above-mentioned methods such as a watchdog timer method and a homework answering method can be used.
  • the abnormality detection unit G4 may determine that the automatic operation ECU 20 is operating abnormally when its own watchdog timer expires without being cleared by the watchdog pulse input from the automatic operation ECU 20. ..
  • the abnormality detection unit G4 detects an internal abnormality of the operation recording unit 30, it notifies the automatic operation ECU 20 to that effect.
  • the occurrence of an internal abnormality may be detected based on the fact that the calculation result deviates from the normal range, the occurrence of an abnormal voltage, the output of an abnormal code, and the like.
  • Whether or not the operation recording unit 30 is operating normally may be diagnosed by an on-board diagnostics (OBD).
  • OBD on-board diagnostics
  • the abnormality detection unit G4 may be realized by using OBD.
  • OBD on-board diagnostics
  • the traveling power source is, for example, an ignition power source in an engine vehicle.
  • the system main relay corresponds to a driving power source.
  • the information acquisition unit G1 sequentially acquires various data and video signals. The acquisition of various information by the information acquisition unit G1 can also be included in step S1.
  • step S1 the mode acquisition unit G11 acquires operation mode information from the automatic operation ECU 20 and moves to step S2.
  • Step S1 corresponds to the mode acquisition step.
  • the recording target setting unit G2 determines the data type to be recorded based on the operation mode information acquired in step S1 and the recording target setting data D1 stored in the recording target setting storage unit Md.
  • Step S2 corresponds to the recording target setting step. If the operation mode has not changed since the last step S2 was performed, step S2 can be omitted.
  • step S3 the recording processing unit G3 saves a plurality of types of data set as recording targets in the data storage unit Mm in an overwriteable format together with a time stamp indicating the acquisition time.
  • the data to be recorded is saved in the overwriteable area M1 together with the time stamp.
  • step S3 corresponds to the recording step.
  • step S4 is executed.
  • step S4 the recording processing unit G3 determines whether or not a recording event has occurred based on various information (for example, acceleration, etc.) acquired by the information acquisition unit G1. If it is determined that a recording event has occurred, step S5 is executed. On the other hand, if it is not determined that the recording event has occurred, step S6 is executed. In step S5, the recording processing unit G3 saves the data to be recorded for a predetermined time before and after the present in the data storage unit Mm in an overwrite-prohibited format. For example, the above data set is stored in the overwrite prohibition area M2. When the process of step S5 is completed, the process proceeds to step S8. Note that step S5 also corresponds to an example of a recording step.
  • step S6 the abnormality detection unit G4 determines whether or not an abnormality has occurred in the operation recording unit 30. If an abnormality has occurred in the operation recording unit 30, step S7 is executed. On the other hand, if no abnormality has occurred in the operation recording unit 30, step S8 is executed. In step S7, the abnormality detection unit G4 outputs a signal indicating that the operation recording unit 30 is not operating normally to the LAN 99.
  • the automatic driving ECU 20 receives a signal indicating that the operation recording unit 30 is not operating normally via, for example, LAN99 during the autonomous driving mode, the automatic driving ECU 20 executes the authority transfer process to perform the operation mode of level 2 or lower. Move to.
  • the HMI system 15 When the HMI system 15 receives a signal indicating that the operation recording unit 30 is not operating normally, the HMI system 15 displays and outputs the signal to the display 153 or the like. When the operation recording unit 30 is not operating normally, the HMI system 15 may notify the occupant that the autonomous driving mode cannot be used due to the event.
  • step S6 it is determined whether or not the running power is turned off. If the driving power is off, this flow ends. On the other hand, when the traveling power supply is not off, that is, when the traveling power supply is still on, the process returns to step S1 and the processes after step S1 are repeated. According to such a configuration, various information according to the operation mode can be recorded by both the constant recording method and the event recording method while the running power is on.
  • the items to be recorded are changed according to the operation mode. For example, depending on the operation mode, whether or not to record data indicating the state of the driver's seat occupant, such as an image of the occupant's face, is changed. According to this configuration, the state of the driver's seat occupant is not always recorded. For example, in the level 4 to 5 modes in which the driver's seat occupant is not responsible for driving, it is possible to exclude the data indicating the state of the driver's seat occupant from the recording target. Therefore, the amount of stored data can be suppressed.
  • the face image of the driver's seat occupant captured by the DSM12a is set as the recording target as the data indicating the state of the driver's seat occupant.
  • the level 3 mode corresponds to an example of an operation mode in which the driver's seat occupant is responsible for driving.
  • the video signal of the front camera 11a is included in the recording target.
  • the observation data of other peripheral monitoring sensors 11 such as a millimeter wave radar is also recorded.
  • the control amount of various traveling actuators 18 by the automatic driving ECU 20 is also set as a recording target together with the recognition state and the judgment result of the surrounding environment.
  • the observation data of the peripheral monitoring sensor 11 is not always saved.
  • An operation mode in which the observation data of the peripheral monitoring sensor 11 is included in the recording target and an operation mode in which the observation data of the peripheral monitoring sensor 11 is not included are mixed.
  • the image of the front camera 11a is recorded in the level 3 to 5 modes and the authority transfer mode, but is not included in the recording target in the operation mode of the automatic operation level 2 or lower.
  • the image of the rear camera 11b, the image of the right side camera 11c, the image of the left side camera 11d, and the sensing data of the millimeter wave radar are included in the recording target in the level 4 to 5 modes, while being recorded in the mode of level 3 or lower. do not. According to such a configuration, the amount of data stored as an operation recording device of the automatic operation device can be further suppressed.
  • the recognition result of the system such as eyes on / off and the observation data such as the face image are recorded as a set as the state of the driver's seat occupant.
  • the recognition result of the system and the actual state of the driver's seat occupant can be compared and verified. Therefore, in the unlikely event that an accident occurs during the transfer of authority, it will be easier to verify where the responsibility lies. Even if there is a discrepancy between the recognition result of the occupant state by the system and the claim of the driver's seat occupant himself, it is possible to confirm the fact based on the face image data.
  • the recording target setting unit G2 includes the mode notification state in the recording target in each operation mode.
  • the mode notification state the screenshot of the display 153 set as the display destination of the operation mode notification image 80 is included in the recording target. According to such a configuration, it is possible to verify the credibility of the testimony of the driver's seat occupant when the testimony of the driver's seat occupant and the system record are different from each other in the operation mode at the time of an accident.
  • the automatic operation ECU 20 may execute automatic operation up to level 3.
  • the operation recording unit 30 may include a data set to be recorded up to level 3.
  • the automatic operation ECU 20 may include only modes corresponding to automatic operation levels 0, 2, and 4.
  • the operation mode of the automatic driving ECU 20 may be three stages of a completely manual driving mode, a driving support mode, and an autonomous driving mode.
  • the recording target setting storage unit Md may store the recording target setting data for each operation mode that can be provided by the automatic operation ECU 20.
  • the automatic driving ECU 20 may include an ODD inside / outside determination unit F51 that sequentially determines whether or not the surrounding environment of the own vehicle satisfies the ODD. ..
  • the ODD includes (a) the road is an expressway or a motorway with two or more lanes each way equipped with a median strip and guardrails, and (b) traffic signals and pedestrians are within the detection range of the peripheral monitoring sensor. It does not exist, etc.
  • ODD includes (c) rainfall is below a predetermined threshold, (d) there are no falling objects or vehicles parked on the street within a predetermined distance of the own vehicle, and (e) peripheral monitoring including an in-vehicle camera.
  • the sensor 11 is operating normally.
  • the conditions for determining whether automatic operation is possible / not possible, in other words, the detailed conditions for defining ODD can be changed as appropriate.
  • the ODD for the automatic operation level 4 may be set.
  • the ODD for autonomous driving level 4 is stricter than the ODD for autonomous driving level 3 in terms of the number of peripheral monitoring sensors operating normally (in other words, redundancy) and the allowable position estimation error. Conditions may be set.
  • the recording target setting unit G2 receives the determination result by the ODD inside / outside determination unit F51 and the sensor data as the basis for the determination in the level 3 to 4 modes. It may be set as a recording target.
  • the material for determining whether or not the ODD is satisfied is determined according to the content of the ODD.
  • the road type for example, the road structure (for example, the number of lanes), the weather information, the sensing information of the peripheral monitoring sensor 11, the presence or absence of a falling object, and the like can be adopted.
  • the recording target setting unit G2 records the calculated value of the remaining time to leave the ODD. It may be included in the target. For example, when a road section capable of autonomous driving is defined as ODD, the remaining time until the own vehicle leaves the road section corresponds to the remaining time for leaving ODD. More specifically, when the ODD is limited to the expressway, the time until exiting the expressway corresponds to the remaining time for leaving the ODD.
  • the recording target setting unit G2 always includes both the eye's on / off recognition result and the face image data in the recording target in the level 3 mode, while the ODD exit residual time is equal to or less than a predetermined threshold value in the level 4 mode. Both may be set as recording targets from the timing of In other words, the face image data is not saved when there is time to leave the ODD. According to such a configuration, the amount of data stored can be suppressed.
  • the recording processing unit G3 adopts as a recording event that the automatic driving ECU 20 (specifically, the ODD inside / outside determination unit F51) determines that the own vehicle has left the ODD or has left within a predetermined time. Is also good. Specifically, when the recording processing unit G3 determines that the own vehicle has left the ODD or has left the ODD within a predetermined time by the ODD inside / outside determination unit F51 in the level 3/4 mode, the determination is made. Judgment basis data, which is the material used, may be recorded in the data storage unit Mm. The determination basis data may be acquired by the automatic operation ECU 20. The storage destination of the judgment basis data is preferably the overwrite prohibition area M2. It is preferable that the judgment basis data is stored as a set with the judgment result, the judgment time, and the position information.
  • the operation recording unit 30 may be built in the automatic operation ECU 20.
  • the automatic operation ECU 20 may include an operation recording unit F30 corresponding to the operation recording unit 30.
  • peripheral surveillance cameras are not limited to four locations, front, back, left and right. As shown in FIG. 15, the front end, the rear end, the left and right side mirrors, the upper end of the windshield on the indoor side, and the indoor surface of the rear glass may be provided at six locations. Further, the roof portion may also be equipped with four peripheral surveillance cameras whose optical axes are directed to each of the diagonally right front, diagonally left front, diagonally right rear, and diagonally left rear. A large number of millimeter-wave radars may be provided in the same manner.
  • the automatic driving system 1 may include LiDAR that includes the front of the vehicle in the detection range and LiDAR that includes the rear of the vehicle in the detection range as the peripheral monitoring sensor 11.
  • LiDAR can be mounted, for example, on the roof.
  • the automatic driving system 1 may include a plurality of sonars having different detection ranges and installation positions as peripheral monitoring sensors 11. Sonar can be mounted on bumpers and side sills.
  • the combination of the peripheral monitoring sensors 11 for recording the observation data in the autonomous driving mode may be changed according to the driving scene, the action being executed, and the scheduled action.
  • the observation data of the sensor 11 may be excluded from the recording target.
  • Such a configuration is particularly suitable for a vehicle equipped with a large number (for example, eight or more) of peripheral surveillance cameras and the like, as shown in FIG. 15, for example. This is because the larger the number of peripheral monitoring sensors 11, the larger the amount of data.
  • the forward sensor in the following refers to the peripheral monitoring sensor 11 that includes the front in the detection range.
  • the front sensor can include a sensor whose detection range is diagonally forward left and right.
  • the peripheral monitoring sensor 11 whose main detection range is the rear is also referred to as a rear sensor.
  • the peripheral monitoring sensor 11 whose main detection range is the rear can be a sensor whose central axis of the detection range is oriented within 45 degrees from the rear of the vehicle.
  • the rear system sensor can include a sensor (for example, a right rear radar 11f) whose detection range is diagonally rear left and right.
  • the peripheral monitoring sensor 11 whose main detection range is the left / right side is also referred to as a lateral sensor.
  • the peripheral monitoring sensor 11 whose main detection range is the side can be a sensor whose central axis of the detection range is oriented within 45 degrees from the left-right direction.
  • FIG. 16 illustrates a combination of peripheral monitoring sensors 11 that record observation data for each scheduled action.
  • the observation data of the front sensor may be excluded from the recording target, while the observation data of the rear sensor may be excluded from the recording target.
  • the observation data of the side sensor may be recorded at a lower resolution or sampling rate than that of the front sensor.
  • the reason why the observation data of the side sensor is included in the recording target is that there is a demand for recording interruptions from adjacent lanes and acts of pulling the width.
  • the observation data of the rear system sensor may be recorded at a resolution or sampling rate lower than that of the observation data of the front system sensor even when the own vehicle is autonomously traveling along the road. ..
  • the observation data of the peripheral monitoring sensor 11 including the range from the diagonally right front to the diagonally right rear is included in the recording target, while other The observation data of the peripheral monitoring sensor 11 may be excluded from the recording target.
  • the observation data of the peripheral monitoring sensor 11 that includes the range from the diagonally left front to the diagonally rear left is included in the recording target, while the other peripheral monitoring sensors 11 Observation data may be excluded from the recording target.
  • the observation data of the front sensor and the rear sensor is recorded, while the observation of the side sensor is performed.
  • the data may be excluded from the recording target.
  • the observation data of the front sensor and the side sensor will be recorded, while the observation data of the rear sensor will be recorded. It may be excluded.
  • the observation data of the peripheral monitoring sensor 11 that is not related to the moving direction is excluded from the recording target during traveling, all the peripheral monitoring sensors 11 are executed when automatic parking or automatic warehousing is executed, or when the planned action is planned. Observation data of may be included in the recording target.
  • the observation data of all the peripheral monitoring sensors 11 may be included in the recording target regardless of the moving direction and the like.
  • the observation data of the peripheral monitoring sensor 11 including the direction requiring attention is included in the recording target, while the observation data of the other peripheral monitoring sensor 11 is recorded. Exclude from the target or reduce the amount of information and save. By excluding the observation data of some of the peripheral monitoring sensors 11 from the recording target in this way, the stored data can be suppressed.
  • the reason why the observation data of the front sensor is included in the recording target at the time of deceleration is that the reason for deceleration may exist ahead.
  • the direction that requires attention corresponds to the direction in which the risk of collision is high or the direction in which the own vehicle is about to move.
  • the recording target setting unit G2 may include the recognition result of the automatic operation ECU 20 in the direction in which the observation data is not included in the recording target.
  • the recognition result of the object can include, for example, the tagging state, the type, and the tracking state of the object in addition to the position information, the speed, and the moving direction.
  • the rough situation can be grasped by including the recognition state of the automatic driving ECU 20 based on the peripheral monitoring sensor 11 in the recording target. ..
  • the recording target setting unit G2 sets the observation data of the peripheral monitoring sensor 11 in the direction related to the action being performed (hereinafter, the current action) and the scheduled action in the autonomous driving mode, and the object recognition result (tagging) in the direction. It is preferable to set the state) as a set for recording.
  • the direction related to the current action and the scheduled action means, for example, from diagonally forward to diagonally backward on the lane change side in the case of a lane change.
  • the direction related to deceleration refers to the rear.
  • the direction related to parking can be, for example, omnidirectional.
  • the relevant directions when turning left or right can be forward and sideways. According to this configuration, it is possible to verify how the automatic driving ECU 20 recognizes based on the sensing information in the direction to be noted.
  • the above configuration corresponds to a configuration in which the automatic driving ECU 20 includes data indicating the behavior of another vehicle existing in a direction corresponding to the planned behavior of the own vehicle in the autonomous driving mode as a recording target.
  • the data showing the behavior of the surrounding vehicle refers to, for example, the observation data of the peripheral monitoring sensor 11 and the recognition result of the automatic driving ECU 20.
  • the recording target setting unit G2 when the own vehicle is provided with a lamp for notifying the operation mode to the outside as a lighting device (hereinafter, the operation mode notification light 51), the recording target setting unit G2 operates in the autonomous driving mode.
  • the lighting state of the mode notification lamp 51 may be set as the recording target. According to such a configuration, it is possible to verify whether or not the fact was properly notified to the outside in the autonomous driving mode.
  • the operation mode notification light 51 can be a device that clearly indicates whether the vehicle is in the autonomous driving mode or the occupant involvement mode, depending on whether or not the vehicle is lit and the lighting color.
  • the operation mode notification light may be controlled by the body ECU 17 based on the status information output by the automatic operation ECU 20.
  • the recording target setting unit G2 may include the operating state of the external communication device 52 in the recording target.
  • the external communication device 52 is a projector that projects an image for communicating with a pedestrian on a road surface or a window glass.
  • the external communication device 52 is provided in a posture in which the irradiation light hits the road surface or the window glass, for example, on a headlamp or a ceiling portion (for example, near the upper end of the window frame portion) in the vehicle interior.
  • the operating state of the external communication device 52 can include a display image on the road surface or the window glass.
  • Images for communicating with pedestrians include images to give way to pedestrians, images showing the direction of movement of the own vehicle, images showing the target parking position, and images to the effect that the own vehicle will send out soon. Images showing gratitude for the existence that gave way are assumed. According to the above configuration, it is possible to verify whether or not the communication between the autonomous vehicle and the pedestrian is properly performed.
  • the recording target setting unit G2 may set the identification information of another vehicle traveling around the own vehicle as the recording target in the autonomous driving mode.
  • the identification information of the peripheral vehicle can be, for example, the vehicle ID of another vehicle that is performing vehicle-to-vehicle communication with the own vehicle. Further, the identification information of peripheral vehicles may be the vehicle number written on the license plate. The vehicle number can be specified by recognizing the license plate as an image.
  • a recording event such as an accident occurs in the own vehicle, there is a possibility that information indicating the behavior of the own vehicle is recorded in the vehicle recording device of the surrounding vehicle.
  • the identification information of the surrounding vehicles in the recording target By including the identification information of the surrounding vehicles in the recording target, the vehicles existing in the vicinity at the time of the accident can be identified. In addition, it can be expected to collect objective data indicating the cause of the accident from the recording devices of other vehicles existing around the own vehicle.
  • the recording target setting unit G2 may include data indicating the behavior of surrounding vehicles in the recording target.
  • the behavior of surrounding vehicles refers to acceleration, overtaking, lane change, stop, deceleration, and the like.
  • dangerous acts such as Tailgating and road rage may be recorded.
  • the direction to be recorded may be limited to the direction related to the current movement and the scheduled behavior. For example, if you are planning to change lanes to the right side, information on your own lane and other vehicles traveling in the right lane will be included in the recording target, while you are traveling in the left lane of your vehicle. Vehicle information may be excluded from the recording target. According to such a configuration, it is possible to suppress the amount of data to be stored while recording useful information in the unlikely event of an accident.
  • the operation recording unit 30 When the operation recording unit 30 detects an accident / traffic violation of another vehicle during autonomous driving, it may report the observation data of the peripheral monitoring sensor 11 for a predetermined time before and after that to a predetermined center. Whether or not the other vehicle traveling in the surroundings is an autonomous driving vehicle can be determined based on the inter-vehicle communication or the lighting state of the driving mode notification light 51. Further, by recognizing an image of a sticker indicating that the vehicle is an autonomous vehicle, it may be determined whether or not the other vehicle is an autonomous vehicle.
  • the center to which traffic violations are reported is, for example, a center managed by the vehicle manufacturer.
  • the recording processing unit G3 may adopt as a recording event that the automatic driving ECU 20 requests the driver's seat occupant to take over the driving operation. Specifically, when the automatic driving ECU 20 executes the driving operation takeover request processing for the driver's seat occupant, the recording processing unit G3 stores the takeover factor data indicating the reason for the takeover request in the data storage unit Mm. It may be recorded in.
  • the takeover factor data indicating the reason for the takeover request is acquired from the automatic operation ECU 20. It is preferable that the transfer factor data is saved in the overwrite prohibition area M2. It is preferable that the takeover factor data is stored as a set with the judgment time, the position information, and the data indicating the driver's seat occupant status.
  • the recording processing unit G3 may adopt that the automatic operation ECU 20 has executed the MRM as a recording event. Specifically, when the automatic operation ECU 20 executes MRM, the recording processing unit G3 overwrites the data indicating the reason for executing MRM and the observation data of the peripheral monitoring sensor 11 during MRM execution in the overwrite prohibition area. It may be stored in M2. In addition, it is preferable to include pass plan data such as a stop target position and deceleration set during MRM travel as a recording target. It is preferable that the above-mentioned various data are stored as a set together with time information, position information, and data indicating the driver's seat occupant status.
  • the recording target setting unit G2 may set at least one of the positional relationship with the traffic light, the weather information, and the road surface condition as the recording target.
  • the positional relationship with the traffic light may be specified based on the high-precision map data.
  • the recording processing unit G3 sets the video signal of the front camera 11a for a predetermined time before and after the event occurrence and the data indicating the recognition result of the lighting state of the traffic light. It may be saved in the overwrite prohibition area M2 with. According to this configuration, it is possible to verify whether or not the cause of the accident is the erroneous recognition of the lighting state of the traffic light by the automatic driving ECU 20.
  • the vicinity of the intersection means within a predetermined distance (for example, 10 m) from the intersection.
  • the recording processing unit G3 may save data indicating whether or not the in-vehicle software is up-to-date in the overwrite prohibition area M2 at a predetermined timing. Verification of whether or not the software related to automatic driving is up-to-date may be realized by, for example, the automatic driving ECU 20 communicating with the center via the V2X on-board unit 16. Verification of whether the software is up-to-date may be performed at the timing when the driving power is turned on or when the driving power is turned off when instructed by the occupant. The recording process of the verification result of whether or not the software is in the latest state by the recording processing unit G3 may be executed, for example, at the timing when the above verification process is completed.
  • the driver's seat occupant In order to use the autonomous driving mode, the driver's seat occupant is required to maintain the vehicle in a state in which it can perform its original function. According to the above configuration, it is possible for the driver's seat occupant to verify whether or not the in-vehicle software has been properly updated.
  • the automatic driving ECU 20 receives a signal from the peripheral monitoring sensor 11 indicating that the object detection ability is reduced due to dirt such as mud and bird droppings adhering to the sensor surface. In that case, the occupant may be notified to that effect in cooperation with the HMI system 15. In such a configuration, the recording target setting unit G2 may record whether or not the occupant has properly responded to the above notification. Appropriate responses to the above notifications include, for example, switching to an operation mode that can be used without using a peripheral monitoring sensor whose detection capability is reduced, or temporarily stopping and wiping off sensor dirt. ..
  • Switching to an operation mode that can be used without using the peripheral monitoring sensor 11 whose detection ability is reduced refers to, for example, switching to an operation mode with a lower automation level.
  • the HMI system 15 may present to the occupant an operating mode / automation level that can be used without using the peripheral monitoring sensor 11 whose detection capability is reduced. According to the above configuration, it is possible to verify whether or not the autonomous driving mode is used in an unstable state of the system.
  • the data storage interval by the recording processing unit G3 may be adjusted according to the vehicle speed. For example, it may be every 50 milliseconds during high-speed driving, every 100 milliseconds during normal driving, and every 200 milliseconds during low-speed driving.
  • the low-speed running state can be defined as a state in which the vehicle speed is a predetermined first speed (for example, 30 km / h) or less.
  • the normal traveling state can be defined as a state in which the vehicle speed is higher than the first speed and is equal to or lower than the predetermined second speed (for example, 60 km / h).
  • High-speed driving can be defined as a state in which the vehicle speed is higher than the second speed.
  • the first speed may be 10 km / h, 20 km / h, or the like.
  • the second speed may be 80 km / h, 100 km / h, or the like.
  • the storage quality of the observation data (mainly image data) of the peripheral monitoring sensor 11 may also be changed according to the vehicle speed according to the same technical concept as described above. For example, the higher the vehicle speed, the higher the quality of storage. Further, the lower the vehicle speed, the lower the resolution or the frame rate may be reduced before saving.
  • the degree of reduction in resolution may be determined according to the vehicle speed. The degree of reduction in the frame rate may also be set larger as the vehicle speed is lower.
  • the data storage interval by the recording processing unit G3 in the autonomous driving mode may be adjusted according to the difficulty level of the action being executed or planned. For example, when traveling along a road, the storage interval may be sparser than when performing complicated control such as changing lanes. However, when turning left or right at an intersection, the storage interval may be sparser than when going straight at an intersection.
  • the difficulty level of the action can be set higher in the order of traveling along a road section without an intersection, changing lanes, going straight at an intersection, and turning left or right at an intersection. Even when traveling along a road, it may be further divided according to whether it is a sharp curve whose curvature is equal to or greater than a predetermined threshold value or a straight section.
  • the difficulty level of the action may be changed depending on whether or not the preceding vehicle exists.
  • various data are stored relatively densely when executing a highly difficult action (in other words, control). Therefore, post-hoc analysis in the event of an accident or the like can be improved.
  • control having a low degree of difficulty
  • various data are stored relatively sparsely, so that the amount of data stored can be suppressed.
  • the system recognition result such as eyes on / off is limited to the operation mode in which the system is responsible for driving, while the face image data is recorded in the operation mode in which the driver's occupant is responsible for driving. May also be included. Even with the above configuration, the amount of data stored can be reduced while maintaining the root cause analysis of the accident.
  • the operation mode in which the system is responsible for operation refers to, for example, the level 4/5 mode.
  • the operation mode in which the driver's seat occupant is responsible for the driver's seat refers to the level 0 to 3 mode.
  • the driving responsibility during MRM may be the driver's seat occupant. While the takeover request process is being performed, the face image data may be included in the recording target regardless of the operation mode.
  • the recording processing unit G3 may add verification information for preventing falsification and save the data.
  • the verification information for example, a hash value of the data to be saved can be adopted.
  • the hash value can be generated by using a predetermined hash function such as SHA-256.
  • the conditions under which the recording processing unit G3 executes the event recording processing may be changed according to the surrounding environment and the vehicle type of the own vehicle.
  • the recording conditions in fine weather may be set looser than the recording conditions in rainy weather.
  • the threshold value for recording acceleration, TTC, MTC, etc. may be different depending on whether the system-equipped vehicle as the own vehicle is a passenger car or the system-equipped vehicle is a large vehicle such as a truck or trailer. ..
  • the recording threshold value for TTC and MTC is set to a large value because it takes a relatively long time to brake a large vehicle such as a truck or a trailer.
  • the recording processing unit G3 may change the density of information to be stored (for example, storage interval, data compression rate, etc.) according to the system stability in the operation mode of level 3 or higher.
  • the system stability here is a control margin with respect to the limit of the automatic operation system 1.
  • the system stability may be evaluated by the automatic operation ECU 20 based on the output of various sensors and the recognition result of the surrounding environment. For example, the recording processing unit G3 makes the storage interval closer as the system stability calculated by the automatic operation ECU 20 is lower. Further, the recording processing unit G3 may increase the compression rate of the image data output by the peripheral monitoring camera as the system stability calculated by the automatic driving ECU 20 is higher. According to such a configuration, for example, the amount of information near the moment when the level 4 mode is changed to the level 3 mode or the moment when the automatic operation is changed to the manual operation is increased, and the analyzability of an accident or the like is improved.
  • the operation recording unit 30 may include a recording data management unit G5 that manages data stored in the data storage unit Mm.
  • the recorded data management unit G5 preferentially deletes other old data when the storage capacity is full so that the data related to the captured image of the front camera 11a remains, for example, for 6 months.
  • the image captured by the front camera 11a for the last one month is saved in a format equivalent to the observation data, while the data older than that may be saved by thinning out the data such as lowering the frame rate or the resolution.
  • a FullHD image as observation data generated by the front camera 11a may be converted into a VGA (Video Graphics Array) image with a reduced resolution at the timing when the storage period elapses for one month.
  • VGA Video Graphics Array
  • the format equivalent to the observation data also includes a storage format that maintains a predetermined quality.
  • the storage format of the observation data of the peripheral monitoring sensor 11 does not have to be completely the same as the output format of the front camera 11a, provided that quality and data resilience are guaranteed.
  • the output format of the observation data of the peripheral monitoring sensor 11 may be different from the storage format of the observation data by the recording processing unit G3.
  • the original data may be compressed and saved in a recoverable format.
  • Various formats such as HEVC (H.264) and HEVC (H.265) can be adopted as the storage format of the video data generated by the peripheral surveillance camera.
  • HEVC is an abbreviation for High Efficiency Video Coding. Still image data and video signals correspond to captured data.
  • the recording target setting unit G2 includes the recognition result of the system in the recording target (for example, in the autonomous driving mode)
  • the recording target setting unit G2 includes the information of the application running in the system and the version information of the software used in the recording target. You may.
  • the operation recording unit 30 may be configured to record the information of the operation software sequentially or at a predetermined timing in the automatic operation ECU 20 or the like in the autonomous driving mode. This is because the recognition logic and the judgment logic may differ depending on the software version.
  • the software that was operating in the system includes software that was operating inside the device that constitutes the automatic driving system 1, such as the automatic driving ECU 20 and the peripheral monitoring sensor 11.
  • the type information of the application that was operating in the system is recorded sequentially or at the timing when the operating state of the application changes.
  • the software version information such as recognition used by the system may be recorded at the timing when the software update is performed, or may be recorded at the timing when a predetermined recording event occurs.
  • the software version information may be recorded every trip or every predetermined period (for example, 24 hours). The trip here refers to traveling from when the driving power is turned on to when it is turned off.
  • the recognition result of the automatic operation ECU 20 and the content of the control instruction are recorded in association with the version information of the recognition software used at that time. Therefore, for example, when a recording event occurs, it is possible to analyze the cause including what kind of software was operating / used.
  • the above information may be included in the recording target when a recording event such as an accident occurs.
  • a plurality of data to be recorded can be classified and stored for each device as an information source.
  • Each data may be individually time stamped.
  • various data may be collectively recorded with one time stamp.
  • the operating states of a plurality of types of devices at each time may be grouped and saved for each time. According to a configuration in which data having a common occurrence / acquisition time are given the same time stamp and are grouped and stored, it becomes easy to analyze the interaction / interaction between the elements.
  • the management mode of the stored data may be for each device or for each time.
  • the recording processing unit G3 may assign an event ID for each recording event and store various recording target data.
  • various stored data may be classified for each recording event, and data having a common occurrence / acquisition time may be grouped by the same time stamp.
  • the time information corresponding to the time stamp is expressed by the concept of year / month / day / hour / minute / second, but the present invention is not limited to this.
  • the time stamp may be expressed in epoch seconds.
  • the time stamp may be expressed in Coordinated Universal Time (UTC).
  • the time stamp may include data for a time finer than 1 second (for example, several milliseconds).
  • the content of the recording target setting data D1 stored in the recording target setting storage unit Md is changed in the recording target setting data D1 stored in the recording target setting storage unit Md, for example, based on an instruction from the server. You may.
  • the recording target setting data D1 may also be configured to be updatable by wireless communication with the server as a part of the software. Further, the content of the recording target setting data D1 may be configured to be changeable by the operation of the driver's seat occupant within a predetermined allowable range.
  • the operation recording unit 30 may upload data older than a certain time to the server and delete it from the data storage unit Mm.
  • the storage area provided in the external server may be used as a part or all of the data storage unit Mm.
  • the overwrite-protected area M2 may be realized by using the storage on the cloud.
  • the process of wirelessly transmitting the data to be recorded to the cloud server / cloud storage as the data storage unit Mm in collaboration with the V2X on-board unit 16 is also included in the process of sequentially storing the data to be recorded in the data storage unit Mm.
  • the remote operator corresponds to the above-mentioned driver's seat occupant.
  • the system-equipped vehicle as the own vehicle is a robot taxi / unmanned operation bus equivalent to level 3
  • the operator corresponds to the driver's seat occupant.
  • the automatic operation system 1 is configured such that a plurality of ECUs 41 to 46 execute recognition processing based on observation data by the peripheral monitoring sensor 11 associated with the own device and output the recognition process to LAN99. It may have been done.
  • the peripheral monitoring sensor 11 is provided with a front camera ECU 41, a peripheral monitoring camera ECU 42, a front radar ECU 43, a rear side radar ECU 44, a sonar ECU 45, and a LiDAR-ECU 46, and each of the ECUs 41 to 46 is associated with the peripheral monitoring sensor 11. It may be configured to perform recognition processing based on observation data.
  • the automatic operation ECU 20 can be configured to acquire recognition results from each ECU, integrate them (so-called fusion), and execute control determination.
  • the front camera ECU 41 is an ECU that performs recognition processing on the image captured by the front camera 11a.
  • the peripheral monitoring camera ECU 42 is an ECU that performs recognition processing on an image captured by a peripheral monitoring camera 11h such as a rear camera 11b.
  • the front radar ECU 43 is an ECU that recognizes the position, relative speed, type, etc. of an object existing in front of the vehicle by analyzing the distance measurement result of the front radar 11e, that is, the reception intensity for each detection direction and distance. ..
  • the rear side radar ECU 44 is an ECU that recognizes the position, relative velocity, type, and the like of an object existing on the rear side by analyzing the distance measurement result of the rear side radar 11i.
  • the rear side radar 11i includes a right rear radar 11f and a left rear radar 11g.
  • the sonar ECU 45 is an ECU that estimates the position of an object, more preferably its height and type by analyzing the distance measurement result of the sonar 11j.
  • the LiDAR-ECU 46 is an ECU that identifies the position and type of an object existing in the detection range by analyzing the three-dimensional point cloud data (in other words, distance image data) generated by LiDAR11k.
  • Each ECU 41 to 46 may be integrally configured with the sensor.
  • the automatic driving ECU 20 acquires observation data from each peripheral monitoring sensor 11 and performs recognition processing based on each observation data, fusion processing, and control determination. It may be configured to run.
  • the configuration for performing recognition processing includes an image system ECU 47 that collectively recognizes image data such as a camera and LiDAR, and a distance measurement system ECU 48 that comprehensively performs recognition based on distance measurement data. It may be separated into.
  • the image system ECU 47 and the distance measuring system ECU 48 may be built in the automatic operation ECU 20.
  • the configuration of the operation recording unit 30 can be changed as appropriate, and may be divided into a plurality of units, for example.
  • the image system recording unit 30a that records the camera image such as the front camera 11a and the recognition result based on the camera image is independent of the unit that records data other than the above. It may be arranged.
  • the unit for recording data excluded from the recording target of the video recording unit 30a is referred to as a non-video recording unit 30b.
  • the video recording unit 30a may be integrated with, for example, a navigation device or a front camera 11a.
  • the video recording unit 30a and the non-video recording unit 30b have a configuration in which the functions of the operation recording unit 30 described above are dispersed, and the description of the operation recording unit 30 can be used for specific configurations and operations.
  • the time information of each unit is synchronized by transmitting and receiving a synchronization signal (for example, a pulse signal or the like).
  • a synchronization signal for example, a pulse signal or the like.
  • the video recording unit 30a and the non-video recording unit 30b are configured to synchronize by transmitting and receiving synchronization signals to each other. This is because the video recording unit 30a and the non-video recording unit 30b can add a time stamp by using common time information.
  • the control unit and its method described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to execute one or a plurality of functions embodied by a computer program.
  • the processing units 21 and 31 may be realized by combining a plurality of types of processors such as a CPU, an MPU, a GPU (Graphics Processing Unit), a DFP, and an NPU. Further, for example, some of the functions to be provided by the processing units 21 and 31 may be realized by using an FPGA (Field-Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), or the like.
  • the apparatus and the method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit. Further, the apparatus and methods thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • the computer program is stored in a computer-readable non-transitory tangible storage medium as an instruction executed by the computer.
  • Various storage media such as HDD (Hard-disk Drive), SSD (Solid State Drive), EPROM (Erasable Programmable ROM), flash memory, USB memory, and SD (Secure Digital) memory card are used as program storage media. It is possible.
  • the present disclosure also includes the following technical ideas.
  • the following automatic operation processing unit corresponds to the automatic operation ECU 20.
  • a vehicle recording device that records the operating state of the automatic driving processing unit (20), which is a computer that is used in vehicles equipped with an automatic driving function and provides the automatic driving function.
  • An information acquisition unit (G1) that acquires multiple types of information that can be recorded from sensors mounted on the vehicle, and An operation mode acquisition unit (G11) that acquires a signal indicating an operation mode corresponding to the operation state of the automatic operation processing unit, and an operation mode acquisition unit (G11).
  • Recording target setting unit (G2) that changes the recording target according to the operation mode, It is provided with a recording processing unit (G3) that executes a process of saving information corresponding to the recording target set by the recording target setting unit in a data storage unit (Mm) realized by using a predetermined storage medium.
  • the setting of the recording target for each operation mode is configured to be changeable by wireless communication with a predetermined server. According to this configuration, the recording target for each operation mode can be changed at any time. Therefore, it is possible to flexibly respond to amendments to laws and regulations.
  • the recording target setting unit includes the observation data of the peripheral monitoring sensor whose detection direction is the rear and the automatic driving processing unit for the rear. Set the environment recognition result as the recording target. According to this configuration, information in the front-back direction where there is a possibility of collision is recorded as raw data, but observation data in the left-right direction, which has a low risk, is excluded from the recording target. Therefore, it is possible to suppress the amount of stored data while maintaining post-hoc analysis.
  • the recording target setting unit includes observation data of peripheral monitoring sensors whose detection directions are forward and left and right. Set the environment recognition result of the automatic operation processing unit for the front and left and right as the recording target. According to this configuration, raw data in the front and left-right directions where there is a possibility of collision with an oncoming vehicle or a pedestrian crossing the road is recorded, but low-risk rear observation data is excluded from the recording target. Will be done. Therefore, it is possible to suppress the amount of stored data while maintaining post-hoc analysis.
  • the automatic driving processing unit cooperates with the HMI system to reduce the detection capability of the peripheral monitoring sensor for the driver's seat occupants. It executes the process of notifying that it is In response to the above notification, the recording processing unit has performed an operation within a predetermined time for the driver's seat occupant to switch the operation mode to an operation mode that can be used without using the sensor whose detection ability is deteriorated. To record. According to this configuration, it is possible to verify whether the driver's seat occupant was using the automatic driving device in a state where the original function was exhibited.
  • the recording processing unit stores data indicating whether or not the software of the automatic driving processing unit is up-to-date in the data storage unit based on whether the driving power is turned on or off. According to this configuration, it is possible to verify whether the driver's seat occupant was using the automatic driving device in a state where the original function was exhibited.
  • the data storage unit includes an overwriteable area (M1) in which data can be deleted and an overwrite prohibition area (M2) in which data cannot be deleted.
  • the recording processing unit While the data that has been set as the recording target by the recording target setting unit and is acquired by the information acquisition unit is saved in the overwriteable area, When a predetermined recording event occurs, the data acquired within the past predetermined time from the time of occurrence is saved in the overwrite prohibition area.
  • the recording event includes leaving the ODD, executing the MRM, lowering the automatic driving level, overriding by the driver's seat occupant, and the like. According to this configuration, it is possible to reduce the possibility that the data indicating the situation at the time of the event is deleted.
  • the recording processing unit adds a hash value for falsification prevention to the data set as the recording target and saves it. According to the above configuration, the possibility that a part of the stored data is falsified can be reduced. Alternatively, if the stored data has been tampered with illegally, it is possible to detect that fact.
  • the observation data of the peripheral monitoring sensor includes an image taken by the front camera (11a) that captures the front of the vehicle.
  • the data management unit (G5) that manages the stored data in the data storage unit is provided so that the data related to the image captured by the front camera in the autonomous driving mode is stored for a predetermined period.
  • the predetermined period can be set to 6 months or 3 months. According to this configuration, data indicating the forward situation during autonomous driving is likely to remain.
  • the data management unit saves the captured image data of the front camera in the observation data or a data format that maintains a predetermined resolution for the last month, while the data captured in the past lowers the resolution or frame rate. Save in the format. According to this configuration, the amount of data stored can be suppressed. Further, since the latest data having high usefulness is saved in a format having a large amount of information, it is possible to reduce the possibility that the analytic property such as the cause of the accident is impaired.
  • the automatic driving processing unit includes at least one of a level 3 mode corresponding to automation level 3, a level 4 mode corresponding to automation level 4, and a level 5 mode corresponding to automation level 5 as autonomous driving modes.
  • the control margin of the autonomous driving function is evaluated based on the output of the in-vehicle sensor.
  • the recording processing unit changes the density of information stored in the data storage unit according to the control margin.
  • the control margin corresponds to the stability of the system. According to this configuration, the amount of data stored increases in a situation where the control margin is low, so that post-hoc analysis is improved. On the other hand, the amount of data stored can be suppressed under a situation where the control margin is high.
  • An automatic driving device that provides an automatic driving function that allows a vehicle to drive autonomously. Equipped with multiple operation modes with different levels of automation of driving operations
  • the peripheral environment recognition unit (F1) that recognizes the surrounding environment including the positions of other moving objects based on the observation data of the peripheral monitoring sensor, and
  • a mode control unit (F5) that switches the operation mode based on at least one of the recognition result of the surrounding environment recognition unit and the operation of the occupant in the driver's seat.
  • the action planning unit (F6) that generates an action plan including the next action to be implemented based on the recognition result of the surrounding environment recognition unit
  • a control execution unit (F7) that determines the control amount of the traveling actuator based on the action plan generated by the action planning unit and outputs a control signal to the traveling actuator is provided.
  • the operating state output unit outputs the observation data of the peripheral monitoring sensor in the direction related to the scheduled behavior and the recognition result by the environment recognition unit for the direction related to the scheduled behavior to the recording device as a data set for recording. do.
  • the operating state output unit performs at least a part of diagonally forward, lateral, and diagonally rearward on the lane change direction side when a lane change to the right or left side is planned as a scheduled action.
  • the observation data of the peripheral monitoring sensor included in the detection range and the recognition result of the peripheral environment recognition unit in the above direction are output to the recording device as a data set for recording.
  • the operating state output unit records the observation data of the peripheral monitoring sensor with the rear as the detection direction and the recognition result of the peripheral environment recognition unit for the rear when deceleration is planned as the scheduled action in the autonomous driving mode. Output to the recording device as a data set of.
  • An automatic driving device that provides an automatic driving function that automatically drives a vehicle.
  • the operation modes include a level 3 mode corresponding to automation level 3, a level 4 mode corresponding to automation level 4, and a occupant involvement mode in which at least a part of the driving operation is left to the driver's seat occupant.
  • the peripheral environment recognition unit (F1) that recognizes the surrounding environment including the positions of other moving objects based on the observation data of the peripheral monitoring sensor, and A mode control unit (F5) that switches the operation mode based on at least one of the recognition result of the surrounding environment recognition unit and the operation of the occupant in the driver's seat.
  • the occupant status recognition unit (F2) that acquires occupant status data indicating the status of the driver's seat occupant from the occupant status sensor (12a), and the occupant status recognition unit (F2).
  • a recording processing unit (G3) for recording occupant status data is provided.
  • the recording processing unit In level 3 mode, occupant status data is recorded and In the level 4 mode, the occupant status data is recorded when the remaining exit time, which is the remaining time until exiting the operation design area set for the vehicle, is less than a predetermined threshold value, while the remaining exit time. Is configured not to record occupant status data when is greater than or equal to the threshold value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

運行記録ユニット(30)は、情報取得部(G1)と、記録対象設定部(G2)と、記録処理部(G3)を備える。情報取得部(G1)は、車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する。記録対象設定部(G2)は、自動運転ECU(20)の運転モードに応じて記録対象を変更する。記録処理部(G3)は、記録対象設定部(G2)が設定した記録対象に該当する項目についてのデータをデータ格納部(Mm)に逐次保存する。運転モードに応じて記録対象とする項目が変更されるため、事故等の原因解析等に際して有用性の低いデータを記録対象から除外可能となる。その結果、保存されるデータ量を抑制できる。また、原因解析に必要な項目は記録対象として残すことができる。故に、事故原因の解析性を向上可能となる。

Description

車両用記録装置、情報記録方法 関連出願の相互参照
 この出願は、2020年4月29日に日本に出願された特許出願第2020-79895号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 本開示は、車両の走行時の車両内及び車室外の少なくともいずれか一方の状況を示すデータを記録する車両用記録装置及び情報記録方法に関する。
 これまで車両用記録装置として、衝突や急ブレーキ等の所定のイベントが発生した場合にイベント発生時点の前後所定時間の車載カメラの撮影映像を記録する装置や、車載カメラの映像を常時記録するドライブレコーダなどが提案されている。例えば、特許文献1には、常時記録型のドライブレコーダとして、フロントカメラの映像データと、車室内音声データと、運転モード情報と、を対応付けて保存する構成が開示されている。特許文献1における運転モード情報は、自動運転か手動運転かを示すものである。
特開2018-124823号公報
 自動運転機能が搭載されている車両では、自動運転時の事故の発生原因や、事故責任がシステムにあるのかドライバにあるのか等を後から客観的に解析可能に構成されていることが要求されている。そのため、従来技術では記録対象に含まれていなかったようなセンサ/ECUのデータも記録する必要性が生じている。また、自動運転機能を備えた車両には、より一層多くのセンサ/ECUが搭載されることが想定される。つまり、これまで以上に多くのデータを記録する必要がある。そのような需要に対して従来技術をそのまま転用すると、保存すべきデータ量が膨大となってしまう。
 本開示は、この事情に基づいて成されたものであり、その目的とするところは、データの保存量を抑制しつつ、事故原因の解析性を高めることができる車両用記録装置、及び情報記録方法を提供することにある。
 その目的を達成するための車両用記録装置は、自動運転機能が搭載された車両で使用され、自動運転機能を提供するコンピュータである自動運転処理部の作動状態を記録する車両用記録装置であって、車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部と、自動運転処理部の動作状態に対応する運転モードを示す信号を取得する運転モード取得部と、運転モードに応じて記録対象を変更する記録対象設定部と、記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部に保存する処理を実行する記録処理部と、を備え、記録対象となり得る複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、記録対象設定部は、運転モードに応じて、乗員状態データを記録対象に設定するか否かを切り替える。
 上記の構成では、運転モードに応じて運転席乗員の状態を示すデータ(例えば顔部画像)を記録対象とするか否かが変更される。このような構成によれば、運転席乗員の状態を常時記録するわけでない。例えば運転席乗員に運転責任が発生しない運転モードでは、運転席乗員の状態を示すデータを記録対象から除外することが可能となる。故に、保存されるデータ量を抑制できる。また、例えば所定の運転モードにおいては、運転席乗員の状態が記録されるため、事故が生じた際の運転席乗員の状態を特定可能となる。ひいては、事故原因や責任所在の事後解析性を高めることができる。つまり、上記構成によれば、データの保存量を抑制しつつ、事故原因の解析性を高めることができる。
 また、上記目的を達成するための情報記録方法は、自動運転機能を提供するコンピュータである自動運転処理部の作動状態を記録するための、プロセッサによって実行される情報記録方法であって、車両に搭載されたセンサ類から、記録対象となりうる複数種類の情報を取得するとともに、自動運転処理部の動作状態に対応する運転モードを示す信号を取得するモード取得ステップと、運転モードに応じて記録対象を変更する記録対象設定ステップと、記録対象設定ステップで設定された記録対象に該当する情報を、所定の記憶媒体を用いて実現されているデータ格納部に保存する記録ステップと、を備え、記録対象となり得る複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれており、記録対象設定ステップは、運転モードに応じて、乗員状態データを記録対象に設定するか否かを切り替えるように構成されている。
 上記構成によれば、車両用記録装置と同様の作用により、データの保存量を抑制しつつ、事故原因の解析性を向上可能となる。
 なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
自動運転システム1の全体構成を示すブロック図である。 周辺監視センサ11の一例を示した図である。 乗員状態センサ12の一例を示す図である。 ロケータ14の構成を示すブロック図である。 HMIシステム15の構成を示すブロック図である。 運転モード通知画像80の一例を示す図である。 自動運転ECU20の構成を示すブロック図である。 運行記録ユニット30の構成を示すブロック図である。 データ格納部Mmの構成を説明するための概念図である。 運転モードと記録対象とする項目の対応関係の一例を示した図である。 記録処理部G3によるイベント記録処理の記録対象期間を示した図である。 運行記録ユニット30の作動を示すフローチャートである。 ODD内外判定部F51と運行記録ユニット30の相互作動について説明するための図である。 自動運転ECU20の変形例を示すブロック図である。 周辺監視センサ11の搭載数の変形例を示す図である。 自律走行モード時における予定行動と、観測データを記録対象とする周辺監視センサ11の対応関係の一例を示す図である。 自動運転システム1の構成の変形例を示す図である。 運行記録ユニット30の構成の変形例を示すブロック図である。 運行記録ユニット30によるデータの記録態様の一例を示す図である。 運行記録ユニット30によるデータの記録態様の他の例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。
 以下、本開示の実施形態について図を用いて説明する。図1は、本開示の車両用記録装置を適用してなる自動運転システム1の概略的な構成の一例を示す図である。図1に示すように自動運転システム1は、周辺監視センサ11、乗員状態センサ12、車両状態センサ13、ロケータ14、HMIシステム15、V2X車載器16、ボディECU17、自動運転ECU20、及び、運行記録ユニット30を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。また、HMIは、Human Machine Interfaceの略である。V2XはVehicle to X(Everything)の略で、車を様々なものをつなぐ通信技術を指す。単にシステムと記載した場合には、自動運転システム1を指すものとする。
 自動運転システム1を構成する上記の種々の装置またはセンサは、ノードとして、車両内に構築された通信ネットワーク(以降、LAN:Local Area Network)99に接続されている。LAN99に接続されたこれらのノードは相互に通信可能である。なお、特定の装置同士は、LAN99を介することなく直接的に通信可能に構成されていてもよい。例えば自動運転ECU20と運行記録ユニット30とは専用線によって直接的に電気接続されていても良い。また、図1においてLAN99はバス型に構成されているが、これに限らない。ネットワークトポロジは、メッシュ型や、スター型、リング型などであってもよい。ネットワーク形状は適宜変更可能である。LAN99の規格としては、例えばController Area Network(以降、CAN:登録商標)や、イーサネット(イーサネットは登録商標)、FlexRay(登録商標)など、多様な規格を採用可能である。
 以降では自動運転システム1が搭載されている車両を自車両とも記載するとともに、自車両の運転席に着座している乗員(つまり運転席乗員)をユーザとも記載する。なお、以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向を規定した水平面の鉛直方向に沿って規定される。
 <各構成要素の概要>
 周辺監視センサ11は、自車両周辺の外部環境についての情報を収集する装置である。周辺監視センサ11としては、例えば、カメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、ソナー等を採用することができる。なお、ミリ波レーダは、所定方向に向けてミリ波又は準ミリ波を送信するとともに、当該送信波が物体で反射されて返ってきた反射波の受信データを解析することにより、自車両に対する物体の相対位置や相対速度を検出するデバイスである。ミリ波レーダは、検出結果として、例えば検出方向及び距離毎の受信強度及び相対速度を示すデータまたは検出物の相対位置及び受信強度を示すデータを生成する。LiDARは、レーザ光を照射することによって、検出方向ごとの反射点の位置を示す3次元点群データを生成するデバイスである。
 ここでは一例として自動運転システム1は図2に示すように、前方カメラ11a、後方カメラ11b、右側方カメラ11c、左側方カメラ11d、前方レーダ11e、右後方レーダ11f、及び左後方レーダ11gを周辺監視センサ11として備える。前方カメラ11a、後方カメラ11b、右側方カメラ11c、及び左側方カメラ11dは周辺監視カメラとも称することができる。
 前方カメラ11aは、車両前方を所定の画角で撮像するカメラである。前方カメラ11aは、例えばフロントガラスの車室内側の上端部や、フロントグリル等に配置されている。前方カメラ11aとして、フロントガラスの車室内側の上端部に配置されてあって相対的に遠方を撮像可能に構成されたカメラとは別に、相対的に広角かつ近距離を撮像するように構成された周辺監視用のカメラを備えていても良い。後方カメラ11bは、車両後方を所定の画角で撮像するカメラである。後方カメラ11bは、例えばリアナンバープレート付近やリアウインドウ付近など、ボディ背面部の所定位置に配置されている。なお、周辺監視センサ11の搭載位置の説明において、或る部材の「付近」とは、当該部材から例えば30cm以内となる範囲を指す。例えばナンバープレート付近とはナンバープレートから30cm以内となる範囲を指す。右側方カメラ11c及び左側方カメラ11dは、車両側方を所定の画角で撮像するカメラであって、例えばサイドミラーやボディの左右側面の所定位置(例えばAピラーの付け根付近)に配置されている。
 前方レーダ11eは、車両前方に向けて探査波を送信することにより、車両前方の所定範囲を検出範囲とするミリ波レーダであって、例えば、フロントグリルや、フロントバンパに設置されている。右後方レーダ11fは、車両右後方に向けて探査波を送信することにより、車両右後方の所定範囲を検出範囲とするミリ波レーダであって、例えば、リアバンパの右側コーナー部に設置されている。左後方レーダ11gは、車両左後方に向けて探査波を送信することにより、車両左後方の所定範囲を検出範囲とするミリ波レーダであって、例えば、リアバンパの左側コーナー部に設置されている。
 上記の種々の周辺監視センサ11は、例えば、所定の検出対象物を検出するとともに、当該検出物の自車両に対する相対位置等を特定する。そして、検出物の位置や種別等を示す検出結果データを、自動運転ECU20及び運行記録ユニット30(以降、自動運転ECU20等)に逐次提供する。ここでの検出対象物とは、例えば、歩行者、人間以外の動物、他車両、道路沿いに設置される構造物などである。他車両には自転車や原動機付き自転車、オートバイも含まれる。道路沿いに設置される構造物とは、例えば、ガードレール、縁石、樹木、電柱、道路標識、信号機などである。また、本実施形態ではより好ましい態様として、走行区画線等の路面標示や、路上の落下物なども周辺監視カメラの検出対象物として登録されているものとする。
 周辺監視センサ11は、例えば画像データなど、物体認識に用いた観測データも、LAN99を介して自動運転ECU20等に提供する。例えば前方カメラ11aは、車両の前方を撮影した観測データとしての画像データと、画像データの解析結果を出力する。また、ミリ波レーダの観測データとは、検出方向及び距離毎の受信強度及び相対速度を示すデータまたは検出物の相対位置及び受信強度を示すデータを指す。超音波センサの観測データとは、測距結果を指す。LiDARの観測データとは3次元点群データである。観測データは、センサが観測した生のデータ、あるいは認識処理が実行される前のデータに相当する。
 なお、観測データに基づく物体認識処理は、自動運転ECU20など、センサ外のECUが実行しても良い。その場合、周辺監視センサ11としてのカメラやミリ波レーダは、画像データや測距データといった観測データを検出結果データとして自動運転ECU20に提供すればよい。各種周辺監視センサ11は、内部故障等が生じると、エラー信号をLAN99に出力する。例えば前方カメラ11aは、撮像素子や処理回路の異常を検出すると、エラー信号を出力する。
 乗員状態センサ12は、運転席乗員の状態を示す指標情報を逐次検出するセンサである。運転席乗員の状態を示す指標情報としては、運転席乗員の顔画像や、上半身画像、運転席の着座面に作用する圧力の分布、ハンドルの把持状態などを採用することができる。また、心拍数、呼吸間隔、脳波などの生体情報もまた、運転席乗員の状態を示す指標情報として採用可能である。例えば自動運転システム1は乗員状態センサ12として、図3に示すように、ドライバステータスモニタ(以降、DSM:Driver Status Monitor)12a、シートセンサ12b、及びハンドルセンサ12cを備える。なお、自動運転システム1はこれらすべてのセンサを備えている必要はない。また、これら以外のセンサを乗員状態センサ12として備えていても良い。例えば、体温や脈拍を測る腕時計型のウェアラブルデバイスを乗員状態センサ12として備えていても良い。
 DSM12aは、運転席乗員の顔画像に基づいて運転席乗員の状態を逐次検出する。具体的には、DSM12aは、近赤外カメラを用いて運転席乗員の顔部を撮影し、その撮像画像に対して画像認識処理を施すことで、運転席乗員の顔の向きや視線方向、瞼の開き度合い等を逐次検出する。DSM12aは、運転席に着座している乗員の顔を撮影可能なように、例えば運転席のヘッドレスト部に近赤外カメラを向けた姿勢にて、ステアリングコラムカバーの上面や、インストゥルメントパネルの上面、ルームミラー等に配置されている。
 近赤外カメラによる撮像画像は、図示しない制御ユニットによって画像解析される。また、DSM12aの制御ユニットは、顔の向きや視線方向、瞼の開き度合い、瞬きの頻度や間隔等を総合的に鑑みて、運転席乗員の覚醒度合いを推定する。DSM12aは、撮影画像から特定した運転席乗員の顔の向きや、視線方向、瞼の開き度合い、覚醒度合い等を示す情報を乗員状態データとしてLAN99へ逐次出力する。また、本実施形態ではより好ましい態様として、DSM12aは、運転席乗員の顔画像データを自動運転ECU20等に提供する。運転席乗員の顔画像データは運転席乗員の覚醒度合い等の判断材料であって、DSM12aを構成する近赤外カメラの観測データに相当する。なお、近赤外カメラによる撮像画像を解析する機能は、自動運転ECU20が備えていても良い。その場合、DSM12aは、近赤外カメラによる撮像画像を出力するように構成されていればよい。画像データは映像信号の形式で出力されてもよい。
 シートセンサ12bは、運転席の背もたれ部や着座面に作用する圧力の分布に基づいて運転席乗員の状態を逐次検出する。シートセンサ12bの出力信号は、運転席乗員が運転可能な姿勢で着座しているか否かを推定するための材料として利用可能である。シートセンサ12bは、運転席の背もたれ部や着座部の表面の内側に埋設されている。ハンドルセンサ12cは、ハンドルに設けられてあって、ドライバがハンドルを握る圧力を検出する。なお、ハンドルセンサ12cは、静電容量の変化に基づいて乗員がハンドルを握っていることを検出する、静電容量式のセンサであってもよい。ハンドルセンサ12cはハンドルに作用するトルクを検出するもの(例えばトーションバー)であっても良い。ハンドルにトルクがかかっていることはユーザがハンドルを把持していることを示すためである。ハンドルセンサ12cの出力信号は、ドライバが両手でハンドルを把持しているか否かを示す信号として利用可能である。シートセンサ12b及びハンドルセンサ12cの検出結果は、例えばLAN99を介して自動運転ECU20等に提供される。
 車両状態センサ13は、自車両の走行制御に関わる状態量を検出するセンサである。車両状態センサ13には、ブレーキセンサ、アクセルセンサ、シフトポジションセンサ、操舵角センサ、車速センサ、転舵角センサ、加速度センサなどが含まれる。ブレーキセンサは、ブレーキペダルの位置、換言すれば、運転席乗員によってブレーキペダルが踏み込まれている量(以降、ブレーキ踏込量)を検出するセンサである。アクセルセンサは、アクセルペダルの位置、換言すれば、アクセルペダルが運転席乗員によって踏み込まれている量(以降、アクセル踏込量)を検出するセンサである。シフトポジションセンサは、シフトレバーのポジションを検出するセンサである。操舵角センサは、ハンドルの回転角(いわゆる操舵角)を検出するセンサである。ブレーキセンサ、アクセルセンサ、シフトポジションセンサ、及び操舵角センサは、運転席乗員による運転操作の内容を示す物理状態量を検出するセンサに相当する。
 車速センサは、自車両の走行速度を検出するセンサである。転舵角センサは、車両前後方向又は車軸に対するタイヤの角度(いわゆる転舵角)を検出するセンサである。加速度センサは、自車両に作用する車両前後方向の加速度や、横方向の加速度を検出するセンサである。車速センサ、転舵角センサ、及び加速度センサは、運転席乗員の運転操作又は自動運転ECU20による制御の結果として生じる車両の挙動を示す物理状態量を検出するセンサに相当する。
 各センサは、検出対象とする物理状態量の現在の値(つまり検出結果)を示すデータをLAN99に出力する。各センサの出力データは、LAN99を介して自動運転ECU20等に取得される。なお、車両状態センサ13として自動運転システム1が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、自動運転システム1は、上述した以外のセンサ、例えばヨーレートセンサや方位センサ、エンジン回転速度センサ等を車両状態センサ13として備えていても良い。ヨーレートセンサは自車両の垂直軸周りの回転角速度(すなわち、ヨーレート)を検出するセンサである。方位センサは、自車両が向いている方位角を検出するセンサである。エンジン回転速度センサはエンジンの回転速度を検出するセンサである。なお、自車両が駆動源としてモータを備える車両である場合には、当該モータの回転速度/出力トルクを検出するセンサを備えていても良い。
 ロケータ14は、複数の情報を組み合わせる複合測位により、自車両の高精度な位置情報等を生成する装置である。ロケータ14は、例えば図4に示すように、GNSS受信機141、慣性センサ142、高精度地図データベース143(以下、データベースはDBと記載)、及び位置演算部144を用いて実現されている。GNSS受信機141は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号を受信することで、当該GNSS受信機141の現在位置を逐次(例えば100ミリ秒毎に)検出するデバイスである。GNSSとしては、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等を採用可能である。慣性センサ142は、例えば3軸ジャイロセンサ及び3軸加速度センサである。
 高精度地図DB143は、高精度地図データを記憶している不揮発性メモリである。ここでの高精度地図データは、道路構造、及び、道路沿いに配置されている地物についての位置座標等を、自動運転に利用可能な精度で示す地図データに相当する。高精度地図データは、例えば、道路の3次元形状データや、車線データ、地物データ等を備える。上記の道路の3次元形状データには、複数の道路が交差、合流、分岐する地点(以降、ノード)に関するノードデータと、その地点間を結ぶ道路(以降、リンク)に関するリンクデータが含まれる。リンクデータには、自動車専用道路であるか、一般道路であるかといった、道路種別を示すデータも含まれている。ここでの自動車専用道路とは、歩行者や自転車の進入が禁止されている道路であって、例えば高速道路などの有料道路などを指す。道路種別は、自律走行が許容される道路であるか否かを示す属性情報を含んでもよい。車線データは、車線数や、車線区画線(いわゆるレーンマーカー)の敷設位置座標、車線ごとの進行方向、車線レベルでの分岐/合流地点を示す。レーンマーカーには、黄色又は白色の塗料を用いて破線又は連続線状に形成されているペイントの他、道路鋲なども含まれる。地物データは、一時停止線などの路面表示の位置及び種別情報や、ランドマークの位置、形状、及び種別情報を含む。ランドマークには、交通標識や信号機、ポール、商業看板など、道路沿いに設置された立体構造物が含まれる。
 位置演算部144は、GNSS受信機141の測位結果と、慣性センサ142での計測結果とを組み合わせることにより、自車両の位置を逐次測位する。測位した車両位置はLAN99に出力され、自動運転ECU20等で利用される。また、ロケータ14は高精度地図DB143から、現在位置を基準として定まる所定範囲の地図データを読み出し、LAN99を介して自動運転ECU20等に提供する。なお、地図データは、V2X車載器16を介して外部サーバ等から取得する構成としてもよい。さらに、ロケータ14(主として位置演算部144)は、ローカライズ処理を実施可能に構成されていても良い。ローカライズ処理は、前方カメラ11aなどの周辺監視カメラで撮像された画像に基づいて特定されたランドマークの座標と、高精度地図データに登録されているランドマークの座標とを照合することによって自車両の詳細位置を特定する処理を指す。ロケータ14が備える一部又は全部の機能は、自動運転ECU20に内在していてもよい。
 HMIシステム15は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。HMIシステム15は、図5に示すように、HCU(HMI Control Unit)151、入力装置152、及び、ディスプレイ153を備える。
 HCU151は、ユーザが入力装置152を介して入力した操作情報の取得と、ディスプレイ153を用いたユーザへの情報提示とを統合的に制御する構成である。なお、ユーザへの情報提示は、スピーカや、バイブレータ、照明装置(例えばLED)等を用いて実現されてもよい。HCU151は、例えばCPUやGPUなどのプロセッサと、RAMと、フラッシュメモリ等を用いて実現されている。HCU151の詳細は入力装置152及びディスプレイ153の説明後に記載する。
 入力装置152は、例えばナビゲーション装置等の自車両に搭載されている種々の電子機器(以降、車載機器)に対するユーザの指示操作を受け付けるためのデバイスである。ここでの車載機器には自動運転ECU20や運行記録ユニット30も含まれる。本実施形態では一例としてHMIシステム15は、入力装置152として、ハンドル等に設けられたメカニカルなスイッチ(つまり、ステアリングスイッチ)を備える。また、HMIシステム15は、運転モードスイッチとして機能する入力装置152を備える。運転モードスイッチは、自動運転機能を作動させたり停止させたりするためのスイッチである。このような運転モードスイッチは、運転席乗員が運転モードを切り替えるためのスイッチに相当する。なお、入力装置152は、ディスプレイ153の表面に積層されたタッチパネルであってもよいし、多様な音声認識技術を用いて実現される音声入力装置であってもよい。また、センターコンソールに配置されたハプティックデバイスであってもよい。車両制御システム100は上述した複数種類のデバイスを入力装置152として備えていても良い。
 ディスプレイ153は、HCU151から入力された画像を表示するデバイスである。本実施形態では一例としてディスプレイ153は、インストゥルメントパネルの車幅方向中央部(以降、中央領域)の最上部に設けられたディスプレイ(いわゆるセンターディスプレイ)とする。ディスプレイ153は、フルカラー表示が可能なものであり、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ、プラズマディスプレイ等を用いて実現することができる。なお、HMIシステム15は、ディスプレイ153として、フロントガラスの運転席前方の一部分に虚像を映し出すヘッドアップディスプレイを備えていてもよい。また、ディスプレイ153は、インストゥルメントパネルにおいて運転席の正面に位置する領域に配置されたディスプレイ(いわゆるメータディスプレイ)であってもよい。
 HCU151は、自動運転ECU20から提供される情報に基づき、自動運転機能の動作状態を示す画像(以降、運転モード通知画像80)をディスプレイ153に表示する。運転モード通知画像80は、例えば図6に示すように、モードアイコン画像81、路面認識状態画像82、及び移動体認識状態画像83を含んでいても良い。モードアイコン画像81は運転モードを明示する画像である。路面認識状態画像82は、自動運転ECU20における車線区画線または道路端の認識状態を示す画像である。移動体認識状態画像83は、自動運転ECU20における他の移動体の認識状態を示す画像である。予定行動通知画像84は、自動運転ECU20が次に予定している行動を示す画像である。HCU151は、例えば路面認識状態画像82を構成する線画像の表示態様(例えば色合い)の変更によって、車線区画線または道路端を認識できているか否かを表現してもよい。移動体認識状態画像83についても同様である。また、HCU151は、自動運転システム1から、運転席乗員へ運転操作の権限移譲(いわゆる引継ぎ要求)を行う際には、画像や光、音を用いた所定の通知態様で運転席乗員に運転操作を引き継ぐように要求する。
 HCU151は、運行記録ユニット30からの要求に基づき、ディスプレイ153の表示画面のスクリーンショットを提供する。また、HCU151は、運転モードに関する乗員への通知状態を示すデータを運行記録ユニット30に逐次提供する。運転モードに関する乗員への通知状態を構成する要素には、運転モードを示す画像としてディスプレイ153に表示していた内容(例えば画像ID)や、スピーカから出力させたメッセージまたは警告音のデータID及び音量などを含めることができる。
 V2X車載器16は、自車両が他の装置と無線通信を実施するための装置である。なお、V2Xの「V」は自車両としての自動車を指し、「X」は、歩行者や、他車両、道路設備、ネットワーク、サーバなど、自車両以外の多様な存在を指しうる。V2X車載器16は、通信モジュールとして広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばLTE(Long Term Evolution)や4G、5Gなど多様なものを採用することができる。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に(換言すれば基地局を介さずに)無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーV2Xを実施するように構成されていても良い。自車両は、V2X車載器16の搭載により、インターネットに接続可能なコネクテッドカーとなる。例えばロケータ14は、V2X車載器16との協働により、所定のサーバから最新の地図データをダウンロードして、高精度地図DB143に格納されている地図データを更新できる。
 V2X車載器16が備える狭域通信部は、通信距離が数十m~数百m程度に限定される通信規格(以降、狭域通信規格)によって、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。他の移動体としては、車両のみに限定されず、歩行者や、自転車などを含めることができる。狭域通信規格としては、IEEE1609にて開示されているWAVE(Wireless Access in Vehicular Environment)規格や、DSRC(Dedicated Short Range Communications)規格など、任意のものを採用可能である。
 ボディECU17は、車両に搭載されたボディ系の車載機器を統合的に制御するECUである。ボディ系の車載機器には、ヘッドライトや方向指示器などの灯火装置、サイドミラーの角度を変更するサイドミラーモータ、窓を開閉させるウインドウモータ、ドアロックモータ、ワイパーブレードモータなどが含まれる。ボディECU17は、例えば運転席乗員によるライトスイッチの操作や、照度センサの検出値、又は自動運転ECU20からの指示に基づき、ヘッドライトの点灯状態を制御する。また、ボディECU17は、ヘッドライトや方向指示器などの灯火機器の作動状態や、ワイパーの作動状態、ドアの開閉及び施錠状態を示す各種信号をLAN99に出力する。なお、自車両が運転モード(例えば自律走行中であること)を歩行者等の外部に通知する照明設備である運転モード通知灯を備える場合には、運転モード通知灯もまたボディ系の車載機器に含めることができる。
 自動運転ECU20は、周辺監視センサ11などの検出結果をもとに走行用のアクチュエータ類(以降、走行アクチュエータ18)を制御することにより、運転操作の一部または全部を運転席乗員の代わりに実行するECUである。自動運転ECU20は自動運転機能を提供する、自動運転装置に相当する。走行アクチュエータ18とは、例えば制動装置(いわゆるブレーキアクチュエータ)や、電子スロットル、操舵アクチュエータなどを含む。走行アクチュエータ18は、車両の加速、減速、及び操舵の少なくとも何れかに係るハードウェア要素である。
 ここでの自動運転の概念には、車両の走行に係る操作のすべてを自動で実行する態様に限定されず、運転操作の一部を自動で行う態様も含めることができる。すなわち、米国自動車技術会(SAE International)の規定する自動運転レベル1からレベル2までの制御も含めることができる。自動運転レベルは自動化レベルと呼ぶことができる。なお、自動運転レベル1は、ステアリング操作と加減速操作のうちの何れか1つをシステムがサポートするレベルを指し、自動運転レベル2は、ステアリング操作と加減速操作のうちの複数をシステムがサポートするレベルを指す。自動運転レベル3は、自動運転を実行可能な条件(つまり自動運転許可条件)を規定する運行設計領域(ODD:Operational Design Domain)内においてシステムが全ての運転操作を実行する一方、緊急時にはシステムからドライバに操作権限が移譲されるレベルを指す。レベル4は、ODD内においてシステムが全ての運転操作を実行するレベルを指す。レベル5は、場所の限定がなくシステムが全ての運転操作を実行するレベルを指す。レベル3以上が車両の走行に係る制御のすべてを自動で実行する、自律走行レベルに相当する。
 ここでは一例として自動運転ECU20は、自動運転レベル5までを実行可能に構成されており、各自動化レベルに対応する動作モードを切り替え可能に構成されている。以降では便宜上、自動運転レベルN(N=0~5)に対応する動作モードを、レベルNモードと称する。例えば、レベル3モードとは、自動運転レベル3で自車両を自律走行させる動作モードを指す。また、本明細書では、レベル3~5モードのことを自律走行モードとも称するとともに、レベル1~2モードのことを運転支援モードと称する。レベル0~2モードは、運転操作の少なくとも一部を運転席乗員に任せる乗員関与モードに相当する。自動運転ECU20の動作モードは、乗員からすれば運転モードに相当する。
 動作モードの切り替えは、ユーザ操作の他、システム限界や、ODDの退出等に起因して自動的に実行される。なお、自律走行モードにおいては、自動運転ECU20は、運転席乗員またはオペレータによって設定された目的地まで、道路に沿って自車両が走行するように、車両の操舵、加速、減速(換言すれば制動)等を自動で実施する。
 自動運転ECU20は、処理部21、RAM22、ストレージ23、通信インターフェース24、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部21は、RAM22と結合された演算処理のためのハードウェアである。処理部21は、CPU(Central Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部21は、RAM22へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ストレージ23は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ23には、処理部21によって実行されるプログラム(以降、自動運転プログラム)が格納されている。処理部21が自動運転プログラムを実行することは、自動運転プログラムに対応する方法が実行されることに相当する。通信インターフェース24は、LAN99を介して他の装置と通信するための回路である。通信インターフェース24は、アナログ回路素子やICなどを用いて実現されればよい。自動運転ECU20の詳細については別途後述する。
 運行記録ユニット30は、車両の走行時の車両内の状況、及び、車室外の状況の少なくとも何れか一方を示すデータを記録する装置である。車両の走行時の車両内の状況には、自動運転ECU20の作動状態や、運転席乗員の状態を含めることができる。さらに、自動運転ECU20の作動状態を示すデータには、自動運転ECU20における周辺環境の認識結果や、走行計画、各走行アクチュエータの目標制御量などの算出結果も含まれる。記録対象とするデータは、LAN99等を介して、自動運転ECU20や周辺監視センサ11など、車両に搭載されているECUやセンサから取得する。
 運行記録ユニット30もまた、処理部31、RAM32、ストレージ33、通信インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部31は、RAM32と結合された演算処理のためのハードウェアである。処理部31は、CPU等のプロセッサを少なくとも一つ含む構成である。処理部31は、RAM32へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ストレージ33は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ33には、処理部31によって実行されるプログラム(以降、運行状況記録プログラム)が格納されている。処理部31が運行状況記録プログラムを実行することは、運行状況記録プログラムに対応する方法(情報記録方法に相当)が実行されることに相当する。通信インターフェース34は、LAN99に接続し、LAN99を介して他の装置と通信するための回路である。通信インターフェース34は、アナログ回路素子やICなどを用いて実現されている。運行記録ユニット30の詳細については別途後述する。
 <自動運転ECU20について>
 ここでは図7を用いて自動運転ECU20の機能及び作動について説明する。自動運転ECU20は、ストレージ23に保存されている自動運転プログラムを実行することにより、図7に示す種々の機能ブロックに対応する機能を提供する。すなわち、自動運転ECU20は機能ブロックとして、周辺環境認識部F1、乗員状態認識部F2、自車状態取得部F3、操作内容取得部F4、モード制御部F5、行動計画部F6、制御実行部F7、異常検出部F8、及び作動状態出力部F9を備える。
 周辺環境認識部F1は、周辺監視センサ11での検出結果等に基づいて、自車両の周囲の環境である周辺環境を認識する。ここでの周辺環境には、現在位置や走行レーン、道路種別、制限速度、地物の相対位置などの静的な環境要因だけでなく、他の移動体の位置や移動速度、天候、明るさ、気温などの動的な環境要素も含まれる。他の移動体には、他車両としての自動車や、歩行者、自転車などが含まれる。
 例えば周辺環境認識部F1は、ロケータ14から最新の自車位置及び進行方向、自車両Aの周辺範囲の高精度地図データを取得する。また、周辺環境認識部F1は、複数の周辺監視センサ11のそれぞれから検出結果を取得し、それらを相補的に組み合わせる(つまりフュージョンする)ことにより、自車周辺に存在する物体の位置及び種別を認識する。つまり、自動運転ECU20の環境認識結果には、自車両の周辺に存在する物体についての認識結果も含まれる。認識対象とする物体には、地物や移動体が含まれる。物体の認識結果には、検出物の位置や、種別、移動速度などを含めることができる。なお、位置や速度は、自車両を基準とする相対位置、相対速度であっても良いし、地面を基準とする絶対位置、絶対速度であってもよい。
 加えて、周辺環境認識部F1は、自車両周辺に存在する物体との衝突の可能性を評価する。衝突可能性を示す指標としては、衝突残余時間(いわゆるTTC:Time-To-Collision)や、衝突余裕度(MTC: Margin-To-Collision)、及び車間時間(THW:Time-Head Way)などを採用可能である。なお、TTCの概念には、自車両及び他車両の少なくとも何れか一方の加速度やジャークを利用するものも含まれる。また、周辺環境認識部F1は、周辺監視センサ11の検出結果や高精度地図データをもとに、自車周辺の路面標示や標識の位置や種別、信号機の点灯状態を認識する。
 加えて、周辺環境認識部F1は、周辺監視センサ11の検出結果と高精度地図データの少なくともいずれか一方を用いて、走路の境界に関する境界情報として、自車両が現在走行する車線の左右の区画線又は道路端の相対位置及び形状を特定する。なお、周辺環境認識部F1が各周辺監視センサ11から取得するデータは、解析結果ではなく、画像データ等の観測データであってもよい。その場合、周辺環境認識部F1は、種々の周辺監視センサ11の観測データに基づき、左右の区画線又は道路端の位置や形状を含む周辺環境を特定すればよい。
 その他、周辺環境認識部F1はV2X車載器16が他車両から受信した他車両情報や、路車間通信にて路側機から受信した交通情報、サーバから受信した天候情報等を用いて周辺環境を特定しても良い。
 乗員状態認識部F2は、乗員状態センサ12から提供される情報に基づいて、運転席乗員の状態を判断する。例えば乗員状態認識部F2は、DSM12aから提供されるデータに基づいて、運転席乗員の覚醒度合いを判断する。覚醒度合いは、覚醒状態であるか否かの2段階評価であってもよいし、3段階以上に区分して評価してもよい。また、乗員状態認識部F2は、DSM12aから提供されるデータに基づいて、運転席乗員が車両前方を見ている前方注視状態であるか否かを判断する。例えば、乗員状態認識部F2は、瞼の開度が所定のしきい値以上であって、かつ、運転席乗員の視線方向が車両前方に向けられている場合に、前方注視状態であると判断する。なお、本明細書では前方注視状態のことをアイズオン(eyes on)、非前方注視状態のことをアイズオフ(eyes off)とも記載する。覚醒度合いやアイズオン/オフはDSM12aとシートセンサ12bといった、複数種類のセンサのセンシング情報を組み合わせて判断しても良い。
 さらに、乗員状態認識部F2は、ハンドルセンサ12cの出力信号に基づいて、運転席乗員がハンドルを把持しているハンドル把持状態であるか否かを判断する。例えばハンドルセンサ12cが所定のしきい値以上の圧力や静電容量の変化を検出している場合に、ハンドル把持状態であると判断する。なお、本明細書ではハンドル把持状態のことをハンズオン(hands on)、非ハンドル把持状態のことをハンズオフ(hands off)とも記載する。
 その他、乗員状態認識部F2は、DSM12a及びシートセンサ12bの少なくとも出力信号に基づいて、デッドマン状態であるか否かを判断するように構成されていてもよい。デッドマン状態とは、脳卒中等の体調の急変によって、正常に運転可能な状態への復帰が困難な状態を示す。デッドマン状態であるかの判断材料としては、運転席乗員の姿勢や脈拍、瞳孔の開度の有無、車両挙動等を採用することができる。
 自車状態取得部F3は、車両状態センサ13及びボディECU17の出力データに基づいて、自車両の状態を認識する。自車両の状態には、車速や、加速度、ヨーレート、シフトポジション、エンジン回転速度、転舵角などが含まれる。また、自車状態取得部F3は、ボディECU17の出力信号に基づきボディ系車載機器の作動状態を取得する。例えば、自車状態取得部F3は、ボディECU17と通信することにより、方向指示器の作動状態や、ヘッドランプの点灯状態、ワイパーの作動状態などを示すデータを取得する。
 操作内容取得部F4は、車両に設けられているペダルや、レバー、スイッチ、入力装置152からの出力信号(換言すれば操作信号)をもとに、これらの操作部材への運転席乗員の操作の有無/操作量を検出する。例えば操作内容取得部F4は、自動運転スイッチに対する乗員の操作内容や、ブレーキ踏込量などを取得する。
 モード制御部F5は、周辺環境、乗員状態、自車両状態、及びユーザ操作の少なくとも何れか1つに基づき、運転モードを切り替える。例えばモード制御部F5はユーザ操作に基づいて運転モードを切り替える。例えばモード制御部F5は、レベル2以下のモードで動作している際に、入力装置152を介してレベル3モードへ移行させるユーザ操作を受け付けた場合、自動運転レベル3を実行可能な周辺環境であることを条件として、レベル3モードへと移行する。レベル2以下のモードからレベル4モードへの移行も同様である。自動運転レベル3~4を実行可能な周辺環境であるか否かは周辺環境認識部F1の認識結果をもとに判断されればよい。例えば周辺環境の認識結果が、自車両に規定されているODDを充足している場合に、自動運転レベル3~4を実行可能な周辺環境であると判定できる。また、モード制御部F5は、例えばレベル2以下のモードで動作している状況下において、入力装置152を介してレベル5モードへ移行させるユーザ操作を受け付けた場合、動作モードをレベル5モードへと切り替える。
 一方、自律走行モードで走行中に、自律走行モードを維持することが困難となった場合には、権限移譲処理を挟んでレベル2モードに移行する。自律走行モードを維持できなくなる場合とは、センサ不良や動的環境要因などによりODDを充足しなくなった場合や、ODDとして設計されている道路区間を離脱する場合などである。
 権限移譲処理は、運転権限をシステムから運転席乗員に移譲するための処理であって、主として行動計画部F6の計画のもと、自動運転ECU20とHMIシステム15と連携して実行される。権限移譲モード所定期間、運転席乗員に運転操作を引き継ぐように要求し、当該処理中に乗員がハンドルを握るなどの所定操作を実行した場合に、移譲完了となる。なお、権限移譲処理を実行している状態を移譲モードと称する。移譲モードには、運転席乗員からシステムに運転権限を移譲する過程の動作モードも含めることができる。
 その他、モード制御部F5は、正常に動作している周辺監視センサ11の数の減少や、環境の悪化によって、モード制御部F5は、自動運転レベルを5→4→3→2→1→0の順に徐々に低下させてもよい。例えば霧や雨に由来する前方カメラ11aの認識可能距離が所定値以下となった場合、モード制御部F5は動作モードをレベル4モードからレベル3モードへと切り替えても良い。環境の悪化とは、例えば降雨量の増加や、逆光等などを指す。降雨量の概念には降雪量も含まれる。
 なお、自動運転ECU20は、自律走行モード中に運転席乗員がデッドマン状態となった場合や、権限移譲処理に運転席乗員が応答しない場合には、安全に停車させるMRM(Minimum Risk Maneuver)処理を実行する。MRM処理の内容は、例えば、周囲に警報を発しながら安全な場所まで車両を自律走行させて駐車させる処理とすることができる。安全な場所としては、所定値以上の幅を有する路肩や、緊急退避エリアとして規定されている場所などである。なお、MRMの内容は、緩やかな減速で走行中の車線内に停止するものであってもよい。その際の減速度としては、例えば2[m/s^2]や3[m/s^2]など、4[m/s^2]以下の値を採用することが好ましい。もちろん、先行車両との衝突等を回避する必要がある場合には、4[m/s^2]を超過する減速度も採用可能である。MRM時の減速度は、例えば10秒以内に停止できる範囲で、MRM開始時点の走行速度や、後続車両との車間距離を鑑みて動的に決定及び逐次更新されてもよい。
 その他、モード制御部F5は、操作内容取得部F4の取得情報に基づいて、例えば運転席乗員によるオーバーライド等を検出した場合には、ユーザ設定に基づき、レベル0~2の何れかの動作モードへと移行させる。モード制御部F5は、自動運転ECU20の動作モードを示すステータス情報を通信ネットワークに出力する。ステータス情報は、別の観点によれば自車両の走行モードが自律走行モードであるか手動運転モードであるかを示すデータに相当する。
 行動計画部F6は、自動運転ECU20が自律走行モードである場合、周辺環境認識部F1が認識した周辺環境に基づき、自車両の走行計画(換言すれば行動計画)を作成する。走行計画は、長期的な計画と、短期的な計画とが含まれる。長期的な計画には、道路単位または車線単位での目的地までの走行ルートの選定が含まれる。短期的な計画には、長期計画をもとに、現時点から所定時間(例えば10秒)以内に行う行動の内容と、当該計画行動を実現するための具体的な制御目標値(例えば目標車速や、目標加速度、目標操舵量など)の決定が含まれる。短期的な計画には、現時点の次に行う行動(以降、予定行動)の選定が含まれる。予定行動の選択肢としては、車速維持、加速、減速、停止、発進、直線路走行、カーブ旋回、車線変更、交差点直進、左折、右折などがある。また、予定行動としては、追い越しや、駐車などといった複数の行動を組み合わせてなる複合行動も設定可能であってもよい。その他、行動計画部F6は、自動運転ECU20が運転支援モードである場合には、システムが支援すべき操作項目(例えば速度調整)に対応する制御目標値を算出する。
 なお、行動計画部F6は、自動運転機能を提供するための要素機能(アプリケーション)として、ACC(Adaptive Cruise Control)機能、LTC(Lane Trace Control)機能、AEB(Automatic Emergency Braking)機能などを備える。ACC機能は、目標車速で自車両を定速走行させるか、又は前走車との車間距離を維持しつつ自車両を追従走行させる機能である。LTC機能は、自車走行レーンに沿って自車走行レーン内で自車両を走行させる機能であって、自車走行レーンに沿った予定走行ラインを生成する。AEB機能(いわゆる衝突被害軽減ブレーキ)は、車両前方に存在する物体との衝突を予見した場合に制動を自動的に実施する。
 制御実行部F7は、行動計画部F6が策定した走行計画に基づいて各種走行アクチュエータ18の具体的な制御量を決定する。そして、各走行アクチュエータ18に対して制御量に応じた制御信号を出力する。なお、制御実行部F7は、方向指示器やヘッドライト、ハザードランプ等の点灯/消灯なども、走行計画や外部環境に応じて制御する。また、制御実行部F7は、自車両の走行モードがレベル2以下の動作モードである場合には、運転席乗員が行うべき運転操作に対応する操作情報に基づいて走行アクチュエータ18を統合的に作動させ、自車両の挙動を制御する。
 異常検出部F8は、周辺監視センサ11やロケータ14、運行記録ユニット30といった、自動運転に必要な構成の異常を検出する構成である。例えば異常検出部F8は、前方カメラ11aからエラー信号が入力されたことに基づいて前方カメラ11aの異常を検出する。また、異常検出部F8は、運行記録ユニット30と相互に通信することで、運行記録ユニット30の動作状態を診断する。異常の検出方法としては、ウォッチドッグタイマ方式や宿題回答方式などといった、多様な方法を援用可能である。ウォッチドッグタイマ方式とは、監視側の装置が備えるウォッチドッグタイマが、被監視側の装置から入力されるウォッチドッグパルスによってクリアされずに満了した場合に、被監視側装置は正常に動作していない判定する方式である。ここでは自動運転ECU20(具体的には異常検出部F8)が監視側装置に相当し、運行記録ユニット30が被監視側装置に相当する。
 また、宿題回答方式とは、監視側装置が予め定められた監視用の信号を被監視側装置に送るとともに、被監視側装置から返送されてきた回答が正解であるか否かによって監視側装置が正常に動作しているか否かを判定する方式である。宿題回答方式において被監視側装置は、監視側装置から入力される監視用信号に応じた応答信号を生成して監視側装置に返送する。監視側装置は、被監視側装置から受け取った応答信号の内容が、送信した監視用信号に対応するデータと異なる場合、あるいは所定の制限時間内に応答信号が返送されてこない場合に、被監視側装置は異常動作していると判定する。なお、自動運転ECU20は、運行記録ユニット30の異常動作を検知した場合には、運行記録ユニット30にリセットをかけてもよい。また、運行記録ユニット30が正常に動作していないことを検知した場合には、運転モードをレベル2以下(つまり運転支援モード)にダウンさせてもよい。運行記録ユニット30が正常に動作していないことに基づいて動作モードをレベル2以下に制限する構成によれば、各種データが記録されない可能性がある状況下で自律走行を実施する恐れを低減できる。
 なお、異常検出部F8は自動運転ECU20の内部異常を検出するように構成されていてもよい。例えば、自動運転ECU20が複数の処理部21を備える場合には、それら複数の処理部21が双方向通信をすることで、互いの動作状況を診断するように構成されていても良い。
 作動状態出力部F9は、周辺環境認識部F1による周辺環境の認識結果、乗員状態認識部F2による運転席乗員の認識結果、行動計画データ、及び、走行アクチュエータ18の制御データなどを、運行記録ユニット30に逐次出力する。行動計画データは、行動計画部F6が選定した次に実施予定の行動内容や、目標車速、目標加速度、目標走行位置などの制御目標値が含まれる。走行アクチュエータ18の制御データは、各走行アクチュエータ18へ出力した制御信号の内容を表す。制御データは、例えば各種走行アクチュエータ18の制御量に相当する、各種走行アクチュエータ18への出力電圧/電流値などを示す。
 <運行記録ユニット30について>
 ここでは図8を用いて運行記録ユニット30の機能及び作動について説明する。運行記録ユニット30は、ストレージ33に保存されているプログラムを実行することにより、図8に示す種々の機能ブロックに対応する機能を提供する。すなわち、運行記録ユニット30は機能ブロックとして、情報取得部G1、記録対象設定部G2、記録処理部G3、及び異常検出部G4を備える。情報取得部G1はモード取得部G11を備える。また、運行記録ユニット30は、記録対象設定記憶部Mdと、データ格納部Mmと、を備える。
 記録対象設定記憶部Mdは、運転モード毎の記録対象を示すデータ(以降、記録対象設定データD1)を記憶している記憶媒体である。データ格納部Mmは、記録処理部G3によるデータの保存先である。記録対象設定記憶部Md及びデータ格納部Mmはそれぞれストレージ33が備える記憶領域の一部を用いて実現されている。なお、記録対象設定記憶部Md及びデータ格納部Mmはそれぞれ物理的に独立した記憶媒体を用いて実現されていても良い。また、データ格納部Mmの一部または全部はサーバなどの車両外部に設けられていても良い。
 データ格納部Mmは図9に示すように、上書き可能領域M1と、上書き禁止領域M2とを備える。上書き可能領域M1は、保存されているデータを別のデータで上書き可能、換言すれば保存データの削除が可能な領域である。上書き禁止領域M2は保存データの上書きが実行不可能/禁止に構成されている領域である。上書き可能領域M1と上書き禁止領域M2とはパーティション技術を用いて論理的に仕切られていても良いし、物理的に独立していても良い。上書き禁止領域M2は、書き換え不可能な記憶媒体を用いて実現されていても良いし、ソフトウェア的にデータの削除が禁止に構成されていても良い。ここでは一例として、上書き禁止領域M2は、ソフトウェア的に自動的なデータの上書きが実行できないように設定されている記憶領域とする。
 なお、上書き禁止領域M2は必須の要素ではない。データ格納部Mmにおいて上書き可能領域M1と、上書き禁止領域M2は明確に区分されている必要もない。上書き可能領域M1と上書き禁止領域M2はフォルダの概念で区分されていても良い。上書き禁止領域M2は、ユーザ又は専門の業者による操作、又は、所定のサーバからの指示信号により、保存データが削除可能に構成されていても良い。
 また、ここでは一例として、上書き可能領域M1及び上書き禁止領域M2それぞれは、例えば後述するイベント記録処理によって記録されるデータセットを2500回分記録可能な容量を有していることが好ましい。ここでは一例として、上書き禁止領域M2は前方カメラ11aの映像信号35秒分を、2500セット記録可能な容量を有しているものとする。記録可能回数は2000回以上であれば良い。当該容量によれば、概ね6ヶ月分のデータを蓄積可能となる。
 情報取得部G1は、自動運転ECU20や周辺監視センサ11などの各種車載装置から、記録対象となりうる複数種類の情報を逐次取得し、その取得した時間を示す情報(いわゆるタイムスタンプ)を付与して、記録処理部G3に提供する。
 記録対象となりうる情報の大分類としては、例えば図10に示すように、運転モード、時刻情報、運転席乗員の状態、乗員の操作内容、ボディ信号、モード通知状態、走行場所、周辺監視センサ11の観測データ、自動運転ECU20の作動状態情報が含まれる。乗員状態データには、運転席乗員が覚醒しているか否か、アイズオン/オフ、ハンズオン/オフ、運転席乗員の顔部の撮像画像データといった項目が含まれる。乗員状態データには、シートセンサ12bが検出した圧力分布や、ハンドルセンサ12cの出力値(例えばハンドルトルク)などを含めることができる。
 モード通知状態とは、自動運転ECU20の動作状態についての乗員への通知状況を指す。例えば、運転モード通知画像80としての表示内容を指す。情報取得部G1は、モード通知状態として、運転モード通知画像80を表示させているディスプレイ153のスクリーンショットをHMIシステム15が取得する。なお、自動運転ECU20からHMIシステム15への出力信号や、HCU151から各種報知デバイス(例えばディスプレイ153)への出力信号をモード通知状態に含めてもよい。
 走行場所には、位置座標と、道路種別といった項目が含まれる。自動運転ECU20の作動状態には、例えば、周辺環境認識部F1による他車両や区画線等の認識結果情報、行動計画部F6による計画行動情報、及び、制御実行部F7が決定している制御値といった項目が含まれる。モード取得部G11は、自動運転ECU20から動作モード情報を取得して記録対象設定部G2に提供する。
 情報取得部G1による運転モードや、覚醒状態、アイズオン/オフ、ハンズオン/オフ、操作内容、ボディ信号、モード通知状態、走行場所、自動運転ECU20の作動状態などの各種データの取得間隔は、例えば100ミリ秒とすることができる。データの取得間隔の具体的な値は適宜変更可能である。情報取得部G1によるデータの取得間隔は、後述する記録処理部G3によるデータの保存間隔に対応する。データの取得間隔は、状況に応じて動的に変更されても良い。周辺監視カメラやDSM12aが撮像した画像データに関しては、連続的な映像信号として取得してもよい。
 その他、記録対象となりえる情報の大分類としては、車両状態が含まれていても良い。車両状態には、車速や、加速度、ヨーレート、シフトポジション、エンジン回転速度、転舵角、ボディ系車載機器の作動状態といった項目が含まれる。これらの情報は、車両状態センサ13及びボディECU17から取得可能である。
 記録対象設定部G2は、現在の自動運転ECU20の動作モードに応じて、記録対象とする情報項目を設定する。ここでは一例として図10に示す態様で動作モードごとの記録対象を変更する。具体的には、レベル0~2モード時には、運転モードと、時刻と、運転席乗員の操作内容と、HMIの通知状態と、を記録対象に設定する。
 権限移譲モード時では、運転モード、時刻、乗員の覚醒レベル、アイズオン/オフ、ハンズオン/オフ、顔部画像、乗員の操作内容、HMIの通知状態、走行位置座標、道路種別、白線等の認識結果、及びアクチュエータ制御値を記録対象に設定する。レベル3モード時には、運転モード、時刻、乗員覚醒状態、顔部画像、ボディ信号、モード通知状態、走行位置座標、道路種別、前方カメラ映像、白線等の認識結果、予定行動、及びアクチュエータ制御値を記録対象に設定する。レベル4モード時には、運転モード、時刻、ボディ信号、モード通知状態、走行位置座標、道路種別、前方カメラ11aを含む複数の周辺監視センサ11の観測データ、白線等の認識結果、予定行動、及びアクチュエータ制御値を記録対象に設定する。レベル5モード時には、運転モード、時刻、ボディ信号、モード通知状態、走行位置座標、前方カメラ11aを含む複数の周辺監視センサ11の観測データ、白線等の認識結果、予定行動、及びアクチュエータ制御値を記録対象に設定する。
 記録処理部G3は、記録対象設定部G2によって記録対象に設定されている項目のデータをデータ格納部Mmに保存する構成である。本実施形態では一例として、記録処理部G3は、常時録画方式とイベント記録方式の2つの方式で動作するように構成されている。すなわち、記録処理部G3は、常時録画方式として、情報取得部G1が取得した記録対象データを逐次、上書き可能領域M1に保存する。順次取得したデータは、例えば、最新のデータが先頭となるように時系列順に保存する。上書き可能領域の容量が一杯となっている場合には、記録処理部G3は古いデータを削除して新たなデータを保存することができる。
 また、記録処理部G3は、イベント記録方式として、所定の記録イベントが発生した場合、イベント記録処理を実行する。イベント記録処理は、イベント発生時点の前後所定時間以内の記録対象データを、上書き禁止な形式でデータ格納部Mmに保存する処理である。例えば、記録処理部G3は、イベント記録処理として、イベント発生時点の前後所定時間以内の記録対象データを、上書き禁止領域M2に保存する。なお、記録イベント発生に伴うデータの記録先は、必ずしも上書き禁止領域M2でなくともよい。上書き可能領域M1であってもよい。また、記録イベント発生に伴うデータの保存形式も、新たなデータによる上書きを許容する形式であってもよい。
 記録イベントとしては、例えばユーザ操作、システム限界、またはODDの退出により自動運転レベルを下げた場合や、AEB作動時、MRMを開始した場合等を採用可能である。自動運転レベルを下げる場合には、例えばレベル3モードなどの自律走行モードから、レベル2モードなどの乗員関与モードへと移行する場合も含まれる。また、衝突センサが所定のしきい値以上の衝撃を感知した場合や、加速度センサの出力値が所定の閾値以上となった場合、ヨーレートセンサの出力値が所定の閾値以上となった場合なども記録イベントとして採用可能である。加えて、ACCやLTCなどのアプリケーションの実行を開始したことを記録イベントに含めて良い。また、運転モードの切替を記録イベントに含めてもよい。
 加えて記録イベントとしては、自動運転ECU20が算出したTTCまたはMTCが所定の記録閾値以下となったことを採用してもよい。記録閾値は例えば衝突の可能性が高い状態を表す値に設定されていることが好ましい。例えば衝突被害軽減ブレーキが作動する値を採用可能である。より具体的にはTTCに関する記録閾値としては、1.4秒~1.6秒とすることができる。TTCに関する記録閾値としては、1.4秒~1.6秒とすることができる。MTCに関する記録閾値としては1.0以下の値(例えば0.8秒)とすることができる。TTCまたはMTCの低下を記録イベントとして採用することで、実際に衝突が発生する前に記録を実行することができ、衝突の衝撃による記録失敗等の恐れを低減できる。
 記録対象期間は、例えば、図11に示すように、イベント発生時点の事前時間Tα前から、事後時間Tβ経過するまでの期間とする。事前時間Tαは例えば30秒に設定されており、事後時間Tβは5秒に設定されている。このような構成によれば、イベント発生時点の前後35秒間のデータを保存することができる。なお、事前時間Tαはもちろん、15秒や、30秒、45秒、60秒などであってもよい。また、事後時間Tβは3秒や10秒、15とすることもできる。事前時間Tαや事後時間Tβを長くするほど、事故等のイベントが生じた原因の解析性は向上することが期待できるが、記憶容量の不足が生じる恐れが高まる。また、事前時間Tαや事後時間Tβを短くするほど、記憶容量不足が生じる恐れは低減できるが、事故等の原因究明に必要な情報が欠けてしまう恐れが生じる。上述したイベント前30秒、イベント後5秒という設定によれば、記憶容量の不足を低減しつつ、イベント発生原因の解析性を十分に確保可能となることが期待できる。また、そのような態様によれば、自律走行モードにおいて記録イベントが発生した場合には前後35秒間の周辺監視センサ11の観測データが上書き禁止な態様で保存されるため、客観的な事実に基づいて事故原因等を解析可能となる。イベント発生時点前のデータに関しては、例えば上書き可能領域M1に保存されている各種データを上書き禁止領域M2にコピーすればよい。イベント発生後のデータに関しては、順次、上書き禁止領域M2に追加保存していけばよい。データ格納部Mmに保存されたデータは、データ分析業者が使用する所定のソフトウェアを用いなければ中身を参照できないように暗号化されて保存されてもよい。
 また、記録対象期間の長さは、記録イベントの種類及び特性に応じて変更されてもよい。AEB作動時の記録対象期間は、事故経緯前後を確実に捉えるために、ACC開始時の記録対象期間よりも長く設定されていてもよい。ACC開始の記録対象期間は、その移行前後が確実に含まれていればよく、例えば、事前時間5秒、事後時間3秒などとすることができる。また、レベル5モードからレベル4モードへの移行時の記録対象期間は、レベル3モードからレベル2モードへの移行時の記録対象期間よりも短く設定されていても良い。レベル4モードからレベル5モードへの以降は、システム内で完結する(換言すれば乗員が関与しない)ため、相対的に短く設定されても問題は生じにくい。一方、レベル3モードからレベル2モードへの移行時の記録対象期間は相対的に長めに設定することにより、権限移譲前後の経緯が確実に捉えられるようになる。
 すなわち、記録対象期間の長さは、複数パターン用意されてあって、記録イベントの深刻度合いや、乗員の関与度合いに応じた長さのものが選定されるように構成されていても良い。深刻度合いや乗員の関与度合いが高いものほど記録対象期間を長く設定することが好ましい。深刻度合いが高い記録イベントとは、例えば衝突発生や、AEBの作動、MRMの実行などである。乗員の関与度合いが高い記録イベントとは、例えば、レベル3モードからレベル2モードへの移行である。レベル3モードに限らず、乗員のオーバーライドによる自律走行モードから乗員関与モードへの移行も、乗員の関与度合いは相対的に高い。システム限界に由来する突発的なレベル3モードから乗員関与モードへの移行は、事前に計画され且つ乗員に予告されていたレベル3モードから乗員関与モードへの移行時よりも、相対的に深刻度合いは高い。イベントごとの記録対象期間の長さは、上述したような深刻度合いや乗員関与度合いを鑑みて設定されうる。そのようにイベントの特性に応じて記録対象期間を変更する構成によれば、事後解析に必要な分だけのデータを保存可能となる。例えば、相対的に深刻度合いや乗員関与度合いが低いイベントの記録対象期間は短く設定でき、不要なデータを保存するおそれを低減することができる。
 なお、本実施形態では記録処理部G3は、常時録画方式とイベント記録方式の2つの方式で動作するように構成されているものとするが、これに限らない。記録処理部G3は、所定の記録イベントが生じた場合のみデータの記録を実行するように構成されていても良い。イベント記録処理のみを実行する構成によれば、常時録画方式を採用する構成よりも、例えば1ヶ月あたりのデータ保存量を抑制できる。また、記録処理部G3は常時録画方式でのみ動作するように構成されていても良い。
 異常検出部G4は、運行記録ユニット30自身及び自動運転ECU20が正常に動作しているか否かを判定する構成である。異常の検出方法としては、ウォッチドッグタイマ方式や宿題回答方式などといった、前述の方法を援用可能である。例えば、異常検出部G4は、自身が備えるウォッチドッグタイマが自動運転ECU20から入力されるウォッチドッグパルスによってクリアされずに満了した場合に、自動運転ECU20が異常動作していると判定してもよい。
 また、異常検出部G4は、運行記録ユニット30の内部異常を検出すると、自動運転ECU20にその旨を通知する。内部異常の発生は、演算結果が正常範囲を逸脱したこと、異常電圧の発生、異常コードの出力などに基づいて検出されればよい。なお、運行記録ユニット30が正常に動作しているか否かは、車載式故障診断装置(OBD:On-Board Diagnostics)によって診断されてもよい。異常検出部G4はOBDを用いて実現されていても良い。なお、本実施形態のように自動運転機能を提供する処理部21とデータの記録処理を担当する処理部31とが独立した構成によれば、相互に動作状態を監視可能となるため、どちらかに不具合が生じた場合にはその旨を速やかに検出可能となる。その結果、処理部21と処理部31のどちらかに不具合が生じた場合には、速やかに自律走行モードの中断等を実施可能となる。
 <運行記録ユニット30の作動の詳細説明>
 次に、図12に示すフローチャートを用いて運行記録ユニット30の作動の流れについて説明する。図12に示すフローチャートは、例えば車両の走行用電源がオンとなったタイミングで開始されればよい。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。なお、図12での図示は省略しているが、情報取得部G1は、各種データや映像信号を逐次取得している。情報取得部G1による各種情報の取得はステップS1に含めることもできる。
 まずステップS1ではモード取得部G11が自動運転ECU20から運転モード情報を取得してステップS2に移る。ステップS1がモード取得ステップに相当する。ステップS2では記録対象設定部G2が、ステップS1で取得した運転モード情報と、記録対象設定記憶部Mdに保存されている記録対象設定データD1に基づいて、記録対象とするデータ種別を決定する。ステップS2が記録対象設定ステップに相当する。なお、前回ステップS2を実施したときから運転モードに変更がない場合にはステップS2は省略可能である。
 ステップS3では記録処理部G3が記録対象に設定されている複数種類のデータを、取得時刻を示すタイムスタンプとともに上書き可能な形式でデータ格納部Mmに保存する。例えば上書き可能領域M1に記録対象データをタイムスタンプとともに保存する。ステップS3が記録ステップに相当する。ステップS3が完了するとステップS4を実行する。
 ステップS4では記録処理部G3が、情報取得部G1が取得している各種情報(例えば加速度等)を元に、記録イベントが発生したか否かを判断する。記録イベントが発生したと判定した場合にはステップS5を実行する。一方、記録イベントが発生したと判定しなかった場合にはステップS6を実行する。ステップS5では記録処理部G3が、現在から前後所定時間分の記録対象データを上書き禁止な形式でデータ格納部Mmに保存する。例えば、上記データセットを上書き禁止領域M2に保存する。ステップS5の処理が完了するとステップS8に移る。なお、ステップS5もまた記録ステップの一例に相当する。
 ステップS6では異常検出部G4が、運行記録ユニット30に異常が生じているか否かを判定する。運行記録ユニット30に異常が生じている場合にはステップS7を実行する。一方、運行記録ユニット30に異常が生じていない場合には、ステップS8を実行する。ステップS7では異常検出部G4が、運行記録ユニット30が正常に動作していないことを示す信号をLAN99に出力する。なお、自動運転ECU20は自律走行モード中に、例えばLAN99等を介して運行記録ユニット30が正常に動作していないことを示す信号を受信すると、権限移譲処理を実行してレベル2以下の動作モードへと移行する。HMIシステム15は、運行記録ユニット30が正常に動作していないことを示す信号を受信すると、その旨をディスプレイ153等に表示出力する。HMIシステム15は、運行記録ユニット30が正常に動作していない場合には、当該事象に起因して自律走行モードが利用不可である旨を乗員に通知しても良い。
 ステップS6では走行用電源がオフとなったか否かを判定する。走行用電源がオフとなっている場合には本フローを終了する。一方、走行用電源がオフではない場合、つまりまだ走行用電源がオンである場合にはステップS1に戻り、ステップS1以降の処理を繰り返す。このような構成によれば走行用電源がオンである間は、常時録画方式とイベント記録方式の両方で動作モードに応じた種々の情報を記録することができる。
 <上記構成の効果>
 上記の構成では、運転モードに応じて記録対象とする項目が変更される。例えば運転モードに応じて、乗員の顔部画像などの運転席乗員の状態を示すデータを記録対象とするか否かが変更される。当該構成によれば、運転席乗員の状態を常時記録するわけでない。例えば運転席乗員に運転責任が発生しない、レベル4~5モードでは、運転席乗員の状態を示すデータを記録対象から除外することが可能となる。故に、保存されるデータ量を抑制可能となる。また、上記構成によれば、レベル3モード時には、運転席乗員の状態を示すデータとして、DSM12aが撮像した運転席乗員の顔画像を記録対象に設定する。これにより、緊急時に、運転席乗員が運転可能な状態であったか否かを検証することができる。なお、レベル3モードは、運転席乗員に運転責任が発生する運転モードの一例に相当する。
 また、自律走行機能を搭載した車両の事故では、事故時の運転責任がシステムだったのかドライバだったのか、システムだった場合はどのような判断によって制御されていたかを後から客観的に解析できなければならない。上記の構成では、自律走行モード時には、自動運転ECU20の物体認識状態及び予定行動の内容も記録される。故に、自動運転ECU20が外界をどのように認識した上で、何をしようとしていたのかを解析可能である。故に、自動運転時の事故の発生原因や、責任の所在の解析性を高めることができる。
 また、レベル3モードでは前方カメラ11aの映像信号を記録対象に含める。加えて、レベル4モードでは前方カメラ11aの映像に加えて、例えばミリ波レーダなど、その他の周辺監視センサ11の観測データも記録される。このような構成によれば、外界の実際の状況を特定できる。また、周辺監視センサ11の観測データとセットで自動運転ECU20の認識結果や判断内容(例えば予定行動)も記録されるため、外界の実際の状況と、自動運転ECU20の挙動とを比較検証可能となる。
 さらに、レベル3~5モードでは、自動運転ECU20による各種走行アクチュエータ18の制御量も、周辺環境の認識状態や判断結果と合わせて記録対象に設定する。自動運転ECU20の認知・判断・制御結果をセットで逐次記録することにより、自律走行モード時における事故等の記録イベント発生時の原因を解析しやすくなる。
 そして、上記構成においては、周辺監視センサ11の観測データを常に保存するのではない。周辺監視センサ11の観測データを記録対象に含める運転モードと、含めない運転モードとが混在する。具体的には、前方カメラ11aの映像はレベル3~5モード及び権限移譲モードにおいて記録対象とする一方、自動運転レベル2以下の動作モードでは記録対象に含めない。また、後方カメラ11bの映像、右側方カメラ11cの映像、左側方カメラ11dの映像、及びミリ波レーダのセンシングデータは、レベル4~5モード時には記録対象に含める一方、レベル3以下のモードでは記録しない。このような構成によれば、自動運転装置の作動記録装置としてのデータ保存量をより一層抑制できる。
 また、権限移譲モードでは、運転席乗員の状態として、アイズオン/オフといったシステムの認識結果と、顔部画像といった観測データをセットで記録する。このような構成によれば、システムの認識結果と実際の運転席乗員の状態とを比較検証となる。故に、万が一、権限移譲中に事故が起きた場合でも、責任の所在を検証しやすくなる。システムによる乗員状態の認識結果と、運転席乗員本人の主張が食い違った場合にも、顔画像データに基づいて事実を確認することが可能となる。
 また、記録対象設定部G2は、各動作モードにおいて、モード通知状態を記録対象に含める。特にモード通知状態として、運転モード通知画像80の表示先に設定されているディスプレイ153のスクリーンショットを記録対象に含める。このような構成によれば、事故時の運転モードについて、運転席乗員の証言とシステム記録とが相違した場合に、運転席乗員の証言の信憑性を検証可能となる。
 以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。
 <自動運転ECU20の機能及び構成についての補足>
 以上ではレベル5まで実行可能に構成されている態様を例示したが、これに限らない。自動運転ECU20はレベル3までの自動運転を実行するものであってもよい。その場合、運行記録ユニット30は、レベル3までの記録対象のデータセットを備えていればよい。また、自動運転ECU20は、自動運転レベル0、2、及び4に相当するモードのみを備えるものであってもよい。自動運転ECU20の動作モードは、完全手動運転モードと、運転支援モードと、自律走行モードの3段階であってもよい。記録対象設定記憶部Mdには、自動運転ECU20が提供可能な運転モード毎の記録対象設定データが保存されていれば良い。
 また、自動運転ECU20(例えばモード制御部F5)は、図13に示すように、自車両の周辺環境がODDを充足しているか否かを逐次判定するODD内外判定部F51を備えていてもよい。ODDとしては、(ア)走行路が高速道路又は中央分離帯とガードレール等が整った片道2車線以上の自動車専用道路であること、(イ)周辺監視センサの検知範囲に交通信号及び歩行者が存在しないこと、等が挙げられる。その他、ODDとしては、(ウ)降雨量が所定の閾値以下であること、(エ)自車両の所定距離以内に落下物や路上駐車車両が存在しないこと、(オ)車載カメラを含む周辺監視センサ11が正常に動作していることなどが挙げられる。自動運転可能/不可と判定する条件、換言すればODDを定義する詳細条件は適宜変更可能である。なお、自動運転レベル3用のODDとは別に、自動運転レベル4用のODDが設定されていても良い。例えば、正常に動作している周辺監視センサの数(換言すれば冗長性)や、許容される位置推定誤差の観点において、自動運転レベル4用のODDは自動運転レベル3用のODDよりも厳しい条件が設定されていてもよい。
 図13に示すように自動運転ECU20がODD内外判定部F51を備える場合、記録対象設定部G2は、レベル3~4モード時、ODD内外判定部F51による判定結果とその判定根拠となるセンサデータを記録対象に設定しても良い。ODDを充足しているか否かの判断材料は、ODDの内容に応じて定まる。ODDを充足しているか否かの判断材料としては、例えば、道路種別や、道路構造(例えば車線数)、天候情報、周辺監視センサ11のセンシング情報、落下物の有無などを採用可能である。
 さらに、ODD内外判定部F51が、ODDを退出するまでの残り時間(以降、ODD退出残余時間)を算出可能である場合には、記録対象設定部G2は、ODD退出残余時間の算出値を記録対象に含めても良い。例えばODDとして自律走行可能な道路区間が定義されている場合には、自車両が当該道路区間を退出するまでの残り時間が、ODD退出残余時間に相当する。より具体的には、ODDが高速道路に限定されている場合には、高速道路を退出するまでの時間がODD退出残余時間に相当する。
 加えて、記録対象設定部G2は、レベル3モード時には、アイズオン/オフの認識結果と顔部画像データの両方を常に記録対象に含める一方、レベル4モードでは、ODD退出残余時間が所定の閾値以下となるタイミングから両者を記録対象に設定してもよい。換言すればODDを退出するまで余裕がある状態では、顔部画像データは保存しない。そのような構成によればデータ保存量を抑制できる。
 また、記録処理部G3は、自動運転ECU20(具体的にはODD内外判定部F51)が、自車両がODDを退出した、又は、所定時間以内に退出すると判定したことを記録イベントとして採用しても良い。具体的には、記録処理部G3は、レベル3/4モード時に、ODD内外判定部F51によって、自車両がODDを退出した、又は、所定時間以内に退出すると判定した場合には、その判定に使用した材料である判断根拠データをデータ格納部Mmに記録してもよい。判断根拠データは自動運転ECU20が取得すればよい。判断根拠データの保存先は、上書き禁止領域M2であることが好ましい。判断根拠データは、判断結果、判断時刻、位置情報とセットで保存されることが好ましい。
 その他、運行記録ユニット30は、自動運転ECU20に内在されていてもよい。換言すれば、自動運転ECU20は図14に示すように、運行記録ユニット30に相当する運行記録部F30を備えていてもよい。
 <周辺監視センサ11についての補足>
 周辺監視カメラの搭載位置は前後左右の4箇所に限定されない。図15に示すように、前端、後端、左右のサイドミラー、フロントガラスの室内側上端部、リアガラスの室内面の6箇所に設けられていても良い。また、ルーフ部にも、右斜め前方、左斜め前方、右斜め後方、左斜め後方のそれぞれに光軸が向けられた4つの周辺監視カメラが搭載されていても良い。ミリ波レーダについても同様に多数設けられていても良い。加えて、自動運転システム1は、周辺監視センサ11として、車両の前方を検知範囲に含むLiDARや、車両の後方を検知範囲に含むLiDARを備えていても良い。LiDARは、たとえばルーフ上に搭載することができる。また、自動運転システム1は、周辺監視センサ11として、それぞれ検知範囲及び設置位置が異なる複数のソナーを備えていても良い。ソナーは、バンパやサイドシルなどに搭載可能である。
 <周辺監視センサ11の観測データの記録方法についての補足>
 自律走行モードにおいて観測データを記録対象とする周辺監視センサ11の組み合わせは、走行シーンや、実行中の行動、及び予定行動に応じて変更されてもよい。自動運転ECU20が実行/予定している行動において注意が必要な方向を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、注意の必要性が少ない方向を検出方向とする周辺監視センサ11の観測データは記録対象から除外してもよい。そのような構成は例えば図15に示すように、周辺監視カメラなどが多数(例えば8個以上)搭載されている車両において特に好適である。周辺監視センサ11が多いほど、データ量は膨大となるためである。
 なお、以降における前方系センサとは前方を検知範囲に含む周辺監視センサ11を指す。前方系センサには、左右斜め前方を検出範囲とするセンサを含めることができる。後方を主たる検知範囲とする周辺監視センサ11を後方系センサとも記載する。後方を主たる検知範囲とする周辺監視センサ11とは、検出範囲の中心軸が、車両後方から45度以内となる方向に向けられているセンサとすることができる。後方系センサには、左右斜め後方を検出範囲とするセンサ(例えば右後方レーダ11f)を含めることができる。左/右側を主たる検知範囲とする周辺監視センサ11を側方系センサとも記載する。側方を主たる検知範囲とする周辺監視センサ11とは、検出範囲の中心軸が左右方向から45度以内となる方向に向けられているセンサとすることができる。
 図16は、予定行動ごとの観測データを記録対象とする周辺監視センサ11の組み合わせを例示したものである。図16に示すように例えば自車両が道なりに自律走行している間は、前方系センサの観測データを記録対象とする一方、後方系センサの観測データは記録対象から除外しても良い。側方系センサの観測データについては、前方系センサよりも低い解像度またはサンプリングレートで記録しても良い。側方系センサの観測データを記録対象に含める理由は、隣接車線からの割り込みや幅寄せ行為等を記録しておきたい需要があるためである。なお、同様の技術思想に基づき、自車両が道なりに自律走行している場合にも後方系センサの観測データを、前方系センサの観測データよりも低い解像度またはサンプリングレートで記録しても良い。
 自動運転ECU20が自動的な右側への車線変更を計画している場合、右斜め前方から右斜め後方にかけての範囲を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、その他の周辺監視センサ11の観測データは記録対象から除外しても良い。左側への車線変更を計画している場合には、左斜め前方から左斜め後方にかけての範囲を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、その他の周辺監視センサ11の観測データは記録対象から除外しても良い。
 また、自動運転ECU20が停車に向けた減速を実行、または、予定行動として計画している場合には、前方系センサ及び後方系センサの観測データを記録対象とする一方、側方系センサの観測データは記録対象から除外しても良い。交差点での右折/左折を実行、または、予定行動として計画している場合には、前方系センサ及び側方系センサの観測データを記録対象とする一方、後方系センサの観測データは記録対象から除外してもよい。走行時は移動方向に関連しない周辺監視センサ11の観測データを記録対象から除外する一方、自動駐車や自動出庫を実行、または、予定行動として計画している場合には、全ての周辺監視センサ11の観測データを記録対象に含めても良い。なお、MRMを実施している際には、移動方向などに関わらず、全ての周辺監視センサ11の観測データを記録対象に含めても良い。
 上記構成によれば、実行または計画している行動において、注意が必要な方向を検出範囲に含む周辺監視センサ11の観測データを記録対象に含める一方、他の周辺監視センサ11の観測データは記録対象から除外するか、情報量を低下させて保存する。このように一部の周辺監視センサ11の観測データを記録対象から除外する事により、保存されるデータを抑制することができる。なお、減速時に前方系センサの観測データを記録対象に含める理由は、減速の理由が前方に存在する可能性があるためである。
 また、上記構成によれば、注意が必要な方向については観測データを記録対象に含まれるため、当該方向における客観的な事実を示すデータを残すことができる。故に、データ保存量を抑制しつつ、事後解析性を確保することができる。なお、注意が必要な方向とは、衝突のリスクが高い方向や、自車両が移動しようとしている方向に対応する。
 なお、上記構成において記録対象設定部G2は、観測データを記録対象に含めない方向に対する自動運転ECU20の認識結果は、記録対象に含めても良い。例えば道なり走行時においては、後方系センサの観測データまでは記録しないものの、当該データに基づく車両後方に存在するオブジェクトの認識結果については記録対象に含めても良い。オブジェクトの認識結果には、位置情報や速度、移動方向の他、例えばオブジェクトのタグ付け状態、種別、追跡状態を含めることができる。或る周辺監視センサ11の観測データを記録対象から除外する場合であっても、当該周辺監視センサ11に基づく自動運転ECU20の認識状態は記録対象に含めることで、大まかな状況は把握可能となる。
 さらに、記録対象設定部G2は、自律走行モード時、実施中の行動(以降、現行動)及び予定行動に関連する方向の周辺監視センサ11の観測データと、当該方向の物体認識結果(タグ付け状態)をセットで記録対象に設定することが好ましい。現行動及び予定行動に関連する方向とは、例えば、車線変更であれば車線変更側の斜め前方から斜め後方までを指す。また、減速に関連する方向とは後方を指す。駐車に関連する方向は例えば全方位とすることができる。右左折時に関連する方向は、前方及び側方とすることができる。当該構成によれば、自動運転ECU20が、注意すべき方向のセンシング情報に基づいて、どのように認識していたかを検証可能となる。
 以上の構成は、自動運転ECU20が自律走行モードに、自車両の予定行動に対応する方向に存在する他車両の挙動を示すデータを記録対象に含める構成に相当する。周辺車両の挙動を示すデータとは、例えば周辺監視センサ11の観測データや自動運転ECU20の認識結果を指す。
 <記録対象についての補足>
 図17に示すように自車両が灯火装置として、運転モードを外部に通知するためのランプ(以降、運転モード通知灯51)を備える場合には、記録対象設定部G2は自律走行モード時、運転モード通知灯51の点灯状態を記録対象に設定しても良い。そのような構成によれば、自律走行モードである場合に、当該事実を適正に外部に通知していたかを検証可能となる。なお、運転モード通知灯51は、点灯の有無や点灯色などによって、自律走行モードであるか乗員関与モードであるかなどを明示する装置とすることができる。運転モード通知灯は自動運転ECU20が出力するステータス情報に基づき、ボディECU17が制御しても良い。
 また、自車両が対外コミュニケーション装置52を備える場合、記録対象設定部G2は、当該対外コミュニケーション装置52の作動状態を記録対象に含めてもよい。対外コミュニケーション装置52は、歩行者とのコミュニケーションを図るための画像を、路面又はウインドウガラスに投影するプロジェクタである。対外コミュニケーション装置52は、照射光が路面や窓ガラスに当たる姿勢で、例えばヘッドランプや、車室内の天井部(例えば窓枠部の上端付近)に設けられている。対外コミュニケーション装置52の作動状態には、路面またはウインドウガラスへの表示画像を含めることができる。歩行者とのコミュニケーションを図るための画像としては、歩行者に道を譲る趣旨の画像や、自車両の移動方向を示す画像、目標駐車位置を示す画像、自車両がまもなく発信する旨の画像、道を譲ってくれた存在に感謝を示す画像などが想定される。上記構成によれば、自律走行車両と歩行者との意思疎通が適正に行われていたかを検証可能となる。
 記録対象設定部G2は、自律走行モード時、自車両の周辺を走行している他車両の識別情報を記録対象に設定しても良い。周辺車両の識別情報は、例えば、自車両と車車間通信を実施している他車両の車両IDとすることができる。また、周辺車両の識別情報としては、ナンバープレートに記載された車両ナンバーであってもよい。車両ナンバーは、ナンバープレートを画像認識することによって特定可能である。自車両に事故等の記録イベントが発生した場合、周辺車両の車両用記録装置に、自車両の挙動を示す情報が記録されている可能性がある。周辺車両の識別情報を記録対象に含めることにより、事故時に周辺に存在した車両を特定できる。また、自車両周辺に存在した他車両の記録装置から、事故の発生原因を示す客観的なデータを収集することが期待できる。
 また、記録対象設定部G2は、周辺車両の挙動を示すデータを記録対象に含めても良い。周辺車両の挙動としては、加速や、追い越し、車線変更、停車、減速などを指す。また、幅寄せやあおり運転等の危険行為を記録対象としても良い。周辺車両の情報を記録対象に含める構成に関して、記録対象とする方向は、現行動及び予定行動に関連する方向に限定しても良い。例えば、右側への車線変更を計画している場合には、自車走行車線と右側車線を走行している他車両の情報を記録対象に含める一方、自車左側の車線を走行している他車両の情報は記録対象から除外してもよい。そのような構成によれば、万が一事故が起きた際に有用な情報は記録しつつ、保存されるデータ量を抑制することができる。
 なお、運行記録ユニット30は、自律走行中の他車両の事故/交通違反を検出した場合には、その前後所定時間の周辺監視センサ11の観測データを所定のセンタに報告してもよい。周囲において走行している他車両が自動運転車両であるか否かは、車車間通信または運転モード通知灯51の点灯状態に基づき判別可能である。また、自律走行車であることを示すステッカーを画像認識することで、他車両が自律走行車であるか否かを判別しても良い。交通違反等の報告先とするセンタは、例えば車両メーカーが管理するセンタとする。上記構成によれば、自動運転車による事故や交通違反の情報が車両メーカーに収集されるため、車両メーカーは、どのような状況下で自律走行車が事故や交通違反をしてしまったかを把握可能となる。その結果、自動運転システム1の改善を促進させることができる。特に、一時停止線や信号機の無視は、周辺環境の誤認識に由来するものであって、交通違反をしてしまった自律走行車自身は当該事実を認識できないことが想定される。そのような事情を踏まえると、他車両による自律走行車の交通違反をセンタに報告することは有用性が高い。
 また、記録処理部G3は、自動運転ECU20から運転席乗員へ運転操作の引継ぎ要求を実施したことを記録イベントとして採用しても良い。具体的には、記録処理部G3は、自動運転ECU20が運転席乗員に対して運転操作の引継ぎ要求処理を実施した場合には、引継ぎ要求に至った理由を示す引継ぎ要因データをデータ格納部Mmに記録してもよい。引継ぎ要求に至った理由を示す引継ぎ要因データは自動運転ECU20から取得する。引継ぎ要因データの保存先は、上書き禁止領域M2であることが好ましい。引継ぎ要因データは、判断時刻、位置情報、運転席乗員状態を示すデータとセットで保存されることが好ましい。
 さらに、記録処理部G3は、前述の通り、自動運転ECU20がMRMを実行したことを記録イベントとして採用しても良い。具体的には、記録処理部G3は、自動運転ECU20がMRMを実施した場合には、MRMの実行に至った理由を示すデータや、MRM実行中の周辺監視センサ11の観測データを上書き禁止領域M2に保存してもよい。また、MRM走行時に設定した停車目標位置や減速度などのパスプランデータも記録対象に含めることが好ましい。上記の各種データは、時刻情報や、位置情報、運転席乗員状態を示すデータとセットで保存されることが好ましい。
 記録対象設定部G2は、自律走行モード時には、信号機との位置関係、天候情報、及び路面状態の少なくとも何れか1つを記録対象に設定しても良い。信号機との位置関係は、高精度地図データをもとに特定されれば良い。また、記録処理部G3は交差点内または交差点付近で記録イベントが発生した場合には、イベント発生時点から前後所定時間分の前方カメラ11aの映像信号と信号機の点灯状態の認識結果を示すデータをセットで上書き禁止領域M2に保存してもよい。当該構成によれば、事故の原因が自動運転ECU20による信号機の点灯状態の誤認識にあるのかどうかを検証可能となる。なお、交差点付近とは交差点から所定距離(例えば10m)以内を指す。
 記録処理部G3は、車載ソフトウェアが最新の状態であるか否かを示すデータを所定のタイミングで上書き禁止領域M2に保存しても良い。自動運転に係るソフトウェアが最新の状態であるか否かの検証は、例えば、自動運転ECU20がV2X車載器16を介してセンタと通信することで実現されれば良い。ソフトウェアが最新の状態であるか否かの検証は、走行用電源がオンとなったタイミングや、乗員からの指示があった場合、走行用電源がオフとなったタイミングで実行されれば良い。ソフトウェアが最新の状態であるか否かの検証結果についての記録処理部G3による記録処理は、例えば、上記の検証処理が終わったタイミングで実行されれば良い。自律走行モードを利用するためには、運転席乗員は、車両が本来の機能を発揮可能な状態に維持されていることが求められる。上記の構成によれば、運転席乗員が、車載ソフトウェアを適正に更新していたか否かを検証可能となる。
 自動運転ECU20は、自律走行モード時、センサ表面への泥や鳥の糞などの汚れが付着したことに起因して物体検出能力が低下していることを示す信号が周辺監視センサ11から入力された場合、HMIシステム15と連携し、その旨を乗員に通知しても良い。そのような構成においては、記録対象設定部G2は上記通知に対して乗員が適正に対応したかどうかを記録しても良い。上記通知に対する乗員の適正な対応としては、例えば、検出能力が低下している周辺監視センサを用いずに利用可能な動作モードへの切り替えや、一時停車してセンサ汚れを拭き取るなどの行為を指す。検出能力が低下している周辺監視センサ11を用いずに利用可能な動作モードへの切り替えとは、例えば、より自動化レベルの低い動作モードへの切り替えを指す。HMIシステム15は、検出能力が低下している周辺監視センサ11を用いずに利用可能な動作モード/自動化レベルを乗員に提示しても良い。上記構成によれば、システムが不安定な状態で自律走行モードを利用していたかどうかを検証可能となる。
 記録処理部G3によるデータの保存間隔は、車速に応じて調整してもよい。例えば、高速走行時は50ミリ秒毎、通常走行時は100ミリ秒ごと、低速走行時は200ミリ秒ごととしてもよい。低速走行時とは車速が所定の第1速度(例えば30km/h)以下の状態と定義することができる。また、通常走行時とは、車速が第1速度よりも大きく、かつ、所定の第2速度(例えば60km/h)以下の状態と定義可能である。高速走行時とは、車速が第2速度よりも大きい状態と定義可能である。車速が低いほど単位時間の移動距離も小さいため、保存間隔を疎としても事後解析性が低下する恐れは小さい。また、保存間隔を疎とするモードを備えることにより、データの保存量を抑制可能となる。なお、第1速度は、10km/hや20km/hなどであってもよい。第2速度は、80km/hや100km/hなどであってもよい。
 周辺監視センサ11の観測データ(主として画像データ)の保存品質もまた、上記と同様の技術思想により、車速に応じて変更されても良い。例えば車速が高いほど高品質で保存する。また、車速が低いほど解像度を落としたり、フレームレートを落とす処理を施して保存してもよい。解像度の落とし度合いは車速に応じて決定されれば良い。フレームレートの落とし度合いもまた、車速が低いほど大きく設定してもよい。
 自律走行モード時における記録処理部G3によるデータの保存間隔は、実行中または計画している行動の難易度に応じて調整してもよい。例えば道なり走行時は、車線変更などの複雑な制御実行時よりも、保存間隔を疎にしてもよい。ただし、交差点右左折時は、交差点直進時よりも保存間隔を疎にしてもよい。なお、行動の難易度は、例えば、交差点のない道路区間を道なり走行、車線変更、交差点直進、交差点右左折の順に高く設定可能である。道なり走行時も、曲率が所定の閾値以上となる急カーブか、直線区間であるかでより細かく区分されても良い。また、先行車が存在するか否かで行動の難易度は変更されても良い。上記の構成によれば難易度が高い行動(換言すれば制御)を実行する際には、相対的に密に各種データが保存される。そのため、事故等が起きた場合の事後解析性を高めることができる。また、上記の構成によれば難易度が低い制御を実行する際には、相対的に疎に各種データが保存されるため、データ保存量を抑制できる。
 運転席乗員状態データの記録に関し、システムが運転責任を負う動作モード時はアイズオン/オフといったシステム認識結果に留める一方、運転席乗員が運転責任を負う動作モード時の記録対象には顔部画像データも含めても良い。上記構成によっても、事故の原因解析性を維持しつつ、データ保存量を低減できる。なお、システムが運転責任を負う動作モードとは、例えばレベル4/5モードを指す。運転席乗員が運転席責任を負う動作モードとは、レベル0~3モードを指す。MRM中の運転責任は運転席乗員としてもよい。引継ぎ要求処理を実施している間は、動作モードによらず、顔部画像データを記録対象に含めてもよい。
 記録処理部G3は、データ格納部Mmにデータを保存する際、改ざんを防止するための検証用情報を付加して保存してもよい。検証用情報としては、例えば、保存しようとしているデータのハッシュ値を採用することができる。なお、ハッシュ値は例えばSHA-256などの所定のハッシュ関数を用いて生成することができる。
 記録処理部G3がイベント記録処理を実行する条件は、周辺環境や自車両の車種に応じて変更されてもよい。例えば、晴天時の記録条件は、雨天時の記録条件よりも緩めに設定されてもよい。また、自車両としてのシステム搭載車両が乗用車である場合と、システム搭載車両がトラックやトレーラ等の大型車両である場合とで、加速度やTTC、MTC等に関する記録用の閾値を異ならせても良い。例えば搭載車両がトラックやトレーラ等の大型車両には相対的に制動に時間が要するため、TTC、MTCに対する記録閾値は大きめの値に設定されていることが好ましい。周辺環境や車種に応じて記録条件を変更することにより不要なデータが保存されることを抑制可能となる。
 その他、記録処理部G3は、レベル3以上の動作モードでは、システム安定度に応じて、保存する情報の密度(例えば保存間隔、データ圧縮率など)を変えてもよい。ここでのシステム安定度は、自動運転システム1の限界に対する制御余裕度である。システム安定度は自動運転ECU20が各種センサの出力や、周辺環境の認識結果をもとに評価すればよい。例えば記録処理部G3は自動運転ECU20が算出するシステム安定度が低いほど保存間隔を密にする。また、記録処理部G3は、自動運転ECU20が算出するシステム安定度が高いほど周辺監視カメラが出力する画像データの圧縮率を高くしても良い。このような構成によれば例えばレベル4モードからレベル3モードに落ちる瞬間付近や、自動運転から手動運転に移る瞬間付近の情報量が大きくなり、事故等の解析性が向上する。
 運行記録ユニット30は、図18に示すようにデータ格納部Mmに保存されているデータを管理する記録データ管理部G5を備えていても良い。記録データ管理部G5は、例えば、前方カメラ11aの撮影画像に関連するデータが例えば6か月間は残るように、記憶容量が一杯になった場合には他の古いデータを優先的に削除する。なお、直近1ヶ月間の前方カメラ11aの撮影画像は観測データ相当のフォーマットで保存する一方、それよりも古いデータは、フレームレートや解像度を落とすなど、データを間引いて保存してもよい。例えば前方カメラ11aが生成した観測データとしてのFullHD画像を、保存期間が1ヶ月経過したタイミングで、解像度を落としたVGA(Video Graphics Array)の撮像画像に変換してもよい。当該構成によれば、データ格納部Mmの記憶容量が一杯となる恐れを低減できる。観測データ相当のフォーマットには、所定の品質を保つ保存形式も含まれる。周辺監視センサ11の観測データの保存形式は、品質やデータの復元性が担保されることを条件に、前方カメラ11aの出力形式と完全に同一でなくともよい。周辺監視センサ11の観測データの出力形式と、記録処理部G3による当該観測データの保存形式とは相違していても良い。例えば元データを復元可能な形式で圧縮保存されていても良い。なお、周辺監視カメラが生成する映像データの保存形式としてはHEVC(H.264)やHEVC(H.265)など多様なものを採用可能である。HEVCはHigh Efficiency Video Codingの略である。静止画像データ及び映像信号が撮像データに相当する。
 記録対象設定部G2は、システムの認識結果を記録対象に含める場合(例えば自律走行モード時)、システムで動作していたアプリケーションの情報、及び、使用されていたソフトウェアのバージョン情報を記録対象に含めても良い。換言すれば運行記録ユニット30は、自律走行モード時、自動運転ECU20内などで動作ソフトウェアの情報を逐次または所定のタイミングで記録するように構成されていても良い。ソフトウェアのバージョンによって認識ロジックや判定ロジックが異なり得るためである。なお、システムで動作していたソフトウェアとは、例えば自動運転ECU20や周辺監視センサ11などの、自動運転システム1を構成する装置の内部で動作していたソフトウェアが含まれる。
 システム内で動作していたアプリの種別情報は、逐次、又は、アプリの動作状態が変化したタイミングで記録されることが好ましい。システムが使用していた認識等のソフトウェアのバージョン情報は、ソフトウェアのアップデートが実施されたタイミングに記録してもよいし、所定の記録イベントが発生したタイミングに記録されても良い。ソフトウェアのバージョン情報の記録は、トリップ毎としてもよいし、所定期間(例えば24時間)毎としてもよい。ここでのトリップとは走行用電源がオンになっていからオフになるまでの走行を指す。
 上記構成によれば、自動運転ECU20の認識結果や制御指示内容が、その時使われた認識ソフトウェアのバージョン情報と対応付けられて記録される。そのため、例えば記録イベントが生じた場合に、どのようなソフトウェアが動作していたのか/使用されていたのかを含めて原因解析が可能となる。なお、上記の情報は、事故等の記録イベントが生じた場合に記録対象に含めても良い。
 複数の記録対象データは、図19に示すように、情報源となる装置ごとに区分されて保存することが可能である。各データには個別にタイムスタンプが付与されていてもよい。ただし、複数の要素が同時に発生する場合は、各種データは1つのタイムスタンプでまとめて記録しても良い。例えば図20に示すように、各時刻における複数種類の装置の動作状態を、時刻ごとにグループ化して保存してもよい。発生/取得時刻が共通するデータを同一のタイムスタンプを付与するとともにそれらをグループ化して保存する構成によれば、要素間の相互関係/相互作用を解析しやすくなる。
 保存データの管理態様は、上述の通り、装置毎でもよいし、時刻毎でも良い。また、記録処理部G3は、記録イベントごとのイベントIDを付与して種々の記録対象データを保存しても良い。例えば種々の保存データは記録イベント毎に区分されるとともに、発生/取得時間が共通するデータは同一のタイムスタンプでグループ化されていても良い。なお、図19及び図20では便宜上、タイムスタンプに相当する時刻情報を年/月/日/時/分/秒の概念で表現しているが、これに限らない。タイムスタンプはエポック秒で表現されていても良い。タイムスタンプは協定世界時(UTC:Universal Time Coordinated)で表現されていても良い。また、タイムスタンプは1秒よりも細かい時間のデータ(例えば何ミリ秒か)を含んでいてもよい。
 その他、記録対象設定記憶部Mdに保存されている記録対象設定データD1は、例えばサーバからの指示に基づいて、記録対象設定記憶部Mdに保存されている記録対象設定データD1の内容は変更されても良い。記録対象設定データD1も、ソフトウェアの一部として、サーバとの無線通信により更新可能に構成されていても良い。また、記録対象設定データD1の内容は、所定の許容範囲において、運転席乗員の操作によって変更可能に構成されていても良い。
 運行記録ユニット30は、一定時間以上前のデータをサーバにアップロードして、データ格納部Mmから削除してもよい。また、外部サーバが備える記憶領域をデータ格納部Mmの一部または全部として利用しても良い。例えば、上書き禁止領域M2はクラウド上のストレージを用いて実現されていても良い。記録対象データをV2X車載器16との協働によりデータ格納部Mmとしてのクラウドサーバ/クラウドストレージに向けて無線送信する処理も、記録対象データをデータ格納部Mmに逐次保存する処理に含まれる。
 なお、自車両が遠隔操作車両である場合には、遠隔操作者(オペレータ)が上記の運転席乗員に相当する。例えば自車両としてのシステム搭載車両がレベル3相当のロボットタクシー/無人運行バスである場合には、オペレータが運転席乗員に相当する。
 <システム構成例の補足>
 自動運転システム1の構成としては多様な構成を採用可能である。例えば自動運転システム1は図21に示すように、複数のECU41~46が自装置と対応付けられている周辺監視センサ11での観測データに基づく認識処理を実行し、LAN99に出力するように構成されていても良い。例えば、前方カメラECU41、周辺監視カメラECU42、前方レーダECU43、後側方レーダECU44、ソナーECU45、及びLiDAR-ECU46を備え、各ECU41~46が、各自に対応づけられている周辺監視センサ11での観測データに基づく認識処理を実行するように構成されていてもよい。この場合、自動運転ECU20は、各ECUから認識結果を取得して、統合(いわゆるフュージョン)し、制御判断を実行するように構成可能である。
 なお、前方カメラECU41は、前方カメラ11aで撮像された画像に対して認識処理を行うECUである。周辺監視カメラECU42は、後方カメラ11bなどの周辺監視カメラ11hで撮像された画像に対して認識処理を行うECUである。前方レーダECU43は、前方レーダ11eの測距結果、すなわち、検出方向及び距離毎の受信強度等を解析することで、車両前方に存在する物体の位置や相対速度、種別などを認識するECUである。後側方レーダECU44は、後側方レーダ11iの測距結果を解析することで、後側方に存在する物体の位置や相対速度、種別などを認識するECUである。後側方レーダ11iには、右後方レーダ11f及び左後方レーダ11gが含まれる。ソナーECU45はソナー11jの測距結果を解析することで物体の位置や、より好ましくはその高さや種別を推定するECUである。LiDAR-ECU46は、LiDAR11kが生成した3次元点群データ(換言すれば距離画像データ)を解析することで、検出範囲に存在する物体の位置や種別などを特定するECUである。各ECU41~46は、センサと一体的に構成されていても良い。
 また、自動運転システム1は、図22に示すように、自動運転ECU20が各周辺監視センサ11から観測データを取得して、各観測データに基づく認識処理から、フュージョン処理、及び、制御判断までを実行するように構成されていても良い。その他、認識処理を行う構成は、図23に示すように、カメラやLiDARなどの画像データの認識をまとめて行う画像系ECU47と、測距データに基づく認識を統括的に行う測距系ECU48とに分離されていても良い。画像系ECU47と測距系ECU48は、自動運転ECU20に内蔵されていてもよい。
 加えて、運行記録ユニット30の構成も適宜変更可能であり、例えば複数に分割して配置されていても良い。例えば運行記録ユニット30は、図24に示すように、前方カメラ11aなどのカメラ映像、及び、それに基づく認識結果を記録する映像系記録ユニット30aが、上記以外のデータを記録するユニットから独立して配置されていても良い。便宜上、映像系記録ユニット30aの記録対象から外れたデータを記録するためのユニットを非映像系記録ユニット30bと記載する。映像系記録ユニット30aは例えばナビゲーション装置または前方カメラ11aと統合されていても良い。映像系記録ユニット30a及び非映像系記録ユニット30bは前述の運行記録ユニット30の機能を分散させた構成であって、具体的な構成や作動は運行記録ユニット30の説明を援用可能である。なお、運行記録ユニット30が複数に分散配置された構成においては同期信号(例えばパルス信号等)を送受信することで各ユニットの時刻情報が同期するように構成されていることが好ましい。例えば映像系記録ユニット30a及び非映像系記録ユニット30bは、互いに同期信号を送受信することで同期をとるように構成されていることが好ましい。映像系記録ユニット30aと非映像系記録ユニット30bが共通の時刻情報を用いてタイムスタンプを付加可能とするためである。
 <付言(その1)>
 本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。上記の処理部21、31はCPUや、MPU、GPU(Graphics Processing Unit)、DFP、NPUなど、複数種類のプロセッサを組み合わせて実現されていてもよい。さらに、例えば処理部21、31が提供すべき機能の一部は、FPGA(Field-Programmable Gate Array)や、ASIC(Application Specific Integrated Circuit)、などを用いて実現されていても良い。
 また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体(non- transitory tangible storage medium)に記憶されている。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等、多様な記憶媒体を採用可能である。
 <付言(その2)>
 本開示には、以下の技術思想も含まれる。なお、下記の自動運転処理部とは、自動運転ECU20に相当する。
 [技術思想(1)]
 自動運転機能が搭載された車両で使用され、自動運転機能を提供するコンピュータである自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
 車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
 自動運転処理部の動作状態に対応する運転モードを示す信号を取得する運転モード取得部(G11)と、
 運転モードに応じて記録対象を変更する記録対象設定部(G2)と、
 記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
 運転モードごとの記録対象の設定は、所定サーバとの無線通信によって変更可能に構成されている。当該構成によれば、運転モードごとの記録対象を随時変更することができる。故に、法律等の改正に柔軟に対応可能となる。
 [技術思想(2)]
 記録対象設定部は、自動運転処理部が自律走行モードであって且つ予定行動として減速が計画されている場合、後方を検出方向とする周辺監視センサの観測データと、後方に対する自動運転処理部の環境認識結果を記録対象に設定する。当該構成によれば衝突の可能性がある前後方向の情報は生データとして記録しつつも、危険性の低い左右方向の観測データは記録対象から除外される。故に、事後解析性を維持しつつ、保存されるデータ量を抑制可能となる。
 [技術思想(3)]
 記録対象設定部は、自動運転処理部が自律走行モードであって且つ予定行動として交差点での右折または左折が計画されている場合、前方及び左右を検出方向とする周辺監視センサの観測データと、前方及び左右に対する自動運転処理部の環境認識結果を記録対象に設定する。当該構成によれば、対向車や道路横断中の歩行者との衝突の可能性がある前方及び左右方向についての生データは記録しつつも、危険性の低い後方の観測データは記録対象から除外される。故に、事後解析性を維持しつつ、保存データ量を抑制可能となる。
 [技術思想(4)]
 自動運転処理部は、周辺監視センサから検出能力が低下していることを示す信号が入力された場合に、HMIシステムと連携して運転席乗員に対して、周辺監視センサの検出能力が低下していることを通知する処理を実行するものであって、
 記録処理部は、上記通知に対して、運転席乗員が運転モードを、当該検出能力が低下しているセンサを用いずに利用可能な動作モードへと切り替える操作を所定時間以内に行ったか否かを記録する。当該構成によれば、運転席乗員が自動運転装置を本来の機能が発揮される状態で利用していたかを検証可能となる。
 [技術思想(5)]
 記録処理部は、走行用電源がオンまたはオフとなったことに基づいて、自動運転処理部のソフトウェアが最新の状態であるか否かを示すデータをデータ格納部に保存する。当該構成によれば、運転席乗員が、自動運転装置を本来の機能が発揮される状態で利用していたかを検証可能となる。
 [技術思想(6)]
 データ格納部は、データの削除が可能な上書き可能領域(M1)と、データの削除ができない上書き禁止領域(M2)とを備え、
 記録処理部は、
 記録対象設定部によって記録対象に設定されてあって、情報取得部が取得するデータは上書き可能領域に保存する一方、
 所定の記録イベントが生じた場合には、当該発生時点から過去所定時間以内に取得されたデータを上書き禁止領域に保存する。なお、記録イベントとしては、ODDの退出や、MRMの実行、自動運転レベルのダウン、運転席乗員によるオーバーライドなどが含まれる。当該構成によれば、イベント発生時の状況を示すデータが削除される恐れを低減できる。
 [技術思想(7)]
 記録処理部は、記録対象に設定されているデータに、改ざん防止用のハッシュ値を付与して保存する。上記構成によれば、保存データの一部が改ざんされる恐れを低減できる。または、保存データが不正に改ざんされた場合にはその旨を検出することが可能となる。
 [技術思想(8)]
 周辺監視センサの観測データには、車両の前方を撮像する前方カメラ(11a)の撮影画像が含まれており、
 自律走行モード時における前方カメラの撮像画像に関連するデータが所定期間は保存されるように、データ格納部内の保存データを管理する、データ管理部(G5)を備える。なお、所定期間としては6ヶ月や3ヶ月を設定可能である。当該構成によれば、自律走行時の前方状況を示すデータが残りやすくなる。
 [技術思想(9)]
 データ管理部は、前方カメラの撮像画像データは、直近1か月間分は観測データ又は所定の解像度を保つデータ形式で保存する一方、それより過去に撮像されたデータは解像度またはフレームレートを低下させた形式で保存する。当該構成によれば、データ保存量を抑制できる。また、有用性が高い直近のデータは、情報量が多い形式で保存されるため、事故原因等の解析性が損なわれる恐れを低減できる。
 [技術思想(10)]
 自動運転処理部は、自律走行モードとして、自動化レベル3に相当するレベル3モードと、自動化レベル4に相当するレベル4モードと、自動化レベル5に相当するレベル5モードの少なくとも1つを備えるとともに、自律走行モード時には、車載センサの出力に基づいて自律走行機能の制御余裕度を評価するものであって、
 記録処理部は、制御余裕度に応じてデータ格納部に保存する情報の密度を変更する。なお、制御余裕度はシステムの安定度に対応する。当該構成によれば制御余裕度が低い状況下においてはデータの保存量が増えるため、事後解析性が高まる。一方、制御余裕度が高い状況下においてはデータの保存量を抑制できる。
 [技術思想(11)]
 上記技術思想(10)の欄に記載の車両用記録装置において、制御余裕度が所定の閾値以上である場合には、所定の第1保存間隔でデータを取得及び保存する一方、制御余裕度が所定の閾値未満である場合には、第1保存間隔よりも短い第2保存間隔で、データの取得及び保存を実施する。
 [技術思想(12)]
 車両を自律走行させる自動運転機能を提供する自動運転装置であって、
 運転操作の自動化レベルが異なる複数の動作モードを備え、
 周辺監視センサの観測データに基づき、他の移動体の位置を含む周辺環境を認識する周辺環境認識部(F1)と、
 周辺環境認識部の認識結果及び運転席の乗員の操作の少なくとも何れか一方に基づいて動作モードを切り替えるモード制御部(F5)と、
 車両を自律走行させる自律走行モードである場合に、周辺環境認識部の認識結果に基づき、次に実施予定の行動を含む行動計画を生成する行動計画部(F6)と、
 行動計画部が生成した行動計画に基づき、走行アクチュエータの制御量を決定し、走行アクチュエータに制御信号を出力する制御実行部(F7)と、を備え、
 周辺監視センサの観測データ、周辺環境認識部の認識結果、行動計画部が計画した次に実施予定の行動を示す予定行動、及び、制御実行部が決定した走行アクチュエータの制御量の少なくとも2つを記録用のデータセットとして記録装置(30)に出力する作動状態出力部(F9)と、を備える。
 [技術思想(13)]
 技術思想(12)に記載の自動運転装置であって、
 作動状態出力部は、自律走行モード時、予定行動に関連する方向の周辺監視センサの観測データと、予定行動に関連する方向に対する環境認識部による認識結果を記録用のデータセットとして記録装置に出力する。
 [技術思想(14)]
 技術思想(13)の欄に記載の自動運転装置であって、
 作動状態出力部は、自律走行モード時、予定行動として、右側又は左側への車線変更が計画されている場合には、車線変更方向側の斜め前方、側方、及び斜め後方の少なくとも一部を検出範囲に含む周辺監視センサの観測データと、上記の方向に対する周辺環境認識部の認識結果を記録用のデータセットとして記録装置に出力する。
 [技術思想(15)]
 技術思想(13)または(14)の欄に記載の車両用記録装置であって、
 作動状態出力部は、自律走行モード時、予定行動として、減速が計画されている場合、後方を検出方向とする周辺監視センサの観測データと、後方に対する周辺環境認識部の認識結果を、記録用のデータセットとして記録装置に出力する。
 [技術思想(16)]
 技術思想(13)から(15)の何れかの欄に記載の車両用記録装置であって、
 作動状態出力部は、自律走行モード時、予定行動として、交差点での右折または左折が計画されている場合、前方及び左右を検出方向とする周辺監視センサの観測データと、前方及び左右に対する周辺環境認識部の認識結果を、記録用のデータセットとして、記録装置に出力する。
 [技術思想(17)]
 車両を自動走行させる自動運転機能を提供する自動運転装置であって、
 動作モードとして、自動化レベル3に相当するレベル3モードと、自動化レベル4に相当するレベル4モードと、運転操作の少なくとも一部を運転席乗員に任せる乗員関与モードと、を備え、
 周辺監視センサの観測データに基づき、他の移動体の位置を含む周辺環境を認識する周辺環境認識部(F1)と、
 周辺環境認識部の認識結果及び運転席の乗員の操作の少なくとも何れか一方に基づいて動作モードを切り替えるモード制御部(F5)と、
 乗員状態センサ(12a)から運転席乗員の状態を示す乗員状態データを取得する乗員状態認識部(F2)と、
 レベル3モード又はレベル4モード時において、運転席乗員に運転権限を移譲する可能性がある場合には、乗員状態データを記録する記録処理部(G3)と、を備え、
 記録処理部は、
 レベル3モードでは、乗員状態データを記録し、
 レベル4モードでは、車両に対して設定されている運行設計領域を退出するまでの残り時間である退出残余時間が所定の閾値未満となっている場合に乗員状態データを記録する一方、退出残余時間が閾値以上である場合には乗員状態データは記録しないように構成されている。

Claims (12)

  1.  自動運転機能が搭載された車両で使用され、前記自動運転機能を提供するコンピュータである自動運転処理部(20)の作動状態を記録する車両用記録装置であって、
     前記車両に搭載されたセンサ類から記録対象となりうる複数種類の情報を取得する情報取得部(G1)と、
     前記自動運転処理部の動作状態に対応する運転モードを示す信号を取得する運転モード取得部(G11)と、
     前記運転モードに応じて記録対象を変更する記録対象設定部(G2)と、
     前記記録対象設定部が設定した記録対象に該当する情報を所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する処理を実行する記録処理部(G3)と、を備え、
     記録対象となり得る前記複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれ、
     前記記録対象設定部は、前記運転モードに応じて、前記乗員状態データを記録対象に設定するか否かを切り替える車両用記録装置。
  2.  請求項1に記載の車両用記録装置であって、
     前記情報取得部は、
     前記自動運転処理部が前記車両を自律的に走行させる自律走行モードとなっている場合、前記自動運転処理部から、周辺環境の認識結果を示す環境認識結果と、実施予定の行動である予定行動の情報と、走行アクチュエータの制御量との少なくとも1つを取得するとともに、周辺監視センサから観測データを取得し、
     前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記環境認識結果、前記予定行動の情報、及び、前記制御量の少なくとも何れか1つと、前記周辺監視センサの前記観測データとを記録対象に設定する、車両用記録装置。
  3.  請求項2に記載の車両用記録装置であって、
     前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記予定行動に関連する方向の前記周辺監視センサの前記観測データと、前記予定行動に関連する方向に対する前記自動運転処理部の前記環境認識結果を記録対象に設定する、車両用記録装置。
  4.  請求項3に記載の車両用記録装置であって、
     前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであって且つ前記予定行動として右側又は左側への車線変更が計画されている場合には、車線変更方向側の斜め前方、車線変更方向側の側方、及び、車線変更方向側の斜め後方の少なくとも一部を検出範囲に含む、少なくとも1つの前記周辺監視センサの前記観測データと、上記の方向に対する前記自動運転処理部の前記環境認識結果を記録対象に設定する、車両用記録装置。
  5.  自律走行中であることを外部に通知するための灯火装置である運転モード通知灯(51)を備える車両で使用される、請求項1から4の何れか1項に記載の車両用記録装置であって、
     前記記録対象設定部は、前記自動運転処理部が前記車両を自律的に走行させる自律走行モードであることに基づいて、前記運転モード通知灯の作動状態を記録対象に含める、車両用記録装置。
  6.  請求項1から5の何れか1項に記載の車両用記録装置であって、
     前記記録対象設定部は、前記自動運転処理部が前記車両を自律的に走行させる自律走行モードであることに基づいて、前記車両の周辺に存在する他車両の識別情報を記録対象に含める、車両用記録装置。
  7.  請求項6に記載の車両用記録装置であって、
     前記記録対象設定部は、前記自動運転処理部が前記自律走行モードであることに基づいて、前記車両の周辺に存在する前記他車両の前記識別情報と、前記他車両の挙動を示すデータを記録対象に含める、車両用記録装置。
  8.  請求項1から7の何れか1項に記載の車両用記録装置であって、
     前記自動運転処理部は、前記車両を自律的に走行させる自律走行モード時、現在の状況が前記車両に対して設定されている自動運転許可条件を充足しているか否かを判定するものであって、
     前記記録処理部は、前記自動運転処理部が前記自動運転許可条件を充足しなくなったと判定した場合には、その判定根拠を示すデータを前記自動運転処理部から取得して前記データ格納部に保存する、車両用記録装置。
  9.  請求項1から8の何れか1項に記載の車両用記録装置であって、
     前記記録処理部は、前記自動運転処理部が前記運転席乗員に運転操作の引継ぎを要求する処理である引継ぎ要求処理を実施した場合には、前記引継ぎ要求処理の実行に至った理由を示すデータを前記自動運転処理部から取得して前記データ格納部に記録する、車両用記録装置。
  10.  請求項1から9の何れか1項に記載の車両用記録装置であって、
     前記記録対象となり得る複数種類の情報には、前記車両の前方を撮像する前方カメラ(11a)の撮影映像が含まれており、
     前記記録処理部は、前記自動運転処理部が前記車両を自律的に走行させる自律走行モードとなっている場合、
     前記前方カメラの撮像データを上書き可能な態様で保存するとともに、
     所定の記録イベントが生じた場合には、その時点から過去所定時間以内に撮影された前記前方カメラの所定時間分の撮像データを、上書きできない態様で保存するように構成されており、
     前記データ格納部は、前記前方カメラの前記所定時間分の映像データを、2000セット以上記録可能な容量を有している、車両用記録装置。
  11.  請求項1から10の何れか1項に記載の車両用記録装置であって、
     前記自動運転処理部は、運転操作の少なくとも一部を運転席乗員に任せる乗員関与モードと、自動運転レベル3に相当するレベル3モードと、自動運転レベル4に相当するレベル4モードと、を備え、
     前記記録対象設定部は、
     前記レベル3モードの間は、前記乗員状態データを記録対象に設定し続け、
     前記レベル4モードでは、前記車両に対して設定されている運行設計領域を退出するまでの残り時間である退出残余時間が所定の閾値未満となっている場合に前記乗員状態データを記録対象に含める一方、前記退出残余時間が前記閾値以上である場合には前記乗員状態データは記録対象から除外するように構成されている、車両用記録装置。
  12.  自動運転機能を提供するコンピュータである自動運転処理部(20)の作動状態を記録するための、プロセッサ(31)によって実行される情報記録方法であって、
     車両に搭載されたセンサ類から、記録対象となりうる複数種類の情報を取得するとともに、前記自動運転処理部の動作状態に対応する運転モードを示す信号を取得するモード取得ステップ(S1)と、
     前記運転モードに応じて記録対象を変更する記録対象設定ステップ(S2)と、
     前記記録対象設定ステップで設定された記録対象に該当する情報を、所定の記憶媒体を用いて実現されているデータ格納部(Mm)に保存する記録ステップ(S3、S5)と、を備え、
     記録対象となり得る前記複数種類の情報には、運転席乗員の状態を示す乗員状態データが含まれており、
     前記記録対象設定ステップは、前記運転モードに応じて、前記乗員状態データを記録対象に設定するか否かを切り替えるように構成されている情報記録方法。
PCT/JP2021/015694 2020-04-29 2021-04-16 車両用記録装置、情報記録方法 WO2021220845A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/049,447 US20230063930A1 (en) 2020-04-29 2022-10-25 Vehicle recording device and information recording method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-079895 2020-04-29
JP2020079895A JP7380409B2 (ja) 2020-04-29 2020-04-29 車両用記録装置、情報記録方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/049,447 Continuation US20230063930A1 (en) 2020-04-29 2022-10-25 Vehicle recording device and information recording method

Publications (1)

Publication Number Publication Date
WO2021220845A1 true WO2021220845A1 (ja) 2021-11-04

Family

ID=78279929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015694 WO2021220845A1 (ja) 2020-04-29 2021-04-16 車両用記録装置、情報記録方法

Country Status (3)

Country Link
US (1) US20230063930A1 (ja)
JP (2) JP7380409B2 (ja)
WO (1) WO2021220845A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7469167B2 (ja) * 2020-07-07 2024-04-16 本田技研工業株式会社 制御装置及び制御方法並びに車両
WO2022144975A1 (ja) * 2020-12-28 2022-07-07 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
BE1028777B1 (nl) * 2021-03-25 2022-06-01 Ivex Systeem en methode voor het detecteren van inconsistenties in de outputs van perceptiesystemen van autonome voertuigen
JP7203885B2 (ja) * 2021-03-31 2023-01-13 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2023106235A1 (ja) * 2021-12-06 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および車両制御システム
CN117636270B (zh) * 2024-01-23 2024-04-09 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190024A1 (ja) * 2017-04-11 2018-10-18 株式会社デンソー 車両のデータ記憶装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190024A1 (ja) * 2017-04-11 2018-10-18 株式会社デンソー 車両のデータ記憶装置

Also Published As

Publication number Publication date
US20230063930A1 (en) 2023-03-02
JP2023160848A (ja) 2023-11-02
JP2021174413A (ja) 2021-11-01
JP7380409B2 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
WO2021220845A1 (ja) 車両用記録装置、情報記録方法
US9594373B2 (en) Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
JP7466396B2 (ja) 車両制御装置
CN112298207B (zh) 当存在失去行驶能力的自主车辆时维持道路安全
US20200241530A1 (en) Avoidance of obscured roadway obstacles
US11586210B2 (en) Preemptive logical configuration of vehicle control systems
WO2022009900A1 (ja) 自動運転装置、車両制御方法
JP7409257B2 (ja) 信号機認識装置、信号機認識方法、車両制御装置
US20220198842A1 (en) Predictive analytics for vehicle health
US20230118619A1 (en) Parking-stopping point management device, parking-stopping point management method, and vehicle device
US20230120095A1 (en) Obstacle information management device, obstacle information management method, and device for vehicle
CN114655239A (zh) 用于管理驾驶员习惯的系统和方法
US20230373530A1 (en) Vehicle control device and vehicle control method
JP7073313B2 (ja) 車両制御装置
CN114655243A (zh) 基于地图的停止点控制
JP7444295B2 (ja) 処理装置、処理方法、処理プログラム、処理システム
US20240038069A1 (en) Processing device, processing method, processing system, and storage medium
WO2023090203A1 (ja) 自動運行装置、車両制御方法
JP2024081681A (ja) 自動運転装置、車両制御方法
JP2024079727A (ja) 自動運転装置、車両制御方法
DE102021127574A1 (de) Robuste augensicherheit für lidar-einrichtungen
CN115729229A (zh) 用于运载工具的方法和运载工具系统
CN115571144A (zh) 车辆的事故强度估计

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21796813

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21796813

Country of ref document: EP

Kind code of ref document: A1