WO2023106235A1 - 情報処理装置、情報処理方法、および車両制御システム - Google Patents

情報処理装置、情報処理方法、および車両制御システム Download PDF

Info

Publication number
WO2023106235A1
WO2023106235A1 PCT/JP2022/044577 JP2022044577W WO2023106235A1 WO 2023106235 A1 WO2023106235 A1 WO 2023106235A1 JP 2022044577 W JP2022044577 W JP 2022044577W WO 2023106235 A1 WO2023106235 A1 WO 2023106235A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
level
state
recognition
information
Prior art date
Application number
PCT/JP2022/044577
Other languages
English (en)
French (fr)
Inventor
智詞 中山
浩史 大脇
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP22904164.5A priority Critical patent/EP4447020A1/en
Priority to JP2023566293A priority patent/JPWO2023106235A1/ja
Priority to CN202280079328.XA priority patent/CN118434613A/zh
Publication of WO2023106235A1 publication Critical patent/WO2023106235A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present technology relates to an information processing device, an information processing method, and a vehicle control system, and more particularly relates to an information processing device, an information processing method, and a vehicle control system that enable continuation of automatic driving to be realized more favorably.
  • the automatic operation control device limits the function of automatic operation control and limits the non-automatic operation function to maintain the power for automatic operation control. disclosed.
  • This technology has been developed in view of this situation, and is intended to make it possible to realize the continuation of automated driving in a more suitable manner.
  • the information processing device of the present technology is a preliminary state with a high probability that an abnormality will occur in the system based on a driving control unit that controls automatic driving of a vehicle and state information representing the state of the system related to the automatic driving. and a level determination unit that determines transition or maintenance of the automatic driving level based on the reaction of the driver when it is determined that the preliminary state is established.
  • the information processing device determines whether or not the system is in a preliminary state in which there is a high probability that an abnormality will occur, based on state information representing the state of a system related to automatic driving of a vehicle. and an information processing method for deciding whether to shift or maintain the automatic driving level based on the reaction of the driver when it is determined that the preliminary state is established.
  • a vehicle control system of the present technology detects an abnormality in the system based on a camera mounted on a vehicle, an operation control unit that controls automatic operation of the vehicle, and state information representing the state of the system related to the automatic operation.
  • a state determination unit that determines whether or not the preliminary state is likely to occur, and a level determination unit that determines whether to shift or maintain the automatic driving level based on the driver's reaction when the preliminary state is determined. and a vehicle control system.
  • the present technology based on state information representing the state of a system related to automatic driving of a vehicle, it is determined whether or not there is a preliminary state in which there is a high probability that an abnormality will occur in the system, and the preliminary state is determined. If so, the decision to transfer or maintain the autonomous driving level is based on the driver's reaction.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system
  • FIG. FIG. 4 is a diagram showing an example of a sensing area
  • 1 is a block diagram showing a functional configuration example of a vehicle control system to which the present technology is applied
  • FIG. 4 is a flowchart for explaining an outline of the operation of the vehicle control system; It is a figure explaining the relationship between an operation mode and an automatic driving level. It is a figure explaining the temperature of a chip
  • FIG. 10 is a flowchart for explaining an operation in a level 4 or higher priority mode
  • FIG. FIG. 10 is a flowchart for explaining an operation in a level 4 or higher priority mode;
  • FIG. FIG. 10 is a flowchart for explaining an operation in a level 4 or higher priority mode;
  • FIG. 10 is a diagram for explaining a recognition frame rate in normal time;
  • FIG. 10 is a diagram illustrating a recognized frame rate when the load is reduced;
  • 4 is a flowchart for explaining an outline of the operation of the vehicle control system; It is a figure explaining other examples of an automatic driving level and a mode transition.
  • FIG. 10 is a flowchart for explaining the flow of operations of the vehicle during evacuation action;
  • FIG. 10 is a flowchart for explaining the flow of operations of the vehicle during evacuation action;
  • FIG. It is a figure explaining the outline
  • 4 is a block diagram showing a first configuration example of a detection processing unit;
  • FIG. 10 is a diagram illustrating a recognized frame rate when the load is reduced;
  • 4 is a flowchart for explaining an outline of the operation of the vehicle control system; It is a figure explaining other examples of an automatic driving level and a mode transition.
  • FIG. 9 is a block diagram showing a second configuration example of the detection processing unit; 4 is a flowchart for explaining the flow of recognition processing; It is a block diagram which shows the structural example of a computer.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11, which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support of the vehicle 1 and automatic driving.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a travel It has an assistance/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • a vehicle control ECU Electronic Control Unit
  • a communication unit 22 a communication unit 22
  • a map information storage unit 23 a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a travel It has an assistance/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30 , human machine interface (HMI) 31 , and vehicle control unit 32 are connected via a communication network 41 so as to be able to communicate with each other.
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near-field wireless communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication)
  • Bluetooth registered trademark
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part thereof.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 is, for example, 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on the external network communicates with a server (hereinafter referred to as an external server) located in the external network.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 22 can communicate with a terminal located near the vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving objects that move at relatively low speeds, terminals installed at fixed locations in stores, etc., or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., and vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition processing unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • radio wave beacons such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a predetermined communication speed or higher through wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). can communicate with each device in the vehicle.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is, for example, a map adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving/Automated Driving) by associating traffic information such as lane and traffic signal positions with a point cloud map.
  • the point cloud map and the vector map may be provided from an external server or the like, or as a map for matching with a local map described later based on the sensing results of the camera 51, radar 52, LiDAR 53, etc. It may be created by the vehicle 1 and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 24 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites and acquires position information of the vehicle 1 .
  • the acquired position information is supplied to the driving support/automatic driving control unit 29 .
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using beacons, for example.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51, radar 52, LiDAR 53, and ultrasonic sensor .
  • the number of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 is not particularly limited as long as it is a number that can be realistically installed in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the imaging method of the camera 51 is not particularly limited.
  • cameras of various types such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are capable of distance measurement, can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, weather, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are the types and number that can be realistically installed in the vehicle 1 .
  • the in-vehicle sensor 26 can include one or more sensors among cameras, radars, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, on a seat, a steering wheel, or the like, and detect various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as the types and number are practically installable in the vehicle 1 .
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used, for example, as EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and storage media include magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each unit of the vehicle control system 11 .
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information of the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition processing unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognition processing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition processing unit 73 executes detection processing for detecting the situation outside the vehicle 1 and recognition processing for recognizing the situation outside the vehicle 1 .
  • the recognition processing unit 73 performs detection processing and recognition processing of the situation outside the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. conduct.
  • the recognition processing unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition processing unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the radar 52 or the LiDAR 53 or the like for each point group cluster. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognition processing unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the clusters of point groups classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition processing unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 51 . Further, the recognition processing unit 73 may recognize types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition processing unit 73 recognizes the map stored in the map information storage unit 23, the estimation result of the self-location by the self-location estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition processing unit 73. , the recognition processing of the traffic rules around the vehicle 1 can be performed. Through this processing, the recognition processing unit 73 can recognize the position and state of traffic lights, the content of traffic signs and road markings, the content of traffic restrictions, and the lanes that can be traveled.
  • the recognition processing unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • the surrounding environment to be recognized by the recognition processing unit 73 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • global path planning is the process of planning a rough path from the start to the goal. This route planning is called trajectory planning, and in the planned route, trajectory generation (local path planning) that allows safe and smooth progress in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is performed. It also includes the processing to be performed.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to proceed.
  • the operation control unit 63 performs coordinated control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, vehicle collision warning, and vehicle lane departure warning.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • the driver's state to be recognized includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, and the like.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as touch panels, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 also performs output control for controlling the output, output content, output timing, output method, and the like of each generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 1, a warning display, an image such as a monitor image showing the situation around the vehicle 1, and information indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, motion, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, and a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can use a display device provided in the vehicle 1 such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81 , a brake control unit 82 , a drive control unit 83 , a body system control unit 84 , a light control unit 85 and a horn control unit 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a horn ECU for controlling the car horn, an actuator for driving the car horn, and the like.
  • FIG. 2 is a diagram showing an example of sensing areas by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 2 schematically shows the vehicle 1 viewed from above, the left end side is the front end (front) side of the vehicle 1, and the right end side is the rear end (rear) side of the vehicle 1.
  • a sensing area 101F and a sensing area 101B show examples of sensing areas of the ultrasonic sensor 54.
  • the sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 1 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 102F covers the front of the vehicle 1 to a position farther than the sensing area 101F.
  • the sensing area 102B covers the rear of the vehicle 1 to a position farther than the sensing area 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 102R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 102B is used, for example, for the rear collision prevention function of the vehicle 1 or the like.
  • the sensing results in sensing area 102L and sensing area 102R are used, for example, to detect an object in a blind spot on the side of vehicle 1, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • the sensing area 103F covers the front of the vehicle 1 to a position farther than the sensing area 102F.
  • the sensing area 103B covers the rear of the vehicle 1 to a position farther than the sensing area 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 103R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • Sensing results in the sensing area 103B can be used, for example, for parking assistance and surround view systems.
  • the sensing results in sensing area 103L and sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • the sensing area 105 covers the front of the vehicle 1 to a position farther than the sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing areas of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • the autonomous driving level is defined as follows. ⁇ Level 1: Driving support (the system performs either front/rear or left/right vehicle control) ⁇ Level 2: Autonomous driving function under specific conditions/partial driving automation (the system performs both longitudinal and lateral vehicle motion control subtasks in a limited area) ⁇ Level 3: Conditional automated driving/conditional automated driving (The system performs all driving tasks in a limited area, but the driver needs to respond appropriately to system intervention requests, etc.) ⁇ Level 4: Fully automated driving/advanced driving automation under specific conditions (the system performs all driving tasks under specific conditions) ⁇ Level 5: Fully automated driving / fully automated driving (the system always performs all driving tasks)
  • the driver when the temperature of the chip involved in the recognition process approaches a high temperature, the driver is encouraged to shift to a lower autonomous driving level. If the driver does not respond to the transition of the automatic driving level, the automatic driving level is maintained by reducing the load of recognition processing to reduce power consumption or by decelerating the vehicle. When the temperature of the chip drops to a certain temperature, it will return to the automatic operation level before the transition, or the restriction will be lifted. As a result, it is possible to realize continuation of the automatic operation more preferably.
  • FIG. 3 is a block diagram showing a functional configuration example of a vehicle control system to which the present technology is applied.
  • the vehicle control system 200 of FIG. 3 has a function of performing processing related to object recognition in the vehicle control system 11 of FIG. 1 and processing related to automatic driving of the vehicle 1 .
  • Vehicle control system 200 is configured to include imaging section 210 , recognition processing section 220 , nonvolatile memory section 230 , and operation control section 240 .
  • the imaging unit 210 corresponds to the camera 51 in the vehicle control system 11 of FIG.
  • the imaging unit 210 is configured as an in-vehicle camera mounted on the vehicle 1 .
  • the imaging unit 210 is configured as a front camera that is attached to the front window and captures an image of the front of the vehicle 1 .
  • the image capturing unit 210 captures an image whose image capturing range is in front of the vehicle 1 and supplies the corresponding video signal to the recognition processing unit 220 .
  • the recognition processing unit 220 corresponds to the recognition processing unit 73 in the vehicle control system 11 of FIG. 1, and is realized by one image recognition chip (device), for example.
  • the recognition processing unit 220 executes recognition processing for detecting and recognizing an object included in an image captured by the imaging unit 210 configured as a front camera.
  • the recognition processing unit 220 may be provided inside the camera 51 as the imaging unit 210 , or may be provided inside a sensor included in the camera 51 .
  • the recognition target of the recognition processing unit 220 is a pedestrian present around the vehicle 1, but the recognition target is not limited to pedestrians, other vehicles, bicycles, obstacles, etc. It can be any object, such as things, structures, roads, traffic lights, traffic signs, road markings. Moreover, the range in which these recognition targets exist may be any place outside the vehicle 1 instead of the surroundings of the vehicle 1 .
  • the recognition processing unit 220 is composed of an image input unit 221 , an image processing unit 222 , a detection processing unit 223 , a volatile memory unit 224 , a state measurement unit 225 and a control unit 226 .
  • the image input unit 221 receives the input of the video signal from the imaging unit 210 based on the control signal from the control unit 226, and sequentially stores each frame forming the corresponding image in the volatile memory unit 224.
  • the image processing section 222 performs various image processing on the image stored in the volatile memory section 224 based on the control signal from the control section 226 . Specifically, the image processing unit 222 performs distortion correction on the image and development processing for object recognition. Each frame constituting an image subjected to such image processing is sequentially stored in the volatile memory unit 224 .
  • the detection processing unit 223 performs object detection processing and recognition processing for each frame of the image stored in the volatile memory unit 224 based on the control signal from the control unit 226 . Specifically, the detection processing unit 223 uses learning data stored in the nonvolatile memory unit 230 to detect and recognize objects around the vehicle 1 included in each frame of the image. The processing result (recognition result) of the detection processing unit 223 is appropriately output to the HMI 31 (FIG. 1) or the like via the control unit 226 .
  • the volatile memory unit 224 is configured by, for example, an SDRAM (Synchronous Dynamic Random Access Memory) or the like, and temporarily stores each frame of an image. Each frame of the image stored in the volatile memory unit 224 is read by the image processing unit 222 and the detection processing unit 223 as appropriate.
  • SDRAM Serial Dynamic Random Access Memory
  • the state measurement unit 225 measures the state of the system related to automatic operation, and supplies state information representing the state of the system to the control unit 226. Specifically, the state measurement unit 225 measures the temperature of a chip involved in recognition processing for recognizing objects around the vehicle 1 , that is, the temperature of the image recognition chip realizing the recognition processing unit 220 . Note that the state measuring unit 225 may measure not only the temperature of the image recognition chip but also the temperature of the peripheral portion of the image recognition chip. Furthermore, the state measuring unit 225 may measure the temperature of a main LSI (Large Scale Integration) such as the image sensor of the camera 51 and the temperature of the peripheral portion thereof, not limited to the image recognition chip. Temperature information representing the measured temperature of the chip is supplied to the control unit 226 as status information.
  • LSI Large Scale Integration
  • the control unit 226 is configured by a CPU or the like, and controls the operation of each unit of the imaging unit 210 and the recognition processing unit 220 by outputting control signals. For example, the control unit 226 controls the operations of the imaging unit 210 and the detection processing unit 223 based on vehicle information representing the state of each part of the vehicle 1 and the situation around the vehicle 1 . Also, the control unit 226 determines the state of the system based on the state information from the state measurement unit 225, and determines the automatic driving level according to the determination result.
  • the control unit 226 is composed of a recognition control unit 251 , a state determination unit 252 , a level determination unit 253 and an information generation unit 254 .
  • the recognition control unit 251 controls object detection processing and object recognition processing by the detection processing unit 223 by outputting a control signal to the detection processing unit 223 .
  • the state determination unit 252 determines whether the system (recognition processing unit 220) is in a preliminary state with a high probability that an abnormality will occur. That is, the state determination unit 252 determines whether or not an abnormality is expected to occur in the system related to automatic operation. Specifically, whether or not the chip is in the preliminary state is determined based on whether or not the temperature of the chip has exceeded the threshold temperature.
  • the level determination unit 253 determines whether the automatic driving of the vehicle 1 is performed based on the reaction of the driver. Decide whether to transfer or maintain a level.
  • the determined content is supplied to the operation control unit 240 as control information.
  • the information generation unit 254 generates presentation information to be presented to the driver based on the determination result of the state determination unit 252 . For example, when the state determining unit 252 determines that the state is in the preliminary state, the information generating unit 254 generates, as presentation information, shift confirmation information for prompting the driver to shift to the automatic driving level.
  • the generated presentation information is output to the HMI 31 (FIG. 1) or the like.
  • the nonvolatile memory section 230 corresponds to the storage section 28 in the vehicle control system 11 of FIG. 1 and stores setting data used by each section of the recognition processing section 220 .
  • the setting data stored in the nonvolatile memory unit 230 includes learning data used for recognition processing by the recognition processing unit 220 .
  • the driving control unit 240 corresponds to the driving support/automatic driving control unit 29 in the vehicle control system 11 of FIG. 1, and controls the automatic driving of the vehicle 1. Specifically, the driving control unit 240 controls transition or maintenance of the automatic driving level based on control information from the control unit 226 .
  • the vehicle control system 200 is not limited to the configuration shown in FIG. 3, and can adopt any configuration.
  • each unit that configures the recognition processing unit 220 may be provided dispersedly in a plurality of chips (devices), or part of them may be provided in the imaging unit 210 .
  • the vehicle control system 200 may be composed of a recognition processing device including the recognition processing section 220 and the nonvolatile memory section 230 and the imaging section 210 .
  • the entire vehicle control system 200 may be configured as a single device such as one front camera.
  • step S ⁇ b>1 the state determination unit 252 acquires state information from the state measurement unit 225 .
  • step S2 the state determination unit 252 determines whether the system (recognition processing unit 220) is in a preliminary state in which there is a high probability that an abnormality will occur. If it is determined in step S2 that it is in the preliminary state, the process proceeds to step S3.
  • presentation information (transition confirmation information) generated by the information generation unit 254 is presented to the driver.
  • the driver determines whether or not to perform an input operation for shifting the automatic driving level to the vehicle control system 200 .
  • step S3 the level determining unit 253 determines whether to shift or maintain the automatic driving level of the vehicle 1 based on whether or not the driver's reaction (input operation) has been detected.
  • step S4 the level determining unit 253 determines whether or not the automatic driving level transition has been determined by detecting the driver's reaction.
  • step S4 When it is determined in step S4 that the automatic driving level transition has been determined, control information indicating the automatic driving level transition is supplied to the operation control unit 240, and the process proceeds to step S5.
  • step S5 the operation control unit 240 controls the automatic driving level of the vehicle 1 to shift to an automatic driving level lower than the current automatic driving level.
  • step S4 if it is determined that the automatic driving level transition has not been determined, the maintenance of the automatic driving level is determined, and the control information representing the maintenance of the automatic driving level is supplied to the operation control unit 240, and step Proceed to S6.
  • step S6 the driving control unit 240 maintains the automatic driving level based on the restriction information, while the level determining unit 253 restricts at least one of system processing and vehicle travel. Specifically, the recognition control unit 251 reduces the load of recognition processing, and the operation control unit 240 decelerates the vehicle 1 based on the restriction by the level determination unit 253 .
  • step S2 If it is determined in step S2 that the vehicle is not in the preliminary state, steps S3 to S5 or step S6 are skipped, and automatic operation of the vehicle 1 continues while maintaining the automatic operation level.
  • a normal mode and a level 4 or higher priority mode are defined as operation modes related to automatic driving.
  • the automated driving level is set to one of levels 1 to 5 according to the driver's decision.
  • Level 1 is a level in which the system provides a function to support either steering operation or acceleration/deceleration
  • Level 2 is a level in which the system provides a function to support both steering operation and acceleration/deceleration.
  • Levels 3 and 5 are levels at which the system is provided with full operational capabilities under certain conditions. However, at level 3, the driver needs to respond in case of emergency, while at level 4, control by the driver is not required. Level 5 is a level that provides fully automated driving functions where the system operates everything without restrictions on conditions.
  • level 4 or higher priority mode priority is given to continuation of automatic driving at level 4 or higher as the automatic driving level.
  • Mode transition from normal mode to level 4 or higher priority mode is, for example, when the driver instructs to switch to level 4 or higher priority mode during automatic driving at level 4 or level 5 in normal mode. executed.
  • the driver is prompted to shift to level 3. Specifically, when the chip temperature exceeds the threshold temperature while the vehicle 1 is running at level 4, the transition to level 3 is encouraged. Further, when the temperature of the chip exceeds the threshold temperature while the vehicle 1 is running at level 5, the transition to level 3 is urged through transition to level 4.
  • level 4 or 5 is maintained by limiting system processing and vehicle driving (restriction level 4 with restrictions or level 5 with restrictions). In this state, when the temperature of the chip falls below the threshold temperature, the level 4 or 5 restriction is lifted.
  • a difference is provided between the temperature threshold T1 and the temperature threshold T2 so that level shift/return and restriction/cancellation according to the temperature of the chip are hysteresis transitions. Also, at any level, when the chip temperature exceeds the operation guarantee temperature Tg, the operation guarantee range of the system is exceeded, and the recognition process is stopped by the fail-safe function or the like.
  • FIG. 7 and 8 The processes of FIGS. 7 and 8 are executed at predetermined intervals while the vehicle 1 is running in the level 4 or higher priority mode, for example.
  • step S11 the state determination unit 252 determines whether the temperature of the chip is equal to or higher than the temperature threshold value T2 based on the temperature information supplied from the state measurement unit 225 as state information.
  • step S11 is repeated, and if it is determined that the chip temperature is equal to or higher than the temperature threshold T2, the process proceeds to step S12. Note that when the vehicle 1 is running at level 5, after the tip temperature is shifted to level 4 between the temperature threshold T1 and the temperature threshold T2, it is determined whether the tip temperature is equal to or higher than the temperature threshold T2. is determined.
  • step S12 the information generation unit 254 prompts the driver to shift to level 3 by generating shift confirmation information that prompts the driver to shift to level 3 as presentation information to be presented to the driver.
  • step S13 the level determining unit 253 determines whether to shift to level 3 based on the driver's reaction to the shift confirmation information.
  • step S13 when it is determined to shift to level 3 because the driver performs an input operation for shifting to level 3, control information indicating the shift to level 3 is supplied to the operation control unit 240, Proceed to step S14.
  • step S14 the driving control unit 240 controls the automatic driving level of the vehicle 1 to shift to level 3.
  • step S15 the state determination unit 252 determines that level 4 or higher can be restored, and based on the temperature information from the state measurement unit 225, the chip temperature is It is determined whether or not the temperature is less than the temperature threshold T1.
  • the temperature threshold T1 whether or not it is possible to return to level 4 or higher is determined by whether or not a specific condition (driving area) for providing the functions of level 4 is satisfied.
  • step S15 is repeated. If it is determined that recovery to level 4 or higher is possible and the temperature of the chip is less than the temperature threshold T1, the process proceeds to step S16.
  • step S16 the state determination unit 252 determines whether or not it is possible to return to level 5. If it is determined that return to level 5 is possible, the process proceeds to step S17.
  • step S17 the information generation unit 254 prompts the driver to return to level 5 by generating return confirmation information that prompts the driver to return to level 5 as presentation information to be presented to the driver.
  • step S18 the level determining unit 253 determines whether to shift to level 5 based on the driver's reaction to the return confirmation information.
  • step S18 when it is determined to shift to level 5 by performing an input operation for shifting to level 5 by the driver, the control information indicating the shift to level 5 is supplied to the operation control unit 240, Go to step S19.
  • step S19 the driving control unit 240 controls the automatic driving level of the vehicle 1 to shift to level 5.
  • the transition from level 4 to level 5 may be executed after a predetermined period of time has passed after the transition to level 4, or the transition from level 3 to level 5 may be executed without transitioning to level 4. may be performed. After that, the process returns to step S11, and the subsequent processes are repeated.
  • step S16 determines whether it is possible to return to level 5 or not possible to return to level 5. If it is determined in step S16 that it is not possible to return to level 5, the process proceeds to step S20.
  • step S20 the information generation unit 254 prompts the driver to return to level 4 by generating return confirmation information that prompts the driver to return to level 4 as presentation information to be presented to the driver.
  • step S21 the level determining unit 253 determines whether to shift to level 4 based on the driver's reaction to the return confirmation information.
  • step S21 when it is determined to shift to level 4 because the driver performs an input operation for shifting to level 4, control information indicating the shift to level 4 is supplied to the operation control unit 240, Proceed to step S22.
  • step S22 the driving control unit 240 controls the automatic driving level of the vehicle 1 to shift to level 4. After that, the process returns to step S11, and the subsequent processes are repeated.
  • step S18 if the driver does not perform an input operation for shifting to level 5 and the transition to level 5 is rejected, the operation mode of the vehicle control system 200 is changed to the normal mode ( Transition to level 3).
  • step S21 even if the driver does not perform an input operation for shifting to level 4 and the transition to level 4 is rejected, the operation mode of vehicle control system 200 is changed to the normal mode. (level 3).
  • step S13 if the driver's reaction is not detected, for example, the driver does not perform an input operation for shifting to level 3 and the shift to level 3 is rejected, the level determination unit 253 determines level 4 or level 3. While deciding to maintain 5, system processing (recognition processing) and running of the vehicle 1 are restricted. That is, it shifts to restricted level 4 or restricted level 5, and proceeds to step S31 in FIG.
  • step S31 the operation control unit 240 determines whether or not the vehicle 1 is traveling in the low-speed lane based on the vehicle information representing the state of each part of the vehicle 1 and the situation around the vehicle 1. .
  • step S31 If it is determined in step S31 that the vehicle 1 is traveling in the low-speed lane, the process proceeds to step S32. It controls automatic driving of the vehicle 1 .
  • step S31 determines whether the vehicle 1 is traveling in the low-speed lane. If it is determined in step S31 that the vehicle 1 is not traveling in the low-speed lane, the process proceeds to step S33, and the operation control unit 240 can change the lane to the low-speed lane based on the vehicle information. It is determined whether or not.
  • step S33 If it is determined in step S33 that the lane can be changed to the low-speed lane, the process proceeds to step S34. to control the automatic operation of
  • step S33 determines whether it is possible to change the lane to the low-speed lane. If it is determined in step S33 that it is not possible to change the lane to the low-speed lane, the process proceeds to step S35, and the operation control unit 240 automatically controls the vehicle 1 to maintain the current lane for a certain period of time. control driving. After that, the process returns to step S33, and the subsequent processes are repeated.
  • step S36 the operation control unit 240 notifies the outside of the vehicle by flashing the hazard lamps, etc., and decelerates the vehicle 1.
  • step S37 the operation control unit 240 determines whether the vehicle 1 has decelerated to a safe vehicle speed based on the vehicle information. Step S37 is repeated until it is determined that the vehicle has decelerated to a safe speed. When it is determined that the vehicle has decelerated to a safe speed, the vehicle information at that time is supplied to the control unit 250, and the process proceeds to step S38.
  • the safe vehicle speed referred to here is a speed set in advance according to the road on which the vehicle 1 travels, and is set based on the legal speed, for example. Also, the safe vehicle speed may be adjusted according to the environment in which the vehicle 1 travels. For example, when the vehicle 1 is traveling on a congested road, the vehicle speed is adjusted to the extent that the distance from other vehicles is maintained. The vehicle speed may be adjusted to a speed lower than that.
  • step S ⁇ b>38 the recognition control unit 251 reduces the load of recognition processing by the detection processing unit 223 based on the vehicle information from the operation control unit 240 .
  • the recognition control unit 251 reduces the recognition processing load by decreasing the recognition frame rate for the image captured by the imaging unit 210 according to the decelerated vehicle speed represented by the vehicle information.
  • the recognition control unit 251 reduces the load of recognition processing by reducing the number of image pyramids, which are groups of images with stepwise resolutions, in recognition processing.
  • image pyramids which are groups of images with stepwise resolutions
  • a rough search is performed with a low-resolution image
  • the search range is narrowed down based on the search results
  • the narrowed search range is further searched with a high-resolution image. done.
  • FIG. 9 is a diagram explaining the recognition frame rate during normal operation.
  • FIG. 9 the timings of the input frame from the imaging unit 210, the recognition target frame, and the recognition process with respect to the time axis T are shown.
  • input frames F1 to F17 from the imaging unit 210 are input to the recognition processing unit 220 at a frame rate of 30 fps.
  • the input frames F1 to F17 input to the recognition processing unit 220 are subjected to image processing such as distortion correction by the image processing unit 222 as recognition target frames, and are sequentially stored in the volatile memory unit 224 .
  • the detection processing unit 223 performs recognition processing on the input frames F1 to F17 stored in the volatile memory unit 224 at a recognition frame rate of approximately 30 fps.
  • the recognition frame rate is made equal to the frame rate of the input frames
  • the CPU occupation rate in the recognition processing unit 220 increases and power consumption increases. This also causes the temperature of the chip to rise.
  • the time from the input of each input frame to the output timing of the recognition result is the maximum delay time Td1.
  • FIG. 10 is a diagram explaining the recognized frame rate when the load drops.
  • FIG. 10 also shows the timings of the input frame from the imaging unit 210, the recognition target frame, and the recognition process with respect to the time axis T.
  • the input frames F2, F4, . It is stored in the memory unit 224 .
  • the detection processing unit 223 performs recognition processing on the input frames F2, F4, . . . , F16 stored in the volatile memory unit 224 at a recognition frame rate of about 15 fps.
  • the recognition frame rate By setting the recognition frame rate to approximately half the frame rate of the input frame in this way, the CPU occupation rate in the recognition processing unit 220 (chip) is reduced, and power consumption is reduced. As a result, it is possible to suppress the temperature rise of the chip.
  • the time from the input of each input frame to the output timing of the recognition result is a maximum delay time Td2 longer than the maximum delay time Td1 in the example of FIG.
  • the recognition frame rate When the recognition frame rate is lowered, the maximum delay time increases as described above, and for example, the control timing of emergency braking based on the recognition result is delayed. On the other hand, in order to avoid accidents, it is necessary to reduce the vehicle speed. When the vehicle speed is decelerated, it is possible to reduce the number of image pyramids because the process of recognizing distant objects does not have to be performed. For example, when the frame rate recognized by the system is F_rec [f/s] and the maximum speed of the vehicle 1 for safe driving is V_max [km/h], the actual running speed of the vehicle 1 is V_max/ When decelerating to p [km/h] and running, the recognition frame rate can be reduced to F_rec/p [f/s].
  • the recognition control unit 251 limits the decision tree in the recognition process, thereby reducing the recognition process. You can lower the load.
  • step S39 the state determination unit 252 determines whether the temperature of the chip is less than the temperature threshold T1 based on the temperature information from the state measurement unit 225.
  • step S39 is repeated. If it is determined that the temperature of the chip is less than the temperature threshold T1, the process proceeds to step S40.
  • step S40 the level determination unit 253 releases the restrictions on the system processing (recognition processing) and the running of the vehicle 1. After that, the process returns to step S11 in FIG. 7, and the subsequent processes are repeated.
  • the vehicle 1 may be evacuated to the shoulder of the road and the evasive action of slowing down or stopping may be executed.
  • steps S101 to S106 in the flowchart of FIG. 11 is the same as the processing of steps S1 to S6 in the flowchart of FIG. 4, so description thereof will be omitted.
  • step S102 determines whether the state is in a dangerous state with a higher probability of occurrence of an abnormality than in the preliminary state. If it is determined in step S107 that the vehicle is in a dangerous state, the process proceeds to step S108.
  • step S108 the driving control unit 240 controls the vehicle 1 to take an evacuation action regardless of the driver's reaction.
  • presentation information indicating that the vehicle is in a dangerous state may be generated by the information generation unit 254 and presented to the driver.
  • step S108 is skipped, and automatic driving of the vehicle 1 continues while maintaining the automatic driving level.
  • the vehicle 1 retreats to the shoulder of the road and slows down or stops by the retreat action. At this time, since the evacuation action has started, even if the temperature of the chip exceeds the guaranteed operating temperature Tg, the recognition process can be executed normally until the evacuation action is completed.
  • FIG. 13 is a flow chart explaining the flow (processing) of the operation of the vehicle 1 during the evacuation action.
  • the process of FIG. 13 can be executed, for example, when the temperature of the chip exceeds the guaranteed operation temperature Tg, as described with reference to FIG.
  • step S211 the vehicle 1 (operation control unit 240) notifies the surrounding vehicles that the evacuation action has been started using, for example, hazard lamps, a car horn, V2X communication, and the like.
  • step S212 the operation control unit 240 decelerates the vehicle 1 to start stopping operation in the driving lane.
  • step S213 the evacuation action is completed when the vehicle 1 stops.
  • FIG. 14 is a flowchart explaining another example of the flow (processing) of the operation of the vehicle 1 during the evacuation action.
  • the process of FIG. 14 can be executed, for example, when the temperature of the chip exceeds the danger temperature Td, as described with reference to FIG.
  • steps S232 to S234 in the flowchart of FIG. 14 is the same as the processing in steps S211 to S213 in the flowchart of FIG. 13, so description thereof will be omitted.
  • step S231 the vehicle 1 (operation control unit 240) determines whether or not there is a space in which the vehicle 1 can stop, based on vehicle information representing the surrounding conditions of the vehicle 1. judge.
  • vehicle information representing the surrounding conditions of the vehicle 1.
  • spaces other than the driving lane where the vehicle can stop such as road shoulders and roadside spaces, are searched for.
  • step S231 If it is determined in step S231 that there is no space in which the vehicle can stop, in steps S232 to S234, a notification to surrounding vehicles and an operation to stop the vehicle in the driving lane are performed.
  • step S231 determines whether there is a space in which the vehicle can be stopped. If it is determined in step S231 that there is a space in which the vehicle can be stopped, the process proceeds to step S235, and the operation control unit 240 moves the vehicle 1 to a space in which the vehicle can be stopped.
  • step S236 the operation control unit 240 notifies the surrounding vehicles that the evacuation action has been started using, for example, hazard lamps, a car horn, V2X communication, or the like.
  • step S237 the operation control unit 240 decelerates the vehicle 1 to start the stopping operation in the searched space where the vehicle can stop.
  • step S238 the evacuation action is completed when the vehicle 1 stops.
  • the vehicle 1 can execute the evacuation action.
  • FIG. 15 shows six images of the 0th layer image P0, the 1st layer image P1, the 2nd layer image P2, the 3rd layer image P3, the 4th layer image P4, and the 5th layer image P5. .
  • the 0th layer image P0 to the 5th layer image P5 each have the same image content, and each has a different scale (size/resolution).
  • the image with the largest scale is the 0th layer image P0.
  • the scale of the images decreases in the order of the first layer image P1, the second layer image P2, the third layer image P3, the fourth layer image P4, and the fifth layer image P5.
  • the 0th layer image P0, the 1st layer image P1, and the 2nd layer image P2 in FIG. 15 are extracted and shown.
  • the 1st layer image P1 is obtained by reducing the 0th layer image P0 by a predetermined reduction ratio rd1 (rd1 ⁇ 1).
  • the second layer image P2 is obtained by reducing the 0th layer image P0 at a predetermined reduction ratio rd2, which is larger than the predetermined reduction ratio rd1. rd2) ⁇ V ⁇ (1 ⁇ rd2).
  • the scale becomes smaller in the order of the 0th layer image P0 to the 5th layer image P5. Therefore, it is assumed that these layer images are layered with the 0th layer image P0 as the lowest layer, and are sequentially stacked upward. Then, it can be considered that a quadrangular pyramid, that is, a pyramid shape is formed as shown in FIG. 15 by the surface in contact with the periphery of the layer image.
  • a pyramid shape formed by layering and stacking layer images in this manner is referred to as an image pyramid 300 here.
  • the scale of one image having the same image content changes depending on the height position in the pyramid. Incidentally, the higher the position in the image pyramid 300, the smaller the scale of the image.
  • the 0th layer image is used as a basis. That is, the input image (original frame) is set as the 0th layer image. Then, for example, images obtained by performing reduction processing on the original frame at different predetermined reduction ratios are defined as the first layer image P1 to the fifth layer image P5, respectively.
  • the layer images forming the image pyramid 300 are the 0th layer image P0 to the 5th layer image P5, but this is just an example. That is, the number of hierarchies of images forming the image pyramid 300 is not particularly limited within a range of 2 or more. It may be set according to the ability, the required recognition processing performance, and the like.
  • FIG. 17 is a block diagram showing a first configuration example of the detection processing unit 223 that performs recognition processing using image pyramids.
  • the detection processing unit 223 is composed of a hierarchical image generation unit 311, a template holding unit 312, and an object detection unit 313.
  • a hierarchical image generator 311 generates a plurality of images (hereinafter referred to as hierarchical images) forming the image pyramid described with reference to FIGS. 15 and 16 based on an input image (original frame), and an object detector 313.
  • the template holding unit 312 holds template images of various objects that can be recognized.
  • the template image held in the template holding unit 312 is read by the object detection unit 313 as appropriate.
  • the object detection unit 313 performs matching processing (template matching) on each layer image using the template image read from the template holding unit 312, thereby detecting a predetermined object for each layer image and displaying the detection result. (recognition result) is output.
  • the flow of recognition processing executed by the detection processing unit 223 of FIG. 17 will be described with reference to the flowchart of FIG.
  • the processing in FIG. 18 is executed each time an input image (original frame) is input to the detection processing unit 223 .
  • step S311 the hierarchical image generation unit 311 generates hierarchical images based on the input image (original frame).
  • step S312 the object detection unit 313 reads the template image from the template holding unit 312.
  • step S313 the object detection unit 313 detects an object by using the template image read from the template holding unit 312 for each hierarchical image.
  • recognition processing is performed for short-distance objects without performing recognition processing for distant objects.
  • the 0th layer image P0 to the 5th layer image P5 are generated by the layer image generation unit 311, the detection processing for the 0th layer image P0 to the 2nd layer image P2 is not performed during the limited driving.
  • the small-scale third layer image P3 to fifth layer image P5 are subjected to detection processing. As a result, the load of recognition processing can be reduced.
  • FIG. 19 is a block diagram showing a second configuration example of the detection processing unit 223 that performs recognition processing using image pyramids.
  • the detection processing unit 223 is composed of a template holding unit 331 and an object detection unit 332.
  • the template holding unit 331 holds a plurality of template images with different scales (hereinafter referred to as hierarchical templates) corresponding to the hierarchical images of the pyramid images described above, as template images for various objects that can be recognized.
  • the template image with the largest scale is set as the 0th layer template, and thereafter, the 1st layer template, the 2nd layer template, . (n+1) template images are retained.
  • the hierarchical templates held in the template holding section 331 are appropriately read out to the object detection section 332 .
  • the object detection unit 332 detects a predetermined object by performing matching processing on the input image (original frame) using the hierarchical template read from the template holding unit 331, and outputs the detection result (recognition result). Output.
  • the flow of recognition processing executed by the detection processing unit 223 of FIG. 19 will be described with reference to the flowchart of FIG.
  • the processing in FIG. 20 is executed each time an input image (original frame) is input to the detection processing unit 223 .
  • step S331 the object detection unit 332 reads the hierarchical template from the template holding unit 331.
  • step S332 the object detection unit 332 detects an object by using the hierarchical template read from the template holding unit 331 for the input image.
  • recognition processing is performed for short-distance objects without performing recognition processing for distant objects.
  • the templates of the 0th to 5th layers are held in the template holding unit 331, detection processing using the templates of the 3rd to 5th layers is not performed during limited running. Detection processing using the 0th layer template to the 2nd layer template having a large value is performed. As a result, the load of recognition processing can be reduced.
  • Recognition processing by the recognition processing unit 220 may be changed when automatic driving is performed at restricted level 4 or restricted level 5.
  • a signal (vehicle information) to the effect that the vehicle speed will be restricted is transmitted from the operation control unit 240 to the control unit 226.
  • the recognition control unit 251 changes recognition processing (recognition algorithm) according to the input signal.
  • the recognition processing by the recognition processing unit 220 may be changed to recognition processing with a reduced recognition frame rate, or may be changed to recognition processing that limits the layer images and layer templates that are used. good too.
  • the recognition processing by the recognition processing unit 220 (detection processing unit 223) can be changed to recognition processing adapted to the situation of traveling at level 4 with restrictions or level 5 with restrictions.
  • the state information representing the state of the system related to automatic driving is temperature information representing the temperature of the chip related to recognition processing for recognizing objects around the vehicle 1.
  • the parameter used for determining whether or not the system is in a preliminary state with a high probability that an abnormality will occur is not limited to the temperature information representing the temperature of the chip involved in the recognition process.
  • Intensity information representing the electromagnetic wave intensity/electromagnetic field intensity inside or outside the recognition sensor, temperature information representing the temperature of main LSIs such as the image sensor of the camera 51, and the like can be used.
  • the state measurement unit 225 measures the electromagnetic wave intensity/electromagnetic field intensity received by a chip (recognition processing unit 220) involved in recognition processing for recognizing objects around the vehicle 1, and measures the measured electromagnetic wave intensity/electromagnetic field intensity.
  • the intensity information it represents may be supplied to the controller 226 as status information.
  • the state measuring unit 225 that measures the electromagnetic wave intensity/electromagnetic field intensity can be configured by, for example, an antenna arranged inside the recognition sensor such as the camera 51 or an antenna arranged outside the recognition sensor.
  • the state determination unit 252 determines whether or not the electromagnetic wave intensity/electromagnetic field intensity represented by the intensity information exceeds the threshold intensity. It is determined whether or not.
  • the electromagnetic wave intensity/electromagnetic field intensity exceeds the intensity threshold value G2 while driving at automatic driving level 4 or 5, the transition to level 3 is encouraged. Also, at any level, if the electromagnetic wave intensity/electromagnetic field intensity exceeds the operation guarantee strength Gg, the operation is out of the system operation guarantee range. Furthermore, as in FIG. 12, at any level, when the electromagnetic wave intensity/electromagnetic field intensity exceeds the danger intensity Gd, the vehicle 1 starts evacuation action. In this way, when the electromagnetic wave intensity/electromagnetic field intensity is strong to a certain degree, the same level transition as in the case of temperature rise of the chip involved in the recognition process is made.
  • the temperature of the main LSI such as the image sensor of the camera 51 and the temperature of the surrounding area are measured, and based on whether or not the temperature exceeds the threshold temperature, a preliminary state in which there is a high probability that an abnormality will occur in the system. It may be determined whether or not.
  • the same level transition as the level transition according to the temperature of the chip involved in the recognition process is performed.
  • the temperature of the chip represented by the vertical axis in FIGS. 6 and 12 is assumed to be the temperature of the main LSI such as the image sensor.
  • the recognition processing unit 220 (detection processing unit 223) is changed to recognition processing at a recognition frame rate that matches the reduced imaging frame rate.
  • the recognition process may be executed with a limited number of hierarchical images and hierarchical templates to be used.
  • FIG. 21 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • the vehicle control system 200 described above is implemented by a computer 500 having the configuration shown in FIG.
  • the CPU 501 , ROM 502 and RAM 503 are interconnected by a bus 504 .
  • An input/output interface 505 is further connected to the bus 504 .
  • the input/output interface 505 is connected to an input unit 506 such as a keyboard and a mouse, and an output unit 507 such as a display and a speaker.
  • the input/output interface 505 is also connected to a storage unit 508 including a hard disk or nonvolatile memory, a communication unit 509 including a network interface, and a drive 510 for driving a removable medium 511 .
  • the CPU 501 loads, for example, a program stored in the storage unit 508 into the RAM 503 via the input/output interface 505 and the bus 504, and executes the above-described series of programs. processing takes place.
  • the program executed by the CPU 501 is recorded on the removable media 511, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 508.
  • the program executed by the computer 500 may be a program in which processing is performed in chronological order according to the order described in this specification, or a program in which processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed in
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • the present technology can be configured as follows.
  • a driving control unit that controls automatic driving of the vehicle;
  • a state determination unit that determines whether or not the system is in a preliminary state with a high probability that an abnormality will occur based on state information representing the state of the system related to automatic operation;
  • a level determination unit that determines transition or maintenance of an automatic driving level based on a reaction of a driver when it is determined that the preliminary state is established.
  • the state information represents the temperature of a chip related to recognition processing for recognizing objects around the vehicle, The information processing apparatus according to (1), wherein the state determination unit determines whether or not the preliminary state is established based on whether or not the temperature exceeds a threshold temperature.
  • the level determining unit transitions to a second automatic driving level lower than the first automatic driving level, or the first automatic driving level
  • the information processing apparatus according to (1) or (2) Further comprising an information generation unit that generates transition confirmation information that prompts transition of the automatic driving level when it is determined to be in the preliminary state, The information processing apparatus according to (1), wherein the level determination unit determines transition or maintenance of the automatic driving level based on the driver's reaction to the transition confirmation information.
  • the information generating unit generates return confirmation information that prompts a return to the automatic driving level before the transition when it is determined that the preliminary state is no longer after the transition of the automatic driving level,
  • the information processing apparatus according to (5), wherein the level determination unit determines return to the automatic driving level before transition based on the driver's reaction to the return confirmation information.
  • the level determination unit limits at least one of the processing of the system and the running of the vehicle while determining to maintain the automatic driving level. 4) The information processing device described in 4).
  • a recognition control unit that controls recognition processing for recognizing objects around the vehicle based on an image captured by a camera mounted on the vehicle, (7) The information processing apparatus according to (7), wherein the recognition control unit reduces the load of the recognition processing based on the restriction by the level determination unit. (9) The information processing apparatus according to (8), wherein the recognition control unit reduces the load of the recognition processing by reducing a recognition frame rate for the image. (10) The information processing apparatus according to (8), wherein the recognition control unit reduces the load of the recognition processing by reducing the number of image pyramids in the recognition processing. (11) (8) The information processing apparatus according to (8), wherein the recognition control unit reduces the load of the recognition process by limiting a decision tree in the recognition process.
  • the information processing apparatus according to any one of (8) to (11), wherein the camera includes a front camera that captures the image with an imaging range in front of the vehicle. (13) (7) The information processing apparatus according to (7), wherein the operation control unit controls deceleration of the vehicle based on the restriction by the level determination unit. (14) The information processing device according to (13), wherein the driving control unit controls traveling of the vehicle in a low-speed traveling lane. (15) (7) The information processing apparatus according to (7), wherein the level determination unit cancels the processing of the system and the restriction on travel of the vehicle when it is determined that the preliminary state is no longer present after the restriction by the level determination unit.
  • the state determination unit determines, based on the state information, whether or not the dangerous state has a higher probability than the preliminary state, The information processing device according to any one of (1) to (15), wherein the driving control unit executes a retreat action of the vehicle regardless of the reaction of the driver when the dangerous state is determined.
  • the state information represents an electromagnetic wave intensity of a chip related to recognition processing for recognizing objects around the vehicle, The information processing apparatus according to (1), wherein the state determination unit determines whether or not the preliminary state is established based on whether or not the electromagnetic wave intensity exceeds a threshold intensity.
  • the information processing device Based on the state information representing the state of the system related to automatic driving of the vehicle, it is determined whether the system is in a preliminary state with a high probability that an abnormality will occur, An information processing method for determining transition or maintenance of an automated driving level based on a reaction of a driver when it is determined that the preliminary state is established.
  • a camera mounted on the vehicle A driving control unit that controls automatic driving of the vehicle;
  • a state determination unit that determines whether or not the system is in a preliminary state with a high probability that an abnormality will occur based on state information representing the state of the system related to automatic operation;
  • a vehicle control system comprising: a level determination unit that determines transition or maintenance of an automated driving level based on a reaction of a driver when the preliminary state is determined.
  • Vehicle control system 11 Vehicle control system, 51 Camera, 73 Recognition processing unit, 200 Vehicle control system, 210 Imaging unit, 220 Recognition processing unit, 221 Image input unit, 222 Image processing unit, 223 Detection processing unit, 224 Volatile memory unit , 225 state measurement unit, 226 control unit, 230 non-volatile memory unit, 240 operation control unit, 251 recognition control unit, 252 state determination unit, 253 level determination unit, 254 information generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、より好適に自動運転の継続を実現できるようにする情報処理装置、情報処理方法、および車両制御システムに関する。 運転制御部は、車両の自動運転を制御し、状態判定部は、自動運転に係るシステムの状態を表す状態情報に基づいて、システムに異常が発生する蓋然性の高い予備状態であるか否かを判定し、レベル決定部は、予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定する。本技術は、例えば、自動運転に係る物体認識を行う画像認識チップに適用することができる。

Description

情報処理装置、情報処理方法、および車両制御システム
　本技術は、情報処理装置、情報処理方法、および車両制御システムに関し、特に、より好適に自動運転の継続を実現できるようにした情報処理装置、情報処理方法、および車両制御システムに関する。
　特許文献１には、バッテリ温度検出部が正常でない場合に、自動運転制御の機能を制限したり、自動運転制御のための電力を維持するために非自動運転機能を制限する自動運転制御装置が開示されている。
特開２０１８－１８１４７５号公報
　車両の自動運転においては、画像認識チップの発熱による熱暴走など、自動運転に係るシステム（デバイス）の異常の発生が、自動運転の継続に影響を及ぼすおそれがあった。
　本技術は、このような状況に鑑みてなされたものであり、より好適に自動運転の継続を実現できるようにするものである。
　本技術の情報処理装置は、車両の自動運転を制御する運転制御部と、前記自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定する状態判定部と、前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定するレベル決定部とを備える情報処理装置である。
　本技術の情報処理方法は、情報処理装置が、車両の自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定し、前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定する情報処理方法である。
　本技術の車両制御システムは、車両に搭載されるカメラと、前記車両の自動運転を制御する運転制御部と、前記自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定する状態判定部と、前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定するレベル決定部とを備える車両制御システムである。
　本技術においては、車両の自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かが判定され、前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持が決定される。
車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 本技術を適用した車両制御システムの機能構成例を示すブロック図である。 車両制御システムの動作概要について説明するフローチャートである。 動作モードと自動運転レベルの関係について説明する図である。 チップの温度と自動運転レベルの関係について説明する図である。 レベル４以上優先モードの動作について説明するフローチャートである。 レベル４以上優先モードの動作について説明するフローチャートである。 通常時の認識フレームレートについて説明する図である。 負荷低下時の認識フレームレートについて説明する図である。 車両制御システムの動作概要について説明するフローチャートである。 自動運転レベルとモード遷移の他の例について説明する図である。 退避行動時の車両の動作の流れについて説明するフローチャートである。 退避行動時の車両の動作の流れについて説明するフローチャートである。 画像ピラミッドの概要について説明する図である。 画像ピラミッドの概要について説明する図である。 検出処理部の第１の構成例を示すブロック図である。 認識処理の流れについて説明するフローチャートである。 検出処理部の第２の構成例を示すブロック図である。 認識処理の流れについて説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．従来の自動運転における課題
　３．本技術に係る車両制御システムの構成と動作概要
　４．車両制御システムの動作の詳細
　５．変形例・具体例
　６．コンピュータの構成例
＜１．車両制御システムの構成例＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援および自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、および、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、および、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内および車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、および、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air）。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識処理部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図および車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving／Automated Driving）に適合させた地図である。
　ポイントクラウドマップおよびベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、および、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、および、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、および、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、および、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量および温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部２８は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)およびＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援および自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、および、動作制御部６３を備える。
　分析部６１は、車両１および周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、および、認識処理部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、および、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識処理部７３による車両１の外部の状況の検出処理および認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、および、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、および、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識処理部７３は、車両１の外部の状況の検出を行う検出処理、および、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識処理部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理および認識処理を行う。
　具体的には、例えば、認識処理部７３は、車両１の周囲の物体の検出処理および認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識処理部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識処理部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度および進行方向（移動ベクトル）が検出される。
　例えば、認識処理部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識処理部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識処理部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、および、認識処理部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識処理部７３は、この処理により、信号機の位置および状態、交通標識および道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識処理部７３は、車両１の周囲の環境の認識処理を行うことができる。認識処理部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、および、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、および、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御および方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、および、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、および、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、および、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、および、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、および、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、および、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出および制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出および制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出および制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出および制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出および制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出および制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆおよびセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆおよびセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌおよびセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、および、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌおよびセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
＜２．従来の自動運転における課題＞
　車両の自動運転においては、センシング用途の車載カメラなどの高機能化に伴い、画像認識チップなど、自動運転に係るシステム（デバイス）の熱対策が重要になりつつある。高負荷時にはデバイスの消費電力が高くなり、排熱しきれずに熱暴走による機能不全に至るおそれがある。
　従来のシステムにおいては、熱暴走を避けるために、処理機能を全て停止させるなどの対策を講じているが、自動運転が普及する中で、例えばセンシングに係る処理機能を停止させることは望ましくない。
　このように、車両の自動運転においては、自動運転に係るシステム（デバイス）の異常の発生が、自動運転の継続に影響を及ぼすおそれがあった。
　そこで、本技術を適用した車両制御システムにおいては、自動運転に係るシステムに異常の発生が予想される場合に、ドライバの反応に基づいて、自動運転レベルを移行させるか、維持するかを決定することを実現する。
　自動運転レベルは、以下のように定義される。
　・レベル１：運転支援（システムが前後・左右のいずれかの車両制御を実施）
　・レベル２：特定条件下での自動運転機能／部分運転自動化（システムが縦方向および横方向、両方の車両運動制御のサブタスクを限定領域において実行）
　・レベル３：条件付き自動運転／条件付き運転自動化（システムが全ての運転タスクを限定領域において実施するが、システムの介入要求などに対して、ドライバが適切に対応することが必要）
　・レベル４：特定条件下における完全自動運転／高度運転自動化（特定条件下においてシステムが全ての運転タスクを実施）
　・レベル５：完全自動運転／完全運転自動化（常にシステムが全ての運転タスクを実施）
　例えば、認識処理に係るチップの温度が高温に近づいた場合、ドライバに対して、より低い自動運転レベルへの移行を促す。ドライバが自動運転レベルの移行に応じない場合には、認識処理の負荷を低減させて消費電力を低下させたり、車両を減速させたりするなどの制限により、自動運転レベルを維持する。チップの温度が一定温度まで下がれば、移行前の自動運転レベルに復帰させたり、制限を解除する。これにより、より好適に自動運転の継続を実現することが可能となる。
＜３．本技術に係る車両制御システムの構成と動作概要＞
　以下においては、より好適に自動運転の継続を実現する構成について説明する。
（車両制御システムの機能構成例）
　図３は、本技術を適用した車両制御システムの機能構成例を示すブロック図である。
　図３の車両制御システム２００は、図１の車両制御システム１１における物体認識に関わる処理と、車両１の自動運転に関わる処理を行う機能を有する。車両制御システム２００は、撮像部２１０、認識処理部２２０、不揮発性メモリ部２３０、および運転制御部２４０を含むように構成される。
　撮像部２１０は、図１の車両制御システム１１におけるカメラ５１に対応する。撮像部２１０は、車両１に搭載される車載カメラとして構成される。具体的には、撮像部２１０は、フロントウィンドウに取り付けられ、車両１の前方を撮像するフロントカメラとして構成される。撮像部２１０は、認識処理部２２０からの制御信号に基づいて、車両１の前方を撮像範囲とした画像を撮像し、対応する映像信号を認識処理部２２０に供給する。
　認識処理部２２０は、図１の車両制御システム１１における認識処理部７３に対応し、例えば１つの画像認識チップ（デバイス）により実現される。認識処理部２２０は、フロントカメラとして構成される撮像部２１０により撮像された画像に含まれる物体を検出・認識する認識処理を実行する。認識処理部２２０は、撮像部２１０としてのカメラ５１の内部に設けられてもよいし、カメラ５１が有するセンサの内部に設けられてもよい。
　なお、以下においては、認識処理部２２０の認識対象は、車両１の周囲に存在する歩行者であるものとして説明するが、その認識対象は、歩行者に限られず、他の車両、自転車、障害物、構造物、道路、信号機、交通標識、道路標示など、任意の物体であってよい。また、これらの認識対象が存在する範囲は、車両１の周囲だけでなく、車両１の車外の任意の場所であってもよい。
　認識処理部２２０は、画像入力部２２１、画像処理部２２２、検出処理部２２３、揮発性メモリ部２２４、状態計測部２２５、および制御部２２６から構成される。
　画像入力部２２１は、制御部２２６からの制御信号に基づいて、撮像部２１０からの映像信号の入力を受け付け、対応する画像を構成する各フレームを、順次、揮発性メモリ部２２４に格納する。
　画像処理部２２２は、制御部２２６からの制御信号に基づいて、揮発性メモリ部２２４に格納されている画像に対して、各種の画像処理を施す。具体的には、画像処理部２２２は、画像に対して歪補正を施したり、物体認識のための現像処理を施したりする。これらの画像処理が施された画像を構成する各フレームは、順次、揮発性メモリ部２２４に格納される。
　検出処理部２２３は、制御部２２６からの制御信号に基づいて、揮発性メモリ部２２４に格納された画像の各フレームに対して、物体の検出処理と認識処理を行う。具体的には、検出処理部２２３は、不揮発性メモリ部２３０に記憶されている学習データを用いて、画像の各フレームに含まれる車両１の周囲の物体を検出・認識する。検出処理部２２３の処理結果（認識結果）は、適宜、制御部２２６を介して、ＨＭＩ３１（図１）などに出力される。
　揮発性メモリ部２２４は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などにより構成され、画像の各フレームを一時的に記憶する。揮発性メモリ部２２４に記憶された画像の各フレームは、適宜、画像処理部２２２や検出処理部２２３により読み出される。
　状態計測部２２５は、自動運転に係るシステムの状態を計測し、そのシステムの状態を表す状態情報を、制御部２２６に供給する。具体的には、状態計測部２２５は、車両１の周囲の物体を認識する認識処理に係るチップ、すなわち、認識処理部２２０を実現する画像認識チップの温度を計測する。なお、状態計測部２２５は、画像認識チップの温度だけでなく、画像認識チップの周辺部の温度を計測するようにしてもよい。さらに、状態計測部２２５は、画像認識チップに限らず、カメラ５１が有するイメージセンサなどの主要なＬＳＩ（Large Scale Integration）の温度やその周辺部の温度を計測するようにしてもよい。計測されたチップの温度を表す温度情報が、状態情報として、制御部２２６に供給される。
　制御部２２６は、ＣＰＵなどにより構成され、制御信号を出力することにより、撮像部２１０や認識処理部２２０の各部の動作を制御する。例えば、制御部２２６は、車両１の各部の状態や車両１の周囲の状況などを表す車両情報に基づいて、撮像部２１０や検出処理部２２３の動作を制御する。また、制御部２２６は、状態計測部２２５からの状態情報に基づいてシステムの状態を判定し、その判定結果に応じて、自動運転レベルを決定する。
　制御部２２６は、認識制御部２５１、状態判定部２５２、レベル決定部２５３、および情報生成部２５４から構成される。
　認識制御部２５１は、検出処理部２２３に制御信号を出力することで、検出処理部２２３による物体の検出処理と認識処理を制御する。
　状態判定部２５２は、状態計測部２２５からの状態情報に基づいて、システム（認識処理部２２０）に異常が発生する蓋然性の高い予備状態であるか否かを判定する。すなわち、状態判定部２５２は、自動運転に係るシステムに異常の発生が予想されるか否かを判定する。具体的には、チップの温度が閾値温度を超えたか否かに基づいて、予備状態であるか否かが判定される。
　レベル決定部２５３は、状態判定部２５２により予備状態であると判定された場合、すなわち、自動運転に係るシステムに異常の発生が予想される場合、ドライバの反応に基づいて、車両１の自動運転レベルの移行または維持を決定する。決定された内容（自動運転レベルの移行、または、自動運転レベルの維持）は、制御情報として、運転制御部２４０に供給される。
　情報生成部２５４は、状態判定部２５２の判定結果に基づいて、ドライバに提示される提示情報を生成する。例えば、情報生成部２５４は、状態判定部２５２により予備状態であると判定された場合、提示情報として、ドライバに対して自動運転レベルの移行を促す移行確認情報を生成する。生成された提示情報は、ＨＭＩ３１（図１）などに出力される。
　不揮発性メモリ部２３０は、図１の車両制御システム１１における記憶部２８に対応し、認識処理部２２０の各部が用いる設定データを記憶する。不揮発性メモリ部２３０に記憶される設定データには、認識処理部２２０の認識処理に用いられる学習データが含まれる。
　運転制御部２４０は、図１の車両制御システム１１における走行支援・自動運転制御部２９に対応し、車両１の自動運転を制御する。具体的には、運転制御部２４０は、制御部２２６からの制御情報に基づいて、自動運転レベルの移行または維持を制御する。
　なお、車両制御システム２００は、図３に示される構成に限られず、任意の構成を採ることができる。例えば、認識処理部２２０を構成する各部は、複数のチップ（デバイス）に分散して設けられてもよいし、その一部が撮像部２１０に設けられてもよい。また、車両制御システム２００が、認識処理部２２０と不揮発性メモリ部２３０からなる認識処理装置と、撮像部２１０から構成されてもよい。さらに、車両制御システム２００全体が、１台のフロントカメラなどの単一の装置として構成されてもよい。
（車両制御システムの動作概要）
　次に、図４のフローチャートを参照して、図３の車両制御システム２００の動作の概要について説明する。図４の処理は、例えば、車両１がある自動運転レベルでの走行中に、あらかじめ設定された一定時間おきに実行される。
　ステップＳ１において、状態判定部２５２は、状態計測部２２５から状態情報を取得する。
　ステップＳ２において、状態判定部２５２は、システム（認識処理部２２０）に異常が発生する蓋然性の高い予備状態であるか否かを判定する。ステップＳ２において予備状態であると判定された場合、ステップＳ３に進む。
　このとき、情報生成部２５４により生成された提示情報（移行確認情報）が、ドライバに対して提示される。ドライバは、移行確認情報を確認することにより、車両制御システム２００に対して、自動運転レベルを移行するための入力操作を行うか否かを決断する。
　ステップＳ３において、レベル決定部２５３は、ドライバの反応（入力操作）が検知されたか否かに基づいて、車両１の自動運転レベルの移行または維持を決定する。
　ステップＳ４において、レベル決定部２５３は、ドライバの反応が検知されることで、自動運転レベルの移行が決定されたか否かを判定する。
　ステップＳ４において、自動運転レベルの移行が決定されたと判定された場合、自動運転レベルの移行を表す制御情報が運転制御部２４０に供給され、ステップＳ５に進む。
　ステップＳ５において、運転制御部２４０は、車両１の自動運転レベルを、現在の自動運転レベルより低い自動運転レベルへ移行するよう制御する。
　一方、ステップＳ４において、自動運転レベルの移行が決定されなかったと判定された場合、自動運転レベルの維持が決定され、自動運転レベルの維持を表す制御情報が運転制御部２４０に供給されて、ステップＳ６に進む。
　ステップＳ６において、運転制御部２４０は、制限情報に基づいて、自動運転レベルを維持しつつ、レベル決定部２５３は、システムの処理および車両の走行の少なくともいずれかを制限する。具体的には、レベル決定部２５３による制限に基づいて、認識制御部２５１が、認識処理の負荷を低減させたり、運転制御部２４０が、車両１を減速させたりする。
　なお、ステップＳ２において予備状態でないと判定された場合、ステップＳ３乃至ステップＳ５またはステップＳ６はスキップされ、自動運転レベルを維持した状態で、車両１の自動運転が継続される。
　以上の処理によれば、自動運転に係るシステムに異常の発生が予想される場合に、ドライバの反応に基づいて、自動運転レベルを移行させるか、維持するかが決定される。これにより、自動運転に欠かせないセンシングに係る処理機能などを停止させることなく、より好適に自動運転の継続を実現することが可能となる。
＜４．車両制御システムの動作の詳細＞
　以下においては、本技術を適用した車両制御システム２００の動作の詳細について説明する。
（動作モードと自動運転レベルの関係）
　まず、図５を参照して、車両制御システム２００の動作モードと自動運転レベルの関係について説明する。
　本技術を適用した車両制御システム２００においては、自動運転に係る動作モードとして、通常モードとレベル４以上優先モードが定義される。
　通常モードにおいては、ドライバの意思決定により、自動運転レベルがレベル１乃至レベル５のいずれかに設定される。
　上述したように、レベル１，２においては、運転の主体はドライバであり、運転支援として定義される。レベル１は、システムがステアリング操作と加減速のいずれかを支援する機能が提供され、レベル２は、システムがステアリング操作と加減速のいずれも支援する機能が提供されるレベルである。
　レベル３，４，５においては、運転の主体はシステムであり、自動運転として定義される。レベル３とレベル４は、特定の条件下でシステムが全てを操作する機能が提供されるレベルである。但し、レベル３においては、緊急時にはドライバが対応する必要がある一方、レベル４においては、ドライバによる制御は不要とされる。レベル５は、条件の制限なくシステムが全てを操作する完全自動運転の機能が提供されるレベルである。
　一方、レベル４以上優先モードにおいては、自動運転レベルとしてレベル４以上での自動運転の継続が優先される。通常モードからレベル４以上優先モードへのモード遷移は、例えば、通常モードにおいてレベル４またはレベル５での自動運転の最中に、ドライバにより、レベル４以上優先モードへの切り替えが指示されることで実行される。
　レベル４以上優先モードにおいては、車両１がレベル４以上での走行中に、認識処理に係るチップの温度が閾値温度を超えた場合、ドライバに対して、レベル３への移行が促される。具体的には、車両１がレベル４での走行中に、チップの温度が閾値温度を超えた場合、レベル３への移行が促される。また、車両１がレベル５での走行中に、チップの温度が閾値温度を超えた場合、レベル４への移行を経て、レベル３への移行が促される。
　ドライバの反応に基づいて、レベル３へ移行した場合であっても、チップの温度が閾値温度を下回ることで、レベル４以上への復帰が促される。ドライバがレベル４以上への復帰に応じた場合、レベル４に復帰するかまたはレベル４への復帰を経てレベル５に復帰する一方、ドライバがレベル４以上への復帰を拒否した場合には、通常モード（レベル３）に遷移する。
　また、ドライバの反応がないなど、ドライバがレベル３への移行に応じない場合には、システムの処理や車両の走行を制限することで、レベル４またはレベル５での走行が維持される（制限付きレベル４または制限付きレベル５）。この状態で、チップの温度が閾値温度を下回った場合には、制限付きレベル４または制限付きレベル５の制限が解除される。
（チップの温度と自動運転レベルの関係）
　次に、図６を参照して、レベル４以上優先モードにおける、チップの温度と自動運転レベルの関係について説明する。
　図６においては、縦軸で表されるチップの温度に対するシステムの動作として、左から順に、レベル３での動作、レベル４またはレベル５での動作、制限付きレベル４または制限付きレベル５での動作が示されている。
　図中中央に示されるように、レベル４またはレベル５での動作において、チップの温度が温度閾値Ｔ２より低い場合、そのレベルが維持される。チップの温度が温度閾値Ｔ２以上となった場合、レベル３への移行が促される。なお、システムがレベル５で動作している場合においては、チップの温度が温度閾値Ｔ１から温度閾値Ｔ２の間にレベル４への移行が実行されたのち、チップの温度が温度閾値Ｔ２以上となったときに、レベル３への移行が促される。
　すなわち、図中左に示されるように、レベル３へ移行した場合において、チップの温度が温度閾値Ｔ１より高いとき、そのレベルが維持される。チップの温度が温度閾値Ｔ１未満となった場合、レベル４またはレベル５への復帰が促される。ここで、レベル５への復帰においては、レベル４への移行を経て、所定時間経過したのちに、レベル４からレベル５への移行が実行される。なお、レベル４への移行を経ることなく、レベル３からレベル５への直接移行が実行されてもよい。また、ドライバが、レベル４またはレベル５への復帰を拒否した場合、動作モードは、レベル４以上優先モードから通常モードに遷移する。
　また、チップの温度が温度閾値Ｔ２以上となり、レベル３への移行が促されたにもかかわらず、ドライバの反応がなかったり、ドライバが拒否した場合、レベルを維持しつつ、車両の走行と認識処理に制限がかけられる。
　すなわち、図中右に示されるように、制限付きレベル４または制限付きレベル５において、チップの温度が温度閾値Ｔ１より高いとき、車両の走行と認識処理が制限されつつ、そのレベルが維持される。チップの温度が温度閾値Ｔ１未満となった場合、車両の走行と認識処理の制限が解除される。
　図６の例では、チップの温度に応じたレベルの移行・復帰や制限・解除がヒステリシスな遷移となるように、温度閾値Ｔ１と温度閾値Ｔ２に差が設けられている。また、いずれのレベルにおいても、チップの温度が動作保証温度Ｔｇを超えた場合にはシステムの動作保証範囲外となり、フェールセーフ機能などにより認識処理は停止する。
　なお、動作保証範囲外となったシステムに対して、ＡＤＡＳ／ＡＤの代替システムが使用可能である場合には、認識処理を停止させてから、当該代替システムにより退避行動（ＭＲＭ：Minimum Risk Maneuver）が実行されるようにする。一方、当該代替システムが使用可能でない場合には、退避行動（ＭＲＭ）が実行されたのち、認識処理を停止させるようにする。
（レベル４以上優先モードの動作の流れ）
　ここで、図７および図８のフローチャートを参照して、車両制御システム２００におけるレベル４以上優先モードの動作の流れについて説明する。図７および図８の処理は、例えば、車両１がレベル４以上優先モードでの走行中に、あらかじめ設定された一定時間おきに実行される。
　ステップＳ１１において、状態判定部２５２は、状態計測部２２５から状態情報として供給される温度情報に基づいて、チップの温度が温度閾値Ｔ２以上か否かを判定する。
　チップの温度が温度閾値Ｔ２以上でないと判定された場合、ステップＳ１１は繰り返され、チップの温度が温度閾値Ｔ２以上であると判定されると、ステップＳ１２に進む。なお、車両１がレベル５で走行している場合、チップの温度が温度閾値Ｔ１から温度閾値Ｔ２の間にレベル４への移行が実行されたのち、チップの温度が温度閾値Ｔ２以上か否かが判定される。
　ステップＳ１２において、情報生成部２５４は、ドライバに提示される提示情報として、ドライバに対してレベル３への移行を促す移行確認情報を生成することで、レベル３への移行を促す。
　ステップＳ１３において、レベル決定部２５３は、移行確認情報に対するドライバの反応に基づいて、レベル３へ移行するか否かを判定する。
　ステップＳ１３において、ドライバによりレベル３へ移行するための入力操作が行われるなどして、レベル３へ移行すると判定された場合、レベル３への移行を表す制御情報が運転制御部２４０に供給され、ステップＳ１４に進む。
　ステップＳ１４において、運転制御部２４０は、車両１の自動運転レベルを、レベル３へ移行するよう制御する。
　レベル３での自動運転が開始されたのち、ステップＳ１５において、状態判定部２５２は、レベル４以上への復帰が可能で、かつ、状態計測部２２５からの温度情報に基づいて、チップの温度が温度閾値Ｔ１未満か否かを判定する。ここで、レベル４以上への復帰が可能であるか否かは、レベル４の機能が提供される特定の条件（走行エリア）を満たしているか否かによって判定される。
　レベル４以上への復帰が可能でないか、または、チップの温度が温度閾値Ｔ１未満でないと判定された場合、ステップＳ１５は繰り返される。レベル４以上への復帰が可能で、かつ、チップの温度が温度閾値Ｔ１未満であると判定された場合、ステップＳ１６に進む。
　ステップＳ１６において、状態判定部２５２は、レベル５への復帰が可能か否かを判定する。レベル５への復帰が可能であると判定された場合、ステップＳ１７に進む。
　ステップＳ１７において、情報生成部２５４は、ドライバに提示される提示情報として、ドライバに対してレベル５への復帰を促す復帰確認情報を生成することで、レベル５への復帰を促す。
　ステップＳ１８において、レベル決定部２５３は、復帰確認情報に対するドライバの反応に基づいて、レベル５へ移行するか否かを判定する。
　ステップＳ１８において、ドライバによりレベル５へ移行するための入力操作が行われるなどして、レベル５へ移行すると判定された場合、レベル５への移行を表す制御情報が運転制御部２４０に供給され、ステップＳ１９に進む。
　ステップＳ１９において、運転制御部２４０は、車両１の自動運転レベルを、レベル５へ移行するよう制御する。ここでは、レベル４への移行を経て、所定時間経過したのちに、レベル４からレベル５への移行が実行されてもよいし、レベル４への移行を経ることなく、レベル３からレベル５への直接移行が実行されてもよい。その後、ステップＳ１１に戻り、以降の処理が繰り返される。
　一方、ステップＳ１６において、レベル５への復帰が可能でないと判定された場合、ステップＳ２０に進む。
　ステップＳ２０において、情報生成部２５４は、ドライバに提示される提示情報として、ドライバに対してレベル４への復帰を促す復帰確認情報を生成することで、レベル４への復帰を促す。
　ステップＳ２１において、レベル決定部２５３は、復帰確認情報に対するドライバの反応に基づいて、レベル４へ移行するか否かを判定する。
　ステップＳ２１において、ドライバによりレベル４へ移行するための入力操作が行われるなどして、レベル４へ移行すると判定された場合、レベル４への移行を表す制御情報が運転制御部２４０に供給され、ステップＳ２２に進む。
　ステップＳ２２において、運転制御部２４０は、車両１の自動運転レベルを、レベル４へ移行するよう制御する。その後、ステップＳ１１に戻り、以降の処理が繰り返される。
　また、ステップＳ１８において、ドライバによりレベル５へ移行するための入力操作が行われないなどして、レベル５への移行が拒否された場合には、車両制御システム２００の動作モードは、通常モード（レベル３）に遷移する。
　同様に、ステップＳ２１において、ドライバによりレベル４へ移行するための入力操作が行われないなどして、レベル４への移行が拒否された場合にも、車両制御システム２００の動作モードは、通常モード（レベル３）に遷移する。
　さて、ステップＳ１３において、ドライバによりレベル３へ移行するための入力操作が行われずにレベル３への移行が拒否されるなど、ドライバの反応が検知されない場合、レベル決定部２５３は、レベル４またはレベル５の維持を決定しつつ、システムの処理（認識処理）と車両１の走行を制限する。すなわち、制限付きレベル４または制限付きレベル５へ移行し、図８のステップＳ３１に進む。
　ステップＳ３１において、運転制御部２４０は、車両１の各部の状態や車両１の周囲の状況などを表す車両情報に基づいて、車両１が低速走行用車線を走行中であるか否かを判定する。
　ステップＳ３１において、車両１が低速走行用車線を走行中であると判定された場合、ステップＳ３２に進み、運転制御部２４０は、車両１の走行車線を維持しつつ、車線変更を制限するよう、車両１の自動運転を制御する。
　一方、ステップＳ３１において、車両１が低速走行用車線を走行中でないと判定された場合、ステップＳ３３に進み、運転制御部２４０は、車両情報に基づいて、低速走行用車線への車線変更が可能であるか否かを判定する。
　ステップＳ３３において、低速走行用車線への車線変更が可能であると判定された場合、ステップＳ３４に進み、運転制御部２４０は、低速走行用車線に移動し、車線変更を制限するよう、車両１の自動運転を制御する。
　一方、ステップＳ３３において、低速走行用車線への車線変更が可能でないと判定された場合、ステップＳ３５に進み、運転制御部２４０は、一定時間、現在の走行車線を維持するよう、車両１の自動運転を制御する。その後、ステップＳ３３に戻り、以降の処理が繰り返される。
　ステップＳ３２またはステップＳ３４の後、ステップＳ３６において、運転制御部２４０は、ハザードランプを点滅させるなどして車外への通知を行い、車両１を減速させる。
　ステップＳ３７において、運転制御部２４０は、車両情報に基づいて、車両１が安全な車速まで減速したか否かを判定する。安全な車速まで減速したと判定されるまで、ステップＳ３７は繰り返され、安全な車速まで減速したと判定されると、その時点での車両情報が制御部２５０に供給され、ステップＳ３８に進む。
　ここでいう安全な車速は、車両１が走行する道路に応じてあらかじめ設定された速度であり、例えば法定速度に基づいて設定される。また、安全な車速は、車両１が走行する環境などに応じて調整されてもよい。例えば、車両１が渋滞中の道路を走行している場合には、他の車両との間隔が維持される程度に車速が調整されたり、雨天などの悪天候の場合には、設定されている車速よりも低い速度に車速が調整されたりしてもよい。
　ステップＳ３８において、認識制御部２５１は、運転制御部２４０からの車両情報に基づいて、検出処理部２２３による認識処理の負荷を低下させる。
　具体的には、認識制御部２５１は、車両情報で表される減速した車速に応じて、撮像部２１０により撮像された画像に対する認識フレームレートを低下させることで、認識処理の負荷を低下させる。
　さらに、認識制御部２５１は、認識処理において、解像度を段階的に異ならせた画像群である画像ピラミッドの数を削減することで、認識処理の負荷を低下させる。画像ピラミッドを用いた認識処理においては、低解像度の画像で粗い探索を行い、探索結果をもとに探索範囲を絞り込み、絞り込んだ探索範囲について高解像度の画像でさらに探索を行う、という処理が繰り返し行われる。
　ここで、認識フレームレートが低下した場合の処理の詳細について説明する。
　図９は、通常時の認識フレームレートについて説明する図である。
　図９においては、時間軸Ｔに対する、撮像部２１０からの入力フレーム、認識対象フレーム、および認識処理それぞれのタイミングが示されている。
　図９の例では、撮像部２１０からの入力フレームＦ１乃至Ｆ１７は、３０ｆｐｓのフレームレートで、認識処理部２２０に入力される。
　認識処理部２２０に入力された入力フレームＦ１乃至Ｆ１７は、認識対象フレームとして、画像処理部２２２により歪補正などの画像処理が施され、順次、揮発性メモリ部２２４に格納される。
　そして、検出処理部２２３は、揮発性メモリ部２２４に格納された入力フレームＦ１乃至Ｆ１７に対して、約３０ｆｐｓの認識フレームレートで、認識処理を行う。
　このように、認識フレームレートを、入力フレームのフレームレートと同等にした場合、認識処理部２２０（チップ）におけるＣＰＵの占有率が高くなり、消費電力が大きくなる。これは、チップの温度が上昇する要因ともなる。
　図９の例では、各入力フレームについての入力から認識結果の出力タイミングまでの時間は、最大遅延時間Ｔｄ１となる。
　図１０は、負荷低下時の認識フレームレートについて説明する図である。
　図１０においても、図９と同様、時間軸Ｔに対する、撮像部２１０からの入力フレーム、認識対象フレーム、および認識処理それぞれのタイミングが示されている。
　但し、図１０の例では、認識処理部２２０に入力された入力フレームＦ１乃至Ｆ１７のうちの１フレームおきの入力フレームＦ２，Ｆ４，・・・，Ｆ１６が、認識対象フレームとして、順次、揮発性メモリ部２２４に格納される。
　そして、検出処理部２２３は、揮発性メモリ部２２４に格納された入力フレームＦ２，Ｆ４，・・・，Ｆ１６に対して、約１５ｆｐｓの認識フレームレートで、認識処理を行う。
　このように、認識フレームレートを、入力フレームのフレームレートのおよそ２分の１にすることで、認識処理部２２０（チップ）におけるＣＰＵの占有率が低くなり、消費電力が小さくなる。これにより、チップの温度の上昇を抑えることができる。
　また、図１０の例では、各入力フレームについての入力から認識結果の出力タイミングまでの時間は、図９の例における最大遅延時間Ｔｄ１よりも長い最大遅延時間Ｔｄ２となる。
　認識フレームレートを低下させた場合、上述したように最大遅延時間が長くなることで、例えば、認識結果に基づいた緊急ブレーキの制御タイミングが遅れる。一方で、事故を回避するためには、車速を減速させておく必要がある。車速を減速させた場合、遠方にある物体の認識処理は行われなくともよいことから、画像ピラミッドの数を削減することが可能となる。例えば、システムにおける認識フレームレートがＦ＿ｒｅｃ［ｆ／ｓ］であり、安全な運転がなされる車両１の最高速度がＶ＿ｍａｘ［ｋｍ／ｈ］である場合において、実際の車両１の走行速度をＶ＿ｍａｘ／ｐ［ｋｍ／ｈ］まで減速させて走行するときには、認識フレームレートをＦ＿ｒｅｃ／ｐ［ｆ／ｓ］まで低下させることができる。
　また、認識制御部２５１は、検出処理部２２３（認識処理部２２０）が、認識処理として、決定木を用いたパターン認識を行う場合、その認識処理における決定木を限定することで、認識処理の負荷を低下させてもよい。
　図８のフローチャートに戻り、ステップＳ３９において、状態判定部２５２は、状態計測部２２５からの温度情報に基づいて、チップの温度が温度閾値Ｔ１未満か否かを判定する。
　チップの温度が温度閾値Ｔ１未満でないと判定された場合、ステップＳ３９は繰り返される。チップの温度が温度閾値Ｔ１未満であると判定された場合、ステップＳ４０に進む。
　ステップＳ４０において、レベル決定部２５３は、システムの処理（認識処理）と車両１の走行の制限を解除する。その後、図７のステップＳ１１に戻り、以降の処理が繰り返される。
　以上の処理によれば、チップの温度上昇により熱暴走による機能不全が予想される場合に、ドライバの反応に基づいて、自動運転レベルを移行させるか、維持するかが決定される。これにより、自動運転に欠かせないセンシングに係る処理機能などを停止させることなく、より好適に自動運転の継続を実現することが可能となる。
＜５．変形例・具体例＞
　以下においては、上述した実施の形態の変形例や具体例について説明する。
（退避行動）
　上述した実施の形態においては、システム（認識処理部２２０）に異常が発生する蓋然性の高い予備状態であるか否かによって、車両１の自動運転レベルの移行または維持を決定されるものとした。
　しかしながら、予備状態よりも異常が発生する蓋然性が高い場合には、車両１の安全な走行が保証されない危険性が高まる。このような場合には、車両１を道路の路肩に退避させて徐行または停車させる退避行動を実行させてもよい。
　ここで、図１１のフローチャートを参照して、車両１の退避行動を実行させるようにした図３の車両制御システム２００の動作の概要について説明する。
　なお、図１１のフローチャートにおけるステップＳ１０１乃至Ｓ１０６の処理は、図４のフローチャートにおけるステップＳ１乃至Ｓ６の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１０２において予備状態でないと判定された場合、ステップＳ１０７に進み、状態判定部２５２は、予備状態よりも異常が発生する蓋然性の高い危険状態であるか否かを判定する。ステップＳ１０７において危険状態であると判定された場合、ステップＳ１０８に進む。
　ステップＳ１０８において、運転制御部２４０は、ドライバの反応によらず、車両１の退避行動を実行するよう制御する。このとき、情報生成部２５４により危険状態である旨を表す提示情報が生成され、ドライバに対して提示されてもよい。
　一方、ステップＳ１０７において危険状態でないと判定された場合、ステップＳ１０８はスキップされ、自動運転レベルを維持した状態で、車両１の自動運転が継続される。
　この場合、例えば、図６を参照して説明したチップの温度と自動運転レベルの関係においては、図１２に示されるように、いずれのレベルにおいても、チップの温度が危険温度Ｔｄを超えた場合に、車両１は、退避行動により道路の路肩に退避し徐行または停車する。このとき、退避行動が開始されているため、チップの温度が動作保証温度Ｔｇを超えた場合であっても、退避行動が完了するまで、認識処理は通常通り実行され得る。
（退避行動時の車両の動作）
　図６や図１２を参照して説明したように、チップの温度が動作保証温度Ｔｇや危険温度Ｔｄを超えた場合、車両１は、退避行動を実行する。
　図１３は、退避行動時の車両１の動作の流れ（処理）について説明するフローチャートである。図１３の処理は、例えば図６を参照して説明したように、チップの温度が動作保証温度Ｔｇを超えた場合に実行され得る。
　退避行動が開始されると、ステップＳ２１１において、車両１（運転制御部２４０）は、退避行動を開始したことを、例えば、ハザードランプやカーホーン、Ｖ２Ｘ通信などを用いて、周辺車両に通知する。
　ステップＳ２１２において、運転制御部２４０は、車両１を減速させることで、走行レーンでの停車動作を開始する。
　その後、ステップＳ２１３において、車両１が停車することで、退避行動は完了する。
　図１４は、退避行動時の車両１の動作の流れ（処理）の他の例について説明するフローチャートである。図１４の処理は、例えば図１２を参照して説明したように、チップの温度が危険温度Ｔｄを超えた場合に実行され得る。
　なお、図１４のフローチャートのステップＳ２３２乃至Ｓ２３４における処理は、図１３のフローチャートのステップＳ２１１乃至Ｓ２１３の処理と同様であるので、その説明は省略する。
　退避行動が開始されると、ステップＳ２３１において、車両１（運転制御部２４０）は、車両１の周囲の状況などを表す車両情報に基づいて、車両１が停車可能なスペースがないか否かを判定する。ここでは、例えば、路肩、道路脇のスペースなど、走行レーン以外において停車可能なスペースが探索される。
　ステップＳ２３１において、停車可能なスペースがないと判定された場合、ステップＳ２３２乃至Ｓ２３４において、周辺車両への通知と走行レーンでの停車動作が実行される。
　一方、ステップＳ２３１において、停車可能なスペースがあると判定された場合、ステップＳ２３５に進み、運転制御部２４０は、車両１を、停車可能なスペースに移動させる。
　ステップＳ２３６において、運転制御部２４０は、退避行動を開始したことを、例えば、ハザードランプやカーホーン、Ｖ２Ｘ通信などを用いて、周辺車両に通知する。
　ステップＳ２３７において、運転制御部２４０は、車両１を減速させることで、探索された停車可能なスペースでの停車動作を開始する。
　その後、ステップＳ２３８において、車両１が停車することで、退避行動は完了する。
　以上のようにして、車両１は退避行動を実行することができる。
（画像ピラミッドを用いた認識処理）
　ここでは、本技術を適用した車両制御システム２００により実行される、画像ピラミッドを用いた認識処理について説明する。
（１）画像ピラミッドの概要
　図１５および図１６を参照して、画像ピラミッドの概要について説明する。
　図１５には、第０層画像Ｐ０、第１層画像Ｐ１、第２層画像Ｐ２、第３層画像Ｐ３、第４層画像Ｐ４、第５層画像Ｐ５の６枚の画像が示されている。
　ここで、第０層画像Ｐ０乃至第５層画像Ｐ５は、それぞれが同じ画像の内容を有したうえで、それぞれが異なるスケール（サイズ・解像度）を有する。図１５においては、第０層画像Ｐ０乃至第５層画像Ｐ５のうちで、最も大きなスケールの画像が第０層画像Ｐ０とされる。以降、第１層画像Ｐ１、第２層画像Ｐ２、第３層画像Ｐ３、第４層画像Ｐ４、第５層画像Ｐ５の順で、画像のスケールが小さくなっていく。
　図１６においては、図１５における第０層画像Ｐ０、第１層画像Ｐ１、第２層画像Ｐ２が抜き出されて示されている。第０層画像Ｐ０の水平画素数×垂直画素数をＨ×Ｖとすると、第１層画Ｐ１は、あらかじめ定められた所定の縮小率ｒｄ１（ｒｄ１＜１）により第０層画像Ｐ０を縮小して得られる、水平画素数×垂直画素数＝Ｈ・（１－ｒｄ１）×Ｖ・（１－ｒｄ１）のスケールの画像となる。また、第２層画像Ｐ２は、あらかじめ定められた縮小率ｒｄ１よりも大きな所定の縮小率ｒｄ２により第０層画Ｐ０を縮小して得られる、水平画素数×垂直画素数＝Ｈ・（１－ｒｄ２）×Ｖ・（１－ｒｄ２）のスケールの画像となる。
　このようにして、スケールは第０層画像Ｐ０乃至第５層画像Ｐ５の順で小さくなっていく。そこで、これらの層画像について、第０層画像Ｐ０を最下層として階層化するようにして上方向に順に積み上げていったとする。すると、その層画像の外周に接する面により、図１５に示されるようにして四角錐、すなわちピラミッド形状が形成されるものとしてみることができる。このようにして、層画像を階層化して積み上げることに応じて形成されるピラミッド形状を、ここでは画像ピラミッド３００という。このようにして形成される画像ピラミッド３００においては、１つの同じ画内容を有する画像のスケールが、ピラミッドにおける高さ位置により変化することになる。ちなみに、画像ピラミッド３００において高い位置となるほど画像のスケールは小さくなっていく。
　上記のような画像ピラミッド３００を形成するにあたっては、第０層画像を基とする。つまり、入力された画像（原フレーム）を第０層画像とする。そのうえで、例えば、原フレームについて、それぞれ異なる所定の縮小率により縮小処理を行って得られる画像を、それぞれ、第１層画像Ｐ１乃至第５層画像Ｐ５とする。
　ここでは、画像ピラミッド３００を形成する層画像を、第０層画像Ｐ０乃至第５層画像Ｐ５の６枚としているが、これはあくまでも一例である。つまり、画像ピラミッド３００を形成する画像の階層数は２以上の範囲において特に限定されるものではなく、実際のシステムが対応する入力画像（原フレーム）のスケール、システムが有するハードウェアおよびソフトウェアの処理能力、要求される認識処理性能などに応じて設定されればよい。
（２）画像ピラミッドを用いた認識処理の第１の例
　図１７は、画像ピラミッドを用いた認識処理を行う検出処理部２２３の第１の構成例を示すブロック図である。
　図１７に示されるように、検出処理部２２３は、階層画像生成部３１１、テンプレート保持部３１２、および物体検出部３１３から構成される。
　階層画像生成部３１１は、入力画像（原フレーム）に基づいて、図１５および図１６を参照して説明した画像ピラミッドを形成する複数の画像（以下、階層画像という）を生成し、物体検出部３１３に供給する。
　テンプレート保持部３１２は、認識対象となり得る種々の物体についてのテンプレート画像を保持している。テンプレート保持部３１２に保持されているテンプレート画像は、適宜、物体検出部３１３に読み出される。
　物体検出部３１３は、各階層画像に対して、テンプレート保持部３１２から読み出したテンプレート画像を用いたマッチング処理（テンプレートマッチング）を行うことにより、階層画像毎に所定の物体を検出し、その検出結果（認識結果）を出力する。
　図１８のフローチャートを参照して、図１７の検出処理部２２３により実行される認識処理の流れについて説明する。図１８の処理は、検出処理部２２３に入力画像（原フレーム）が入力される毎に実行される。
　ステップＳ３１１において、階層画像生成部３１１は、入力画像（原フレーム）に基づいて階層画像を生成する。
　ステップＳ３１２において、物体検出部３１３は、テンプレート保持部３１２からテンプレート画像を読み出す。
　ステップＳ３１３において、物体検出部３１３は、各階層画像に対してテンプレート保持部３１２から読み出したテンプレート画像を用いることで物体を検出する。
　例えば車速が制限された制限走行が行われている場合、車両１の速度は遅いため、遠方の物体に対する認識処理は行わずに、近距離の物体に対する認識処理が行われるようにする。具体的には、階層画像生成部３１１より、第０層画像Ｐ０乃至第５層画像Ｐ５が生成された場合、制限走行時には、第０層画像Ｐ０乃至第２層画像Ｐ２に対する検出処理は行わず、スケールの小さい第３層画像Ｐ３乃至第５層画像Ｐ５に対する検出処理が行われるようにする。これにより、認識処理の負荷を低下させることができる。
（３）画像ピラミッドを用いた認識処理の第２の例
　図１９は、画像ピラミッドを用いた認識処理を行う検出処理部２２３の第２の構成例を示すブロック図である。
　図１９に示されるように、検出処理部２２３は、テンプレート保持部３３１と物体検出部３３２から構成される。
　テンプレート保持部３３１は、認識対象となり得る種々の物体についてのテンプレート画像として、上述したピラミッド画像の階層画像に対応した、スケールの異なる複数のテンプレート画像（以下、階層テンプレートという）を保持している。例えば、テンプレート保持部３３１においては、最も大きなスケールのテンプレート画像を第０層テンプレートとして、以降、画像のスケールが小さくにつれて、第１層テンプレート、第２層テンプレート、・・・、第ｎ層テンプレートの（ｎ＋１）枚のテンプレート画像が保持される。テンプレート保持部３３１に保持されている階層テンプレートは、適宜、物体検出部３３２に読み出される。
　物体検出部３３２は、入力画像（原フレーム）に対して、テンプレート保持部３３１から読み出した階層テンプレートを用いたマッチング処理を行うことにより、所定の物体を検出し、その検出結果（認識結果）を出力する。
　図２０のフローチャートを参照して、図１９の検出処理部２２３により実行される認識処理の流れについて説明する。図２０の処理は、検出処理部２２３に入力画像（原フレーム）が入力される毎に実行される。
　ステップＳ３３１において、物体検出部３３２は、テンプレート保持部３３１から階層テンプレートを読み出す。
　ステップＳ３３２において、物体検出部３３２は、入力画像に対してテンプレート保持部３３１から読み出した階層テンプレートを用いることで物体を検出する。
　例えば、車速が制限された制限走行が行われている場合、車両１の速度は遅いため、遠方の物体に対する認識処理は行わずに、近距離の物体に対する認識処理が行われるようにする。具体的には、テンプレート保持部３３１において、第０層テンプレート乃至第５層テンプレートが保持されている場合、制限走行時には、第３層テンプレート乃至第５層テンプレートを用いた検出処理は行わず、スケールの大きい第０層テンプレート乃至第２層テンプレートを用いた検出処理が行われるようにする。これにより、認識処理の負荷を低下させることができる。
（制限付きレベルに応じた認識処理の変更）
　制限付きレベル４または制限付きレベル５での自動運転が行われている場合において、認識処理部２２０による認識処理が変更されるようにしてもよい。
　具体的には、自動運転レベルが制限付きレベル４または制限付きレベル５へ移行されると、車速が制限された制限走行を行う旨の信号（車両情報）が、運転制御部２４０から制御部２２６（認識制御部２５１）に入力される。認識制御部２５１は、入力された信号に応じて、認識処理（認識アルゴリズム）を変更する。例えば、認識処理部２２０（検出処理部２２３）による認識処理が、認識フレームレートを低下させた認識処理に変更されてもよいし、用いられる階層画像や階層テンプレートを制限した認識処理に変更されてもよい。これに限らず、認識処理部２２０（検出処理部２２３）による認識処理は、制限付きレベル４または制限付きレベル５で走行する状況に合わせた認識処理に変更され得る。
（状態情報の他の例）
　上述した実施の形態においては、自動運転に係るシステムの状態を表す状態情報は、車両１の周囲の物体を認識する認識処理に係るチップの温度を表す温度情報であるものとしたが、これに限られない。具体的には、システムに異常が発生する蓋然性の高い予備状態であるか否かを判定するために用いられるパラメータとして、認識処理に係るチップの温度を表す温度情報に限らず、カメラ５１などの認識センサ内部や当該認識センサ外部の電磁波強度／電磁界強度を表す強度情報、カメラ５１が有するイメージセンサなどの主要なＬＳＩの温度を表す温度情報などを用いることができる。
　例えば、状態計測部２２５が、車両１の周囲の物体を認識する認識処理に係るチップ（認識処理部２２０）が受ける電磁波強度／電磁界強度を計測し、計測された電磁波強度／電磁界強度を表す強度情報が、状態情報として、制御部２２６に供給されてもよい。電磁波強度／電磁界強度を計測する状態計測部２２５は、例えば、カメラ５１などの認識センサ内部に配置されたアンテナや、当該認識センサ外部に配置されたアンテナなどで構成され得る。
　この場合、状態判定部２５２は、強度情報で表される電磁波強度／電磁界強度が閾値強度を超えたか否かに基づいて、システム（認識処理部２２０）に異常が発生する蓋然性の高い予備状態であるか否かを判定する。
　この場合、認識処理に係るチップの温度に応じたレベル遷移と同様のレベル遷移が行われるものとする。具体的には、図６や図１２において縦軸で表されるチップの温度を、電磁波強度／電磁界強度［Ｇ（ガウス），Ａ／ｍ（アンペア／メートル），Ｖ／ｍ（ボルト／メートル）］とし、温度閾値Ｔ１，Ｔ２、動作保証温度Ｔｇ、危険温度Ｔｄを、強度閾値Ｇ１，Ｇ２、動作保証強度Ｇｇ、危険強度Ｇｄに置き換える。
　例えば、自動運転レベルがレベル４またはレベル５での走行中において、電磁波強度／電磁界強度が強度閾値Ｇ２以上となった場合、レベル３への移行が促される。また、いずれのレベルにおいても、電磁波強度／電磁界強度が動作保証強度Ｇｇを超えた場合にはシステムの動作保証範囲外となる。さらに、図１２と同様に、いずれのレベルにおいても、電磁波強度／電磁界強度が危険強度Ｇｄを超えた場合に、車両１は退避行動を開始する。このように、電磁波強度／電磁界強度が一定程度強い場合においては、認識処理に係るチップの温度上昇の場合と同様のレベル遷移がなされるようにする。
　また、カメラ５１が有するイメージセンサなどの主要なＬＳＩの温度やその周辺部の温度が計測され、その温度が閾値温度を超えたか否かに基づいて、システムに異常が発生する蓋然性の高い予備状態であるか否かが判定されるようにしてよい。
　この場合もまた、認識処理に係るチップの温度に応じたレベル遷移と同様のレベル遷移が行われるものとする。具体的には、図６や図１２において縦軸で表されるチップの温度を、イメージセンサなどの主要なＬＳＩの温度とする。
　但し、イメージセンサの温度が上昇し、動作保証温度を超えるか、または、超える可能性がある場合で、制限付きレベル４または制限付きレベル５での自動運転が行われる場合、イメージセンサの撮像フレームレートを低下させるとともに、認識処理部２２０（検出処理部２２３）による認識処理が、低下させられた撮像フレームレートに合わせた認識フレームレートでの認識処理に変更される。さらに、認識処理においては、用いられる階層画像や階層テンプレートを制限した認識処理が実行されるようにしてもよい。
　このように、イメージセンサなどの主要なＬＳＩの温度やその周辺部の温度が上昇した場合においても、認識処理に係るチップの温度上昇の場合と同様のレベル遷移がなされるようにする。
　このような構成であっても、自動運転に欠かせないセンシングに係る処理機能などを停止させることなく、より好適に自動運転の継続を実現することが可能となる。
＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　上述した車両制御システム２００は、図２１に示す構成を有するコンピュータ５００により実現される。
　ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。
　以上のように構成されるコンピュータ５００では、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５およびバス５０４を介してＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。
　なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は以下のような構成をとることができる。
（１）
　車両の自動運転を制御する運転制御部と、
　前記自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定する状態判定部と、
　前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定するレベル決定部と
　を備える情報処理装置。
（２）
　前記状態情報は、前記車両の周囲の物体を認識する認識処理に係るチップの温度を表し、
　前記状態判定部は、前記温度が閾値温度を超えたか否かに基づいて、前記予備状態であるか否かを判定する
　（１）に記載の情報処理装置。
（３）
　前記レベル決定部は、第１の自動運転レベルでの前記車両の走行中に、前記第１の自動運転レベルよりも低い第２の自動運転レベルへの移行、または、前記第１の自動運転レベルの維持を決定する
　（１）または（２）に記載の情報処理装置。
（４）
　前記予備状態であると判定された場合、前記自動運転レベルの移行を促す移行確認情報を生成する情報生成部をさらに備え、
　前記レベル決定部は、前記移行確認情報に対する前記ドライバの反応に基づいて、前記自動運転レベルの移行または維持を決定する
　（１）に記載の情報処理装置。
（５）
　前記レベル決定部は、前記移行確認情報に対して前記ドライバの反応が検知された場合、前記自動運転レベルの移行を決定する
　（４）に記載の情報処理装置。
（６）
　前記情報生成部は、前記自動運転レベルの移行後、前記予備状態でなくなったと判定された場合、移行前の前記自動運転レベルへの復帰を促す復帰確認情報を生成し、
　前記レベル決定部は、前記復帰確認情報に対する前記ドライバの反応に基づいて、移行前の前記自動運転レベルへの復帰を決定する
　（５）に記載の情報処理装置。
（７）
　前記レベル決定部は、前記移行確認情報に対して前記ドライバの反応が検知されない場合、前記自動運転レベルの維持を決定しつつ、前記システムの処理および前記車両の走行の少なくともいずれかを制限する
　（４）に記載の情報処理装置。
（８）
　前記車両に搭載されたカメラにより撮像された画像に基づいて、前記車両の周囲の物体を認識する認識処理を制御する認識制御部を備え、
　前記認識制御部は、前記レベル決定部による制限に基づいて、前記認識処理の負荷を低減させる
　（７）に記載の情報処理装置。
（９）
　前記認識制御部は、前記画像に対する認識フレームレートを低下させることで、前記認識処理の負荷を低減させる
　（８）に記載の情報処理装置。
（１０）
　前記認識制御部は、前記認識処理における画像ピラミッドの数を削減することで、前記認識処理の負荷を低減させる
　（８）に記載の情報処理装置。
（１１）
　前記認識制御部は、前記認識処理における決定木を限定することで、前記認識処理の負荷を低減させる
　（８）に記載の情報処理装置。
（１２）
　前記カメラは、前記車両の前方を撮像範囲とした前記画像を撮像するフロントカメラを含む
　（８）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記運転制御部は、前記レベル決定部による制限に基づいて、前記車両の減速を制御する
　（７）に記載の情報処理装置。
（１４）
　前記運転制御部は、低速走行用車線における前記車両の走行を制御する
　（１３）に記載の情報処理装置。
（１５）
　前記レベル決定部は、前記レベル決定部による制限の後、前記予備状態でなくなったと判定された場合、前記システムの処理および前記車両の走行の制限を解除する
　（７）に記載の情報処理装置。
（１６）
　前記状態判定部は、前記状態情報に基づいて、前記予備状態よりも前記蓋然性の高い危険状態であるか否かを判定し、
　前記運転制御部は、前記危険状態であると判定された場合、前記ドライバの反応によらず、前記車両の退避行動を実行する
　（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記状態情報は、前記車両の周囲の物体を認識する認識処理に係るチップの電磁波強度を表し、
　前記状態判定部は、前記電磁波強度が閾値強度を超えたか否かに基づいて、前記予備状態であるか否かを判定する
　（１）に記載の情報処理装置。
（１８）
　情報処理装置が、
　車両の自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定し、
　前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定する
　情報処理方法。
（１９）
　車両に搭載されるカメラと、
　前記車両の自動運転を制御する運転制御部と、
　前記自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定する状態判定部と、
　前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定するレベル決定部と
　を備える車両制御システム。
　１　車両，　１１　車両制御システム，　５１　カメラ，　７３　認識処理部，　２００　車両制御システム，　２１０　撮像部，　２２０　認識処理部，　２２１　画像入力部，　２２２　画像処理部，　２２３　検出処理部，　２２４　揮発性メモリ部，　２２５　状態計測部，　２２６　制御部，　２３０　不揮発性メモリ部，　２４０　運転制御部，　２５１　認識制御部，　２５２　状態判定部，　２５３　レベル決定部，　２５４　情報生成部

Claims (19)

  1. 　車両の自動運転を制御する運転制御部と、
    　前記自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定する状態判定部と、
    　前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定するレベル決定部と
    　を備える情報処理装置。
  2. 　前記状態情報は、前記車両の周囲の物体を認識する認識処理に係るチップの温度を表し、
    　前記状態判定部は、前記温度が閾値温度を超えたか否かに基づいて、前記予備状態であるか否かを判定する
    　請求項１に記載の情報処理装置。
  3. 　前記レベル決定部は、第１の自動運転レベルでの前記車両の走行中に、前記第１の自動運転レベルよりも低い第２の自動運転レベルへの移行、または、前記第１の自動運転レベルの維持を決定する
    　請求項１に記載の情報処理装置。
  4. 　前記予備状態であると判定された場合、前記自動運転レベルの移行を促す移行確認情報を生成する情報生成部をさらに備え、
    　前記レベル決定部は、前記移行確認情報に対する前記ドライバの反応に基づいて、前記自動運転レベルの移行または維持を決定する
    　請求項１に記載の情報処理装置。
  5. 　前記レベル決定部は、前記移行確認情報に対して前記ドライバの反応が検知された場合、前記自動運転レベルの移行を決定する
    　請求項４に記載の情報処理装置。
  6. 　前記情報生成部は、前記自動運転レベルの移行後、前記予備状態でなくなったと判定された場合、移行前の前記自動運転レベルへの復帰を促す復帰確認情報を生成し、
    　前記レベル決定部は、前記復帰確認情報に対する前記ドライバの反応に基づいて、移行前の前記自動運転レベルへの復帰を決定する
    　請求項５に記載の情報処理装置。
  7. 　前記レベル決定部は、前記移行確認情報に対して前記ドライバの反応が検知されない場合、前記自動運転レベルの維持を決定しつつ、前記システムの処理および前記車両の走行の少なくともいずれかを制限する
    　請求項４に記載の情報処理装置。
  8. 　前記車両に搭載されたカメラにより撮像された画像に基づいて、前記車両の周囲の物体を認識する認識処理を制御する認識制御部を備え、
    　前記認識制御部は、前記レベル決定部による制限に基づいて、前記認識処理の負荷を低減させる
    　請求項７に記載の情報処理装置。
  9. 　前記認識制御部は、前記画像に対する認識フレームレートを低下させることで、前記認識処理の負荷を低減させる
    　請求項８に記載の情報処理装置。
  10. 　前記認識制御部は、前記認識処理における画像ピラミッドの数を削減することで、前記認識処理の負荷を低減させる
    　請求項８に記載の情報処理装置。
  11. 　前記認識制御部は、前記認識処理における決定木を限定することで、前記認識処理の負荷を低減させる
    　請求項８に記載の情報処理装置。
  12. 　前記カメラは、前記車両の前方を撮像範囲とした前記画像を撮像するフロントカメラを含む
    　請求項８に記載の情報処理装置。
  13. 　前記運転制御部は、前記レベル決定部による制限に基づいて、前記車両の減速を制御する
    　請求項７に記載の情報処理装置。
  14. 　前記運転制御部は、低速走行用車線における前記車両の走行を制御する
    　請求項１３に記載の情報処理装置。
  15. 　前記レベル決定部は、前記レベル決定部による制限の後、前記予備状態でなくなったと判定された場合、前記システムの処理および前記車両の走行の制限を解除する
    　請求項７に記載の情報処理装置。
  16. 　前記状態判定部は、前記状態情報に基づいて、前記予備状態よりも前記蓋然性の高い危険状態であるか否かを判定し、
    　前記運転制御部は、前記危険状態であると判定された場合、前記ドライバの反応によらず、前記車両の退避行動を実行する
    　請求項１に記載の情報処理装置。
  17. 　前記状態情報は、前記車両の周囲の物体を認識する認識処理に係るチップの電磁波強度を表し、
    　前記状態判定部は、前記電磁波強度が閾値強度を超えたか否かに基づいて、前記予備状態であるか否かを判定する
    　請求項１に記載の情報処理装置。
  18. 　情報処理装置が、
    　車両の自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定し、
    　前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定する
    　情報処理方法。
  19. 　車両に搭載されるカメラと、
    　前記車両の自動運転を制御する運転制御部と、
    　前記自動運転に係るシステムの状態を表す状態情報に基づいて、前記システムに異常が発生する蓋然性の高い予備状態であるか否かを判定する状態判定部と、
    　前記予備状態であると判定された場合、ドライバの反応に基づいて自動運転レベルの移行または維持を決定するレベル決定部と
    　を備える車両制御システム。
PCT/JP2022/044577 2021-12-06 2022-12-02 情報処理装置、情報処理方法、および車両制御システム WO2023106235A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22904164.5A EP4447020A1 (en) 2021-12-06 2022-12-02 Information processing device, information processing method, and vehicle control system
JP2023566293A JPWO2023106235A1 (ja) 2021-12-06 2022-12-02
CN202280079328.XA CN118434613A (zh) 2021-12-06 2022-12-02 信息处理设备、信息处理方法以及车辆控制系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-197543 2021-12-06
JP2021197543 2021-12-06

Publications (1)

Publication Number Publication Date
WO2023106235A1 true WO2023106235A1 (ja) 2023-06-15

Family

ID=86730464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044577 WO2023106235A1 (ja) 2021-12-06 2022-12-02 情報処理装置、情報処理方法、および車両制御システム

Country Status (4)

Country Link
EP (1) EP4447020A1 (ja)
JP (1) JPWO2023106235A1 (ja)
CN (1) CN118434613A (ja)
WO (1) WO2023106235A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181475A (ja) 2017-04-06 2018-11-15 株式会社デンソー 自動運転制御装置
JP2019185246A (ja) * 2018-04-05 2019-10-24 三菱電機株式会社 自動運転制御システム
WO2021006262A1 (ja) * 2019-07-10 2021-01-14 日立オートモティブシステムズ株式会社 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法
JP2021174413A (ja) * 2020-04-29 2021-11-01 株式会社デンソー 車両用記録装置、情報記録方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181475A (ja) 2017-04-06 2018-11-15 株式会社デンソー 自動運転制御装置
JP2019185246A (ja) * 2018-04-05 2019-10-24 三菱電機株式会社 自動運転制御システム
WO2021006262A1 (ja) * 2019-07-10 2021-01-14 日立オートモティブシステムズ株式会社 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法
JP2021174413A (ja) * 2020-04-29 2021-11-01 株式会社デンソー 車両用記録装置、情報記録方法

Also Published As

Publication number Publication date
CN118434613A (zh) 2024-08-02
EP4447020A1 (en) 2024-10-16
JPWO2023106235A1 (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
US20230230368A1 (en) Information processing apparatus, information processing method, and program
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20230245423A1 (en) Information processing apparatus, information processing method, and program
WO2023106235A1 (ja) 情報処理装置、情報処理方法、および車両制御システム
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20230267746A1 (en) Information processing device, information processing method, and program
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2022190624A1 (ja) 情報処理システム、情報処理方法、プログラム、及び、クラスタシステム
US20240224359A1 (en) Communication device, communication method, and vehicle
WO2022075039A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023145529A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024090195A1 (ja) 情報処理システム、通信方法、及び、移動体
WO2023032276A1 (ja) 情報処理装置、情報処理方法、及び、移動装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904164

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023566293

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022904164

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022904164

Country of ref document: EP

Effective date: 20240708