WO2020129656A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2020129656A1
WO2020129656A1 PCT/JP2019/047537 JP2019047537W WO2020129656A1 WO 2020129656 A1 WO2020129656 A1 WO 2020129656A1 JP 2019047537 W JP2019047537 W JP 2019047537W WO 2020129656 A1 WO2020129656 A1 WO 2020129656A1
Authority
WO
WIPO (PCT)
Prior art keywords
object recognition
vehicle
recognition result
collision
unit
Prior art date
Application number
PCT/JP2019/047537
Other languages
English (en)
French (fr)
Inventor
信之 五十嵐
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112019006281.6T priority Critical patent/DE112019006281T5/de
Priority to CN201980082175.2A priority patent/CN113196106A/zh
Priority to US17/309,606 priority patent/US11763675B2/en
Publication of WO2020129656A1 publication Critical patent/WO2020129656A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and particularly relates to an information processing device, an information processing method, and a program capable of realizing an appropriate collision determination with respect to an obstacle on a slope road.
  • ACC Adaptive Cruise Control
  • PCS Pre-Crash Safety
  • ADAS Advanced Driver Assistance System
  • Patent Document 1 As a technology for recognizing the gradient, a technology for estimating the gradient from the change in the vertical position of the tail lamp part of the preceding vehicle using a camera has been proposed (see Patent Document 1).
  • Patent Document 1 since a camera is used, it may be affected by a change in the environment in which an image is captured, such as at night or in stormy weather. , There is a risk of erroneous determination.
  • the present disclosure has been made in view of such a situation, and in particular, realizes an appropriate collision determination with respect to an obstacle on a graded road without being affected by the environment or the presence or absence of a preceding vehicle.
  • An information processing apparatus includes an object recognition unit that recognizes an object in front of a vehicle by a plurality of recognition methods, and outputs an object recognition result of each of the plurality of recognition methods, and the plurality of recognition methods.
  • the collision determination unit that selects the object recognition result according to the environment around the vehicle, and determines the presence or absence of a collision with the object based on the selected object recognition result. This is an information processing device provided.
  • the information processing method and program according to one aspect of the present disclosure correspond to an information processing device.
  • an object in front of a vehicle is recognized by a plurality of recognition methods, object recognition results of the plurality of recognition methods are output, and among the object recognition results of the plurality of recognition methods, The object recognition result is selected according to the environment around the vehicle, and the presence or absence of a collision with the object is determined based on the selected object recognition result.
  • the vehicle of the present disclosure realizes an appropriate collision determination with respect to an obstacle on a graded road by ADAS (Advanced Driver Assistance System) for the purpose of improving convenience and safety.
  • ADAS Advanced Driver Assistance System
  • the upper part of FIG. 1 shows a state in which a vehicle 1-1 traveling to the right in the drawing is viewed from the side, and a grade road SL1 is connected to the right end of the plane road FL1 in the drawing. Has been done.
  • the manhole 2-1 is buried in the road surface on the slope road SL1.
  • the vehicle 1-1 is equipped with an external environment recognition sensor 1a-1 in order to realize an automatic driving function and a driving support function. Then, the vehicle 1-1 senses the front in the traveling direction by the external world recognition sensor 1a-1 as indicated by the dotted line, detects the presence or absence of an obstacle on the road surface, and when an obstacle is detected, Ensure safety by taking emergency stop action and emergency avoidance action.
  • the external world recognition sensor 1a-1 is, for example, a camera, a millimeter wave radar, and a LiDAR (Light Detection and Ranging, Laser Imaging and Detection Ranging).
  • the outside world recognition sensor 1a-1 is a camera
  • the size and type of an object existing in front can be recognized by image recognition in a bright daytime environment during fine weather. Therefore, in the case of FIG. It can be recognized that the manhole 2-1 is buried in the road SL1.
  • the external recognition sensor 1a-1 is a camera
  • the front is the slope road SL1 and the manhole 2-1 is buried. You may not be able to recognize what is being done. In such a case, the automatic driving function and the driving support function of the vehicle 1-1 cannot be operated.
  • the external recognition sensor 1a-1 is a millimeter wave radar, it is impossible to recognize whether or not the object is the graded road SL1 or the manhole 2-1 even at night or in stormy weather, but the manhole 2 It is possible to recognize that some object exists at the position where -1 exists.
  • the outside world recognition sensor 1a-1 is a millimeter wave radar
  • the outside world recognition sensor 1a-1 can recognize that there is an object in front of the traveling direction, but the manhole 2 on the slope road SL1. It is not possible to recognize that -1 is buried.
  • the external world recognition sensor 1a-1 is a millimeter wave radar, it is erroneously assumed that there is an obstacle having a certain height on the plane road FL1 and having a possibility of collision when it is in the upper stage of FIG. There was a risk of detection.
  • the vehicle 1-1 for example, erroneously detects that a collision with an obstacle may occur, and takes an emergency stop operation or an emergency avoidance operation to avoid the collision. There was a risk of causing an accident, etc. by the action or the emergency avoidance action.
  • a vehicle 1-2 is equipped with an external world recognition sensor 1a-2 including a camera and a millimeter wave radar, and travels down a slope road SL2 in the right direction in FIG.
  • an external world recognition sensor 1a-2 including a camera and a millimeter wave radar
  • the same phenomenon may occur when the plane path FL2 is connected to the end of the path SL2 and the manhole 2-2 is provided on the plane path FL2.
  • the millimeter-wave radar irradiates the front of the preceding vehicle while reflecting it on the road surface under the vehicle body of the preceding vehicle, and by receiving the reflected wave, The presence/absence of an object in front can also be detected.
  • the vehicle 11 cannot recognize what kind of object it is due to the reflected wave from the manhole 12 existing in front by the external recognition sensor 11a, but there is a possibility that an obstacle exists. Only things can be recognized.
  • the vehicle 11 determines whether the object in front of the vehicle is the manhole 12 buried in the slope road SL where there is no possibility of collision or the obstacle with the possibility of collision. Can not do it.
  • the vehicle 11 in order to suppress the occurrence of erroneous detection, the vehicle 11 has no choice but to notify the driver that there is an object that cannot be determined.
  • the preceding vehicle 11 ′ when the preceding vehicle 11 ′ is present in front of the vehicle 11 and is traveling in the right direction in the figure, the preceding vehicle 11 ′ is connected to the slope road SL or the manhole 12. It is possible to detect whether or not the same position has been passed. In such a case, it is unclear whether or not the manhole 12 is an obstacle, but when the preceding vehicle 11' passes through a position where there is an object, the vehicle 11 is at least likely to collide with the detected object. You can recognize that there is no obstacle.
  • the vehicle 11 of the present disclosure recognizes an object existing in the front, when the preceding vehicle 11′ passes through the position of the object recognized, the vehicle 11 considers that the object is not an obstacle, Suppress the occurrence of false detections.
  • the outside world recognition sensor 11a is a millimeter wave radar
  • the occurrence of erroneous detection cannot be suppressed unless there is a preceding vehicle traveling at a position where an object that may be an obstacle exists.
  • LiDAR is used as the external world recognition sensor 11a.
  • LiDAR obtains distance from the round-trip time by projecting laser light in the direction of distance measurement and receiving reflected light, and acquires point cloud information at predetermined intervals in the horizontal and vertical directions.
  • the external environment recognition sensor 11a emits five laser beams in the vertical direction while traveling in the right direction in the drawing on the plane road FL,
  • the point cloud information of the manhole 12 is acquired by calculating the distance from the difference between each light projection timing and the light reception timing at which the reflected light from the manhole 12 on the front slope road SL is received.
  • the number of laser beams reflected from the manhole 12 increases.
  • the outside world recognition sensor 11a made of LiDAR changes the size of the manhole 12 based on the three-dimensional point group information by changing the number of laser beams reflected from the manhole 12 as the manhole 12 approaches. It is possible to recognize the slope of the slope road SL based on the change in the size of the manhole 12 in time series.
  • the vehicle 11 can recognize that the object existing in front is the slope road SL and the manhole 12 is buried in the slope road SL, which is an obstacle. False detection can be suppressed.
  • three types of external environment recognition sensors 11a which are a camera, a millimeter wave radar, and a LiDAR, are combined and the respective sensing results are used properly according to the environment, thereby suppressing erroneous detection related to object detection.
  • the recognition result of the image captured by the camera is used as the external recognition sensor 11a.
  • the millimeter wave radar is used. Use the sensing results and use the LiDAR sensing results when there is no preceding vehicle at night or in stormy weather.
  • FIG. 4 is a block diagram showing a schematic functional configuration example of a vehicle control system 100 that is an example of a mobile body control system to which the present technology can be applied.
  • the vehicle control system 100 is mounted on the vehicle 11.
  • the vehicle when distinguishing a vehicle provided with the vehicle control system 100 from other vehicles, the vehicle is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • the system 110, the storage unit 111, and the automatic operation control unit 112 are provided.
  • the communication network 121 is, for example, an in-vehicle communication network or a bus compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the input unit 101 includes a device used by a passenger to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation such as voice or gesture.
  • the input unit 101 may be a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that corresponds to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on the data and instructions input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is provided with a sensor or the like for detecting the number of rotations of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information inside the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biometric sensor that detects biometric information of the driver, and a microphone that collects voice in the vehicle interior.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each unit of the vehicle control system 100 or receives received data from the vehicle control system. It is supplied to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (via a connection terminal (and a cable, if necessary), not shown.
  • Mobile (High-definition Link) and the like perform wired communication with the in-vehicle device 104.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to a business operator
  • the communication unit 103 uses a P2P (PeerToPeer) technology to communicate with a terminal (for example, a pedestrian or a shop terminal, or an MTC (MachineType Communication) terminal) existing near the vehicle. Communicate.
  • P2P PeeerToPeer
  • a terminal for example, a pedestrian or a shop terminal, or an MTC (MachineType Communication) terminal
  • the communication unit 103 may communicate between vehicles (VehicletoVehicle), roads (VehicletoInfrastructure), vehicles (VehicletoHome), and pedestrians (VehicletotoPedestrian). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon reception unit, receives radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device that the passenger has, an information device that is carried in or attached to the vehicle, and a navigation device that searches for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106 to output the output unit.
  • the output of visual information and auditory information from 106 is controlled.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for a danger such as collision, contact, or entry into a dangerous zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for a danger such as collision, contact
  • the output unit 106 includes a device capable of outputting visual information or auditory information to a passenger of the vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 displays visual information in the driver's visual field, such as a device having a head-up display, a transmissive display, and an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary to notify the control state of the drive system system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a drive force generation device for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, a steering mechanism for adjusting a steering angle, A braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), and an electric power steering device are provided.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system system 110 as necessary to notify the control state of the body system system 110 and the like.
  • the body type system 110 includes various body type devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlights, backlights, brake lights, blinkers, fog lights, etc.). And so on.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. ..
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map having a lower accuracy than the high-accuracy map and covering a wide area, and a local map including information around the vehicle.
  • Map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map having a lower accuracy than the high-accuracy map and covering a wide area, and a local map including information around the vehicle.
  • the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a collision warning of the own vehicle, or a lane departure warning of the own vehicle. Coordinated control for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling automatic driving.
  • the detection unit 131 includes a vehicle exterior information detection unit 141, a vehicle interior information detection unit 142, and a vehicle state detection unit 143.
  • the outside-vehicle information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the vehicle exterior information detection unit 141 performs detection processing of an object around the vehicle, recognition processing, tracking processing, and detection processing of a distance to the object.
  • Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, and road markings.
  • the vehicle exterior information detection unit 141 performs detection processing of the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, and road surface condition.
  • the outside-vehicle information detection unit 141 uses the data indicating the result of the detection process as the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency avoidance unit 171 or the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, in-vehicle environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight direction, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies the data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs a process of detecting the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence or absence of abnormality, content of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. State etc. are included.
  • the vehicle state detection unit 143 supplies the data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and orientation of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the vehicle exterior information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Perform processing. Moreover, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for estimating the self-position, if necessary.
  • the self-position estimation map is, for example, a high-precision map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimation unit 132 supplies the data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Also, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle and surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100, such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141, as necessary, and stores various maps stored in the storage unit 111. Performs analysis processing and builds a map containing information required for automatic driving processing.
  • the map analysis unit 151 uses the constructed map as a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, a route planning unit 161, a behavior planning unit 162, and a motion planning unit 163 of the planning unit 134. Supply to.
  • the traffic rule recognition unit 152 determines the traffic rules around the vehicle based on data or signals from the vehicle position control unit 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the content of traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 converts the data or signals from the vehicle position control unit 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, recognition processing of the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. The situation recognition unit 153 also generates a local map (hereinafter, referred to as a situation recognition map) used for recognizing the situation around the own vehicle, as necessary.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy Grid Map).
  • the situation of the subject vehicle to be recognized includes, for example, the position, orientation, movement (for example, speed, acceleration, moving direction, etc.) of the subject vehicle, and the presence/absence of the abnormality and its content.
  • the situation around the subject vehicle is, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding moving objects (for example, speed, acceleration, moving direction, etc.), and surrounding roads.
  • the configuration and the condition of the road surface, and the surrounding weather, temperature, humidity, and brightness are included.
  • the driver's state to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight movement, and driving operation.
  • the situation recognition unit 153 supplies data indicating the result of the recognition process (including a situation recognition map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like.
  • the situation recognition unit 153 also stores the situation recognition map in the storage unit 111.
  • the situation predicting unit 154 performs a process of predicting the situation regarding the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analyzing unit 151, the traffic rule recognizing unit 152, and the situation recognizing unit 153.
  • the situation prediction unit 154 performs a prediction process of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, occurrence of abnormality, and possible driving distance.
  • the situation around the subject vehicle to be predicted includes, for example, the behavior of the moving body around the subject vehicle, a change in the signal state, and a change in the environment such as the weather.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, data indicating the result of the prediction process, the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. Etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the designated destination based on the global map. In addition, for example, the route planning unit 161 appropriately changes the route based on traffic jams, accidents, traffic regulations, construction conditions, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely operates the route planned by the route planning unit 161 within the planned time on the basis of data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your car's behavior to drive. For example, the action planning unit 162 makes a plan such as starting, stopping, traveling direction (for example, forward, backward, turning left, turning right, turning, etc.), driving lane, traveling speed, and passing. The action planning unit 162 supplies data indicating the planned action of the own vehicle to the action planning unit 163 and the like.
  • the operation planning unit 163 based on data or signals from the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154, operates the vehicle to implement the action planned by the action planning unit 162. Plan.
  • the operation planning unit 163 makes a plan such as acceleration, deceleration, and traveling track.
  • the operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration/deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 is based on the detection results of the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, and the vehicle state detection unit 143, and collides, touches, enters a dangerous zone, a driver's abnormality, a vehicle abnormality, and the like. Detects abnormal situations such as abnormalities. When the occurrence of an emergency is detected, the emergency avoidance unit 171 plans the operation of the own vehicle for avoiding an emergency such as a sudden stop or a sharp turn. The emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration/deceleration control unit 172 performs acceleration/deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration/deceleration control unit 172 calculates the control target value of the driving force generation device or the braking device for realizing the planned acceleration, deceleration, or sudden stop, and drives the control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the planned running track or sharp turn planned by the operation planning unit 163 or the emergency situation avoiding unit 171 and performs the control indicating the calculated control target value. The command is supplied to the drive system controller 107.
  • FIG. 5 shows a configuration in which a configuration for suppressing erroneous determination of an obstacle on a slope road is extracted from the configuration example of the function for realizing the vehicle control system 100 described with reference to FIG. 4.
  • the data acquisition unit 102 includes a camera 201, a millimeter wave radar 202, and a LiDAR 203.
  • the camera 201, the millimeter-wave radar 202, and the LiDAR 203 each detect an object in front of the vehicle 11 or in the upper part of the front window in the traveling direction of the vehicle 11.
  • the camera 201, the millimeter wave radar 202, and the LiDAR 203 correspond to, for example, the external world recognition sensor 11a in the vehicle 11 in FIGS. 2 and 3.
  • the camera 201 captures an image in the front in the traveling direction and outputs the image to the vehicle exterior information detection unit 141 of the detection unit 131 in the automatic driving control unit 112.
  • the millimeter wave radar 202 emits a millimeter wave band radio wave forward in the traveling direction, receives a reflected wave from an object, detects information on the position and speed of the object, and detects the position and speed of the object.
  • the information is output to the vehicle exterior information detection unit 141.
  • the LiDAR 203 projects laser light at predetermined intervals in the horizontal direction and the vertical direction to the front in the traveling direction, and receives reflected light from the object to obtain a point according to the position and shape of the object.
  • the group information is detected and output to the vehicle exterior information detection unit 141 of the detection unit 131 in the automatic driving control unit 112.
  • the vehicle exterior information detection unit 141 performs object recognition in front of the vehicle 11 based on the image captured by the camera 201, the detection result of the millimeter wave radar 202, and the sensing result of the LiDAR 203, and the collision determination based on the recognition result. I do. More specifically, the vehicle exterior information detection unit 141 includes an object recognition unit 221, a slope recognition unit 222, and a collision determination unit 223.
  • the object recognition unit 221 recognizes an object based on the sensing results of the camera 201, the millimeter wave radar 202, and the LiDAR 203.
  • the object recognizing unit 221 determines, based on the captured image, which is the sensing result of the camera 201, the route displayed in the image on a pixel-by-pixel basis from the information in the image, for example, by semantic segmentation or the like. Recognize the above objects individually. Therefore, for example, when the road surface on the path is a slope road, or when there is a manhole or grating, the object recognition unit 221 determines that the slope road exists ahead of the image or the manhole. It is possible to recognize that there is a grating.
  • the object recognition unit 221 also recognizes the presence or absence of an object on the path based on the sensing result of the millimeter wave radar 202. At this time, the object recognizing unit 221 recognizes, as a reflected wave from the object, one of the millimeter wave band radio waves radiated forward that has a high reflection intensity. However, although the object recognition unit 221 can recognize the position (distance and direction) of the object only by the sensing result of the millimeter wave radar 202, whether the object is, for example, a vehicle or a passerby. It is not possible to recognize what it is, its size, etc.
  • the object recognition unit 221 can recognize the existence of an object further ahead of the preceding vehicle, for example, based on the sensing result of the millimeter wave radar 202.
  • the object recognition unit 221 recognizes an object on the path based on the sensing result of the LiDAR 203.
  • the sensing result of the LiDAR 203 is the three-dimensional point group information
  • the object recognizing unit 221 can recognize that an object exists in the front like the millimeter wave radar.
  • the sensing result of the LiDAR 203 it is not possible to recognize what kind of object the detected object is.
  • the sensing result of the LiDAR 203 is laser light, for example, when a preceding vehicle is present, information in front of the preceding vehicle cannot be acquired. Therefore, in the object recognition based on the sensing result of the LiDAR 203, when the preceding vehicle exists, the object recognition used for the collision determination cannot be performed.
  • the object recognition unit 221 can recognize the size and gradient of the object by the change in the number of reflected laser beams.
  • the gradient recognizing unit 222 recognizes the gradient of the road surface on the route based on the object recognition result by the image captured by the camera 201 and the object detection result by the sensing result of the LiDAR 203 among the recognition results by the object recognition unit 221. For example, when the object recognition result using the image captured by the camera 201 is used, the gradient recognizing unit 222 recognizes the gradient of the road surface from the information of the road surface region based on the object recognition result.
  • the gradient recognition unit 222 recognizes the object based on the time series change of the object recognized in the three-dimensional point cloud information. More specifically, when the sensing result by the millimeter wave radar is used, the number (area) of the reflected laser light increases as the object approaches. Therefore, the object recognition unit 221 recognizes the size of the object based on the number (area) of the laser beams reflected by the object. Further, the gradient recognizing unit 222 recognizes the gradient of the road surface based on the time series change in the number of laser beams reflected by the object.
  • the collision determination unit 223 performs a collision determination that is the presence/absence of a collision with an object on the path based on the object recognition result of the object recognition unit 221.
  • the collision determination unit 223 makes a collision determination by properly using the object recognition result according to the environmental conditions.
  • the collision determination unit 223 makes a collision determination based on an object recognition result based on an image captured by the camera 201 during fine weather in the daytime.
  • the collision determination unit 223 makes a collision determination using the object recognition result using the sensing result of the millimeter wave radar 202 and the object recognition result using the sensing result of the LiDAR 203 at night or in bad weather.
  • the collision determination unit 223 recognizes that an object is present on the path based on the object recognition result using the sensing result of the millimeter wave radar 202, and sets the recognized position of the object ahead. A collision is determined depending on whether the car has passed.
  • the collision determination unit 223 can recognize the presence of the preceding vehicle and the presence of the object further ahead of the preceding vehicle.
  • the collision determination unit 223 makes a collision determination based on the object recognition result using the sensing result of the millimeter wave radar 202, when a preceding vehicle exists, a collision occurs when the preceding vehicle passes the recognized object position. There is no possibility of.
  • the collision determination unit 223 performs the collision determination based on the object recognition result using the sensing result of the millimeter wave radar 202, when the preceding vehicle exists, when the preceding vehicle does not pass the position of the object recognized by the preceding vehicle, In other words, when it is possible to recognize that the vehicle should avoid passing, it is considered that there is a possibility of collision with the recognized object.
  • the collision determination unit 223 performs the collision determination by recognizing that an object exists on the route based on the object recognition result using the sensing result of the LiDAR 203.
  • the collision determination unit 223 determines that the number of laser beams reflected by the object out of the projected laser beams as the object approaches. It is possible to recognize the size and gradient of the object in accordance with the change in the number of reflected laser beams that increase in time series.
  • the vehicle 11 travels on the flat road FL in the right direction in the drawing, the right end of the flat road FL is connected to the slope road SL, and further, the slope road SL. It is assumed that the manhole 12 is provided in the.
  • an external world recognition sensor 11a is provided in which the components of the camera 201, the millimeter wave radar 202, and the data acquisition unit 102 including the LiDAR 203 are incorporated.
  • the laser light L1 to L13 is projected toward the front in the traveling direction by the LiDAR 203 of the outside world recognition sensor 11a which is the data acquisition unit 102, and each reflected light is received. By doing so, the three-dimensional point cloud information is acquired as the object recognition result.
  • FIG. 6 it is shown that, out of the laser beams L1 to L13, the six laser beams L3 to L8 are irradiated to the manhole 12 and received as reflected light.
  • the ten laser beams L1 to L10 are irradiated to the manhole 12 and reflected by the LiDAR 203. It is received as light.
  • the number of laser beams reflected by the manhole 12 among the laser beams emitted from the LiDAR 203 provided as the external recognition sensor 11a of the vehicle 11 varies depending on the time when the vehicle 11 approaches the manhole 12. Increase in series.
  • the time-series change in the number of reflected laser beams changes due to the gradient of the surface of the manhole 12. That is, the larger the gradient, the larger the number of laser beams that change in time series, and the smaller the gradient, the smaller the number of laser beams that change in time series.
  • the collision determination unit 223 obtains the surface gradient of the object based on the time-series change of the number of laser beams reflected by the object, and the object has a gradient larger than a predetermined size and a gradient larger than the predetermined gradient. Collision is determined depending on whether or not
  • step S11 the camera 201, the millimeter wave radar 202, and the LiDAR 203 of the data acquisition unit 102 output the respective sensing results (images captured by the camera 201) to the detection unit 131 of the automatic driving control unit 112.
  • step S12 the object recognition unit 221 determines whether or not the object recognized by the image captured by the camera 201 can be recognized. More specifically, whether the object recognizing unit 221 can appropriately recognize an object from the image captured by the camera 201 due to the influence of the environment such as insufficient brightness due to nighttime or stormy weather. Determine whether or not.
  • step S12 If it is determined in step S12 that the object can be recognized by the image captured by the camera 201, the process proceeds to step S13.
  • step S ⁇ b>13 the object recognition unit 221 recognizes an object on a pixel-by-pixel basis, for example, by semantic segmentation or the like based on the captured image that is the sensing result of the camera 201.
  • step S14 the collision determination unit 223 determines whether or not there is an object that can be an obstacle on the path based on the object recognition result of the object recognition unit 221 based on the captured image that is the sensing result of the camera 201. To judge.
  • step S14 for example, when it is determined that there is an obstacle that can be an obstacle on the path, the process proceeds to step S15.
  • step S15 the gradient recognizing unit 222 recognizes the gradient of the area recognized as the road surface by the object recognizing unit 221.
  • step S16 the collision determination unit 223 determines the presence/absence of a collision based on the gradient of the road surface and the information of the object that can be an obstacle on the path.
  • step S16 for example, if the size of an object such as a person or a parked vehicle is large, or if the road surface has a large gradient and there is a possibility that it is a wall or a fence, it is considered that there is a possibility of collision, and processing is performed. Proceeds to step S17.
  • step S17 the collision determination unit 223 notifies the emergency avoidance unit 171 of the operation control unit 135 that there is a possibility of collision.
  • step S18 the emergency avoidance unit 171 controls the acceleration/deceleration control unit 172 and the direction control unit 173 based on the notification from the collision determination unit 223 to avoid a collision with an object that may be an obstacle. Then, the drive system control unit 107 drives the drive system system 108.
  • step S19 it is determined whether or not the end of the process has been instructed. If the end has not been instructed, the process returns to step S11, and the subsequent processes are repeated. Then, when the end of the process is instructed in step S19, the process ends.
  • step S14 determines whether there is no obstacle on the path, or if there is no possibility of collision in step S16. If it is determined in step S14 that there is no obstacle on the path, or if there is no possibility of collision in step S16, the process proceeds to step S26.
  • step S26 the collision determination unit 223 notifies the emergency situation avoidance unit 171 of the operation control unit 135 that there is no possibility of collision. It should be noted that when there is no possibility of collision, the notification to the emergency avoidance unit 171 is not essential. Therefore, the process of step S26 may be skipped as necessary, or the process itself may be deleted. You may do so.
  • step S12 when it is determined that the object recognition by the image is impossible, the process proceeds to step S20.
  • step S20 the object recognition unit 221 determines whether the object can be recognized based on the sensing result of the LiDAR 203. More specifically, the LiDAR 203 can perform sensing even under severe conditions such as insufficient light quantity for capturing an image by the camera 201, such as at night or in stormy weather. Therefore, the object recognition unit 221 determines whether or not the LiDAR 203 can be sensed without malfunction.
  • step S20 If it is determined in step S20 that the object can be recognized based on the sensing result of the LiDAR 203, the process proceeds to step S21.
  • step S21 the object recognition unit 221 recognizes an object based on the sensing result of the LiDAR 203.
  • step S22 the collision determination unit 223 determines whether or not a preceding vehicle exists based on the object recognition result based on the sensing result of the LiDAR 203.
  • the collision determination unit 223 determines that the preceding vehicle exists based on the object recognition result, for example, when there is an object in front of which the positional relationship with the own vehicle is maintained in a predetermined state.
  • step S22 If it is determined that there is no preceding vehicle in step S22, the process proceeds to step S23.
  • step S23 the collision determination unit 223 determines whether or not there is an object that can be an obstacle on the path based on the object recognition result based on the sensing result of the LiDAR 203.
  • step S23 if there is no object that can be an obstacle, the process proceeds to step S24.
  • step S24 the gradient recognizing unit 222 recognizes the gradient of the road surface based on the object recognition result based on the sensing result of the LiDAR 203.
  • step S25 the collision determination unit 223 determines whether the object is larger than a predetermined size or the gradient is larger than a predetermined gradient based on the object recognition result and the gradient based on the sensing result of the LiDAR 203. Based on this, it is determined whether there is a possibility of collision.
  • step S25 If it is determined in step S25 that there is a possibility of collision, or if it is determined in step S23 that there is no object that may be an obstacle on the path, the process proceeds to step S17, and the possibility of collision occurs. Will be notified.
  • step S25 If it is determined that there is no possibility of collision in step S25, the process proceeds to step S26, and it is notified that there is no possibility of collision.
  • step S22 if there is a preceding vehicle in step S22, the process proceeds to step S27.
  • the object recognition result based on the sensing result of LiDAR 203 alone cannot detect an obstacle that may exist further ahead of the preceding vehicle when the preceding vehicle exists. Therefore, when there is a preceding vehicle, the collision determination cannot be performed as in the case where the LiDAR 203 malfunctions.
  • step S27 the object recognition unit 221 determines whether the object can be recognized based on the sensing result of the millimeter wave radar 202. More specifically, the millimeter-wave radar 202 can perform sensing even under severe conditions such as insufficient light quantity for capturing an image by the camera 201, such as at night or in bad weather. Therefore, the object recognition unit 221 determines whether or not the millimeter wave radar 202 can perform sensing without malfunction or the like.
  • step S27 If it is determined in step S27 that the object can be recognized based on the sensing result of the millimeter wave radar 202, the process proceeds to step S28.
  • step S28 the object recognition unit 221 recognizes an object based on the sensing result of the millimeter wave radar 202.
  • step S29 the collision determination unit 223 determines whether or not there is an object that can be an obstacle on the path based on the object recognition result based on the sensing result of the millimeter wave radar 202.
  • step S29 if there is no object that can be an obstacle, the process proceeds to step S26, and it is notified that there is no possibility of collision.
  • step S30 if there is an object that can be an obstacle in step S29, the process proceeds to step S30.
  • step S30 the collision determination unit 223 determines whether or not the preceding vehicle has passed a position where an object that may be an obstacle exists.
  • step S30 if the preceding vehicle passes the position where an object that may be an obstacle exists, the process proceeds to step S26, and it is notified that there is no possibility of collision.
  • step S30 for example, when the preceding vehicle passes by avoiding the position of an object that may be an obstacle, the process proceeds to step S17, and the possibility of collision is notified.
  • the preceding vehicle recognizes the object as an obstacle and is considered to have passed without avoiding the collision so that the detected object is considered to have a possibility of collision. ..
  • step S20 If it is determined in step S20 that the object cannot be recognized based on the sensing result of LiDAR 23, the process proceeds to step S31.
  • step S31 the object recognition unit 221 determines whether the object can be recognized based on the sensing result of the millimeter wave radar 202.
  • step S31 If it is determined in step S31 that the object can be recognized based on the sensing result of the millimeter wave radar 202, the process proceeds to step S32.
  • step S32 the object recognition unit 221 recognizes an object based on the sensing result of the millimeter wave radar 202.
  • step S33 the collision determination unit 223 determines whether or not a preceding vehicle exists based on the object recognition result based on the sensing result of the millimeter wave radar 202.
  • step S33 If the preceding vehicle is present in step S33, the process proceeds to step S29, it is determined whether or not there is an object that may be an obstacle on the path, and the collision determination is made based on whether or not the preceding vehicle has passed the position of the object. Done.
  • step S33 determines whether there is no preceding vehicle, or in step S31 that the object recognition result based on the sensing result of the millimeter wave radar 202 indicates that the object recognition is impossible. The process proceeds to step S34.
  • step S34 the collision determination unit 223 outputs that the collision determination is impossible. That is, it is notified that the collision determination is impossible in any of the object recognition result by the image captured by the camera 201, the object recognition result by the sensing result of the millimeter wave radar 202, and the object recognition result by the sensing result of LiDAR 203.
  • collision determination is performed based on the sensing result (imaged image) of the camera 201. This makes it possible to realize highly accurate collision determination based on a highly accurate object recognition result using an image.
  • the collision determination is performed based on the sensing result of LiDAR.
  • the position of the object detected by the preceding vehicle is detected based on the sensing result of the millimeter wave radar. The collision is determined depending on whether or not the vehicle passes.
  • Example of executing by software can be executed by hardware, but can also be executed by software.
  • a program that constitutes the software can execute various functions by installing a computer in which dedicated hardware is installed or various programs. It is installed from a recording medium into a possible general-purpose computer or the like.
  • FIG. 9 shows a configuration example of a general-purpose computer.
  • This computer has a built-in CPU (Central Processing Unit) 1001.
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input/output interface 1005 includes an input unit 1006 configured by an input device such as a keyboard and a mouse for inputting operation commands by a user, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, programs and various data.
  • a storage unit 1008 including a hard disk drive for storing the data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network typified by the Internet. Also, magnetic disks (including flexible disks), optical disks (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors.
  • a drive 1010 for reading and writing data is connected to a removable recording medium 1011 such as a memory.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded into the RAM 1003 from the storage unit 1008. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004 and executes the program, thereby performing the above-described series of operations. Is processed.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable recording medium 1011 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed in time series in the order described in the present specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the CPU 1001 in FIG. 9 realizes the function of the automatic driving control unit 112 in FIG. Further, the storage unit 1008 in FIG. 9 realizes the storage unit 111 in FIG.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present disclosure may have a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processes.
  • each step described in the above flow chart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An object recognition unit that recognizes an object in front of a vehicle by a plurality of recognition methods and outputs the object recognition results of the plurality of recognition methods, Among the object recognition results of the plurality of recognition methods, the object recognition result is selected according to the environment around the vehicle, and the presence or absence of a collision with the object is determined based on the selected object recognition result.
  • An information processing device including a collision determination unit.
  • a camera that captures an image in front of the vehicle
  • a millimeter wave radar for radiating a millimeter wave band radio wave forward and detecting a reflected wave from the object, Irradiating a laser beam in front of the vehicle, further comprising LiDAR to detect the reflected light from the object
  • the object recognition unit is an image object recognition result based on the image captured by the camera, a millimeter wave radar object recognition result based on the detection result of the millimeter wave radar, and a LiDAR object recognition based on the detection result of the LiDAR.
  • the information processing device according to ⁇ 1>, which outputs a result.
  • the collision determination unit determines whether there is a collision with the object based on the image object recognition result.
  • the information processing device according to ⁇ 2>.
  • ⁇ 4> A gradient recognizing unit that recognizes a gradient of a road surface in front of the vehicle based on the image object recognition result,
  • the information processing apparatus according to ⁇ 2> or ⁇ 3>, wherein the collision determination unit determines the presence or absence of a collision with the object based on the image object recognition result and the gradient of the road surface.
  • the gradient recognizing unit based on a time-series change in the number of the reflected lights detected by the LiDAR, which accompanies a time-series change in the time-series distance from the object, detects a road surface in front of the vehicle.
  • the information processing apparatus according to ⁇ 4>, which recognizes a gradient.
  • the collision determination unit determines whether the millimeter wave radar object recognition result or the LiDAR object recognition result.
  • the information processing apparatus according to any one of ⁇ 2> to ⁇ 5>, wherein the presence or absence of a collision with the object is determined based on ⁇ 7>
  • the collision determination unit The information processing apparatus according to ⁇ 6>, wherein the presence or absence of collision with the object is determined based on the LiDAR object recognition result.
  • the collision determination unit determines the LiDAR object recognition result.
  • the information processing apparatus determines the presence or absence of a collision with the object based on whether the preceding vehicle has passed the position where the object was recognized, based on the millimeter wave radar object recognition result.
  • the information processing device determines the presence or absence of a collision with the object based on whether the preceding vehicle has passed the position where the object was recognized, based on the millimeter wave radar object recognition result.
  • the collision determination unit determines whether there is a collision with the object based on the millimeter wave radar object recognition result.
  • the information processing device described. ⁇ 12> When the presence of a preceding vehicle is recognized based on the millimeter wave radar object recognition result, the collision determination unit determines whether there is a collision with the object based on the millimeter wave radar object recognition result.
  • the collision determination unit determines whether or not there is a collision with the object based on whether or not the preceding vehicle has passed the position where the object was recognized, based on the millimeter wave radar object recognition result.
  • ⁇ 12> The information processing apparatus according to ⁇ 12>.
  • ⁇ 14> When the object recognition based on the image object recognition result is impossible depending on the surrounding environment of the vehicle, any object recognition based on the millimeter wave radar object recognition result and the LiDAR object recognition result When it is impossible, the collision determination unit outputs the information indicating that it is impossible to determine whether or not there is a collision with the object.
  • the information processing device according to ⁇ 2>.
  • An object recognition process of recognizing an object in front of the vehicle by a plurality of recognition methods and outputting an object recognition result of each of the plurality of recognition methods Among the object recognition results of the plurality of recognition methods, the object recognition result is selected according to the environment around the vehicle, and the presence or absence of a collision with the object is determined based on the selected object recognition result.
  • An information processing method including a collision determination process.
  • An object recognition unit that recognizes an object in front of the vehicle by a plurality of recognition methods and outputs the object recognition result of each of the plurality of recognition methods, Among the object recognition results of the plurality of recognition methods, the object recognition result is selected according to the environment around the vehicle, and the presence or absence of a collision with the object is determined based on the selected object recognition result.
  • a program that causes a computer to function as a collision determination unit.
  • 11 vehicles 100 vehicle control system, 102 data acquisition section, 112 automatic driving control section, 133 status analysis section, 134 planning section, 135 operation control section, 153 status recognition section, 154 status prediction section, 172 acceleration/deceleration control section, 173
  • Direction control unit 201 camera, 202 millimeter wave radar, 203 LiDAR, 221 object recognition unit, 222 gradient recognition unit, 223 collision determination unit

Abstract

本開示は、勾配路における障害物に対する適切な衝突判定を実現できるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。 カメラにより撮像された画像による物体認識結果、ミリ波レーダの検出結果に基づいた物体認識結果、およびLiDARの検出結果による物体認識結果がそれぞれ検出され、車両周辺の環境に応じて選択され、選択された物体認識結果に基づいて、前記物体との衝突の有無が判定される。本開示は、車載システムに適用することができる。

Description

情報処理装置、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、勾配路における障害物に対する適切な衝突判定を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
　ACC（Adaptive Cruise Control）やPCS（Pre-Crash Safety）のような利便性と、安全性の向上を目的としたADAS（Advanced Driver Assistance System）において、システムの誤作動を防止するために、障害物の有無を確認したうえで、走行可能か否かを判定する必要がある。
　特にPCSにおいては、勾配路面上のマンホールやグレーチングに対して、衝突の可能性があると誤った判定により、急ブレーキがかかってしまう恐れがあった。
　このため、路面の勾配を認識したうえで、衝突判定を行う必要がある。
　勾配を認識する技術としては、カメラを使って先行車のテールランプ部分の垂直位置の変化から勾配を推定する技術が提案されている（特許文献１参照）。
特開２０１２－０８８２１７号公報
　しかしながら、特許文献１の技術においては、カメラを使用しているため、夜間や荒天時など、画像が撮像される環境の変化による影響を受けることがあるので、先行車の認識精度が低下して、誤判定を発生させる恐れがある。
　また、先行車のテールランプ部分の垂直位置の変化を検出する必要があるため、先行車が存在しないときには、勾配を推定することができない。
　本開示は、このような状況に鑑みてなされたものであり、特に、環境や先行車の有無による影響を受けることなく、勾配路における障害物に対する適切な衝突判定を実現するものである。
　本開示の一側面の情報処理装置は、複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部とを備える情報処理装置である。
　本開示の一側面の情報処理方法およびプログラムは、情報処理装置に対応する。
　本開示の一側面においては、複数の認識方式で、車両の前方の物体が認識され、前記複数の認識方式のそれぞれの物体認識結果が出力され、前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果が選択され、選択された前記物体認識結果に基づいて、前記物体との衝突の有無が判定される。
衝突判定における誤検出を説明する図である。 ミリ波レーダによる衝突判定の概要を説明する図である。 LiDARによる衝突判定の概要を説明する図である。 本開示の車両制御システムの構成例を説明するブロック図である。 図４における誤判定を抑制するようにした車両制御システムの構成例を説明するブロック図である。 LiDARによる衝突判定を説明する図である。 LiDARによる衝突判定を説明する図である。 運転制御処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．本開示の車両を制御する車両制御システムの構成例
　３．勾配路における障害物の誤判定を抑制する構成
　４．衝突判定処理
　５．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　＜衝突判定における誤検出＞
　本開示の概要について説明する。
　本開示の車両は、利便性と、安全性の向上を目的としたADAS（Advanced Driver Assistance System）による勾配路の障害物に対する適切な衝突判定を実現するものである。
　例えば、図１の上段で示されるように、自動運転機能や運転支援機能を備えた車両１－１が、平面路ＦＬ１上を図中の右方向に走行する場合について考える。ここで、図１の上段は、図中を右方向に走行する車両１－１を側面方向から見た様子が示されており、平面路ＦＬ１の図中の右端には、勾配路ＳＬ１が接続されている。
　さらに、勾配路ＳＬ１には、マンホール２－１が路面に埋設された状態とされている。
　車両１－１は、自動運転機能や運転支援機能を実現させるため、外界認識センサ１ａ－１を備えている。そして、車両１－１は、点線で示されるように、走行方向の前方を外界認識センサ１ａ－１によりセンシングしており、路面上の障害物の有無を検出し、障害物を検出したときには、緊急停止動作や緊急回避動作をとることにより、安全を確保する。
　外界認識センサ１ａ－１は、例えば、カメラ、ミリ波レーダ、およびLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）等である。
　ここで、外界認識センサ１ａ－１がカメラである場合、晴天時の日中の明るい環境であれば、画像認識により前方に存在する物体の大きさや種類まで認識できるので、図１の場合、勾配路ＳＬ１にマンホール２－１が埋設されていることを認識することができる。
　このため、路面上にマンホール２－１が存在することが認識されるものの、マンホール２－１が障害物であるとの認識はなされないことになる。
　しかしながら、夜間や荒天時など、周辺の環境に変化が生じると、外界認識センサ１ａ－１がカメラであるときには、撮像される画像では、前方が勾配路ＳＬ１であることやマンホール２－１が埋設されていることを認識できない恐れがある。このような場合、車両１－１の自動運転機能や運転支援機能は機能できない状態となる。
　ただし、図１における状況において、夜間や荒天時など、周辺の環境に変化が生じでも、外界認識センサ１ａ－１がカメラである場合については、マンホール２－１を検出することができないのみで、誤検出等に起因する問題は発生しない。
　次に、外界認識センサ１ａ－１がミリ波レーダである場合について考える。
　外界認識センサ１ａ－１がミリ波レーダである場合には、夜間や荒天時などでも、対象物が勾配路ＳＬ１やマンホール２－１等であるか否かについては、認識ができないものの、マンホール２－１の存在する位置に、何らかの物体が存在ことを認識することはできる。
　しかしながら、外界認識センサ１ａ－１がミリ波レーダの場合、外界認識センサ１ａ－１は、走行方向の前方に何らかの対象物が存在することは認識できても、勾配路ＳＬ１の路面上にマンホール２－１が埋設されていることを認識することはできない。
　このため、外界認識センサ１ａ－１がミリ波レーダである場合、図１の上段であるときには、平面路ＦＬ１上に何らかの高さを有する、衝突する可能性のある障害物が存在するものと誤検出する恐れがあった。
　結果として、車両１－１は、例えば、障害物との衝突が発生する可能性があるものと誤検出し、衝突を回避するため、緊急停止動作や緊急回避動作を取ってしまい、この緊急停止動作や緊急回避動作により事故等を誘発させる恐れがあった。
　ところで、図１の下段で示されるように、車両１－２が、カメラやミリ波レーダからなる外界認識センサ１ａ－２を備えて、勾配路ＳＬ２を図中右方向に下りながら走行し、勾配路ＳＬ２の先に平面路ＦＬ２が接続され、平面路ＦＬ２上にマンホール２－２が設けられている場合についても同様の現象が発生する可能性がある。
　ところで、ミリ波レーダは、先行車が存在する場合、先行車の車体の下の路面に反射させながら、先行車よりも前方を照射し、その反射波を受信することで、先行車の、さらに前方の物体の有無も検出することができる。
　ここで、図２の上段で示されるように、車両１１がミリ波レーダからなる外界認識センサ１１ａを備えて、平面路ＦＬ上を、走行方向前方をセンシングしながら図中右方向に走行する際、前方に勾配路ＳＬが存在して、マンホール１２が埋設されている場合について考える。
　図２の上段の場合、車両１１は、外界認識センサ１１ａにより前方に存在するマンホール１２からの反射波により、どのような物体であるかについては認識できないが、障害物が存在する可能性があることだけは認識することができる。
　従って、この情報だけでは、車両１１は、前方に存在する物体が、衝突の可能性がない勾配路ＳＬに埋設されたマンホール１２であるのか、衝突の可能性のある障害物であるのかについて判断することができない。
　このような場合、誤検出の発生を抑制するには、車両１１は、運転者に対して、判断できないが何らかの物体が存在することを通知するしかない状態となる。
　しかしながら、図２の下段で示されるように、先行車１１’が、車両１１の前方に存在し、図中の右方向に走行している場合、先行車１１’が勾配路ＳＬやマンホール１２と同じ位置を通過したか否かを検出することはできる。このようなとき、マンホール１２が障害物であるか否かが不明ではあるが、何らかの物体が存在した位置を先行車１１’が通過したとき、車両１１は、少なくとも検出された物体が衝突の恐れがある障害物ではないことを認識することができる。
　そこで、本開示においては、図２の車両１１のように、外界認識センサ１１ａにミリ波レーダを用いる場合、図２の下段で示されるように、自らの走行が継続されることにより、障害物である可能性のある物体を認識するときには、先行車１１’が、障害物である可能性のあるものとして認識した物体の位置を通過したか否かにより検出した物体の衝突の可能性の有無を判定するようにする。
　すなわち、本開示の車両１１は、前方に存在する物体を認識する場合、先行車１１’が認識した物体の位置を通過するときには、その物体が障害物ではないものとみなすようにすることで、誤検出の発生を抑制する。
　ただし、外界認識センサ１１ａをミリ波レーダとした場合、障害物の可能性がある物体が存在する位置を走行する先行車が存在しないと、誤検出の発生を抑制することができない。
　ここで、外界認識センサ１１ａとして、LiDARを用いた場合について考える。
　LiDARは、測距する方向に対してレーザ光を投光し、反射光を受光することで、往復時間から距離を求め、水平方向および垂直方向に所定の間隔で点群情報を取得する。
　すなわち、例えば、図３で示されるような場合、外界認識センサ１１ａは、平面路ＦＬを図中右方向に走行しながら、例えば、垂直方向に対して、５本のレーザ光を投光し、それぞれの投光タイミングと、前方の勾配路ＳＬ上におけるマンホール１２からの反射光を受光する受光タイミングとの差分から距離を求めることで、マンホール１２の点群情報を取得する。
　このとき、車両１１が図中の右方向に走行すると、勾配路ＳＬは、時刻の経過に伴って、時刻ｔ１，ｔ２，ｔ３のように、車両１１との距離が短くなっていく。
　ここで、時刻ｔ１においては、５本のレーザ光のうち、２本のレーザ光が勾配路ＳＬに埋設されたマンホール１２により反射される。そして、時刻ｔ２においては、３本のレーザ光が、時刻ｔ３においては、４本のレーザ光が、それぞれ勾配路ＳＬに埋設されたマンホール１２により反射される。
　すなわち、車両１１が勾配路ＳＬ近付くにつれて、マンホール１２から反射されるレーザ光の本数が増える。
　つまり、LiDARからなる外界認識センサ１１ａは、マンホール１２への接近に伴って、マンホール１２から反射されるレーザ光の本数が変化することにより、３次元の点群情報に基づいて、マンホール１２の大きさや、マンホール１２の時系列の大きさの変化に基づいた勾配路ＳＬの勾配を認識することができる。
　結果として、この点群情報を用いることで、車両１１は、前方に存在する物体が勾配路ＳＬであって、マンホール１２が勾配路ＳＬに埋設されていることを認識でき、障害物であるといった誤検出を抑制することが可能となる。
　そこで、本開示においては、カメラ、ミリ波レーダ、およびLiDARからなる３種類の外界認識センサ１１ａを組み合わせ、それぞれのセンシング結果を環境に応じて使い分けることで、物体検出に係る誤検出を抑制する。
　すなわち、晴天時の明るい日中等は、外界認識センサ１１ａとしてカメラにより撮像された画像の認識結果を用いることにし、例えば、夜間や荒天時であって、先行車が存在するときには、ミリ波レーダのセンシング結果を使用し、夜間や荒天時であって、先行車が存在しないときには、LiDARのセンシング結果を用いるようにする。
　このように、環境に応じて複数のセンサからなる外界認識センサ１１ａのセンシング結果を使い分けるようにすることで、それぞれの特性に応じて適切に衝突判定を実現することが可能となり、誤検出の発生を抑制することが可能となる。
　＜＜２．本開示の車両を制御する車両制御システムの構成例＞＞
　次に、図４のブロック図を参照して、本開示の車両の車両制御システムについて説明する。
　図４は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。車両制御システム１００は、車両１１に搭載されている。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜＜３．勾配路における障害物の誤判定を抑制する構成＞＞
　次に、図５のブロック図を参照して、勾配路における障害物の誤判定を抑制する構成について説明する。尚、図５は、図４を参照して説明した車両制御システム１００を実現する機能の構成例のうち、勾配路における障害物の誤判定を抑制する構成を抜粋した構成を示している。
　データ取得部１０２は、カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３を備えている。カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３は、いずれも車両１１の前方やフロントウィンドウの上部など、車両１１の走行方向の前方における物体を検出する。カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３は、例えば、図２，図３の車両１１における外界認識センサ１１ａに対応するものである。
　カメラ２０１は、走行方向の前方の画像を撮像し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。
　ミリ波レーダ２０２は、走行方向の前方にミリ波帯の電波を照射し、物体からの反射波を受信して物体の位置と速度の情報を検出し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。
　LiDAR２０３は、走行方向の前方に対して、水平方向および垂直方向に対して所定の間隔でレーザ光を投光し、物体からの反射光を受光することで、物体の位置や形状に応じた点群情報を検出し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。
　車外情報検出部１４１は、カメラ２０１により撮像された画像、ミリ波レーダ２０２の検出結果、およびLiDAR２０３のセンシング結果に基づいて、車両１１の前方の物体認識を行うと共に、認識結果に基づいた衝突判定を行う。より詳細には、車外情報検出部１４１は、物体認識部２２１、勾配認識部２２２、および衝突判定部２２３を備えている。
　物体認識部２２１は、カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３のそれぞれのセンシング結果に基づいて、物体を認識する。
　より詳細には、物体認識部２２１は、カメラ２０１のセンシング結果である、撮像された画像に基づいて、画像内の情報から、例えば、セマンティックセグメンテーション等により画素単位で画像内に映し出されている進路上の物体を個別に認識する。このため、例えば、進路上の路面が勾配路であるような場合、またはマンホールやグレーチングが存在するような場合には、物体認識部２２１は、画像から前方に勾配路が存在すること、またはマンホールやグレーチングが存在することを認識することができる。
　また、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、進路上の物体の有無を認識する。このとき、物体認識部２２１は、前方を照射したミリ波帯の電波のうち、反射強度の高いものを物体からの反射波として認識する。しかしながら、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果のみでは、物体の位置（距離と方向）を認識することはできても、物体が、例えば、車両であるのか、通行人であるのかなど、何であるのかや、大きさ等を認識することはできない。
　ただし、ミリ波帯の電波は、先行車が存在しても、一部が先行車の車体の下の路面に反射することで、先行車よりも、さらに前方の物体からの反射波が受信される。このため、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、例えば、先行車よりも、さらに前方の物体の存在を認識することができる。
　さらに、物体認識部２２１は、LiDAR２０３のセンシング結果に基づいて、進路上の物体を認識する。このとき、LiDAR２０３のセンシング結果は、３次元の点群情報であるので、物体認識部２２１は、ミリ波レーダ同様に、前方に物体が存在することを認識できる。しかしながら、LiDAR２０３のセンシング結果からでは、検出される物体がどのような物体であるのかを認識することはできない。また、LiDAR２０３のセンシング結果は、レーザ光であるので、例えば、先行車などが存在する場合、その先行車の前方の情報は取得できない。このため、LiDAR２０３のセンシング結果による物体認識においては、先行車が存在する場合には、衝突判定に使用するような物体認識をすることができない。ただし、LiDAR２０３のセンシング結果を用いる場合、図３を参照して説明したように、物体が存在し、時間の経過に伴って接近するようなとき、物体への接近に伴って、反射するレーザ光が増える。この結果、物体認識部２２１は、反射するレーザ光の数の変化により、物体の大きさや勾配を認識することができる。
　勾配認識部２２２は、物体認識部２２１による認識結果のうち、カメラ２０１により撮像された画像による物体認識結果やLiDAR２０３のセンシング結果による物体検出結果に基づいて、進路上の路面の勾配を認識する。例えば、カメラ２０１により撮像された画像を用いた物体認識結果を用いる場合、勾配認識部２２２は、物体認識結果に基づいて、路面の領域の情報から路面の勾配を認識する。
　また、例えば、LiDARによるセンシング結果を用いた物体認識結果を用いる場合、勾配認識部２２２は、３次元点群情報内で認識される物体の時系列の変化に基づいて物体を認識する。より詳細には、ミリ波レーダによるセンシング結果を用いた場合、物体への接近に伴って、反射されるレーザ光の本数（面積）が増えることになる。このため、物体認識部２２１が、物体により反射されるレーザ光の本数（面積）に基づいて物体の大きさを認識する。また、勾配認識部２２２は、物体により反射されるレーザ光の本数の時系列の変化に基づいて路面の勾配を認識する。
　尚、例えば、ミリ波レーダによるセンシング結果から路面の勾配を求めることはできない。
　衝突判定部２２３は、物体認識部２２１の物体認識結果に基づいて、進路上の物体との衝突の有無である衝突判定を実施する。
　衝突判定部２２３は、環境条件に応じて、物体認識結果を使い分けて、衝突判定を行う。
　衝突判定部２２３は、日中の晴天時においては、カメラ２０１により撮像された画像に基づいた物体認識結果に基づいて、衝突判定を行う。
　また、衝突判定部２２３は、夜間や荒天時においては、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果と、LiDAR２０３のセンシング結果を用いた物体認識結果とを用いて衝突判定を行う。
　この際、先行車が存在する場合、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により進路上に物体が存在することを認識すると共に、認識した物体の位置を先行車が通過したか否かにより衝突判定を行う。
　すなわち、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により衝突判定を行う場合、衝突判定部２２３は、先行車の存在と共に、先行車のさらに前方の物体の存在を認識することができる。
　しかしながら、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果からでは、物体の存在を認識することができても、衝突の可能性を考慮する必要のある物体であるか否かを識別することはできない。
　そこで、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により衝突判定を行う場合、先行車が存在するときについては、認識した物体の位置を先行車が通過したときには衝突の可能性がないものとみなす。
　また、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により衝突判定を行う場合、先行車が存在するときについては、先行車が認識した物体の位置を通過しないときには、すなわち、避けて通過することが認識できるようなときは、認識した物体への衝突の可能性があるものとみなす。
　さらに、先行車が存在しない場合、衝突判定部２２３は、LiDAR２０３のセンシング結果を用いた物体認識結果により進路上に物体が存在することを認識することにより衝突判定を行う。
　すなわち、LiDAR２０３のセンシング結果を用いた物体認識結果により衝突判定を行う場合、衝突判定部２２３は、物体の接近に伴って、投光したレーザ光のうち、物体により反射されるレーザ光の本数が時系列に増え、反射されるレーザ光の本数の変化に対応して物体の大きさや勾配を認識することができる。
　より詳細には、図６で示されるように、車両１１が平面路ＦＬを図中の右方向に走行し、平面路ＦＬは右端部が勾配路ＳＬに接続されており、さらに、勾配路ＳＬにはマンホール１２が設けられているものとする。ここで、車両１１の前方には、カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３からなるデータ取得部１０２の各構成が組み込まれた外界認識センサ１１ａが設けられている。このデータ取得部１０２である外界認識センサ１１ａのうちのLiDAR２０３により、例えば、図６で示されるように、走行方向前方に向けてレーザ光Ｌ１乃至Ｌ１３が投光され、それぞれの反射光が受光されることで３次元点群情報が物体認識結果として取得されるものとする。
　ここで、図６においては、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ３乃至Ｌ８からなる６本のレーザ光がマンホール１２に照射されて、反射光として受光されることが示されている。
　この状態から時間の経過に伴って車両１１が勾配路ＳＬのマンホール１２に接近するとき、経過時刻ｔ１乃至ｔ３においては、図７で示されるように徐々にマンホール１２から反射されるレーザ光の本数が増える。
　すなわち、図６の状態から所定時間が経過した時刻ｔ１においては、図７の上段で示されるように、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ２乃至Ｌ９からなる８本のレーザ光がマンホール１２に照射されて、LiDAR２０３において反射光として受光される。
　また、その後、時刻ｔ２においては、図７の中段で示されるように、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ１乃至Ｌ１０からなる１０本のレーザ光がマンホール１２に照射されて、LiDAR２０３において反射光として受光される。
　さらに、その後、時刻ｔ３においては、図７の下段で示されるように、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ１乃至Ｌ１３の１３本全てのレーザ光がマンホール１２に照射されて、LiDAR２０３において反射光として受光される。
　このように、車両１１の外界認識センサ１１ａとして設けられたLiDAR２０３から照射されるレーザ光のうち、マンホール１２により反射されるレーザ光の本数は、車両１１のマンホール１２への接近に伴って、時系列に増大する。また、この反射されるレーザ光の本数の時系列の変化は、マンホール１２の表面の勾配により変化する。すなわち、勾配が大きい程、時系列に変化するレーザ光の本数は多く、勾配が小さい程、時系列に変化するレーザ光の本数は少ない。
　そこで、衝突判定部２２３は、物体により反射されるレーザ光の本数の時系列の変化に基づいて、物体の表面の勾配を求め、物体が所定の大きさより大きく、かつ、所定の勾配より大きな勾配であるか否かにより衝突判定を行う。
　＜＜４．衝突判定処理＞＞
　次に、図８のフローチャートを参照して、本開示の車両１１による衝突判定処理について説明する。
　ステップＳ１１において、データ取得部１０２のカメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３は、それぞれのセンシング結果（カメラ２０１においては撮像された画像）を自動運転制御部１１２の検出部１３１に出力する。
　ステップＳ１２において、物体認識部２２１は、カメラ２０１により撮像された画像による物体の認識が可能であるか否かを判定する。より詳細には、物体認識部２２１は、夜間や荒天時などにより十分な明るさが足りないなどの環境の影響に起因する理由により、カメラ２０１により撮像された画像から物体を適切に認識できるか否かを判定する。
　ステップＳ１２において、カメラ２０１により撮像された画像による物体の認識が可能であると判定された場合、処理は、ステップＳ１３に進む。
　ステップＳ１３において、物体認識部２２１は、カメラ２０１のセンシング結果である撮像された画像に基づいて、例えば、セマンティックセグメンテーション等により、画素単位で物体を認識する。
　ステップＳ１４において、衝突判定部２２３は、カメラ２０１のセンシング結果である撮像された画像に基づいた物体認識部２２１の物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
　ステップＳ１４において、例えば、進路上に障害物となり得る物体が存在すると判定された場合、処理は、ステップＳ１５に進む。
　ステップＳ１５において、勾配認識部２２２は、物体認識部２２１により路面として認識された領域の勾配を認識する。
　ステップＳ１６において、衝突判定部２２３は、路面の勾配と進路上の障害物となり得る物体の情報に基づいて、衝突の有無を判定する。
　ステップＳ１６において、例えば、人物や駐車車両など、物体としてのサイズが大きい、または、路面の勾配が大きく、壁や塀である可能性がある場合、衝突の可能性があるものとみなして、処理は、ステップＳ１７に進む。
　ステップＳ１７において、衝突判定部２２３は、動作制御部１３５の緊急事態回避部１７１に衝突の可能性があることを通知する。
　ステップＳ１８において、緊急事態回避部１７１は、衝突判定部２２３からの通知に基づいて、加減速制御部１７２、および方向制御部１７３を制御して、障害物となり得る物体との衝突を回避するように駆動系制御部１０７により駆動系システム１０８を駆動させる。
　ステップＳ１９において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１９において、処理の終了が指示された場合、処理は、終了する。
　また、ステップＳ１４において、進路上に障害物となり得る物体がないと判定された場合、または、ステップＳ１６において、衝突の可能性がないと判定された場合、処理は、ステップＳ２６に進む。
　ステップＳ２６において、衝突判定部２２３は、動作制御部１３５の緊急事態回避部１７１に衝突の可能性がないことを通知する。尚、衝突の可能性がない場合については、緊急事態回避部１７１への通知は必須ではないので、ステップＳ２６の処理は、必要に応じてスキップされるようにしてもよいし、処理そのものを削除するようにしてもよい。
　さらに、ステップＳ１２において、画像による物体認識が不能であるとみなされた場合、処理は、ステップＳ２０に進む。
　ステップＳ２０において、物体認識部２２１は、LiDAR２０３のセンシング結果による物体の認識が可能であるか否かを判定する。より詳細には、LiDAR２０３は、夜間や荒天時等、カメラ２０１による画像を撮像するには、光量が足らないといった条件が厳しい状況でもセンシングは可能である。そこで、物体認識部２２１は、LiDAR２０３に動作不良等がなくセンシングできるか否かを判定する。
　ステップＳ２０において、LiDAR２０３のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップＳ２１に進む。
　ステップＳ２１において、物体認識部２２１は、LiDAR２０３のセンシング結果に基づいて、物体を認識する。
　ステップＳ２２において、衝突判定部２２３は、LiDAR２０３のセンシング結果に基づいた物体認識結果に基づいて、先行車が存在するか否かを判定する。衝突判定部２２３は、物体認識結果に基づいて、例えば、自車との位置関係が所定の状態で維持される前方の物体があるとき、先行車が存在するものと判定する。
　ステップＳ２２において、先行車が存在しないとみなされた場合、処理は、ステップＳ２３に進む。
　ステップＳ２３において、衝突判定部２２３は、LiDAR２０３のセンシング結果に基づいた物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
　ステップＳ２３において、障害物となり得る物体が存在しない場合、処理は、ステップＳ２４に進む。
　ステップＳ２４において、勾配認識部２２２は、LiDAR２０３のセンシング結果に基づいた物体認識結果に基づいて、路面の勾配を認識する。
　ステップＳ２５において、衝突判定部２２３は、LiDAR２０３のセンシング結果に基づいた物体認識結果と勾配に基づいて、物体が所定の大きさよりも、大きい、または、勾配が所定の勾配よりも大きいか否かに基づいて、衝突の可能性があるか否かを判定する。
　ステップＳ２５において、衝突の可能性があるとみなされた場合、または、ステップＳ２３において、進路上に障害物となり得る物体がないとみなされた場合、処理は、ステップＳ１７に進み、衝突の可能性があることが通知される。
　また、ステップＳ２５において、衝突の可能性がないとみなされた場合、処理は、ステップＳ２６に進み、衝突の可能性がないことが通知される。
　また、ステップＳ２２において、先行車が存在する場合、処理は、ステップＳ２７に進む。
　すなわち、LiDAR２０３のセンシング結果に基づいた物体認識結果のみでは、先行車が存在する場合、先行車が障害となり、先行車のさらに前方に存在する可能性のある障害物を検出することはできない。このため、先行車が存在するときには、LiDAR２０３の動作不良時と同様に衝突判定が不能となる。
　ステップＳ２７において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であるか否かを判定する。より詳細には、ミリ波レーダ２０２は、夜間や荒天時等、カメラ２０１による画像を撮像するには、光量が足らないといった条件が厳しい状況でもセンシングは可能である。そこで、物体認識部２２１は、ミリ波レーダ２０２に動作不良等がなくセンシングできるか否かを判定する。
　ステップＳ２７において、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップＳ２８に進む。
　ステップＳ２８において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、物体を認識する。
　ステップＳ２９において、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果に基づいた物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
　ステップＳ２９において、障害物となり得る物体が存在しない場合、処理は、ステップＳ２６に進み、衝突の可能性なしが通知される。
　一方、ステップＳ２９において、障害物となり得る物体が存在する場合、処理は、ステップＳ３０に進む。
　ステップＳ３０において、衝突判定部２２３は、先行車が、障害物となり得る物体が存在する位置を通過したか否かを判定する。
　ステップＳ３０において、先行車が、障害物となり得る物体が存在する位置を通過した場合、処理は、ステップＳ２６に進み、衝突の可能性がないことが通知される。
　また、ステップＳ３０において、例えば、先行車が障害物となり得る物体の位置を回避して通過するような場合、処理は、ステップＳ１７に進み、衝突の可能性ありが通知される。
　すなわち、この場合、先行車は、障害物として物体を認識して、衝突を回避すべく、避けて通過したものとみなされるので、検出した物体に対して衝突の可能性があるものとみなされる。
　ステップＳ２０において、LiDAR２３のセンシング結果による物体の認識が不能であると判定された場合、処理は、ステップＳ３１に進む。
　ステップＳ３１において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であるか否かを判定する。
　ステップＳ３１において、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップＳ３２に進む。
　ステップＳ３２において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、物体を認識する。
　ステップＳ３３において、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果に基づいた物体認識結果に基づいて、先行車が存在するか否かを判定する。
　ステップＳ３３において、先行車が存在する場合、処理は、ステップＳ２９に進み、進路上に障害物となり得る物体の有無が判定されて、先行車が物体の位置を通過したか否かで衝突判定がなされる。
　一方、ステップＳ３３において、先行車が存在しないとみなされた場合、または、ステップＳ３１において、ミリ波レーダ２０２のセンシング結果に基づいた物体認識結果では、物体認識が不能であれるとみなされた場合、処理は、ステップＳ３４に進む。
　ステップＳ３４において、衝突判定部２２３は、衝突判定が不能であることを出力する。すなわち、カメラ２０１により撮像された画像による物体認識結果、ミリ波レーダ２０２のセンシング結果による物体認識結果、およびLiDAR２０３のセンシング結果による物体認識結果のいずれにおいても、衝突判定が不能であることが通知される。
　以上の処理により、晴天時等の明るい条件においては、カメラ２０１のセンシング結果（撮像された画像）に基づいて、衝突判定を行うようにした。これにより画像を用いた高精度な物体認識結果に基づいて、高精度な衝突判定を実現することが可能となる。
　また、画像による物体認識が不能となる場合、すなわち、荒天時や夜間などの場合であって、先行車が存在しないときには、LiDARのセンシング結果に基づいて、衝突判定を行うようにした。
　さらに、画像による物体認識が不能となる場合、すなわち、荒天時や夜間などの場合であって、先行車が存在するときには、ミリ波レーダのセンシング結果に基づいて、先行車が検出した物体の位置を通過するか否かにより衝突判定を行うようにした。
　これにより、画像による衝突判定が不能な状態でも、先行車の有無に関わらず、衝突判定を実現することが可能となる。
　結果として、いずれにおいても、環境の変化に影響されることなく、適切な衝突判定を実現することが可能となる。
　＜＜５．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図９は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図９におけるCPU１００１が、図４における自動運転制御部１１２の機能を実現させる。また、図９における記憶部１００８が、図４における記憶部１１１を実現する。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
　前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
　を備える情報処理装置。
＜２＞　前記車両の前方の画像を撮像するカメラと、
　ミリ波帯の電波を前方に照射し、前記物体からの反射波を検出するミリ波レーダと、
　前記車両の前方にレーザ光を照射し、前記物体からの反射光を検出するLiDARとをさらに含み、
　前記物体認識部は、前記カメラにより撮像された画像に基づいた画像物体認識結果、前記ミリ波レーダの検出結果に基づいたミリ波レーダ物体認識結果、および前記LiDARの検出結果に基づいたLiDAR物体認識結果を出力する
　＜１＞に記載の情報処理装置。
＜３＞　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が可能である場合、前記衝突判定部は、前記画像物体認識結果に基づいて、前記物体との衝突の有無を判定する
　＜２＞に記載の情報処理装置。
＜４＞　前記画像物体認識結果に基づいて、前記車両の前方の路面の勾配を認識する勾配認識部をさらに含み、
　前記衝突判定部は、前記画像物体認識結果と、前記路面の勾配とに基づいて、前記物体との衝突の有無を判定する
　＜２＞または＜３＞に記載の情報処理装置。
＜５＞　前記勾配認識部は、前記物体との時系列の距離の変化に伴った、前記LiDARにより検出される前記反射光の本数の時系列の変化に基づいて、前記車両の前方の路面の勾配を認識する
　＜４＞に記載の情報処理装置。
＜６＞　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合、前記衝突判定部は、前記ミリ波レーダ物体認識結果、または、前記LiDAR物体認識結果のいずれかに基づいて、前記物体との衝突の有無を判定する
　＜２＞乃至＜５＞のいずれかに記載の情報処理装置。
＜７＞　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記LiDAR物体認識結果に基づいた物体認識が可能であるとき、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
　＜６＞に記載の情報処理装置。
＜８＞　前記LiDAR物体認識結果に基づいて、先行車の存在が認識されないとき、前記LiDAR物体認識結果に基づいた物体認識が可能であるとみなされ、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
　＜７＞に記載の情報処理装置。
＜９＞　前記LiDAR物体認識結果に基づいて、先行車の存在が認識されるとき、前記LiDAR物体認識結果に基づいた物体認識が不能であるとみなされ、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
　＜８＞に記載の情報処理装置。
＜１０＞　前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
　＜９＞に記載の情報処理装置。
＜１１＞　前記LiDAR物体認識結果に基づいた物体認識が不能であるとき、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
　＜６＞に記載の情報処理装置。
＜１２＞　前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、先行車の存在が認識されるとき、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
　＜１１＞に記載の情報処理装置。
＜１３＞　前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
　＜１２＞に記載の情報処理装置。
＜１４＞　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記ミリ波レーダ物体認識結果、および前記LiDAR物体認識結果によるいずれの物体認識も不能であるとき、前記衝突判定部は、前記物体との衝突の有無の判定が不能であることを示す情報を出力する
　＜２＞に記載の情報処理装置。
＜１５＞　複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識処理と、
　前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定処理と
　を含む情報処理方法。
＜１６＞　複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
　前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
　してコンピュータを機能させるプログラム。
　１１　車両，　１００　車両制御システム，　１０２　データ取得部，　１１２　自動運転制御部，　１３３　状況分析部，　１３４　計画部，　１３５　動作制御部，　１５３　状況認識部，　１５４　状況予測部，　１７２　加減速制御部，　１７３　方向制御部，　２０１　カメラ，　２０２　ミリ波レーダ，　２０３　LiDAR，　２２１　物体認識部，　２２２　勾配認識部，　２２３　衝突判定部

Claims (16)

  1. 　複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
    　前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
    　を備える情報処理装置。
  2. 　前記車両の前方の画像を撮像するカメラと、
    　ミリ波帯の電波を前方に照射し、前記物体からの反射波を検出するミリ波レーダと、
    　前記車両の前方にレーザ光を照射し、前記物体からの反射光を検出するLiDARとをさらに含み、
    　前記物体認識部は、前記カメラにより撮像された画像に基づいた画像物体認識結果、前記ミリ波レーダの検出結果に基づいたミリ波レーダ物体認識結果、および前記LiDARの検出結果に基づいたLiDAR物体認識結果を出力する
    　請求項１に記載の情報処理装置。
  3. 　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が可能である場合、前記衝突判定部は、前記画像物体認識結果に基づいて、前記物体との衝突の有無を判定する
    　請求項２に記載の情報処理装置。
  4. 　前記画像物体認識結果に基づいて、前記車両の前方の路面の勾配を認識する勾配認識部をさらに含み、
    　前記衝突判定部は、前記画像物体認識結果と、前記路面の勾配とに基づいて、前記物体との衝突の有無を判定する
    　請求項２に記載の情報処理装置。
  5. 　前記勾配認識部は、前記物体との時系列の距離の変化に伴った、前記LiDARにより検出される前記反射光の本数の時系列の変化に基づいて、前記車両の前方の路面の勾配を認識する
    　請求項４に記載の情報処理装置。
  6. 　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合、前記衝突判定部は、前記ミリ波レーダ物体認識結果、または、前記LiDAR物体認識結果のいずれかに基づいて、前記物体との衝突の有無を判定する
    　請求項２に記載の情報処理装置。
  7. 　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記LiDAR物体認識結果に基づいた物体認識が可能であるとき、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
    　請求項６に記載の情報処理装置。
  8. 　前記LiDAR物体認識結果に基づいて、先行車の存在が認識されないとき、前記LiDAR物体認識結果に基づいた物体認識が可能であるとみなされ、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
    　請求項７に記載の情報処理装置。
  9. 　前記LiDAR物体認識結果に基づいて、先行車の存在が認識されるとき、前記LiDAR物体認識結果に基づいた物体認識が不能であるとみなされ、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
    　請求項８に記載の情報処理装置。
  10. 　前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
    　請求項９に記載の情報処理装置。
  11. 　前記LiDAR物体認識結果に基づいた物体認識が不能であるとき、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
    　請求項６に記載の情報処理装置。
  12. 　前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、先行車の存在が認識されるとき、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
    　請求項１１に記載の情報処理装置。
  13. 　前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
    　請求項１２に記載の情報処理装置。
  14. 　前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記ミリ波レーダ物体認識結果、および前記LiDAR物体認識結果によるいずれの物体認識も不能であるとき、前記衝突判定部は、前記物体との衝突の有無の判定が不能であることを示す情報を出力する
    　請求項２に記載の情報処理装置。
  15. 　複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識処理と、
    　前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定処理と
    　を含む情報処理方法。
  16. 　複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
    　前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
    　してコンピュータを機能させるプログラム。
PCT/JP2019/047537 2018-12-18 2019-12-05 情報処理装置、および情報処理方法、並びにプログラム WO2020129656A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019006281.6T DE112019006281T5 (de) 2018-12-18 2019-12-05 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN201980082175.2A CN113196106A (zh) 2018-12-18 2019-12-05 信息处理设备、信息处理方法和程序
US17/309,606 US11763675B2 (en) 2018-12-18 2019-12-05 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-236535 2018-12-18
JP2018236535A JP2022028989A (ja) 2018-12-18 2018-12-18 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2020129656A1 true WO2020129656A1 (ja) 2020-06-25

Family

ID=71101747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047537 WO2020129656A1 (ja) 2018-12-18 2019-12-05 情報処理装置、および情報処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US11763675B2 (ja)
JP (1) JP2022028989A (ja)
CN (1) CN113196106A (ja)
DE (1) DE112019006281T5 (ja)
WO (1) WO2020129656A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413935B2 (ja) * 2020-06-16 2024-01-16 トヨタ自動車株式会社 車載センサシステム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065740A (ja) * 2001-08-27 2003-03-05 Nissan Motor Co Ltd 前方路面勾配判定装置
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
JP2009090840A (ja) * 2007-10-10 2009-04-30 Mitsubishi Motors Corp 車両の走行制御装置
JP2010091386A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp レーダ判定装置、レーダ保全装置
JP2012088217A (ja) * 2010-10-21 2012-05-10 Daihatsu Motor Co Ltd 運転支援制御装置
JP2017100716A (ja) * 2015-12-03 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ オープンエリアの識別
JP2017202828A (ja) * 2013-05-03 2017-11-16 グーグル インコーポレイテッド 車両の速度を制御するための予測推定

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP5862785B2 (ja) * 2012-09-03 2016-02-16 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
JP6011489B2 (ja) * 2013-08-26 2016-10-19 トヨタ自動車株式会社 車載制御装置
JP6036724B2 (ja) * 2014-02-17 2016-11-30 トヨタ自動車株式会社 車両周辺状況認識装置および車両制御装置
CN105946766A (zh) * 2016-07-14 2016-09-21 奇瑞汽车股份有限公司 一种基于激光雷达与视觉的车辆碰撞预警系统及其控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065740A (ja) * 2001-08-27 2003-03-05 Nissan Motor Co Ltd 前方路面勾配判定装置
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
JP2009090840A (ja) * 2007-10-10 2009-04-30 Mitsubishi Motors Corp 車両の走行制御装置
JP2010091386A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp レーダ判定装置、レーダ保全装置
JP2012088217A (ja) * 2010-10-21 2012-05-10 Daihatsu Motor Co Ltd 運転支援制御装置
JP2017202828A (ja) * 2013-05-03 2017-11-16 グーグル インコーポレイテッド 車両の速度を制御するための予測推定
JP2017100716A (ja) * 2015-12-03 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ オープンエリアの識別

Also Published As

Publication number Publication date
US11763675B2 (en) 2023-09-19
US20220020272A1 (en) 2022-01-20
DE112019006281T5 (de) 2021-09-16
CN113196106A (zh) 2021-07-30
JP2022028989A (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11915452B2 (en) Information processing device and information processing method
US11501461B2 (en) Controller, control method, and program
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
WO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
US20220343757A1 (en) Information processing apparatus, information processing system, and information processing method
WO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
US20240019539A1 (en) Information processing device, information processing method, and information processing system
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19897620

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19897620

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP