WO2020116205A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2020116205A1
WO2020116205A1 PCT/JP2019/045800 JP2019045800W WO2020116205A1 WO 2020116205 A1 WO2020116205 A1 WO 2020116205A1 JP 2019045800 W JP2019045800 W JP 2019045800W WO 2020116205 A1 WO2020116205 A1 WO 2020116205A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
object recognition
image
information
vehicle
Prior art date
Application number
PCT/JP2019/045800
Other languages
English (en)
French (fr)
Inventor
俊樹 小野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/296,924 priority Critical patent/US20230045772A9/en
Priority to KR1020217014838A priority patent/KR20210096086A/ko
Priority to EP19891814.6A priority patent/EP3893497A4/en
Priority to CN201980079025.6A priority patent/CN113170080A/zh
Priority to JP2020559924A priority patent/JPWO2020116205A1/ja
Publication of WO2020116205A1 publication Critical patent/WO2020116205A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and more particularly, to an information processing device that distributes via an in-vehicle network and is capable of reducing the amount of communication data required for automatic driving, and information processing.
  • a method and a program are particularly, to an information processing device that distributes via an in-vehicle network and is capable of reducing the amount of communication data required for automatic driving, and information processing.
  • ADAS Advanced Driver Assistance System
  • ACC Adaptive Cruise Control
  • PCS Pre-Crash Safety
  • the image data taken by the camera and the data of the detection results of other sensors will be distributed on the network inside the vehicle.
  • the present disclosure has been made in view of such a situation, and in particular, it is possible to reduce the communication data amount required for autonomous driving, which is distributed via an in-vehicle network.
  • An information processing apparatus performs an object recognition process of recognizing an object in the image captured by the imaging unit and an image capturing unit that captures an image of a surrounding area of a moving body, and performs the object recognition process.
  • An information processing apparatus comprising: an object recognition processing unit that outputs an object recognition processing result by using the recognized object as a unit via a network in the moving body.
  • the information processing method and program according to one aspect of the present disclosure correspond to an information processing device.
  • an image around a vehicle is captured, object recognition processing is performed to recognize an object in the captured image, and an object recognition processing result by the object recognition processing is the recognized object. It is output through the network in the moving body in units of objects.
  • FIG. 3 is a block diagram illustrating a configuration example of a first embodiment of a data acquisition unit of the present disclosure. It is a figure explaining the structure of a recognition part. It is a figure explaining the example of the object recognition result by a recognition part.
  • 5 is a flowchart illustrating a sensing process performed by the data acquisition unit of FIG. 4. It is a figure explaining the example which adds metadata to the object recognition result by a recognition part.
  • FIG. 10 is a flowchart illustrating a sensing process performed by the data acquisition unit in FIG. 9. It is a figure explaining an example which provides a plurality of sensor parts and senses the whole circumference of a vehicle. It is a block diagram explaining the structural example of 3rd Embodiment of the data acquisition part which provided several sensor parts and was made to sense the whole circumference of a vehicle. 13 is a flowchart illustrating an integration process for integrating the sensing process results of a plurality of sensor units by the data acquisition unit of FIG. 12.
  • FIG. 6 is a diagram illustrating an example of sensing by selectively using a plurality of object recognition results by a plurality of images captured with a plurality of sensitivities and a sensing result by a millimeter wave radar and a LiDAR.
  • FIG. 6 is a diagram illustrating a pattern of proper use of a plurality of object recognition results by a plurality of images captured at a plurality of sensitivities and a sensing result by a millimeter wave radar and LiDAR.
  • 17 is a flowchart illustrating a sensing process performed by the data acquisition unit of FIG. 16.
  • 18 is a flowchart illustrating the recognition result integration process of FIG. 17. It is a figure explaining the principle which the flicker which occurs when a traffic signal using an LED is imaged is generated. It is a figure explaining exposure time of the image sensor of this indication.
  • FIG. 22 It is a block diagram explaining an example of composition of a 5th embodiment of a data acquisition part which controlled generation of flicker when a traffic light using LEDs and a vehicle lamp were picturized.
  • 22 is a flowchart illustrating flicker suppression processing by the data acquisition unit in FIG. 21. It is a figure explaining the structural example of a general purpose computer.
  • the vehicle according to the present disclosure is capable of reducing the amount of communication data distributed in the network inside the vehicle, which is required for autonomous driving such as ADAS.
  • the vehicle 11 that realizes automatic driving includes, for example, as shown in FIG. 1, a sensor unit 31 and an automatic driving control unit 32.
  • the sensor unit 31 senses information on the outside of the vehicle 11 and outputs the sensing result M1 to the automatic driving control unit 32.
  • the automatic driving control unit 32 controls the operation of the vehicle 11 based on the sensing result M1 supplied from the sensor unit 31 to realize automatic driving.
  • the sensor unit 31 includes an imaging unit 41, a millimeter wave radar 42, and a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 43.
  • an imaging unit 41 a millimeter wave radar 42
  • a LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • the image pickup unit 41 is composed of a CMOS (Complementary Metal Oxide Semiconductor) image sensor or the like, picks up an image of the surroundings of the vehicle 11, and outputs the image data to the automatic driving control unit 32 as a sensing result.
  • CMOS Complementary Metal Oxide Semiconductor
  • the millimeter wave radar 42 radiates millimeter wave radio waves, detects information on the position, speed, and direction of the object from the information on the position at which the peak value of the reflected wave reflected by the object is detected. Output to the automatic driving control unit 32.
  • the LiDAR 43 projects laser light consisting of infrared light, receives reflected light from an object, and detects three-dimensional point cloud information consisting of point cloud information on the distance to the object based on the round-trip time. And outputs the result as a sensing result to the automatic driving control unit 32.
  • the sensing result M1 output from the sensor unit 31 is the image captured by the image capturing unit 41, the position, velocity, and direction information of the object detected by the millimeter wave radar 42, and the detection result of the LiDAR 43. It is composed of three-dimensional point cloud information.
  • Both sensing results are high-resolution sensing results. Therefore, if all the information is output to the automatic driving control unit 32, the communication data amount increases on the in-vehicle network, which may cause a communication delay. Yes, there is a risk that it may affect the realization of autonomous driving.
  • a recognition unit 51 that recognizes an object in the image based on the image captured by the imaging unit 41 is newly provided, and the sensing of the millimeter wave radar 42 and the LiDAR 43 is performed. The result is output to the recognition unit 51.
  • the recognition unit 51 adds the sensing result of the millimeter wave radar 42 and the LiDAR 43 for each object, which is an object recognition result based on the image captured by the image capturing unit 41, for example, as metadata, and the image capturing unit 41 determines It outputs to the automatic driving control unit 32 as a sensing result M2 together with the captured image.
  • the sensing result M2 includes the information of the position, velocity, direction, and distance of the object, which is the sensing result of the millimeter wave radar 42 and the LiDAR 43, as metadata for each object that is the object recognition result. Therefore, the data amount of the sensing result M2 can be reduced.
  • FIG. 3 is a block diagram showing a schematic functional configuration example of a vehicle control system 100, which is an example of a mobile body control system to which the present technology can be applied.
  • the vehicle control system 100 is mounted on the vehicle 91.
  • the vehicle when distinguishing a vehicle provided with the vehicle control system 100 from other vehicles, the vehicle is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • the system 110, the storage unit 111, and the automatic operation control unit 112 are provided.
  • the communication network 121 is, for example, an in-vehicle communication network or a bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • the input unit 101 includes a device used by the passenger to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than a manual operation such as voice or gesture.
  • the input unit 101 may be a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that corresponds to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on the data and instructions input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is provided with a sensor or the like for detecting the number of rotations of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information inside the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biometric sensor that detects biometric information of the driver, and a microphone that collects sound in the vehicle interior.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver who holds the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each unit of the vehicle control system 100 or receives received data from the vehicle control system. It is supplied to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 103 uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (MHL) via a connection terminal (and a cable if necessary) not shown. Mobile (High-definition Link) and the like perform wired communication with the in-vehicle device 104.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Multimedia Interface
  • Mobile High-definition Link
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to a business operator
  • the communication unit 103 uses a P2P (PeerToPeer) technology to communicate with a terminal (for example, a pedestrian or a shop terminal, or an MTC (MachineType Communication) terminal) that exists near the vehicle.
  • the communication unit 103 may communicate between vehicles (VehicletoVehicle), roads (VehicletoInfrastructure), vehicles (Home to Vehicle), and vehicles (Pedestrian).
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current position, traffic congestion, traffic regulation, and required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device that the passenger has, an information device that is carried in or attached to the vehicle, a navigation device that searches for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106 to output the output unit.
  • the output of visual information and auditory information from 106 is controlled.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for a danger such as collision, contact, or entry into a dangerous zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for a danger such as collision,
  • the output unit 106 includes a device capable of outputting visual information or auditory information to a passenger of the vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 includes visual information in the driver's visual field, such as a device having a head-up display, a transmissive display, and an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary to notify the control state of the drive system system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system system 108 includes a drive force generation device for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, a steering mechanism for adjusting a steering angle, It is equipped with a braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system system 110 as necessary to notify the control state of the body system system 110 and the like.
  • the body system 110 includes various body-related devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlights, backlights, brake lights, blinkers, fog lights, etc.). And so on.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. ..
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-precision map such as a dynamic map, a global map having a lower accuracy than the high-precision map and covering a wide area, and a local map including information around the vehicle.
  • Map data such as a three-dimensional high-precision map such as a dynamic map, a global map having a lower accuracy than the high-precision map and covering a wide area, and a local map including information around the vehicle.
  • the automatic driving control unit 112 performs control related to autonomous driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues a collision avoidance or impact mitigation of the own vehicle, a follow-up traveling based on an inter-vehicle distance, a vehicle speed maintenance traveling, a collision warning of the own vehicle, a lane departure warning of the own vehicle, or the like. Coordinated control for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving that autonomously travels without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling automatic driving.
  • the detection unit 131 includes a vehicle exterior information detection unit 141, a vehicle interior information detection unit 142, and a vehicle state detection unit 143.
  • the outside-vehicle information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the vehicle exterior information detection unit 141 performs detection processing, recognition processing, and tracking processing of an object around the vehicle, and detection processing of a distance to the object.
  • Objects to be detected include vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the vehicle exterior information detection unit 141 performs a process of detecting the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, and road surface condition.
  • the vehicle exterior information detection unit 141 uses the data indicating the result of the detection process to obtain the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. To the emergency avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, and in-vehicle environment detection processing.
  • the driver's state to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight direction, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies the data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs detection processing of the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence/absence of abnormality, content of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. State etc. are included.
  • the vehicle state detection unit 143 supplies the data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and attitude of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the vehicle exterior information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. Perform processing.
  • the self-position estimation unit 132 also generates a local map (hereinafter, referred to as a self-position estimation map) used for estimating the self-position, if necessary.
  • the self-position estimation map is, for example, a high-precision map using a technology such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle and surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100, such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141, as necessary, and stores various maps stored in the storage unit 111. Performs analysis processing and builds a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 uses the constructed map as a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, a route planning unit 161, a behavior planning unit 162, and a motion planning unit 163 of the planning unit 134. Supply to.
  • the traffic rule recognition unit 152 determines the traffic rules around the vehicle based on data or signals from the vehicle position control unit 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the content of traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 converts data or signals from the vehicle position control unit 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, recognition processing of the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. The situation recognition unit 153 also generates a local map (hereinafter, referred to as a situation recognition map) used for recognizing the situation around the own vehicle, as necessary.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy Grid Map).
  • the situation of the subject vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the subject vehicle, and the presence/absence and content of an abnormality.
  • the situation around the vehicle to be recognized includes, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding moving objects (for example, speed, acceleration, moving direction, etc.), and surrounding roads.
  • the configuration and the condition of the road surface, and the surrounding weather, temperature, humidity, and brightness are included.
  • the driver's state to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight movement, and driving operation.
  • the situation recognition unit 153 supplies data indicating the result of the recognition process (including a situation recognition map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like.
  • the situation recognition unit 153 also stores the situation recognition map in the storage unit 111.
  • the situation predicting unit 154 performs a process of predicting the situation regarding the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analyzing unit 151, the traffic rule recognizing unit 152, and the situation recognizing unit 153.
  • the situation prediction unit 154 performs a prediction process of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, and the mileage that can be traveled.
  • the situation around the subject vehicle to be predicted includes, for example, the behavior of a moving object around the subject vehicle, a change in the signal state, and a change in the environment such as the weather.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, data indicating the result of the prediction process, the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. Etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the designated destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on traffic jams, accidents, traffic restrictions, construction conditions, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely operates the route planned by the route planning unit 161 within the planned time on the basis of data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's behavior to drive. For example, the action planning unit 162 makes a plan such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), lane, traveling speed, and overtaking. The action planning unit 162 supplies data indicating the planned action of the own vehicle to the action planning unit 163 and the like.
  • the operation planning unit 163 operates the vehicle to realize the action planned by the action planning unit 162, based on the data or the signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation planning unit 163 makes a plan such as acceleration, deceleration, and traveling track.
  • the operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration/deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 is based on the detection results of the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, and the vehicle state detection unit 143, and collides, touches, enters a dangerous zone, the driver's abnormality, and the vehicle Performs detection processing for emergencies such as abnormalities.
  • the emergency avoidance unit 171 plans the operation of the own vehicle for avoiding an emergency such as a sudden stop or a sharp turn.
  • the emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration/deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration/deceleration control unit 172 performs acceleration/deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoiding unit 171.
  • the acceleration/deceleration control unit 172 calculates the control target value of the driving force generation device or the braking device for realizing the planned acceleration, deceleration, or sudden stop, and drives the control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the planned traveling track or steep turn by the operation planning unit 163 or the emergency situation avoidance unit 171 and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 4 illustrates a configuration of the data acquisition unit 102 that reduces the data amount of the sensing result distributed through the in-vehicle network in the configuration example of the function that realizes the vehicle control system 100 described with reference to FIG. 3. Shows.
  • the sensor unit 200 is a part of the data acquisition unit 102, and in FIG. 4, has a configuration that substantially functions as a camera.
  • the sensor unit 200 includes a control unit 201, a lens 202, an image sensor 203, a signal processing unit 204, a recognition unit 205, a buffer 206, and a determination unit 207.
  • the control unit 201 is composed of a processor and a memory, and controls the entire operation of the sensor unit 200.
  • the lens 202 collects incident light from around the vehicle 91 so as to form an image on the imaging surface of the image sensor 203.
  • the image sensor 203 is controlled by the control unit 201, generates a signal in pixel units based on ambient light incident through the lens 202, and outputs the signal to the signal processing unit 204.
  • the signal processing unit 204 is controlled by the control unit 201, performs signal processing such as demosaic processing, noise removal, and tone correction on the signal in pixel units supplied from the image sensor 203, and generates and recognizes an image. It is output to the unit 205, the buffer 206, and the determination unit 207.
  • the recognition unit 205 performs object recognition on a pixel-by-pixel basis based on the image supplied from the signal processing unit 204, and the recognition result is determined by the automatic driving control unit 112 and the determination by the recognized object as a unit via the network in the vehicle. It is output to the unit 207. That is, since the object recognition result is output in units of recognized objects instead of in units of pixels, it is possible to suppress the data amount of the object recognition results output via the in-vehicle network. At this time, the object recognition result includes coordinate information of the object recognized in the image. As a result, in the in-vehicle network, only the coordinate position of the recognized object as a unit and the object recognition result are distributed, so that the communication load in the in-vehicle network can be reduced.
  • the recognition unit 205 performs object recognition on a pixel-by-pixel basis based on an image, recognizes a ground surface, a human being, a vehicle, a building, a fixed object, a natural environment, the sky, and the like as an object, and recognizes the object. Output the result.
  • the object recognition result on the ground surface includes information about roads, sidewalks, parking lots, and tracks.
  • the human object recognition result includes pedestrians and drivers.
  • driver's object recognition results include drivers of bicycles, motorcycles, scooters, skateboards, horses, roller blades, wheelchairs, street sweepers, and roofless cars.
  • the object recognition result of the vehicle includes a car, a truck, a bus, a train or a train running on a rail, a motorcycle, a bicycle, and a towing vehicle.
  • buildings include buildings, walls, fences, guardrails, bridges, and tunnels.
  • the object recognition result of fixed objects includes poles, pole groups, traffic signs, and traffic lights.
  • vegetation and topographical information is included in the object recognition result of the natural environment.
  • the buffer 206 is controlled by the control unit 201, temporarily buffers the image supplied from the signal processing unit 204, and buffers the image at a timing corresponding to each processing time of the recognition processing and the signal processing by the recognition unit 205.
  • the image is output to the automatic driving control unit 112.
  • the object recognition result may be output to the automatic driving control unit 112, and the image itself may not be output, or the image may be output with a reduced bit rate. You may do it. By doing so, it becomes possible to further suppress the amount of data distributed in the in-vehicle network.
  • the determination unit 207 compares the processing time between the recognition processing by the recognition unit 205 and the signal processing in the signal processing unit 204, and outputs the comparison result and the difference between the processing times (processing time difference) to the control unit 201.
  • the control unit 201 decimates and outputs an image that is an imaging result, decimates and outputs an object recognition result, or outputs an imaging result and an object recognition result without decimating according to the comparison result.
  • the signal processing unit 204, the recognition unit 205, and the buffer 206 are controlled so as to perform.
  • control unit 201 thins out and outputs the imaged result, or thins out and outputs the object recognition result
  • the control unit 201 thins out the imaged image corresponding to the processing time difference (processing time difference). Or output by thinning out the object recognition result.
  • the control unit 201 controls the signal processing unit 204 to thin out the image every n frames.
  • the object recognition result of the image n frames before and the current image are output in association with each other.
  • the control unit 201 may buffer the image until the object recognition result is obtained by the buffer 206, and output the image together with the image at the timing when the object recognition result is obtained. In this case as well, the image is output in accordance with the timing when the object recognition result is obtained, so the image is thinned out every n frames.
  • the control unit 201 controls the recognition unit 205 to obtain the object recognition result once every n times.
  • the image is output, and the current image is output in association with it.
  • the recognition unit 205 obtains and outputs an object recognition result for each pixel of the image supplied from the signal processing unit 204.
  • the recognition unit 205 performs object recognition processing such as semantic segmentation on each pixel P of the image R1 output from the signal processing unit 204 as illustrated in FIG. Output Pr.
  • the pedestrians H1 to H4 the vehicles C1 to C4, the white lines L1 and L2, the traffic light T1, and The marker M1 is recognized.
  • a coordinate position and an identification name are set in.
  • step S11 the image sensor 203 is controlled by the control unit 201 to capture an image of the surroundings of the vehicle 91 that enters through the lens 202, and outputs the captured pixel-based signal to the signal processing unit 204.
  • step S12 the signal processing unit 204 is controlled by the control unit 201, performs signal processing such as demosaic processing, noise removal, and gradation correction on the signal in pixel units supplied from the image sensor 203, and outputs an image. It is generated and output to the recognition unit 205, the buffer 206, and the determination unit 207.
  • signal processing such as demosaic processing, noise removal, and gradation correction
  • step S13 the buffer 206 buffers the image signal output from the signal processing unit 204.
  • step S14 the recognition unit 205 performs object recognition for each pixel based on the image supplied from the signal processing unit 204.
  • step S15 the buffer 206 outputs the buffered image to the automatic driving control unit 112.
  • step S16 the recognition unit 205 outputs the recognition result to the automatic driving control unit 112 and the determination unit 207 via the network inside the vehicle, as described with reference to FIG.
  • step S17 the determination unit 207 compares the signal processing time by the signal processing unit 204 with the object recognition processing time by the recognition unit 205, and the object recognition processing time by the recognition unit 205 is the signal by the signal processing unit 204. It is determined whether it is later than the processing time.
  • step S17 if the object recognition processing time by the recognition unit 205 is later than the signal processing time by the signal processing unit 204, the process proceeds to step S18.
  • step S18 the determination unit 207 notifies the control unit 201 that the object recognition processing time by the recognition unit 205 is later than the signal processing time by the signal processing unit 204.
  • the control unit 201 controls the signal processing unit 204 so that the image which is the signal processing result output from the signal processing unit 204 is processed by the signal processing unit 204 and the recognition unit 205. Control is performed so as to thin out and output according to the processing time difference from the object recognition processing time.
  • step S19 it is determined whether or not the end of the process is instructed. If the end is not instructed, the process returns to step S11.
  • step S17 if the object recognition processing time by the recognition unit 205 is not later than the signal processing time by the signal processing unit 204, the process proceeds to step S20.
  • step S20 the determination unit 207 compares the signal processing time by the signal processing unit 204 with the object recognition processing time by the recognition unit 205, and the object recognition processing time by the recognition unit 205 is the signal by the signal processing unit 204. It is determined whether it is faster than the processing time.
  • step S20 if the object recognition processing time by the recognition unit 205 is faster than the signal processing time by the signal processing unit 204, the process proceeds to step S21.
  • step S21 the determination unit 207 notifies the control unit 201 that the object recognition processing time by the recognition unit 205 is faster than the signal processing time by the signal processing unit 204.
  • the control unit 201 controls the recognition unit 205 to thin out the object recognition result according to the processing time difference between the signal processing time by the signal processing unit 204 and the object recognition processing time by the recognition unit 205. Control to output.
  • step S20 when the object recognition processing time by the recognition unit 205 is not faster than the signal processing time by the signal processing unit 204, that is, when all the processing times are substantially the same, the process is step S19. Then, control such that the thinning processing is performed in the signal processing unit 204 and the recognition unit 205 is not performed.
  • the timing is adjusted by thinning out one of the object recognition result and the captured image according to the difference between the signal processing time in the signal processing unit 204 and the object recognition processing time in the recognition unit 205. It is possible to output appropriately.
  • the automatic driving control unit 112 controls the automatic driving using only the object recognition result. In such a case, only the object recognition result may be output. By doing so, it becomes possible to reduce the amount of data distributed in the network in the vehicle and improve the communication speed.
  • the sensor unit 200 may output the low-resolution image and the object recognition result together to the automatic driving control unit 112.
  • the relatively important object is, for example, an object necessary for grasping traffic conditions, an object of collision or contact, and specifically, a traffic signal, a road sign, a vehicle, Such as pedestrians, bicycles, and motorbikes.
  • the object recognition result of an object of low importance may not be output. For example, since the sky recognition result is not essential for automatic driving control, the sky object recognition result is not output. You may do it.
  • the image is thinned and output according to the processing time difference, but the object recognition processing is not thinned.
  • the image of a few frames before may be output in association with the current image. By doing so, the accuracy of the object recognition result decreases, but it is not necessary to reduce the frame rate.
  • the sensor unit 200 executes the object recognition processing based on the image captured by the image sensor 203, and outputs the object recognition result and the image in association with each other to the automatic driving control unit 112
  • the sensor unit 200 may be provided with a plurality of sensors capable of sensing further information, and the sensing results of the plurality of sensors may be added to the object recognition result and output.
  • a millimeter wave radar and a LiDAR are provided, and velocity information and distance information of an object obtained by the respective sensing results are added as metadata to each of the object recognition results. May be.
  • the pedestrians H1 to H4, the vehicles C1 to C4, the white lines L1 and L2, the traffic light T1, and the sign M1 are recognized by performing the object recognition processing by the above-described processing.
  • the velocity of the object detected by the millimeter wave radar is detected for each of the moving objects that can be sensed with a predetermined accuracy in the object recognition result.
  • Information and distance information to the object detected by LiDAR are added as metadata.
  • the moving objects that can be sensed with a predetermined accuracy are, for example, the vehicles C1 to C4.
  • the pedestrians H1 to H4 easily transmit radio waves in the millimeter wave band and have low accuracy of detectable speed information.
  • an object to which metadata is added such as a moving object that can be sensed with a predetermined accuracy, is also particularly referred to as a metadata-required object.
  • a speed (V) and a distance (D) are given to each of the vehicles C1 to C4, as indicated by (V, D) in the figure.
  • H1 45, 8.0
  • C2 50, 70
  • the traveling speed of the vehicle C2 is 50 km/h and the distance from the own vehicle is 70 m.
  • C3 (-40, 30), which indicates that the traveling speed of the vehicle C3 is -40 km/h and the distance from the own vehicle is 30 m.
  • the vehicle C4 is represented as C4 (-50, 5.0), which indicates that the traveling speed of the vehicle C4 is -50 km/h and the distance is 5.0 m.
  • the notation in FIG. 8 is a notation for explaining the correspondence with the image recognition result, and in reality, the speed information and the distance information of each object are associated with each object recognition result as metadata. It is added to the object recognition result.
  • a moving object that can be sensed with a predetermined accuracy by the millimeter wave radar 221 is set as a metadata-added object to which metadata is added has been described, but it is necessary for automatic driving control.
  • the metadata may be added to an object having a relatively high degree of importance.
  • the relatively important object is, for example, an object necessary for grasping traffic conditions, an object of collision or contact, and specifically, a traffic signal, a road sign, a vehicle, a pedestrian, Such as bicycles and motorcycles.
  • all the object recognition results of the millimeter wave radar 221 and the LiDAR 222 may be set as the metadata-added object.
  • a millimeter wave radar 221 and a LiDAR 222 are newly added.
  • the millimeter-wave radar 221 irradiates a millimeter-wave band radio wave, receives a reflected wave reflected from an object, and measures the distance of the object based on the round-trip time from the irradiation of the radio wave to the reception of the peak intensity reflected wave. And the speed are detected and output to the recognition unit 205.
  • the LiDAR222 projects laser light consisting of infrared light and receives reflected light from the object, and detects distance information to the object by the round-trip time from the timing when the laser light is projected to the timing when the laser light is received. Then, the information is output to the recognition unit 205 as 3D point group information.
  • the recognition unit 205 adds velocity information and distance information as metadata to a moving object that can be sensed with a predetermined accuracy among the object recognition results, and registers and stores the metadata in association with the object recognition result. At the same time, it is output to the automatic driving control unit 112.
  • the recognition unit 205 estimates the position of the object based on the velocity information supplied by the millimeter wave radar 221 immediately before and the current distance information by the LiDAR 222.
  • a moving object that can be sensed with a predetermined accuracy is also referred to as a metadata-added object.
  • steps S31 to S33 and S36 in the flowchart of FIG. 9 is the same as the processing of steps S11 to S14 in the flowchart of FIG. 7, so description thereof will be omitted.
  • step S34 the millimeter-wave radar 221 irradiates the periphery of the vehicle 91 with a millimeter-wave band radio wave, detects the velocity information of the object based on the reflected wave of the peak intensity, and causes the recognition unit 205 to perform the detection. Output.
  • step S35 the LiDAR 222 projects a laser beam composed of infrared light and receives a reflected beam from the object, and thus, based on the round-trip time of the laser beam, a three-dimensional point cloud including distance information to the object.
  • the information is detected and output to the recognition unit 205.
  • step S36 the recognition unit 205 performs object recognition in pixel units based on the image supplied from the signal processing unit 204.
  • step S37 the recognition unit 205 sets an unprocessed recognition object as a processing target object.
  • the recognition unit 205 determines whether the processing target object is a moving object that can be sensed with a predetermined accuracy, that is, a metadata-required object.
  • a predetermined accuracy that is, a metadata-required object.
  • the moving metadata-necessary object that can be sensed with a predetermined accuracy is, for example, a vehicle.
  • the metadata-required object can be set to any object, and for example, not only the vehicle but also all objects may be set.
  • step S38 If it is determined in step S38 that the object to be processed is a metadata-required object, the process proceeds to step S39.
  • step S39 the recognition unit 205 attaches the velocity information supplied from the millimeter wave radar 221 and the distance information supplied from the LiDAR 222 to the object to be processed as metadata, and associates them with the object to be processed. Register (update) and store.
  • step S38 If it is determined in step S38 that the object to be processed is not the metadata-required object, the processing in step S39 is skipped and the metadata is not added.
  • step S40 the recognition unit 205 determines whether or not there is an unprocessed recognized object among the object recognition results, and if there is an unprocessed recognized object, the process returns to step S37.
  • step S41 the recognition unit 205 sets one of the non-detection objects among the registered object recognition results as the processing non-detection object.
  • step S42 the recognition unit 205 estimates the current position of the non-detected object based on the current speed information and distance information of the non-detected object and the immediately preceding speed information and distance information, and sets the estimated position to the estimated position. It is considered that the object recognition result of the non-detected object exists, and the current speed information and distance information are registered in association with each other.
  • the speed information and distance information of the position predicted based on the speed information and the distance information from the position immediately before the processing target non-detection object are Used as speed information and distance information.
  • step S43 the recognition unit 205 determines whether or not there is an unprocessed non-detected object, and if it exists, the process returns to step S41. That is, the processes of steps S41 to S43 are repeated until the current position is estimated for all non-detected objects based on the corresponding speed information and distance information.
  • step S43 determines whether there is no unprocessed non-detected object. If it is determined in step S43 that there is no unprocessed non-detected object, the process proceeds to step S44.
  • step S44 the buffer 206 outputs the buffered image to the automatic driving control unit 112.
  • step S45 the recognition unit 205 automatically drives the recognition result in which the metadata including the information on the speed and the distance is attached to the highly important object via the network in the vehicle, as described with reference to FIG. It is output to the control unit 112 and the determination unit 207.
  • step S46 the determination unit 207 compares the processing time of the millimeter wave radar 221 and the LiDAR 222 with the signal processing time of the signal processing unit 204, and the processing time of the millimeter wave radar 221 and the LiDAR 222 is the signal of the signal processing unit 204. It is determined whether it is later than the processing time.
  • step S46 If the processing time of the millimeter wave radar 221 and the LiDAR 222 is later than the signal processing time of the signal processing unit 204 in step S46, the process proceeds to step S47.
  • step S47 the determination unit 207 notifies the control unit 201 that the processing time of the millimeter wave radar 221 and the LiDAR 222 is slower than the signal processing time of the signal processing unit 204.
  • the control unit 201 controls the signal processing unit 204 so that the image that is the signal processing result output from the signal processing unit 204 is processed by the signal processing unit 204 and the millimeter wave radar 221. Control is performed so as to thin out and output according to the time difference between the processing time of LiDAR 222 and LiDAR 222.
  • step S48 it is determined whether or not the end of the process is instructed. If the end is not instructed, the process returns to step S31. If the end is instructed in step S48, the process ends.
  • step S46 If the processing time of the millimeter wave radar 221 and the LiDAR 222 is not later than the signal processing time of the signal processing unit 204 in step S46, the process proceeds to step S49.
  • step S49 the determination unit 207 compares the processing time of the millimeter wave radar 221 and the LiDAR 222 with the signal processing time of the signal processing unit 204, and the processing time of the millimeter wave radar 221 and the LiDAR 222 is the signal of the signal processing unit 204. It is determined whether it is faster than the processing time.
  • step S49 If the processing time of the millimeter wave radar 221 and the LiDAR 222 is faster than the signal processing time of the signal processing unit 204 in step S49, the process proceeds to step S50.
  • step S50 the determination unit 207 notifies the control unit 201 that the processing time of the millimeter wave radar 221 and the LiDAR 222 is faster than the signal processing time of the signal processing unit 204.
  • the control unit 201 controls the recognition unit 205 so that the processing results of the millimeter wave radar 221 and the LiDAR 222 are emptied at the timing when the image that is the signal processing result output from the signal processing unit 204 is not output. Control to output as a packet.
  • step S49 when the processing time of the millimeter wave radar 221 and the LiDAR 222 is not faster than the signal processing time by the signal processing unit 204, that is, when all the processing times are almost the same, the process proceeds to step S48. Then, the thinning processing in the signal processing unit 204 and the control of outputting as an empty packet in the recognition unit 205 are not performed.
  • the velocity information and the distance information are added as metadata for the object to which metadata is required, which is a moving object that can be sensed with a predetermined accuracy, and the object recognition result corresponds to the object. Registered (updated).
  • the automatic driving control unit 112 considers the moving speed and the distance information in addition to the coordinate information in the image for the moving metadata-added object that can be sensed with a predetermined accuracy, and then performs the automatic driving. It becomes possible to realize control.
  • the speed information and the distance information are registered in association with the object recognition result, even if the object recognition result is not obtained from the image, the speed information and the distance information registered in association with each other until immediately before. Then, the position is estimated based on the current speed information and the current distance information, and the speed information and the distance information are registered in association with the object recognition result of the estimated position.
  • the signal processing unit 204 is controlled and the image as the signal processing result is processed according to the time difference of the processing time. Are thinned out and output.
  • the recognition unit 205 is controlled and the millimeter wave radar at the timing when the image as the signal processing result is not supplied.
  • the processing results of 221 and LiDAR 222 are output as empty packets.
  • the speed information obtained by the millimeter wave radar 221 and the distance information obtained by the LiDAR 222 are adjusted and output at timings corresponding to the respective processing speeds of the signal processing unit 204, the millimeter wave radar 221 and the LiDAR 222. ..
  • the vehicle 91 may be provided with a plurality of sensor units 200 to detect information about the entire circumference of the vehicle 91.
  • a front front range Z1, a front right range Z2, a rear right range Z3, a rear front range Z4, and a rear left side of the vehicle 91 are shown.
  • the sensor units 200-1 to 200-6 may be provided so that the range Z5 and the entire circumference of the front left side to Z6 can be sensed.
  • the object recognition results of the sensor units 200-1 to 200-6 may be output in association with the information of the ranges Z1 to Z6 viewed from the sensing vehicle 91.
  • the coordinates when the vicinity of the vehicle 91 is set as a two-dimensional plane are set, and the object recognition results of the sensor units 200-1 to 200-6 are associated with the coordinates on the two-dimensional plane around the vehicle 91 to be 1 You may make it output as one map information.
  • the data output to the automatic driving control unit 112 may be changed according to the driving state and the operating states of the millimeter wave radar 221 and the LiDAR 222.
  • the omnidirectional sensing result is not necessary, and it is the traveling direction. You may make it output only the sensing result from the sensor part 200-1 which senses the range Z1.
  • the mode in which only the sensing results in some directions are output in this way is also referred to as a low load mode.
  • the omnidirectional sensing result may be output regardless of the operating state. Good.
  • the mode in which only the omnidirectional sensing result is output is also referred to as a high load mode.
  • the data acquisition unit 102 of FIG. 12 is different from that of FIG. 9 in that the sensor units 200-1 to 200-6, which have the same configuration as the sensor unit 200, have the entire circumference of the vehicle 91 as shown in FIG. The difference is that it is provided so as to be able to sense the range Z1 to Z6, and the recognition result integration unit 231 and the image integration unit 232 are provided.
  • the recognition result integration unit 231 acquires the object recognition result supplied from each of the sensor units 200-1 to 200-6, and outputs it to the automatic driving control unit 112 in association with the information of the ranges Z1 to Z6.
  • the image integration unit 232 outputs the images supplied from the sensor units 200-1 to 200-6 to the automatic driving control unit 112 in association with the information of the ranges Z1 to Z6.
  • the recognition result integration unit 231 acquires the object recognition result supplied from each of the sensor units 200-1 to 200-6 and associates it with the coordinates on the two-dimensional plane around the vehicle 91 as one map information. You may make it output.
  • the unit 231 outputs only the object recognition result from the sensor unit 200-1 that senses the range Z1, which is the traveling direction.
  • the image integration unit 232 also outputs only the image from the sensor unit 200-1 that captures the range Z1 that is the traveling direction.
  • the recognition result integrating unit 231 causes the omnidirectional object recognition result regardless of the driving state. Is output.
  • the image integration unit 232 also outputs all images from the sensor units 200-1 to 200-6 that image in all directions.
  • step S61 the recognition result integration unit 231 acquires the object recognition result supplied from each of the sensor units 200-1 to 200-6. Similarly, the image integration unit 232 acquires images supplied from the sensor units 200-1 to 200-6, respectively.
  • step S62 the recognition result integration unit 231 determines whether the vehicle 91 is traveling at a constant speed based on the object recognition result to which the metadata including the speed information and the distance information is added, and with the surrounding vehicles. It is determined whether the state where the distance is constant has continued for a predetermined time.
  • step S62 If it is determined in step S62 that the vehicle 91 is traveling at a constant speed and the distance to the surrounding vehicles is constant for a predetermined time, the process proceeds to step S63.
  • step S63 the recognition result integration unit 231 determines that the millimeter wave radar 221 and the LiDAR 222 are operating normally based on the presence/absence of speed information supplied from the millimeter wave radar 221 and distance information supplied from the LiDAR 222. Or not.
  • step S63 If it is determined in step S63 that the millimeter wave radar 221 and the LiDAR 222 have no abnormal operating states, the process proceeds to step S64.
  • the recognition result integration unit 231 causes the automatic driving control unit 112 to output only the object recognition result from the sensor unit 200-1 that senses the range Z1 that is the traveling direction (low load mode).
  • the image integration unit 232 also causes the automatic driving control unit 112 to output only the image from the sensor unit 200-1 that senses the range Z1 that is the traveling direction.
  • step S62 when it is determined that the vehicle 91 is not traveling at a constant speed in step S62, or the state in which the distance to the surrounding vehicles is constant does not continue for a predetermined time, or in step S63, the millimeter wave is detected.
  • the process proceeds to step S65.
  • step S65 the recognition result integration unit 231 outputs the omnidirectional object recognition results from the sensor units 200-1 to 200-6. Further, the image integration section 232 causes the automatic driving control section 112 to output all the images from the sensor sections 200-1 to 200-6 (high load mode).
  • the range covering the entire circumference of the vehicle 91 is sensed, and the object recognition result and the image are output to the automatic driving control unit 112, so that more accurate automatic driving control can be realized. It will be possible.
  • the object recognition result and the image sensing range supplied to the automatic driving control unit 112 change depending on whether or not there is an abnormality in the running state of the vehicle 91 and the operating states of the millimeter wave radar 221 and the LiDAR 222.
  • the state of relatively low risk is, for example, a state in which the vehicle 91 is traveling at a constant speed and a state in which the distance from the surrounding vehicles is constant for a predetermined time, or a millimeter. This is a state in which there is no abnormality in the operating state of the wave radar 221 or the LiDAR 222.
  • the image sensor 203 on the left side of FIG. 14 captures three images within one frame period, and shutter opening/closing timings (that is, exposure time) of the high-sensitivity portion 203H, the middle-sensitivity portion 203M, and the low-sensitivity portion 203L, respectively. ) And the image sensor control such as sensor gain adjustment. Therefore, the image sensor 203 of FIG. 14 can simultaneously capture images PH, PM, PL having three types of sensitivities.
  • the high-sensitivity image PH is an image for which the exposure time is longer than a predetermined time and is an image for a dark subject.
  • the medium-sensitivity image PM is an image for which the exposure time is shorter than that of the high-sensitivity image PH and longer than that of the low-sensitivity image PL, and is an image for a subject having intermediate brightness.
  • the low-sensitivity image PL is an image for which the exposure time is shorter than a predetermined time and is an image for a bright subject.
  • the high-sensitivity image PH is signal-processed and the object recognition process is performed, whereby the high-sensitivity object recognition result is obtained.
  • the medium-sensitivity image PM is signal-processed and the object recognition process is performed, so that the medium-sensitivity object recognition result is obtained.
  • the low-sensitivity image PL is signal-processed and the object recognition process is performed, so that the low-sensitivity object recognition result is obtained.
  • the high-sensitivity object recognition result, the medium-sensitivity object recognition result, the low-sensitivity object recognition result, the detection result of the millimeter wave radar 221 and the detection result of the LiDAR 222 are selectively used to perform object recognition.
  • the accuracy is improved.
  • the recognition result, the low-sensitivity object recognition result, the detection result of the millimeter wave radar 221, and the detection result of the LiDAR 222 are integrated and used.
  • the high-sensitivity object recognition result, the detection result of the millimeter wave radar 221, and the detection result of the LiDAR 222 are Used by being integrated.
  • the medium-sensitivity object recognition result, the detection result of the millimeter wave radar 221, and the detection result of the LiDAR 222 are integrated and used. To be done.
  • the low-sensitivity object recognition result, the detection result of the millimeter wave radar 221, and the LiDAR 222 The detection results are integrated and used.
  • the detection result of the millimeter wave radar 221 and the detection result of the LiDAR 222 are used in an integrated manner as shown by Pat5 in FIG.
  • Pat5 the detection result of the millimeter wave radar 221 and the detection result of the LiDAR 222
  • the types of sensing results used are described, and from the top, high-sensitivity object recognition results (high sensitivity), medium-sensitivity object recognition results (medium sensitivity), low-sensitivity object recognition results (low sensitivity). , Millimeter wave radar 221 and LiDAR 222 recognition results (millimeter wave, LiDAR). Further, in the lowermost stage, an item as to whether or not an object recognition result can be obtained is provided. Further, the types of sensing results selected according to the types of the patterns Pat1 to Pat5 are indicated by circles in order from the left, and the crosses indicate that they are not selected.
  • the fourth of the data acquisition unit 102 is configured to select an image captured with a plurality of different sensitivities, a sensing result of the millimeter wave radar 221, and a sensing result of the LiDAR 222 according to the situation outside the vehicle.
  • a configuration example of the embodiment will be described.
  • the data acquisition unit 102 of FIG. 16 is different from the data acquisition unit 102 of FIG. 9 in that each of the image sensor 203, the signal processing unit 204, and the recognition unit 205 has a high sensitivity image PH, a medium sensitivity image PM, and a low sensitivity.
  • the point is that a configuration for processing the image PL is provided, and further an illuminance sensor 241 for detecting illuminance and a fog sensor 242 for detecting fog.
  • the image sensor 203 is provided with a high-sensitivity portion 203H, a middle-sensitivity portion 203M, and a low-sensitivity portion 203L, and can simultaneously capture images with different sensitivities by different exposure times. Each is output to the signal processing unit 204.
  • FIG. 14 illustrates an example in which the sensitivity is set to three stages, it may be divided into two stages or four stages or more.
  • the signal processing unit 204 includes a high-sensitivity signal processing unit 204H, a medium-sensitivity signal processing unit 204M, and a low-sensitivity signal processing unit 204L corresponding to the number of divisions of the image sensor 203.
  • the high-sensitivity signal processing unit 204H, the medium-sensitivity signal processing unit 204M, and the low-sensitivity signal processing unit 204L respectively include the high-sensitivity image PH and the medium sensitivity supplied from the high-sensitivity unit 203H, the middle-sensitivity unit 203M, and the low-sensitivity unit 203L.
  • the image PM and the low-sensitivity image PL are signal-processed and output to the recognition unit 205.
  • the recognition unit 205 includes a high sensitivity recognition unit 205H, a medium sensitivity recognition unit 205M, a low sensitivity recognition unit 205L, and a recognition result integration unit 205R corresponding to the number of divisions of the image sensor 203.
  • the high-sensitivity recognition unit 205H, the middle-sensitivity recognition unit 205M, and the low-sensitivity recognition unit 205L are the signal processing results supplied from the high-sensitivity signal processing unit 204H, the middle-sensitivity signal processing unit 204M, and the low-sensitivity signal processing unit 204L, respectively.
  • Object recognition processing is performed based on a certain high-sensitivity image PH, middle-sensitivity image PM, and low-sensitivity image PL, and the resulting object recognition result is output to the recognition result integration unit 205R.
  • the recognition result integration unit 205R performs high-sensitivity signal processing as described with reference to FIG. 15 on the basis of the information on the illuminance supplied from the illuminance sensor 241 and the information on the presence or absence of fog supplied by the fog sensor 242. Integrating the object recognition results by selectively using the object recognition results of the unit 204H, the medium sensitivity signal processing unit 204M, and the low sensitivity signal processing unit 204L, and the millimeter wave radar 221 and the sensing results of the LiDAR 222, Output to the automatic driving control unit 112.
  • steps S79 to S85 in the flowchart of FIG. 17 is the same as the processing of steps S44 to S50 described with reference to the flowchart of FIG. 10, so description thereof will be omitted.
  • step S71 the image sensor 203 is controlled by the control unit 201, and each of the high-sensitivity portion 203H, the middle-sensitivity portion 203M, and the low-sensitivity portion 203L has the sensitivity of the vehicle 91 incident through the lens 202.
  • Three images PH, PM, PL having different sensitivities in the surroundings are captured, and the captured image signals are output to the signal processing unit 204.
  • step S72 the signal processing unit 204 is controlled by the control unit 201, and each of the high-sensitivity signal processing unit 204H, the medium-sensitivity signal processing unit 204M, and the low-sensitivity signal processing unit 204L has a high-sensitivity image PH and a medium-sensitivity image.
  • the PM and the low-sensitivity image PL are subjected to signal processing and output to the recognition unit 205, the buffer 206, and the determination unit 207.
  • step S73 the control unit 201 causes the buffer 206 to buffer the image having the sensitivity corresponding to the illuminance of the illuminance sensor 241 among the image signals having the three types of sensitivity output from the signal processing unit 204.
  • the signal processing unit 204 may be provided with a luminance detection processing unit for the entire screen imaged by the image sensor 203 to detect the brightness of the screen.
  • the image processed by the high sensitivity signal processing unit 204H is buffered, and when the illuminance is higher than the predetermined value and is bright, the low sensitivity signal processing unit 204L processes the image.
  • the processed image is buffered, and in other cases, the image processed by the medium sensitivity signal processing unit 204M is buffered.
  • step S74 the millimeter wave radar 221 irradiates a millimeter wave band radio wave around the vehicle 91, detects speed information of the object based on the reflected wave of the peak intensity, and outputs the speed information to the recognition unit 205. ..
  • step S75 the LiDAR 222 projects the laser light composed of infrared light and receives the reflected light from the object, thereby obtaining the distance information to the object based on the round-trip time of the laser light and the three-dimensional point cloud information. And outputs to the recognition unit 205.
  • step S76 the high-sensitivity recognizing unit 205H, the medium-sensitivity recognizing unit 205M, and the low-sensitivity recognizing unit 205L of the recognizing unit 205 perform the object recognizing process based on the images PH, PM, PL of the respective sensitivities, and the result is obtained.
  • the object recognition result is output to the recognition result integration unit 205R.
  • step S77 the recognition result integration unit 205R executes the recognition result integration process, and integrates the recognition results based on the recognition results, the speed information of the millimeter wave radar 221, and the distance information of the LiDAR 222 for each sensitivity. To do.
  • step S78 the recognition result integration unit 205R adds the velocity information of the millimeter wave radar 221 and the distance information of the LiDAR 222 to the object recognition result as metadata based on the recognition result integration processing result. To generate.
  • step S79 the buffered image is output to the automatic driving control unit 112, and in step S80, the object recognition result is output to the automatic driving control unit 112.
  • the automatic driving control unit 112 can realize automatic driving control based on a more accurate object recognition result.
  • step S101 the recognition result integration unit 205R determines, based on the illuminance around the vehicle 91 detected by the illuminance sensor 241, whether the ambient illuminance is equal to or lower than a predetermined illuminance and is in a dark state. ..
  • step S101 if the surrounding illuminance is equal to or lower than the predetermined illuminance and it is determined that the illuminance is dark, the process proceeds to step S102.
  • step S102 the recognition result integration unit 205R selects the high-sensitivity object recognition result, the detection result of the millimeter wave radar 221, and the detection result of the LiDAR 222, as indicated by Pat2 in FIG.
  • step S101 If it is determined in step S101 that the ambient illuminance is not equal to or lower than the predetermined illuminance and that the illuminance is not in a dark state, the process proceeds to step S103.
  • step S103 the recognition result integration unit 205R determines whether or not there is backlight, based on the difference in brightness in the image in the image PM that is the intermediate sensitivity signal processing result.
  • step S103 If it is determined in step S103 that the subject is backlit, the process proceeds to step S104.
  • step S104 the recognition result integration unit 205R selects the medium sensitivity object recognition result, the millimeter wave radar 221 detection result, and the LiDAR 222 detection result, as indicated by Pat3 in FIG.
  • step S103 If it is determined in step S103 that the subject is not backlit, the process proceeds to step S105.
  • step S105 the recognition result integration unit 205R determines whether the illuminance around the vehicle 91 detected by the illuminance sensor 241 is equal to or higher than a predetermined illuminance and is excessive brightness.
  • step S105 If it is determined in step S105 that the brightness is equal to or higher than the predetermined illuminance and the brightness is excessive, the process proceeds to step S106.
  • step S106 the recognition result integration unit 205R selects the low-sensitivity object recognition result, the detection result of the millimeter wave radar 221, and the detection result of the LiDAR 222, as indicated by Pat4 in FIG.
  • step S105 determines whether the brightness is excessive. If it is determined in step S105 that the brightness is not excessive, the process proceeds to step S107.
  • step S107 the recognition result integration unit 205R determines the presence or absence of fog based on the information on whether or not the surroundings of the vehicle 91 are fog detected by the fog sensor 242.
  • step S107 If it is determined in step S107 that the mist state is present, the process proceeds to step S108.
  • step S108 the recognition result integration unit 205R selects the detection result of the millimeter wave radar 221 and the detection result of the LiDAR 222, as indicated by Pat5 in FIG.
  • the object recognition result is unknown. That is, in this case, the object recognition result is unknown, but the speed information and the distance information are added as metadata to the object recognition result in which the recognized object is unknown.
  • step S107 If it is determined in step S107 that it is not in the fog state, that is, if it is neither too dark nor too bright, and neither backlight nor fog, the process proceeds to step S109.
  • step S109 since the recognition result integration unit 205R can use all the recognition results, as shown by Pat1 in FIG. 15, the high-sensitivity object recognition result, the medium-sensitivity object recognition result, the low-sensitivity object recognition result, and the millimeter wave The detection result of the radar 221 and the detection result of the LiDAR 222 are selected.
  • the object recognition result based on the images of a plurality of sensitivities, the velocity information of the object obtained by the millimeter wave radar 221, and the distance information of the object obtained by the LiDAR 222 are obtained, and depending on the situation of the outside world. , Appropriate information is selected, an object recognition result is generated, and output to the automatic driving control unit 112.
  • LED Light Emission Diode
  • FIG. 19 shows the displacement of the voltage of the AC power supply.
  • the LED lights up brightly at the timing of upward convex or downward convex, and the positive/negative of the waveform.
  • the light is turned off at the timing including the timing of inverting.
  • the LED is turned off at a timing near the positive/negative inversion, so that the image is not captured.
  • the exposure time of the image sensor 203 is an arrow SS2 that is longer than the arrow SS1
  • the timing when the LED is turned on is exposed even when the period including the timing when the positive/negative of the waveform is reversed is included. Therefore, an image with the LED turned off is not captured at any timing.
  • the image is set not to be captured.
  • the F value is 1.8 and is equivalent to ISO100.
  • the sensitivity is adjusted by the exposure time when the exposure time is 1/30s to 1/90s, and the sensitivity is adjusted by the gain when the exposure time is 1/90s. As a result, the occurrence of flicker is suppressed.
  • Flicker may occur even when LEDs are used for tail lamps among the lighting used in vehicles. Similar processing is also required in this case. Further, although there are cases where LEDs are used in winkers used in vehicles, the flicker is not visible because the turnaround time of the winkers is not as long as that of tail lamps. Therefore, when the tail lamp among the lamps used in the vehicle is present in the image, the same processing as in the case of the traffic light is performed, and in the case of the blinker, the exposure time is adjusted according to the brightness.
  • the data acquisition unit 102 in FIG. 21 differs from the data acquisition unit 102 in FIG. 9 in that the determination unit 207 includes a traffic light determination unit 207A and a vehicle lamp determination unit 207B.
  • the traffic signal determination unit 207A determines whether or not a traffic signal is included in the image output from the signal processing unit 204 based on the object recognition result of the recognition unit 205, and outputs the determination result to the control unit 201.
  • the vehicle lamp determination unit 207B determines whether or not there is a vehicle lamp in the image output from the signal processing unit 204 based on the object recognition result of the recognition unit 205. Further, when there is a vehicle lamp, the vehicle lamp determination unit 207B determines whether or not the vehicle lamp is a blinker whose lighting time is shorter than a predetermined time, and when it is not the blinker, that is, the lighting time is longer than the predetermined time. If it is a tail lamp, the determination result is output to the control unit 201.
  • the signal processing unit 204 limits the exposure time of the image sensor 203 to a length that does not cause flicker when the determination result indicating that a traffic signal or a tail lamp is present in the image is supplied, and otherwise, the image sensor.
  • the exposure time of 203 is controlled to an appropriate length according to the brightness of the outside world.
  • step S131 the determination unit 207 acquires the object recognition result from the recognition unit 205.
  • step S132 the traffic light determination unit 207A determines whether the object recognition result includes a traffic light.
  • step S132 If it is determined in step S132 that the traffic light is included, the process proceeds to step S103.
  • step S133 the traffic light determination unit 207A notifies the control unit 201 that the object recognition result includes a traffic light.
  • the control unit 201 controls the image sensor 203 such that the exposure time is adjusted to a flicker suppressing state, for example, the exposure time is limited to 11 ms.
  • step S134 it is determined whether or not the end of the process has been instructed. If the end has not been instructed, the process returns to step S131, and the subsequent processes are repeated. If it is determined in step S134 that the end of the process has been instructed, the process ends.
  • step S132 If it is determined in step S132 that there is no traffic light, the process proceeds to step S135.
  • step S135 the vehicle ramp determination unit 207B determines whether or not the object recognition result includes the vehicle ramp. When the vehicle ramp is included in the object recognition result, the process proceeds to step S136.
  • step S136 the vehicle lamp determination unit 207B determines whether or not the vehicle lamp is a winker whose lighting time is shorter than a predetermined time.
  • step S136 If it is determined in step S136 that the winker is not a winker, the process proceeds to step S103.
  • step S136 if it is a winker in step S136, the process proceeds to step S137.
  • step S137 the vehicle lamp determination unit 207B notifies the control unit 201 that the object recognition result does not include a traffic light or a tail lamp.
  • the control unit 201 controls the image sensor 203 so that the exposure time in a normal state matches the illuminance of the outside world.
  • step S135 determines whether there is no vehicle lamp. If it is determined in step S135 that there is no vehicle lamp, the process proceeds to step S137.
  • the occurrence of flicker is suppressed, it is suppressed to capture an image where the traffic lights and tail lamps are off, and when there is no traffic lights or tail lights Since it is possible to capture an image in an exposure time in a normal state according to the illuminance, it is possible to suppress color bleeding in a moving image and whiteout in an image at a tunnel exit.
  • FIG. 23 shows a configuration example of a general-purpose computer.
  • This computer has a built-in CPU (Central Processing Unit) 1001.
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input/output interface 1005 includes an input unit 1006 formed of an input device such as a keyboard and a mouse for a user to input operation commands, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, programs and various data.
  • a storage unit 1008 including a hard disk drive to store the data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network typified by the Internet. Also, magnetic disks (including flexible disks), optical disks (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors.
  • a drive 1010 for reading and writing data is connected to a removable recording medium 1011 such as a memory.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded into the RAM 1003 from the storage unit 1008. Executes various processes according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004 and executes the program, thereby performing the above-described series of operations. Is processed.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable recording medium 1011 as a package medium or the like. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in the ROM 1002 or the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the CPU 1001 in FIG. 23 realizes the function of the automatic driving control unit 112 in FIG. Further, the storage unit 1008 in FIG. 23 implements the storage unit 111 in FIG.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present disclosure may have a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processes.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An imaging unit that captures an image of the surroundings of the vehicle that is the own vehicle
  • An operation control unit that performs an object recognition process for recognizing an object in the image captured by the imaging unit, and controls the operation of the vehicle with the recognized object as a unit, the object recognition processing result of the object recognition process.
  • An information processing device comprising: ⁇ 2> The object recognition processing unit recognizes from the image at least one of ground surface, human, vehicle, building, fixed object, natural environment, and sky information as the object, and The information processing apparatus according to ⁇ 1>, which outputs the object recognition processing result.
  • the information processing device includes at least one of a road, a sidewalk, a parking lot, and a track.
  • the object recognition processing result of the human includes at least one of a pedestrian and a driver.
  • the object recognition processing result of the vehicle includes at least one of a car, a truck, a bus, a train running on a rail, a motorcycle, a bicycle, and a towing vehicle.
  • ⁇ 6> The information processing device according to ⁇ 2>, wherein the object recognition processing result of the building includes at least one of a building, a wall, a fence, a guardrail, a bridge, and a tunnel.
  • the object recognition processing result of the natural environment includes at least one of information on vegetation and topography.
  • the object recognition processing result of the natural environment includes information on vegetation and topography.
  • ⁇ 9> further includes a signal processing unit that performs signal processing on the image,
  • the object recognition processing unit recognizes an object in the image by an object recognition process based on the image signal-processed by the signal processing unit,
  • the signal processing unit based on the time difference between the processing time of the object recognition processing and the processing time of the signal processing.
  • ⁇ 10> The information processing apparatus according to ⁇ 9>, in which, when the signal-processed images are thinned out and output, the object recognition processing result is output together with images at timings before the thinned-out images.
  • ⁇ 11> further including a signal processing unit that performs signal processing on the image, The object recognition processing unit recognizes an object in the image by an object recognition process based on the image signal-processed by the signal processing unit, When the object recognition processing by the object recognition processing unit is faster than the signal processing by the signal processing unit, the object recognition processing unit is based on a time difference between the processing time of the object recognition processing and the processing time of the signal processing.
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 8>, which thins out and outputs the object recognition processing result.
  • a speed information detection unit that detects speed information of an object around the vehicle, Further comprising a distance information detection unit for detecting distance information of objects around the vehicle, The information according to any one of ⁇ 1> to ⁇ 11>, wherein the object recognition processing unit associates with each of the object recognition processing results and adds and outputs metadata including the speed information and the distance information. Processing equipment.
  • the object recognition processing unit may calculate the speed information with respect to the object recognition processing result in which the detection accuracy of the speed information detection unit and the distance information detection unit is higher than a predetermined value.
  • the information processing device wherein metadata including the distance information is added and output.
  • the object recognition processing unit outputs a part of the object recognition processing result in a low load mode or a high load mode outputs all of the object recognition processing result in accordance with the surrounding situation.
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 13>, which outputs the object recognition processing result in any one of the modes.
  • the object recognition processing unit may perform the low load mode.
  • the information processing apparatus according to ⁇ 14>, wherein the object recognition processing result in the traveling direction is output from the object recognition processing result.
  • the imaging unit captures a plurality of images with different sensitivities
  • the object recognition processing unit performs object recognition processing on each of the plurality of images having different sensitivities to generate a plurality of object recognition processing results having different sensitivities.
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 15>, which selects and outputs an object recognition processing result.
  • ⁇ 17> The information processing apparatus according to any one of ⁇ 1> to ⁇ 16>, in which a parameter of the imaging unit is controlled when a predetermined object recognition result is included in the object recognition processing results.
  • the exposure time of the parameters of the imaging unit is controlled to be a predetermined time or more.
  • the information processing device described in. ⁇ 19> An image capturing process for capturing an image of the surroundings of a vehicle serving as the own vehicle, an object recognition process for recognizing an object in the captured image, and a result of the object recognition process by the object recognition process for the recognized object. And an object recognition process which is output to a driving control unit that controls the driving of the vehicle.
  • An imaging unit that captures an image of the surroundings of the vehicle that is the own vehicle
  • An operation control unit that performs an object recognition process for recognizing an object in the image captured by the imaging unit, and controls the operation of the vehicle with the recognized object as a unit, the object recognition processing result of the object recognition process.
  • a program that causes a computer to function as an object recognition processing unit that is output to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、車内ネットワークを介して流通する、自動運転に必要とされる通信データ量を低減できるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。 イメージセンサが、自車の周囲の画像を撮像し、認識部が、撮像された画像内の物体を認識する物体認識処理を行い、物体認識処理による物体認識処理結果を自動運転制御部に出力する。また、ミリ波レーダにより検出される自車の周囲の物体の速度情報と、LiDARによる自車の周囲の物体の距離情報とが、物体認識処理結果に対応付けて、メタデータとして出力される。本開示は、車載システムに適用することができる。

Description

情報処理装置、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、車内ネットワークを介して流通する、自動運転に必要とされる通信データ量を低減できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
　ACC（Adaptive Cruise Control）やPCS（Pre-Crash Safety）のような利便性と、安全性の向上を目的としたADAS（Advanced Driver Assistance System）において、障害物の有無を確認したうえで、走行可能か否かを判定する必要がある。
　この際、カメラにより撮像された画像データや、その他のセンサの検出結果のデータが車内のネットワークにおいて流通することになる。
　近年においては、カメラ等のセンサのコストが低減することにより、設置台数が増大する傾向になっているが、カメラ等のセンサ類の設置台数が増大すると、車内のネットワークにおいて流通するデータ量が増大し、通信速度の低下を招く恐れがあった。
　そこで、例えば、カメラで撮像した画像内の物体を認識して、認識した物体の画像内の座標情報を車両ネットワークに出力することで車内のネットワークに流通するデータ量を低減させる技術が提案されている（特許文献１参照）。
特開２０１４－１２５０２９号公報
　しかしながら、特許文献１の技術においては、カメラにより撮像された画像内において認識された物体の座標情報のみが出力されるので、それ以外の物体の速度や距離などの情報は含まれておらず、自動運転に必要とされる十分な情報を流通させることができない。
　本開示は、このような状況に鑑みてなされたものであり、特に、車内ネットワークを介して流通する、自動運転に必要とされる通信データ量を低減できるようにするものである。
　本開示の一側面の情報処理装置は、移動体の周囲の画像を撮像する撮像部と、前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理部とを備えた情報処理装置である。
　本開示の一側面の情報処理方法およびプログラムは、情報処理装置に対応する。
　本開示の一側面においては、自車の周囲の画像が撮像され、撮像された前記画像内の物体を認識する物体認識処理が行われ、前記物体認識処理による物体認識処理結果が、認識した前記物体を単位として、前記移動体内のネットワークを介して出力される。
一般的な車内ネットワークの概要を説明する図である。 本開示の車内ネットワークの概要を説明する図である。 本開示の車両制御システムの構成例を説明するブロック図である。 本開示のデータ取得部の第１の実施の形態の構成例を説明するブロック図である。 認識部の構成を説明する図である。 認識部による物体認識結果の例を説明する図である。 図４のデータ取得部によるセンシング処理を説明するフローチャートである。 認識部による物体認識結果にメタデータを付加する例を説明する図である。 認識部による物体認識結果にメタデータを付加するデータ取得部の第２の実施の形態の構成例を説明するブロック図である。 図９のデータ取得部によるセンシング処理を説明するフローチャートである。 複数のセンサ部を設け、車両の全周囲をセンシングする例を説明する図である。 複数のセンサ部を設け、車両の全周囲をセンシングするようにしたデータ取得部の第３の実施の形態の構成例を説明するブロック図である。 図１２のデータ取得部による複数のセンサ部のセンシング処理結果を統合する統合処理を説明するフローチャートである。 複数の感度で撮像した複数の画像による複数の物体認識結果と、ミリ波レーダおよびLiDARによるセンシング結果とを条件により使い分けてセンシングする例を説明する図である。 複数の感度で撮像した複数の画像による複数の物体認識結果と、ミリ波レーダおよびLiDARによるセンシング結果との使い分けのパターンを説明する図である。 複数の感度で撮像した複数の画像による複数の物体認識結果と、ミリ波レーダおよびLiDARによるセンシング結果とを条件により使い分けてセンシングするデータ取得部の第４の実施の形態の構成例を説明するブロック図である。 図１６のデータ取得部によるセンシング処理を説明するフローチャートである。 図１７の認識結果統合処理を説明するフローチャートである。 LEDを用いた信号機を撮像したときに生じるフリッカが発生する原理を説明する図である。 本開示のイメージセンサの露光時間を説明する図である。 LEDを用いた信号機や車両ランプを撮像したときのフリッカの発生を抑制するようにしたデータ取得部の第５の実施の形態の構成例を説明するブロック図である。 図２１のデータ取得部によるフリッカ抑制処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．本開示の車両を制御する車両制御システムの構成例
　３．第１の実施の形態
　４．第２の実施の形態
　５．第３の実施の形態
　６．第４の実施の形態
　７．第５の実施の形態
　８．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　本開示の概要について説明する。
　本開示の車両は、ADAS等の自動運転に必要とされる、車内のネットワークにおいて流通される通信データ量を低減できるようにするものである。
　自動運転を実現する車両１１は、例えば、図１で示されるように、センサ部３１と自動運転制御部３２とを備えている。
　センサ部３１は、車両１１の外界の情報をセンシングし、センシング結果Ｍ１を自動運転制御部３２に出力する。
　自動運転制御部３２は、センサ部３１より供給されるセンシング結果Ｍ１に基づいて、車両１１の動作を制御して、自動運転を実現する。
　より詳細には、センサ部３１は、撮像部４１、ミリ波レーダ４２、およびLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）４３を備えている。
　撮像部４１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどから構成され、車両１１の周囲の画像を撮像して、画像データをセンシング結果として自動運転制御部３２に出力する。
　ミリ波レーダ４２は、ミリ波帯の電波を照射し、物体により反射される反射波のピーク値が検出される位置の情報から物体の位置、速度、および方向の情報を検出し、センシング結果として自動運転制御部３２に出力する。
　LiDAR４３は、赤外光からなるレーザ光を投光し、物体からの反射光を受光し、その往復時間に基づいて、物体までの距離の点群の情報からなる３次元点群情報を検出して、センシング結果として自動運転制御部３２に出力する。
　したがって、センサ部３１より出力されるセンシング結果Ｍ１は、撮像部４１により撮像された画像、ミリ波レーダ４２により検出される物体の位置、速度、および方向の情報、および、LiDAR４３の検出結果である３次元点群情報から構成される。
　いずれのセンシング結果も高分解能のセンシング結果となるが、それが故に、全ての情報を自動運転制御部３２に出力すると、車内ネットワーク上において通信データ量が増大し、通信の遅れが発生する恐れがあり、自動運転の実現に影響を与える恐れがあった。
　そこで、本開示においては、図２で示されるように、撮像部４１により撮像された画像に基づいて、画像内の物体を認識する認識部５１を新たに設け、ミリ波レーダ４２およびLiDAR４３のセンシング結果を認識部５１に出力させる。
　認識部５１は、撮像部４１により撮像された画像に基づいた物体認識結果である、個々の物体毎にミリ波レーダ４２およびLiDAR４３のセンシング結果を、例えば、メタデータとして付与し、撮像部４１により撮像された画像と共にセンシング結果Ｍ２として自動運転制御部３２に出力する。
　このような構成により、センシング結果Ｍ２は、ミリ波レーダ４２およびLiDAR４３のセンシング結果である物体の位置、速度、方向、および距離の情報は物体認識結果である物体毎にメタデータとして付与されることになるので、センシング結果Ｍ２のデータ量を低減させることが可能となる。
　結果として、自動運転に必要とされる情報を十分に確保しつつ、車内ネットワークに流通するセンシング結果のデータ量を抑制することが可能となるので、通信の遅延などの発生を抑制することが可能となり、適切な自動運転を実現することが可能となる。
　＜＜２．本開示の車両を制御する車両制御システムの構成例＞＞
　次に、図３のブロック図を参照して、本開示の車両の車両制御システムについて説明する。
　図３は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。車両制御システム１００は、車両９１に搭載されている。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜＜３．第１の実施の形態＞＞
　＜車内ネットワークを介して流通するセンシング結果のデータ量を低減する構成＞
　次に、図４のブロック図を参照して、車内ネットワークを介して流通するセンシング結果のデータ量を低減するデータ取得部１０２の構成例について説明する。
　尚、図４は、図３を参照して説明した車両制御システム１００を実現する機能の構成例のうち、車内ネットワークを介して流通するセンシング結果のデータ量を低減するデータ取得部１０２の構成を示している。
　センサ部２００は、データ取得部１０２の一部であり、図４では、実質的にカメラとして機能する構成である。
　センサ部２００は、制御部２０１、レンズ２０２、イメージセンサ２０３、信号処理部２０４、認識部２０５、バッファ２０６、および判定部２０７を備えている。
　制御部２０１は、プロセッサやメモリから構成されており、センサ部２００の動作の全体を制御する。
　レンズ２０２は、車両９１の周囲からの入射光をイメージセンサ２０３の撮像面において結像するように集光する。
　イメージセンサ２０３は、制御部２０１により制御され、レンズ２０２を介して入射する周囲の光に基づいて、画素単位の信号を生成し信号処理部２０４に出力する。
　信号処理部２０４は、制御部２０１により制御され、イメージセンサ２０３より供給される画素単位の信号に対して、デモザイク処理、ノイズ除去、および諧調補正等の信号処理を施し、画像を生成して認識部２０５、バッファ２０６、および判定部２０７に出力する。
　認識部２０５は、信号処理部２０４より供給される画像に基づいて、画素単位で物体認識を行い、認識結果を、認識された物体を単位として車内のネットワークを介して自動運転制御部１１２および判定部２０７に出力する。すなわち、物体認識結果が、画素単位ではなく、認識された物体を単位として出力されることにより、車内ネットワークを介して出力される物体認識結果のデータ量を抑制することが可能となる。この際、物体認識結果には、画像内において認識された物体の座標情報が含まれる。これにより、車内ネットワークにおいては、認識された物体を単位とした物体の座標位置と物体認識結果が流通するだけで済むため、車内ネットワークにおける通信負荷を低減させることが可能となる。
　より詳細には、認識部２０５は、画像に基づいて、画素単位で物体認識を行い、地上面、人間、車両、建造物、固定物体、自然環境、および空などを物体として認識し、物体認識結果を出力する。
　地上面の物体認識結果には、道路、歩道、駐車場、および軌道等の情報が含まれる。
　また、人間の物体認識結果には、歩行者や運転者が含まれる。
　ここで、運転者の物体認識結果には、自転車、バイク、スクータ、スケートボード、馬、ローラブレード、車椅子、道路清掃車、および屋根のない車の運転者が含まれる。
　さらに、車両の物体認識結果には、車、トラック、バス、レール上を走行する電車や列車、バイク、自転車、および牽引車両が含まれる。
　また、建造物の物体認識結果には、建物、壁、フェンス、ガードレール、橋梁、およびトンネルが含まれる。
　さらに、固定物体の物体認識結果には、ポール、ポール群、交通標識、および信号機が含まれる。
　また、自然環境の物体認識結果には、植生や地形の情報が含まれる。
　バッファ２０６は、制御部２０１により制御され、信号処理部２０４より供給される画像を一時的にバッファリングし、認識部２０５による認識処理や信号処理のそれぞれの処理時間に応じたタイミングでバッファリングした画像を自動運転制御部１１２に出力する。
　尚、自動運転制御部１１２に対しては、物体認識結果のみが出力されるようにして、画像については、画像そのものは出力されないようにしてもよいし、ビットレートを低減させるようにして出力するようにしてもよい。このようにすることで、車内ネットワークに流通するデータ量をさらに抑制することが可能となる。
　判定部２０７は、認識部２０５による認識処理と、信号処理部２０４における信号処理との処理時間を比較し、比較結果と、処理時間の差分（処理時間差）を制御部２０１に出力する。
　制御部２０１は、比較結果に応じて、撮像結果である画像を間引いて出力する、物体認識結果を間引いて出力する、または、撮像結果も物体認識結果も間引かずに出力するかのいずれかを行うように信号処理部２０４、認識部２０５、およびバッファ２０６を制御する。
　また、制御部２０１は、撮像結果である画像を間引いて出力する、または、物体認識結果を間引いて出力する場合、処理時間の差分（処理時間差）に対応して、撮像結果である画像を間引いて出力する、または、物体認識結果を間引いて出力する。
　より詳細には、物体認識処理時間が、信号処理時間よりも遅く、信号処理時間のｎ倍掛かるような場合、制御部２０１は、信号処理部２０４を制御して、画像をｎフレームおきに間引いて出力させ、ｎフレーム前の画像の物体認識結果と現在の画像とを対応付けて出力する。また、制御部２０１は、バッファ２０６により物体認識結果が求められるまで画像をバッファリングさせ、物体認識結果が求められるタイミングで、画像と合わせて出力されるようにしてもよい。この場合も、物体認識結果が求められるタイミングに応じて画像が出力されることになるので、画像はｎフレームおきに間引かれることになる。
　また、物体認識処理時間が、信号処理時間よりも速く、信号処理時間のｎ倍の速さである場合、制御部２０１は、認識部２０５を制御して、物体認識結果をｎ回に１回出力させ、現在の画像を対応付けて出力させる。
　＜認識部の構成＞
　認識部２０５は、信号処理部２０４より供給される画像について、画素単位で物体認識結果を求めて出力する。
　すなわち、認識部２０５は、図５で示されるように、信号処理部２０４より出力される画像Ｒ１の画素Ｐ毎に、セマンティックセグメンテーション等の物体認識処理が掛けられて、画素Ｐ単位で物体認識結果Ｐｒを出力する。
　より具体的には、例えば、図６で示されるような画像Ｐ１１が撮像された場合、物体認識処理により、例えば、歩行者Ｈ１乃至Ｈ４、車両Ｃ１乃至Ｃ４、白線Ｌ１，Ｌ２、信号機Ｔ１、および標識Ｍ１が認識される。
　また、図６の物体認識結果である歩行者Ｈ１乃至Ｈ４、車両Ｃ１乃至Ｃ４、白線Ｌ１，Ｌ２、信号機Ｔ１、および標識Ｍ１のそれぞれには、物体を構成する画素領域の、例えば、重心位置等に座標位置、並びに、識別名称（例えば、人物、車両、白線、信号機、または標識など）が設定される。
　＜図４のデータ取得部によるセンシング処理＞
　次に、図４のデータ取得部１０２によるセンシング処理について説明する。
　ステップＳ１１において、イメージセンサ２０３は、制御部２０１により制御されて、レンズ２０２を介して入射する車両９１の周囲を撮像し、撮像した画素単位の信号を信号処理部２０４に出力する。
　ステップＳ１２において、信号処理部２０４は、制御部２０１により制御され、イメージセンサ２０３より供給される画素単位の信号に対して、デモザイク処理、ノイズ除去、および諧調補正等の信号処理を施し、画像を生成して認識部２０５、バッファ２０６、および判定部２０７に出力する。
　ステップＳ１３において、バッファ２０６は、信号処理部２０４より出力された画像信号をバッファリングする。
　ステップＳ１４において、認識部２０５は、信号処理部２０４より供給される画像に基づいて、画素単位で物体認識を行う。
　ステップＳ１５において、バッファ２０６は、バッファリングした画像を自動運転制御部１１２に出力する。
　ステップＳ１６において、認識部２０５は、図６を参照して説明したように、認識結果を車内のネットワークを介して自動運転制御部１１２および判定部２０７に出力する。
　すなわち、ステップＳ１５，Ｓ１６の処理により、相互に対応する画像と物体認識結果とが自動運転制御部１１２に出力される。
　ステップＳ１７において、判定部２０７は、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間とを比較し、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅いか否かを判定する。
　ステップＳ１７において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅い場合、処理は、ステップＳ１８に進む。
　ステップＳ１８において、判定部２０７は、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、信号処理部２０４を制御して、信号処理部２０４より出力される信号処理結果である画像を、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間との処理時間差に応じて間引いて出力するように制御する。
　ステップＳ１９において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップＳ１１に戻る。
　また、ステップＳ１７において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅くない場合、処理は、ステップＳ２０に進む。
　ステップＳ２０において、判定部２０７は、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間とを比較し、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速いか否かを判定する。
　ステップＳ２０において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速い場合、処理は、ステップＳ２１に進む。
　ステップＳ２１において、判定部２０７は、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、認識部２０５を制御して、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間との処理時間差に応じて、物体認識結果を間引いて出力するように制御する。
　そして、ステップＳ２０において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速くない場合、すなわち、いずれの処理時間もほぼ同一である場合、処理は、ステップＳ１９に進み、信号処理部２０４および認識部２０５における間引き処理がなされるような制御がなされない。
　以上の処理により、物体認識結果と撮像した画像を信号処理部２０４における信号処理時間と認識部２０５における物体認識処理時間との差分に応じて、いずれかを間引くようにすることでタイミングを調整して適切に出力することが可能となる。
　また、以上においては、物体認識結果と画像との両方のデータを自動運転制御部１１２に出力する例について説明してきたが、自動運転制御部１１２において、物体認識結果のみを用いて自動運転を制御するような場合には、物体認識結果のみを出力するようにしてもよい。このようにすることで、車内のネットワークにおいて流通するデータ量を低減させることが可能となり、通信速度を向上させることが可能となる。
　さらに、画像から物体認識処理を必要としないので、センサ部２００からは低解像度の画像と、物体認識結果とを併せて自動運転制御部１１２に出力するようにしてもよい。
　また、以上においては、物体認識結果の全てが出力される例について説明してきたが、物体認識結果のうち、自動運転制御に必要とされる、比較的重要度の高い物体の物体認識結果のみを出力するようにしてもよい。ここで、比較的重要度の高い物体とは、例えば、交通状況を把握する上で必要な対象物や、衝突や接触の対象物などであり、具体的には、信号機、道路標識、車両、歩行者、自転車、およびバイクなどである。また、重要度の低い物体の物体認識結果については出力しないようにしてもよく、例えば、空の認識結果については自動運転制御には必須とは言えないので、空の物体認識結果については出力しないようにしてもよい。
　このようにすることで、車内のネットワークにおいて流通するデータ量を抑制しつつ、自動運転制御に必要な画像と物体認識結果とを自動運転制御部１１２に流通させることが可能となる。
　また、以上においては、物体認識処理時間の方が、信号処理時間よりも遅い場合、画像が、処理時間差に応じて間引いて出力される例について説明してきたが、画像を間引かず、物体認識結果については、数フレーム前の画像のものを、現在の画像に対応付けて出力するようにしてもよい。このようにすることで、物体認識結果の精度は低下するが、フレームレートを落とす必要がなくなる。
　＜＜４．第２の実施の形態＞＞
　以上においては、センサ部２００は、イメージセンサ２０３により撮像される画像に基づいて物体認識処理を実行させて、物体認識結果と、画像とを対応付けて自動運転制御部１１２に出力する例について説明してきたが、センサ部２００にさらに別の情報をセンシングできる複数のセンサを設けて、複数のセンサのセンシング結果を物体認識結果に付与して出力するようにしてもよい。
　例えば、センサ部２００にイメージセンサ２０３に加えて、ミリ波レーダ、およびLiDARを設け、それぞれのセンシング結果により得られる物体の速度情報や距離情報を物体認識結果のそれぞれにメタデータとして付与するようにしてもよい。
　すなわち、例えば、図８で示されるように、上述した処理により物体認識処理がなされることにより、歩行者Ｈ１乃至Ｈ４、車両Ｃ１乃至Ｃ４、白線Ｌ１，Ｌ２、信号機Ｔ１、および標識Ｍ１が認識される。
　ここで、センサ部２００にさらにミリ波レーダやLiDARを設けるようにすることで、物体認識結果のうち、所定の精度でセンシング可能な移動する物体のそれぞれにミリ波レーダで検出される物体の速度情報、およびLiDARで検出される物体までの距離情報をメタデータとして付与する。
　この際、物体認識結果のうち、所定の精度でセンシング可能な移動する物体とは、例えば、車両Ｃ１乃至Ｃ４である。例えば、歩行者Ｈ１乃至Ｈ４は、ミリ波帯の電波を透過し易く、検出可能な速度情報の精度が低いことが知られている。
　このように、所定の精度でセンシング可能な移動する物体については、メタデータとして速度情報や距離情報が付与されることで、自動運転制御に必要な物体について、より詳細な情報が得られる。尚、以降においては、所定の精度でセンシング可能な移動する物体のように、メタデータが付与される物体について、特に、要メタデータ付与物体とも称する。
　図８においては、車両Ｃ１乃至Ｃ４のそれぞれには、図中の（Ｖ，Ｄ）で示されるように、速度（Ｖ）と距離（Ｄ）が付与される。
　より具体的には、車両Ｃ１については、Ｈ１（45，8.0）と表記され、車両Ｃ１の移動速度が45km/hであり、自車からの距離が8.0mであることが示されている。また、車両Ｃ２については、Ｃ２（50，70）と表記され、車両Ｃ２の移動速度が時速50km/hであり、自車からの距離が70mであることが示されている。
　車両Ｃ３については、Ｃ３（－40，30）と表記され、車両Ｃ３の移動速度が－40km/hであり、自車からの距離が30mであることが示されている。また、車両Ｃ４については、Ｃ４（－50，5.0）と表記され、車両Ｃ４の移動速度が時速－50km/hであり、距離が5.0mであることが示されている。
　なお、速度について、「－」が付与されているのは、自車の進行方向に対して反対方向であることを示しており、車両Ｃ３，Ｃ４が対向車であることを示している。
　また、図８における表記は、画像認識結果との対応を説明するための表記であり、実際には、それぞれの物体認識結果に対応付けて、それぞれの物体の速度情報および距離情報がメタデータとして物体認識結果に付与される。
　さらに、以上においては、ミリ波レーダ２２１により所定の精度でセンシング可能な移動する物体が、メタデータが付与される要メタデータ付与物体として設定される例について説明してきたが、自動運転制御に必要とされる、比較的重要度の高い物体にメタデータを付与するようにしてもよい。比較的重要度の高い物体とは、例えば、交通状況を把握する上で必要な対象物や、衝突や接触の対象物などであり、具体的には、信号機、道路標識、車両、歩行者、自転車、およびバイクなどである。また、当然のことながら、ミリ波レーダ２２１やLiDAR２２２の物体認識結果の全てを要メタデータ付与物体に設定するようにしてもよい。
　＜速度情報と距離情報を物体認識結果に付与するセンサ部の構成例＞
　次に、図９のブロック図を参照して、車内ネットワークを介して流通するセンシング結果のデータ量を低減する、第２の実施の形態の構成例について説明する。
　尚、図９は、図３を参照して説明した車両制御システム１００を実現する機能の構成例のうち、車内ネットワークを介して流通するセンシング結果のデータ量を低減し、さらに、速度と距離の情報を物体認識結果の各物体のうちの所定の精度でセンシング可能な移動する物体に付与するデータ取得部１０２の構成例を示している。
　また、図９のデータ取得部１０２において、図４のデータ取得部１０２と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図９のデータ取得部１０２においては、新たにミリ波レーダ２２１、およびLiDAR２２２が付与されている。
　ミリ波レーダ２２１は、ミリ波帯の電波を照射して、物体から反射する反射波を受信し、電波を照射してからピーク強度の反射波を受信するまでの往復時間に基づいて物体の距離および速度を検出し、認識部２０５に出力する。
　LiDAR２２２は、赤外光からなるレーザ光を投光し、物体からの反射光を受光することで、レーザ光を投光したタイミングから受光するタイミングまでの往復時間により、物体までの距離情報を検出し、3次元点群情報として認識部２０５に出力する。
　認識部２０５は、物体認識結果のうち、所定の精度でセンシング可能な移動する物体に対して、速度情報と距離情報とをメタデータとして付与し、物体認識結果と対応付けて登録して記憶するとともに、自動運転制御部１１２に出力する。
　また、物体認識結果と対応付けて速度情報および距離情報とが登録された後は、画像の乱れや明るさが不十分である等の理由により画像から検出できない物体状態になっても、認識部２０５は、直前と現在のミリ波レーダ２２１より供給される速度情報と、LiDAR２２２より供給される距離情報とに基づいて、物体の位置を推定する。
　尚、以降においては、物体認識結果と対応付けて速度情報および距離情報とが登録された物体のうち、画像の乱れや明るさが不十分である等の理由により画像から検出できない物体については、非検出物体とも称する。また、所定の精度でセンシング可能な移動する物体については、メタデータ付与物体とも称する。
　＜図９のデータ取得部によるセンシング処理＞
　次に、図１０のフローチャートを参照して、図９のデータ取得部１０２によるセンシング処理について説明する。
　尚、図９のフローチャートにおけるステップＳ３１乃至Ｓ３３，Ｓ３６の処理は、図７のフローチャートにおけるステップＳ１１乃至Ｓ１４の処理と同一であるので、その説明は省略する。
　すなわち、ステップＳ３４において、ミリ波レーダ２２１は、車両９１の周囲に対してミリ波帯の電波を照射して、ピーク強度の反射波に基づいて、物体の速度情報を検出して認識部２０５に出力する。
　ステップＳ３５において、LiDAR２２２は、赤外光からなるレーザ光を投光し、物体からの反射光を受光することで、レーザ光の往復時間に基づいて、物体までの距離情報からなる３次元点群情報を検出して認識部２０５に出力する。
　ステップＳ３６において、認識部２０５は、信号処理部２０４より供給される画像に基づいて、画素単位で物体認識を行う。
　ステップＳ３７において、認識部２０５は、未処理の認識物体を処理対象物体に設定する。
　ステップＳ３８において、認識部２０５は、処理対象物体が所定の精度でセンシング可能な移動する物体、すなわち、要メタデータ付与物体であるか否かを判定する。ここで、所定の精度でセンシング可能な移動する要メタデータ不要物体とは、例えば、車両である。尚、要メタデータ付与物体については、任意の物体に設定することが可能であり、例えば、車両のみならず、全ての物体とするようにしてもよい。
　ステップＳ３８において、処理対象物体が要メタデータ付与物体であるとみなされた場合、処理は、ステップＳ３９に進む。
　ステップＳ３９において、認識部２０５は、処理対象物体に対して、ミリ波レーダ２２１より供給された速度情報と、LiDAR２２２より供給された距離情報とをメタデータとして付与し、処理対象物体と対応付けて登録（更新）して記憶する。
　尚、ステップＳ３８において、処理対象物体が要メタデータ付与物体ではないとみなされた場合、ステップＳ３９の処理がスキップされて、メタデータが付与されない。
　ステップＳ４０において、認識部２０５は、物体認識結果のうち、未処理の認識物体が存在するか否かを判定し、未処理の認識物体が存在する場合、処理は、ステップＳ３７に戻る。
　ステップＳ４１において、認識部２０５は、登録された物体認識結果のうち、非検出物体のいずれかを処理対象非検出物体に設定する。
　ステップＳ４２において、認識部２０５は、非検出物体の、現在の速度情報および距離情報と、直前の速度情報および距離情報とに基づいて、非検出物体の現在の位置を推定し、推定した位置に非検出物体の物体認識結果が存在するものとみなし、現在の速度情報および距離情報を対応付けて登録する。
　尚、処理対象非検出物体の現在の速度情報および距離情報については、処理対象非検出物体の直前の位置から、速度情報および距離情報に基づいて予測される位置の速度情報および距離情報が、現在の速度情報および距離情報とみなして使用される。
　また、処理対象非検出物体に対応する、現在の速度情報および距離情報が検出されていない場合については、物体そのものが存在しないものとみなされるので、認識部２０５は、処理対象非検出物体と、その処理対象非検出物体に対応付けて登録された速度情報および距離情報を登録から解除する。
　ステップＳ４３において、認識部２０５は、未処理の非検出物体が存在するか否かを判定し、存在する場合、処理は、ステップＳ４１に戻る。すなわち、全ての非検出物体について、対応する速度情報および距離情報に基づいて現在の位置が推定されるまで、ステップＳ４１乃至Ｓ４３の処理が繰り返される。
　そして、ステップＳ４３において、未処理の非検出物体がないとみなされた場合、処理は、ステップＳ４４に進む。
　ステップＳ４４において、バッファ２０６は、バッファリングした画像を自動運転制御部１１２に出力する。
　ステップＳ４５において、認識部２０５は、図８を参照して説明したように、重要度の高い物体に速度と距離の情報からなるメタデータが付与された認識結果を車内のネットワークを介して自動運転制御部１１２および判定部２０７に出力する。
　ステップＳ４６において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間と、信号処理部２０４による信号処理時間とを比較し、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅いか否かを判定する。
　ステップＳ４６において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅い場合、処理は、ステップＳ４７に進む。
　ステップＳ４７において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、信号処理部２０４を制御して、信号処理部２０４より出力される信号処理結果である画像を、信号処理部２０４による信号処理時間と、ミリ波レーダ２２１およびLiDAR２２２の処理時間との時間差に応じて間引いて出力するように制御する。
　ステップＳ４８において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップＳ３１に戻る。また、ステップＳ４８において、終了が指示されている場合、処理は終了する。
　また、ステップＳ４６において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅くない場合、処理は、ステップＳ４９に進む。
　ステップＳ４９において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間と、信号処理部２０４による信号処理時間とを比較し、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速いか否かを判定する。
　ステップＳ４９において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速い場合、処理は、ステップＳ５０に進む。
　ステップＳ５０において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、認識部２０５を制御して、信号処理部２０４より出力される信号処理結果である画像が出力されないタイミングにおいて、ミリ波レーダ２２１およびLiDAR２２２の処理結果を空パケットとして出力するように制御する。
　そして、ステップＳ４９において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速くない場合、すなわち、いずれの処理時間もほぼ同一である場合、処理は、ステップＳ４８に進み、信号処理部２０４における間引き処理や、認識部２０５における空パケットとして出力するような制御がなされない。
　以上の処理により、物体認識結果のうち、所定の精度でセンシング可能な移動する物体である、要メタデータ付与物体については、速度情報と距離情報がメタデータとして付与されて、物体認識結果と対応付けて登録（更新）される。これにより、自動運転制御部１１２は、所定の精度でセンシング可能な移動する要メタデータ付与物体に対しては、画像内の座標情報に加えて、移動速度および距離情報を考慮して、自動運転制御を実現することが可能となる。
　このようにすることで、車内のネットワークにおいて流通するデータ量を抑制しつつ、自動運転制御に必要な画像と物体認識結果とを自動運転制御部１１２に流通させることが可能となる。
　また、物体認識結果と対応付けて速度情報および距離情報が登録された後は、画像から物体認識結果が得られない状態になっても、直前までに対応付けて登録された速度情報および距離情報と、現在の速度情報および距離情報とに基づいて位置が推定されて、推定された位置の物体認識結果と対応付けて速度情報および距離情報が登録される。
　結果として、イメージセンサ２０３により撮像された画像が乱れる、十分な明るさがない、ワイパーブレードなどにより画像にブラインドが生じるといった画像上の問題により、物体認識結果が得られない状態になっても、ミリ波レーダ２２１により得られる速度情報とLiDAR２２２により得られる距離情報に基づいて、物体認識結果を取得し続けることが可能となる。
　さらに、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅い場合には、信号処理部２０４が制御されて、信号処理結果である画像が処理時間の時間差に応じて間引いて出力される。
　また、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速い場合には、認識部２０５が制御されて、信号処理結果である画像が供給されないタイミングにおけるミリ波レーダ２２１およびLiDAR２２２の処理結果は、空パケットとして出力される。
　これにより、ミリ波レーダ２２１により得られる速度情報と、LiDAR２２２により得られる距離情報とを、信号処理部２０４とミリ波レーダ２２１およびLiDAR２２２のそれぞれの処理速度に応じたタイミングに調整されて出力される。
　＜＜５．第３の実施の形態＞＞
　以上においては、物体認識結果のうち、所定の精度でセンシング可能な移動する物体である、要メタデータ付与物体については、速度情報と距離情報のメタデータが付与されて出力される例について説明してきたが、車両９１に複数のセンサ部２００を設けるようにして、車両９１の全周囲の情報を検出するようにしてもよい。
　より詳細には、例えば、図１１で示されるように、車両９１の前方正面となる範囲Ｚ１、前方右側となる範囲Ｚ２、後方右側となる範囲Ｚ３、後方正面となる範囲Ｚ４、後方左側となる範囲Ｚ５、および前方左側となる乃至Ｚ６からなる全周囲をセンシングできるように、センサ部２００－１乃至２００－６が設けられるようにしてもよい。
　そして、センサ部２００－１乃至２００－６のそれぞれのセンシング結果が統合され、その統合結果が、自動運転制御部１１２に出力される。
　すなわち、センサ部２００－１乃至２００－６のそれぞれの物体認識結果については、センシングする車両９１から見た範囲Ｚ１乃至Ｚ６の情報と対応付けて出力されるようにしてもよい。
　また、車両９１周辺を２次元平面としたときの座標を設定し、センサ部２００－１乃至２００－６のそれぞれの物体認識結果が、車両９１周辺の２次元平面上の座標に対応付けて１つのマップ情報として出力されるようにしてもよい。
　さらに、車内のネットワークにおいて流通するデータ量を低減させるため、運転状態やミリ波レーダ２２１およびLiDAR２２２の動作状態に応じて、自動運転制御部１１２に出力するデータが変化されるようにしてもよい。
　例えば、走行速度が一定の状態となり、かつ、周囲の車両との位置関係に変化がないような状態が所定時間継続しているような場合、全方向のセンシング結果は必要なく、進行方向である範囲Ｚ１をセンシングするセンサ部２００－１からのセンシング結果のみを出力させるようにしてもよい。以降においては、このように一部の方向のセンシング結果のみが出力されるモードを低負荷モードとも称する。
　また、センサ部２００－１乃至２００－６のそれぞれのミリ波レーダ２２１およびLiDAR２２２の動作状態に不具合があるような場合、運転状態に関係なく、全方向のセンシング結果が出力されるようにしてもよい。以降においては、このように全方向のセンシング結果のみが出力されるモードを高負荷モードとも称する。
　＜車両の全周囲の情報が検出されるようにしたデータ取得部の構成例＞
　次に、図１２のブロック図を参照して、車両の全周囲の情報が検出されるようにしたデータ取得部１０２の第３の実施の形態の構成例について説明する。
　尚、図１２のデータ取得部１０２の構成例において、図９のデータ取得部１０２における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１２のデータ取得部１０２において、図９と異なる点は、センサ部２００と同一の構成であるセンサ部２００－１乃至２００－６が図１１で示されるように、車両９１の全周囲となる範囲Ｚ１乃至Ｚ６をセンシングできるように設けられ、認識結果統合部２３１、および画像統合部２３２が設けられている点が異なる。
　認識結果統合部２３１は、センサ部２００－１乃至２００－６のそれぞれより供給される物体認識結果を取得し、範囲Ｚ１乃至Ｚ６の情報と対応付けて自動運転制御部１１２に出力する。
　画像統合部２３２は、センサ部２００－１乃至２００－６のそれぞれより供給される画像を、範囲Ｚ１乃至Ｚ６の情報と対応付けて自動運転制御部１１２に出力する。
　または、認識結果統合部２３１は、センサ部２００－１乃至２００－６のそれぞれより供給される物体認識結果を取得し、車両９１周辺の２次元平面上の座標に対応付けて１つのマップ情報として出力するようにしてもよい。
　また、走行速度が一定の状態となり、かつ、周囲の車両との位置関係に変化がないような状態が所定時間継続しているような場合、全方向のセンシング結果は必要ないので、認識結果統合部２３１は、進行方向である範囲Ｚ１をセンシングするセンサ部２００－１からの物体認識結果のみを出力させる。
　このとき、画像統合部２３２も、進行方向である範囲Ｚ１を撮像するセンサ部２００－１からの画像のみを出力させる。
　さらに、センサ部２００－１乃至２００－６のそれぞれのミリ波レーダ２２１およびLiDAR２２２の動作状態に不具合があるような場合、認識結果統合部２３１は、運転状態に関係なく、全方向の物体認識結果を出力させる。
　このとき、画像統合部２３２も、全方向を撮像するセンサ部２００－１乃至２００－６からの全画像を出力させる。
　＜統合処理＞
　次に、図１３のフローチャートを参照して、図１２のデータ取得部１０２により統合処理について説明する。尚、この処理においては、センサ部２００－１乃至２００－６のそれぞれにおいて、図１０のフローチャートを参照して説明したセンシング処理がなされていることが前提となる。
　ステップＳ６１において、認識結果統合部２３１は、センサ部２００－１乃至２００－６からのそれぞれより供給される物体認識結果を取得する。同様に、画像統合部２３２は、センサ部２００－１乃至２００－６からのそれぞれより供給される画像を取得する。
　ステップＳ６２において、認識結果統合部２３１は、速度情報および距離情報からなるメタデータが付与された物体認識結果に基づいて、車両９１が一定の速度で走行中であり、かつ、周囲の車両との距離が一定の状態が所定時間継続したか否かを判定する。
　ステップＳ６２において、車両９１が一定の速度で走行中であり、かつ、周囲の車両との距離が一定の状態が所定時間継続しているとみなされた場合、処理は、ステップＳ６３に進む。
　ステップＳ６３において、認識結果統合部２３１は、ミリ波レーダ２２１より供給される速度情報、およびLiDAR２２２より供給される距離情報の有無に基づいて、ミリ波レーダ２２１、およびLiDAR２２２の動作状態に異常がないか否かを判定する。
　ステップＳ６３において、ミリ波レーダ２２１、およびLiDAR２２２の動作状態に異常がないと判定された場合、処理は、ステップＳ６４に進む。
　ステップＳ６４において、認識結果統合部２３１は、進行方向である範囲Ｚ１をセンシングするセンサ部２００－１からの物体認識結果のみを自動運転制御部１１２に出力させる（低負荷モード）。また、画像統合部２３２は、進行方向である範囲Ｚ１をセンシングするセンサ部２００－１からの画像のみを自動運転制御部１１２に出力させる。
　また、ステップＳ６２において、車両９１が一定の速度で走行中でない、もしくは、周囲の車両との距離が一定の状態が所定時間継続していないとみなされた場合、または、ステップＳ６３において、ミリ波レーダ２２１、およびLiDAR２２２の少なくともいずれかの動作状態に異常があると判定された場合、処理は、ステップＳ６５に進む。
　ステップＳ６５において、認識結果統合部２３１は、センサ部２００－１乃至２００－６からの全方向の物体認識結果を出力させる。また、画像統合部２３２は、センサ部２００－１乃至２００－６からの全画像を自動運転制御部１１２に出力させる（高負荷モード）。
　以上の一連の処理により、車両９１の全周囲をカバーする範囲がセンシングされて、物体認識結果と画像が自動運転制御部１１２に出力されるので、より高精度な自動運転制御を実現することが可能となる。
　また、車両９１の走行状態やミリ波レーダ２２１やLiDAR２２２の動作状態の異常の有無に応じて、自動運転制御部１１２に供給される物体認識結果と画像のセンシング範囲が変化する。
　より具体的には、比較的危険性が低い状態においては、進行方向前方の物体認識結果と画像のみが自動運転制御部１１２に供給されることになるので、車内ネットワークにおける通信負荷を低減させることが可能となる。
　ここで、比較的危険性が低い状態とは、例えば、車両９１が一定の速度で走行中であり、かつ、周囲の車両との距離が一定の状態が所定時間継続している状態や、ミリ波レーダ２２１やLiDAR２２２の動作状態の異常がない状態である。
　さらに、以上においては、比較的危険性が低い場合には、進行方向前方の物体認識結果と画像が自動運転制御部１１２に出力される例について説明してきたが、危険性が低いほど自動運転制御は不要な状態となる。したがって、例えば、一般的な歩行速度よりも低速で、ブレーキによりいつでも停止できるような速度であるような、さらに、危険性が低い場合には、物体認識結果および画像のいずれも自動運転制御部１１２に出力しないようにしてもよい。
　＜＜６．第４の実施の形態＞＞
　以上においては、車両９１の全方向に対して複数のセンサ２００を設けて、複数のセンシング結果を統合して出力する例について説明してきたが、イメージセンサ２０３が単一露光を行うものとして説明してきたが、もちろん、複数同時露光（すなわち、１フレーム期間内に複数の露光タイミングを持ち、１フレーム期間内に複数の画像を撮像する）を実施可能な構成であってもよい。それぞれの感度での撮像結果、並びにミリ波レーダ２２１、およびLiDAR２２２のセンシング結果を、車外の状況に応じて選択的に使用することで認識精度を向上させるようにしてもよい。
　すなわち、図１４の左部のイメージセンサ２０３は、１フレーム期間内に３枚の画像を撮像し、それぞれ高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌのシャッター開閉タイミング（すなわち露光時間）や、センサゲイン調整といったイメージセンサ制御を実施することで設定される。このため、図１４のイメージセンサ２０３においては、３種類の感度の画像ＰＨ，ＰＭ，ＰＬを同時に撮像することができる。
　高感度画像ＰＨは、露光時間が所定時間より長い画像であり、暗い被写体用の画像である。中感度画像ＰＭは、露光時間が高感度画像ＰＨよりも短く、低感度画像ＰＬよりも長い画像であり、中間輝度の被写体用の画像である。低感度画像ＰＬは、露光時間が所定時間より短い画像であり、明るい被写体用の画像である。
　そして、高感度画像ＰＨが信号処理されて、物体認識処理がなされることで、高感度物体認識結果が求められる。
　同様に、中感度画像ＰＭが信号処理されて、物体認識処理がなされることで、中感度物体認識結果が求められる。
　また、低感度画像ＰＬが信号処理されて、物体認識処理がなされることで、低感度物体認識結果が求められる。
　そして、外界の条件に応じて、高感度物体認識結果、中感度物体認識結果、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が選択的に用いられて物体認識精度が向上される。
　すなわち、例えば、外界の条件において、例えば、十分な明るさがあり、全ての認識結果を使用できるような場合については、図１５のＰａｔ１で示されるように、高感度物体認識結果、中感度物体認識結果、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。
　また、例えば、外界の条件が所定の照度よりも低く暗い場合については、図１５のＰａｔ２で示されるように、高感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。
　さらに、例えば、外界の条件が逆光である場合については、図１５のＰａｔ３で示されるように、中感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。
　また、例えば、外界の条件が所定の照度よりも高く明るすぎるような場合については、図１５のＰａｔ４で示されるように、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。
　さらに、例えば、濃霧であるような場合については、図１５のＰａｔ５で示されるように、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。ただし、この場合、物体認識処理ができないが、物体の位置、速度、および距離については求められるので、物体認識結果としては不明であるが、物体が存在し、物体の画像内における位置、速度、および距離が確認される。
　尚、図１５において、使用されるセンシング結果の種別が記載されており、上から高感度物体認識結果（高感度）、中感度物体認識結果（中感度）、低感度物体認識結果（低感度）、ミリ波レーダ２２１およびLiDAR２２２の認識結果（ミリ波、LiDAR）であることが示されている。また、最下段においては、物体認識結果が得られるか否かの項目が設けられている。さらに、左から順に、パターンＰａｔ１乃至Ｐａｔ５の種別に応じた選択されるセンシング結果の種別が丸印で示されており、バツ印は、選択されないことが示されている。
　＜複数の異なる感度で撮像した画像、並びにミリ波レーダ、およびLiDARのセンシング結果を、車外の状況に応じて選択するようにしたデータ取得部の構成例＞
　次に、図１６を参照して、複数の異なる感度で撮像した画像、並びにミリ波レーダ２２１、およびLiDAR２２２のセンシング結果を、車外の状況に応じて選択するようにしたデータ取得部１０２の第４の実施の形態の構成例について説明する。
　図１６のデータ取得部１０２において、図９のデータ取得部１０２と異なる点は、イメージセンサ２０３、信号処理部２０４、および認識部２０５のそれぞれに高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬを処理する構成が設けられ、さらに、照度を検出する照度センサ２４１、および霧を検出する霧センサ２４２が設けられている点である。
　イメージセンサ２０３は、図１４を参照したように、高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌが設けられており、異なる露光時間により同時に感度の異なる画像を撮像することができ、それぞれ信号処理部２０４に出力する。
　尚、図１４においては、感度を３段階にする例について説明しているが、２段階や４段階以上に分割されるようにしてもよい。
　信号処理部２０４は、イメージセンサ２０３の分割数に対応して、高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌを備えている。高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌは、それぞれ高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌより供給される高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬを信号処理し、認識部２０５に出力する。
　認識部２０５は、イメージセンサ２０３の分割数に対応して、高感度認識部２０５Ｈ、中感度認識部２０５Ｍ、および低感度認識部２０５Ｌ、並びに、認識結果統合部２０５Ｒを備えている。高感度認識部２０５Ｈ、中感度認識部２０５Ｍ、および低感度認識部２０５Ｌは、それぞれ高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌより供給される信号処理結果である高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬに基づいて、物体認識処理を行い、結果である物体認識結果を認識結果統合部２０５Ｒに出力する。
　認識結果統合部２０５Ｒは、照度センサ２４１より供給される照度の情報、および霧センサ２４２により供給される霧の有無の情報に基づいて、図１５を参照して説明したように、高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌの物体認識結果、並びに、ミリ波レーダ２２１、およびLiDAR２２２のセンシング結果を選択的に使用することで物体認識結果を統合して、自動運転制御部１１２に出力する。
　このような構成により、外界の条件に応じた物体認識結果が選択的に用いられることにより、物体認識精度を向上させることが可能となる。
　＜図１６のデータ取得部によるセンシング処理＞
　次に、図１７のフローチャートを参照して、図１６のデータ取得部１０２によるセンシング処理について説明する。
　尚、図１７のフローチャートにおいて、ステップＳ７９乃至Ｓ８５の処理は、図１０のフローチャートを参照して説明したステップＳ４４乃至Ｓ５０の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ７１において、イメージセンサ２０３は、制御部２０１により制御されて、高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌのそれぞれの感度で、レンズ２０２を介して入射する車両９１の周囲の感度の異なる３枚の画像ＰＨ，ＰＭ，ＰＬを撮像し、撮像した画像信号を信号処理部２０４に出力する。
　ステップＳ７２において、信号処理部２０４は、制御部２０１により制御され、高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌのそれぞれにおいて、高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬに対して、信号処理を施し、認識部２０５、バッファ２０６、および判定部２０７に出力する。
　ステップＳ７３において、制御部２０１は、信号処理部２０４より出力された３種類の感度の画像信号のうち、照度センサ２４１の照度に応じた感度の画像をバッファ２０６にバッファリングさせる。また、照度センサ２４１を用いず、信号処理部２０４にイメージセンサ２０３で撮像した画面全体の輝度検波処理部を設けて、画面の明るさを検出する構成にしても良い。
　すなわち、照度が所定値よりも低く、暗い場合は、高感度信号処理部２０４Ｈにより処理された画像がバッファリングされ、照度が所定値よりも高く、明るい場合は、低感度信号処理部２０４Ｌにより処理された画像がバッファリングされ、それ以外の場合、中感度信号処理部２０４Ｍにより処理された画像がバッファリングされる。
　ステップＳ７４において、ミリ波レーダ２２１は、車両９１の周囲に対してミリ波帯の電波を照射して、ピーク強度の反射波に基づいて、物体の速度情報を検出して認識部２０５に出力する。
　ステップＳ７５において、LiDAR２２２は、赤外光からなるレーザ光を投光し、物体からの反射光を受光することで、レーザ光の往復時間に基づいて、物体までの距離情報を３次元点群情報として検出し、認識部２０５に出力する。
　ステップＳ７６において、認識部２０５の高感度認識部２０５Ｈ、中感度認識部２０５Ｍ、および低感度認識部２０５Ｌは、それぞれの感度の画像ＰＨ，ＰＭ，ＰＬに基づいて物体認識処理を行い、結果である物体認識結果を認識結果統合部２０５Ｒに出力する。
　ステップＳ７７において、認識結果統合部２０５Ｒは、認識結果統合処理を実行して、それぞれの感度に認識結果、並びに、ミリ波レーダ２２１の速度情報、およびLiDAR２２２の距離情報に基づいて、認識結果を統合する。
　ステップＳ７８において、認識結果統合部２０５Ｒは、認識結果統合処理結果に基づいて、物体認識結果に対して、ミリ波レーダ２２１の速度情報、およびLiDAR２２２の距離情報をメタデータとして付与し、物体認識結果を生成する。
　そして、ステップＳ７９において、バッファリングされていた画像が自動運転制御部１１２に出力され、ステップＳ８０において、物体認識結果が自動運転制御部１１２に出力される。
　以降の処理により、自動運転制御部１１２においては、より高精度な物体認識結果に基づいた自動運転制御を実現させることが可能となる。
　＜認識結果統合処理＞
　ここで、図１８のフローチャートを参照して、認識結果統合処理について説明する。
　ステップＳ１０１において、認識結果統合部２０５Ｒは、照度センサ２４１により検出される車両９１の周囲の照度に基づいて、周囲の照度は、所定の照度以下であり、暗い状態であるか否かを判定する。
　ステップＳ１０１において、周囲の照度は、所定の照度以下であり、暗い状態であると判定された場合、処理は、ステップＳ１０２に進む。
　ステップＳ１０２において、認識結果統合部２０５Ｒは、図１５のＰａｔ２で示されるように、高感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。
　また、ステップＳ１０１において、周囲の照度は、所定の照度以下ではなく、暗い状態ではないと判定された場合、処理は、ステップＳ１０３に進む。
　ステップＳ１０３において、認識結果統合部２０５Ｒは、中感度信号処理結果である画像ＰＭにおける、画像内の明暗差に基づいて、逆光であるか否かを判定する。
　ステップＳ１０３において、逆光であるとみなされた場合、処理は、ステップＳ１０４に進む。
　ステップＳ１０４において、認識結果統合部２０５Ｒは、図１５のＰａｔ３で示されるように、中感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。
　また、ステップＳ１０３において、逆光ではないと判定された場合、処理は、ステップＳ１０５に進む。
　ステップＳ１０５において、認識結果統合部２０５Ｒは、照度センサ２４１により検出される車両９１の周囲の照度に基づいて、所定の照度以上であり過剰な明るさであるか否かを判定する。
　ステップＳ１０５において、所定の照度以上であり過剰な明るさであるとみなされた場合、処理は、ステップＳ１０６に進む。
　ステップＳ１０６において、認識結果統合部２０５Ｒは、図１５のＰａｔ４で示されるように、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。
　さらにステップＳ１０５において、過剰な明るさではないとみなされた場合、処理は、ステップＳ１０７に進む。
　ステップＳ１０７において、認識結果統合部２０５Ｒは、霧センサ２４２により検出される車両９１の周囲が霧であるか否かの情報に基づいて、霧の有無を判定する。
　ステップＳ１０７において、霧状態であるとみなされた場合、処理は、ステップＳ１０８に進む。
　ステップＳ１０８において、認識結果統合部２０５Ｒは、図１５のＰａｔ５で示されるように、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。ただし、この場合、物体認識結果は不明とされる。すなわち、この場合、物体認識結果は不明であるが、速度情報と距離情報とが認識物体が不明である物体認識結果にメタデータとして付与される。
　ステップＳ１０７において、霧状態ではないとみなされた場合、すなわち、暗すぎず、明るすぎず、逆光でも、霧でもない場合、処理は、ステップＳ１０９に進む。
　ステップＳ１０９において、認識結果統合部２０５Ｒは、全ての認識結果を使用できるので、図１５のＰａｔ１で示されるように、高感度物体認識結果、中感度物体認識結果、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が選択される。
　以上の処理により、複数の感度の画像に基づいた物体認識結果、および、ミリ波レーダ２２１により求められる物体の速度情報、およびLiDAR２２２により求められる物体の距離情報が求められ、外界の状況に応じて、適切な情報が選択されて物体認識結果が生成されて、自動運転制御部１１２に出力される。
　結果として、物体認識精度を向上させることが可能となり、高精度な物体認識結果に基づいた適切な自動運転制御を実現させることが可能となる。
　＜＜７．第５の実施の形態＞＞
　以上においては、複数の感度の画像に基づいた物体認識結果、および、ミリ波レーダ２２１により求められる物体の速度情報、およびLiDAR２２２により求められる物体の距離情報が求められ、外界の状況に応じて、適切な情報が選択されて物体認識結果が生成される例について説明してきた。
　ところで、昨今においては、信号機に使用される照明や車両のウィンカやブレーキランプなどにLED（Light Emission Diode）が使用される構成が増えてきている。
　例えば、LEDを使用した信号機などにおいては、人間の目では認識できない、交流電源の周期に応じた点滅がなされているため、シャッタスピードに応じて信号機が全て消灯しまうような画像が撮像される、いわゆるフリッカ現象が生じることがある。
　すなわち、図１９は、交流電源の電圧の変位を示したものであるが、このように電圧が変化する場合、LEDは、上に凸、または下に凸のタイミングにおいて明るく点灯し、波形の正負が反転するタイミングを含むタイミングにおいて消灯する状態になる。
　このため、イメージセンサ２０３の露光時間が矢印ＳＳ１である場合、正負が反転する近傍のタイミングでは、LEDが消灯するため撮像されないことになる。これに対して、イメージセンサ２０３の露光時間が矢印ＳＳ１よりも長い矢印ＳＳ２である場合、波形の正負が反転するタイミングを跨ぐような期間を含んでいても、LEDが点灯した状態のタイミングも露光されているため、どのようなタイミングにおいてもLEDが消灯した状態の画像が撮像されることがない。
　このため、一般的に信号機が撮像されるようなイメージセンサ２０３においては、図２０の下段で示されるように、露光時間を11ms（＝1/90s）で制限して、信号機のLEDが消灯した画像が撮像されないように設定されている。ただし、図２０においては、F値が1.8で、ISO100相当であることが前提とされている。
　尚、図２０において、露光時間が1/30s乃至1/90sにおいては、露光時間による感度調整がなされ、露光時間が1/90sにおいては、ゲイン（gain）により感度が調整される。これにより、フリッカの発生は抑制されることになる。
　しかしながら、周囲の状況が明るすぎるような状態になると、露光時間に制限があることにより、動きがある画像などでは色滲みが発生したり、トンネル出口の画像などで白飛びなどが発生する恐れがある。
　そこで、本開示においては、物体認識結果により画像内に信号機が存在する場合については、従来通り露光時間を11ms（＝1/90s）で制限し、それ以外の場合については、図２０の上段で示されるように、外界の照度に応じて、露光時間を1/90s乃至1/15000s等の範囲で調整できるようにする。
　このような構成により、LEDを用いた信号機が画像内に存在する場合には、消灯してしまっている画像が撮像されることが防止されるとともに、信号機が画像内に存在しないときには、光量の応じた露光時間で画像を撮像することが可能となる。
　結果として、動きのある画像における滲みやトンネル出口の画像などでの白飛びの発生が抑制されつつ、信号機が存在する場合には、LEDが用いられていても信号機が消灯された状態で撮像されることがなくなる。
　また、車両に用いられる照明のうち、テールランプにLEDが用いられる場合においてもフリッカが生じることがある。この場合についても同様の処理が必要である。さらに、車両に用いられるウィンカにLEDが用いられる場合があるがウィンカについてはテールランプほど点灯時間が長くないので、フリッカが視認できる状態とはならない。そこで、車両に用いられるランプのうちテールランプが画像内に存在するときは、信号機に対する場合と同様の処理を行い、ウィンカの場合については、明るさに応じた露光時間の調整を行うようにする。
　＜LEDを用いた信号機や車両の照明が画像内に存在するか否かに応じて露光時間を調整するデータ取得部の構成例＞
　次に、図２１を参照して、LEDを用いた信号機や車両の照明が画像内に存在するか否かに応じて露光時間を調整するデータ取得部１０２の構成例について説明する。
　図２１のデータ取得部１０２において、図９のデータ取得部１０２の構成と異なるのは、判定部２０７に、信号機判定部２０７Ａ、および車両ランプ判定部２０７Ｂが含まれている点である。
　信号機判定部２０７Ａは、認識部２０５の物体認識結果に基づいて、信号処理部２０４より出力される画像内に信号機が含まれているか否かを判定し、判定結果を制御部２０１に出力する。
　車両ランプ判定部２０７Ｂは、認識部２０５の物体認識結果に基づいて、信号処理部２０４より出力される画像内に車両ランプがあるか否かを判定する。さらに、車両ランプがある場合、車両ランプ判定部２０７Ｂは、車両ランプが、点灯時間が所定時間より短いウィンカであるか否かを判定し、ウィンカではないとき、すなわち、点灯時間が所定時間より長いテールランプである場合、判定結果を制御部２０１に出力する。
　信号処理部２０４は、信号機やテールランプが画像内に存在することを示す判定結果が供給される場合、イメージセンサ２０３の露光時間をフリッカが生じない長さに制限し、それ以外の場合、イメージセンサ２０３の露光時間を外界の明るさに応じた適切な長さに制御する。
　このような構成により、信号機やテールランプによるフリッカの発生を抑制しつつ、動きのある画像における色滲みやトンネル出口の画像などでの白飛びの発生が抑制される。
　＜フリッカ抑制処理＞
　次に、図２２のフローチャートを参照して、図２２のデータ取得部１０２によるフリッカ抑制処理について説明する。尚、ここでは、上述したセンシング処理がなされ、認識部２０５からは順次物体認識結果が供給される。
　ステップＳ１３１において、判定部２０７は、認識部２０５より物体認識結果を取得する。
　ステップＳ１３２において、信号機判定部２０７Ａは、物体認識結果に信号機が含まれているか否かを判定する。
　ステップＳ１３２において、信号機が含まれているとみなされた場合、処理は、ステップＳ１０３に進む。
　ステップＳ１３３において、信号機判定部２０７Ａは、物体認識結果に信号機が含まれることを制御部２０１に通知する。制御部２０１は、露光時間を調整してフリッカ抑制用の状態となるように、例えば、露光時間を11msに制限するようにイメージセンサ２０３を制御する。
　ステップＳ１３４において、処理の終了が指示されたか否かが判定され、終了が指示されていない場合、処理は、ステップＳ１３１に戻り、それ以降の処理が繰り返される。また、ステップＳ１３４において、処理の終了が指示された判定された場合、処理が終了する。
　また、ステップＳ１３２において、信号機がないと判定された場合、処理は、ステップＳ１３５に進む。
　ステップＳ１３５において、車両ランプ判定部２０７Ｂは、物体認識結果に車両ランプが含まれているか否かを判定し、車両ランプが含まれているとき、処理は、ステップＳ１３６に進む。
　ステップＳ１３６において、車両ランプ判定部２０７Ｂは、車両ランプが、点灯時間が所定時間より短いウィンカであるか否かを判定する。
　ステップＳ１３６において、ウィンカではないと判定された場合、処理は、ステップＳ１０３に進む。
　一方、ステップＳ１３６において、ウィンカであった場合、処理は、ステップＳ１３７に進む。
　ステップＳ１３７において、車両ランプ判定部２０７Ｂは、物体認識結果に信号機やテールランプが含まれないことを制御部２０１に通知する。制御部２０１は、外界の照度に合わせた、通常状態の露光時間となるようにイメージセンサ２０３を制御する。
　さらに、ステップＳ１３５において、車両ランプがないとみなされた場合、処理は、ステップＳ１３７に進む。
　以上の処理により、LEDが用いられた信号機やテールランプについては、フリッカの発生が抑制され、信号機やテールランプが消灯しているような画像を撮像することが抑制され、信号機やテールランプがない場合については、照度に合わせた通常状態の露光時間で撮像することが可能となるので、動きのある画像での色滲みや、トンネル出口の画像などにおいて白飛びなどの発生を抑制することが可能となる。
　＜＜８．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図２３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図２３におけるCPU１００１が、図３における自動運転制御部１１２の機能を実現させる。また、図２３における記憶部１００８が、図３における記憶部１１１を実現する。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　自車となる車両の周囲の画像を撮像する撮像部と、
　前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記車両の運転を制御する運転制御部に出力する物体認識処理部と
　を備える情報処理装置。
＜２＞　前記物体認識処理部は、前記画像より、地上面、人間、車両、建造物、固定物体、自然環境、および空の情報のうちの少なくともいずれか一つを前記物体として認識し、前記物体認識処理結果として出力する
　＜１＞に記載の情報処理装置。
＜３＞　前記地上面の前記物体認識処理結果には、道路、歩道、駐車場、および軌道のうちの少なくともいずれか一つが含まれる
　＜２＞に記載の情報処理装置。
＜４＞　前記人間の前記物体認識処理結果には、歩行者および運転者のうちの少なくともいずれか一つが含まれる
　＜２＞に記載の情報処理装置。
＜５＞　前記車両の前記物体認識処理結果には、車、トラック、バス、レール上を走行する電車や列車、バイク、自転車、および牽引車両のうちの少なくともいずれか一つが含まれる
　＜２＞に記載の情報処理装置。
＜６＞　前記建造物の前記物体認識処理結果には、建物、壁、フェンス、ガードレール、橋梁、およびトンネルのうちの少なくともいずれか一つが含まれる
　＜２＞に記載の情報処理装置。
＜７＞　前記自然環境の前記物体認識処理結果には、植生や地形の情報のうちの少なくともいずれか一つが含まれる
　＜２＞に記載の情報処理装置。
＜８＞　前記自然環境の前記物体認識処理結果には、植生や地形の情報が含まれる
　＜２＞に記載の情報処理装置。
＜９＞　前記画像を信号処理する信号処理部をさらに含み、
　前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
　前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも遅い場合、前記信号処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記信号処理された画像を間引いて出力する
　＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞　前記信号処理された画像が間引いて出力される場合、前記物体認識処理結果は、間引かれる画像数だけ前のタイミングの画像と共に出力される
　＜９＞に記載の情報処理装置。
＜１１＞　前記画像を信号処理する信号処理部をさらに含み、
　前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
　前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも速い場合、前記物体認識処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記物体認識処理結果を間引いて出力する
　＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１２＞　前記自車の周囲の物体の速度情報を検出する速度情報検出部と、
　前記自車の周囲の物体の距離情報を検出する距離情報検出部とをさらに含み、
　前記物体認識処理部は、前記物体認識処理結果のそれぞれに対応付けて、前記速度情報および前記距離情報からなるメタデータを付与して出力する
　＜１＞乃至＜１１＞のいずれかに記載の情報処理装置。
＜１３＞　前記物体認識処理部は、前記物体認識処理結果のうち、前記速度情報検出部および前記距離情報検出部による検出精度が所定値よりも高い前記物体認識処理結果に対して、前記速度情報および前記距離情報からなるメタデータを付与して出力する
　＜１２＞に記載の情報処理装置。
＜１４＞　前記物体認識処理部は、前記周囲の状況に応じて、前記物体認識処理結果のうちの一部を出力する低負荷モード、または、前記物体認識処理結果の全部を出力する高負荷モードのいずれかのモードで、前記物体認識処理結果を出力する
　＜１＞乃至＜１３＞のいずれかに記載の情報処理装置。
＜１５＞　前記物体認識処理部は、前記周囲の状況が、前記周囲の車両の速度が一定速度で走行し、かつ、距離が一定の状態で所定時間継続する状況である場合、前記低負荷モードにより、前記物体認識処理結果のうち進行方向の前記物体認識処理結果を出力する
　＜１４＞に記載の情報処理装置。
＜１６＞　前記撮像部は、異なる感度で複数の画像を撮像し、
　前記物体認識処理部は、前記異なる感度の複数の画像のそれぞれについて物体認識処理を行って異なる感度の複数の物体認識処理結果を生成し、前記周囲の状況に応じて、前記異なる感度の複数の物体認識処理結果を選択して出力する
　＜１＞乃至＜１５＞のいずれかに記載の情報処理装置。
＜１７＞　前記物体認識処理結果のうち、所定の物体認識結果が含まれる場合、前記撮像部のパラメータが制御される
　＜１＞乃至＜１６＞のいずれかに記載の情報処理装置。
＜１８＞　前記物体認識処理結果のうち、所定の物体認識結果として信号機、およびテールランプが含まれる場合、前記撮像部の前記パラメータのうち露光時間が、所定時間以上の長さに制御される
　＜１７＞に記載の情報処理装置。
＜１９＞　自車となる車両の周囲の画像を撮像する撮像処理と
　撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記車両の運転を制御する運転制御部に出力する物体認識処理と
　を含む情報処理方法。
＜２０＞　自車となる車両の周囲の画像を撮像する撮像部と、
　前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記車両の運転を制御する運転制御部に出力する物体認識処理部と
　してコンピュータを機能させるプログラム。
　９１　車両，　１００　車両制御システム，　１０２　データ取得部１０２　自動運転制御部，　２００，２００－１乃至２００－６　センサ部，　２０１，２０１－１乃至２０１－６　制御部，　２０２，２０２－１乃至２０２－６　レンズ，　２０３，２０３－１乃至２０３－６　イメージセンサ，　２０３Ｈ　高感度部，　２０３Ｍ　中感度部，　２０３Ｌ　低感度部，　２０４，２０４－１乃至２０４－６　信号処理部，　２０４Ｈ　高感度信号処理部，　２０４Ｍ　中感度信号処理部，　２０４Ｌ　低感度信号処理部，　２０５，２０５－１乃至２０５－６　認識部，　２０５Ｈ　高感度認識部，　２０５Ｍ　中感度認識部，　２０５Ｌ　低感度認識部，　２０５Ｒ　認識結果統合部，　２０６，２０６－１乃至２０６－６　，　バッファ，　２０７　判定部，　２０７Ａ　信号機判定部，　２０７Ｂ　車両ランプ判定部，　２２１　ミリ波レーダ，　２２２　LiDAR，　２２３　衝突判定部，　２３１　認識結果統合部，　２３２　画像統合部，　２４１　照度センサ，　２４２　霧センサ

Claims (20)

  1. 　移動体の周囲の画像を撮像する撮像部と、
    　前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理部と
    　を備える情報処理装置。
  2. 　前記物体認識処理部は、前記画像より、地上面、人間、車両、建造物、固定物体、自然環境、および空の情報のうちの少なくともいずれか一つを前記物体として認識し、前記物体認識処理結果として出力する
    　請求項１に記載の情報処理装置。
  3. 　前記地上面の前記物体認識処理結果には、道路、歩道、駐車場、および軌道のうちの少なくともいずれか一つが含まれる
    　請求項２に記載の情報処理装置。
  4. 　前記人間の前記物体認識処理結果には、歩行者および運転者のうちの少なくともいずれか一つが含まれる
    　請求項２に記載の情報処理装置。
  5. 　前記車両の前記物体認識処理結果には、車、トラック、バス、レール上を走行する電車や列車、バイク、自転車、および牽引車両のうちの少なくともいずれか一つが含まれる
    　請求項２に記載の情報処理装置。
  6. 　前記建造物の前記物体認識処理結果には、建物、壁、フェンス、ガードレール、橋梁、およびトンネルのうちの少なくともいずれか一つが含まれる
    　請求項２に記載の情報処理装置。
  7. 　前記固定物体の前記物体認識処理結果には、ポール、ポール群、交通標識、および信号機のうちの少なくともいずれか一つが含まれる
    　請求項２に記載の情報処理装置。
  8. 　前記自然環境の前記物体認識処理結果には、植生や地形の情報のうちの少なくともいずれか一つが含まれる
    　請求項２に記載の情報処理装置。
  9. 　前記画像を信号処理する信号処理部をさらに含み、
    　前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
    　前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも遅い場合、前記信号処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記信号処理された画像を間引いて出力する
    　請求項１に記載の情報処理装置。
  10. 　前記信号処理された画像が間引いて出力される場合、前記物体認識処理結果は、間引かれる画像数だけ前のタイミングの画像と共に出力される
    　請求項９に記載の情報処理装置。
  11. 　前記画像を信号処理する信号処理部をさらに含み、
    　前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
    　前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも速い場合、前記物体認識処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記物体認識処理結果を間引いて出力する
    　請求項１に記載の情報処理装置。
  12. 　前記移動体の周囲の物体の速度情報を検出する速度情報検出部と、
    　前記移動体の周囲の物体の距離情報を検出する距離情報検出部とをさらに含み、
    　前記物体認識処理部は、前記物体認識処理結果のそれぞれに対応付けて、前記速度情報および前記距離情報からなるメタデータを付与して出力する
    　請求項１に記載の情報処理装置。
  13. 　前記物体認識処理部は、前記物体認識処理結果のうち、前記速度情報検出部および前記距離情報検出部による検出精度が所定値よりも高い前記物体認識処理結果に対して、前記速度情報および前記距離情報からなるメタデータを付与して出力する
    　請求項１２に記載の情報処理装置。
  14. 　前記物体認識処理部は、前記周囲の状況に応じて、前記物体認識処理結果のうちの一部を出力する低負荷モード、または、前記物体認識処理結果の全部を出力する高負荷モードのいずれかのモードで、前記物体認識処理結果を出力する
    　請求項１に記載の情報処理装置。
  15. 　前記物体認識処理部は、前記周囲の状況が、前記周囲の移動体の速度が一定速度で移動し、かつ、距離が一定の状態で所定時間継続する状況である場合、前記低負荷モードにより、前記物体認識処理結果のうち進行方向の前記物体認識処理結果を出力する
    　請求項１４に記載の情報処理装置。
  16. 　前記撮像部は、異なる感度で複数の画像を撮像し、
    　前記物体認識処理部は、前記異なる感度の複数の画像のそれぞれについて物体認識処理を行って異なる感度の複数の物体認識処理結果を生成し、前記周囲の状況に応じて、前記異なる感度の複数の物体認識処理結果を選択して出力する
    　請求項１に記載の情報処理装置。
  17. 　前記物体認識処理結果のうち、所定の物体認識結果が含まれる場合、前記撮像部のパラメータが制御される
    　請求項１に記載の情報処理装置。
  18. 　前記物体認識処理結果のうち、所定の物体認識結果として信号機、およびテールランプが含まれる場合、前記撮像部の前記パラメータのうち露光時間が、所定時間以上の長さに制御される
    　請求項１７に記載の情報処理装置。
  19. 　移動体の周囲の画像を撮像する撮像処理と
    　撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理と
    　を含む情報処理方法。
  20. 　移動体の周囲の画像を撮像する撮像部と、
    　前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理部と
    　してコンピュータを機能させるプログラム。
PCT/JP2019/045800 2018-12-07 2019-11-22 情報処理装置、および情報処理方法、並びにプログラム WO2020116205A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/296,924 US20230045772A9 (en) 2018-12-07 2019-11-22 Information processing apparatus, information processing method, and program
KR1020217014838A KR20210096086A (ko) 2018-12-07 2019-11-22 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램
EP19891814.6A EP3893497A4 (en) 2018-12-07 2019-11-22 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN201980079025.6A CN113170080A (zh) 2018-12-07 2019-11-22 信息处理设备、信息处理方法和程序
JP2020559924A JPWO2020116205A1 (ja) 2018-12-07 2019-11-22 情報処理装置、および情報処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-230176 2018-12-07
JP2018230176 2018-12-07

Publications (1)

Publication Number Publication Date
WO2020116205A1 true WO2020116205A1 (ja) 2020-06-11

Family

ID=70975042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045800 WO2020116205A1 (ja) 2018-12-07 2019-11-22 情報処理装置、および情報処理方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20230045772A9 (ja)
EP (1) EP3893497A4 (ja)
JP (1) JPWO2020116205A1 (ja)
KR (1) KR20210096086A (ja)
CN (1) CN113170080A (ja)
WO (1) WO2020116205A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190971A1 (ja) * 2021-03-11 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
WO2022222028A1 (en) 2021-04-20 2022-10-27 Baidu.Com Times Technology (Beijing) Co., Ltd. Traffic light detection and classification for autonomous driving vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294930A (ja) * 2008-06-05 2009-12-17 Toyota Motor Corp 障害物検出装置および障害物検出システム
WO2012169029A1 (ja) * 2011-06-08 2012-12-13 トヨタ自動車株式会社 車線逸脱防止支援装置、区分線表示方法、プログラム
JP2014125029A (ja) 2012-12-25 2014-07-07 Kyocera Corp カメラシステム、カメラモジュールおよびカメラ制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4361755B2 (ja) * 2003-05-08 2009-11-11 株式会社リコー 動画像処理装置、プログラム、記憶媒体および動画像処理方法
JP4980939B2 (ja) * 2008-01-22 2012-07-18 富士重工業株式会社 撮像手段の調整装置および物体検出装置
JP2010215029A (ja) * 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
US20140210646A1 (en) * 2012-12-28 2014-07-31 Balu Subramanya Advanced parking and intersection management system
GB201314067D0 (en) * 2013-08-06 2013-09-18 Microsoft Corp Allocating Processor Resources
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6313646B2 (ja) * 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
JP6303974B2 (ja) * 2014-10-22 2018-04-04 株式会社デンソー 車載カメラ装置及び車載システム
WO2018101247A1 (ja) * 2016-11-29 2018-06-07 マクセル株式会社 画像認識撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294930A (ja) * 2008-06-05 2009-12-17 Toyota Motor Corp 障害物検出装置および障害物検出システム
WO2012169029A1 (ja) * 2011-06-08 2012-12-13 トヨタ自動車株式会社 車線逸脱防止支援装置、区分線表示方法、プログラム
JP2014125029A (ja) 2012-12-25 2014-07-07 Kyocera Corp カメラシステム、カメラモジュールおよびカメラ制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3893497A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190971A1 (ja) * 2021-03-11 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
WO2022222028A1 (en) 2021-04-20 2022-10-27 Baidu.Com Times Technology (Beijing) Co., Ltd. Traffic light detection and classification for autonomous driving vehicles

Also Published As

Publication number Publication date
EP3893497A4 (en) 2022-04-27
JPWO2020116205A1 (ja) 2021-10-21
EP3893497A1 (en) 2021-10-13
CN113170080A (zh) 2021-07-23
US20230045772A9 (en) 2023-02-09
KR20210096086A (ko) 2021-08-04
US20220027643A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
JP7188394B2 (ja) 画像処理装置及び画像処理方法
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11501461B2 (en) Controller, control method, and program
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2020116205A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
CN113614782A (zh) 信息处理装置、信息处理方法和程序
WO2019049710A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
EP3863282B1 (en) Image processing device, and image processing method and program
WO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN113614777A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891814

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559924

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019891814

Country of ref document: EP

Effective date: 20210707