WO2020250526A1 - 外部環境認識装置 - Google Patents

外部環境認識装置 Download PDF

Info

Publication number
WO2020250526A1
WO2020250526A1 PCT/JP2020/011536 JP2020011536W WO2020250526A1 WO 2020250526 A1 WO2020250526 A1 WO 2020250526A1 JP 2020011536 W JP2020011536 W JP 2020011536W WO 2020250526 A1 WO2020250526 A1 WO 2020250526A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
external environment
abnormality
unit
vehicle
Prior art date
Application number
PCT/JP2020/011536
Other languages
English (en)
French (fr)
Inventor
大介 堀籠
Original Assignee
マツダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マツダ株式会社 filed Critical マツダ株式会社
Priority to CN202080043189.6A priority Critical patent/CN114008698A/zh
Priority to US17/618,501 priority patent/US20220237921A1/en
Priority to EP20822363.6A priority patent/EP3985643A4/en
Publication of WO2020250526A1 publication Critical patent/WO2020250526A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the technology disclosed here relates to an external environment recognition device that recognizes the external environment of a moving object.
  • Patent Document 1 discloses an image processing device mounted on a vehicle. This image processing device performs a road surface detection unit that detects a road surface area from an input image based on an input image obtained by taking a picture with a camera, and a time series verification that verifies the detection result of the road surface area in the input image in time series.
  • a detection area selection unit that sets a detection area for detecting an object in the input image based on the time-series verification unit, the detection result of the road surface area by the road surface detection unit, and the time-series verification result by the time-series verification unit.
  • a detection unit that detects an object in the detection area.
  • the technology disclosed here was made in view of this point, and the purpose thereof is an external environment recognition device capable of reducing an increase in circuit scale and power consumption due to the addition of an abnormality detection function. Is to provide.
  • the technology disclosed here relates to an external environment recognition device that recognizes the external environment of a moving object.
  • This external environment recognition device uses the recognition processing unit that recognizes the external environment of the moving object and the recognition result of the recognition processing unit based on the image data obtained by the imaging unit that images the external environment of the moving object.
  • the external environment data generation unit generates integrated data in which movable areas and targets included in the external environment recognized by the recognition processing unit are integrated based on the recognition result of the recognition processing unit.
  • the data generation unit may include a two-dimensional data generation unit that generates two-dimensional data in which the movable area and the target included in the integrated data are two-dimensional based on the integrated data.
  • the abnormality of the external environment data may be an abnormality of either the integrated data or the two-dimensional data.
  • the abnormality detection unit detects an abnormality in the data processing system based on the abnormality of either the integrated data or the two-dimensional data. Rather than detecting anomalies in a data processing system based on anomalies in two-dimensional data by detecting anomalies in the data processing system based on anomalies in the integrated data generated prior to the generation of two-dimensional data. Abnormalities in the data processing system can be detected quickly. On the other hand, by detecting the abnormality of the data processing system based on the abnormality of the two-dimensional data generated after the generation of the integrated data, the abnormality of the data processing system is detected based on the abnormality of the integrated data. Abnormalities in the data processing system can be detected in a wide range.
  • the external environment data generation unit generates integrated data in which the movable area and the target included in the external environment recognized by the recognition processing unit are integrated based on the recognition result of the recognition processing unit.
  • a data generation unit may include a two-dimensional data generation unit that generates two-dimensional data in which a movable area and a target included in the integrated data are two-dimensional based on the integrated data.
  • the abnormality of the external environment data may be an abnormality of both the integrated data and the two-dimensional data.
  • the abnormality detection unit detects an abnormality in the data processing system based on the abnormality of both the integrated data and the two-dimensional data. In this way, by performing both the abnormality detection process based on the abnormality of the integrated data (the process of detecting the abnormality of the data processing system) and the abnormality detection process based on the abnormality of the two-dimensional data, the abnormality of the data processing system can be detected quickly. In addition to being able to detect abnormalities in the data processing system over a wide range.
  • the abnormality of the external environment data may be an abnormality of the temporal change of the external environment expressed in the external environment data.
  • the abnormality detection unit detects an abnormality in the data processing system based on the abnormality of the temporal change of the external environment expressed in the external environment data. In this way, by based on the temporal change of the external environment represented by the external environment data, it is possible to detect an abnormality that cannot be detected only by the external environment represented by the external environment data at a single time point. .. As a result, the accuracy of detecting an abnormality in the data processing system can be improved.
  • the abnormality detection unit may be configured to detect an abnormality in the data processing system based on the duration of the abnormality in the external environment data.
  • over-detection of an abnormality in the data processing system can be reduced by detecting the abnormality in the data processing system based on the duration of the abnormality in the external environment expressed in the external environment data. As a result, it is possible to appropriately detect an abnormality in the data processing system.
  • FIG. 1 illustrates the configuration of the vehicle control system 10.
  • the vehicle control system 10 is provided in a vehicle (automobile four-wheeled vehicle in this example) which is an example of a moving body. This vehicle can be switched between manual driving, assisted driving, and automatic driving.
  • Manual driving is driving that runs in response to a driver's operation (for example, accelerator operation).
  • Assisted driving is driving that assists the driver's operation.
  • Autonomous driving is driving that runs without the operation of a driver.
  • the vehicle control system 10 controls the operation of the vehicle by controlling the actuator 101 provided in the vehicle in the automatic driving and the assisted driving.
  • the actuator 101 includes an engine, a transmission, a brake, a steering, and the like.
  • the vehicle provided with the vehicle control system 10 is described as “own vehicle”, and other vehicles existing around the own vehicle are described as “other vehicle”.
  • the vehicle control system 10 includes a plurality of cameras 11, a plurality of radars 12, a position sensor 13, a vehicle status sensor 14, a driver status sensor 15, a driving operation sensor 16, and a communication unit 17. It includes a control unit 18, a human-machine interface 19, and a computing device 20.
  • the arithmetic unit 20 is an example of an external environment recognition device.
  • the plurality of cameras 11 have the same configuration as each other.
  • the camera 11 acquires image data showing the external environment of the own vehicle by taking an image of the external environment of the own vehicle.
  • the image data obtained by the camera 11 is transmitted to the arithmetic unit 20.
  • the camera 11 is an example of an imaging unit that images the external environment of a moving body.
  • the camera 11 is a monocular camera having a wide-angle lens. Then, the plurality of cameras 11 are arranged in the own vehicle so that the imaging range of the external environment of the own vehicle by the plurality of cameras 11 extends over the entire circumference of the own vehicle.
  • the camera 11 is configured by using a solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary metal-oxide-semiconductor).
  • the camera 11 may be a monocular camera having a normal lens (for example, a narrow-angle lens) or a stereo camera.
  • the plurality of radars 12 have similar configurations to each other.
  • the radar 12 detects the external environment of the own vehicle. Specifically, the radar 12 detects the external environment of the own vehicle by transmitting a radio wave (an example of a detection wave) toward the external environment of the own vehicle and receiving the reflected wave from the external environment of the own vehicle. To do.
  • the detection result of the radar 12 is transmitted to the arithmetic unit 20.
  • the radar 12 is an example of a detection unit that detects the external environment of a moving body.
  • the detection unit detects the external environment of the moving body by transmitting a detection wave toward the external environment of the moving body and receiving a reflected wave from the external environment of the moving body.
  • a plurality of radars 12 are arranged in the own vehicle so that the detection range of the external environment of the own vehicle by the plurality of radars 12 covers the entire circumference of the own vehicle.
  • the radar 12 may be a millimeter-wave radar that transmits a millimeter wave (an example of a detection wave) or a lidar (Light Detection and Ringing) that transmits a laser beam (an example of a detection wave).
  • it may be an infrared radar that transmits infrared rays (an example of a detection wave), or an ultrasonic sensor that transmits an ultrasonic wave (an example of a detection wave).
  • the position sensor 13 detects the position of the own vehicle (for example, latitude and longitude). For example, the position sensor 13 receives GPS information from the global positioning system and detects the position of its own vehicle based on the GPS information. The position of the own vehicle detected by the position sensor 13 is transmitted to the arithmetic unit 20.
  • the vehicle state sensor 14 detects the state of the own vehicle (for example, speed, acceleration, yaw rate, etc.).
  • the vehicle state sensor 14 includes a vehicle speed sensor that detects the speed of the own vehicle, an acceleration sensor that detects the acceleration of the own vehicle, a yaw rate sensor that detects the yaw rate of the own vehicle, and the like.
  • the state of the own vehicle detected by the vehicle state sensor 14 is transmitted to the arithmetic unit 20.
  • the driver status sensor 15 detects the status of the driver driving the own vehicle (for example, the driver's health status, emotions, physical behavior, etc.).
  • the driver status sensor 15 includes an in-vehicle camera that captures an image of the driver, a biological information sensor that detects the biological information of the driver, and the like.
  • the driver status detected by the driver status sensor 15 is transmitted to the arithmetic unit 20.
  • the driving operation sensor 16 detects a driving operation applied to the own vehicle.
  • the driving operation sensor 16 includes a steering angle sensor that detects the steering angle of the steering wheel of the own vehicle, an accelerator sensor that detects the operation amount of the accelerator of the own vehicle, a brake sensor that detects the operation amount of the brake of the own vehicle, and the like. Will be done.
  • the driving operation detected by the driving operation sensor 16 is transmitted to the arithmetic unit 20.
  • the communication unit 17 communicates with an external device provided outside the own vehicle. For example, the communication unit 17 receives communication information from another vehicle (not shown) located around the own vehicle, traffic information from a navigation system (not shown), and the like. The information received by the communication unit 17 is transmitted to the arithmetic unit 20.
  • the control unit 18 is controlled by the arithmetic unit 20 and controls the actuator 101 provided in the own vehicle.
  • the control unit 18 includes a power train device, a braking device, a steering device, and the like.
  • the power train device controls the engine and transmission included in the actuator 101 based on the target driving force indicated by the drive command value described later.
  • the braking device controls the brake included in the actuator 101 based on the target braking force indicated by the braking command value described later.
  • the steering device controls the steering included in the actuator 101 based on the target steering amount indicated by the steering command value described later.
  • the human-machine interface 19 is provided to input / output information between the arithmetic unit 20 and the occupant (particularly the driver) of the own vehicle.
  • the human-machine interface 19 includes a display for displaying information, a speaker for outputting information by voice, a microphone for inputting voice, an operation unit to be operated by an occupant (particularly a driver) of the own vehicle, and the like.
  • the operation unit is a touch panel or a button.
  • the arithmetic unit 20 determines a target route, which is a route to be traveled by the own vehicle, based on the output of sensors provided in the own vehicle, information transmitted from outside the vehicle, and the like, and is necessary for traveling on the target route. Determine the target movement, which is the movement of the own vehicle. Then, the arithmetic unit 20 controls the control unit 18 to control the operation of the actuator 101 so that the motion of the own vehicle becomes the target motion.
  • the arithmetic unit 20 is composed of an electronic control unit (ECU) having one or a plurality of arithmetic chips.
  • the arithmetic unit 20 is composed of an electronic control unit (ECU) having one or more processors, one or more memories for storing programs and data for operating the one or more processors, and the like. To.
  • the arithmetic unit 20 includes an external environment recognition unit 21, a candidate route generation unit 22, a vehicle behavior recognition unit 23, a driver behavior recognition unit 24, a target motion determination unit 25, and a motion control unit 26. Have. These are some of the functions of the arithmetic unit 20.
  • the external environment recognition unit 21 recognizes the external environment of the own vehicle.
  • the candidate route generation unit 22 generates one or a plurality of candidate routes based on the output of the external environment recognition unit 21.
  • the candidate route is a route on which the own vehicle can travel and is a candidate for the target route.
  • the vehicle behavior recognition unit 23 recognizes the behavior of the own vehicle (for example, speed, acceleration, yaw rate, etc.) based on the output of the vehicle condition sensor 14. For example, the vehicle behavior recognition unit 23 recognizes the behavior of its own vehicle from the output of the vehicle state sensor 14 using the learning model generated by deep learning.
  • the driver behavior recognition unit 24 recognizes the driver's behavior (for example, the driver's health state, emotion, physical behavior, etc.) based on the output of the driver state sensor 15. For example, the driver behavior recognition unit 24 recognizes the driver behavior from the output of the driver state sensor 15 using the learning model generated by deep learning.
  • the target motion determination unit 25 becomes a target route from one or a plurality of candidate routes generated by the candidate route generation unit 22 based on the output of the vehicle behavior recognition unit 23 and the output of the driver behavior recognition unit 24. Select a candidate route. For example, the target movement determination unit 25 selects a candidate route that the driver feels most comfortable with among the plurality of candidate routes. Then, the target movement determination unit 25 determines the target movement based on the candidate route selected as the target route.
  • the motion control unit 26 controls the control unit 18 based on the target motion determined by the target motion determination unit 25. For example, the motion control unit 26 derives the target driving force, the target braking force, and the target steering amount, which are the driving force, the braking force, and the steering amount for achieving the target motion, respectively. Then, the motion control unit 26 includes a power train device, a brake device, and a steering device in which the control unit 18 includes a drive command value indicating a target driving force, a braking command value indicating a target braking force, and a steering command value indicating a target steering amount. Send to each.
  • FIG. 2 illustrates the configuration of the external environment recognition unit 21.
  • the external environment recognition unit 21 is composed of an image processing chip 31, an artificial intelligence accelerator 32, and a control chip 33.
  • Each of the image processing chip 31, the artificial intelligence accelerator 32, and the control chip 33 is composed of a processor and a memory for storing programs and data for operating the processor.
  • the external environment recognition unit 21 has a preprocessing unit 40, a recognition processing unit 41, an integrated data generation unit 42, a two-dimensional data generation unit 43, and an abnormality detection unit 44. These are some of the functions of the external environment recognition unit 21.
  • the image processing chip 31 is provided with a preprocessing unit 40
  • the artificial intelligence accelerator 32 is provided with a recognition processing unit 41 and an integrated data generation unit 42
  • the control chip 33 is provided with a two-dimensional data generation unit 43 and an abnormality detection unit. 44 is provided.
  • the preprocessing unit 40 performs preprocessing on the image data obtained by the camera 11.
  • the preprocessing includes a distortion correction process for correcting the distortion of the image shown in the image data, a white balance adjustment process for adjusting the brightness of the image shown in the image data, and the like.
  • the recognition processing unit 41 recognizes the external environment of the own vehicle based on the image data preprocessed by the preprocessing unit 40.
  • the recognition processing unit 41 self-recognizes based on the external environment of the own vehicle recognized based on the image data and the detection result of the laser 12 (that is, the external environment of the own vehicle detected by the radar 12). Outputs the recognition result of the external environment of the vehicle.
  • the integrated data generation unit 42 generates integrated data based on the recognition result of the recognition processing unit 41.
  • the integrated data is data in which the movable area and the target included in the external environment of the own vehicle recognized by the recognition processing unit 41 are integrated.
  • the integrated data generation unit 42 generates integrated data based on the recognition result of the recognition processing unit 41.
  • the two-dimensional data generation unit 43 generates two-dimensional data based on the integrated data generated by the integrated data generation unit 42.
  • the two-dimensional data is data in which the movable area and the target included in the integrated data are two-dimensionalized.
  • the integrated data generation unit 42 and the two-dimensional data generation unit 43 constitute the external environment data generation unit 45.
  • the external environment data generation unit 45 generates external environment data (object data) based on the recognition result of the recognition processing unit 41.
  • the external environment data is data representing the external environment of the own vehicle recognized by the recognition processing unit 41.
  • the external environment data generation unit 45 generates external environment data based on the recognition result of the recognition processing unit 41.
  • the abnormality detection unit 44 detects an abnormality in the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45, based on the abnormality of the external environment data generated by the external environment data generation unit 45. ..
  • the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45 passes through the camera 11, the preprocessing unit 40, the recognition processing unit 41, and the integrated data generation unit 42 in order. It is a data processing system that reaches the dimensional data generation unit 43.
  • the abnormality detection unit 44 may be configured to detect an abnormality in external environment data by using a learning model generated by deep learning in an abnormality detection process for detecting an abnormality in a data processing system. This learning model is a learning model for detecting anomalies in external environment data.
  • the abnormality detection unit 44 may be configured to detect an abnormality in the external environment data by using another well-known abnormality detection technique.
  • the abnormality of the external environment data is the abnormality of either the integrated data or the two-dimensional data. That is, in this example, the abnormality detection unit 44 detects an abnormality in the data processing system based on the abnormality of either the integrated data or the two-dimensional data.
  • the preprocessing unit 40 performs preprocessing on the image data obtained by the camera 11.
  • the preprocessing unit 40 performs preprocessing on each of the plurality of image data obtained by the plurality of cameras 11.
  • the preprocessing includes distortion correction processing that corrects the distortion of the image shown in the image data (distortion due to widening of the camera 11 in this example), and white balance adjustment that adjusts the white balance of the image shown in the image data. Processing etc. are included. If the image data obtained by the camera 11 is not distorted (for example, when a camera having a normal lens is used), the distortion correction processing may be omitted.
  • the external environment of the own vehicle shown in the image data D1 includes the roadway 50, the sidewalk 71, and the open space 72.
  • the roadway 50 is an example of a movable area in which the own vehicle can move.
  • the external environment of the own vehicle shown in the image data D1 includes another vehicle 61, a sign 62, a roadside tree 63, and a building 80.
  • the other vehicle 61 (automobile four-wheeled vehicle) is an example of a moving body that is displaced over time.
  • Other examples of moving objects include motorcycles, bicycles, pedestrians, and the like.
  • the sign 62 and the roadside tree 63 are examples of stationary bodies that do not displace over time.
  • Other examples of resting bodies include medians, center poles, buildings and the like.
  • a moving body and a stationary body are examples of the target 60.
  • the sidewalk 71 is provided on the outside of the roadway 50, and the open space 72 is provided on the outside of the sidewalk 71 (the side far from the roadway 50). Further, in the example of FIG. 4, one other vehicle 61 travels in the lane in which the own vehicle travels in the lane 50, and two other vehicles 61 in the oncoming lane of the lane in which the own vehicle travels in the lane 50. I'm running. A sign 62 and a roadside tree 63 are lined up along the outside of the sidewalk 71. Further, the building 80 is provided at a distant position in front of the own vehicle.
  • the recognition processing unit 41 performs classification processing on the image data D1.
  • the recognition processing unit 41 performs classification processing on each of the plurality of image data obtained by the plurality of cameras 11.
  • the recognition processing unit 41 classifies the image shown in the image data D1 on a pixel-by-pixel basis, and adds classification information indicating the classification result to the image data D1.
  • the recognition processing unit 41 recognizes the movable area and the target from the image (image showing the external environment of the own vehicle) shown in the image data D1.
  • the recognition processing unit 41 performs classification processing using a learning model generated by deep learning. This learning model is a learning model for classifying the image shown in the image data D1 on a pixel-by-pixel basis.
  • the recognition processing unit 41 may be configured to perform classification processing using another well-known classification technique.
  • FIG. 5 shows a segmentation image D2 illustrating the classification result of the image shown in the image data D1.
  • the image shown in the image data D1 is classified into one of a roadway, a vehicle, a sign, a roadside tree, a sidewalk, an open space, and a building in pixel units.
  • the recognition processing unit 41 performs a movable area data generation process on the image data.
  • the recognition processing unit 41 identifies a pixel area classified into a movable area (roadway 50 in this example) from the images shown in the image data D1 by the classification process, and the identification is specified.
  • the movable area data is generated based on the pixel area.
  • the movable area data is data representing the movable area recognized by the recognition processing unit 41 (three-dimensional map data in this example).
  • the recognition processing unit 41 generates movable area data based on the movable area specified in each of the plurality of image data acquired by the plurality of cameras 11 at the same time point. For example, a well-known three-dimensional data generation technique may be used for the movable data generation process.
  • the recognition processing unit 41 performs target information generation processing.
  • the recognition processing unit 41 performs the first information generation process, the second information generation process, and the information integration process.
  • the first information generation process is performed on the image data.
  • the recognition processing unit 41 performs the first information generation processing on each of the plurality of image data obtained by the plurality of cameras 11.
  • the recognition processing unit 41 identifies a pixel area classified into the target 60 by the classification process from the images shown in the image data D1, and the target based on the specified pixel area. Generate information.
  • the recognition processing unit 41 performs the first information generation processing for each of the plurality of target 60s.
  • the target information is information about the target 60, such as the type of the target 60, the shape of the target 60, the distance and direction from the own vehicle to the target 60, the position of the target 60 with respect to the own vehicle, and the self.
  • the magnitude and direction of the relative speed of the target 60 with respect to the moving speed of the vehicle are shown.
  • the recognition processing unit 41 performs the first information generation processing using the learning model generated by the deep learning.
  • This learning model is a learning model for generating target information based on a pixel region (pixel region classified into the target 60) specified from the image shown in the image data D1.
  • the recognition processing unit 41 may be configured to perform the first information generation processing by using another well-known information generation technology (target detection technology).
  • the second information generation process is performed on the output of the radar 12.
  • the recognition processing unit 41 performs the second information generation processing based on the output of each of the plurality of radars 12.
  • the recognition processing unit 41 generates target information based on the detection result of the radar 12.
  • the recognition processing unit 41 performs analysis processing on the detection result of the radar 12 (intensity distribution of the reflected wave expressing the external environment of the own vehicle), thereby performing target information (specifically, the target 60).
  • target information specifically, the target 60.
  • Type, shape of target 60, distance and direction from own vehicle to target 60, position of target 60 with respect to own vehicle, magnitude and direction of relative speed of target 60 with respect to movement speed of own vehicle, etc. ) Is derived.
  • the recognition processing unit 41 is configured to perform the second information generation processing using a learning model generated by deep learning (a learning model for generating target information based on the detection result of the radar 12). Alternatively, it may be configured to perform the second information generation process using another well-known analysis technique (target detection technique).
  • the recognition processing unit 41 integrates the target information obtained by the first information generation process and the target information obtained by the second information generation process to obtain new target information. Generate.
  • the recognition processing unit 41 refers to a plurality of parameters (specifically, the type of the target 60, the shape of the target 60, the distance and direction from the own vehicle to the target 60, and the own vehicle) included in the target information.
  • the parameters of the target information obtained by the first information generation process and the second information generation are compared, and the parameter having the higher accuracy among the two parameters is set as the parameter included in the new target information.
  • the integrated data generation unit 42 generates the integrated data D3 by integrating the movable area data generated in step S13 and the target information generated in step S14.
  • the integrated data D3 is data in which the movable area (roadway 50 in this example) and the target 60 recognized by the recognition processing unit 41 are integrated (three-dimensional map data in this example).
  • the integrated data generation unit 42 may be configured to generate integrated data D3 from the movable area data and the target information by using a well-known data integration technique.
  • FIG. 6 illustrates the concept of integrated data D3. As shown in FIG. 6, in the integrated data D3, the target 60 is abstracted.
  • the two-dimensional data generation unit 43 generates the two-dimensional data D4 by making the integrated data D3 two-dimensional.
  • the two-dimensional data D4 is data in which the movable area (roadway 50 in this example) and the target 60 included in the integrated data D3 are two-dimensional (two-dimensional map data in this example).
  • the two-dimensional data generation unit 43 may be configured to generate two-dimensional data D4 from the integrated data D3 by using a well-known two-dimensionalization technique.
  • the movable area (roadway 50 in this example) and the target 60 (own vehicle 100 in this example) are two-dimensionalized.
  • the two-dimensional data D4 corresponds to a bird's-eye view of the own vehicle 100 (a view looking down on the own vehicle 100 from the sky).
  • the two-dimensional data D4 includes a roadway 50, another vehicle 61, and own vehicle 100.
  • the classification information is added to the image data D1. This increases the amount of data.
  • the image data D1 to which the classification process is added in the integrated data generation unit 42 is converted into the integrated data D3.
  • the integrated data D3 since the external environment of the own vehicle (particularly the target 60) is abstracted, the data amount of the integrated data D3 is smaller than the data amount of the image data D1. Therefore, by converting the image data D1 into the integrated data D3, the amount of data is reduced.
  • the two-dimensional data generation unit 43 converts the integrated data D3 into the two-dimensional data D4.
  • the data amount of the two-dimensional data D4 is smaller than the data amount of the integrated data D3. Therefore, by converting the integrated data D3 into the two-dimensional data D4, the amount of data is further reduced.
  • the abnormality detection unit 44 acquires the external environment data (integrated data or two-dimensional data in this example) generated by the external environment data generation unit 45.
  • the abnormality detection unit 44 determines whether or not an abnormality in the external environment data has occurred. If an abnormality in the external environment data has occurred, the process of step S23 is performed, and if not, the process of step S24 is performed.
  • the abnormality detection unit 44 determines that an abnormality in the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45 has occurred.
  • the abnormality detection unit 44 determines that an abnormality in the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45 has not occurred. ..
  • the abnormalities of the external environment data include a static abnormality of the external environment data and an abnormality of the temporal change of the external environment data (dynamic abnormality). That is, in this example, the abnormality detection unit 44 causes an abnormality in the data processing system when at least one of a static abnormality of the external environment data and an abnormality of the temporal change of the external environment data occurs. If both the static abnormality of the external environment data and the temporal change abnormality of the external environment data do not occur, it is determined that the data processing system abnormality has not occurred.
  • Static anomalies in external environment data are detected based on external environment data generated based on image data acquired at a single point in time.
  • Examples of static anomalies in the external environment data include an abnormality in the amount of data in the external environment data and an abnormality in the external environment of the own vehicle expressed in the external environment data.
  • the abnormality detection unit 44 detects when the data amount of the external environment data deviates from a predetermined normal range. , It is determined that an abnormality has occurred in the data processing system, and if the amount of data in the external environment data does not deviate from the normal range, it is determined that no abnormality has occurred in the data processing system.
  • the abnormality detection unit 44 processes the data when the external environment of the own vehicle expressed in the external environment data is unrealistic. It is determined that an abnormality in the system has occurred, and when the external environment of the own vehicle expressed in the external environment data is realistic, it is determined that an abnormality in the data processing system has not occurred. As an example in which the external environment of the own vehicle expressed in the external environment data is unrealistic, the position and / or shape of the roadway 50 included in the external environment of the own vehicle expressed in the external environment data is unrealistic.
  • the target is, the position and / or shape of the target 60 included in the external environment of the own vehicle expressed in the external environment data is unrealistic, the external environment of the own vehicle expressed in the external environment data.
  • the case where the position and / or shape of each of the included roadway 50 and the target 60 is unrealistic may be mentioned.
  • the width of the roadway 50 deviates from a predetermined roadway width range (for example, a range from the minimum value to the maximum value of the assumed width of the roadway 50)
  • it is an example of the target 60 it is an example of the target 60.
  • the width of the other vehicle 61 deviates from a predetermined vehicle width range (for example, the range from the minimum value to the maximum value of the assumed width of the other vehicle 61).
  • Anomalies of temporal changes in external environment data are detected based on a plurality of external environment data generated based on a plurality of image data acquired at different time points.
  • Examples of the anomaly of the temporal change of the external environment data include the anomaly of the temporal change of the data amount of the external environment data, the anomaly of the temporal change of the external environment of the own vehicle expressed in the external environment data, and the like.
  • the abnormality detection unit 44 determines the temporal change amount (for example, unit) of the data amount of the external environment data. When the amount of change per hour) deviates from the predetermined normal change range, it is determined that an abnormality has occurred in the data processing system, and the amount of change in the amount of data in the external environment data from the normal change range. If it does not deviate, it is determined that no abnormality has occurred in the data processing system.
  • the abnormality detection unit 44 In the abnormality detection process based on the abnormality of the temporal change of the external environment of the own vehicle expressed in the external environment data, the abnormality detection unit 44 unrealizes the temporal change of the external environment of the own vehicle expressed in the external environment data. If it is correct, it is determined that an abnormality in the data processing system has occurred, and if the temporal change in the external environment of the own vehicle expressed in the external environment data is realistic, the abnormality in the data processing system is found. Judge that it has not occurred. As an example in which the temporal change of the external environment of the own vehicle expressed in the external environment data is unrealistic, the roadway 50 (movable area) included in the external environment of the own vehicle expressed in the external environment data is used.
  • the temporal change of the position and / or shape of the target 60 is unrealistic, the temporal change of the position and / or shape of the target 60 included in the external environment of the own vehicle expressed in the external environment data is unrealistic. In this case, the temporal change of the position and / or shape of each of the roadway 50 and the target 60 included in the external environment of the own vehicle expressed in the external environment data may be unrealistic.
  • the amount of change in the width of the roadway 50 with time exceeds a predetermined amount of change in the upper limit of the width of the roadway (for example, the upper limit of the amount of change in the width of the assumed roadway 50 with time), an example of the target 60.
  • the other vehicle 61 or a sign is used.
  • the target 60 such as 62 suddenly disappears and the target 60 cannot be tracked.
  • ⁇ Specific example 1> For example, if an abnormality occurs in the line buffer (not shown) that stores the image data D1 obtained by the camera 11, striped noise is generated in the image data output from the line buffer. In this case, if the recognition processing unit 41 performs the recognition processing based on the image data output from the line buffer, the recognition processing unit 41 may cause omission of recognition or erroneous recognition of the target 60. In this way, when recognition omission or erroneous recognition of the target 60 occurs in the recognition processing unit 41, as shown by the alternate long and short dash line in FIG.
  • the two-dimensional data D4 generated based on the recognition result of the recognition processing unit 41 There is a possibility that the other vehicle 61 that should originally exist disappears from the vehicle, and the other vehicle 61 cannot be tracked.
  • the recognition processing unit 41, and the external environment data generation unit 45 when an abnormality occurs in the line buffer forming a part of the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45, the external environment of the own vehicle expressed in the external environment data is generated. Will cause an abnormality.
  • the boundary line of the roadway 50 that should originally exist may disappear from the two-dimensional data D4, and the roadway 50 may not be updated.
  • the recognition processing unit 41, and the external environment data generation unit 45 when an abnormality occurs in the camera 11 that constitutes a part of the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45, the external environment of the own vehicle represented by the external environment data is generated. Will cause an abnormality.
  • the boundary line of the roadway 50 represented by the two-dimensional data D4 may be distorted.
  • the preprocessing unit 40 that constitutes a part of the data processing system including the camera 11, the recognition processing unit 41, and the external environment data generation unit 45, the own vehicle represented in the external environment data An abnormality will occur in the external environment.
  • the arithmetic unit 20 of this embodiment can detect an abnormality in the data processing system without duplicating the data processing system to be detected for the abnormality. As a result, it is possible to reduce the increase in circuit scale and power consumption due to the addition of the abnormality detection function, as compared with the case where the data processing system to be detected for abnormality is duplicated.
  • the amount of external environment data (integrated data D3 or two-dimensional data D4) is smaller than the amount of image data D1. Therefore, the abnormality detection unit 44 performs the abnormality detection process (process for detecting the abnormality of the data processing system) based on the external environment data, and the abnormality detection unit 44 performs the abnormality detection process based on the image data D1.
  • the processing load of the abnormality detection unit 44 can be reduced more than in the case. As a result, at least one of the circuit scale and the power consumption of the abnormality detection unit 44 can be reduced.
  • the abnormality detection unit 44 can speed up the detection of an abnormality in the data processing system.
  • the abnormality detection unit 44 detects an abnormality in the data processing system based on the abnormality of either the integrated data or the two-dimensional data. Rather than detecting anomalies in a data processing system based on anomalies in two-dimensional data by detecting anomalies in the data processing system based on anomalies in the integrated data generated prior to the generation of two-dimensional data. Abnormalities in the data processing system can be detected quickly. On the other hand, by detecting the abnormality of the data processing system based on the abnormality of the two-dimensional data generated after the generation of the integrated data, the abnormality of the data processing system is detected based on the abnormality of the integrated data. Abnormalities in the data processing system can be detected in a wide range. Specifically, it is possible to detect an abnormality in the data processing system from the camera 11 (imaging unit) to the two-dimensional data generation unit 43 via the recognition processing unit 41 and the integrated data generation unit 42.
  • an abnormality in the data processing system is detected based on the abnormality in both the integrated data and the two-dimensional data.
  • the processing load of the abnormality detection unit 44 can be reduced more than in the case. Therefore, at least one of the circuit scale and the power consumption of the abnormality detection unit 44 can be reduced.
  • the abnormality detection unit 44 can speed up the detection of an abnormality in the data processing system.
  • the abnormality detection unit 44 detects an abnormality in the data processing system based on the abnormality of the temporal change of the external environment expressed in the external environment data. In this way, by based on the temporal change of the external environment represented by the external environment data, it is possible to detect an abnormality that cannot be detected only by the external environment represented by the external environment data at a single time point. .. As a result, the accuracy of detecting an abnormality in the data processing system can be improved.
  • the abnormality of the external environment data may be an abnormality of both the integrated data and the two-dimensional data. That is, the abnormality detection unit 44 may be configured to detect an abnormality in the data processing system based on the abnormality of both the integrated data and the two-dimensional data. Specifically, in the first modification of this embodiment, the abnormality detection unit 44 has an abnormality in the data processing system when an abnormality has occurred in at least one of the integrated data and the two-dimensional data. If no abnormality has occurred in both the integrated data and the two-dimensional data, it is determined that no abnormality has occurred in the data processing system. In this modification 1, the abnormality of the external environment data may include a static abnormality of the external environment data and an abnormality of the temporal change of the external environment data (dynamic abnormality).
  • the abnormality detection unit 44 detects an abnormality in the data processing system based on the abnormality of both the integrated data and the two-dimensional data. In this way, by performing both the abnormality detection process based on the abnormality of the integrated data (the process of detecting the abnormality of the data processing system) and the abnormality detection process based on the abnormality of the two-dimensional data, the abnormality of the data processing system can be detected quickly. In addition to being able to detect abnormalities in the data processing system over a wide range.
  • the abnormality detection unit 44 may be configured to detect an abnormality in the data processing system based on the duration of the abnormality in the external environment data. Specifically, in this modification 2, the abnormality detection unit 44 determines that an abnormality has occurred in the data processing system when the duration of the abnormality of the external environment data exceeds a predetermined normal time. If the duration of the abnormality of the external environment data does not exceed the normal time, it is determined that no abnormality has occurred in the data processing system. Also in this modification 2, the abnormality of the external environment data may include a static abnormality of the external environment data and an abnormality of the temporal change of the external environment data (dynamic abnormality).
  • the abnormality detection unit 44 may be configured to detect an abnormality in the data processing system based on the abnormality of both the integrated data and the two-dimensional data. Specifically, in the second modification of this embodiment, the abnormality detection unit 44 determines the data processing system when the duration of the abnormality of at least one of the integrated data and the two-dimensional data exceeds a predetermined normal time. It is configured to determine that an abnormality has occurred in the data processing system, and if the duration of each abnormality of the integrated data and the two-dimensional data does not exceed the normal time, it is determined that no abnormality has occurred in the data processing system. You may.
  • the abnormality detection unit 44 detects an abnormality in the data processing system based on the duration of the abnormality in the external environment expressed in the external environment data. This makes it possible to reduce over-detection of abnormalities in the data processing system. For example, when the external environment represented in the external environment data becomes abnormal for a short time due to another cause other than the abnormality of the data processing system (for example, instantaneous noise), the abnormality of the data processing system is erroneously detected. It is possible to avoid the situation. As a result, it is possible to appropriately detect an abnormality in the data processing system.
  • FIG. 13 illustrates a specific structure of the above-mentioned arithmetic unit 20.
  • the arithmetic unit 20 is provided in the vehicle V.
  • the arithmetic unit 20 has one or more electronic control units (ECUs).
  • the electronic control unit has one or more chips A.
  • Chip A has one or more cores B.
  • the core B has a processor P and a memory M. That is, the arithmetic unit 20 has one or more processors P and one or more memories M.
  • the memory M stores programs and information for operating the processor.
  • the memory M stores a module that is software that can be executed by the processor P, data indicating a model used in the processing of the processor P, and the like.
  • the functions of each part of the control device 20 described above are realized by the processor P executing each module stored in the memory M.
  • a vehicle (automobile four-wheeled vehicle) is taken as an example as a moving body, but the present invention is not limited to this.
  • the moving body may be a ship, a train, an aircraft, a motorcycle, a self-sustaining robot, a vacuum cleaner, a drone, or the like.
  • the two-dimensional data generation unit 43 may be provided in the artificial intelligence accelerator 32, or may be provided in another arithmetic chip.
  • the abnormality detection unit 44 may be provided on the control chip 33, the artificial intelligence accelerator 32, or another arithmetic chip. The same can be said for other configurations of the external environment recognition unit 21 (for example, the preprocessing unit 40) and other configurations of the arithmetic unit 20 (for example, the candidate route generation unit 22).
  • the external environment recognition unit 21 is composed of the image processing chip 31, the artificial intelligence accelerator 32, and the control chip 33 has been given as an example, but the present invention is not limited to this.
  • the external environment recognition unit 21 may be composed of two or less arithmetic chips, or may be composed of four or more arithmetic chips. The same can be said for other configurations of the external environment recognition unit 21 (for example, the preprocessing unit 40) and other configurations of the arithmetic unit 20 (for example, the candidate route generation unit 22).
  • the technology disclosed here is useful as an external environment recognition device that recognizes the external environment of a moving object.
  • Vehicle control system (mobile control system) 11 Camera (imaging unit) 12 Radar (detector) 13 Position sensor 14 Vehicle status sensor 15 Driver status sensor 16 Driving operation sensor 17 Communication unit 18 Control unit 19 Human machine interface 20 Computing device 21 External environment recognition unit 22 Candidate route generation unit 23 Vehicle behavior recognition unit 24 Driver behavior recognition unit 25 Target Motion determination unit 26 Motion control unit 31 Image processing chip 32 Artificial intelligence accelerator 33 Control chip 40 Preprocessing unit 41 Recognition processing unit 42 Integrated data generation unit 43 Two-dimensional data generation unit 44 Abnormality detection unit 45 External environment data generation unit 50 Roadway ( Movable area) 60 Target 61 Other vehicle 62 Sign 63 Roadside tree 71 Sidewalk 72 Open space 80 Building 100 Own vehicle (moving body) 101 actuator

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

認識処理部（４１）は、移動体の外部環境を撮像する撮像部（１１）により得られた画像データに基づいて移動体の外部環境を認識する。外部環境データ生成部（４５）は、認識処理部（４１）の認識結果に基づいて認識処理部（４１）により認識された外部環境を表現する外部環境データを生成する。異常検出部（４４）は、外部環境データの異常に基づいて、撮像部（１１）と認識処理部（４１）と外部環境データ生成部（４５）とを含むデータ処理系統の異常を検出する。

Description

外部環境認識装置
　ここに開示する技術は、移動体の外部の環境を認識する外部環境認識装置に関する。
　特許文献１には、車両に搭載される画像処理装置が開示されている。この画像処理装置は、カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、入力画像における路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、路面検出部による路面領域の検出結果と時系列検証部による時系列検証の結果とに基づいて対象物を検知するための検知領域を入力画像内に設定する検知領域選択部と、検知領域において対象物を検知する検知部とを備える。
特開２０１８－２２２３４号公報
　ところで、特許文献１のような装置に設けられたデータ処理系統の異常を検出するために、異常検出の対象となるデータ処理系統を二重化することが考えられる。具体的には、同一のデータ処理を行う２つの処理部を設け、２つの処理部に同一のデータを入力して２つの処理部の出力を比較し、２つの処理部の出力が互いに異なる場合にデータ処理に異常があると判定する、という方式（いわゆるデュアルロックステップ方式）を採用することが考えられる。しかしながら、データ処理系統を二重化すると、冗長な構成が追加されることになるので、データ処理系統の回路規模および消費電力が増加してしまう。
　ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することが可能な外部環境認識装置を提供することにある。
　ここに開示する技術は、移動体の外部環境を認識する外部環境認識装置に関する。この外部環境認識装置は、前記移動体の外部環境を撮像する撮像部により得られた画像データに基づいて、該移動体の外部環境を認識する認識処理部と、前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境を表現する外部環境データを生成する外部環境データ生成部と、前記外部環境データの異常に基づいて、前記撮像部と前記認識処理部と前記外部環境データ生成部とを含むデータ処理系統の異常を検出する異常検出部とを備える。
　前記の構成では、異常検出の対象となるデータ処理系統を二重化することなく、データ処理系統の異常を検出することができる。これにより、異常検出の対象となるデータ処理系統を二重化する場合よりも、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
　なお、前記外部環境データ生成部は、前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境に含まれる移動可能領域および物標が統合された統合データを生成する統合データ生成部と、前記統合データに基づいて、該統合データに含まれる移動可能領域および物標が二次元化された二次元データを生成する二次元データ生成部とを含んでもよい。前記外部環境データの異常は、前記統合データおよび前記二次元データのいずれか一方の異常であってもよい。
　前記の構成では、異常検出部は、統合データおよび二次元データのいずれか一方の異常に基づいて、データ処理系統の異常を検出する。二次元データの生成よりも前に生成される統合データの異常に基づいてデータ処理系統の異常を検出することにより、二次元データの異常に基づいてデータ処理系統の異常を検出する場合よりも、データ処理系統の異常を素早く検出することができる。一方、統合データの生成よりも後に生成される二次元データの異常に基づいてデータ処理系統の異常を検出することにより、統合データの異常に基づいてデータ処理系統の異常を検出する場合よりも、データ処理系統の異常を広範囲に検出することができる。
　または、前記外部環境データ生成部は、前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境に含まれる移動可能領域および物標が統合された統合データを生成する統合データ生成部と、前記統合データに基づいて、該統合データに含まれる移動可能領域および物標が二次元化された二次元データを生成する二次元データ生成部とを含んでもよい。前記外部環境データの異常は、前記統合データおよび前記二次元データの両方の異常であってもよい。
　前記の構成では、異常検出部は、統合データおよび二次元データの両方の異常に基づいて、データ処理系統の異常を検出する。このように、統合データの異常に基づく異常検出処理（データ処理系統の異常を検出する処理）と二次元データの異常に基づく異常検出処理の両方を行うことにより、データ処理系統の異常を素早く検出することができるとともに、データ処理系統の異常を広範囲に検出することができる。
　また、前記外部環境データの異常は、該外部環境データに表現される外部環境の時間的変化の異常であってもよい。
　前記の構成では、異常検出部は、外部環境データに表現される外部環境の時間的変化の異常に基づいて、データ処理系統の異常を検出する。このように、外部環境データに表現される外部環境の時間的変化に基づくことにより、単一の時点における外部環境データに表現される外部環境だけでは検出することができない異常を検出することができる。これにより、データ処理系統の異常の検出精度を向上させることができる。
　また、前記異常検出部は、前記外部環境データの異常の継続時間に基づいて、前記データ処理系統の異常を検出するように構成されてもよい。
　前記の構成では、外部環境データに表現される外部環境の異常の継続時間に基づいてデータ処理系統の異常を検出することにより、データ処理系統の異常の過検出を低減することができる。これにより、データ処理系統の異常の検出を適切に行うことができる。
　ここに開示する技術によれば、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
実施形態による移動体制御システムの構成を例示するブロック図である。 外部環境認識部の構成を例示するブロック図である。 外部環境認識部の基本動作を例示するフローチャートである。 画像データを例示する図である。 画像データの分類結果を例示する図である。 統合データの概念を例示する図である。 二次元データを例示する図である。 外部環境認識部のデータ量の変化を例示するグラフである。 異常検出部による異常検出処理を例示するフローチャートである。 二次元データの異常の具体例１を示す図である。 二次元データの異常の具体例２を示す図である。 二次元データの異常の具体例３を示す図である。 演算装置の具体的構造を例示する図である。
　以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。以下では、移動体の動作を制御する移動体制御システムの一例である車両制御システム１０を例に挙げて説明する。
　（実施形態）
　図１は、車両制御システム１０の構成を例示する。車両制御システム１０は、移動体の一例である車両（この例では自動四輪車）に設けられる。この車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する運転である。車両制御システム１０は、自動運転およびアシスト運転において、車両に設けられたアクチュエータ１０１を制御することで車両の動作を制御する。例えば、アクチュエータ１０１は、エンジン、トランスミッション、ブレーキ、ステアリングなどを含む。
　なお、以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。
　この例では、車両制御システム１０は、複数のカメラ１１と、複数のレーダ１２と、位置センサ１３と、車両状態センサ１４と、ドライバ状態センサ１５と、運転操作センサ１６と、通信部１７と、コントロールユニット１８と、ヒューマンマシンインターフェース１９と、演算装置２０とを備える。演算装置２０は、外部環境認識装置の一例である。
　　〔カメラ（撮像部）〕
　複数のカメラ１１は、互いに同様の構成を有する。カメラ１１は、自車両の外部環境を撮像することで、自車両の外部環境を示す画像データを取得する。カメラ１１により得られた画像データは、演算装置２０に送信される。なお、カメラ１１は、移動体の外部環境を撮像する撮像部の一例である。
　この例では、カメラ１１は、広角レンズを有する単眼カメラである。そして、複数のカメラ１１による自車両の外部環境の撮像範囲が自車両の周囲の全周に渡るように、複数のカメラ１１が自車両に配置されている。例えば、カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ１１は、通常のレンズ（例えば狭角レンズ）を有する単眼カメラであってもよいし、ステレオカメラであってもよい。
　　〔レーダ（検出部）〕
　複数のレーダ１２は、互いに同様の構成を有する。レーダ１２は、自車両の外部環境を検出する。具体的には、レーダ１２は、自車両の外部環境へ向けて電波（探知波の一例）を送信して自車両の外部環境からの反射波を受信することで、自車両の外部環境を検出する。レーダ１２の検出結果は、演算装置２０に送信される。なお、レーダ１２は、移動体の外部環境を検出する検出部の一例である。検出部は、移動体の外部環境へ向けて探知波を送信して移動体の外部環境からの反射波を受信することで、移動体の外部環境を検出する。
　この例では、複数のレーダ１２による自車両の外部環境の検出範囲が自車両の周囲の全周に渡るように、複数のレーダ１２が自車両に配置されている。例えば、レーダ１２は、ミリ波（探知波の一例）を送信するミリ波レーダであってもよいし、レーザ光（探知波の一例）を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線（探知波の一例）を送信する赤外線レーダであってもよいし、超音波（探知波の一例）を送信する超音波センサであってもよい。
　　〔位置センサ〕
　位置センサ１３は、自車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ１３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて自車両の位置を検出する。位置センサ１３により検出された自車両の位置は、演算装置２０に送信される。
　　〔車両状態センサ〕
　車両状態センサ１４は、自車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ１４は、自車両の速度を検出する車速センサ、自車両の加速度を検出する加速度センサ、自車両のヨーレートを検出するヨーレートセンサなどにより構成される。車両状態センサ１４により検出された自車両の状態は、演算装置２０に送信される。
　　〔ドライバ状態センサ〕
　ドライバ状態センサ１５は、自車両を運転するドライバの状態（例えばドライバの健康状態や感情や身体挙動など）を検出する。例えば、ドライバ状態センサ１５は、ドライバを撮像する車内カメラ、ドライバの生体情報を検出する生体情報センサなどにより構成される。ドライバ状態センサ１５により検出されたドライバの状態は、演算装置２０に送信される。
　　〔運転操作センサ〕
　運転操作センサ１６は、自車両に加えられる運転操作を検出する。例えば、運転操作センサ１６は、自車両のハンドルの操舵角を検出する操舵角センサ、自車両のアクセルの操作量を検出するアクセルセンサ、自車両のブレーキの操作量を検出するブレーキセンサなどにより構成される。運転操作センサ１６により検出された運転操作は、演算装置２０に送信される。
　　〔通信部〕
　通信部１７は、自車両の外部に設けられた外部装置との間で通信を行う。例えば、通信部１７は、自車両の周囲に位置する他車両（図示を省略）からの通信情報、ナビゲーションシステム（図示を省略）からの交通情報などを受信する。通信部１７により受信された情報は、演算装置２０に送信される。
　　〔コントロールユニット〕
　コントロールユニット１８は、演算装置２０により制御され、自車両に設けられたアクチュエータ１０１を制御する。例えば、コントロールユニット１８は、パワートレイン装置、ブレーキ装置、ステアリング装置などを含む。パワートレイン装置は、後述する駆動指令値に示された目標駆動力に基づいて、アクチュエータ１０１に含まれるエンジンおよびトランスミッションを制御する。ブレーキ装置は、後述する制動指令値に示された目標制動力に基づいて、アクチュエータ１０１に含まれるブレーキを制御する。ステアリング装置は、後述する操舵指令値に示された目標操舵量に基づいてアクチュエータ１０１に含まれるステアリングを制御する。
　　〔ヒューマンマシンインターフェース〕
　ヒューマンマシンインターフェース１９は、演算装置２０と自車両の乗員（特にドライバ）との間において情報の入出力を行うために設けられる。例えば、ヒューマンマシンインターフェース１９は、情報を表示するディスプレイ、情報を音声出力するスピーカ、音声を入力するマイク、自車両の乗員（特にドライバ）による操作が与えられる操作部などを含む。操作部は、タッチパネルやボタンである。
　　〔演算装置〕
　演算装置２０は、自車両に設けられたセンサ類の出力および車外から送信された情報などに基づいて、自車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる自車両の運動である目標運動を決定する。そして、演算装置２０は、自車両の運動が目標運動となるように、コントロールユニット１８を制御してアクチュエータ１０１の動作を制御する。例えば、演算装置２０は、１つまたは複数の演算チップを有する電子制御ユニット（ＥＣＵ）により構成される。言い換えると、演算装置２０は、１つまたは複数のプロセッサ、１つまたは複数のプロセッサを動作させるためのプログラムやデータを記憶する１つまたは複数のメモリなどを有する電子制御ユニット（ＥＣＵ）により構成される。
　この例では、演算装置２０は、外部環境認識部２１と、候補経路生成部２２と、車両挙動認識部２３と、ドライバ挙動認識部２４と、目標運動決定部２５と、運動制御部２６とを有する。これらは、演算装置２０の機能の一部である。
　外部環境認識部２１は、自車両の外部環境を認識する。候補経路生成部２２は、外部環境認識部２１の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、自車両が走行可能な経路であり、目標経路の候補である。
　車両挙動認識部２３は、車両状態センサ１４の出力に基づいて自車両の挙動（例えば速度や加速度やヨーレートなど）を認識する。例えば、車両挙動認識部２３は、深層学習により生成された学習モデルを用いて車両状態センサ１４の出力から自車両の挙動を認識する。ドライバ挙動認識部２４は、ドライバ状態センサ１５の出力に基づいてドライバの挙動（例えばドライバの健康状態や感情や身体挙動など）を認識する。例えば、ドライバ挙動認識部２４は、深層学習により生成された学習モデルを用いてドライバ状態センサ１５の出力からドライバの挙動を認識する。
　目標運動決定部２５は、車両挙動認識部２３の出力と、ドライバ挙動認識部２４の出力に基づいて、候補経路生成部２２により生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、目標運動決定部２５は、複数の候補経路のうちドライバが最も快適であると感じる候補経路を選択する。そして、目標運動決定部２５は、目標経路として選択された候補経路に基づいて目標運動を決定する。
　運動制御部２６は、目標運動決定部２５により決定された目標運動に基づいてコントロールユニット１８を制御する。例えば、運動制御部２６は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、運動制御部２６は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値をコントロールユニット１８に含まれるパワートレイン装置とブレーキ装置とステアリング装置にそれぞれ送信する。
　　〔外部環境認識部〕
　図２は、外部環境認識部２１の構成を例示する。この例では、外部環境認識部２１は、画像処理チップ３１と、人工知能アクセラレータ３２と、制御チップ３３とにより構成される。画像処理チップ３１と人工知能アクセラレータ３２と制御チップ３３の各々は、プロセッサと、プロセッサを動作させるためのプログラムやデータなどを記憶するメモリとにより構成される。
　この例では、外部環境認識部２１は、前処理部４０と、認識処理部４１と、統合データ生成部４２と、二次元データ生成部４３と、異常検出部４４とを有する。これらは、外部環境認識部２１の機能の一部である。この例では、画像処理チップ３１に前処理部４０が設けられ、人工知能アクセラレータ３２に認識処理部４１と統合データ生成部４２が設けられ、制御チップ３３に二次元データ生成部４３と異常検出部４４が設けられる。
　　　〈前処理部〉
　前処理部４０は、カメラ１１により得られた画像データに対して前処理を行う。前処理には、画像データに示された画像の歪みを補正する歪み補正処理、画像データに示された画像の明度を調整するホワイトバランス調整処理などが含まれる。
　　　〈認識処理部〉
　認識処理部４１は、前処理部４０により前処理された画像データに基づいて、自車両の外部環境を認識する。この例では、認識処理部４１は、画像データに基づいて認識された自車両の外部環境と、レーザ１２の検出結果（すなわちレーダ１２により検出された自車両の外部環境）とに基づいて、自車両の外部環境の認識結果を出力する。
　　　〈統合データ生成部〉
　統合データ生成部４２は、認識処理部４１の認識結果に基づいて、統合データを生成する。統合データは、認識処理部４１により認識された自車両の外部環境に含まれる移動可能領域および物標が統合されたデータである。この例では、統合データ生成部４２は、認識処理部４１の認識結果に基づいて、統合データを生成する。
　　　〈二次元データ生成部〉
　二次元データ生成部４３は、統合データ生成部４２により生成された統合データに基づいて、二次元データを生成する。二次元データは、統合データに含まれる移動可能領域および物標が二次元化されたデータである。
　　　〈外部環境データ生成部〉
　なお、この例では、統合データ生成部４２と二次元データ生成部４３が外部環境データ生成部４５を構成している。外部環境データ生成部４５は、認識処理部４１の認識結果に基づいて、外部環境データ（オブジェクトデータ）を生成する。外部環境データは、認識処理部４１により認識された自車両の外部環境を表現するデータである。この例では、外部環境データ生成部４５は、認識処理部４１の認識結果に基づいて、外部環境データを生成する。
　　　〈異常検出部〉
　異常検出部４４は、外部環境データ生成部４５により生成された外部環境データの異常に基づいて、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統の異常を検出する。この例では、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統は、カメラ１１から前処理部４０と認識処理部４１と統合データ生成部４２を順に経由して二次元データ生成部４３に至るデータ処理系統である。例えば、異常検出部４４は、データ処理系統の異常を検出する異常検出処理において、深層学習により生成された学習モデルを用いて外部環境データの異常を検出するように構成されてもよい。この学習モデルは、外部環境データの異常を検出するための学習モデルである。なお、異常検出部４４は、他の周知の異常検出技術を用いて外部環境データの異常を検出するように構成されてもよい。
　また、この例では、外部環境データの異常は、統合データおよび二次元データのいずれか一方の異常である。すなわち、この例では、異常検出部４４は、統合データおよび二次元データのいずれか一方の異常に基づいて、データ処理系統の異常を検出する。
　　〔外部環境認識部の基本動作〕
　次に、図３を参照して、外部環境認識部２１の基本動作について説明する。
　　　〈ステップＳ１１〉
　まず、前処理部４０は、カメラ１１により得られた画像データに対して前処理を行う。この例では、前処理部４０は、複数のカメラ１１により得られた複数の画像データの各々に対して前処理を行う。前処理には、画像データに示された画像の歪み（この例ではカメラ１１の広角化による歪み）を補正する歪み補正処理や、画像データに示された画像のホワイトバランスを調整するホワイトバランス調整処理などが含まれる。なお、カメラ１１により得られた画像データに歪みがない場合（例えば通常のレンズを有するカメラを用いる場合）は、歪み補正処理が省略されてもよい。
　図４に示すように、画像データＤ１に示された自車両の外部環境には、車道５０と歩道７１と空地７２が含まれている。車道５０は、自車両が移動することができる移動可能領域の一例である。また、この画像データＤ１に示された自車両の外部環境には、他車両６１と標識６２と街路樹６３と建物８０が含まれている。他車両６１（自動四輪車）は、時間経過により変位する動体の一例である。動体の他の例としては、自動二輪車、自転車、歩行者などが挙げられる。標識６２と街路樹６３は、時間経過により変位しない静止体の一例である。静止体の他の例としては、中央分離帯、センターポール、建物などが挙げられる。動体と静止体は、物標６０の一例である。
　図４の例では、車道５０の外側に歩道７１が設けられ、歩道７１の外側（車道５０から遠い側）に空地７２が設けられている。また、図４の例では、車道５０のうち自車両が走行する車線を１台の他車両６１が走行し、車道５０のうち自車両が走行する車線の対向車線を２台の他車両６１が走行している。そして、歩道７１の外側に沿うように標識６２と街路樹６３が並んでいる。また、自車両の前方の遠い位置に建物８０が設けられている。
　　　〈ステップＳ１２〉
　次に、認識処理部４１は、画像データＤ１に対して分類処理を行う。この例では、認識処理部４１は、複数のカメラ１１により得られた複数の画像データの各々に対して分類処理を行う。分類処理では、認識処理部４１は、画像データＤ１に示された画像を画素単位で分類し、その分類結果を示す分類情報を画像データＤ１に付加する。この分類処理により、認識処理部４１は、画像データＤ１に示された画像（自車両の外部環境を示す画像）の中から移動可能領域および物標を認識する。例えば、認識処理部４１は、深層学習により生成された学習モデルを用いて分類処理を行う。この学習モデルは、画像データＤ１に示された画像を画素単位で分類するための学習モデルである。なお、認識処理部４１は、他の周知の分類技術を用いて分類処理を行うように構成されてもよい。
　図５は、画像データＤ１に示される画像の分類結果を例示するセグメンテーション画像Ｄ２を示す。図５の例では、画像データＤ１に示される画像は、画素単位で、車道と車両と標識と街路樹と歩道と空地と建物のいずれかに分類されている。
　　　〈ステップＳ１３〉
　次に、認識処理部４１は、画像データに対して、移動可能領域データ生成処理を行う。移動可能領域データ生成処理では、認識処理部４１は、画像データＤ１に示される画像の中から分類処理により移動可能領域（この例では車道５０）に分類された画素領域を特定し、その特定された画素領域に基づいて移動可能領域データを生成する。移動可能領域データは、認識処理部４１により認識された移動可能領域を表現するデータ（この例では三次元マップデータ）である。この例では、認識処理部４１は、同一の時点において複数のカメラ１１により取得された複数の画像データの各々において特定された移動可能領域に基づいて、移動可能領域データを生成する。例えば、移動可能データ生成処理には、周知の三次元データ生成技術が用いられてもよい。
　　　〈ステップＳ１４〉
　また、認識処理部４１は、物標情報生成処理を行う。物標情報生成処理では、認識処理部４１は、第１情報生成処理と、第２情報生成処理と、情報統合処理とを行う。
　第１情報生成処理は、画像データに対して行われる。この例では、認識処理部４１は、複数のカメラ１１により得られた複数の画像データの各々に対して第１情報生成処理を行う。第１情報生成処理では、認識処理部４１は、画像データＤ１に示される画像の中から分類処理により物標６０に分類された画素領域を特定し、その特定された画素領域に基づいて物標情報を生成する。なお、画像データＤ１に示された画像において複数の物標６０が認識された場合、認識処理部４１は、複数の物標６０の各々に対して第１情報生成処理を行う。物標情報は、物標６０に関する情報であり、物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなどを示す。例えば、認識処理部４１は、深層学習により生成された学習モデルを用いて第１情報生成処理を行う。この学習モデルは、画像データＤ１に示される画像の中から特定された画素領域（物標６０に分類された画素領域）に基づいて物標情報を生成ための学習モデルである。なお、認識処理部４１は、他の周知の情報生成技術（物標検出技術）を用いて第１情報生成処理を行うように構成されてもよい。
　第２情報生成処理は、レーダ１２の出力に対して行われる。この例では、認識処理部４１は、複数のレーダ１２の各々の出力に基づいて第２情報生成処理を行う。第２情報生成処理では、認識処理部４１は、レーダ１２の検出結果に基づいて物標情報を生成する。例えば、認識処理部４１は、レーダ１２の検出結果（自車両の外部環境を表現する反射波の強度分布）に対して解析処理を行うことで、物標情報（具体的には物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなど）を導出する。なお、認識処理部４１は、深層学習により生成された学習モデル（レーダ１２の検出結果に基づいて物標情報を生成するための学習モデル）を用いて第２情報生成処理を行うように構成されてもよいし、他の周知の解析技術（物標検出技術）を用いて第２情報生成処理を行うように構成されてもよい。
　情報統合処理では、認識処理部４１は、第１情報生成処理により得られた物標情報と、第２情報生成処理により得られた物標情報とを統合することにより、新たな物標情報を生成する。例えば、認識処理部４１は、物標情報に含まれる複数のパラメータ（具体的には物標６０の種別、物標６０の形状、自車両から物標６０までの距離および方向、自車両を基準とする物標６０の位置、自車両の移動速度に対する物標６０の相対速度の大きさおよび向きなど）の各々について、第１情報生成処理により得られた物標情報のパラメータと第２情報生成処理により得られた物標情報のパラメータとを比較し、２つのパラメータのうち精度が高いほうのパラメータを新たな物標情報に含まれるパラメータとする。
　　　〈ステップＳ１５〉
　次に、統合データ生成部４２は、ステップＳ１３において生成された移動可能領域データと、ステップＳ１４において生成された物標情報とを統合することにより、統合データＤ３を生成する。統合データＤ３は、認識処理部４１により認識された移動可能領域（この例では車道５０）および物標６０が統合されたデータ（この例では三次元マップデータ）である。例えば、統合データ生成部４２は、周知のデータ統合技術を用いて、移動可能領域データと物標情報とから統合データＤ３を生成するように構成されてもよい。
　図６は、統合データＤ３の概念を例示する。図６に示すように、統合データＤ３では、物標６０が抽象化されている。
　　　〈ステップＳ１６〉
　次に、二次元データ生成部４３は、統合データＤ３を二次元化することにより、二次元データＤ４を生成する。二次元データＤ４は、統合データＤ３に含まれる移動可能領域（この例では車道５０）および物標６０が二次元化されたデータ（この例では二次元マップデータ）である。例えば、二次元データ生成部４３は、周知の二次元化技術を用いて、統合データＤ３から二次元データＤ４を生成するように構成されてもよい。
　図７に示すように、二次元データＤ４では、移動可能領域（この例では車道５０）と物標６０（この例では自車両１００）とが二次元化されている。この例では、二次元データＤ４は、自車両１００の俯瞰図（上空から自車両１００を見下ろした図）に対応する。二次元データＤ４には、車道５０と他車両６１と自車両１００とが含まれている。
　　〔外部環境認識部のデータ量の変化〕
　次に、図８を参照して、外部環境認識部２１のデータ量の変化について説明する。
　認識処理部４１において前処理が完了して分類処理が行われると、画像データＤ１に分類情報が付与される。これにより、データ量が増加する。次に、認識処理部４１において分類処理が完了すると、統合データ生成部４２において分類処理が付加された画像データＤ１が統合データＤ３に変換される。統合データＤ３では、自車両の外部環境（特に物標６０）が抽象化されているので、統合データＤ３のデータ量は、画像データＤ１のデータ量よりも少ない。したがって、画像データＤ１を統合データＤ３に変換することにより、データ量が減少する。次に、統合データ生成部４２において統合データＤ３の生成が完了すると、二次元データ生成部４３において統合データＤ３が二次元データＤ４に変換される。二次元データＤ４では、統合データＤ３による表現される自車両の外部環境が二次元化されているので、二次元データＤ４のデータ量は、統合データＤ３のデータ量よりも少ない。したがって、統合データＤ３を二次元データＤ４に変換することにより、データ量がさらに減少する。
　　〔異常検出処理〕
　次に、図９を参照して、異常検出部４４による異常検出処理（データ処理系統の異常を検出する処理）について説明する。
　　　〈ステップＳ２１〉
　まず、異常検出部４４は、外部環境データ生成部４５により生成された外部環境データ（この例では統合データまたは二次元データ）を取得する。
　　　〈ステップＳ２２〉
　次に、異常検出部４４は、外部環境データの異常が発生しているか否かを判定する。外部環境データの異常が発生している場合には、ステップＳ２３の処理が行われ、そうでない場合には、ステップＳ２４の処理が行われる。
　　　〈ステップＳ２３〉
　外部環境データの異常が発生している場合、異常検出部４４は、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統の異常が発生していると判定する。
　　　〈ステップＳ２４〉
　一方、外部環境データの異常が発生していない場合、異常検出部４４は、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統の異常が発生していないと判定する。
　　〔外部環境データの異常の具体例〕
　次に、外部環境データの異常について説明する。この例では、外部環境データの異常には、外部環境データの静的な異常と、外部環境データの時間的変化の異常（動的な異常）とがある。すなわち、この例では、異常検出部４４は、外部環境データの静的な異常および外部環境データの時間的変化の異常のうち少なくとも一方が発生している場合に、データ処理系統の異常が発生していると判定し、外部環境データの静的な異常および外部環境データの時間的変化の異常の両方が発生していない場合に、データ処理系統の異常が発生していないと判定する。
　　　〈外部環境データの静的な異常〉
　外部環境データの静的な異常は、単一の時点において取得された画像データに基づいて生成された外部環境データに基づいて検出される。外部環境データの静的な異常の例としては、外部環境データのデータ量の異常、外部環境データに表現された自車両の外部環境の異常などが挙げられる。
　外部環境データのデータ量の異常に基づく異常検出処理（データ処理系統の異常を検出する処理）では、異常検出部４４は、外部環境データのデータ量が予め定められた正常範囲から逸脱する場合に、データ処理系統の異常が発生していると判定し、外部環境データのデータ量が正常範囲から逸脱しない場合に、データ処理系統の異常が発生していないと判定する。
　外部環境データに表現された自車両の外部環境の異常に基づく異常検出処理では、異常検出部４４は、外部環境データに表現された自車両の外部環境が非現実的である場合に、データ処理系統の異常が発生していると判定し、外部環境データに表現された自車両の外部環境が現実的である場合に、データ処理系統の異常が発生していないと判定する。なお、外部環境データに表現された自車両の外部環境が非現実的である例としては、外部環境データに表現された自車両の外部環境に含まれる車道５０の位置および/または形状が非現実的である場合、外部環境データに表現された自車両の外部環境に含まれる物標６０の位置および/または形状が非現実的である場合、外部環境データに表現された自車両の外部環境に含まれる車道５０および物標６０の各々の位置および/または形状が非現実的である場合などが挙げられる。具体的には、車道５０の幅が予め定められた車道幅範囲（例えば想定される車道５０の幅の最小値から最大値までの範囲）から逸脱している場合、物標６０の一例である他車両６１の車幅が予め定められた車幅範囲（例えば想定される他車両６１の幅の最小値から最大値までの範囲）から逸脱している場合などが挙げられる。
　　　〈外部環境データの時間的変化の異常〉
　外部環境データの時間的変化の異常は、それぞれ異なる時点において取得された複数の画像データに基づいて生成された複数の外部環境データに基づいて検出される。外部環境データの時間的変化の異常の例としては、外部環境データのデータ量の時間的変化の異常、外部環境データに表現された自車両の外部環境の時間的変化の異常などが挙げられる。
　外部環境データのデータ量の時間的変化の異常に基づく異常検出処理（データ処理系統の異常を検出する処理）では、異常検出部４４は、外部環境データのデータ量の時間的変化量（例えば単位時間当たりの変化量）が予め定められた正常変化範囲から逸脱する場合に、データ処理系統の異常が発生していると判定し、外部環境データのデータ量の時間的変化量が正常変化範囲から逸脱しない場合に、データ処理系統の異常が発生していないと判定する。
　外部環境データに表現された自車両の外部環境の時間的変化の異常に基づく異常検出処理では、異常検出部４４は、外部環境データに表現された自車両の外部環境の時間的変化が非現実的である場合に、データ処理系統の異常が発生していると判定し、外部環境データに表現された自車両の外部環境の時間的変化が現実的である場合に、データ処理系統の異常が発生していないと判定する。なお、外部環境データに表現された自車両の外部環境の時間的変化が非現実的である例としては、外部環境データに表現された自車両の外部環境に含まれる車道５０（移動可能領域）の位置および/または形状の時間的変化が非現実的である場合、外部環境データに表現された自車両の外部環境に含まれる物標６０の位置および/または形状の時間的変化が非現実的である場合、外部環境データに表現された自車両の外部環境に含まれる車道５０および物標６０の各々の位置および/または形状の時間的変化が非現実的である場合などが挙げられる。具体的には、車道５０の幅の時間的変化量が予め定められた車道幅上限変化量（例えば想定される車道５０の幅の時間的変化量の上限）を上回る場合、物標６０の一例である他車両６１の車幅の時間的変化量が予め定められた車幅上限変化量（例えば想定される他車両６１の幅の時間的変化量の上限）を上回る場合、他車両６１や標識６２などの物標６０が急に消えて物標６０を追跡することができない場合などが挙げられる。
　　〔異常の因果関係〕
　次に、図１０，図１１，図１２を参照して、データ処理系統の異常と外部環境データの異常との因果関係について具体例を挙げて説明する。
　　　〈具体例１〉
　例えば、カメラ１１により得られた画像データＤ１を蓄積するラインバッファ（図示を省略）において異常が生じると、ラインバッファから出力される画像データには、ストライプ状のノイズが発生する。この場合、ラインバッファから出力された画像データに基づいて認識処理部４１が認識処理を行うと、認識処理部４１において物標６０の認識漏れや誤認識が発生する可能性がある。このように、認識処理部４１において物標６０の認識漏れや誤認識が発生すると、図１０の二点鎖線で示すように、認識処理部４１の認識結果に基づいて生成された二次元データＤ４から本来存在すべき他車両６１が消えてしまい、その他車両６１を追跡することができなくなる可能性がある。このように、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統の一部を構成するラインバッファに異常が生じると、外部環境データに表現された自車両の外部環境に異常が生じることになる。
　　　〈具体例２〉
　また、カメラ１１の露光時間が短すぎるという異常がカメラ１１に発生すると、カメラ１１により得られる画像データに示される画像が全体的に暗くなる。この場合、画像データに示される画像の明度の不足により、認識処理部４１において車道５０（移動可能領域）および物標６０の認識漏れや誤認識が発生する可能性がある。このように、認識処理部４１において車道５０および物標６０の認識漏れや誤認識が発生すると、図１１の二点鎖線で示すように、認識処理部４１の認識結果に基づいて生成された二次元データＤ４から本来存在すべき他車両６１が消えてしまい、その他車両６１を追跡することができなくなる。また、二次元データＤ４から本来存在すべき車道５０の境界線が消えてしまい、車道５０を更新することができなくなる可能性がある。このように、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統の一部を構成するカメラ１１に異常が生じると、外部環境データに表現された自車両の外部環境に異常が生じることになる。
　　　〈具体例３〉
　また、前処理部４０の歪み補正処理に異常が生じると、前処理部４０から出力される画像データに示される画像に歪みが残り、その結果、認識処理部４１において車道５０（移動可能領域）および物標６０の認識漏れや誤認識が発生する可能性がある。このように、認識処理部４１において車道５０および物標６０の認識漏れや誤認識が発生すると、図１２の二点鎖線で示すように、認識処理部４１の認識結果に基づいて生成された二次元データＤ４から本来存在すべき他車両６１が消えてしまい、その他車両６１を追跡することができなくなる可能性がある。また、二次元データＤ４に表現される車道５０の境界線（図１２の例では車線境界線）に歪みが生じてしまう可能性がある。このように、カメラ１１と認識処理部４１と外部環境データ生成部４５とを含むデータ処理系統の一部を構成する前処理部４０に異常が生じると、外部環境データに表現された自車両の外部環境に異常が生じることになる。
　　〔実施形態の効果〕
　以上のように、この実施形態の演算装置２０では、異常検出の対象となるデータ処理系統を二重化することなく、データ処理系統の異常を検出することができる。これにより、異常検出の対象となるデータ処理系統を二重化する場合よりも、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
　なお、外部環境データ（統合データＤ３または二次元データＤ４）のデータ量は、画像データＤ１のデータ量よりも少ない。したがって、外部環境データに基づいて異常検出部４４が異常検出処理（データ処理系統の異常を検出するための処理）を行うことにより、画像データＤ１に基づいて異常検出部４４が異常検出処理を行う場合よりも、異常検出部４４の処理負荷を軽減することができる。これにより、異常検出部４４の回路規模および消費電力のうち少なくとも一方を低減することができる。また、異常検出部４４によるデータ処理系統の異常の検出を高速化することができる。
　また、この実施形態の演算装置２０では、異常検出部４４は、統合データおよび二次元データのいずれか一方の異常に基づいて、データ処理系統の異常を検出する。二次元データの生成よりも前に生成される統合データの異常に基づいてデータ処理系統の異常を検出することにより、二次元データの異常に基づいてデータ処理系統の異常を検出する場合よりも、データ処理系統の異常を素早く検出することができる。一方、統合データの生成よりも後に生成される二次元データの異常に基づいてデータ処理系統の異常を検出することにより、統合データの異常に基づいてデータ処理系統の異常を検出する場合よりも、データ処理系統の異常を広範囲に検出することができる。具体的には、カメラ１１（撮像部）から認識処理部４１と統合データ生成部４２とを経て二次元データ生成部４３に至るデータ処理系統の異常を検出することができる。
　また、統合データおよび二次元データのいずれか一方の異常に基づいて、データ処理系統の異常を検出することにより、統合データおよび二次元データの両方の異常に基づいてデータ処理系統の異常を検出する場合よりも、異常検出部４４の処理負荷を軽減することができる。そのため、異常検出部４４の回路規模および消費電力のうち少なくとも一方を低減することができる。また、異常検出部４４によるデータ処理系統の異常の検出を高速化することができる。
　また、この実施形態の演算装置２０では、異常検出部４４は、外部環境データに表現される外部環境の時間的変化の異常に基づいて、データ処理系統の異常を検出する。このように、外部環境データに表現される外部環境の時間的変化に基づくことにより、単一の時点における外部環境データに表現される外部環境だけでは検出することができない異常を検出することができる。これにより、データ処理系統の異常の検出精度を向上させることができる。
　（実施形態の変形例１）
　なお、外部環境データの異常は、統合データおよび二次元データの両方の異常であってもよい。すなわち、異常検出部４４は、統合データおよび二次元データの両方の異常に基づいて、データ処理系統の異常を検出するように構成されてもよい。具体的には、この実施形態の変形例１では、異常検出部４４は、統合データおよび二次元データのうち少なくとも一方に異常が発生している場合に、データ処理系統に異常が発生していると判定し、統合データおよび二次元データの両方に異常が発生していない場合に、データ処理系統の異常が発生していないと判定する。なお、この変形例１においても、外部環境データの異常には、外部環境データの静的な異常と、外部環境データの時間的変化の異常（動的な異常）とがあってもよい。
　　〔実施形態の変形例１の効果〕
　この実施形態の変形例１の演算装置２０では、異常検出部４４は、統合データおよび二次元データの両方の異常に基づいて、データ処理系統の異常を検出する。このように、統合データの異常に基づく異常検出処理（データ処理系統の異常を検出する処理）と二次元データの異常に基づく異常検出処理の両方を行うことにより、データ処理系統の異常を素早く検出することができるとともに、データ処理系統の異常を広範囲に検出することができる。
　（実施形態の変形例２）
　また、異常検出部４４は、外部環境データの異常の継続時間に基づいて、データ処理系統の異常を検出するように構成されてもよい。具体的には、この変形例２では、異常検出部４４は、外部環境データの異常の継続時間が予め定められた正常時間を上回る場合に、データ処理系統に異常が発生していると判定し、外部環境データの異常の継続時間が正常時間を上回らない場合に、データ処理系統に異常が発生していないと判定する。なお、この変形例２においても、外部環境データの異常には、外部環境データの静的な異常と、外部環境データの時間的変化の異常（動的な異常）とがあってもよい。
　また、この変形例２において、異常検出部４４は、統合データおよび二次元データの両方の異常に基づいて、データ処理系統の異常を検出するように構成されてもよい。具体的には、この実施形態の変形例２では、異常検出部４４は、統合データおよび二次元データのうち少なくとも一方の異常の継続時間が予め定められた正常時間を上回る場合に、データ処理系統に異常が発生していると判定し、統合データおよび二次元データの各々の異常の継続時間が正常時間を上回らない場合に、データ処理系統の異常が発生していないと判定するように構成されてもよい。
　　〔実施形態の変形例２の効果〕
　この実施形態の変形例２の演算装置２０では、異常検出部４４は、外部環境データに表現される外部環境の異常の継続時間に基づいて、データ処理系統の異常を検出する。これにより、データ処理系統の異常の過検出を低減することができる。例えば、データ処理系統の異常ではない別の原因（例えば瞬時的なノイズなど）により外部環境データに表現される外部環境が僅かな時間だけ異常となる場合に、データ処理系統の異常が誤検出される、という事態を回避することができる。これにより、データ処理系統の異常の検出を適切に行うことができる。
　（制御装置の具体的構造）
　図１３は、上述の演算装置２０の具体的構造を例示する。演算装置２０は、車両Ｖに設けられる。演算装置２０は、１つまたは複数の電子制御ユニット（ＥＣＵ）を有する。電子制御ユニットは、１つまたは複数のチップＡを有する。チップＡは、１つまたは複数のコアＢを有する。コアＢは、プロセッサＰと、メモリＭとを有する。すなわち、演算装置２０は、１つまたは複数のプロセッサＰと、１つまたは複数のメモリＭとを有する。メモリＭは、プロセッサを動作させるためのプログラムおよび情報を記憶する。具体的には、メモリＭは、プロセッサＰにより実行可能なソフトウェアであるモジュール、プロセッサＰの処理において利用されるモデルを示すデータなどを記憶する。上述の制御装置２０の各部の機能は、プロセッサＰがメモリＭに記憶された各モジュールを実行することにより実現される。
　（その他の実施形態）
　以上の説明では、移動体として車両（自動四輪車）を例に挙げたが、これに限定されない。例えば、移動体は、船舶、列車、航空機、自動二輪車、自立移動型のロボット、掃除機、ドローンなどであってもよい。
　また、以上の説明では、二次元データ生成部４３が制御チップ３３に設けられる場合を例に挙げたが、これに限定されない。例えば、二次元データ生成部４３は、人工知能アクセラレータ３２に設けられてもよいし、その他の演算チップに設けられてもよい。これと同様に、異常検出部４４は、制御チップ３３に設けられてもよいし、人工知能アクセラレータ３２に設けられてもよいし、その他の演算チップに設けられてもよい。なお、外部環境認識部２１の他の構成（例えば前処理部４０など）および演算装置２０の他の構成（例えば候補経路生成部２２など）についても同様のことがいえる。
　また、以上の説明では、外部環境認識部２１が画像処理チップ３１と人工知能アクセラレータ３２と制御チップ３３とにより構成される場合を例に挙げたが、これに限定されない。例えば、外部環境認識部２１は、２つ以下の演算チップにより構成されてもよいし、４つ以上の演算チップにより構成されてもよい。なお、外部環境認識部２１の他の構成（例えば前処理部４０など）および演算装置２０の他の構成（例えば候補経路生成部２２など）についても同様のことがいえる。
　また、以上の実施形態および変形例を適宜組み合わせて実施してもよい。以上の実施形態および変形例は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
　以上説明したように、ここに開示する技術は、移動体の外部環境を認識する外部環境認識装置として有用である。
１０　　　　　車両制御システム（移動体制御システム）
１１　　　　　カメラ（撮像部）
１２　　　　　レーダ（検出部）
１３　　　　　位置センサ
１４　　　　　車両状態センサ
１５　　　　　ドライバ状態センサ
１６　　　　　運転操作センサ
１７　　　　　通信部
１８　　　　　コントロールユニット
１９　　　　　ヒューマンマシンインターフェース
２０　　　　　演算装置
２１　　　　　外部環境認識部
２２　　　　　候補経路生成部
２３　　　　　車両挙動認識部
２４　　　　　ドライバ挙動認識部
２５　　　　　目標運動決定部
２６　　　　　運動制御部
３１　　　　　画像処理チップ
３２　　　　　人工知能アクセラレータ
３３　　　　　制御チップ
４０　　　　　前処理部
４１　　　　　認識処理部
４２　　　　　統合データ生成部
４３　　　　　二次元データ生成部
４４　　　　　異常検出部
４５　　　　　外部環境データ生成部
５０　　　　　車道（移動可能領域）
６０　　　　　物標
６１　　　　　他車両
６２　　　　　標識
６３　　　　　街路樹
７１　　　　　歩道
７２　　　　　空地
８０　　　　　建物
１００　　　　自車両（移動体）
１０１　　　　アクチュエータ

Claims (5)

  1. 　移動体の外部環境を認識する外部環境認識装置であって、
    　前記移動体の外部環境を撮像する撮像部により得られた画像データに基づいて、該移動体の外部環境を認識する認識処理部と、
    　前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境を表現する外部環境データを生成する外部環境データ生成部と、
    　前記外部環境データの異常に基づいて、前記撮像部と前記認識処理部と前記外部環境データ生成部とを含むデータ処理系統の異常を検出する異常検出部とを備える
    ことを特徴とする外部環境認識装置。
  2. 　請求項１において、
    　前記外部環境データ生成部は、
    　　前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境に含まれる移動可能領域および物標が統合された統合データを生成する統合データ生成部と、
    　　前記統合データに基づいて、該統合データに含まれる移動可能領域および物標が二次元化された二次元データを生成する二次元データ生成部とを含み、
    　前記外部環境データの異常は、前記統合データおよび前記二次元データのいずれか一方の異常である
    ことを特徴とする外部環境認識装置。
  3. 　請求項１において、
    　前記外部環境データ生成部は、
    　　前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境に含まれる移動可能領域および物標が統合された統合データを生成する統合データ生成部と、
    　　前記統合データに基づいて、該統合データに含まれる移動可能領域および物標が二次元化された二次元データを生成する二次元データ生成部とを含み、
    　前記外部環境データの異常は、前記統合データおよび前記二次元データの両方の異常である
    ことを特徴とする外部環境認識装置。
  4. 　請求項１～３のいずれか１つにおいて、
    　前記外部環境データの異常は、該外部環境データに表現される外部環境の時間的変化の異常である
    ことを特徴とする外部環境認識装置。
  5. 　請求項１～４のいずれか１つにおいて、
    　前記異常検出部は、前記外部環境データの異常の継続時間に基づいて、前記データ処理系統の異常を検出する
    ことを特徴とする外部環境認識装置。
PCT/JP2020/011536 2019-06-14 2020-03-16 外部環境認識装置 WO2020250526A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080043189.6A CN114008698A (zh) 2019-06-14 2020-03-16 外部环境识别装置
US17/618,501 US20220237921A1 (en) 2019-06-14 2020-03-16 Outside environment recognition device
EP20822363.6A EP3985643A4 (en) 2019-06-14 2020-03-16 OUTSIDE ENVIRONMENT DETECTION DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019111070A JP7363118B2 (ja) 2019-06-14 2019-06-14 外部環境認識装置
JP2019-111070 2019-06-14

Publications (1)

Publication Number Publication Date
WO2020250526A1 true WO2020250526A1 (ja) 2020-12-17

Family

ID=73781759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011536 WO2020250526A1 (ja) 2019-06-14 2020-03-16 外部環境認識装置

Country Status (5)

Country Link
US (1) US20220237921A1 (ja)
EP (1) EP3985643A4 (ja)
JP (1) JP7363118B2 (ja)
CN (1) CN114008698A (ja)
WO (1) WO2020250526A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4081420A1 (en) 2019-12-26 2022-11-02 Ricoh Company, Ltd. In-vehicle display device and program
JP2023015621A (ja) * 2021-07-20 2023-02-01 スタンレー電気株式会社 車両位置特定装置、車両位置特定方法、配光制御装置、車両用灯具システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022475A1 (ja) * 2015-07-31 2017-02-09 日立オートモティブシステムズ株式会社 自車周辺情報管理装置
JP2018022234A (ja) 2016-08-01 2018-02-08 クラリオン株式会社 画像処理装置、外界認識装置
WO2018061425A1 (ja) * 2016-09-29 2018-04-05 パナソニックＩｐマネジメント株式会社 センサ故障検出装置およびそのための制御方法
JP2018184021A (ja) * 2017-04-24 2018-11-22 日立オートモティブシステムズ株式会社 車両の電子制御装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
EP2609582B1 (en) * 2010-08-23 2019-10-09 Status Technologies Pty Ltd A vehicle safety warning and information system
JP5816050B2 (ja) * 2011-10-25 2015-11-17 日立オートモティブシステムズ株式会社 バッテリ温度制御装置
JP2014006243A (ja) * 2012-05-28 2014-01-16 Ricoh Co Ltd 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
JP2014058210A (ja) * 2012-09-18 2014-04-03 Hitachi Automotive Systems Ltd 車両制御装置および車両制御システム
JP6032195B2 (ja) * 2013-12-26 2016-11-24 トヨタ自動車株式会社 センサ異常検出装置
JP6180968B2 (ja) * 2014-03-10 2017-08-16 日立オートモティブシステムズ株式会社 車両制御装置
JP6137081B2 (ja) * 2014-07-29 2017-05-31 株式会社デンソー 車載機器
CN104567725A (zh) * 2014-12-17 2015-04-29 苏州华兴致远电子科技有限公司 车辆运行故障检测系统及方法
EP3091509A1 (en) * 2015-05-04 2016-11-09 Honda Research Institute Europe GmbH Method for improving performance of a method for computationally predicting a future state of a target object, driver assistance system, vehicle including such driver assistance system and respective program storage medium and program
JP6437891B2 (ja) * 2015-07-03 2018-12-12 日立オートモティブシステムズ株式会社 自動車の制御装置
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
JP6803657B2 (ja) * 2015-08-31 2020-12-23 日立オートモティブシステムズ株式会社 車両制御装置および車両制御システム
JP6698320B2 (ja) * 2015-11-16 2020-05-27 日立オートモティブシステムズ株式会社 処理装置および車両制御システム
CN107226091B (zh) * 2016-03-24 2021-11-26 松下电器（美国）知识产权公司 物体检测装置、物体检测方法以及记录介质
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
JP7061964B2 (ja) * 2016-11-01 2022-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ生成方法及びデータ生成装置
JP6971020B2 (ja) * 2016-11-14 2021-11-24 株式会社日立製作所 異常検出装置および異常検出方法
JP6494050B2 (ja) * 2017-03-31 2019-04-03 株式会社Ｓｕｂａｒｕ 自動操舵制御装置
JP6683178B2 (ja) * 2017-06-02 2020-04-15 トヨタ自動車株式会社 自動運転システム
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
US11366443B2 (en) * 2017-06-15 2022-06-21 Hitachi, Ltd. Controller
JP6521468B2 (ja) * 2017-06-15 2019-05-29 株式会社Ｓｕｂａｒｕ 自動操舵制御装置
US10496469B2 (en) * 2017-07-25 2019-12-03 Aurora Labs Ltd. Orchestrator reporting of probability of downtime from machine learning process
US11110932B2 (en) * 2017-11-03 2021-09-07 Toyota Research Institute, Inc. Methods and systems for predicting object action
WO2019185244A1 (en) * 2018-03-26 2019-10-03 Sony Corporation A method for providing information about an object and an object providing information
JP6959179B2 (ja) * 2018-04-26 2021-11-02 株式会社クボタ 作業車
KR102194933B1 (ko) * 2018-08-09 2020-12-24 엘지전자 주식회사 무선 통신 시스템에서 신호를 송수신하기 위한 방법 및 이를 위한 장치
US11354948B2 (en) * 2019-06-10 2022-06-07 The Boeing Company Methods and systems for performing maintenance on an aircraft

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022475A1 (ja) * 2015-07-31 2017-02-09 日立オートモティブシステムズ株式会社 自車周辺情報管理装置
JP2018022234A (ja) 2016-08-01 2018-02-08 クラリオン株式会社 画像処理装置、外界認識装置
WO2018061425A1 (ja) * 2016-09-29 2018-04-05 パナソニックＩｐマネジメント株式会社 センサ故障検出装置およびそのための制御方法
JP2018184021A (ja) * 2017-04-24 2018-11-22 日立オートモティブシステムズ株式会社 車両の電子制御装置

Also Published As

Publication number Publication date
US20220237921A1 (en) 2022-07-28
EP3985643A1 (en) 2022-04-20
CN114008698A (zh) 2022-02-01
JP2020204820A (ja) 2020-12-24
JP7363118B2 (ja) 2023-10-18
EP3985643A4 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
CN113767389B (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
CN112989914A (zh) 具有自适应加权输入的注视确定机器学习系统
CN115136148A (zh) 投影使用鱼眼镜头捕获的图像用于自主机器应用中的特征检测
CN114270294A (zh) 使用眩光作为输入的注视确定
CN114764782A (zh) 多视图汽车和机器人系统中的图像合成
WO2020250526A1 (ja) 外部環境認識装置
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2024518934A (ja) 車両ナビゲーション中の光干渉検出
WO2020250528A1 (ja) 外部環境認識装置
WO2020250527A1 (ja) 外部環境認識装置
US20230245468A1 (en) Image processing device, mobile object control device, image processing method, and storage medium
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
WO2020250519A1 (ja) 外部環境認識装置
JP2021124957A (ja) 車両用制御装置
US20210241001A1 (en) Vehicle control system
JP7503921B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7139300B2 (ja) 認識装置、認識方法、およびプログラム
JP2021123232A (ja) 車両用制御装置
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
CN112581793A (zh) 操作具有立体摄像机系统和lidar传感器的机动车辆的方法
JP2022129400A (ja) 運転支援装置
CN118820104A (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20822363

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020822363

Country of ref document: EP

Effective date: 20220111