WO2020250519A1 - 外部環境認識装置 - Google Patents

外部環境認識装置 Download PDF

Info

Publication number
WO2020250519A1
WO2020250519A1 PCT/JP2020/011260 JP2020011260W WO2020250519A1 WO 2020250519 A1 WO2020250519 A1 WO 2020250519A1 JP 2020011260 W JP2020011260 W JP 2020011260W WO 2020250519 A1 WO2020250519 A1 WO 2020250519A1
Authority
WO
WIPO (PCT)
Prior art keywords
thinning
unit
vehicle
data
external environment
Prior art date
Application number
PCT/JP2020/011260
Other languages
English (en)
French (fr)
Inventor
大輔 濱野
Original Assignee
マツダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マツダ株式会社 filed Critical マツダ株式会社
Priority to CN202080037648.XA priority Critical patent/CN113853639A/zh
Priority to EP20821717.4A priority patent/EP3985642A4/en
Priority to US17/617,310 priority patent/US20220222936A1/en
Publication of WO2020250519A1 publication Critical patent/WO2020250519A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the technology disclosed here belongs to the technical field related to the external environment recognition device used for the autonomous mobile body.
  • a sensor device such as a camera is used to recognize the external environment, and the moving direction, moving speed, and the like are determined based on the recognition result.
  • the amount and accuracy of the data acquired by the sensor device affect the operation accuracy. For example, taking a camera as a sensor device, by increasing the number of cameras or using a high-precision camera, the shooting range can be expanded, and the shooting image quality and frame rate can be increased to improve the operation accuracy of autonomous movement. Can be enhanced.
  • Patent Document 1 the entire area of the monitoring range in the image of each frame is divided into a plurality of small areas for the purpose of reducing the processing load of image analysis without deteriorating the detection accuracy and the like as much as possible.
  • an obstacle detection device that detects a motion vector by comparing an image of the current frame with an image of the previous frame, targeting only images of a plurality of sections existing at specific positions.
  • Patent Document 2 describes a first image processing means for thinning out image information for the entire road image obtained by the imaging means, and a part of the road image obtained by the imaging means without thinning out the image information.
  • a rear side monitoring device for a vehicle that selectively uses a second image processing means for processing according to a situation is disclosed.
  • Patent Documents 1 and 2 when the methods described in Patent Documents 1 and 2 are used, there is a risk that the information necessary for the movement of the autonomous moving body will be lost by the thinning process.
  • Patent Document 1 in order to reduce the load of image analysis processing, it is necessary to reduce the number of blocks to be analyzed in each frame, but this increases the number of blocks that cannot be analyzed in each frame. become. In order to improve the analysis accuracy to some extent, it is possible to secure the number of blocks to be analyzed in each frame, but doing so reduces the amount of reduction in the processing load.
  • Patent Document 2 since the technique of Patent Document 2 performs thinning processing on the entire road image, for example, in an area other than the image processing performed by the second image processing means, the autonomous moving body There is a risk that the information required for movement will be lost due to the thinning process.
  • the technology disclosed here was made in view of these points, and its purpose is to reduce the processing load of the arithmetic unit without losing as much information as possible for the movement of the autonomous mobile body. To do.
  • the external environment recognition device for controlling the running of the vehicle is targeted, and the external information acquisition device for acquiring the environmental information outside the autonomous moving body is used.
  • a physical layer circuit that receives an external environmental signal containing environmental information, a logical layer circuit that constructs a data string based on the external environmental signal received by the physical layer circuit, and a data string outside the autonomous mobile body.
  • An environment data generation unit that generates environment data, a movement scene determination unit that determines the movement scene of the autonomous moving body based on the environment data, and a thinning method according to the movement scene determined by the movement scene determination unit. Is provided, and a thinning processing unit that performs thinning processing of at least one of the data string or the environmental data is provided.
  • the physical layer circuit that receives the image pickup signal of the image pickup device that images the outside of the autonomous moving body and the physical layer circuit that receives the image pickup signal for the external environment recognition device. Based on the output from the logic layer circuit that constructs the data string from the captured imaging signal, the image data generation unit that generates image data from the data string, and the external information acquisition device that acquires the environmental information outside the autonomous moving body. , A moving scene determination unit that determines a moving scene, and a thinning processing unit that determines a thinning method according to the moving scene determined by the moving scene determination unit and performs thinning processing of at least one of the data string and the image data.
  • the configuration is such that
  • the driving scene determination unit determines the driving scene, and the thinning process is performed by the thinning method determined based on the determination result. That is, the thinning process can be performed at the stage where the data of what kind of driving scene is known, in other words, at the stage when it is known whether the data is in a situation where there is no problem even if the data is thinned out. As a result, the amount of data processed by the arithmetic unit can be reduced without losing necessary information as much as possible, and the processing load of the arithmetic unit can be reduced.
  • the moving scene determination unit determines the moving speed of the autonomous moving body as a moving scene of the autonomous moving body, and the thinning processing unit performs the thinning process as the moving speed becomes slower as the thinning method. It may be configured so that the thinning rate is high.
  • the thinning processing unit uses the thinning method as the normal movement of the vehicle. In comparison, the thinning rate of the thinning process may be increased.
  • the thinning process is performed by the thinning method according to the moving scene, so that the processing load of the arithmetic unit is not lost as much as possible without losing the information necessary for the movement of the autonomous moving body. Can be reduced.
  • Block diagram showing the control system of an automobile equipped with an external environment recognition device Schematic diagram showing a vehicle equipped with a vehicle information display device
  • an automobile having an automatic driving function as an autonomous mobile body will be described as an example.
  • the autonomous mobile body to which the external environment recognition device according to the present disclosure can be applied is not limited to an automobile, and can be applied to, for example, an autonomous mobile traveling robot, a vacuum cleaner, a drone, or the like.
  • FIG. 1 is a block diagram schematically showing the configuration of the control system of the vehicle 10 according to the present embodiment.
  • the vehicle 10 is configured to be capable of assisted driving and automatic driving.
  • the vehicle 10 calculates the route that the vehicle 10 should travel based on the output from the sensor device 20 and the information received from the network outside the vehicle in order to enable assisted driving and automatic driving.
  • it has an arithmetic unit 100 that determines the movement of the vehicle 10 for following the path.
  • the arithmetic unit 100 is a microprocessor composed of one or a plurality of chips, and has a CPU, a memory, and the like. It should be noted that FIG. 1 mainly shows the configuration for exerting the route generation function according to the present embodiment, and does not show all the functions of the arithmetic unit 100.
  • the sensor device 20 that outputs information to the computing device 100 is, for example, (1) a plurality of cameras 21 provided on the body or the like of the vehicle 10 and photographing the environment outside the vehicle, and (2) provided on the body or the like of the vehicle 10 and outside the vehicle. Multiple radars 22 that detect the target, etc., (3) Position sensor 23 that detects the position (vehicle position information) of the vehicle 10 using the Global Positioning System (GPS), (4) It is composed of the output of sensors such as a vehicle speed sensor, an acceleration sensor, and a yaw rate sensor that detect the behavior of the vehicle, and is composed of a vehicle condition sensor 24 that acquires the state of the vehicle 10, (5) an in-vehicle camera, and the like.
  • GPS Global Positioning System
  • It includes an occupant state sensor 25 for acquiring a state, and (6) a driving operation information acquisition unit 26 for detecting a driver's driving operation. Further, communication information from another vehicle located around the own vehicle 10 and traffic information from the navigation system are input to the arithmetic unit 100 via the vehicle outside communication unit 30 connected to the network outside the vehicle.
  • Each camera 21 is arranged so that the circumference of the vehicle 10 can be photographed 360 ° in the horizontal direction.
  • Each camera 21 outputs the generated image data to the arithmetic unit 100.
  • each camera 21 uses a camera-side communication unit 210 that communicates with the arithmetic unit 100 and an image sensor such as a CCD (Charged Coupled devices) or CMOS (Complementary Metal Oxide Semiconductor) to display an optical image showing the environment outside the vehicle. It includes an image pickup unit 215 that takes an image and generates image data.
  • a camera-side communication unit 210 that communicates with the arithmetic unit 100 and an image sensor such as a CCD (Charged Coupled devices) or CMOS (Complementary Metal Oxide Semiconductor) to display an optical image showing the environment outside the vehicle.
  • an image pickup unit 215 that takes an image and generates image data.
  • the camera-side communication unit 210 has a logic layer circuit 211 for constructing a data string (for example, a data string conforming to a communication standard or the like) from image data generated by the image pickup unit 215, and a logic layer. It includes a physical layer circuit 212 that converts the data string constructed by the circuit 211 into a communicable signal form (for example, an analog signal) and outputs the data string to the arithmetic unit 100.
  • the specific configuration of the logical layer circuit 211 and the physical layer circuit 212 of the camera-side communication unit 210 is general, for example, a circuit configuration created in accordance with a communication standard (transmission-side standard) or the like. Since the configuration known to can be used, detailed description thereof will be omitted here.
  • the camera 21 is an example of an external information acquisition device for acquiring information on a traveling scene of the vehicle 10, and is an example of an imaging device that images the outside of the vehicle 10.
  • the image data acquired by each camera 21 is input to the HMI (Human Machine Interface) unit 70 in addition to the arithmetic unit 100.
  • the HMI unit 70 displays information based on the acquired image data on a display device or the like in the vehicle.
  • each radar 22 is arranged so that the detection range extends 360 ° horizontally around the vehicle 10.
  • the type of radar 22 is not particularly limited, and for example, a millimeter wave radar can be adopted.
  • the radar 22 is an example of an external information acquisition device for acquiring information on the traveling scene of the vehicle 10. Although specific illustration is omitted, each radar 22 may be an imaging radar or a laser radar configured to enable imaging. Then, each radar 22 generates image data in the same manner as the above camera 21, and transmits the image data to the PU side communication unit 110 of the arithmetic unit 100 via the sensor side communication unit having the logic layer circuit and the physical layer circuit. It may be configured to output to. In that case, the radar 22 corresponds to an imaging device for imaging the external environment of the vehicle 10.
  • the arithmetic unit 100 determines the target motion of the vehicle 10 based on the output from the sensor device 20 such as the camera 21 and the radar 22 and the information received from the network outside the vehicle, and realizes the determined target motion. It is configured to calculate the driving force, braking force, and steering amount, and output the calculated results to the control unit 80 that controls the engine, brakes, and the like.
  • the arithmetic unit 100 includes a processor and a memory. Memory stores modules, which are software that can be executed by a processor. The functions of each part of the arithmetic unit 100 shown in FIG. 1 are realized, for example, by the processor executing each module stored in the memory.
  • the memory stores the data of the model used in the arithmetic unit 100. It should be noted that a plurality of processors and a plurality of memories may be provided. Further, a part of the functions of each part of the arithmetic unit 100 shown in FIG. 1 may be realized by a hardware circuit.
  • the arithmetic unit 100 has a PU-side communication unit 110 for receiving an output of a sensor-side communication unit such as a camera 21 and a PU-side communication unit 110 in order to set a target motion of the vehicle 10.
  • the behavior of the occupants of the vehicle 10 is determined based on the output from the route generation unit 151, the vehicle behavior estimation unit 152 that estimates the behavior of the vehicle 10 based on the output from the vehicle condition sensor 24, and the occupant condition sensor 25.
  • the arithmetic unit 100 determines a traveling scene determination unit 131 for determining the traveling scene of the vehicle 10 and a thinning method according to the traveling scene determined by the traveling scene determination unit 131, and during that time. It is provided with a thinning processing unit 132 that executes thinning processing based on the thinning method.
  • the PU-side communication unit 110 receives an image pickup signal including image pickup information captured by the image pickup device from an image pickup device such as a camera 21 or a radar 22, and constructs a data string for forming image data to form an image data in an environment outside the vehicle. Output to the recognition unit 120.
  • the PU-side communication unit 110 is provided with the same number as the camera 21 and the radar 22 so as to be connected to the camera 21 and the radar 22 on a one-to-one basis, for example.
  • each PU side communication unit 110 has a physical layer circuit 111 that receives an image pickup signal from the image pickup device, and a data string for forming image data from the image pickup signal received by the physical layer circuit 111. It includes a logic layer circuit 112 to be constructed. In each PU side communication unit 110, the logic layer circuit 112 constructs a data string, and when a “data thinning” instruction is given from the thinning processing unit described later, a part of the data is thinned out from the constructed data string. It is configured to output. A specific example of the operation of "thinning out data" will be described later.
  • the specific configuration of the physical layer circuit 111 of the PU side communication unit 110 and the logic layer circuit 112 other than the data thinning unit is, for example, a circuit configuration created in accordance with a communication standard (reception side standard) or the like. As described above, a generally known configuration can be used, and detailed description thereof will be omitted here.
  • the physical layer circuit 111 and the logical layer circuit 112 of the PU side communication unit 110 are examples of the physical layer circuit and the logical layer circuit of the external environment recognition device, respectively.
  • the vehicle exterior environment recognition unit 120 recognizes the vehicle exterior environment based on the output from each PU side communication unit 110, and is an image data generation unit 121, an object recognition unit 122, a map generation unit 123, and an environment recognition unit. It includes 124.
  • the image data generation unit 121 generates image data from the data string output from the PU side communication unit 110. In other words, the image data generation unit 121 restores the image data captured by the camera 21 or the radar 22 (for example, an image radar), or regenerates the image data based on the image data captured by the camera 21 or the radar 22. Perform processing. Since a general method can be used for generating image data, detailed description thereof will be omitted here.
  • the object recognition unit 122 recognizes what the object outside the vehicle is based on the image data generated by the image data generation unit 121, the peak list of the reflected waves received from the radar 22, and the like. For example, the object recognition unit 122 detects an object outside the vehicle based on the above image data, peak list, etc., and uses identification information or the like in a database or the like stored in the arithmetic unit 100 to determine what the object outside the vehicle is. Is identified and recognized as "object information outside the vehicle”. Further, the object recognition unit 122 receives the output of the radar 71, and as the above-mentioned "object information outside the vehicle", "positioning information of the target” including the position and speed of the target existing around the vehicle 1. Have acquired. It should be noted that a neural network or the like may be used to identify what the object outside the vehicle is. Further, the position, speed, and the like may be grasped from the output information from each sensor.
  • the map generation unit 123 compares the three-dimensional information around the vehicle 10 with the vehicle exterior environment model based on the object information outside the vehicle recognized by the object recognition unit 122, so that the vehicle exterior environment including roads and obstacles is included. Is recognized and the process of converting it into a map is performed.
  • the vehicle exterior environment model is, for example, a trained model generated by deep learning, and can recognize roads, obstacles, and the like with respect to three-dimensional information around the vehicle.
  • the map generation unit 123 may be configured to generate a surrounding three-dimensional or two-dimensional map, or both.
  • the map generation unit 123 identifies a free space, that is, an area where no object exists, based on the object information outside the vehicle recognized by the object recognition unit 122. For the processing here, for example, a trained model generated by deep learning is used. Then, the map generation unit 123 generates a two-dimensional map representing the free space. In addition, the map generation unit 123 uses the positioning information of the target to generate a three-dimensional map representing the surroundings of the vehicle 10. Here, information on the installation position and imaging direction of the camera 21 and information on the installation position and transmission direction of the radar 22 are used.
  • the environment recognition unit 124 recognizes the vehicle exterior environment including roads and obstacles by comparing the three-dimensional map generated by the map generation unit 123 with the vehicle exterior environment model.
  • a multi-layer neural network (DNN: Deep Neural Network) is used.
  • DNN Deep Neural Network
  • a multi-layer neural network for example, there is a CNN (Convolutional Neural Network).
  • map generation by the map generation unit 123 may be a method that does not use deep learning.
  • the map generation unit 123 may be configured to arrange the recognized object in three or two dimensions without using deep learning.
  • the information on the outside environment recognized by the outside environment recognition unit 120 is output to the candidate route generation unit 151 and the driving scene determination unit 131.
  • the candidate route generation unit 151 is a candidate on which the vehicle 10 can travel based on the output of the vehicle exterior environment recognition unit 120, the output of the position sensor 23, and the information received from the external network or the like via the vehicle exterior communication unit 30. Generate a route.
  • the image data generation unit 121 and the map generation unit 123 of the vehicle exterior environment recognition unit 120 are examples of the environment data generation unit of the external environment recognition device.
  • the driving scene determination unit 131 received the map information generated by the vehicle exterior environment recognition unit 120, the vehicle exterior environment information including roads and obstacles, the detection result of the position sensor 23, and the external network via the vehicle exterior communication unit 30.
  • the traveling scene of the vehicle 10 is determined based on at least one of the information.
  • the sensor device 20 including the position sensor 23 and the vehicle exterior communication unit 30 are examples of the external information acquisition device.
  • the determination of the traveling scene of the vehicle 10 includes, for example, determination of the traveling location and the traveling condition in which the vehicle 10 is traveling. For example, as a determination of a driving scene, a driving scene in which the vehicle 10 is currently traveling is determined by checking the number of surrounding vehicles and people, a congestion situation, etc., based on the information captured by the camera 21 or the like. Alternatively, the traveling scene may be determined at a traveling place such as an urban area, a suburb, an expressway, etc. based on the position sensor 23, car navigation information, information from an external network, and the like.
  • the driving scene determination unit 131 is an example of the moving scene determination unit of the external environment recognition device.
  • the environment recognition unit 124 may be omitted from the vehicle exterior environment recognition unit 120.
  • the object recognition unit 122 recognizes (classifies) obstacles and road components, grasps the surrounding road environment based on the recognition result, and the travel scene determination unit 131 determines the map generation unit 123.
  • the traveling scene may be determined based on the map information generated in the above and the recognition result by the object recognition unit 122.
  • the thinning processing unit 132 determines a thinning method according to the driving scene determined by the traveling scene determination unit 131, and at least one of the data string constructed by the logic layer circuit 112 and the image data generated by the image data generation unit. Thinning out.
  • FIG. 3 shows an example in which the thinning processing unit 132 performs the thinning processing of the data string constructed by the logic layer circuit 112.
  • the thinning processing unit 132 has (1) a determination module based on a template and (2) a determination module using AI for determining the thinning method, and has an external mode control signal. It is configured to select one of the decision modules based on.
  • the method of determining the thinning method is not particularly limited, and other methods such as using either method (1) or (2) may be used.
  • the "(1) determination module based on the template” has, for example, a template in which the driving scenes determined by the driving scene determination unit 131 and the thinning method corresponding to each driving scene are listed, and the driving scenes.
  • the thinning method is determined according to the output from the determination unit 131.
  • various conventionally known thinning methods can be adopted and are not particularly limited. For example, when the thinning target is an image, the thinning area of the image, the thinning rate of each area, and each frame Whether or not to thin out, the thinning rate when thinning out for each frame, etc. are included.
  • “(2) Decision module using AI” for example, a trained model generated by deep learning can be used.
  • the method of thinning out data in the logic layer circuit 112 is not particularly limited, but for example, when the data string is separated for each packet, for example, each packet is flagged for importance and whether or not it can be thinned out. , The data reconstructed after the data string reconstruction may be thinned out based on the flag, or the data reconstructed after the data string reconstruction may be thinned out at a specific cycle for a specific period, using a timer or the like.
  • a method for thinning out image data there are various conventionally known methods, and these methods can be appropriately adopted, and thus detailed description thereof will be omitted here.
  • the phase of thinning out processing is not particularly limited.
  • the logic layer circuit 112 of the PU-side communication unit 110 may be used for thinning, or a layer higher than that may be used for thinning.
  • the thinning process may be performed in the process of generating the image data of the vehicle exterior environment recognition unit 120, or the thinning process may be performed in the object recognition process of the object recognition unit 122 or the map generation process of the map generation unit 123. You may. Further, when the map generation unit 123 updates the map sequentially, the map information may be thinned out.
  • the thinning processing unit 132 is an example of the thinning processing unit of the external environment recognition device. A part of the thinning processing unit of the external environment recognition device may be provided in another block. For example, when thinning out a data string constructed by the logic layer circuit 112, a part of the thinning out processing unit may be provided in the logic layer circuit 112 of the PU side communication unit 110.
  • step S10 the sensor device 20 and the arithmetic unit 100 are activated (step S10), imaging by the camera 21 is started (step S11), and imaging data is sent from the camera 21 to the camera-side communication unit 210.
  • the camera-side communication unit 210 receives the imaging data, converts the imaging data into a transmittable imaging signal, and outputs the imaging data to the PU-side communication unit 110.
  • the logical layer circuit 211 of the camera-side communication unit 210 converts the captured data into a data string in a transmittable format, performs processing such as coding, and digital-to-analog conversion is performed by the physical layer circuit 212. , Output to the PU side communication unit 110.
  • the PU side communication unit 110 receives the image pickup signal in the physical layer circuit 111 (step S21), converts it from analog to digital, decodes it in the logic layer circuit 112, and constructs a data string (step S22). Output to the recognition unit 120.
  • the vehicle exterior environment recognition unit 120 performs processing from image data generation to recognition of the vehicle exterior environment based on the data string received from the logic layer circuit 112, and the recognized information on the vehicle exterior environment is obtained. It is output to the candidate route generation unit 151 and the traveling scene determination unit 131.
  • the candidate route generation unit 151 calculates one or a plurality of candidate routes on which the vehicle 10 can travel, based on the information on the external environment received from the external environment recognition unit 120.
  • step S24 the driving scene determination unit 131 determines the driving scene based on the information on the external environment received from the external environment recognition unit 120.
  • step S25 the thinning processing unit 132 determines the thinning method according to the traveling scene.
  • the traveling scene determination unit 131 travels the own vehicle 10 as a traveling scene based on the image data captured by the camera 21, the position information of the own vehicle by the position sensor 23, the information received from the network outside the vehicle, and the like. Determine where you are and what the situation is. Then, the thinning processing unit 132 determines the thinning method according to the location and the situation determined by the traveling scene determination unit 131.
  • the thinning rate may be relatively high.
  • the thinning rate may be relatively low as a thinning method.
  • the traveling scene determination unit 131 determines the traveling speed of the vehicle 10 based on the output from the vehicle state sensor 24, and the thinning processing unit 132 thins out as the moving speed becomes slower as a thinning method.
  • the process of setting the thinning rate of the process to be high may be performed. For example, when the vehicle is driving slowly, the thinning rate is set relatively high, while when the vehicle is normally driving in an urban area, the thinning rate is relatively low. It may be set to. This makes it possible to avoid excessive data processing when the vehicle 10 is traveling at a low speed. On the other hand, when the vehicle 10 is traveling at high speed, the thinning rate is set relatively low, so that processing such as route generation can be performed without losing information necessary for safe traveling as much as possible.
  • the thinning processing unit 132 thins out the thinning process as a thinning method as compared with the case of normal traveling.
  • the rate may be increased. Since the traveling speed is often relatively slow when the vehicle is parked or stopped, it is possible to avoid excessive data processing when the vehicle 10 is parked or stopped by increasing the thinning rate. Further, for example, when the vehicle 10 is parked and stopped, when the vehicle is backing up, the thinning rate of the image data from the camera 21 that is capturing the front is increased as compared with the images of other cameras, thereby causing an excess. Data processing may be avoided. Further, if there is clearly no road / sidewalk / roadside zone on the left side of the vehicle and the probability that an object exists is very low, the thinning rate on the left side of the vehicle may be increased.
  • the thinning processing unit 132 transmits a thinning control signal indicating the determined thinning method to the block to be thinned out.
  • the thinning processing unit 132 transmits a thinning control signal to the logic layer circuit 112 of the PU side communication unit 110.
  • the logic layer circuit 112 of the PU-side communication unit 110 performs data thinning based on the thinning control signal, and thereafter, the thinned data is output to the vehicle exterior environment recognition unit 120.
  • FIG. 5 is a flowchart created by paying attention to the operation of the external environment recognition device.
  • the flows corresponding to those in FIG. 4 are designated by a common reference numeral, and the description of the common points may be omitted in the following description.
  • FIG. 5 shows a case where the thinning method is appropriately changed, and whether or not the thinning method has been changed between the determination of the running scene by the running scene determination unit 131 and the determination of the thinning method by the thinning processing unit 132.
  • a process (step S28) for confirming the above has been added.
  • step S28 the flow proceeds to step S25 described above, and the thinning method according to the changed driving scene is performed. It is determined and the thinning process is executed. On the other hand, if there is no change in the thinning processing method, the flow returns to step S23.
  • the vehicle behavior estimation unit 152 estimates the state of the vehicle from the outputs of sensors that detect the behavior of the vehicle, such as a vehicle speed sensor, an acceleration sensor, and a yaw rate sensor.
  • the vehicle behavior estimation unit 152 generates a vehicle 6-axis model showing the behavior of the vehicle.
  • the occupant behavior estimation unit 153 estimates the driver's health condition and emotions from the detection result of the occupant condition sensor 25.
  • Health status includes, for example, health, mild fatigue, poor physical condition, decreased consciousness, and the like.
  • Emotions include, for example, fun, normal, boring, frustrated, and uncomfortable.
  • the route determination unit 154 determines the route on which the vehicle 10 should travel based on the output of the occupant behavior estimation unit 153. When there is only one route generated by the candidate route generation unit 151, the route determination unit 154 sets the route as the route to be traveled by the vehicle 10. When there are a plurality of routes generated by the candidate route generation unit 151, in consideration of the output of the occupant behavior estimation unit 153, for example, the route that the occupant (particularly the driver) feels most comfortable among the plurality of candidate routes, that is, Select a route that does not make the driver feel redundant, such as being too careful in avoiding obstacles.
  • the vehicle motion determination unit 155 determines the target motion for the travel route determined by the route determination unit 154.
  • the target motion refers to steering and acceleration / deceleration that follow the traveling path. Further, the vehicle motion determination unit 155 calculates the movement of the vehicle body with respect to the traveling route selected by the route determination unit 154 with reference to the vehicle 6-axis model.
  • the physical quantity calculation unit calculates the driving force, the braking force, and the steering amount for achieving the target motion, and is composed of the driving force calculation unit 161, the braking force calculation unit 162, and the steering amount calculation unit 163. ..
  • the driving force calculation unit 161 calculates the target driving force to be generated by the power train device (engine and transmission) in order to achieve the target motion.
  • the braking force calculation unit 162 calculates the target braking force to be generated by the braking device in order to achieve the target motion.
  • the steering amount calculation unit 163 calculates the target steering amount to be generated by the steering device in order to achieve the target motion.
  • the peripheral device operation setting unit 170 sets the operation of the body-related devices of the vehicle 10 such as lamps and doors based on the output of the vehicle motion determination unit 155.
  • the device includes devices such as actuators and sensors that are controlled when the vehicle is running or parked / stopped.
  • the calculation result of the arithmetic unit 100 is output to the control unit 80 and the body microcomputer 60.
  • the control unit 80 is composed of a power train microcomputer 81, a brake microcomputer 82, and a steering microcomputer 83. Specifically, information on the target driving force calculated by the driving force calculation unit 161 is input to the power train microcomputer 81, and information on the target braking force calculated by the braking force calculation unit 162 is input to the brake microcomputer 82. Information on the target steering amount calculated by the steering amount calculation unit 163 is input to the steering microcomputer 83, and information on the operation of each body-related device set by the peripheral device operation setting unit 140 is input to the body system microcomputer 60. Entered.
  • the steering microcomputer 83 includes a microcomputer for electric power steering (EPAS).
  • the external environment recognition device of the present embodiment has a physical layer circuit 111 that receives an image pickup signal from the camera 21, and a logic layer that constructs a data string based on the image pickup signal received by the physical layer circuit 111.
  • a driving scene of the vehicle 10 based on the PU side communication unit 110 having the circuit 112, the image data generation unit 121 that generates image data outside the vehicle 10 from the data string constructed by the logic layer circuit 112, and the image data. It is provided with a running scene determination unit 131 that determines the data string, and a thinning processing unit 132 that determines a thinning method according to the running scene determined by the running scene determination unit 131 and performs thinning processing of at least one of the data string or the image data. ..
  • the driving scene determination unit 131 determines the driving scene, and the thinning process is performed by the thinning method determined based on the determination result.
  • the thinning process is performed by the thinning method determined based on the determination result.
  • the thinning process of the data string is not limited to the place where the data string is constructed, for example, in the above embodiment, the logic layer circuit 112, and may be executed in a layer or block in a later stage. The same applies to image data.
  • thinning process data in a specific area around the vehicle may be thinned out. For example, when it is extremely unlikely that an object is present on the left side of the vehicle, the thinning rate in that area may be increased.
  • the external environment of the vehicle 10 is recognized based on the image captured by the camera 21, but the present invention is not limited to this.
  • external environment information including intersection information and specific road structure information is received from an external network by vehicle outside communication via the vehicle outside communication unit 30. May be good.
  • the technology disclosed here is useful as an external environment recognition device that recognizes the external environment of an autonomous mobile body.
  • Vehicle 21 Camera imaging device, external information acquisition device
  • Arithmetic logic unit 111
  • Physical layer circuit 112
  • Logical layer circuit 121
  • Image data generation unit environmental data generation unit
  • Driving scene judgment unit moving scene judgment unit
  • Thinning processing unit 132

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

外部環境認識装置は、外部環境信号を受信する物理層回路（１１１）と、物理層回路（１１１）で受信された外部環境信号を基にデータ列を構築する論理層回路（１１２）と、データ列から自律移動体外部の環境データを生成する環境データ生成部（１２１）と、環境データを基に、自律移動体の移動シーンを判定する移動シーン判定部（１３１）と、移動シーン判定部（１３１）で判定された移動シーンに応じた間引き方法を決定し、データ列または環境データの少なくとも一方の間引き処理をする間引き処理部（１３２）とを備える。

Description

外部環境認識装置
　ここに開示された技術は、自律移動体に用いられる外部環境認識装置に関する技術分野に属する。
　近年、外部環境を認識して移動や走行、飛行等（以下、総称して単に「移動」ともいう）を行う自律移動体に関する研究開発等が進められている。これらの自律移動体では、カメラ等のセンサデバイスを用いて、外部の環境を認識し、その認識結果を基に移動方向、移動速度等が決定される。このような自律移動体では、センサデバイスで取得されたデータの量や精度が、その動作精度に影響を与える。例えば、センサデバイスとしてカメラについて例を挙げると、カメラの台数を増やしたり高精度のカメラを用いる等により、撮影可能範囲を拡大したり、撮影画質やフレームレートを高めることで、自律移動の動作精度を高めることができる。特に、自動運転機能を有する自動車のように、相対的に移動速度が速い状況でも十分な安全性を担保する観点から、高画質の画像データを相対的に短い時間で解析し、処理することが望まれる。一方で、高画質画像、高フレームレート画像では、扱うデータ量が多くなり、データを処理する演算処理装置への負荷が大きくなり放熱等の問題が発生するおそれがある。したがって、演算処理装置では、処理データ量が少ないことが望まれる。
　そこで、例えば、撮影画像データのうちの一部のフレームを間引くことが考えられるが、むやみに画像データを間引くと、自律移動体の制御性能が低下する恐れがある。
　特許文献１には、検出精度等を極力落とすことなく画像解析の処理負荷の軽減を図ることを目的として、各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、全体領域の中で特定の位置に存在する複数の区画の画像だけを解析対象として、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する障害物検出装置が開示されている。
　特許文献２には、撮像手段によって得た道路画像の全体について画像情報を間引きして処理する第１の画像処理手段と、撮像手段によって得た道路画像の一部領域について画像情報を間引きせずに処理する第２の画像処理手段とを、状況に応じて選択的に使用する車両用後側方監視装置が開示されている。
特開２０１０－２６２３５７号公報 特開２０００－２５１０８０号公報
　しかしながら、特許文献１，２のような方法を用いた場合には、自律移動体の移動に必要な情報を間引き処理によって失う恐れがある。
　例えば、特許文献１の技術では、画像の解析処理の負荷を減らすためには、各フレームにおける解析対象のブロック数を減らす必要があるが、そうすると、各フレームの中で解析できないブロックが増加することになる。解析精度をある程度高めるために、各フレームにおける解析対象のブロック数を確保することもできるが、そうすると、処理負荷の低減量が少なくなる。
　また、特許文献２の技術は、道路画像の全体については、間引き処理を実施していることから、例えば、第２の画像処理手段で画像処理を行っている以外の領域において、自律移動体の移動に必要な情報を間引き処理によって失う恐れがある。
　ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするとこは、自律移動体の移動に必要な情報をなるべく失わずに、演算装置の処理の負荷を軽減することにある。
　前記課題を解決するために、ここに開示された技術の一態様では、車両の走行を制御する外部環境認識装置を対象として、前記自律移動体外部の環境情報を取得する外部情報取得装置から当該環境情報が含まれる外部環境信号を受信する物理層回路と、前記物理層回路で受信された外部環境信号を基にデータ列を構築する論理層回路と、前記データ列から前記自律移動体外部の環境データを生成する環境データ生成部と、前記環境データを基に、前記自律移動体の移動シーンを判定する移動シーン判定部と、前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列または前記環境データの少なくとも一方の間引き処理をする間引き処理部とを備える、という構成とした。
　また、ここに開示された技術の他の態様では、外部環境認識装置を対象として、前記自律移動体外部を撮像する撮像デバイスの撮像信号を受信する物理層回路と、前記物理層回路で受信された撮像信号からデータ列を構築する論理層回路と、前記データ列から画像データを生成する画像データ生成部と、前記自律移動体外部の環境情報を取得する外部情報取得装置からの出力を基に、移動シーンを判定する移動シーン判定部と、前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列及び前記画像データの少なくとも一方の間引き処理をする間引き処理部とを備える、という構成とした。
　これらの構成によると、走行シーン判定部で走行シーンを判定し、その判定結果を基にして決定された間引き方法により間引き処理を行うようにしている。すなわち、どのような走行シーンのデータであるかということが分かった段階、換言すると、間引いても問題がない状況のデータなのか否かが分かった段階で、間引き処理をすることができる。これにより、必要な情報をなるべく失うことなく、演算装置で処理をするデータ量を削減することができ、演算装置の処理の負荷を軽減することができる。
　前記移動シーン判定部は、前記自律移動体の移動シーンとして、前記自律移動体の移動速度を判定し、前記間引き処理部では、前記間引き方法として、前記移動速度が遅くなるのにしたがって前記間引き処理の間引き率が高くなるように構成されていてもよい。
　これにより、自律移動体が低速で移動している場合における、過剰なデータ処理を回避することができる。
　前記間引き処理部は、前記移動シーン判定部が、前記移動シーンとして前記自律移動体としての車両が駐停車動作をしていると判定した場合に、前記間引き方法として、前記車両の通常移動時と比較して前記間引き処理の間引き率を高くする、という構成でもよい。
　これにより、車両の駐停車時における、過剰なデータ処理を回避することができる。
　以上説明したように、ここに開示された技術によると、移動シーンに応じた間引き方法で間引き処理をするので、自律移動体の移動に必要な情報をなるべく失わずに、演算装置の処理の負荷を軽減することができる。
外部環境認識装置が搭載された自動車の制御系を示すブロック図 車両用情報表示装置が搭載された車両を示す概略図 外部環境認識装置の構成を示すブロック図 外部環境認識装置の動作例を示すフローチャート 外部環境認識装置の動作例を示すフローチャート
　以下、例示的な実施形態について、図面を参照しながら詳細に説明する。なお、以下の実施形態では、自律移動体として自動運転機能を有する自動車を例に挙げて説明する。ただし、本開示に係る外部環境認識装置が適用できる自律移動体は、自動車に限定されるものではなく、例えば、自律移動型の走行ロボット、掃除機、ドローン等に適用することが可能である。
　図１は、本実施形態に係る車両１０の制御系の構成を概略的に示すブロック図である。車両１０は、アシスト運転及び自動運転ができるように構成されている。
　本実施形態において、車両１０は、アシスト運転及び自動運転を可能にするために、センサデバイス２０からの出力や、車外のネットワークから受けた情報に基づいて、車両１０が走行すべき経路を算出するとともに、該経路を追従するための車両１０の運動を決定する演算装置１００を有する。演算装置１００は、１つ又は複数のチップで構成されたマイクロプロセッサであって、ＣＰＵやメモリ等を有している。なお、図１においては、本実施形態に係る経路生成機能を発揮するための構成を中心に示しており、演算装置１００が有する全ての機能を示しているわけではない。
　演算装置１００に情報を出力するセンサデバイス２０は、例えば、（１）車両１０のボディ等に設けられかつ車外環境を撮影する複数のカメラ２１、（２）車両１０のボディ等に設けられかつ車外の物標等を検知する複数のレーダ２２、（３）全地球測位システム（Global Positioning System：ＧＰＳ）を利用して、車両１０の位置（車両位置情報）を検出する位置センサ２３、（４）車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から構成され車両１０の状態を取得する車両状態センサ２４、（５）車内カメラ等により構成され、車両１０の乗員の状態を取得する乗員状態センサ２５、（６）運転者の運転操作を検出するための運転操作情報取得部２６、を含む。また、演算装置１００には、車外のネットワークと接続された車外通信部３０を介して自車両１０の周囲に位置する他車両からの通信情報やナビゲーションシステムからの交通情報が入力される。
　各カメラ２１は、車両１０の周囲を水平方向に３６０°撮影できるようにそれぞれ配置されている。各カメラ２１は、生成した画像データを演算装置１００に出力する。
　具体的に、各カメラ２１は、演算装置１００と通信するカメラ側通信部２１０と、ＣＣＤ(Charged Coupled devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて車外環境を示す光学画像を撮像して画像データを生成する撮像部２１５とを備えている。
　図３に示すように、カメラ側通信部２１０は、撮像部２１５で生成された画像データから、データ列（例えば、通信規格等に準拠したデータ列）を構築する論理層回路２１１と、論理層回路２１１で構築されたデータ列を通信可能な信号形態（例えば、アナログ信号）に変換して演算装置１００に出力する物理層回路２１２とを備えている。なお、カメラ側通信部２１０の論理層回路２１１及び物理層回路２１２の具体的な構成は、例えば、通信規格（送信側の規格）等に準拠して作成された回路構成のように、一般的に知られている構成を用いることができるので、ここではその詳細説明を省略する。カメラ２１は、車両１０の走行シーンの情報を取得するための外部情報取得装置の一例であり、車両１０の外部を撮像する撮像デバイスの一例である。
　各カメラ２１が取得した画像データは、演算装置１００以外にも、ＨＭＩ（Human Machine  Interface）ユニット７０に入力される。ＨＭＩユニット７０は、取得した画像データに基づく情報を車内のディスプレイ装置等に表示する。
　各レーダ２２は、カメラ２１と同様に、検出範囲が車両１０の周囲を水平方向に３６０°広がるようにそれぞれ配置されている。レーダ２２の種類が特に限定されず、例えば、ミリ波レーダを採用することができる。レーダ２２は、車両１０の走行シーンの情報を取得するための外部情報取得装置の一例である。なお、具体的な図示は省略するが、各レーダ２２が、撮像が可能に構成されたイメージングレーダーやレーザーレーダーであってもよい。そして、各レーダ２２が、上記のカメラ２１と同様に、画像データを生成し、論理層回路及び物理層回路を有するセンサ側通信部を介して、画像データを演算装置１００のＰＵ側通信部１１０に出力するように構成されていてもよい。その場合、レーダ２２は、車両１０の車外環境の撮像するための撮像デバイスに相当する。
　演算装置１００は、カメラ２１やレーダ２２等のセンサデバイス２０からの出力や、車外のネットワークから受けた情報に基づいて、車両１０の目標運動を決定し、決定された目標運動を実現するための駆動力、制動力、操舵量を算出し、算出結果をエンジンやブレーキ等を制御するコントロールユニット８０に出力するように構成されている。図２の構成例では、演算装置１００は、プロセッサとメモリとを備える。メモリは、プロセッサによって実行可能なソフトウェアであるモジュールを格納している。図１に示す演算装置１００の各部の機能は、例えば、プロセッサが、メモリに格納された各モジュールを実行することによって実現される。また、メモリは、演算装置１００で使用されるモデルのデータを格納している。なお、プロセッサ及びメモリは、それぞれ、複数個あってもかまわない。また、図１に示す演算装置１００の各部の機能の一部が、ハードウェア回路で実現されていてもよい。
　図１に示すように、演算装置１００は、車両１０の目標運動を設定するために、カメラ２１等のセンサ側通信部の出力を受信するためのＰＵ側通信部１１０と、ＰＵ側通信部１１０の出力を基にして車外環境を認識する車外環境認識部１２０と、車外環境認識部１２０で認識された車外環境に応じて、車両１０が走行可能な１つ又は複数の候補経路を算出する候補経路生成部１５１と、車両状態センサ２４からの出力を基にして車両１０の挙動を推定する車両挙動推定部１５２と、乗員状態センサ２５からの出力を基にして、車両１０の乗員の挙動を推定する乗員挙動推定部１５３と、車両１０が走行すべき経路を決定する経路決定部１５４と、経路決定部１５４が設定した経路を追従するための車両１０の目標運動を決定する車両運動決定部１５５とを有する。
　さらに、図３に示すように、演算装置１００は、車両１０の走行シーンを判定する走行シーン判定部１３１と、走行シーン判定部１３１で判定された走行シーンに応じた間引き方法を決定し、その間引き方法に基づく間引き処理を実行する間引き処理部１３２とを備える。
 〈ＰＵ側通信部〉
　ＰＵ側通信部１１０は、カメラ２１やレーダ２２等の撮像デバイスから、撮像デバイスで撮像された撮像情報が含まれる撮像信号を受け、画像データを形成するためのデータ列を構築して、車外環境認識部１２０に出力する。ＰＵ側通信部１１０は、例えば、カメラ２１やレーダ２２と１対１で接続するように、カメラ２１やレーダ２２と同じ数が設けられている。
　図３に示すように、各ＰＵ側通信部１１０は、撮像デバイスから撮像信号を受信する物理層回路１１１と、物理層回路１１１で受信された撮像信号から画像データを形成するためのデータ列を構築する論理層回路１１２とを備えている。各ＰＵ側通信部１１０では、論理層回路１１２が、データ列を構築し、後述する間引き処理部から「データ間引き」の指示があった場合、構築されたデータ列から一部のデータを間引いて出力するように構成されている。なお、「データの間引き」の動作の具体的例については後ほど説明する。また、ＰＵ側通信部１１０の物理層回路１１１及びデータ間引き部以外の論理層回路１１２の具体的な構成は、例えば、通信規格（受信側の規格）等に準拠して作成された回路構成のように、一般的に知られている構成を用いることができるので、ここではその詳細説明を省略する。
　ＰＵ側通信部１１０の物理層回路１１１、論理層回路１１２は、それぞれ、外部環境認識装置の物理層回路、論理層回路の一例である。
 〈車外環境認識部〉
　車外環境認識部１２０は、各ＰＵ側通信部１１０からの出力を基に車外環境を認識するものであり、画像データ生成部１２１と、物体認識部１２２と、マップ生成部１２３と、環境認識部１２４とを備える。
　画像データ生成部１２１は、ＰＵ側通信部１１０から出力されたデータ列から画像データを生成する。換言すると、画像データ生成部１２１は、カメラ２１やレーダ２２（例えば、イメージレーダ）で撮像された画像データを復元したり、カメラ２１やレーダ２２での撮像結果を基に画像データを再生成する処理を行う。なお、画像データの生成は、一般的な方法を使用できるので、ここではその詳細説明を省略する。
　物体認識部１２２は、画像データ生成部１２１で生成された画像データや、レーダ２２から受けた反射波のピークリスト等を基に、車外の物体が何であるかを認識する。例えば、物体認識部１２２は、上記の画像データやピークリスト等によって車外の物体を検知し、演算装置１００に格納されているデータベース等にある識別情報等を用いて、車外の物体が何であるかを識別し、「車外の物体情報」として認識する。さらに、物体認識部１２２は、レーダ７１の出力を受けており、上記「車外の物体情報」として、車両１の周辺に存在する物標の位置や速度等を含む「物標の測位情報」を取得している。なお、ニューラルネットワークなどにより車外の物体が何であるかを識別するようにしてもよい。また、各センサからの出力情報によりその位置と速度などを把握するようにしてもよい。
　マップ生成部１２３は、物体認識部１２２で認識された車外の物体情報を基にして、車両１０の周囲の３次元情報と車外環境モデルとを対照することにより、道路および障害物を含む車外環境を認識し、それをマップにする処理を行う。車外環境モデルは、例えば深層学習によって生成された学習済みモデルであって、車両周囲の３次元情報に対して、道路や障害物等を認識することができる。なお、マップ生成部１２３は、周囲の３次元もしくは２次元マップ、またはその両方を生成するように構成されていてもよい。
　具体的に、例えば、マップ生成部１２３は、物体認識部１２２で認識された車外の物体情報を基にして、フリースペースすなわち物体が存在しない領域を特定する。ここでの処理には、例えば深層学習によって生成された学習済みモデルが利用される。そして、マップ生成部１２３は、フリースペースを表す２次元のマップを生成する。また、マップ生成部１２３は、物標の測位情報を利用して、車両１０の周囲を表す３次元マップを生成する。ここでは、カメラ２１の設置位置および撮像方向の情報、レーダ２２の設置位置および送信方向の情報が用いられる。
　環境認識部１２４では、マップ生成部１２３で生成された３次元マップと、車外環境モデルとを対比することによって、道路及び障害物を含む車外環境を認識する。なお、深層学習では、多層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Convolutional Neural Network）がある。
　なお、マップ生成部１２３によるマップの生成は、深層学習を使用しない方法であってもよい。例えば、マップ生成部１２３が認識された物体を、深層学習を使わずに、３次元乃至２次元に配置するように構成されていてもよい。
　車外環境認識部１２０で認識された車外環境の情報は、候補経路生成部１５１及び走行シーン判定部１３１に出力される。候補経路生成部１５１では、車外環境認識部１２０の出力、位置センサ２３の出力、及び車外通信部３０を介して外部ネットワーク等から受信された情報等を基にして、車両１０が走行可能な候補経路を生成する。
　車外環境認識部１２０の画像データ生成部１２１及びマップ生成部１２３は、外部環境認識装置の環境データ生成部の一例である。
 〈走行シーン判定部〉
　走行シーン判定部１３１は、車外環境認識部１２０で生成されたマップ情報、道路及び障害物を含む車外環境情報、位置センサ２３の検出結果、車外通信部３０を介して外部ネットワーク等から受信された情報のうちの少なくとも１つの情報を基にして、車両１０の走行シーンを判定する。位置センサ２３を含むセンサデバイス２０及び車外通信部３０は、外部情報取得装置の一例である。
　車両１０の走行シーンの判定として、例えば、車両１０が走行している走行場所や走行状況等の判定が含まれる。例えば、走行シーンの判定として、カメラ２１等で撮像された情報に基づいて、周囲の車両や人の多さや混雑状況等を確認することで車両１０が現在走行している走行シーンを判定してもよいし、位置センサ２３やカーナビゲーションの情報、外部ネットワークからの情報等を基に、市街地、郊外、高速道路等のように走行場所で走行シーンを判定してもよい。
　走行シーン判定部１３１は、外部環境認識装置の移動シーン判定部の一例である。
　なお、上記の説明において、車外環境認識部１２０から環境認識部１２４を省いてもよい。この場合に、例えば、物体認識部１２２により、障害物や道路構成物を認識（分類）し、その認識結果を基に周辺の道路環境を把握し、走行シーン判定部１３１において、マップ生成部１２３で生成されたマップ情報と、物体認識部１２２での認識結果と、を基に、走行シーンを判定するようにしてもよい。
 〈間引き処理部〉
　間引き処理部１３２は、走行シーン判定部１３１で判定された走行シーンに応じた間引き方法を決定し、論理層回路１１２で構築されたデータ列及び画像データ生成部で生成された画像データの少なくとも一方の間引き処理をする。図３では、間引き処理部１３２が論理層回路１１２で構築されたデータ列の間引き処理をする例を示している。
　図３の例では、間引き処理部１３２は、間引き方法の決定に関し、（１）テンプレートに基づいた決定モジュールと、（２）ＡＩを用いた決定モジュールとを有しており、外部のモード制御信号に基づいて、いずれか一方の決定モジュールを選択するように構成されている。ただし、間引き方法の決定の仕方は、特に限定されず、（１），（２）いずれか一方の方法を用いる等、他の方法を用いるようにしてもよい。
　「（１）テンプレートに基づいた決定モジュール」では、例えば、走行シーン判定部１３１で判定された走行シーンと、それぞれの走行シーンに対応する間引き方法とがリスト化されたテンプレートを有し、走行シーン判定部１３１からの出力に応じて間引き方法を決定する。間引き方法は、従来から知られている各種の間引き方法を採用することができ、特に限定されないが、例えば、間引く対象が画像の場合に、画像の間引く領域や各領域の間引き率、フレーム毎に間引くのか否か、フレーム毎に間引く場合の間引き率等が含まれる。　「（２）ＡＩを用いた決定モジュール」では、例えば深層学習によって生成された学習済みモデルを利用することができる。
　論理層回路１１２でデータを間引く方法は、特に限定されないが、例えば、データ列がパケット毎に分離されている場合に、例えば、各パケットに、重要度や間引いて良いか否かのフラグを立て、そのフラグに基づいて間引いたり、データ列再構築後に再構築されたデータを特定の周期で特定の期間、タイマーなどを用いて間引いてもよい。画像データを間引く方法については、従来から知られている種々の方法があり、それらを適宜採用することができるので、ここではその詳細説明を省略する。
　また、間引き処理を行うフェーズについても特に限定されるものではない。例えば、図３に示すように、ＰＵ側通信部１１０の論理層回路１１２で間引くようにしてもよいし、それよりも上位のレイヤで間引くようにしてもよい。また、車外環境認識部１２０の画像データ生成の過程で間引き処理をしてもよいし、物体認識部１２２での物体認識過程や、マップ生成部１２３でのマップ生成過程で間引き処理をするようにしてもよい。また、マップ生成部１２３で、逐次マップの更新がされているような場合に、マップ情報に対して間引き処理をするようにしてもよい。
　間引き処理部１３２は、外部環境認識装置の間引き処理部の一例である。なお、外部環境認識装置の間引き処理部の一部が、他のブロック内に設けられていてもよい。例えば、論理層回路１１２で構築されたデータ列から間引き処理をする場合に、間引き処理部の一部がＰＵ側通信部１１０の論理層回路１１２に設けられていてもよい。
　（外部環境認識装置の動作）
　次に、図４，５のフローチャートを参照しつつ、外部環境認識装置の動作について説明する。なお。図４では、説明の便宜上、わかりやすいように、演算装置１００のＰＵ通信部の後段のブロックを、間引き処理系と経路生成系とに分けて図示しているが、本図面に発明の範囲を限定する意図はない。
　まず、センサデバイス２０及び演算装置１００が起動され（ステップＳ１０）、カメラ２１での撮像が開始され（ステップＳ１１）、カメラ２１からカメラ側通信部２１０に撮像データが送られる。
　ステップＳ１２において、カメラ側通信部２１０は、撮像データを受け、その撮像データを送信可能な形態の撮像信号に変換し、ＰＵ側通信部１１０に出力する。具体的には、カメラ側通信部２１０の論理層回路２１１で撮像データを送信可能な形式のデータ列に変換したり、符号化等の処理を行い、物理層回路２１２でデジタル－アナログ変換して、ＰＵ側通信部１１０に出力する。
　ＰＵ側通信部１１０では、物理層回路１１１で撮像信号を受信し（ステップＳ２１）、アナログ－デジタル変換して、論理層回路１１２で復号化やデータ列の構築を行い（ステップＳ２２）、車外環境認識部１２０に出力する。
　次のステップＳ２３では、車外環境認識部１２０において、論理層回路１１２から受けたデータ列を基に、画像データの生成から車外環境の認識までの処理を行い、認識された車外環境の情報が、候補経路生成部１５１及び走行シーン判定部１３１に出力される。候補経路生成部１５１では、車外環境認識部１２０から受けた車外環境の情報を基に、車両１０が走行可能な１つ又は複数の候補経路が算出される。
　ステップＳ２４において、走行シーン判定部１３１は、車外環境認識部１２０から受けた車外環境の情報を基に、走行シーンを判定する。次のステップＳ２５では、間引き処理部１３２は、走行シーンに応じた間引き方法を決定する。
　例えば、走行シーン判定部１３１は、カメラ２１で撮像された画像データや、位置センサ２３による自車両の位置情報、車外のネットワークから受けた情報等に基づいて、走行シーンとして、自車両１０が走行している場所や状況を判定する。そして、間引き処理部１３２において、走行シーン判定部１３１が判定した場所や状況に応じた間引き方法を決定する。
　より具体的に、例えば、郊外や高速道路を単独で走行している場合のように、周囲に障害物が少なく、また、人が飛び出しているような可能性が低いような場合に、間引き方法として、相対的に間引き率を高くする、としてもよい。一方で、市街地を走行する場合のように、周囲に注意すべき事象が多いことが想定されるような場合に、間引き方法として、相対的に間引き率を低くする、としてもよい。
　また、例えば、走行シーン判定部１３１は、車両状態センサ２４からの出力を基に、車両１０の走行速度を判定し、間引き処理部１３２は、間引き方法として、移動速度が遅くなるのにしたがって間引き処理の間引き率が高くなるように設定する処理を行うようにしてもよい。例えば、車両が徐行運転をしているような場合には、間引き率を相対的に高く設定する一方で、市街地等を通常に走行している場合には、間引き率が相対的に低くなるように設定する、としてもよい。これにより、車両１０の低速で走行している場合における過剰なデータ処理を回避することができる。一方で、車両１０が高速で走行している場合には、間引き率を相対的に低く設定するので、安全走行に必要な情報をなるべく失わずに経路生成等の処理を行うことができる。
　また、例えば、走行シーン判定部１３１が、車両１０が駐停車動作をしていると判定した場合に、間引き処理部１３２は、間引き方法として、通常の走行時と比較して、間引き処理の間引き率を高くするようにしてもよい。駐停車時には、比較的走行速度が遅いことが多いので、間引き率を高くすることで、車両１０の駐停車時における過剰なデータ処理を回避することができる。また、例えば、車両１０の駐停車時に、バックをしている場合等は、前方を撮像しているカメラ２１からの画像データの間引き率を他のカメラの画像と比較して高めることにより、過剰なデータ処理を回避するようにしてもよい。また、明らかに車両左側に車道/歩道/路側帯などがなく、物体が存在する確率が非常に低い場合は、車両左側における間引き率を上げてもよい。
　次のステップＳ２６では、間引き処理部１３２は、決定した間引き方法を示す間引き制御信号を間引き対象となるブロックに送信する。図３の例では、間引き処理部１３２は、ＰＵ側通信部１１０の論理層回路１１２に、間引き制御信号を送信する。ＰＵ側通信部１１０の論理層回路１１２では、間引き制御信号に基づいたデータ間引きを実施し、それ以降、間引きされたデータが、車外環境認識部１２０に出力される。
　図５は、外部環境認識装置の動作に注目して作成したフローチャートである。図５において、図４と対応するフローには、共通の符号を付しており、以下の説明では、共通点についての説明を省略する場合がある。
　図５では、間引き方法が適宜変更される場合について示しており、走行シーン判定部１３１による走行シーンの判定と、間引き処理部１３２による間引き方法の決定との間に、間引き方法の変更があったかどうかの確認を行う処理（ステップＳ２８）が追加されている。
　例えば、走行シーン判定部１３１による走行シーンの判定が前回の判定結果と異なっていた場合（ステップＳ２８でＹＥＳ）、フローは、前述のステップＳ２５に進み、変更された走行シーンに応じた間引き方法が決定され、間引き処理が実行される。一方で、間引き処理方法に変更がない場合には、フローがステップＳ２３に戻るようになっている。
　図１に戻り、以下において、候補経路生成部１５１よりも後段のブロックについて、簡単に説明する。
　車両挙動推定部１５２は、車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から、車両の状態を推定する。車両挙動推定部１５２は、車両の挙動を示す車両６軸モデルを生成する。
　乗員挙動推定部１５３は、乗員状態センサ２５の検出結果から、特に、運転者の健康状態や感情を推定する。健康状態としては、例えば、健康、軽い疲労、体調不良、意識低下等がある。感情としては、例えば、楽しい、普通、退屈、イライラ、不快等がある。
　経路決定部１５４は、乗員挙動推定部１５３の出力に基づいて、車両１０が走行すべき経路を決定する。候補経路生成部１５１が生成した経路が１つである場合には、経路決定部１５４は当該経路を車両１０が走行すべき経路とする。候補経路生成部１５１が生成した経路が複数ある場合には、乗員挙動推定部１５３の出力を考慮して、例えば、複数の候補経路のうち乗員（特に運転者）が最も快適と感じる経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路を選択する。
　車両運動決定部１５５は、経路決定部１５４が決定した走行経路について、目標運動を決定する。目標運動とは、走行経路を追従するような操舵および加減速のことをいう。また、車両運動決定部１５５は、車両６軸モデルを参照して、経路決定部１５４が選択した走行経路について、車体の動きを演算する。
　物理量算出部は、目標運動を達成するための駆動力、制動力、操舵量を算出するものであり、駆動力算出部１６１、制動力算出部１６２、及び操舵量算出部１６３で構成されている。駆動力算出部１６１は、目標運動を達成するために、パワートレイン装置（エンジン及びトランスミッション）が生成すべき目標駆動力を算出する。制動力算出部１６２は、目標運動を達成するために、ブレーキ装置が生成すべき目標制動力を算出する。操舵量算出部１６３は、目標運動を達成するために、ステアリング装置が生成すべき目標操舵量を算出する。
　周辺機器動作設定部１７０は、車両運動決定部１５５の出力に基づいて、ランプやドアなどの車両１０のボディ関係のデバイスの動作を設定する。なお、デバイスには、自動車が走行する際や駐停車している際に制御されるアクチュエータやセンサ等の装置類が含まれる。
　〈演算装置の出力先〉
　演算装置１００での演算結果は、コントロールユニット８０及びボディ系マイコン６０に出力される。コントロールユニット８０は、パワートレインマイコン８１、ブレーキマイコン８２、ステアリングマイコン８３で構成される。具体的に、パワートレインマイコン８１には、駆動力算出部１６１が算出した目標駆動力に関する情報が入力され、ブレーキマイコン８２には、制動力算出部１６２が算出した目標制動力に関する情報が入力され、ステアリングマイコン８３には、操舵量算出部１６３が算出した目標操舵量に関する情報が入力され、ボディ系マイコン６０には、周辺機器動作設定部１４０が設定したボディ関係の各デバイスの動作に関する情報が入力される。なお、ステアリングマイコン８３は、電動パワーステアリング(ＥＰＡＳ)用のマイコンを含む。
　以上をまとめると、本実施形態の外部環境認識装置は、カメラ２１からの撮像信号を受信する物理層回路１１１と、物理層回路１１１で受信された撮像信号を基にデータ列を構築する論理層回路１１２とを有するＰＵ側通信部１１０と、論理層回路１１２で構築されたデータ列から車両１０外部の画像データを生成する画像データ生成部１２１と、画像データを基に、車両１０の走行シーンを判定する走行シーン判定部１３１と、走行シーン判定部１３１で判定された走行シーンに応じた間引き方法を決定し、データ列または画像データの少なくとも一方の間引き処理をする間引き処理部１３２とを備える。
　このように、外部環境認識装置において、走行シーン判定部１３１で走行シーンを判定し、その判定結果を基にして決定された間引き方法により間引き処理を行うようにしている。すなわち、どのような走行シーンのデータであるかということが分かった段階、換言すると、間引いても問題がない状況のデータなのか否かが分かった段階で、不要部分がある場合に、その部分を間引き処理をすることができるので、必要な情報を失うことなく、演算装置で処理をするデータ量を削減することができる。
　なお、データ列の間引き処理は、データ列を構築した場所、例えば、上記実施形態では、論理層回路１１２に限定されず、それよりも後段のレイヤやブロック等で実行されてもよい。画像データについても同様である。
　また、間引き処理に関し、車両周辺の特定の領域のデータを間引くようにしてもよい。例えば、車両の左側に物体が存在する可能性が極めて低い場合に、その領域の間引き率を上げるようにしてもよい。
　また、上記の実施形態では、車両１０の外部環境をカメラ２１で撮像された画像を基に認識するものとしたが、これに限定されない。例えば、カメラ２１で撮像された画像に加えて、または、代えて、車外通信部３０を介した車外通信により外部ネットワークから交差点情報や特定の道路構造情報等を含む外部環境情報を受け取るようにしてもよい。
　ここに開示された技術は、自律移動体の外部環境を認識する外部環境認識装置として有用である。
１０　車両
２１　カメラ（撮像デバイス、外部情報取得装置）
１００　演算装置
１１１　物理層回路
１１２　論理層回路
１２１　画像データ生成部（環境データ生成部）
１３１　走行シーン判定部（移動シーン判定部）
１３２　間引き処理部

Claims (4)

  1. 　自律移動体の外部環境を認識する外部環境認識装置であって、
    　前記自律移動体外部の環境情報を取得する外部情報取得装置から当該環境情報が含まれる外部環境信号を受信する物理層回路と、
    　前記物理層回路で受信された外部環境信号を基にデータ列を構築する論理層回路と、
    　前記データ列から前記自律移動体外部の環境データを生成する環境データ生成部と、
    　前記環境データを基に、前記自律移動体の移動シーンを判定する移動シーン判定部と、
    　前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列または前記環境データの少なくとも一方の間引き処理をする間引き処理部とを備える
    ことを特徴とする外部環境認識装置。
  2. 　自律移動体の外部環境を認識するための外部環境認識装置であって、
    　前記自律移動体外部を撮像する撮像デバイスの撮像信号を受信する物理層回路と、
    　前記物理層回路で受信された撮像信号からデータ列を構築する論理層回路と、
    　前記データ列から画像データを生成する画像データ生成部と、
    　前記自律移動体外部の環境情報を取得する外部情報取得装置からの出力を基に、移動シーンを判定する移動シーン判定部と、
    　前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列及び前記画像データの少なくとも一方の間引き処理をする間引き処理部とを備える
    ことを特徴とする外部環境認識装置。
  3. 　請求項１または２に記載の外部環境認識装置において、
    　前記移動シーン判定部は、前記自律移動体の移動シーンとして、前記自律移動体の移動速度を判定し、
    　前記間引き処理部では、前記間引き方法として、前記移動速度が遅くなるのにしたがって前記間引き処理の間引き率が高くなるように構成されている
    ことを特徴とする外部環境認識装置。
  4. 　請求項１または２に記載の外部環境認識装置において、
    　前記間引き処理部は、前記移動シーン判定部が、前記移動シーンとして前記自律移動体としての車両が駐停車動作をしていると判定した場合に、前記間引き方法として、前記車両の通常移動時と比較して前記間引き処理の間引き率を高くする
    ことを特徴とする外部環境認識装置。
PCT/JP2020/011260 2019-06-14 2020-03-13 外部環境認識装置 WO2020250519A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080037648.XA CN113853639A (zh) 2019-06-14 2020-03-13 外部环境识别装置
EP20821717.4A EP3985642A4 (en) 2019-06-14 2020-03-13 OUTDOOR ENVIRONMENT RECOGNITION DEVICE
US17/617,310 US20220222936A1 (en) 2019-06-14 2020-03-13 Outside environment recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-111349 2019-06-14
JP2019111349A JP2020204839A (ja) 2019-06-14 2019-06-14 外部環境認識装置

Publications (1)

Publication Number Publication Date
WO2020250519A1 true WO2020250519A1 (ja) 2020-12-17

Family

ID=73781763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011260 WO2020250519A1 (ja) 2019-06-14 2020-03-13 外部環境認識装置

Country Status (5)

Country Link
US (1) US20220222936A1 (ja)
EP (1) EP3985642A4 (ja)
JP (1) JP2020204839A (ja)
CN (1) CN113853639A (ja)
WO (1) WO2020250519A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210130330A (ko) * 2020-04-21 2021-11-01 삼성전자주식회사 호스트 차량을 제어하는 전자 장치 및 이의 동작 방법
JP7438547B2 (ja) * 2021-03-02 2024-02-27 立山科学株式会社 車両管理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251080A (ja) 1999-03-01 2000-09-14 Yazaki Corp 車両用後側方監視装置
JP2007233478A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 接近報知システム、並びにそれに用いる車載機及び携帯端末
JP2010262357A (ja) 2009-04-30 2010-11-18 Alpine Electronics Inc 障害物検出装置および障害物検出方法
JP2018142268A (ja) * 2017-02-28 2018-09-13 株式会社東芝 車両画像処理装置、及び、車両画像処理システム
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5235319B2 (ja) * 2007-03-26 2013-07-10 株式会社タイトー 移動体の速度に応じてゲーム内経過時間を調整するゲーム機
DE102013210263A1 (de) * 2013-06-03 2014-12-04 Robert Bosch Gmbh Belegungskarte für ein Fahrzeug
JP6786920B2 (ja) * 2016-07-12 2020-11-18 株式会社デンソー 監視システム、車載器、センタ装置、および監視方法
DE102016213494A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
JP2018066620A (ja) * 2016-10-18 2018-04-26 古河電気工業株式会社 レーダ装置およびレーダ装置の制御方法
DE102017108348B3 (de) * 2017-04-20 2018-06-21 Valeo Schalter Und Sensoren Gmbh Konfiguration eines Sensorsystems mit einem neuronalen Netzwerk für ein Kraftfahrzeug
JP6998554B2 (ja) * 2017-09-12 2022-01-18 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251080A (ja) 1999-03-01 2000-09-14 Yazaki Corp 車両用後側方監視装置
JP2007233478A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 接近報知システム、並びにそれに用いる車載機及び携帯端末
JP2010262357A (ja) 2009-04-30 2010-11-18 Alpine Electronics Inc 障害物検出装置および障害物検出方法
JP2018142268A (ja) * 2017-02-28 2018-09-13 株式会社東芝 車両画像処理装置、及び、車両画像処理システム
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3985642A4

Also Published As

Publication number Publication date
EP3985642A1 (en) 2022-04-20
JP2020204839A (ja) 2020-12-24
CN113853639A (zh) 2021-12-28
EP3985642A4 (en) 2022-08-03
US20220222936A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US11789445B2 (en) Remote control system for training deep neural networks in autonomous machine applications
US11755025B2 (en) Guiding vehicles through vehicle maneuvers using machine learning models
CN113767389B (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
US20230418299A1 (en) Controlling autonomous vehicles using safe arrival times
JP7139717B2 (ja) 車両用通信装置、車両用通信方法、及び制御プログラム
CN112989914B (zh) 具有自适应加权输入的注视确定机器学习系统
CN113785302A (zh) 自主机器应用中的路口姿态检测
CN114450724A (zh) 用于自主机器应用的多活动者环境中的未来轨迹预测
WO2019178548A1 (en) Determining drivable free-space for autonomous vehicles
WO2020188928A1 (ja) データ通信に基づいて意思決定を行うシステム
US11590929B2 (en) Systems and methods for performing commands in a vehicle using speech and image recognition
CN114270294A (zh) 使用眩光作为输入的注视确定
JP2019137185A (ja) 車両制御システム、車両制御方法、およびプログラム
WO2020250519A1 (ja) 外部環境認識装置
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
JP7363118B2 (ja) 外部環境認識装置
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
JP2021018636A (ja) 車両遠隔指示システム
JP7296899B2 (ja) 車両用制御装置
JP7400222B2 (ja) 外部環境認識装置
WO2020250528A1 (ja) 外部環境認識装置
WO2020250520A1 (ja) 外部環境認識装置
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2024201858A1 (ja) 運転支援装置、運転支援方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20821717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020821717

Country of ref document: EP